DS와 MLE가 함께 일하는 법
김경윤 토스 · 토스 기술 블로그
AI 핵심 요약
노트북에서 완성한 모델을 서빙 코드로 옮길 때 의존성 누락과 구현 차이가 반복되자, 토스뱅크 ML Service Team은 DS와 MLE의 협업 경계를 세 차례 개선했습니다. 노트북 전체를 전달하던 방식에서 핵심 로직을 .py 파일로 분리한 뒤, 전처리·추론·후처리 인터페이스를 정의한 commons-ml-model 패키지를 만들고 DS가 구현한 모델을 MLE가 설치해 서빙하도록 바꿨습니다. 공통 추상화 클래스가 로깅·메트릭·추적을 처리하고, uv 워크스페이스 기반 모노레포로 모델과 공통 코드를 함께 관리해 리뷰와 변경을 단순화했습니다. AI가 작성한 코드의 스타일 차이는 pfmls-stylepack으로 보완했으며, 역할의 구조와 코드 작성 방식 모두를 약속으로 맞춰야 협업이 원활해진다는 점을 배웠습니다.
- 노트북에서 재현되는 모델이라도 서빙 환경에서 필요한 의존성과 설정을 함께 패키징하지 않으면 전달 과정에서 문제가 생길 수 있습니다.
- 모델 인터페이스는 전처리·추론·후처리처럼 DS가 책임질 부분과 로깅·메트릭·추적처럼 공통 처리할 부분을 구분하도록 설계하세요.
- 모노레포는 공통 코드와 모델을 한 번에 리뷰하고 변경하기 좋지만, 공통 패키지 수정이 여러 모델에 미치는 영향도 고려해야 합니다.
- AI 코딩 도구를 팀에 도입할 때는 인터페이스뿐 아니라 네이밍과 예외 처리 같은 코딩 컨벤션도 규칙으로 제공해야 합니다.
소개
노트북과 서빙 사이
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Station M: LLM 그냥 쓰지마세요. 네이버 AI 검색의 모델 오케스트레이션 1. 네이버 검색에서 LLM 활용 - 다양한 검색 관련 태스크: 질의처리, 문서처리, 랭킹, 요약 등 - 다양한 LLM 평가와 Multi-LLM 활용 2. AI 검색을 위한 태스크별 모델 구축기 - AI Briefing - 요약 관련 서비스 - 검색 랭킹 관련 서비스 - 검색 색인 관련 서비스 - 질의 및 문서 이해 3. Station M : 서비스에 맞는 Multi-LLM 최적의 운영을 위해 - LLM 서비스를 위한 품질 평가 리더보드 - ICL, Reasoning, FT, RL, 경량화 등 서비스에 적절한 모델링 전략 - 속도, 비용, 처리량에 따른 모델 최적화 선택 전략 #DAN #DAN25 #TEAMNAVERCONFERENCE
딥러닝 · 머신러닝 자연어 처리 로드맵 6개에 담김
컨퍼런스 SLASH
토스ㅣSLASH 24 - ML 플랫폼으로 개발 속도와 안정성 높이기
컨퍼런스 SLASH
머신러닝 모델을 빠르고 안정적으로 개발할 수 있는 방법은 없을까요? 토스에서 ML 플랫폼을 통해 어떻게 이 문제를 해결하고 있는지 소개합니다. 김찬주 / ML Chapter Lead 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #machinelearning #machinelearningplatform 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 SLASH
토스ㅣSLASH 22 - 물 흐르듯 자연스러운 ML 서비스 만들기
컨퍼런스 SLASH
회사마다 다른 AI, ML 적용 방식. 토스에서는 어떻게 사용하고 있을까요? 대규모 서비스에 최적화된 기술 스택과 인프라를 기반으로 머신러닝 서비스를 만들고 배포하는 과정을 공유합니다. 고석현 / 토스 Machine Learning Engineer 발표 자료 👉🏻 https://bit.ly/3xoIift 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-22 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
데브옵스 · 인프라 딥러닝 · 머신러닝
문서 정석호