AWS MLOps 분산학습 워크숍 방문기
김왕수 컬리 · 컬리 기술 블로그
AI 핵심 요약
AWS의 이틀간 MLOps·분산학습 워크숍에 참석해 해외·국내 기업의 도입 사례와 SageMaker 기능을 살펴봤다. SageMaker 실습에서는 ETL, Feature Store, Model Registry, 배포와 모니터링 등 ML 운영 기능을 경험했고, 둘째 날에는 데이터 병렬처리와 모델 병렬처리, GPT-2 분산학습 실습을 통해 대규모 학습 흐름을 익혔다. 데이터 규모에 따라 저장 옵션을 고르고 Debugger로 CPU·GPU 병목을 확인하는 등 학습 환경을 상황에 맞게 구성하는 방법도 소개됐다. 특히 배포 후 Data drift를 감지하고 재학습 시점을 정하는 일이 모델 성능 유지에 중요하며, SageMaker의 Data Clarify와 Model Monitor가 이를 지원할 수 있다는 점을 확인했다.
- Data Mesh는 중앙집중형 데이터 레이크를 역할별로 나누고 카탈로그를 통해 소비자 애플리케이션에 연결하는 접근법이다.
- SageMaker는 Feature Store, Model Registry, 배포, 모니터링, 오케스트레이션 등 ML 운영 단계를 폭넓게 지원한다.
- 분산학습은 데이터 병렬처리와 모델 병렬처리로 나눌 수 있으며, 데이터와 모델 규모에 맞는 방식을 선택해야 한다.
- 학습 병목은 SageMaker Debugger로 살펴보고, 테라바이트급 데이터에는 Amazon FSx for Lustre 같은 저장 옵션을 고려할 수 있다.
- Data drift는 배포 후 입력 데이터 분포가 학습 데이터와 달라지는 현상으로, 모니터링과 재학습으로 대응해야 한다.
소개
워크숍에 방문하여 경험한 내용들을 공유합니다.
비슷한 학습 자료
컨퍼런스 if kakao
카카오페이 MLOps 적용기 (feat. AWS) / if(kakao)2022
컨퍼런스 if kakao
카카오페이에서 MLOps 시스템을 구축하여 적용한 사례를 공유합니다. MLOps의 핵심 구성요소인 모델 학습 파이프라인, Feature Store, 모델 Serving 의 구축과정을 상세하게 설명합니다. #MLOps #모델학습파이프라인 #FeatureStore #모델Serving #AWS 카카오페이 MLOps TF 웨더입니다. 대용량 데이터 처리를 위한 서버 엔지니어링에 관심이 많습니다. 카카오페이 MLOps TF 레이첼입니다. 머신러닝 모델 개발 및 서빙 환경 개발/구축을 하고 있습니다. 카카오페이 MLOps TF 옐로입니다. 클라우드 기반의 데이터 엔지니어링에 관심이 많습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-67 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨...
데브옵스 · 인프라 딥러닝 · 머신러닝 클라우드
컨퍼런스 if kakao
카카오뱅크의 MLOps / if(kakao)2022
컨퍼런스 if kakao
데이터과학자가 개발한 ML 모델을 서비스에 빠르게 적용하기 위한 방법을 모색합니다. MLOps를 만들어 가기 위한 툴로 다양한 Open Source가 존재하지만, 각자의 회사에 알맞은 시스템 구성이 필요합니다. 본 세션에서는 MLOps에 대해 고민했던 내용에 대해 말씀드리고, 카카오뱅크만의 MLOps 시스템 구성부터 주요 콤포넌트 그리고 서비스 적용에 대한 경험을 공유합니다. #ML #mlops #아키텍처 #시스템구성 #MLPipeline #라이브러리 #MLModelServing 카카오뱅크 빅데이터분석팀 토비입니다.MLOps 프로젝트를 2년간 진행해 오면서, 다양한 경험을 할 수 있었습니다. 카카오뱅크만에 MLOps 문화를 만들기 위해 노력하고 있고요. ML모델을 서비스에 적용하기 위한 일련의 과정을 자동화하고 있습니다. 그동안 경험 했던, 카카오뱅크의 MLOps를 공유 드리려고 합니다. 많은 관심 부탁드립니다. 감사합니다. 발표자료 보기 👉https://speakerde...
데브옵스 · 인프라 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 엔지니어링데이 2025
VLOps:Event-driven MLOps & Omni-Evaluator
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] - Event-driven MLOps는 학습·평가·배포를 Typed Message 단위로 정의하고, Event Sensor가 이를 감지해 자율적으로 실행하는 구조입니다. - Kubeflow 같은 파이프라인처럼 전체 버전 관리가 필요하지 않으며, 메시지를 추가하는 것만으로 기능 확장이 가능합니다. - 사용자는 내부 오케스트레이션을 몰라도 메시지 발행만으로 동일한 파이프라인을 구동할 수 있습니다. - 이를 통해 평가·배포 시스템 간 느슨한 결합(Loose Coupling)과 클라우드 간 호환성을 확보했습니다. - Omni-Evaluator와 Dashboard는 다양한 엔진·벤치마크를 통합하고, 실시간 모니터링과 사용자 주도 트리거 기능을 제공합니다. [발표 대상] MLOps 엔지니어, ML 리서처, 데이터 사이언티스트 클라우드 인프라/DevOps 개발자, ...
데브옵스 · 인프라 딥러닝 · 머신러닝
책 노아 기프트 예스24
MLOps 실전 가이드
책 노아 기프트 예스24
* 머신러닝 모델의 안정적인 운영과 성공적인 CI/CD를 위한 MLOps 엔지니어링 노하우 * MLOps 포트폴리오 작성 Tip, MLOps 실무자의 인터뷰 수록 * 최신 내용 기반한 역자 노트 추가 및 소스 코드 리팩토링 반영 이 책은 MLOps와 DevOps의 개념을 종합적으로 이해하고, 깊이 있는 학습을 돕기 위해 다양한 실습을 포함하고 있습니다. 머신러닝 모델의 안정적인 운영을 위한 배포 방법과 AutoML, 컨테이너, 엣지 컴퓨팅, 모델 이식성 등 MLOps의 중요한 기술 영역을 다룹니다. 뿐만 아니라 AWS, 애저 환경, GCP 등 다양한 클라우드 플랫폼에서의 MLOps 경험을 쌓을 수 있도록 실습을 제공합니다. 저자의 실제 경험을 바탕으로 한 MLOps 사례 및 MLOps 실무자들의 인터뷰 내용도 소개하고 있습니다. 부록에서는 MLOps 구현 시 고려해야 할 사항과 MLOps 커리어 준비를 위한 인터뷰 질문 및 기술 포트폴리오에 필요한 작성 Tip도 제공하여 실무에 쉽게...
데브옵스 · 인프라 딥러닝 · 머신러닝 클라우드 로드맵 4개에 담김
문서 이상협