Kurly만의 MLOps 구축하기 - 초석 다지기
이상협 컬리 · 컬리 기술 블로그
AI 핵심 요약
컬리는 ML 업무가 늘면서 GPU를 요청·관리하는 엔지니어의 부담과 클라우드 비용을 줄이고, JupyterHub·Airflow·MLflow를 더 쉽게 연결할 MLOps 환경이 필요했다. 기존 Kubernetes 기반 도구를 활용해 노트북에서 GPU를 요청하면 노드를 만들고 사용이 끝나면 회수하는 구조를 목표로 삼았으며, 노드 수명주기를 직접 관리하는 Karpenter를 선택했다. Provisioner로 GPU 노드의 조건과 자원 한도를 정하고, NVIDIA device plugin으로 GPU를 사용할 수 있게 했으며, label과 affinity 설정으로 무관한 파드가 GPU 노드에 남는 문제를 다뤘다. 또한 Consolidation 설정 오류의 원인이 구버전 CRD일 수 있음을 확인했으며, 이 작업을 Kurly 맞춤형 MLOps 플랫폼의 기반으로 삼았다.
- GPU 노드를 자동으로 만들고 회수하려면 노트북 종료뿐 아니라 해당 노드에 남아 있는 다른 파드도 고려해야 한다.
- Provisioner의 requirements와 limits로 허용할 인스턴스 유형, GPU 조건, 클러스터 자원 상한을 정의할 수 있다.
- GPU 노드가 준비된 뒤에는 NVIDIA device plugin이 설치되어야 쿠버네티스 파드에서 GPU를 사용할 수 있다.
- GPU를 쓰지 않는 파드가 GPU 노드에 배치되지 않도록 label과 Node Affinity 또는 Anti-Affinity를 활용한다.
- Karpenter 설정 필드가 인식되지 않는다면 컨트롤러 버전뿐 아니라 관련 CRD도 함께 갱신됐는지 확인한다.
소개
GPU사용환경 만들기
비슷한 학습 자료
컨퍼런스 if kakao
카카오뱅크의 MLOps / if(kakao)2022
컨퍼런스 if kakao
데이터과학자가 개발한 ML 모델을 서비스에 빠르게 적용하기 위한 방법을 모색합니다. MLOps를 만들어 가기 위한 툴로 다양한 Open Source가 존재하지만, 각자의 회사에 알맞은 시스템 구성이 필요합니다. 본 세션에서는 MLOps에 대해 고민했던 내용에 대해 말씀드리고, 카카오뱅크만의 MLOps 시스템 구성부터 주요 콤포넌트 그리고 서비스 적용에 대한 경험을 공유합니다. #ML #mlops #아키텍처 #시스템구성 #MLPipeline #라이브러리 #MLModelServing 카카오뱅크 빅데이터분석팀 토비입니다.MLOps 프로젝트를 2년간 진행해 오면서, 다양한 경험을 할 수 있었습니다. 카카오뱅크만에 MLOps 문화를 만들기 위해 노력하고 있고요. ML모델을 서비스에 적용하기 위한 일련의 과정을 자동화하고 있습니다. 그동안 경험 했던, 카카오뱅크의 MLOps를 공유 드리려고 합니다. 많은 관심 부탁드립니다. 감사합니다. 발표자료 보기 👉https://speakerde...
데브옵스 · 인프라 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼 본 세션에서는 Kubernetes 기반 MLOps 플랫폼을 전사적으로 운영한 경험을 바탕으로 효율적인 GPU 자원 운영을 위한 쿼터 할당 시스템, 스케줄링 전략, 그리고 SRE 관점의 실전 사례를 공유합니다. 목차 1. 팀네이버 GPU 효율화를 위한 MLXP 멀티테넌트 클러스터 - 한정된 GPU 자원 운영의 한계 - Kubernetes 기반 쿼터 시스템 아키텍처 - GPU 운영 효율화를 위한 할당·회수 정책 및 자동화 전략 2. GPU 활용 극대화를 위한 스케줄링 전략과 구현 - 자원 파편화 문제 및 고도화된 스케줄러의 필요성 (feat. Volcano) - Distributed Bin-packing 알고리즘 - 분산 학습 및 개발용 Specialized Node Pool 구성 - Workload Category별 Preemption 전...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 엔지니어링데이 2025
ARC로 확장가능한 GPU 서비스 개발 인프라 구축하기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] Actions Runner Controller 를 사용하여 Kubernetes 클러스터 위에서 GPU 서비스 개발을 위한 CICD 인프라를 확장 가능한 형태로 구축하는 방법을 소개합니다. [발표 대상] - Github Actions 등 CICD 인프라를 구축하려는 엔지니어 - 자동화된 GPU Testing 파이프라인을 구축하려는 엔지니어 - Scalable CICD 를 구현하고자 하는 엔지니어 [목차] 1. CICD, Scalability, 그리고 GPU 2. Actions Runner Controller (ARC) 3. CICD for GPU Service on ARC 4. SNOW의 Scalable CICD Infrastructure
데브옵스 · 인프라
문서 김왕수
