![[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼](https://i.ytimg.com/vi/RUlE4CVGL_A/maxresdefault.jpg)
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼
DAN 2025 네이버 · YouTube
AI 핵심 요약
팀별 GPU 독점으로 인한 자원 편중, 파편화, 이기종 장비 관리 문제를 해결하기 위해 Kubernetes 기반 MLXP 멀티테넌트 클러스터와 워크스페이스별 쿼터 시스템을 구축했다. GPU·CPU·메모리 사양을 머신 프로파일로 표준화하고, Volcano를 확장해 우선순위와 워크로드 특성을 반영한 스케줄링, 분산 빈 패킹, 네트워크 토폴로지 기반 갱 스케줄링을 적용했다. 또한 Prometheus·VictoriaMetrics·Grafana로 장애를 감지하고, 오퍼레이터 패턴의 Repair Bot이 노드 복구와 검증을 수행하도록 자동화했다. 시범 클러스터에서 Repair Bot 도입 후 장애 인지 시간은 평균 1분 41초에서 1.22초로 줄었으며, 반복적인 운영 업무를 자동화해 개발자가 핵심 업무에 집중할 수 있다는 점을 공유했다.
- 팀별 전용 GPU 풀만으로 운영하면 자원 편중과 장애 시 대체 노드 부족이 생기므로, 공유 풀과 워크스페이스별 쿼터를 함께 설계한다.
- GPU 개수만으로는 이기종 노드의 실제 수용량을 판단하기 어렵다. GPU·CPU·메모리 사양을 머신 프로파일과 그룹으로 표준화해 스케줄링에 반영한다.
- 분산 학습에는 갱 스케줄링뿐 아니라 노드 간 고속 통신 토폴로지 정보도 필요하며, Volcano의 HyperNode CRD로 이를 표현할 수 있다.
- 빈 패킹은 자원 파편화를 줄이지만 서빙 가용성을 낮출 수 있으므로, 최소 분산 노드 수를 확보한 뒤 빈 패킹하는 전략을 적용한다.
- 장애 알림과 복구 절차를 오퍼레이터 패턴의 Repair Bot으로 자동화하면 대응 지연과 반복적인 온콜 업무를 줄일 수 있다.
소개
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼 본 세션에서는 Kubernetes 기반 MLOps 플랫폼을 전사적으로 운영한 경험을 바탕으로 효율적인 GPU 자원 운영을 위한 쿼터 할당 시스템, 스케줄링 전략, 그리고 SRE 관점의 실전 사례를 공유합니다. 목차 1. 팀네이버 GPU 효율화를 위한 MLXP 멀티테넌트 클러스터 - 한정된 GPU 자원 운영의 한계 - Kubernetes 기반 쿼터 시스템 아키텍처 - GPU 운영 효율화를 위한 할당·회수 정책 및 자동화 전략 2. GPU 활용 극대화를 위한 스케줄링 전략과 구현 - 자원 파편화 문제 및 고도화된 스케줄러의 필요성 (feat. Volcano) - Distributed Bin-packing 알고리즘 - 분산 학습 및 개발용 Specialized Node Pool 구성 - Workload Category별 Preemption 전...
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
NSML: 대규모 HPC 클러스터의 효율적 활용을 위한 Scheduler, Monitoring, Diagnostics
컨퍼런스 엔지니어링데이 2025
Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] AI/ML 분산 처리 프레임워크인 Ray를 활용하여 GPU Util 100%를 달성한 배치처리 기법과 확장 가능한 모델 서빙 아키텍처를 소개합니다. [발표 대상] 배치 파이프라인 설계와 모델 서빙 자동화를 담당하는 분 Ray 기반 인프라 운영 및 GPU 클러스터 관리 업무를 수행하는 분 Ray Serve를 활용해 고성능 모델 서빙 API를 설계·배포·운영하는 분 Ray LLM(vLLM) 기반 LLM 추론 파이프라인을 구성·확장하고, 내부 모델 레지스트리를 연동하는 분 [목차] 1. Introduction to Ray - Ray에 대한 소개 및 Core Architecture에 대한 이해 2. Ray Data: GPU Util 100% Bach Inference를 위한 수난기 - 기존 구조와 도입된 구조 비교 - TroubleShooti...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 엔지니어링데이 2025
Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 대규모 쿠버네티스 GPU 클러스터에서 자체 HPA 시스템 구축을 통해 글로벌 유저 트래픽에 동적으로 대응하는 AI 서비스 오토스케일링을 적용한 사례를 소개합니다. [발표 대상] * AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 * AI 서비스 오토스케일링을 Kubernetes 에서 도입하고자 하는 엔지니어 * 기본 HPA 보다 고도화된 방법으로 오토스케일링을 도입하고자 하는 엔지니어 [목차] * 왜 SNOW는 GPU orchestration이 필요한가 * GPU 기반 서비스의 오토스케일링이 어려운 이유 * KEDA: Event-Driven Autoscaler * SNOW의 GPU Orchestration 시스템
데브옵스 · 인프라 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 엔지니어링데이 2025
대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(10월)에서 발표되었던 세션을 공개합니다. [발표 내용] 스노우 AI 서비스의 운영 개선을 위해 기존 GPU 서버 인프라를 Kubernetes 클러스터로 이전하는 과정에서 맞닥뜨린 기술적 문제들과 해결 방법을 공유합니다. [대상] AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 [목차] - SNOW, AI, GPU, 그리고 Kubernetes - GPU 인프라 이전을 위한 고려 사항 - Kubernetes와 유연한 GPU 자원 스케쥴링 - Kubernetes GPU 클러스터의 미래
데브옵스 · 인프라 클라우드
문서 이상협
Kurly만의 MLOps 구축하기 - 초석 다지기
컨퍼런스 kt cloud Summit 2025