NSML: 대규모 HPC 클러스터의 효율적 활용을 위한 Scheduler, Monitoring, Diagnostics
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
팀별로 GPU를 소유하던 환경에서는 자원 파편화와 수요 변동, 대규모 분산학습의 어려움 때문에 HPC 클러스터의 할당률과 활용률을 높이기 어려웠습니다. 이를 위해 InfiniBand와 고속 스토리지를 갖춘 NSML 클러스터에 리소스 유형, 사용 중인 호스트 우선 배치, 실험 규모별 파드 구역, 우선순위 스코어링과 예약 기능을 적용했습니다. 또한 GPU 단위 유닛 시각화와 사용자별 레이아웃을 제공하는 NSML Insight를 만들고, GPU 지표의 프리뷰·클러스터링·상관관계 분석으로 분산학습의 이상 대상과 구간을 찾는 진단 도구를 구축했습니다. 저사용 자원 회수와 통신 장애로 인한 동기화 병목의 조기 발견 사례를 통해, 스케줄링·모니터링·진단을 함께 설계해야 대규모 클러스터의 자원 낭비를 줄일 수 있음을 보여줬습니다.
- GPU뿐 아니라 CPU·메모리 등 호스트에 묶인 자원과 실험 규모를 함께 고려해 리소스 유형을 설계하면 파편화를 줄일 수 있습니다.
- 사용 중인 호스트부터 배치하는 정책과 실험 규모별 클러스터 구역을 조합해 대규모 작업이 들어갈 공간을 확보할 수 있습니다.
- GPU를 유닛 단위로 시각화하고 레이아웃을 계층적으로 구성하면 운영자와 사용자에게 필요한 클러스터 뷰를 각각 만들 수 있습니다.
- 분산학습 진단에서는 모든 지표를 한꺼번에 살피기보다 GPU별 패턴·클러스터링·지표 상관관계로 분석 대상과 시간 구간을 좁히는 것이 효과적입니다.
소개
[DEVIEW 2023] * 발표자 : 박흥석, 조애리, 이하영(NAVER Cloud) * 발표제목 : NSML: 대규모 HPC 클러스터의 효율적 활용을 위한 Scheduler, Monitoring, Diagnostics * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 당근 밋업
ML Infrastructure with GCP | 2025 당근 GCP 밋업
컨퍼런스 DEVIEW 2023
ML/AI 개발자를 위한 단계별 Python 최적화 가이드라인
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼 본 세션에서는 Kubernetes 기반 MLOps 플랫폼을 전사적으로 운영한 경험을 바탕으로 효율적인 GPU 자원 운영을 위한 쿼터 할당 시스템, 스케줄링 전략, 그리고 SRE 관점의 실전 사례를 공유합니다. 목차 1. 팀네이버 GPU 효율화를 위한 MLXP 멀티테넌트 클러스터 - 한정된 GPU 자원 운영의 한계 - Kubernetes 기반 쿼터 시스템 아키텍처 - GPU 운영 효율화를 위한 할당·회수 정책 및 자동화 전략 2. GPU 활용 극대화를 위한 스케줄링 전략과 구현 - 자원 파편화 문제 및 고도화된 스케줄러의 필요성 (feat. Volcano) - Distributed Bin-packing 알고리즘 - 분산 학습 및 개발용 Specialized Node Pool 구성 - Workload Category별 Preemption 전...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 엔지니어링데이 2025
레거시 GPU에 날개 달기: 극한의 서빙 최적화 가이드
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 이 세션에서는 BERT기반 모델인 SPLADE모델의 대규모 실시간 서비스를 위한 최적화 방법에 대해서 이야기 합니다. 세상에서 가장 빠른 BertTokenizer 구현체인 FlashTokenizer 의 개발 배경과 성능에 대해 소개합니다. [강의 대상] 실시간 서빙을 위한 모델 추론 최적화가 필요하신 분들 [목차] - Introduction - Model Simplify - Inference Optimization(basic) - Postprocess Optimization - Preprocess Optimization - Inference Optimization(advanced) - Service
데브옵스 · 인프라 자연어 처리
컨퍼런스 엔지니어링데이 2025
Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 대규모 쿠버네티스 GPU 클러스터에서 자체 HPA 시스템 구축을 통해 글로벌 유저 트래픽에 동적으로 대응하는 AI 서비스 오토스케일링을 적용한 사례를 소개합니다. [발표 대상] * AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 * AI 서비스 오토스케일링을 Kubernetes 에서 도입하고자 하는 엔지니어 * 기본 HPA 보다 고도화된 방법으로 오토스케일링을 도입하고자 하는 엔지니어 [목차] * 왜 SNOW는 GPU orchestration이 필요한가 * GPU 기반 서비스의 오토스케일링이 어려운 이유 * KEDA: Event-Driven Autoscaler * SNOW의 GPU Orchestration 시스템
데브옵스 · 인프라 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 엔지니어링데이 2025
대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(10월)에서 발표되었던 세션을 공개합니다. [발표 내용] 스노우 AI 서비스의 운영 개선을 위해 기존 GPU 서버 인프라를 Kubernetes 클러스터로 이전하는 과정에서 맞닥뜨린 기술적 문제들과 해결 방법을 공유합니다. [대상] AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 [목차] - SNOW, AI, GPU, 그리고 Kubernetes - GPU 인프라 이전을 위한 고려 사항 - Kubernetes와 유연한 GPU 자원 스케쥴링 - Kubernetes GPU 클러스터의 미래
데브옵스 · 인프라 클라우드