토스증권이 GPU-aware를 넘어 GPU-native 클러스터를 구축한 방법
장재영/김진웅 토스 · 토스 기술 블로그
AI 핵심 요약
GPU를 쿠버네티스 자원으로 등록해 컨테이너에서 쓰게 하는 것만으로는 개별 GPU 오류 감지, 노드 투입 판단, 서비스별 자원 배치 문제를 해결할 수 없었습니다. 토스증권은 nvidia-validator를 보완한 readiness DaemonSet과 DCGM Exporter, Xid 알럿을 연결해 Node Ready와 GPU Ready를 구분하고, 표준 구성부터 CUDA·LLM 서빙까지 확인하는 preflight를 통과한 노드만 서비스에 투입했습니다. 자원 제공에는 MIG와 MIG Manager를 도입하고, MIG 조각을 물리 GPU 한 장부터 채우는 Packed Allocation을 NVIDIA k8s-device-plugin에 기여해 v0.20.0부터 설정으로 사용할 수 있게 했습니다. GPU-native 클러스터를 만들려면 GPU 인식과 할당을 넘어 상태 관측, 검증된 투입 절차, 워크로드에 맞는 분할·배치 정책까지 운영 체계에 포함해야 한다는 점을 보여 줍니다.
- Node Ready와 Pod Running만으로 GPU의 개별 장치 상태나 CUDA 실행 경로의 정상 여부를 보장할 수 없습니다.
- nvidia-smi의 종료 코드만 확인하지 말고 ERR! 출력, 치명적 Xid, 실제 GPU 수와 Device Plugin 노출 수의 차이도 readiness 판정에 반영하세요.
- 신규·복구 노드는 표준 구성, 하드웨어 부하, CUDA 연산, 실제 모델 서빙까지 검증한 뒤 스케줄링에 투입하세요.
- MIG Manager로 인스턴스 구성을 선언적으로 관리하고, Packed Allocation으로 MIG 조각을 한 GPU부터 채우면 비어 있는 GPU를 확보하기 쉽습니다.
- GPU 할당은 장치 선택까지이며 VRAM 용량이나 연산 비율을 쿠버네티스가 cgroup처럼 직접 제한하는 것은 아닙니다.
소개
토스증권이 Kubernetes GPU 클러스터의 운영 한계를 해결한 방법
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼 본 세션에서는 Kubernetes 기반 MLOps 플랫폼을 전사적으로 운영한 경험을 바탕으로 효율적인 GPU 자원 운영을 위한 쿼터 할당 시스템, 스케줄링 전략, 그리고 SRE 관점의 실전 사례를 공유합니다. 목차 1. 팀네이버 GPU 효율화를 위한 MLXP 멀티테넌트 클러스터 - 한정된 GPU 자원 운영의 한계 - Kubernetes 기반 쿼터 시스템 아키텍처 - GPU 운영 효율화를 위한 할당·회수 정책 및 자동화 전략 2. GPU 활용 극대화를 위한 스케줄링 전략과 구현 - 자원 파편화 문제 및 고도화된 스케줄러의 필요성 (feat. Volcano) - Distributed Bin-packing 알고리즘 - 분산 학습 및 개발용 Specialized Node Pool 구성 - Workload Category별 Preemption 전...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 엔지니어링데이 2025
Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 대규모 쿠버네티스 GPU 클러스터에서 자체 HPA 시스템 구축을 통해 글로벌 유저 트래픽에 동적으로 대응하는 AI 서비스 오토스케일링을 적용한 사례를 소개합니다. [발표 대상] * AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 * AI 서비스 오토스케일링을 Kubernetes 에서 도입하고자 하는 엔지니어 * 기본 HPA 보다 고도화된 방법으로 오토스케일링을 도입하고자 하는 엔지니어 [목차] * 왜 SNOW는 GPU orchestration이 필요한가 * GPU 기반 서비스의 오토스케일링이 어려운 이유 * KEDA: Event-Driven Autoscaler * SNOW의 GPU Orchestration 시스템
데브옵스 · 인프라 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 엔지니어링데이 2025
대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(10월)에서 발표되었던 세션을 공개합니다. [발표 내용] 스노우 AI 서비스의 운영 개선을 위해 기존 GPU 서버 인프라를 Kubernetes 클러스터로 이전하는 과정에서 맞닥뜨린 기술적 문제들과 해결 방법을 공유합니다. [대상] AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 [목차] - SNOW, AI, GPU, 그리고 Kubernetes - GPU 인프라 이전을 위한 고려 사항 - Kubernetes와 유연한 GPU 자원 스케쥴링 - Kubernetes GPU 클러스터의 미래
데브옵스 · 인프라 클라우드
