Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
SNOW는 다양한 AI 콘텐츠와 모델을 GPU 클러스터에서 서빙하면서, 샤드별 트래픽 변화에 수동으로 대응할 때 자원 낭비와 급격한 트래픽 증가에 따른 요청 누락을 겪었다. CPU·메모리나 노드 단위 GPU 지표로는 파드별 부하와 콘텐츠별 처리 특성을 반영하기 어려워, KEDA의 RabbitMQ 스케일러를 검토한 뒤 처리 중인 메시지가 빠지는 문제를 해결하기 위해 Metrics API Scaler와 Python 기반 커스텀 메트릭 서버를 구축했다. 서버가 큐의 처리 중 메시지 수와 컨슈머 수를 수집해 비율을 계산하고, KEDA와 HPA가 이를 기준으로 GPU 워크로드를 조절하도록 구성했으며 서비스별로 확장·축소 속도와 안정화 윈도우도 달리했다. 그 결과 트래픽에 맞춰 GPU 워크로드를 자동 조정하고 수동 대응과 유휴 자원을 줄였으며, 커스텀 메트릭 서버 운영과 자원 부족 시 우선순위 제어는 후속 과제로 남았다.
- GPU 사용률만으로 스케일링하기 어렵다면, 서비스의 실제 작업 흐름을 나타내는 지표를 찾아야 한다.
- 비동기 작업에서는 큐 대기 메시지뿐 아니라 처리 중인 메시지도 부하 계산에 포함해야 스케일 다운으로 인한 병목을 막을 수 있다.
- KEDA의 Metrics API Scaler와 커스텀 메트릭 서버를 이용하면 기본 제공 지표에 없는 값을 HPA에 전달할 수 있다.
- 폴링 간격과 안정화 윈도우를 조정하고, 서비스 중요도에 따라 확장·축소 속도를 다르게 설정한다.
- 오토스케일링을 도입해도 메트릭 서버 운영과 GPU 자원 부족 시 워크로드 우선순위 조정은 별도 과제로 남는다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 대규모 쿠버네티스 GPU 클러스터에서 자체 HPA 시스템 구축을 통해 글로벌 유저 트래픽에 동적으로 대응하는 AI 서비스 오토스케일링을 적용한 사례를 소개합니다. [발표 대상] * AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 * AI 서비스 오토스케일링을 Kubernetes 에서 도입하고자 하는 엔지니어 * 기본 HPA 보다 고도화된 방법으로 오토스케일링을 도입하고자 하는 엔지니어 [목차] * 왜 SNOW는 GPU orchestration이 필요한가 * GPU 기반 서비스의 오토스케일링이 어려운 이유 * KEDA: Event-Driven Autoscaler * SNOW의 GPU Orchestration 시스템
비슷한 학습 자료
컨퍼런스 if kakao
if(kakao)25 GPU 도입부터 LLMOps 구축, 그리고 이를 기반으로 LLM을 활용한 AI 에이전트 및 워크플로우 개발을 위한 플랫폼 개발 과정을 소개합니다. #TECH #AI #LLM 카카오페이에서 DevOps 업무를 담당하고 있는 유수지(stella.yu)입니다. 카카오페이에서 서버개발을 담당하고 있는 최원호(wayne.cai)입니다. AI Native 업무에 관심이 많습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=42 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼 본 세션에서는 Kubernetes 기반 MLOps 플랫폼을 전사적으로 운영한 경험을 바탕으로 효율적인 GPU 자원 운영을 위한 쿼터 할당 시스템, 스케줄링 전략, 그리고 SRE 관점의 실전 사례를 공유합니다. 목차 1. 팀네이버 GPU 효율화를 위한 MLXP 멀티테넌트 클러스터 - 한정된 GPU 자원 운영의 한계 - Kubernetes 기반 쿼터 시스템 아키텍처 - GPU 운영 효율화를 위한 할당·회수 정책 및 자동화 전략 2. GPU 활용 극대화를 위한 스케줄링 전략과 구현 - 자원 파편화 문제 및 고도화된 스케줄러의 필요성 (feat. Volcano) - Distributed Bin-packing 알고리즘 - 분산 학습 및 개발용 Specialized Node Pool 구성 - Workload Category별 Preemption 전...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 엔지니어링데이 2025
ARC로 확장가능한 GPU 서비스 개발 인프라 구축하기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] Actions Runner Controller 를 사용하여 Kubernetes 클러스터 위에서 GPU 서비스 개발을 위한 CICD 인프라를 확장 가능한 형태로 구축하는 방법을 소개합니다. [발표 대상] - Github Actions 등 CICD 인프라를 구축하려는 엔지니어 - 자동화된 GPU Testing 파이프라인을 구축하려는 엔지니어 - Scalable CICD 를 구현하고자 하는 엔지니어 [목차] 1. CICD, Scalability, 그리고 GPU 2. Actions Runner Controller (ARC) 3. CICD for GPU Service on ARC 4. SNOW의 Scalable CICD Infrastructure
데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(10월)에서 발표되었던 세션을 공개합니다. [발표 내용] 스노우 AI 서비스의 운영 개선을 위해 기존 GPU 서버 인프라를 Kubernetes 클러스터로 이전하는 과정에서 맞닥뜨린 기술적 문제들과 해결 방법을 공유합니다. [대상] AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 [목차] - SNOW, AI, GPU, 그리고 Kubernetes - GPU 인프라 이전을 위한 고려 사항 - Kubernetes와 유연한 GPU 자원 스케쥴링 - Kubernetes GPU 클러스터의 미래
데브옵스 · 인프라 클라우드
컨퍼런스 엔지니어링데이 2025
AI 경량화: 더 빠르고 저렴한 AI 서비스 - 백동원_NE DAY 23. 10
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY(10월)에서 발표되었던 세션을 공개합니다. ----- [발표 내용] * AI 경량화 삽질기 (feat. LaRva) - Quantization과 삽질기 - Pruning과 삽질기 - Low-Rank와 삽질기 - Knowledge Distillation과 삽질기 * AI 경량화 Benefits & Risks - 전력 소모 단위에서의 AI 경량화 - 각종 논문에서의 AI 경량화 안정성 반증 - AI 경량화에서 얻을 수 있는 Benefits - AI 경량화를 할 때 대비해야 하는 Risks
딥러닝 · 머신러닝
컨퍼런스 kt cloud Summit 2025