![[Track2] Session_08_GPU 클라우드 환경에서의 회복탄력적 AI 운영: 훈련 및 추론을 위한 견고한 아키텍처와 전략_신정규_래블업 대표](https://i.ytimg.com/vi/Bfhvw2OMEnM/maxresdefault.jpg)
[Track2] Session_08_GPU 클라우드 환경에서의 회복탄력적 AI 운영: 훈련 및 추론을 위한 견고한 아키텍처와 전략_신정규_래블업 대표
kt cloud Summit 2025 kt cloud · YouTube
AI 핵심 요약
GPU 클라우드는 높은 전력·냉각 비용과 짧은 하드웨어 수명뿐 아니라, 장치별 성능 편차와 잦은 메모리 오류 때문에 CPU 중심 인프라보다 운영과 스케줄링이 까다롭습니다. 발표자는 GPU 상태를 측정해 느리거나 오류가 있는 장치를 작업에서 제외하고, 성능이 비슷한 장치끼리 묶으며, MIG·MPS 같은 GPU 분할과 탄력적 훈련으로 장애 영향을 줄이는 방법을 설명했습니다. 훈련에서는 체크포인트 저장을 빠르게 하는 GPU Direct Storage 등을 활용하고, 추론에서는 게이트웨이에 컨텍스트를 보관해 GPU 컨테이너가 교체돼도 서비스를 이어가는 전략을 제시했습니다. 안정적인 AI 운영에는 하드웨어와 소프트웨어를 함께 이해하고, 장애를 전제로 측정·격리·복구 체계를 설계해야 한다는 점이 핵심입니다.
- GPU 클러스터에서는 가장 느린 장치가 동기화 작업의 전체 속도를 좌우하므로, 장치별 성능 편차를 측정하고 비슷한 성능끼리 묶는 편이 좋습니다.
- NVIDIA DCGM은 상세한 진단에 유용하지만 운영 중 성능 부담이 생길 수 있어, 필요한 지표만 선별해 수집하는 방식을 고려해야 합니다.
- 훈련 작업은 체크포인트 저장 시간과 저장 빈도 사이의 균형을 잡고, 장애가 나도 남은 GPU로 계속 진행할 수 있는 탄력적 실행을 설계할 수 있습니다.
- 추론 서비스는 게이트웨이에 컨텍스트를 보관하면 GPU 컨테이너 장애 시에도 다른 컨테이너로 요청을 이어갈 수 있습니다.
비슷한 학습 자료
컨퍼런스 엔지니어링데이 2025
Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 대규모 쿠버네티스 GPU 클러스터에서 자체 HPA 시스템 구축을 통해 글로벌 유저 트래픽에 동적으로 대응하는 AI 서비스 오토스케일링을 적용한 사례를 소개합니다. [발표 대상] * AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 * AI 서비스 오토스케일링을 Kubernetes 에서 도입하고자 하는 엔지니어 * 기본 HPA 보다 고도화된 방법으로 오토스케일링을 도입하고자 하는 엔지니어 [목차] * 왜 SNOW는 GPU orchestration이 필요한가 * GPU 기반 서비스의 오토스케일링이 어려운 이유 * KEDA: Event-Driven Autoscaler * SNOW의 GPU Orchestration 시스템
데브옵스 · 인프라 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 kt cloud Summit 2025
Keynote1_최지웅 CEO, 공용준 Cloud본부장, 허영만 DC본부장
컨퍼런스 kt cloud Summit 2025
[Track2]Session_07_한국적 AI를 위한 추론 인프라 kt cloud와 리벨리온이 만들어가는 한국적 AI_김광정_리벨리온 사업총괄_kt cloud summit 2025
컨퍼런스 kt cloud Summit 2025
[Track2] Session_06_kt cloud AI Service Roadmap_정미진_kt cloud AI사업팀_kt cloud summit 2025
컨퍼런스 kt cloud Summit 2025
[Track2] Session_04_kt cloud AI 데이터센터 Cooling_정상수_kt cloud DC전력기술팀_kt cloud summit 2025
컨퍼런스 kt cloud Summit 2025