문서

고성능 GPU 클러스터 도입기 #2: 이주하는 데이터

김진웅 토스 · 토스 기술 블로그

AI 핵심 요약

LLM 클러스터는 GPU 성능만 높여서는 충분하지 않고, 스토리지·GPU·서버 사이에서 데이터가 이동하는 통신 비용이 전체 성능의 병목이 될 수 있습니다. 글은 워크로드를 모니터링해 병목을 파악한 뒤, 스토리지 전송에는 NVMe SSD, 서버 내부 GPU 통신에는 NVLink와 NVSwitch, 서버 간 통신에는 인피니밴드를 적용하는 방식을 설명합니다. 특히 NVSwitch로 여러 GPU가 NVLink 대역폭을 효율적으로 공유하고, 인피니밴드의 GPU 직접 전송으로 서버 간 데이터 복사를 줄이는 구성을 소개합니다. 클러스터는 비용과 시간이 많이 드는 만큼, 장비를 일괄적으로 최고 사양으로 맞추기보다 측정 결과와 PCIe 구조에 맞춰 설계해야 한다는 점이 핵심입니다.

클러스터 장비를 고르기 전에 모니터링으로 워크로드의 통신량과 병목 구간을 측정하세요.
스토리지에서 GPU로 데이터를 자주 옮긴다면 SATA 대신 PCIe에 직접 연결되는 NVMe SSD를 검토할 수 있습니다.
NVLink는 서버 내부 GPU 통신을 빠르게 하고, NVSwitch는 여러 GPU가 링크를 나누지 않고 대역폭을 활용하도록 돕습니다.
서버 간 GPU 통신에서는 GPU 메모리에서 네트워크로 직접 데이터를 보내는 인피니밴드와 HCA 구성을 고려하세요.
인피니밴드 카드 수와 대역폭은 PCIe 스위치 구조와 워크로드에 맞춰 정하고, 케이블 길이는 구축 전에 신중히 설계해야 합니다.

소개

이번 포스트에서는 토스증권에서 어떻게 고성능 GPU 클러스터를 구축했는지 자세히 공유하겠습니다.

비슷한 학습 자료

컨퍼런스 DAN 2025

[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼

컨퍼런스 DAN 2025

[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼 본 세션에서는 Kubernetes 기반 MLOps 플랫폼을 전사적으로 운영한 경험을 바탕으로 효율적인 GPU 자원 운영을 위한 쿼터 할당 시스템, 스케줄링 전략, 그리고 SRE 관점의 실전 사례를 공유합니다. 목차 1. 팀네이버 GPU 효율화를 위한 MLXP 멀티테넌트 클러스터 - 한정된 GPU 자원 운영의 한계 - Kubernetes 기반 쿼터 시스템 아키텍처 - GPU 운영 효율화를 위한 할당·회수 정책 및 자동화 전략 2. GPU 활용 극대화를 위한 스케줄링 전략과 구현 - 자원 파편화 문제 및 고도화된 스케줄러의 필요성 (feat. Volcano) - Distributed Bin-packing 알고리즘 - 분산 학습 및 개발용 Specialized Node Pool 구성 - Workload Category별 Preemption 전...

데브옵스 · 인프라 딥러닝 · 머신러닝

컨퍼런스 엔지니어링데이 2025

대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기

컨퍼런스 엔지니어링데이 2025

네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(10월)에서 발표되었던 세션을 공개합니다. [발표 내용] 스노우 AI 서비스의 운영 개선을 위해 기존 GPU 서버 인프라를 Kubernetes 클러스터로 이전하는 과정에서 맞닥뜨린 기술적 문제들과 해결 방법을 공유합니다. [대상] AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 [목차] - SNOW, AI, GPU, 그리고 Kubernetes - GPU 인프라 이전을 위한 고려 사항 - Kubernetes와 유연한 GPU 자원 스케쥴링 - Kubernetes GPU 클러스터의 미래

데브옵스 · 인프라 클라우드