Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
기존 GPU 배치 파이프라인은 전처리와 추론 단계가 분리된 서버 구조로 GPU 유휴 시간이 컸고, Ray Data 도입 뒤에도 노드별 Conda 환경 누락, CPU 작업의 블록 분할, 오브젝트 스토어 스필 문제가 발생했습니다. 발표팀은 노드 이미지에 Conda 환경을 포함하고 블록 수와 오퍼레이터 퓨전을 조정했으며 오브젝트 스토어 메모리를 늘려 GPU 활용률을 안정적으로 높였습니다. 이어 Ray Serve의 Deployment Handle로 배치 코드와 서빙 코드를 연결하고, 요청 패턴에 맞춰 동적 배칭을 조정해 처리 효율과 코드 재사용성을 확보했습니다. Ray LLM 운영에서는 GPU 구성 자동 최적화, 텐서 병렬도별 배치 설정, 빌드 통합과 가이드 JSON 관련 수정 사례를 공유하며 분산 추론 환경에 맞춘 운영 자동화의 중요성을 짚었습니다.
- Ray Data의 블록 분할과 오퍼레이터 퓨전이 CPU 워커 수와 GPU로 전달되는 작업량에 영향을 주므로 실행 계획을 확인하며 조정하세요.
- Ray Serve의 Deployment Handle은 내부 통신에 적합하고, HTTP API는 외부 요청 경로에 적합하므로 호출 목적에 맞춰 선택하세요.
- 동적 배칭은 최대 배치 크기만 키우기보다 요청 빈도와 버스트 여부에 맞춰 대기 시간을 함께 튜닝해야 합니다.
- 모델 추론 로직과 배포 설정을 분리하면 배치와 서빙에서 코드를 재사용하면서 런타임별 패키지 의존성도 관리할 수 있습니다.
- Ray LLM을 여러 GPU 클러스터에서 운영할 때는 GPU 메모리와 텐서 병렬도에 맞춰 배포 설정을 자동화하고, 빌드 파편화를 줄이는 방안을 고려하세요.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] AI/ML 분산 처리 프레임워크인 Ray를 활용하여 GPU Util 100%를 달성한 배치처리 기법과 확장 가능한 모델 서빙 아키텍처를 소개합니다. [발표 대상] 배치 파이프라인 설계와 모델 서빙 자동화를 담당하는 분 Ray 기반 인프라 운영 및 GPU 클러스터 관리 업무를 수행하는 분 Ray Serve를 활용해 고성능 모델 서빙 API를 설계·배포·운영하는 분 Ray LLM(vLLM) 기반 LLM 추론 파이프라인을 구성·확장하고, 내부 모델 레지스트리를 연동하는 분 [목차] 1. Introduction to Ray - Ray에 대한 소개 및 Core Architecture에 대한 이해 2. Ray Data: GPU Util 100% Bach Inference를 위한 수난기 - 기존 구조와 도입된 구조 비교 - TroubleShooti...
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] MLXP: GPU 효율화를 선도하는 대규모 MLOps 플랫폼 본 세션에서는 Kubernetes 기반 MLOps 플랫폼을 전사적으로 운영한 경험을 바탕으로 효율적인 GPU 자원 운영을 위한 쿼터 할당 시스템, 스케줄링 전략, 그리고 SRE 관점의 실전 사례를 공유합니다. 목차 1. 팀네이버 GPU 효율화를 위한 MLXP 멀티테넌트 클러스터 - 한정된 GPU 자원 운영의 한계 - Kubernetes 기반 쿼터 시스템 아키텍처 - GPU 운영 효율화를 위한 할당·회수 정책 및 자동화 전략 2. GPU 활용 극대화를 위한 스케줄링 전략과 구현 - 자원 파편화 문제 및 고도화된 스케줄러의 필요성 (feat. Volcano) - Distributed Bin-packing 알고리즘 - 분산 학습 및 개발용 Specialized Node Pool 구성 - Workload Category별 Preemption 전...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 엔지니어링데이 2025
ARC로 확장가능한 GPU 서비스 개발 인프라 구축하기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] Actions Runner Controller 를 사용하여 Kubernetes 클러스터 위에서 GPU 서비스 개발을 위한 CICD 인프라를 확장 가능한 형태로 구축하는 방법을 소개합니다. [발표 대상] - Github Actions 등 CICD 인프라를 구축하려는 엔지니어 - 자동화된 GPU Testing 파이프라인을 구축하려는 엔지니어 - Scalable CICD 를 구현하고자 하는 엔지니어 [목차] 1. CICD, Scalability, 그리고 GPU 2. Actions Runner Controller (ARC) 3. CICD for GPU Service on ARC 4. SNOW의 Scalable CICD Infrastructure
데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
레거시 GPU에 날개 달기: 극한의 서빙 최적화 가이드
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 이 세션에서는 BERT기반 모델인 SPLADE모델의 대규모 실시간 서비스를 위한 최적화 방법에 대해서 이야기 합니다. 세상에서 가장 빠른 BertTokenizer 구현체인 FlashTokenizer 의 개발 배경과 성능에 대해 소개합니다. [강의 대상] 실시간 서빙을 위한 모델 추론 최적화가 필요하신 분들 [목차] - Introduction - Model Simplify - Inference Optimization(basic) - Postprocess Optimization - Preprocess Optimization - Inference Optimization(advanced) - Service
데브옵스 · 인프라 자연어 처리
컨퍼런스 엔지니어링데이 2025
Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 대규모 쿠버네티스 GPU 클러스터에서 자체 HPA 시스템 구축을 통해 글로벌 유저 트래픽에 동적으로 대응하는 AI 서비스 오토스케일링을 적용한 사례를 소개합니다. [발표 대상] * AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 * AI 서비스 오토스케일링을 Kubernetes 에서 도입하고자 하는 엔지니어 * 기본 HPA 보다 고도화된 방법으로 오토스케일링을 도입하고자 하는 엔지니어 [목차] * 왜 SNOW는 GPU orchestration이 필요한가 * GPU 기반 서비스의 오토스케일링이 어려운 이유 * KEDA: Event-Driven Autoscaler * SNOW의 GPU Orchestration 시스템
데브옵스 · 인프라 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 FEConf 2025 A트랙
FEConf 2025 [A5] 프론트엔드에서 1,000만 개 데이터를 실시간으로 처리하라고요? WebGL2를 활용한 GPGPU의 세계로
컨퍼런스 FEConf 2025 A트랙
FEConf 2025 2025.8.23 11:00 ~ 17:40 세종대학교 광개토관 컨벤션센터 TRACK A-5 프론트엔드에서 1,000만 개 데이터를 실시간으로 처리하라고요? WebGL2를 활용한 GPGPU의 세계로 김한슬마로 | Portrai Inc. AI 기술의 확산으로 산업 전반에서 데이터의 규모와 중요성이 급격히 커지고 있습니다. 이에 따라 백엔드뿐만 아니라 프론트엔드에서도, 브라우저 상에서 대규모 데이터를 실시간으로 분석하고 시각화하려는 요구가 빠르게 증가하고 있습니다. 이번 세션에서는 이러한 흐름에 맞춰, GPU 가속을 활용해 브라우저 내에서 데이터를 효과적으로 처리하는 기술을 소개합니다.
프론트엔드 컴퓨터 비전
컨퍼런스 kt cloud Summit 2025