레거시 GPU에 날개 달기: 극한의 서빙 최적화 가이드
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
2017년 출시된 V100 GPU에서 대규모 실시간 SPLADE 검색 랭킹 모델을 운영하면서, 제한된 GPU 자원과 장애 가능성을 고려해 서빙 전 과정을 최적화했다. 추론 그래프를 정리해 ONNX와 TensorRT로 변환하고, NumPy·Numba로 후처리를 개선했으며, 직접 개발한 FlashTokenizer로 전처리 속도도 높였다. 단계별 최적화와 MPS 기반 동시 실행을 결합해 전체 처리 성능을 끌어올렸고, Docker·Nginx와 예비 엔드포인트 및 타임아웃 우회로를 활용해 여러 GPU 환경에서 운영하는 방법을 소개했다. 최적화는 모델 추론에만 국한되지 않으며, 전처리·후처리와 장애 대응까지 함께 설계해야 한다는 점을 보여준다.
- 전처리·추론·후처리를 분리해 병목을 측정하고, CPU와 GPU 중 각 연산에 더 적합한 실행 위치를 선택한다.
- ONNX와 ONNX Simplifier를 거쳐 TensorRT 엔진을 만들되, 정밀도와 빌드 옵션은 모델·GPU별로 비교 실험한다.
- 후처리의 조건 분기를 NumPy 연산으로 바꾸고 Numba JIT를 적용하면 결과를 유지하면서 CPU 처리 시간을 줄일 수 있다.
- 토크나이저를 직접 구현할 때는 속도뿐 아니라 다국어 처리와 기존 구현체와의 정확도 차이도 검증해야 한다.
- MPS로 여러 추론 엔진을 한 GPU에서 실행할 때는 장애 대비 엔드포인트와 타임아웃 기반 우회 경로를 함께 설계한다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 이 세션에서는 BERT기반 모델인 SPLADE모델의 대규모 실시간 서비스를 위한 최적화 방법에 대해서 이야기 합니다. 세상에서 가장 빠른 BertTokenizer 구현체인 FlashTokenizer 의 개발 배경과 성능에 대해 소개합니다. [강의 대상] 실시간 서빙을 위한 모델 추론 최적화가 필요하신 분들 [목차] - Introduction - Model Simplify - Inference Optimization(basic) - Postprocess Optimization - Preprocess Optimization - Inference Optimization(advanced) - Service
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
ML/AI 개발자를 위한 단계별 Python 최적화 가이드라인
컨퍼런스 엔지니어링데이 2025
Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] AI/ML 분산 처리 프레임워크인 Ray를 활용하여 GPU Util 100%를 달성한 배치처리 기법과 확장 가능한 모델 서빙 아키텍처를 소개합니다. [발표 대상] 배치 파이프라인 설계와 모델 서빙 자동화를 담당하는 분 Ray 기반 인프라 운영 및 GPU 클러스터 관리 업무를 수행하는 분 Ray Serve를 활용해 고성능 모델 서빙 API를 설계·배포·운영하는 분 Ray LLM(vLLM) 기반 LLM 추론 파이프라인을 구성·확장하고, 내부 모델 레지스트리를 연동하는 분 [목차] 1. Introduction to Ray - Ray에 대한 소개 및 Core Architecture에 대한 이해 2. Ray Data: GPU Util 100% Bach Inference를 위한 수난기 - 기존 구조와 도입된 구조 비교 - TroubleShooti...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 엔지니어링데이 2025
Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 대규모 쿠버네티스 GPU 클러스터에서 자체 HPA 시스템 구축을 통해 글로벌 유저 트래픽에 동적으로 대응하는 AI 서비스 오토스케일링을 적용한 사례를 소개합니다. [발표 대상] * AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 * AI 서비스 오토스케일링을 Kubernetes 에서 도입하고자 하는 엔지니어 * 기본 HPA 보다 고도화된 방법으로 오토스케일링을 도입하고자 하는 엔지니어 [목차] * 왜 SNOW는 GPU orchestration이 필요한가 * GPU 기반 서비스의 오토스케일링이 어려운 이유 * KEDA: Event-Driven Autoscaler * SNOW의 GPU Orchestration 시스템
데브옵스 · 인프라 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 엔지니어링데이 2025
대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(10월)에서 발표되었던 세션을 공개합니다. [발표 내용] 스노우 AI 서비스의 운영 개선을 위해 기존 GPU 서버 인프라를 Kubernetes 클러스터로 이전하는 과정에서 맞닥뜨린 기술적 문제들과 해결 방법을 공유합니다. [대상] AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 [목차] - SNOW, AI, GPU, 그리고 Kubernetes - GPU 인프라 이전을 위한 고려 사항 - Kubernetes와 유연한 GPU 자원 스케쥴링 - Kubernetes GPU 클러스터의 미래
데브옵스 · 인프라 클라우드
컨퍼런스 엔지니어링데이 2025
AI 경량화: 더 빠르고 저렴한 AI 서비스 - 백동원_NE DAY 23. 10
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY(10월)에서 발표되었던 세션을 공개합니다. ----- [발표 내용] * AI 경량화 삽질기 (feat. LaRva) - Quantization과 삽질기 - Pruning과 삽질기 - Low-Rank와 삽질기 - Knowledge Distillation과 삽질기 * AI 경량화 Benefits & Risks - 전력 소모 단위에서의 AI 경량화 - 각종 논문에서의 AI 경량화 안정성 반증 - AI 경량화에서 얻을 수 있는 Benefits - AI 경량화를 할 때 대비해야 하는 Risks
딥러닝 · 머신러닝
컨퍼런스 FEConf 2025 A트랙
FEConf 2025 [A5] 프론트엔드에서 1,000만 개 데이터를 실시간으로 처리하라고요? WebGL2를 활용한 GPGPU의 세계로
컨퍼런스 FEConf 2025 A트랙
FEConf 2025 2025.8.23 11:00 ~ 17:40 세종대학교 광개토관 컨벤션센터 TRACK A-5 프론트엔드에서 1,000만 개 데이터를 실시간으로 처리하라고요? WebGL2를 활용한 GPGPU의 세계로 김한슬마로 | Portrai Inc. AI 기술의 확산으로 산업 전반에서 데이터의 규모와 중요성이 급격히 커지고 있습니다. 이에 따라 백엔드뿐만 아니라 프론트엔드에서도, 브라우저 상에서 대규모 데이터를 실시간으로 분석하고 시각화하려는 요구가 빠르게 증가하고 있습니다. 이번 세션에서는 이러한 흐름에 맞춰, GPU 가속을 활용해 브라우저 내에서 데이터를 효과적으로 처리하는 기술을 소개합니다.
프론트엔드 컴퓨터 비전