문서

LLM 서빙, 띄우는 것과 잘 띄우는 것 사이

김민규 토스 · 토스 기술 블로그

AI 핵심 요약

토스증권은 LLM 서빙 장애의 원인을 찾기 어려웠던 문제를 해결하기 위해 ML 플랫폼을 구축하고, Grafana·Kibana에 vLLM·SGLang의 LLM 특화 지표를 통합했습니다. 이 과정에서 Prefix Cache가 꺼진 모델 설정, 리즈닝 종료 토큰 처리와 관련된 vLLM 버그, 낮은 KV 캐시 사용량을 발견해 설정 변경과 워크어라운드, 동시성 테스트로 대응했습니다. 그 결과 특정 사례에서 TTFT와 에러율을 낮추고, 파드 증설 없이 더 많은 트래픽을 처리할 가능성도 확인했습니다. 빠르게 변하는 서빙 환경을 모두 예측하기보다 지표와 로그로 원인을 탐색하고, 가설을 검증한 뒤 안전하게 반영·롤백하는 체계를 갖추는 것이 중요하다고 설명합니다.

LLM 모니터링에서는 요청 수와 전체 응답 시간 대신 생성 토큰 처리량과 TTFT를 살펴보세요.
Prefix Cache Hit Rate가 비어 있거나 낮다면 수집 오류뿐 아니라 모델별 기본 설정도 확인해야 합니다.
메트릭이 정상이어도 finish_reason과 실제 출력 로그를 확인하면 생성 제한 실패나 프레임워크 버그를 찾을 수 있습니다.
GPU 파드를 늘리기 전에 KV 캐시 사용량과 동시성 스트레스 테스트로 기존 자원의 여유를 확인하세요.
모델·옵션 변경은 검증 후 반영하고, 예상치 못한 부작용에 대비해 빠르게 롤백할 수 있어야 합니다.

소개

비어 있는 캐시, 완벽한 알리바이, 사라진 처리량

비슷한 학습 자료

컨퍼런스 토스증권 Tech Talk Talk

테크톡톡 2026 | ML Engineer - LLM 서빙, 띄우는 것과 잘 띄우는 것 사이

컨퍼런스 토스증권 Tech Talk Talk

토스증권 ML Platform Team은 누구나 모델 코드만으로 쉽게 서빙하고, 안정적으로 운영할 수 있는 환경을 만들고 있어요. LLM 서빙 플랫폼을 직접 만들고 운영하며, 모델을 띄우는 것과 잘 띄우는 것 사이의 간극을 메우기 위해 분투했던 세 가지 에피소드를 공유할게요. 김민규 | 토스증권 ML Engineer 토스증권 ML Engineer로 합류하고 싶다면 👉 https://toss.im/_m/LJjCHeCD

데브옵스 · 인프라 딥러닝 · 머신러닝