본문으로 이동
LLM 쉽고 빠르게 서빙하기
문서

LLM 쉽고 빠르게 서빙하기

김민규 토스 · 토스 기술 블로그

원문 보기

AI 핵심 요약

토스증권은 자체 학습한 LLM을 서비스에 적용하는 과정에서 느린 추론 속도와 복잡한 배포 절차라는 두 문제를 해결하고자 했습니다. 추론 프레임워크를 TPS, TTFT, 사용성, 모델 지원 범위로 비교해 vLLM을 선택하고, Triton Inference Server의 batching 기능과 vLLM 백엔드를 활용했습니다. 또 공통 Docker 이미지에 모델 경로와 설정을 분리하고 KServe를 도입해, 모델러가 YAML 파일로 모델과 GPU 설정을 지정해 배포하도록 바꿨습니다. 그 결과 Grafana에서 TPS와 latency를 확인하는 운영 환경까지 갖춰 새 모델을 쉽게 서빙하고 벤치마크할 수 있게 됐습니다.

  • 생성 속도 비교에는 요청 수보다 Token per Second(TPS)와 첫 토큰 지연 시간(TTFT)을 함께 활용하세요.
  • 서빙 프레임워크는 성능뿐 아니라 사용 편의성과 지원하는 모델 아키텍처를 기준으로 비교해야 합니다.
  • KV cache는 이전 토큰의 attention 계산을 재사용해 추론 중복을 줄이며, paged KV cache와 kernel fusion도 성능·메모리 최적화에 활용됩니다.
  • 공통 Docker 이미지와 모델별 설정 분리는 여러 모델을 배포할 때 이미지 빌드와 운영 부담을 줄이는 방법입니다.
  • KServe의 InferenceService YAML로 배포를 단순화하더라도, TPS와 latency를 모니터링하고 알림을 설정해 운영 상태를 확인해야 합니다.

소개

구슬이 서 말이어도 꿰어야 보배라는 말처럼 좋은 LLM을 학습시키는 것도 중요하지만, 이걸 서비스에 적용하지 못하면 큰 의미가 없습니다. 하지만, 어느정도의 성능 이상을 지원하는 LLM을 서비스에 적용하는 것은 크게 두 가지의 어려움을 가지고 있습니다.

비슷한 학습 자료

컨퍼런스 토스증권 Tech Talk Talk

테크톡톡 2026 | ML Engineer - LLM 서빙, 띄우는 것과 잘 띄우는 것 사이

컨퍼런스 토스증권 Tech Talk Talk

토스증권 ML Platform Team은 누구나 모델 코드만으로 쉽게 서빙하고, 안정적으로 운영할 수 있는 환경을 만들고 있어요. LLM 서빙 플랫폼을 직접 만들고 운영하며, 모델을 띄우는 것과 잘 띄우는 것 사이의 간극을 메우기 위해 분투했던 세 가지 에피소드를 공유할게요. 김민규 | 토스증권 ML Engineer 토스증권 ML Engineer로 합류하고 싶다면 👉 https://toss.im/_m/LJjCHeCD

데브옵스 · 인프라 딥러닝 · 머신러닝

문서 박찬용/최기원/김태정/이민영

리더보드 1등 LLM, 토스에서도 1등일까? - Toss Benchmark 구축기

문서 박찬용/최기원/김태정/이민영

Toss의 AI 기반 서비스에 적합한 LLM이 무엇인지 평가하는 Toss Benchmark 구축기

딥러닝 · 머신러닝

문서 김민규

LLM 서빙, 띄우는 것과 잘 띄우는 것 사이

문서 김민규

비어 있는 캐시, 완벽한 알리바이, 사라진 처리량

데브옵스 · 인프라 AI에이전트 개발

문서 표상영

LLM을 이용한 서비스 취약점 분석 자동화 #1

문서 표상영

보안 분석가라면 누구나 한 번쯤 상상했을 ‘해줘’로 취약점 찾기. 그 경험을 공유해 드립니다.

AI에이전트 개발 보안

문서 박재현

LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부

문서 박재현

Prompt Engineering을 활용한 비정형 데이터 검수 실험

AI에이전트 개발 자연어 처리

책 시난 오즈데미르 예스24

쉽고 빠르게 익히는 실전 LLM

책 시난 오즈데미르 예스24

최신 LLM 트렌드와 실무를 가장 쉽고 빠르게 배우는 방법 GPT부터 라마, 클로드 모델까지 완성형 실전 LLM 가이드 이 책은 LLM 개발 단계별 가이드, 모범 사례, 실제 사례 연구, 실습 예제를 통해 LLM이 생소했던 사람도 당장 개발을 시작할 수 있을 만큼 LLM에 대한 전반적인 지식을 쉽고 친절하게 설명한다. 또한, LLM을 현업에서 최적화하고 배포하는 실무적인 내용까지 다루어, 입문자부터 전문가까지 폭넓게 활용할 수 있는 완성형 가이드이다. 더욱 심화된 내용으로 돌아온 2판은 최신화된 미세 조정(Fine-tunning), 오픈 소스와 클로즈드 소스 LLM 비교 및 전략적 활용법, 데이터 형식 및 파라미터 설정법, 임베딩 최적화, 고급 프롬프트 엔지니어링, LLM 평가를 다루며 최신 트렌드에 맞춰 RAG 챗봇, 추천 시스템, 강화 학습 기반 AI 정렬(RLHF/RLAIF), 멀티모달 트랜스포머 구축까지 다룹니다.

자연어 처리