테크톡톡 2026 | ML Engineer - LLM 서빙, 띄우는 것과 잘 띄우는 것 사이
토스증권 Tech Talk Talk 토스 · YouTube
AI 핵심 요약
LLM 서빙을 시작한 뒤 타임아웃과 처리량 저하가 발생해도 기존 서버 지표만으로는 원인을 찾기 어려웠다. 팀은 ML 플랫폼에 Grafana 메트릭과 Kibana 로그를 모으고, TTFT·토큰 처리량·프리픽스 캐시 히트율·KV 캐시 사용량 등 LLM 특화 지표를 추가했다. 이를 바탕으로 모델 설정에서 꺼진 프리픽스 캐싱, 서빙 프레임워크의 종료 토큰 처리 버그, 낮은 KV 캐시 사용률을 찾아 설정 변경과 우회책, 동시성 테스트로 대응했다. 빠르게 바뀌는 모델과 프레임워크를 모두 예측하기보다 관측·로그 분석·가설 검증·롤백이 가능한 운영 체계를 갖추는 것이 안정적인 서빙의 핵심이라는 교훈을 얻었다.
- LLM은 토큰을 순차 생성하므로 요청 단위 지연 시간뿐 아니라 TTFT와 초당 생성 토큰 수를 함께 살펴야 합니다.
- 프리픽스 캐시 히트율이 낮다면 요청 패턴뿐 아니라 모델별 기본 설정에서 캐싱이 비활성화됐는지도 확인하세요.
- 메트릭에서 원인이 드러나지 않을 때는 종료 사유와 개별 생성 로그를 확인해 프레임워크 동작이나 버그를 추적할 수 있습니다.
- GPU 파드를 늘리기 전에 KV 캐시 사용량과 동시성 한계를 부하 테스트해 자원 활용 여지를 확인하세요.
- 모델·서빙 프레임워크 변경은 스트레스 테스트와 빠른 롤백을 포함한 배포 절차로 검증해야 합니다.
소개
토스증권 ML Platform Team은 누구나 모델 코드만으로 쉽게 서빙하고, 안정적으로 운영할 수 있는 환경을 만들고 있어요. LLM 서빙 플랫폼을 직접 만들고 운영하며, 모델을 띄우는 것과 잘 띄우는 것 사이의 간극을 메우기 위해 분투했던 세 가지 에피소드를 공유할게요. 김민규 | 토스증권 ML Engineer 토스증권 ML Engineer로 합류하고 싶다면 👉 https://toss.im/_m/LJjCHeCD
비슷한 학습 자료
컨퍼런스 토스증권 Tech Talk Talk
테크톡톡 2026 | ML Engineer - AI에게 투자정보를 말하게 하기까지
컨퍼런스 토스증권 Tech Talk Talk
테크톡톡 2026 | ML Engineer - 토스증권 추천과 검색은 어떻게 진화하고 있을까?
컨퍼런스 토스증권 Tech Talk Talk
테크톡톡 2026 | Frontend Developer - 우당탕탕 디자인 시스템
컨퍼런스 토스증권 Tech Talk Talk
테크톡톡 2026 | Frontend Developer - 토스증권 FE 인프라 전반
컨퍼런스 토스증권 Tech Talk Talk
토스증권 Client Platform Team은 수많은 유저에게 정적 자원을 신속하고 안정적으로 전달하기 위해 고도화된 인프라를 구축해 배포하고 있어요. CloudFront + Lambda@Edge 기반의 배포부터 마이크로 프론트엔드(MFA), 그리고 AI를 활용한 생산성 혁신까지! 토스증권 FE 인프라의 핵심 전략을 공개해요. 장재영 | 토스증권 Client Platform Team Leader 토스증권 프론트엔드 챕터에 합류하고 싶다면 👉 https://toss.im/career/jobs?search=프론트엔드집중채용
프론트엔드 데브옵스 · 인프라
문서 김민규
LLM 서빙, 띄우는 것과 잘 띄우는 것 사이
문서 김민규