테크톡톡 2026 | ML Engineer - LLM 서빙, 띄우는 것과 잘 띄우는 것 사이

소개

토스증권 ML Platform Team은 누구나 모델 코드만으로 쉽게 서빙하고, 안정적으로 운영할 수 있는 환경을 만들고 있어요. LLM 서빙 플랫폼을 직접 만들고 운영하며, 모델을 띄우는 것과 잘 띄우는 것 사이의 간극을 메우기 위해 분투했던 세 가지 에피소드를 공유할게요. 김민규 | 토스증권 ML Engineer 토스증권 ML Engineer로 합류하고 싶다면 👉 https://toss.im/_m/LJjCHeCD