GenAI를 위한 Gateway
if kakao 카카오 · YouTube
AI 핵심 요약
LLM 추론은 요청마다 토큰 길이와 생성량이 달라 GPU 비용을 예측하기 어렵고, 스트리밍 응답과 긴 지연 시간, 이기종 GPU 운영까지 고려해야 해 전통적인 웹 게이트웨이만으로는 부족합니다. 카카오는 인증·로깅·토큰 기반 레이트 리미팅과 사용량 집계, 모델 통합 및 GPU 효율 라우팅을 제공하는 AI 게이트웨이를 도입하고, 오픈소스 Envoy Gateway를 기반으로 내부 요구 사항을 보완했습니다. 프리픽스와 KV 캐시 사용률, 대기열을 고려한 라우팅으로 처리 효율을 높이는 한편, Kubernetes 환경에서 모델 API와 대시보드를 제공하는 추론 API 서비스에 적용했습니다. 발표는 LLM 게이트웨이 설계에서 토큰 단위의 관측·쿼터 관리와 백엔드 상태를 반영한 라우팅이 중요하며, 변화가 빠른 영역에서는 오픈소스를 활용하는 선택이 유효하다고 설명합니다.
- LLM 서비스의 SLO는 처리량뿐 아니라 TTFT, TPOT, 전체 응답 시간과 토큰 처리량을 함께 살펴야 합니다.
- 요청 수만으로는 비용과 자원 사용량을 가늠하기 어려우므로 토큰 기반 미터링과 쿼터 관리가 필요합니다.
- 프롬프트의 공통 프리픽스를 같은 GPU로 보내면 KV 캐시를 재사용해 프리필 연산을 줄일 수 있습니다.
- GPU 종류와 캐시 사용률, 대기열을 고려해 라우팅하면 이기종 백엔드 환경에서 성능 저하를 줄이는 데 도움이 됩니다.
- 빠르게 변하는 AI 기능을 모두 자체 구현하기보다 오픈소스를 활용하고, 내부 요구 사항은 확장하거나 upstream에 기여하는 방식을 고려할 수 있습니다.
소개
if(kakao)25 LLM Inference 환경을 제공하기 위해서 필요한 Gateway가 전통적인 워크로드와 어떻게 다른지, 왜 새로운 고민이 필요한지 살펴보고, 새로운 기술 동향에 대해서 소개합니다. #TECH #AI #LLM 카카오에서 AI 플랫폼을 개발하는 최정운(cozy.choi)입니다. AI 추론에 특히 관심이 많습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=55 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
비슷한 학습 자료
컨퍼런스 if kakao
화면을 이해하고 행동하는 AI - GUI Agent 개발기
컨퍼런스 if kakao
if(kakao)25 멀티모달 언어모델을 활용해 브라우저 화면을 이해하고 자동으로 조작하는 에이전트 모델의 개발 과정을 소개합니다. #TECH #AI #Multimodal 카카오에서 VLM 기반 멀티모달 모델을 연구·개발하고 있는 기대환(dion.g)입니다. 카카오에서 VLM 기반 멀티모달 모델을 연구·개발하고 있는 홍은빈(erin.hh)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=51 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발 컴퓨터 비전
컨퍼런스 if kakao
if(kakao)25 GPU 도입부터 LLMOps 구축, 그리고 이를 기반으로 LLM을 활용한 AI 에이전트 및 워크플로우 개발을 위한 플랫폼 개발 과정을 소개합니다. #TECH #AI #LLM 카카오페이에서 DevOps 업무를 담당하고 있는 유수지(stella.yu)입니다. 카카오페이에서 서버개발을 담당하고 있는 최원호(wayne.cai)입니다. AI Native 업무에 관심이 많습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=42 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
사용자 발화에서 응답까지: 그래프 기반 에이전트로 동작하는 AI 서비스
컨퍼런스 if kakao
if(kakao)25 사용자 발화에서 응답까지의 과정을 그래프 기반 에이전트 구조로 풀어낸 카카오의 AI 서비스 구현 방식을 공유합니다. #TECH #PRODUCT #LLM #Agent 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 홍보미(chloe.bm)입니다. AI 서비스의 홍수 속에서 빠지지 않도록 열심히 헤엄치고 있습니다. 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 길민호(ethan.mino)입니다. 스트리밍과 안정적인 LLM 서빙에 관심이 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=34 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발
컨퍼런스 if kakao
서비스에 LLM 부스터 달아주기: 요약부터 AI Bot 까지 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오에서 진행했던 일부 LLM 학습 및 서빙 과정 및 결과에 대해 소개합니다. LLM을 요약과 같이 특정 specific task에 적용 하는 것 부터 시작하여, AI Bot 서비스로 발전시키는 과정에서 단계별로 발생하였던 테크니컬한 이슈들을 어떻게 해소하였는지 소개합니다. #LLM #Generative AI #service AI Alignment Joel입니다. LLM 기반 서비스를 만들기 위해 여러가지 일들을 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-59 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
자연어 처리
컨퍼런스 if kakao
LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 서빙 프레임워크 도입 경험과 프레임워크 성능 최적화 기술을 쉽게 설명합니다. #LLM 서빙 프레임워크 카카오페이 선행기술개발TF팀에서 AI 서비스를 개발하고 있는 Ari입니다. 카카오페이 선행기술개발TF팀에서 금융관련 모델을 개발하고 있는 Kyou입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-20 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 딥러닝 · 머신러닝