지연 시간 순삭! LLM 추론 구조와 효율적 애플리케이션 설계 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
웹툰·웹소설 캐릭터와 실시간으로 대화하는 페르소나 서비스를 설계하며, 여러 LLM 처리 단계가 응답 지연을 키우는 문제를 다뤘다. 디코더 전용 트랜스포머의 토큰 생성 구조를 바탕으로 폐쇄형 질문과 토크나이저 최적화, 구조화된 출력으로 생성 토큰을 줄이는 방법을 설명했다. 추론 중에는 KV 캐시로 이전 연산을 재사용하고, vLLM의 블록 기반 캐시 관리와 프롬프트 처리 배치 전략, 공통 접두사 캐싱으로 메모리 활용과 처리량을 개선할 수 있다고 소개했다. 최적화 기법을 무작정 적용하기보다 모델 구조와 요청 특성을 이해하고, 사용 사례에 맞는 서빙 방식을 선택해야 한다는 점을 강조했다.
- 모델은 토큰을 하나씩 생성하므로, 응답 길이를 줄이면 추론 횟수와 지연 시간도 줄어든다.
- 분류·필터링처럼 출력 선택지가 제한된 작업은 폐쇄형 질문으로 설계해 불필요한 생성을 피한다.
- JSON 등 정해진 형식의 출력은 구조를 직접 구성하고 값만 생성하게 하며, 로짓 제어로 허용 형식을 강제할 수 있다.
- KV 캐시는 이전 토큰의 키·값을 재사용해 반복 연산을 줄이지만, 메모리 파편화와 캐시 용량이 동시 처리량을 제한할 수 있다.
- 프롬프트 길이와 응답 길이, 공통 접두사 여부에 따라 서빙 시스템의 배치 전략과 캐시 공유 기능을 선택한다.
소개
LLM 기반 애플리케이션에서 지연 시간 최소화는 핵심적인 도전 과제입니다. 이번 발표에서는 빠른 응답 속도를 자랑하는 캐릭터 페르소나 구현 경험과 노하우를 공유합니다. LLM의 시퀀스 생성 메커니즘을 분석하여 효율적인 활용 방안을 제시하고, 이를 통해 애플리케이션의 지연 시간을 최소화하는 방법을 탐구합니다. 최적화된 설계를 통해 사용자 경험을 극대화하고 실시간 응답 애플리케이션의 성능을 향상시키는 구체적인 전략을 소개합니다. #LLM 추론 #성능 최적화 #캐릭터 페르소나 웹툰과 웹소설 속 등장 인물들이 유저와 생생하게 소통할 수 있는 캐릭터 페르소나를 개발하고 있는 Umid입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-5 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
LLM은 있지만 컨텍스트가 짧아 - Long Context 실전 적용기
컨퍼런스 if kakao
if(kakao)25 언어모델의 사용성 개선 측면에서 Long Context 적용 방법을 소개합니다. #TECH #AI #LLM 카카오에서 AI 모델 추론에 대한 최적화 연구·개발하고 있는 김유민(harry.win)입니다. 카카오에서 AI 모델 학습 및 추론에 대한 최적화 연구·개발하고 있는 김형주(jacob.crux)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=49 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝
컨퍼런스 if kakao
서비스에 LLM 부스터 달아주기: 요약부터 AI Bot 까지 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오에서 진행했던 일부 LLM 학습 및 서빙 과정 및 결과에 대해 소개합니다. LLM을 요약과 같이 특정 specific task에 적용 하는 것 부터 시작하여, AI Bot 서비스로 발전시키는 과정에서 단계별로 발생하였던 테크니컬한 이슈들을 어떻게 해소하였는지 소개합니다. #LLM #Generative AI #service AI Alignment Joel입니다. LLM 기반 서비스를 만들기 위해 여러가지 일들을 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-59 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
자연어 처리
컨퍼런스 if kakao
빠르고 비용 효율적으로 LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
경제적인 LLM 서비스 개발을 목표로 LLM의 추론 비용을 최적화하고자 고민하고 실험했던 다양한 내용을 공유합니다. #Kanana #LLM #Inference AI Engineering 조직 리더 Andrew입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-31 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 인공지능 기타 로드맵 5개에 담김
컨퍼런스 if kakao
LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 서빙 프레임워크 도입 경험과 프레임워크 성능 최적화 기술을 쉽게 설명합니다. #LLM 서빙 프레임워크 카카오페이 선행기술개발TF팀에서 AI 서비스를 개발하고 있는 Ari입니다. 카카오페이 선행기술개발TF팀에서 금융관련 모델을 개발하고 있는 Kyou입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-20 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 if kakao
LLM으로 음성인식 성능 개선하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM을 활용하여 기존 E2E 기반 음성인식기의 성능을 개선한 방법을 소개합니다. 일반적으로 LLM 기반의 디코더를 E2E 음성인식기에 적용할 경우 성능은 높아지지만, 디코딩 속도가 현저히 느려지는 문제가 있습니다. 이때 LLM 디코더의 언어 능력을 E2E 음성인식기의 디코더로 전이시켜 연산량은 유지하면서도 음성인식률을 크게 향상시키는 방법을 공유합니다. #Kanana #MultiModal #LLM #음성인식 #STT 카나나 알파 Multimodal LLM Application 조직의 Jessie입니다. 오디오, 언어 등 다양한 모달리티의 입출력을 다루는 멀티모달 LLM을 연구하고 있습니다. 카나나 알파 Multimodal LLM Application 조직의 Heize입니다. 사람처럼 듣고 이해하는 실용적인 AI를 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-11 if(kakaoAI)2024에 대한 자세한 정...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
이미지까지 이해하는 Multimodal LLM의 학습 방법 밝혀내기 / if(kakaoAI)2024
컨퍼런스 if kakao
CVPR 2024에 하이라이트 논문으로 선정된 카카오의 자체 멀티모달 LLM을 소개하고, 이후 최근까지의 개선 과정을 통해 얻은 인사이트와 노하우를 공유합니다. #Kanana #MultiModal 카나나 알파 조직의 Multimodal LLM Core 팀원 Edwin입니다. 기존의 텍스트 모달리티만을 다루는 LLM에서 더 나아가 시각, 음성을 포함한 다양한 모달리티를 이해하고 반응할 수 있도록 하는 방법에 대해 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-7 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전