서비스에 LLM 부스터 달아주기: 요약부터 AI Bot 까지 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
카카오는 프로야구봇 요약 기능에 LLM을 적용하면서 길이·문단·이모지·말풍선 형식과 요약 품질을 함께 맞춰야 했고, 이를 내용 생성과 포맷팅의 두 단계로 나눠 해결했다. 이후 한국어 코드 스위칭과 번역투 문제를 줄이기 위해 한국어 데이터 비율을 조정한 언어 전이 학습을 진행하고, 어색한 표현은 DPO로 교정했으며 기존 지식과 도구 호출 능력도 평가했다. 서빙에서는 speculative decoding의 입력·출력 길이별 효과와 프롬프트 캐싱을 살피고, 여러 엔진의 도구 호출 파서를 공통 계층으로 분리했다. 마지막으로 LLM을 검색·서비스 기능과 연결하는 에이전트로 확장하며, 모델 학습 자체보다 서비스에 연결해 실제 효용을 만드는 일이 중요하다는 점을 강조했다.
- 출력 길이·문단 수·이모지·말풍선 형식처럼 서로 다른 제약은 한 번에 강제하기보다, 내용 생성과 포맷팅을 두 단계로 나누는 방법을 검토한다.
- 한국어 비중을 무작정 높이면 기존 지식이 손상될 수 있으므로, 한국어 생성 품질과 기존 지식 보존을 함께 평가하며 학습 데이터 비율을 조정한다.
- 영어 모델의 지식과 도구 호출 능력을 유지하면서 한국어 표현을 개선하려면, 한국어 데이터로 언어 전이를 하고 어색한 번역투를 선호도 학습으로 교정할 수 있다.
- Speculative decoding은 수락률만으로 처리량 향상을 예측하기 어렵다. 입력·출력 길이와 드래프트 모델의 오버헤드를 함께 측정한다.
- 도구 호출은 모델마다 출력 형식과 파서가 다르므로, 서빙 엔진에 파싱 로직을 종속시키지 않고 공통 계층으로 분리하는 설계를 고려한다.
소개
카카오에서 진행했던 일부 LLM 학습 및 서빙 과정 및 결과에 대해 소개합니다. LLM을 요약과 같이 특정 specific task에 적용 하는 것 부터 시작하여, AI Bot 서비스로 발전시키는 과정에서 단계별로 발생하였던 테크니컬한 이슈들을 어떻게 해소하였는지 소개합니다. #LLM #Generative AI #service AI Alignment Joel입니다. LLM 기반 서비스를 만들기 위해 여러가지 일들을 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-59 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
‘선물하기 와인 탐험’ LLM 대화형 서비스 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
사용자와의 대화를 바탕으로 선물하기 와인상품을 추천하는 LLM 대화형 서비스 구현 사례를 소개합니다. 선물하기 와인픽업서비스를 더 재미있고 자유롭게 사용할 수 있는 톡서비스. LLM 기반의 선물하기 와인상품 추천 서비스를 개발하고 출시하기까지의 경험을 소개하고 대화흐름 제어 아키텍처와 실제 상품을 찾아내는 RAG 기법을 공유하고자 합니다. #LLM #NLP #RAG #Data 광고커머스 AI 기술 조직에서 ML기반 데이터와 서비스를 만들고 있는 Ethan입니다. 카카오 커머스의 AI 엔지니어 Summer입니다. AI 기술 조직에서 데이터 엔지니어링, 상품 추천 및 탐색 분야의 작업을 진행하고 있는 Daniel입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-60 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkak...
AI에이전트 개발 자연어 처리
컨퍼런스 if kakao
빠르고 비용 효율적으로 LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
경제적인 LLM 서비스 개발을 목표로 LLM의 추론 비용을 최적화하고자 고민하고 실험했던 다양한 내용을 공유합니다. #Kanana #LLM #Inference AI Engineering 조직 리더 Andrew입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-31 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 인공지능 기타 로드맵 5개에 담김
컨퍼런스 if kakao
밑바닥부터 시작하는 LLM 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오의 자체 대규모 언어 모델(LLM) 개발 과정과 그에 따른 도전 과제, 해결 경험을 소개합니다. 데이터 수집과 전처리부터 시작해 LLM의 pre-training과 post-training을 거친 모델의 개발 과정 전반을 공유하고, 그 과정에서 마주한 주요 문제와 그 해결방안에 대해서도 살펴봅니다. #Kanana #LLM #pre-training #post-training Language Model Training팀의 Mat이라고 합니다. 경쟁력 있는 LLM을 만들기위해 노력하고 있습니다. Language Model Alignment팀의 Kloud입니다. 말 잘듣는 LLM을 만들기위해 다양한 연구/개발을 수행하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-30 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 서빙 프레임워크 도입 경험과 프레임워크 성능 최적화 기술을 쉽게 설명합니다. #LLM 서빙 프레임워크 카카오페이 선행기술개발TF팀에서 AI 서비스를 개발하고 있는 Ari입니다. 카카오페이 선행기술개발TF팀에서 금융관련 모델을 개발하고 있는 Kyou입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-20 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 if kakao
이미지까지 이해하는 Multimodal LLM의 학습 방법 밝혀내기 / if(kakaoAI)2024
컨퍼런스 if kakao
CVPR 2024에 하이라이트 논문으로 선정된 카카오의 자체 멀티모달 LLM을 소개하고, 이후 최근까지의 개선 과정을 통해 얻은 인사이트와 노하우를 공유합니다. #Kanana #MultiModal 카나나 알파 조직의 Multimodal LLM Core 팀원 Edwin입니다. 기존의 텍스트 모달리티만을 다루는 LLM에서 더 나아가 시각, 음성을 포함한 다양한 모달리티를 이해하고 반응할 수 있도록 하는 방법에 대해 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-7 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전