All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
if kakao 카카오 · YouTube
AI 핵심 요약
쇼핑·로컬 도메인의 검색 과제를 고도화하기 위해 쿼리 리라이터와 선택적 리랭커를 만들고, SFT 데이터의 품질·규모 한계를 보완하려고 검증 가능한 지표를 보상으로 쓰는 GRPO를 적용했습니다. 약 1,000개의 고품질 샘플로 기존 SFT보다 큰 과제 성능 향상을 확인했으며, 응답 길이 페널티와 충분한 생성 길이 설정이 학습에 도움이 됐습니다. 서빙에서는 텐서와이즈 FP8과 NVIDIA TRT-LLM을 적용하고 GPU별 성능을 비교해 H200을 선택했으며, 처리량과 속도가 각각 두 배 이상 향상됐다고 설명했습니다. 마지막으로 17개 도메인과 99개 가상 도구를 포함한 한국어·영어 오케스트레이션 벤치마크를 구축해 계획 능력과 도구 사용 능력을 따로 평가하는 체계를 제시했습니다.
- 정답을 자동으로 검증할 수 있는 과제라면 F1 같은 지표를 보상 함수로 직접 활용해 강화 학습을 설계할 수 있습니다.
- 보상 로직은 단순하고 명확하게 유지해야 하며, 특정 표현만 피하도록 유도하면 보상 해킹이 생길 수 있습니다.
- SFT로 기본 패턴을 익힌 뒤 GRPO를 적용하면 강화 학습을 더 안정적으로 진행할 수 있습니다.
- FP8 모델은 GPU 아키텍처와 서빙 프레임워크에 따라 성능이 달라지므로, 양자화 방식과 하드웨어를 함께 벤치마크해야 합니다.
- 오케스트레이션 평가는 계획 수립과 도구 호출을 분리하고, 멀티턴·멀티도메인 시나리오와 실제 서비스 제약을 반영해야 합니다.
소개
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
비슷한 학습 자료
컨퍼런스 if kakao
데이터는 없지만 LLM은 학습하고 싶어 - Code, Math 데이터 개발기
컨퍼런스 if kakao
if(kakao)25 효과적인 모델 학습을 위한 자체 데이터 수집 파이프라인 구축 경험을 공유합니다. #TECH #AI #LLM 카카오에서 대용량 데이터 처리와 효율적인 언어 모델 학습 방법을개발하는 정두해(wavy.jung)입니다. 카카오에서 LLM 학습에 필요한 고품질 데이터 수집 파이프라인과 효과적인 사전 학습 방법을 개발하는 김나연(lana.ny)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=48 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
LLM은 있지만 컨텍스트가 짧아 - Long Context 실전 적용기
컨퍼런스 if kakao
if(kakao)25 언어모델의 사용성 개선 측면에서 Long Context 적용 방법을 소개합니다. #TECH #AI #LLM 카카오에서 AI 모델 추론에 대한 최적화 연구·개발하고 있는 김유민(harry.win)입니다. 카카오에서 AI 모델 학습 및 추론에 대한 최적화 연구·개발하고 있는 김형주(jacob.crux)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=49 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝
컨퍼런스 if kakao
데이터 뚝딱! AI메이트 메타데이터 생성 비법
컨퍼런스 if kakao
if(kakao)25 카카오톡 선물하기와 카카오맵 데이터를 활용해, AI 메이트 쇼핑/로컬 서비스에서 LLM 기반 메타데이터를 생성한 사례를 소개합니다. #TECH #PRODUCT #LLM #Data 카카오에서 LLM을 활용해 기존 서비스의 데이터 생성을 통해 더 나은 사용자 경험을 만들어가고 있는 한송민(harry.kr)입니다. 카카오에서 적용되는 AI 서비스를 위한 백엔드와 데이터 처리 파이프라인을 만들고 있는 한규주(nick.hann)입니다. 카카오의 기존 서비스에 LLM을 활용한 메타데이터를 생성합니다. 현재는 카카오맵 'AI 요약' 및 'AI 맛집 검색'을 위한 데이터 생성에 집중하고 있는이수인(bom.bom)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=33 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
백엔드 AI에이전트 개발
컨퍼런스 if kakao
사용자 발화에서 응답까지: 그래프 기반 에이전트로 동작하는 AI 서비스
컨퍼런스 if kakao
if(kakao)25 사용자 발화에서 응답까지의 과정을 그래프 기반 에이전트 구조로 풀어낸 카카오의 AI 서비스 구현 방식을 공유합니다. #TECH #PRODUCT #LLM #Agent 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 홍보미(chloe.bm)입니다. AI 서비스의 홍수 속에서 빠지지 않도록 열심히 헤엄치고 있습니다. 카카오에서 LLM을 활용해 여러 도메인의 AI서비스를 개발하고 있는 길민호(ethan.mino)입니다. 스트리밍과 안정적인 LLM 서빙에 관심이 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=34 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발
컨퍼런스 if kakao
서비스에 LLM 부스터 달아주기: 요약부터 AI Bot 까지 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오에서 진행했던 일부 LLM 학습 및 서빙 과정 및 결과에 대해 소개합니다. LLM을 요약과 같이 특정 specific task에 적용 하는 것 부터 시작하여, AI Bot 서비스로 발전시키는 과정에서 단계별로 발생하였던 테크니컬한 이슈들을 어떻게 해소하였는지 소개합니다. #LLM #Generative AI #service AI Alignment Joel입니다. LLM 기반 서비스를 만들기 위해 여러가지 일들을 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-59 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
자연어 처리
컨퍼런스 if kakao
LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 서빙 프레임워크 도입 경험과 프레임워크 성능 최적화 기술을 쉽게 설명합니다. #LLM 서빙 프레임워크 카카오페이 선행기술개발TF팀에서 AI 서비스를 개발하고 있는 Ari입니다. 카카오페이 선행기술개발TF팀에서 금융관련 모델을 개발하고 있는 Kyou입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-20 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 딥러닝 · 머신러닝