최적의 LLM을 선택하는 방법 : DUO / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
LLM이 빠르게 늘면서 카카오뱅크는 범용 벤치마크만으로 금융 서비스에 적합한 모델을 고르기 어렵다는 문제를 마주했습니다. 고려대 연구진과 협력해 여러 벤치마크를 추가·교체하고 유지하기 쉬운 평가 프레임워크 DUO를 만들고, 자체 데이터와 패시브·액티브 평가, 완결성·정확성·유사도 지표를 조합했습니다. 금융 계산 정확도와 금융 멀티턴 대화 등을 평가한 결과, 모델의 강점은 분야별로 달랐고 파라미터 규모가 성능을 보장하지 않았습니다. 평가 목적과 기준을 명확히 하고 LLM 저지의 신뢰도를 사람 평가와 대조하며, 모델을 유연하게 교체할 수 있도록 설계해야 한다는 교훈을 얻었습니다.
- 벤치마크 점수는 모델의 사용성을 그대로 나타내지 않으므로, 평가 데이터와 채점 방식이 무엇을 측정하는지 함께 살펴보세요.
- 평가 항목은 타깃 서비스의 업무와 산업 특성에 맞춰 구체화하고, 대화의 자연스러움과 정보의 정확성을 구분해 기준을 세우세요.
- 생성형 AI로 평가 데이터를 만들 때는 다양한 시드 데이터를 활용하고, 반복 실험으로 결과의 변동성을 확인하세요.
- LLM 저지를 도입하기 전에는 휴먼 평가와의 일치도를 비교해 분야별 신뢰도를 검증하세요.
- 모델 성능은 파라미터 규모만으로 예측하기 어려우므로, 새 모델로 교체하기 쉬운 구조를 고려하세요.
소개
카카오뱅크는 타겟 서비스에 적합한 언어 모델(LLM)을 찾을 때 어떤 기준을 사용할까요? 자체 평가 프레임워크 구축과 언어 모델(LLM) 평가 기준을 내재화한 경험을 소개합니다. #LLM #Evaluation #평가 프레임워크 #내재화 #산학협력 기술로 가치를 찾는 Aven입니다. AI를 연구하는 'RAG친놈' Conor입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-24 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
서비스에 LLM 부스터 달아주기: 요약부터 AI Bot 까지 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오에서 진행했던 일부 LLM 학습 및 서빙 과정 및 결과에 대해 소개합니다. LLM을 요약과 같이 특정 specific task에 적용 하는 것 부터 시작하여, AI Bot 서비스로 발전시키는 과정에서 단계별로 발생하였던 테크니컬한 이슈들을 어떻게 해소하였는지 소개합니다. #LLM #Generative AI #service AI Alignment Joel입니다. LLM 기반 서비스를 만들기 위해 여러가지 일들을 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-59 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
자연어 처리
컨퍼런스 if kakao
빠르고 비용 효율적으로 LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
경제적인 LLM 서비스 개발을 목표로 LLM의 추론 비용을 최적화하고자 고민하고 실험했던 다양한 내용을 공유합니다. #Kanana #LLM #Inference AI Engineering 조직 리더 Andrew입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-31 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 인공지능 기타 로드맵 5개에 담김
컨퍼런스 if kakao
LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 서빙 프레임워크 도입 경험과 프레임워크 성능 최적화 기술을 쉽게 설명합니다. #LLM 서빙 프레임워크 카카오페이 선행기술개발TF팀에서 AI 서비스를 개발하고 있는 Ari입니다. 카카오페이 선행기술개발TF팀에서 금융관련 모델을 개발하고 있는 Kyou입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-20 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 if kakao
LLM으로 음성인식 성능 개선하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM을 활용하여 기존 E2E 기반 음성인식기의 성능을 개선한 방법을 소개합니다. 일반적으로 LLM 기반의 디코더를 E2E 음성인식기에 적용할 경우 성능은 높아지지만, 디코딩 속도가 현저히 느려지는 문제가 있습니다. 이때 LLM 디코더의 언어 능력을 E2E 음성인식기의 디코더로 전이시켜 연산량은 유지하면서도 음성인식률을 크게 향상시키는 방법을 공유합니다. #Kanana #MultiModal #LLM #음성인식 #STT 카나나 알파 Multimodal LLM Application 조직의 Jessie입니다. 오디오, 언어 등 다양한 모달리티의 입출력을 다루는 멀티모달 LLM을 연구하고 있습니다. 카나나 알파 Multimodal LLM Application 조직의 Heize입니다. 사람처럼 듣고 이해하는 실용적인 AI를 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-11 if(kakaoAI)2024에 대한 자세한 정...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
이미지까지 이해하는 Multimodal LLM의 학습 방법 밝혀내기 / if(kakaoAI)2024
컨퍼런스 if kakao
CVPR 2024에 하이라이트 논문으로 선정된 카카오의 자체 멀티모달 LLM을 소개하고, 이후 최근까지의 개선 과정을 통해 얻은 인사이트와 노하우를 공유합니다. #Kanana #MultiModal 카나나 알파 조직의 Multimodal LLM Core 팀원 Edwin입니다. 기존의 텍스트 모달리티만을 다루는 LLM에서 더 나아가 시각, 음성을 포함한 다양한 모달리티를 이해하고 반응할 수 있도록 하는 방법에 대해 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-7 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전