FunctionChat-Bench: 도구 연결 대화에서의 언어 모델 생성 능력 평가 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
언어 모델은 학습 이후의 실시간 정보에 접근하거나 실제 동작을 수행하기 어렵기 때문에, 외부 API를 호출하는 Function Call이 필요하지만 기존 평가는 함수 선택과 인자 생성에 치우쳐 있었습니다. 이를 보완하기 위해 카카오 연구진은 한국어 도구 연결 대화를 평가하는 FunctionChat-Bench를 만들고, 싱글 콜과 멀티턴 대화 데이터에 도구 호출·추가 질문·호출 결과 전달·도구 관련성 판단을 포함했습니다. 평가 프로그램은 모범 답안과 허용 답안, 세부 채점 기준을 바탕으로 LLM 심판이 응답을 판정하고 결과 리포트를 생성하도록 구성했습니다. 여러 모델의 비교와 오류 사례 분석을 통해 단순 호출 정확도뿐 아니라 대화 맥락 처리와 도구가 없을 때의 대응까지 진단해야 모델의 강점과 약점을 파악할 수 있다는 점을 보여줬습니다.
- 도구 호출 여부를 판단하는 능력도 평가하려면 함수 호출이 정답인 사례만으로 데이터셋을 구성하지 마세요.
- 필수 인자가 빠진 경우에는 임의의 값을 채우지 말고 사용자에게 확인 질문을 하도록 평가하세요.
- 함수 목록에 적절한 도구가 없거나 요청이 도구와 무관하면 호출을 지어내지 않고 적절히 응답하는지 확인하세요.
- 정확한 문자열 비교로 판정하기 어려운 응답은 명확한 채점 기준과 모범·허용 답안을 제공해 LLM 심판으로 평가할 수 있습니다.
소개
Function Call은 언어모델과 외부 도구를 연결해 실시간 정보를 이용하거나 실세계 동작을 수행하도록 하는 기술입니다. 기술 개발과 성능 향상을 위해서는 항상 좋은 측정 방법이 필요합니다. 외부 도구를 사용하는 한국어 대화 환경에서의 Function Call 성능을 다면적으로 평가할 수 있도록 개발한 FunctionChat-Bench를 소개합니다. #Kanana #Function_call #Tool-use_dialog #Evaluation_method 언어모델의 학습과 평가를 위해 언어데이터를 다루고 있는 링기스트 Niki입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-61 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
카카오톡 AI 에이전트를 위한 온디바이스 모델 최적화 및 적용
컨퍼런스 if kakao
if(kakao)25 온디바이스 환경의 제약 사항과 적용 가능한 솔루션을 소개하고, 양자화를 포함한 최적화 기술을 온디바이스에 적용하는 과정과 결과를 공유합니다. #TECH #AI #LLM 온디바이스 환경에서 언어 모델을 사용할 수 있도록 하는 것을 포함해 다양한 AI 기술을 탐색하고 적용하는 일을 하고 있는 노영만(alan.zero)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=52 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
모바일 앱 개발 딥러닝 · 머신러닝
컨퍼런스 if kakao
눈으로 보고, 귀로 듣고, 입으로 말하는 AI – 통합 멀티모달 언어모델 Kanana-o 개발기
컨퍼런스 if kakao
if(kakao)25 텍스트만 이해하던 AI는 이제 사람처럼 ‘보고’, ‘듣고’, ‘말’합니다. 텍스트·이미지·오디오를 입력받아 텍스트와 음성으로 응답하는 통합 멀티모달 언어모델 Kanana-o의 개발 과정 및 결과를 공유합니다. #TECH #AI #Multimodal 카카오에서 멀티모달 언어모델을 연구·개발하고 있는 노병석(peter.brain)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=50 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
자연어 처리
컨퍼런스 if kakao
LLM은 있지만 다시 학습하고 싶어 - Kanana-2 개발기 (~ing)
컨퍼런스 if kakao
필요한 순간 먼저 말을 걸어주는 온디바이스 AI
컨퍼런스 if kakao
if(kakao)25 내 폰 안에서 AI의 도움이 필요한 대화 맥락을 감지하고, 꼭 필요한 순간 먼저 말을 걸어주는 카카오톡만의 온디바이스 AI 개발 과정을 공유합니다. #TECH #PRODUCT #AI #Agent 카카오톡에 적용되는 AI 서비스들을 기획하고 있는 김강학(chris.kh)입니다. 카카오톡에 적용되는 AI 서비스들의 모델 개발을 맡고 있는 김다인(denver.in)입니다. AI 서비스를 위한 다양한 모델 개발을 진행하고 있는 민규식 (queue.min)입니다. 발표자료 보기 📍 https://if.kakao.com/2025/session?sessionId=23 📍 if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발 딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
AI 기반 광고 콘텐츠 모니터링 기술 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
부적절한 광고소재 콘텐츠의 모니터링을 위해 사용한 이미지-텍스트 유사도 도출 모델의 소개와 학습 과정, 이를 고도화하기 위한 기술 개발 과정과, 기반 기술을 활용한 응용 사례를 소개합니다. #AI #광고소재필터링 #MultiModal Adaptive AI에서 다양한 인공지능 모델들을 학습하고 개발하는 Queue입니다! 최근에는 다양한 멀티모달 모델들에 대한 학습을 진행하고 있습니다! 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-33 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
딥(Deep)하게 오타 교정하기 / if(kakao)2022
컨퍼런스 if kakao
사용자에게 양질의 검색 결과를 제공하기 위해서는 검색어 교정이 필요합니다. 이번 발표에서는 딥러닝 모델을 이용한 검색어 오타 교정 방법과 저희가 고민했던 부분들을 소개합니다. #NLP #검색 카카오 엔터프라이즈 AI Assistant팀 다니엘입니다. 텍스트와 발화의 오타 교정 업무를 담당하고 있습니다. 데이터 관찰을 좋아하는 개발자입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-72 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
딥러닝 · 머신러닝 자연어 처리