이미지까지 이해하는 Multimodal LLM의 학습 방법 밝혀내기 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
초기 멀티모달 LLM 연구에는 모델 구조와 학습 레시피를 엄밀히 검증한 정보가 부족해, 카카오 팀은 허니비를 처음부터 학습하며 핵심 요소를 실험했습니다. 비전 인코더와 LLM 사이의 시각 정보를 효율적으로 전달하기 위해 컨볼루션 기반 C-Abstract와 포인트 기반 D-Abstract 프로젝터를 제안했고, 기존 리샘플러보다 시각 정보 손실을 줄이면서 입력 피처 수를 조절했습니다. 또한 GPT 보조·템플릿 기반 인스트럭션 데이터 구성, 데이터셋 조합과 샘플링, 멀티턴 데이터의 중복 제거를 검증해 학습 레시피를 정리했습니다. 이후 데이터 품질과 규모, 고해상도 이미지 처리 등을 개선해 허니비보다 성능을 높였으며, 기존 언어 능력 보존과 시각적 환각, 복잡한 시각 추론은 남은 과제로 제시했습니다.
- 비주얼 프로젝터는 시각 정보 보존과 LLM 입력 토큰 수 사이의 균형을 고려해 설계해야 합니다.
- GPT 보조 방식은 자연스러운 설명형 데이터에, 템플릿 기반 방식은 대량의 기본 시각 질의응답 데이터 생성에 적합합니다.
- 멀티모달 학습에서도 객관식 등 태스크 유형을 다양하게 포함해야 텍스트 LLM의 문제 해결 능력이 이미지 입력으로 전이됩니다.
- 데이터셋별 샘플링 비율은 성능에 영향을 주며, 멀티턴 데이터에서는 중복 질의·응답을 제거해 정답을 미리 보는 학습을 막아야 합니다.
- 모델을 확장할 때는 기존 언어 능력의 보존, 시각적 환각, 긴 모달리티 입력의 계산 비용을 함께 점검해야 합니다.
소개
CVPR 2024에 하이라이트 논문으로 선정된 카카오의 자체 멀티모달 LLM을 소개하고, 이후 최근까지의 개선 과정을 통해 얻은 인사이트와 노하우를 공유합니다. #Kanana #MultiModal 카나나 알파 조직의 Multimodal LLM Core 팀원 Edwin입니다. 기존의 텍스트 모달리티만을 다루는 LLM에서 더 나아가 시각, 음성을 포함한 다양한 모달리티를 이해하고 반응할 수 있도록 하는 방법에 대해 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-7 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
LLM은 있지만 다시 학습하고 싶어 - Kanana-2 개발기 (~ing)
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
서비스에 LLM 부스터 달아주기: 요약부터 AI Bot 까지 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오에서 진행했던 일부 LLM 학습 및 서빙 과정 및 결과에 대해 소개합니다. LLM을 요약과 같이 특정 specific task에 적용 하는 것 부터 시작하여, AI Bot 서비스로 발전시키는 과정에서 단계별로 발생하였던 테크니컬한 이슈들을 어떻게 해소하였는지 소개합니다. #LLM #Generative AI #service AI Alignment Joel입니다. LLM 기반 서비스를 만들기 위해 여러가지 일들을 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-59 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
자연어 처리
컨퍼런스 if kakao
빠르고 비용 효율적으로 LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
경제적인 LLM 서비스 개발을 목표로 LLM의 추론 비용을 최적화하고자 고민하고 실험했던 다양한 내용을 공유합니다. #Kanana #LLM #Inference AI Engineering 조직 리더 Andrew입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-31 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 인공지능 기타 로드맵 5개에 담김
컨퍼런스 if kakao
밑바닥부터 시작하는 LLM 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오의 자체 대규모 언어 모델(LLM) 개발 과정과 그에 따른 도전 과제, 해결 경험을 소개합니다. 데이터 수집과 전처리부터 시작해 LLM의 pre-training과 post-training을 거친 모델의 개발 과정 전반을 공유하고, 그 과정에서 마주한 주요 문제와 그 해결방안에 대해서도 살펴봅니다. #Kanana #LLM #pre-training #post-training Language Model Training팀의 Mat이라고 합니다. 경쟁력 있는 LLM을 만들기위해 노력하고 있습니다. Language Model Alignment팀의 Kloud입니다. 말 잘듣는 LLM을 만들기위해 다양한 연구/개발을 수행하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-30 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
LLM으로 음성인식 성능 개선하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM을 활용하여 기존 E2E 기반 음성인식기의 성능을 개선한 방법을 소개합니다. 일반적으로 LLM 기반의 디코더를 E2E 음성인식기에 적용할 경우 성능은 높아지지만, 디코딩 속도가 현저히 느려지는 문제가 있습니다. 이때 LLM 디코더의 언어 능력을 E2E 음성인식기의 디코더로 전이시켜 연산량은 유지하면서도 음성인식률을 크게 향상시키는 방법을 공유합니다. #Kanana #MultiModal #LLM #음성인식 #STT 카나나 알파 Multimodal LLM Application 조직의 Jessie입니다. 오디오, 언어 등 다양한 모달리티의 입출력을 다루는 멀티모달 LLM을 연구하고 있습니다. 카나나 알파 Multimodal LLM Application 조직의 Heize입니다. 사람처럼 듣고 이해하는 실용적인 AI를 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-11 if(kakaoAI)2024에 대한 자세한 정...
딥러닝 · 머신러닝 자연어 처리