눈으로 보고, 귀로 듣고, 입으로 말하는 AI – 통합 멀티모달 언어모델 Kanana-o 개발기
if kakao 카카오 · YouTube
AI 핵심 요약
카카오는 텍스트·이미지·오디오를 함께 이해하고 텍스트와 음성으로 응답하는 통합 멀티모달 언어모델 Kanana-o를 개발하며, 고해상도 이미지 처리와 시각 정보 전달의 효율, 음성 생성 속도와 언어 능력 보존 문제를 해결하고자 했다. 비전 모델 Kanana-V에는 네이티브 해상도 처리와 허니 논문의 C-Abstractor를 적용하고, 오디오 모델 Kanana-A에는 언어 모델과 소형 오디오 토큰 모델의 역할 분리, 스트리밍 음성 생성, 자체 오디오 토크나이저를 도입했다. 이후 두 모델의 공통 언어 모델을 모델 머징으로 결합하고 이미지·텍스트·오디오 통합 데이터로 학습해 Kanana-o를 구성했다. 발표에서는 한국어 이미지·음성 이해와 생성, 이미지와 음성을 함께 다루는 응답 사례를 소개했으며, 자연스러운 풀듀플렉스 대화와 안전성 등은 후속 연구 과제로 제시했다.
- 고해상도 문서 이미지는 단순 리사이즈나 타일 분할 대신 네이티브 해상도로 처리해 전체 맥락을 보존할 수 있다.
- 시각 정보를 모두 전달하는 방식과 요약하는 방식의 비용·정보 손실을 비교하고, 허니 논문의 C-Abstractor로 토큰 효율과 세부 정보 보존을 함께 노렸다.
- 멀티모달 학습 중 언어 능력이 저하되지 않도록 순수 텍스트 데이터를 함께 학습시키고, 지식 증류와 지시 이행 학습을 단계적으로 적용했다.
- 음성 생성은 언어 모델과 작은 오디오 토큰 모델에 역할을 나누고 스트리밍으로 전환해, 전체 응답이 끝나기 전부터 음성을 재생하도록 설계했다.
- 이미 학습된 비전·오디오 모델의 공통 언어 모델을 모델 머징으로 통합하면, 각 모달리티의 전문성을 활용해 통합 모델을 구성할 수 있다.
소개
if(kakao)25 텍스트만 이해하던 AI는 이제 사람처럼 ‘보고’, ‘듣고’, ‘말’합니다. 텍스트·이미지·오디오를 입력받아 텍스트와 음성으로 응답하는 통합 멀티모달 언어모델 Kanana-o의 개발 과정 및 결과를 공유합니다. #TECH #AI #Multimodal 카카오에서 멀티모달 언어모델을 연구·개발하고 있는 노병석(peter.brain)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=50 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
비슷한 학습 자료
컨퍼런스 if kakao
카카오의 AI 모델 개발을 이끌고 있는 김병학(claude.next)입니다. 사람처럼 보고 듣고 말하고 행동하는 AI 카나나 모델은 고성능의 LLM을 기반으로 멀티모달 이해와 능동적 응답 능력을 더해 사용자 중심의 Agentic AI로 진화하고 있습니다. 그간의 모델 진보 과정을 공유합니다. 👇핵심만 골라보기👇 00:00 인트로 00:49 Agentic AI를 향해 진화하는 카나나 모델 02:30 카나나 언어모델의 진화 06:24 카나나 멀티모달 언어모델의 진화 14:35 카나나 비주얼 생성 모델의 진화 15:45 카나나 음성 모델의 진화 가능성, 일상이 되다 if(kakao)25 📎 if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발
컨퍼런스 if kakao
화면을 이해하고 행동하는 AI - GUI Agent 개발기
컨퍼런스 if kakao
if(kakao)25 멀티모달 언어모델을 활용해 브라우저 화면을 이해하고 자동으로 조작하는 에이전트 모델의 개발 과정을 소개합니다. #TECH #AI #Multimodal 카카오에서 VLM 기반 멀티모달 모델을 연구·개발하고 있는 기대환(dion.g)입니다. 카카오에서 VLM 기반 멀티모달 모델을 연구·개발하고 있는 홍은빈(erin.hh)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=51 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발 컴퓨터 비전
컨퍼런스 if kakao
LLM은 있지만 다시 학습하고 싶어 - Kanana-2 개발기 (~ing)
컨퍼런스 if kakao
필요한 순간 먼저 말을 걸어주는 온디바이스 AI
컨퍼런스 if kakao
if(kakao)25 내 폰 안에서 AI의 도움이 필요한 대화 맥락을 감지하고, 꼭 필요한 순간 먼저 말을 걸어주는 카카오톡만의 온디바이스 AI 개발 과정을 공유합니다. #TECH #PRODUCT #AI #Agent 카카오톡에 적용되는 AI 서비스들을 기획하고 있는 김강학(chris.kh)입니다. 카카오톡에 적용되는 AI 서비스들의 모델 개발을 맡고 있는 김다인(denver.in)입니다. AI 서비스를 위한 다양한 모델 개발을 진행하고 있는 민규식 (queue.min)입니다. 발표자료 보기 📍 https://if.kakao.com/2025/session?sessionId=23 📍 if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발 딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
이미지까지 이해하는 Multimodal LLM의 학습 방법 밝혀내기 / if(kakaoAI)2024
컨퍼런스 if kakao
CVPR 2024에 하이라이트 논문으로 선정된 카카오의 자체 멀티모달 LLM을 소개하고, 이후 최근까지의 개선 과정을 통해 얻은 인사이트와 노하우를 공유합니다. #Kanana #MultiModal 카나나 알파 조직의 Multimodal LLM Core 팀원 Edwin입니다. 기존의 텍스트 모달리티만을 다루는 LLM에서 더 나아가 시각, 음성을 포함한 다양한 모달리티를 이해하고 반응할 수 있도록 하는 방법에 대해 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-7 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
if(kakaoAI)2024 카나나알파 리더 김병학(claude.next) 키노트 : Essence of Kanana Model Family 👇핵심만 골라보기 👇 ⏲️ Time Stamps 00:00 오프닝 01:46 카카오 서비스에 최적화된 LLM의 조건 03:44 Kanana 모델 소개 05:46 Kanana 모델 특징 07:26 언어모델 소개 13:19 멀티모달 언어모델 소개 18:17 비주얼 생성 모델 소개 19:16 실용적인 서비스로 연결되는 Kanana 모델 카카오 개발자 컨퍼런스 if(kakaoAI)2024에서 카카오 AI 통합 브랜드 Kanana를 비롯해 AI 비전, 모델, 그리고 우리의 일상을 바꿀 새로운 AI 서비스를 처음으로 세상에 공개했습니다. 더 나은 일상을 모두에게 전하는 그날까지, 끊임없이 가깝고, 친근한 기술을 만들어 가겠습니다. 모든 연결을 새롭게 if(kakaoAI)2024 🔗 if(kakaoAI)2024 홈페이지 : https://...
딥러닝 · 머신러닝 자연어 처리