LLM은 있지만 다시 학습하고 싶어 - Kanana-2 개발기 (~ing)
if kakao 카카오 · YouTube
AI 핵심 요약
카카오의 기존 Kanana와 Kanana 1.5는 오픈소스 모델을 효율적으로 따라잡았지만, 자체 서비스에 필요한 일반화 능력과 사용감, 추론 효율을 높이기 위해 Kanana-2를 새로 개발하고 있다. 사전학습 데이터와 학습량을 늘리고, 포스트 트레이닝에서는 복잡한 지시 수행과 그라운딩을 강화하며 추론 수준을 조절하는 하이브리드 모델을 목표로 삼았다. 대형 모델에는 MoE와 Multi-Head Latent Attention을 적용하고, Muon 옵티마이저와 Auxiliary-Loss-Free 밸런싱, 병렬화 및 커널 최적화를 활용해 학습·추론 비용을 낮추고 있다. 발표 시점에는 30B-A3B 프리뷰 모델의 사전학습을 진행 중이었으며, 소규모 실험과 구조 최적화로 제한된 학습량에서도 기존 모델에 근접한 성능을 확인했고 이후 모델 확장과 FP8 학습 등을 계획하고 있다.
- MoE의 전문가 쏠림을 줄일 때 보조 손실 대신 라우터 로짓에 바이어스를 더하는 Auxiliary-Loss-Free 방식을 검토할 수 있다.
- Muon 옵티마이저를 도입하기 전 소규모 실험으로 AdamW와의 학습 효율 및 학습률 변화 경향을 확인했다.
- MoE의 하이퍼파라미터를 정할 때 총 파라미터보다 활성 파라미터를 기준으로 학습률과 배치 크기를 설정하는 편이 실험에서 유리했다.
- 긴 컨텍스트 학습에서는 데이터·전문가·컨텍스트 병렬화를 조합하고, 병목이 되는 커널과 토큰 재배치 연산을 직접 최적화할 수 있다.
소개
if(kakao)25 자체 언어모델인 Kanana-2의 전체적인 개발방향과 과정 및 진행상황을 공유합니다. #TECH #AI #LLM 카카오에서 자체 언어모델을 연구, 개발하는 김보섭(mat.mul)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=47 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
비슷한 학습 자료
컨퍼런스 if kakao
데이터는 없지만 LLM은 학습하고 싶어 - Code, Math 데이터 개발기
컨퍼런스 if kakao
if(kakao)25 효과적인 모델 학습을 위한 자체 데이터 수집 파이프라인 구축 경험을 공유합니다. #TECH #AI #LLM 카카오에서 대용량 데이터 처리와 효율적인 언어 모델 학습 방법을개발하는 정두해(wavy.jung)입니다. 카카오에서 LLM 학습에 필요한 고품질 데이터 수집 파이프라인과 효과적인 사전 학습 방법을 개발하는 김나연(lana.ny)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=48 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
눈으로 보고, 귀로 듣고, 입으로 말하는 AI – 통합 멀티모달 언어모델 Kanana-o 개발기
컨퍼런스 if kakao
if(kakao)25 텍스트만 이해하던 AI는 이제 사람처럼 ‘보고’, ‘듣고’, ‘말’합니다. 텍스트·이미지·오디오를 입력받아 텍스트와 음성으로 응답하는 통합 멀티모달 언어모델 Kanana-o의 개발 과정 및 결과를 공유합니다. #TECH #AI #Multimodal 카카오에서 멀티모달 언어모델을 연구·개발하고 있는 노병석(peter.brain)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=50 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
자연어 처리
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
밑바닥부터 시작하는 LLM 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오의 자체 대규모 언어 모델(LLM) 개발 과정과 그에 따른 도전 과제, 해결 경험을 소개합니다. 데이터 수집과 전처리부터 시작해 LLM의 pre-training과 post-training을 거친 모델의 개발 과정 전반을 공유하고, 그 과정에서 마주한 주요 문제와 그 해결방안에 대해서도 살펴봅니다. #Kanana #LLM #pre-training #post-training Language Model Training팀의 Mat이라고 합니다. 경쟁력 있는 LLM을 만들기위해 노력하고 있습니다. Language Model Alignment팀의 Kloud입니다. 말 잘듣는 LLM을 만들기위해 다양한 연구/개발을 수행하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-30 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
이미지까지 이해하는 Multimodal LLM의 학습 방법 밝혀내기 / if(kakaoAI)2024
컨퍼런스 if kakao
CVPR 2024에 하이라이트 논문으로 선정된 카카오의 자체 멀티모달 LLM을 소개하고, 이후 최근까지의 개선 과정을 통해 얻은 인사이트와 노하우를 공유합니다. #Kanana #MultiModal 카나나 알파 조직의 Multimodal LLM Core 팀원 Edwin입니다. 기존의 텍스트 모달리티만을 다루는 LLM에서 더 나아가 시각, 음성을 포함한 다양한 모달리티를 이해하고 반응할 수 있도록 하는 방법에 대해 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-7 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
if(kakaoAI)2024 카나나알파 리더 김병학(claude.next) 키노트 : Essence of Kanana Model Family 👇핵심만 골라보기 👇 ⏲️ Time Stamps 00:00 오프닝 01:46 카카오 서비스에 최적화된 LLM의 조건 03:44 Kanana 모델 소개 05:46 Kanana 모델 특징 07:26 언어모델 소개 13:19 멀티모달 언어모델 소개 18:17 비주얼 생성 모델 소개 19:16 실용적인 서비스로 연결되는 Kanana 모델 카카오 개발자 컨퍼런스 if(kakaoAI)2024에서 카카오 AI 통합 브랜드 Kanana를 비롯해 AI 비전, 모델, 그리고 우리의 일상을 바꿀 새로운 AI 서비스를 처음으로 세상에 공개했습니다. 더 나은 일상을 모두에게 전하는 그날까지, 끊임없이 가깝고, 친근한 기술을 만들어 가겠습니다. 모든 연결을 새롭게 if(kakaoAI)2024 🔗 if(kakaoAI)2024 홈페이지 : https://...
딥러닝 · 머신러닝 자연어 처리