밑바닥부터 시작하는 LLM 개발기 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
카카오 팀은 자체 LLM Kanana를 개발하며 라이선스가 허용된 말뭉치와 개인정보 제거를 바탕으로 데이터를 수집·정제하고, 품질 점수로 고품질 데이터를 선별하는 2단계 프리트레이닝을 구성했다. 스테이지별 데이터 분포와 학습률, 인스트럭션 데이터 투입량을 어블레이션으로 조정했으며, 에센스를 먼저 학습한 뒤 프루닝·디스틸레이션으로 나노를 만들었다. 포스트 트레이닝에서는 SFT와 선호도 학습을 적용하고, 실제 서비스와 유사한 멀티턴 데이터 및 도메인별 평가 기준의 중요성을 확인했다. 제한된 라이선스 데이터로 인한 수학·과학 지식의 부족을 개선하기 위해 데이터 수집과 증강에 집중하고, 온라인 학습을 위한 리워드 모델도 구축하는 것이 주요 과제로 제시됐다.
- 라이선스와 개인정보 처리 기준을 먼저 세우고, 데이터 출처별로 전처리·필터링 방식을 달리한다.
- 교육성 점수처럼 측정 가능한 품질 신호를 소규모 모델로 근사하면 대규모 말뭉치 선별에 활용할 수 있다.
- 스테이지드 프리트레이닝에서는 후반 단계의 데이터 분포와 학습률을 함께 조정하고, 인스트럭션 데이터도 실험해 본다.
- SFT 데이터는 실제 서비스에서 쓰이는 자연스러운 프롬프트와 대화 흐름을 반영하고, 답변 품질을 지속적으로 갱신한다.
- 수학·코드 등 도메인별 선호 데이터는 정답 기준을 다르게 설계하며, 온라인 학습에는 신뢰할 수 있는 리워드 모델이 필요하다.
소개
카카오의 자체 대규모 언어 모델(LLM) 개발 과정과 그에 따른 도전 과제, 해결 경험을 소개합니다. 데이터 수집과 전처리부터 시작해 LLM의 pre-training과 post-training을 거친 모델의 개발 과정 전반을 공유하고, 그 과정에서 마주한 주요 문제와 그 해결방안에 대해서도 살펴봅니다. #Kanana #LLM #pre-training #post-training Language Model Training팀의 Mat이라고 합니다. 경쟁력 있는 LLM을 만들기위해 노력하고 있습니다. Language Model Alignment팀의 Kloud입니다. 말 잘듣는 LLM을 만들기위해 다양한 연구/개발을 수행하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-30 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발...
비슷한 학습 자료
컨퍼런스 if kakao
LLM은 있지만 다시 학습하고 싶어 - Kanana-2 개발기 (~ing)
컨퍼런스 if kakao
서비스에 LLM 부스터 달아주기: 요약부터 AI Bot 까지 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오에서 진행했던 일부 LLM 학습 및 서빙 과정 및 결과에 대해 소개합니다. LLM을 요약과 같이 특정 specific task에 적용 하는 것 부터 시작하여, AI Bot 서비스로 발전시키는 과정에서 단계별로 발생하였던 테크니컬한 이슈들을 어떻게 해소하였는지 소개합니다. #LLM #Generative AI #service AI Alignment Joel입니다. LLM 기반 서비스를 만들기 위해 여러가지 일들을 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-59 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
자연어 처리
컨퍼런스 if kakao
빠르고 비용 효율적으로 LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
경제적인 LLM 서비스 개발을 목표로 LLM의 추론 비용을 최적화하고자 고민하고 실험했던 다양한 내용을 공유합니다. #Kanana #LLM #Inference AI Engineering 조직 리더 Andrew입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-31 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 인공지능 기타 로드맵 5개에 담김
컨퍼런스 if kakao
LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 서빙 프레임워크 도입 경험과 프레임워크 성능 최적화 기술을 쉽게 설명합니다. #LLM 서빙 프레임워크 카카오페이 선행기술개발TF팀에서 AI 서비스를 개발하고 있는 Ari입니다. 카카오페이 선행기술개발TF팀에서 금융관련 모델을 개발하고 있는 Kyou입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-20 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 if kakao
이미지까지 이해하는 Multimodal LLM의 학습 방법 밝혀내기 / if(kakaoAI)2024
컨퍼런스 if kakao
CVPR 2024에 하이라이트 논문으로 선정된 카카오의 자체 멀티모달 LLM을 소개하고, 이후 최근까지의 개선 과정을 통해 얻은 인사이트와 노하우를 공유합니다. #Kanana #MultiModal 카나나 알파 조직의 Multimodal LLM Core 팀원 Edwin입니다. 기존의 텍스트 모달리티만을 다루는 LLM에서 더 나아가 시각, 음성을 포함한 다양한 모달리티를 이해하고 반응할 수 있도록 하는 방법에 대해 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-7 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
if(kakaoAI)2024 카나나알파 리더 김병학(claude.next) 키노트 : Essence of Kanana Model Family 👇핵심만 골라보기 👇 ⏲️ Time Stamps 00:00 오프닝 01:46 카카오 서비스에 최적화된 LLM의 조건 03:44 Kanana 모델 소개 05:46 Kanana 모델 특징 07:26 언어모델 소개 13:19 멀티모달 언어모델 소개 18:17 비주얼 생성 모델 소개 19:16 실용적인 서비스로 연결되는 Kanana 모델 카카오 개발자 컨퍼런스 if(kakaoAI)2024에서 카카오 AI 통합 브랜드 Kanana를 비롯해 AI 비전, 모델, 그리고 우리의 일상을 바꿀 새로운 AI 서비스를 처음으로 세상에 공개했습니다. 더 나은 일상을 모두에게 전하는 그날까지, 끊임없이 가깝고, 친근한 기술을 만들어 가겠습니다. 모든 연결을 새롭게 if(kakaoAI)2024 🔗 if(kakaoAI)2024 홈페이지 : https://...
딥러닝 · 머신러닝 자연어 처리