데이터는 없지만 LLM은 학습하고 싶어 - Code, Math 데이터 개발기
if kakao 카카오 · YouTube
AI 핵심 요약
오픈소스 코드·수학 데이터는 양과 품질, 최신성, 한국어 데이터 측면에서 한계가 있어 카카오 팀은 학습 데이터를 직접 수집하는 파이프라인을 구축했다. 코드 데이터는 GitHub Archive와 Software Heritage의 메타데이터에서 파일을 선별하고, PySpark 기반 샤딩·중첩 처리와 전처리, 휴리스틱 필터링, 언어 모델 기반 에듀 스코어링을 거쳐 정제했다. 수학·코드 관련 자연어 데이터는 웹 문서에서 수식과 코드 들여쓰기를 보존하는 자체 추출기를 만들고, 분류기와 반복 스코어링으로 영어·한국어 데이터를 선별했다. 발표에서는 자체 데이터로 학습했을 때 여러 코드·수학 벤치마크에서 오픈소스 데이터보다 나은 결과를 확인했으며, 데이터 품질과 언어별 구성이 모델 성능에 중요하다는 점을 공유했다.
- GitHub Archive와 Software Heritage의 메타데이터를 활용하면 전체 저장소를 무작정 받지 않고 필요한 파일만 선별할 수 있다.
- 대규모 파일 처리는 샤딩과 다운로드·필터링 중첩으로 자원 사용을 줄이고 처리 효율을 높일 수 있다.
- 코드 전처리에서는 라이선스와 중복 제거뿐 아니라 저작권 문구 제거, 개인정보 치환, 알고리즘 중심 휴리스틱 필터링을 고려해야 한다.
- 웹 문서 추출기는 수식 보존과 코드 들여쓰기 유지 여부를 확인하고, 기존 도구가 놓치는 형식은 직접 보완할 필요가 있다.
- 영어 데이터만으로 한국어 수학·코딩 성능이 충분히 전이되지 않을 수 있으므로, 목표 언어 데이터를 별도로 확보하고 혼합 학습을 검증해야 한다.
소개
if(kakao)25 효과적인 모델 학습을 위한 자체 데이터 수집 파이프라인 구축 경험을 공유합니다. #TECH #AI #LLM 카카오에서 대용량 데이터 처리와 효율적인 언어 모델 학습 방법을개발하는 정두해(wavy.jung)입니다. 카카오에서 LLM 학습에 필요한 고품질 데이터 수집 파이프라인과 효과적인 사전 학습 방법을 개발하는 김나연(lana.ny)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=48 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
비슷한 학습 자료
컨퍼런스 if kakao
LLM은 있지만 컨텍스트가 짧아 - Long Context 실전 적용기
컨퍼런스 if kakao
if(kakao)25 언어모델의 사용성 개선 측면에서 Long Context 적용 방법을 소개합니다. #TECH #AI #LLM 카카오에서 AI 모델 추론에 대한 최적화 연구·개발하고 있는 김유민(harry.win)입니다. 카카오에서 AI 모델 학습 및 추론에 대한 최적화 연구·개발하고 있는 김형주(jacob.crux)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=49 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝
컨퍼런스 if kakao
LLM은 있지만 다시 학습하고 싶어 - Kanana-2 개발기 (~ing)
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
데이터 뚝딱! AI메이트 메타데이터 생성 비법
컨퍼런스 if kakao
if(kakao)25 카카오톡 선물하기와 카카오맵 데이터를 활용해, AI 메이트 쇼핑/로컬 서비스에서 LLM 기반 메타데이터를 생성한 사례를 소개합니다. #TECH #PRODUCT #LLM #Data 카카오에서 LLM을 활용해 기존 서비스의 데이터 생성을 통해 더 나은 사용자 경험을 만들어가고 있는 한송민(harry.kr)입니다. 카카오에서 적용되는 AI 서비스를 위한 백엔드와 데이터 처리 파이프라인을 만들고 있는 한규주(nick.hann)입니다. 카카오의 기존 서비스에 LLM을 활용한 메타데이터를 생성합니다. 현재는 카카오맵 'AI 요약' 및 'AI 맛집 검색'을 위한 데이터 생성에 집중하고 있는이수인(bom.bom)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=33 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
백엔드 AI에이전트 개발
컨퍼런스 if kakao
LLM을 활용한 유저 프로파일링과 개인화 추천
컨퍼런스 if kakao
if(kakao)25 검색, 클릭 등의 행태정보를 기반으로 만드는 다양한 유저 프로파일링, 추천 프로덕트들을 소개합니다. How보다는 What을 소개하는 발표입니다. 전통적인 방법은 물론 LLM을 활용하여 개발하는 과정을 간략하게 소개합니다. #TECH #PRODUCT #AI #Data ML을 통해 문제해결하기를 좋아하는 데이터사이언티스트입니다. 요즘은 추천, LLM에 관심이 많습니다. 데이터팀에서 전사지원을 하고 있는 송민수(mason.9506)입니다. 발표자료 보기 📍 https://if.kakao.com/2025/session?sessionId=21 📍 if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
AI에이전트 개발 딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
밑바닥부터 시작하는 LLM 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오의 자체 대규모 언어 모델(LLM) 개발 과정과 그에 따른 도전 과제, 해결 경험을 소개합니다. 데이터 수집과 전처리부터 시작해 LLM의 pre-training과 post-training을 거친 모델의 개발 과정 전반을 공유하고, 그 과정에서 마주한 주요 문제와 그 해결방안에 대해서도 살펴봅니다. #Kanana #LLM #pre-training #post-training Language Model Training팀의 Mat이라고 합니다. 경쟁력 있는 LLM을 만들기위해 노력하고 있습니다. Language Model Alignment팀의 Kloud입니다. 말 잘듣는 LLM을 만들기위해 다양한 연구/개발을 수행하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-30 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발...
딥러닝 · 머신러닝 자연어 처리