LLM은 있지만 컨텍스트가 짧아 - Long Context 실전 적용기
if kakao 카카오 · YouTube
AI 핵심 요약
긴 대화와 코드, 문서, 멀티모달 입력을 LLM이 제대로 다루려면 긴 문맥을 처리하는 능력이 필요하지만, RoPE 기반 모델은 학습 길이를 넘어설 때 성능이 떨어지고 장문 학습에는 데이터와 GPU 메모리 부담이 따릅니다. 발표에서는 먼저 보간, Dynamic NTK, YaRN, LongRoPE 등 학습 없이 RoPE 위치 정보를 조정하는 방법을 비교하고, 이어 짧은 문서에서 질문·요약·정답을 생성하거나 책을 청크별로 요약해 장문 합성 데이터를 만드는 과정을 소개했습니다. 학습 단계에서는 링 어텐션으로 시퀀스를 분산하고 데이터 패킹과 문서 마스킹으로 메모리 및 패딩 낭비를 줄였습니다. 평가에서는 위치 보정만으로도 장문 성능을 보완할 수 있었고, 합성 데이터를 학습에 더한 모델은 Needle-in-a-Haystack, RULER, LongBench 등에서 전반적으로 개선되어 데이터와 학습 최적화를 함께 설계하는 것이 중요하다는 점을 보였습니다.
- RoPE의 외삽 성능을 보완할 때는 위치를 학습 범위 안으로 압축하는 보간을 적용하고, YaRN처럼 주파수 대역별로 보정 강도를 달리할 수 있습니다.
- Needle-in-a-Haystack만으로는 장문 이해를 충분히 평가하기 어려우므로 RULER의 다중 키·값, 변수 추적, 문서 질의응답 등 다양한 과제를 함께 살펴보세요.
- 짧은 문서를 이어 붙여 장문 학습 데이터를 만들 때는 질문·요약·정답을 구성하고, 문서 마스킹으로 서로 다른 문서 간 어텐션을 차단할 수 있습니다.
- 링 어텐션으로 시퀀스 연산을 여러 장치에 분산하고, 데이터 패킹으로 패딩 낭비를 줄여 장문 학습의 메모리와 연산 부담을 완화할 수 있습니다.
소개
if(kakao)25 언어모델의 사용성 개선 측면에서 Long Context 적용 방법을 소개합니다. #TECH #AI #LLM 카카오에서 AI 모델 추론에 대한 최적화 연구·개발하고 있는 김유민(harry.win)입니다. 카카오에서 AI 모델 학습 및 추론에 대한 최적화 연구·개발하고 있는 김형주(jacob.crux)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=49 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
비슷한 학습 자료
컨퍼런스 if kakao
데이터는 없지만 LLM은 학습하고 싶어 - Code, Math 데이터 개발기
컨퍼런스 if kakao
if(kakao)25 효과적인 모델 학습을 위한 자체 데이터 수집 파이프라인 구축 경험을 공유합니다. #TECH #AI #LLM 카카오에서 대용량 데이터 처리와 효율적인 언어 모델 학습 방법을개발하는 정두해(wavy.jung)입니다. 카카오에서 LLM 학습에 필요한 고품질 데이터 수집 파이프라인과 효과적인 사전 학습 방법을 개발하는 김나연(lana.ny)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=48 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
LLM은 있지만 다시 학습하고 싶어 - Kanana-2 개발기 (~ing)
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 if kakao
서비스에 LLM 부스터 달아주기: 요약부터 AI Bot 까지 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오에서 진행했던 일부 LLM 학습 및 서빙 과정 및 결과에 대해 소개합니다. LLM을 요약과 같이 특정 specific task에 적용 하는 것 부터 시작하여, AI Bot 서비스로 발전시키는 과정에서 단계별로 발생하였던 테크니컬한 이슈들을 어떻게 해소하였는지 소개합니다. #LLM #Generative AI #service AI Alignment Joel입니다. LLM 기반 서비스를 만들기 위해 여러가지 일들을 하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-59 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
자연어 처리
컨퍼런스 if kakao
LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM 서빙 프레임워크 도입 경험과 프레임워크 성능 최적화 기술을 쉽게 설명합니다. #LLM 서빙 프레임워크 카카오페이 선행기술개발TF팀에서 AI 서비스를 개발하고 있는 Ari입니다. 카카오페이 선행기술개발TF팀에서 금융관련 모델을 개발하고 있는 Kyou입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-20 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 if kakao
이미지까지 이해하는 Multimodal LLM의 학습 방법 밝혀내기 / if(kakaoAI)2024
컨퍼런스 if kakao
CVPR 2024에 하이라이트 논문으로 선정된 카카오의 자체 멀티모달 LLM을 소개하고, 이후 최근까지의 개선 과정을 통해 얻은 인사이트와 노하우를 공유합니다. #Kanana #MultiModal 카나나 알파 조직의 Multimodal LLM Core 팀원 Edwin입니다. 기존의 텍스트 모달리티만을 다루는 LLM에서 더 나아가 시각, 음성을 포함한 다양한 모달리티를 이해하고 반응할 수 있도록 하는 방법에 대해 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-7 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전