![[팀네이버 컨퍼런스 DAN25] LLM 조각하기: HyperCLOVA-X SEED 모델 학습의 기술, 90x 학습 효율화, 효율적인 LLM 구조](https://i.ytimg.com/vi/sLDzTrSkkEQ/maxresdefault.jpg)
[팀네이버 컨퍼런스 DAN25] LLM 조각하기: HyperCLOVA-X SEED 모델 학습의 기술, 90x 학습 효율화, 효율적인 LLM 구조
DAN 2025 네이버 · YouTube
AI 핵심 요약
긴 컨텍스트와 멀티모달 입력이 늘면서 LLM의 어텐션 연산과 KV 캐시가 학습·서빙 비용을 키우는 문제를 짚고, 프리필과 디코딩의 병목 차이를 바탕으로 모델 구조를 설계하는 방법을 설명했다. 레이어 깊이와 히든 사이즈를 조정해 어텐션 비중을 낮추고, 큰 모델을 프루닝한 뒤 지식 증류로 보완하는 학습 공정을 구성해 HyperCLOVA X SEED 모델을 적은 학습 자원으로 만드는 접근을 소개했다. 발표에서는 이 공정으로 기존 방식보다 약 90배 적은 학습 비용을 달성했다고 밝혔으며, 효율적인 구조는 같은 시간에 더 많은 데이터를 학습할 수 있게 한다는 점을 강조했다. KV 캐시 압축은 속도 이득뿐 아니라 시스템 프롬프트 훼손, 안전성 저하, 이전 대화 정보 손실 가능성까지 검증해야 한다는 교훈도 제시했다.
- 프리필은 연산량이, 디코딩은 메모리 대역폭과 KV 캐시가 병목이 되므로 두 단계를 나눠 최적화해야 한다.
- 긴 컨텍스트에서는 어텐션 비용이 커지므로 레이어 깊이와 히든 사이즈를 함께 조정해 파라미터 수와 연산량의 균형을 찾는다.
- 구조화된 프루닝은 하드웨어 가속에 유리하지만 정확도 손실이 커질 수 있어, 중요 가중치를 보존하는 방식이 후속 학습 효율에도 영향을 준다.
- 프루닝 후 지식 증류로 큰 모델의 출력을 학습하면 작은 모델의 성능을 회복할 수 있으며, 학습 파이프라인의 어느 단계에 적용할지도 함께 검토해야 한다.
- KV 캐시 압축은 평균 벤치마크 점수만으로 안전성을 판단하지 말고, 시스템 프롬프트·안전성·멀티턴 대화의 손실 사례를 확인해야 한다.
소개
[팀네이버 컨퍼런스 DAN25] LLM 조각하기: HyperCLOVA-X SEED 모델 학습의 기술, 90x 학습 효율화, 효율적인 LLM 구조 본 세션에서는 HyperCLOVA X LLM 서비스 비용 최적화를 목표로, LLM 아키텍처 설계 단계에서부터 비용을 체계적으로 줄이는 방법을 다룹니다. 최근 LLM의 발전 방향과 서비스 관점에서의 활용 패턴을 정리하고, 이 과정에서 비용을 급증시키는 요인들을 개념적으로 설명합니다. 오픈소스 LLM 중 아키텍처를 연산·메모리 cost관점에서 리뷰하고, 서빙 환경에서 어떤 효과를 얻을 수 있는지 공유합니다. 이러한 아키텍처 리뷰를 바탕으로 HyperCLOVA X에 담긴 설계 철학과, 네이버의 여러 AI 서비스에 비용 효율화를 하기 위한 노력들을 공유합니다. 목차 1. LLM 발전 방향 - LLM의 발전 방향 : Long-Sequence 서비스 요구 사항 증가 - 어디서 LLM 비용이 발생할까? : LLM 비용 포인트...
이 자료가 담긴 로드맵
커뮤니티에서 더 보기비슷한 학습 자료
컨퍼런스 if kakao
빠르고 비용 효율적으로 LLM 서빙하기 / if(kakaoAI)2024
컨퍼런스 if kakao
경제적인 LLM 서비스 개발을 목표로 LLM의 추론 비용을 최적화하고자 고민하고 실험했던 다양한 내용을 공유합니다. #Kanana #LLM #Inference AI Engineering 조직 리더 Andrew입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-31 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 인공지능 기타 로드맵 5개에 담김
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 검색 서비스에 최적화된 LLM 만들기: 데이터, 학습, 서비스 적용 사례 범용 LLM은 강력하지만 매일 수십억 건의 질문과 답을 다루는 실제 검색 서비스에 그대로 적용하기에는 한계가 있다. 본 발표에서는 "검색 서비스 특화 LLM"을 만들고 실제 서비스에 적용해본 경험담을 공유한다. 검색 로그에서 출발한 데이터 가공 레시피 적용과 다양한 데이터 조합 실험, 특히 기존 범용 성능을 유지하면서도 서비스 맞춤 기능을 끌어올린 실험 결과와 데이터 최적화 노하우를 공유한다. 실제 서비스 적용 관점에서는 보다 신뢰성있는 검색 결과를 사용자에게 제공하기 위한 AuthGR과 전통적인 정보 검색 과정을 하나로 통합해 제시하는 AI briefing 을 소개한다. 이를 통해 범용 LLM 대비 검색 서비스 특화 모델의 효용성을 확인할 수 있으며, 네이버가 검색 품질 개선을 위해 갖고있는 고민과 앞으로의 방향성을 엿볼 수 있다. 목차 1. 서비스 특화 LLM 의 필...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기 LLM 라우터는 HyperCLOVA X 경량 모델 기반의 AI 분류 엔진으로, 사용자의 입력이나 콘텐츠를 미리 정의한 주제에 맞게 자동 분류합니다. 기존 ML 기반 분류기와 달리 LLM 라우터는 제로샷 방식으로 학습 없이 바로 사용 가능하며, 고객 문의나 긴 문서도 정확하게 분류 가능합니다. 본 발표에서는 LLM 라우터가 필요한 상황에 대해 설명하고 라우터를 학습한 과정 및 실 사용 예시를 소개합니다. 목차 1. 맥락을 이해하는 Zero-Shot 분류기 - 서비스마다 달라지는 맥락과 정책 - 학습 없이 제로샷으로 대응 가능한 LLM 라우터 - LLM 라우터 활용 예시 2. 일반화 성능을 높이기 위한 학습 및 실험 - 학습 데이터의 다양성 확보 - 데이터 생성 과정 - 학습 및 실험 결과 3. LLM 라우터 실제 활용 사례 - 네이버 내부 서비스...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Station M: LLM 그냥 쓰지마세요. 네이버 AI 검색의 모델 오케스트레이션 1. 네이버 검색에서 LLM 활용 - 다양한 검색 관련 태스크: 질의처리, 문서처리, 랭킹, 요약 등 - 다양한 LLM 평가와 Multi-LLM 활용 2. AI 검색을 위한 태스크별 모델 구축기 - AI Briefing - 요약 관련 서비스 - 검색 랭킹 관련 서비스 - 검색 색인 관련 서비스 - 질의 및 문서 이해 3. Station M : 서비스에 맞는 Multi-LLM 최적의 운영을 위해 - LLM 서비스를 위한 품질 평가 리더보드 - ICL, Reasoning, FT, RL, 경량화 등 서비스에 적절한 모델링 전략 - 속도, 비용, 처리량에 따른 모델 최적화 선택 전략 #DAN #DAN25 #TEAMNAVERCONFERENCE
딥러닝 · 머신러닝 자연어 처리 로드맵 6개에 담김
컨퍼런스 엔지니어링데이 2025
LLM이지만 PDF는 읽고 싶어: 복잡한 PDF를 LLM이 이해하는 방법
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] LLM-friendly PDF parser PaLADIN을 소개합니다. [발표 대상] - AI/LLM을 적극적으로 활용하고 싶으신 분 - 문서 처리에 관심이 있으신 분 - 웹검색에 관심이 있으신 분 [목차] 1. PDF가 왜 중요한가요? - LLM-friendly PDF Parser 2. 기술 탐색 및 PoC (with NVIDIA) - 관련 기술 탐색 - PoC with NVIDIA 3. PaLADIN: 표와 차트, 숫자를 정확히 이해하고 표현하는 LLM-friendly PDF Parser - 아키텍쳐 설계 - nv-ingest - 아키텍쳐 설계 - PaLADIN - Model 소개 - Element-Detector: Doclayout-Yolo - Model 소개 - Table-Extractor: nemoretriever-table-st...
컴퓨터 비전 자연어 처리
컨퍼런스 엔지니어링데이 2025