경량화 레시피: Teacher 지식 조린 소형 모델, 근데 성능을 곁들인
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
서비스에서 LLM의 추론 비용과 지연 시간을 줄이면서 품질을 유지하기 위해, 네이버 AI 플랫폼 팀은 제목 추천과 사물 키워드 추출에 시퀀스 레벨 지식 증류를 적용했습니다. HyperCLOVA X 티처 모델로 합성 학습 데이터를 만들고, 태스크별 데이터 분포를 조정하거나 저품질 샘플을 필터링해 더 작은 스튜던트 모델을 학습했습니다. 키워드 추출에서는 단순 정답 증류의 한계를 확인한 뒤 추론 근거를 멀티태스크 학습에 활용해 성능을 높였으며, 일부 경량 모델은 큰 기준 모델의 성능을 넘어섰습니다. 핵심 교훈은 티처 품질뿐 아니라 합성 데이터의 균형과 노이즈 관리, 태스크에 맞는 학습 신호 설계가 경량화 성능을 좌우한다는 점입니다.
- 시퀀스 레벨 증류에서는 합성 데이터를 늘리는 것만으로 충분하지 않으므로, 태스크별 케이스 분포를 맞추고 저품질 샘플을 걸러야 합니다.
- 평가 기준을 구체적인 항목과 예시로 정의하면 사람 평가와 LLM 자동 평가를 일관되게 설계하는 데 도움이 됩니다.
- 작은 모델에서 간결함과 문맥 보존처럼 평가 항목 간 충돌이 나타날 수 있으니, 출력 길이 등 오류 양상을 분석해 필터링 기준을 세우세요.
- 키워드 추출처럼 출력이 짧은 태스크도 스펙이 복잡하다면, 정답 목록뿐 아니라 추론 근거를 보조 학습 신호로 활용할 수 있습니다.
- 합성 추론 근거가 잘못된 정답을 정당화할 수 있으므로, 근거와 정답의 일관성을 점검하고 생성 방식을 비교해야 합니다.
소개
[발표 내용] 애플리케이션 서비스에서 요구하는 성능 품질을 달성한 Large langauge model(LLM)을 성능 열화 없이 Small LLM으로 경량화하는 레시피를 소개합니다 [목차] Episode 1: 서비스용 LLM 모델을 줄여야만 한다? Episode 2: 고품질 제목 추천 Episode 3: 사물 키워드 추출 Episode 4: 마무리 [대상] * 서비스 애플리케이션 요구사항을 두루 충족하는 LLM 기반 모델링에 관심 있으신 분 * 모델 경량화에 대해 고민하시는 분
비슷한 학습 자료
컨퍼런스 if kakao
LLM은 있지만 컨텍스트가 짧아 - Long Context 실전 적용기
컨퍼런스 if kakao
if(kakao)25 언어모델의 사용성 개선 측면에서 Long Context 적용 방법을 소개합니다. #TECH #AI #LLM 카카오에서 AI 모델 추론에 대한 최적화 연구·개발하고 있는 김유민(harry.win)입니다. 카카오에서 AI 모델 학습 및 추론에 대한 최적화 연구·개발하고 있는 김형주(jacob.crux)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=49 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝
컨퍼런스 if kakao
LLM으로 음성인식 성능 개선하기 / if(kakaoAI)2024
컨퍼런스 if kakao
LLM을 활용하여 기존 E2E 기반 음성인식기의 성능을 개선한 방법을 소개합니다. 일반적으로 LLM 기반의 디코더를 E2E 음성인식기에 적용할 경우 성능은 높아지지만, 디코딩 속도가 현저히 느려지는 문제가 있습니다. 이때 LLM 디코더의 언어 능력을 E2E 음성인식기의 디코더로 전이시켜 연산량은 유지하면서도 음성인식률을 크게 향상시키는 방법을 공유합니다. #Kanana #MultiModal #LLM #음성인식 #STT 카나나 알파 Multimodal LLM Application 조직의 Jessie입니다. 오디오, 언어 등 다양한 모달리티의 입출력을 다루는 멀티모달 LLM을 연구하고 있습니다. 카나나 알파 Multimodal LLM Application 조직의 Heize입니다. 사람처럼 듣고 이해하는 실용적인 AI를 연구하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-11 if(kakaoAI)2024에 대한 자세한 정...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기 LLM 라우터는 HyperCLOVA X 경량 모델 기반의 AI 분류 엔진으로, 사용자의 입력이나 콘텐츠를 미리 정의한 주제에 맞게 자동 분류합니다. 기존 ML 기반 분류기와 달리 LLM 라우터는 제로샷 방식으로 학습 없이 바로 사용 가능하며, 고객 문의나 긴 문서도 정확하게 분류 가능합니다. 본 발표에서는 LLM 라우터가 필요한 상황에 대해 설명하고 라우터를 학습한 과정 및 실 사용 예시를 소개합니다. 목차 1. 맥락을 이해하는 Zero-Shot 분류기 - 서비스마다 달라지는 맥락과 정책 - 학습 없이 제로샷으로 대응 가능한 LLM 라우터 - LLM 라우터 활용 예시 2. 일반화 성능을 높이기 위한 학습 및 실험 - 학습 데이터의 다양성 확보 - 데이터 생성 과정 - 학습 및 실험 결과 3. LLM 라우터 실제 활용 사례 - 네이버 내부 서비스...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Station M: LLM 그냥 쓰지마세요. 네이버 AI 검색의 모델 오케스트레이션 1. 네이버 검색에서 LLM 활용 - 다양한 검색 관련 태스크: 질의처리, 문서처리, 랭킹, 요약 등 - 다양한 LLM 평가와 Multi-LLM 활용 2. AI 검색을 위한 태스크별 모델 구축기 - AI Briefing - 요약 관련 서비스 - 검색 랭킹 관련 서비스 - 검색 색인 관련 서비스 - 질의 및 문서 이해 3. Station M : 서비스에 맞는 Multi-LLM 최적의 운영을 위해 - LLM 서비스를 위한 품질 평가 리더보드 - ICL, Reasoning, FT, RL, 경량화 등 서비스에 적절한 모델링 전략 - 속도, 비용, 처리량에 따른 모델 최적화 선택 전략 #DAN #DAN25 #TEAMNAVERCONFERENCE
딥러닝 · 머신러닝 자연어 처리 로드맵 6개에 담김
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 조각하기: HyperCLOVA-X SEED 모델 학습의 기술, 90x 학습 효율화, 효율적인 LLM 구조 본 세션에서는 HyperCLOVA X LLM 서비스 비용 최적화를 목표로, LLM 아키텍처 설계 단계에서부터 비용을 체계적으로 줄이는 방법을 다룹니다. 최근 LLM의 발전 방향과 서비스 관점에서의 활용 패턴을 정리하고, 이 과정에서 비용을 급증시키는 요인들을 개념적으로 설명합니다. 오픈소스 LLM 중 아키텍처를 연산·메모리 cost관점에서 리뷰하고, 서빙 환경에서 어떤 효과를 얻을 수 있는지 공유합니다. 이러한 아키텍처 리뷰를 바탕으로 HyperCLOVA X에 담긴 설계 철학과, 네이버의 여러 AI 서비스에 비용 효율화를 하기 위한 노력들을 공유합니다. 목차 1. LLM 발전 방향 - LLM의 발전 방향 : Long-Sequence 서비스 요구 사항 증가 - 어디서 LLM 비용이 발생할까? : LLM 비용 포인트...
딥러닝 · 머신러닝 로드맵 2개에 담김
컨퍼런스 엔지니어링데이 2025
AI 경량화: 더 빠르고 저렴한 AI 서비스 - 백동원_NE DAY 23. 10
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY(10월)에서 발표되었던 세션을 공개합니다. ----- [발표 내용] * AI 경량화 삽질기 (feat. LaRva) - Quantization과 삽질기 - Pruning과 삽질기 - Low-Rank와 삽질기 - Knowledge Distillation과 삽질기 * AI 경량화 Benefits & Risks - 전력 소모 단위에서의 AI 경량화 - 각종 논문에서의 AI 경량화 안정성 반증 - AI 경량화에서 얻을 수 있는 Benefits - AI 경량화를 할 때 대비해야 하는 Risks
딥러닝 · 머신러닝