![[팀네이버 컨퍼런스 DAN25] 검색 서비스에 최적화된 LLM 만들기: 데이터, 학습, 서비스 적용 사례](https://i.ytimg.com/vi/VXpaG2iRaXg/maxresdefault.jpg)
[팀네이버 컨퍼런스 DAN25] 검색 서비스에 최적화된 LLM 만들기: 데이터, 학습, 서비스 적용 사례
DAN 2025 네이버 · YouTube
AI 핵심 요약
범용 LLM은 네이버 검색의 실제 쿼리와 문서, 서비스별 요구를 충분히 반영하지 못해 검색 품질과 응답 신뢰도에 한계가 있었다. 이를 개선하기 위해 동의받은 검색 로그와 신뢰도 높은 문서로 사전 학습하고, SFT·선호도 학습과 합성 데이터 실험을 거쳐 일반 능력을 유지하면서 검색 과제에 맞춘 Search LLM을 만들었다. 모델은 신뢰도 높은 문서를 찾는 AuthGR과 답변 생성·검증·후속 질문을 담당하는 AI 브리핑에 적용됐으며, 검색 특화 학습이 문서 신뢰도와 응답 품질을 높이고 작은 모델의 서비스 적용에도 도움이 됐다. 다만 도메인 적응은 안전성 역량을 약화할 수 있어 별도 안전성 데이터 학습과 지속적인 평가가 필요하다는 점도 확인했다.
- 검색 로그는 사용자 동의를 전제로 가공하고, 쿼리·문서·URL의 관계를 사전 학습부터 모델에 익히게 한다.
- 도메인 데이터는 많이 넣을수록 좋은 것이 아니다. 일반 능력의 저하와 서비스 과적합을 함께 살피며 혼합 비율을 조정한다.
- 리랭킹과 여러 문서를 참조하는 답변 생성 같은 합성 과제로 검색 역량을 보강하고, 자동 평가 결과를 데이터 개선에 연결한다.
- 응답 검증은 프롬프트만으로 해결하기 어려우므로 휴먼 어노테이션과 합성 데이터를 활용해 별도 모델로 학습할 수 있다.
- 도메인 적응 후에는 안전성 저하 여부도 점검하고, 필요한 안전성 데이터를 추가 학습해 균형을 맞춘다.
소개
[팀네이버 컨퍼런스 DAN25] 검색 서비스에 최적화된 LLM 만들기: 데이터, 학습, 서비스 적용 사례 범용 LLM은 강력하지만 매일 수십억 건의 질문과 답을 다루는 실제 검색 서비스에 그대로 적용하기에는 한계가 있다. 본 발표에서는 "검색 서비스 특화 LLM"을 만들고 실제 서비스에 적용해본 경험담을 공유한다. 검색 로그에서 출발한 데이터 가공 레시피 적용과 다양한 데이터 조합 실험, 특히 기존 범용 성능을 유지하면서도 서비스 맞춤 기능을 끌어올린 실험 결과와 데이터 최적화 노하우를 공유한다. 실제 서비스 적용 관점에서는 보다 신뢰성있는 검색 결과를 사용자에게 제공하기 위한 AuthGR과 전통적인 정보 검색 과정을 하나로 통합해 제시하는 AI briefing 을 소개한다. 이를 통해 범용 LLM 대비 검색 서비스 특화 모델의 효용성을 확인할 수 있으며, 네이버가 검색 품질 개선을 위해 갖고있는 고민과 앞으로의 방향성을 엿볼 수 있다. 목차 1. 서비스 특화 LLM 의 필...
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 발췌에서 생성으로: 네이버 검색의 진화
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 발췌에서 생성으로: 네이버 검색의 진화 본 세션에서는 생성형 AI를 활용하여 네이버 검색 결과를 요약 제공하는 AI브리핑 서비스를 소개하고, 서비스 출시 과정의 기술과 노하우를 공유합니다. 서비스를 구성하는 컴포넌트별로 필요한 LLM 모델을 튜닝하고, 파이프라인을 구축하여 서빙하는 과정, 그리고 서비스별 니즈를 만족시키기 위해 특화된 LLM모델링 및 프롬프트 엔지니어링을 수행하는 과정들에 대해 공유합니다. 목차 1. AI브리핑 소개 - 검색과 AI의 만남 - AI브리핑 시스템 overview - AI브리핑의 다양한 라인업 및 성과 2. AI브리핑 시스템 들여다보기 - AI브리핑을 위한 검색 시스템 소개 - 지속가능한 모델 개선 파이프라인 - AI브리핑 등장 후 네이버 검색 품질의 변화 3. 서비스 특화된 AI브리핑 - 다양한 사용자의 요구를 만족하기 위한 차별화된 시도 - Docume...
AI에이전트 개발 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 라우터: 맥락을 이해하고 분류하는 똑똑한 AI 분류기 LLM 라우터는 HyperCLOVA X 경량 모델 기반의 AI 분류 엔진으로, 사용자의 입력이나 콘텐츠를 미리 정의한 주제에 맞게 자동 분류합니다. 기존 ML 기반 분류기와 달리 LLM 라우터는 제로샷 방식으로 학습 없이 바로 사용 가능하며, 고객 문의나 긴 문서도 정확하게 분류 가능합니다. 본 발표에서는 LLM 라우터가 필요한 상황에 대해 설명하고 라우터를 학습한 과정 및 실 사용 예시를 소개합니다. 목차 1. 맥락을 이해하는 Zero-Shot 분류기 - 서비스마다 달라지는 맥락과 정책 - 학습 없이 제로샷으로 대응 가능한 LLM 라우터 - LLM 라우터 활용 예시 2. 일반화 성능을 높이기 위한 학습 및 실험 - 학습 데이터의 다양성 확보 - 데이터 생성 과정 - 학습 및 실험 결과 3. LLM 라우터 실제 활용 사례 - 네이버 내부 서비스...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] NextN Search: 끊임없이 진화하는 네이버 검색
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] NextN Search: 끊임없이 진화하는 네이버 검색 네이버 검색은 언제나 한 방향을 향해 진화해 왔습니다. 사용자가 원하는 정보를 더 정확하게 찾아주고, 양질의 네이버 콘텐츠를 더 효과적으로 보여주는 것, 그것이 변화의 본질입니다. NextN Search는 이러한 목적 아래, 검색 시스템 전반에 걸친 전방위 개편을 시도했습니다. 비효율적인 블록 영역을 최적화하고, 블록 중심의 결과를 개별 콘텐츠 피드 단위로 재구성함으로써 랭킹의 정교함과 해상력을 높였으며, 맞춤형 콘텐츠 추천을 통해 사용자가 체감할 수 있는 개인화 경험을 제공합니다. 본 세션에서는 NextN Search에 적용된 핵심 기술의 개발 과정과 실서비스 적용 경험을 공유합니다. 또한 LLM·VLM을 다양한 검색·추천 태스크에 활용한 실전 노하우를 통해, 최신 AI 모델이 실제 서비스에서 어떤 가치를 만들어내는지 구체적으로 살펴봅니다. 아래는 세션의 주요 목차입니다. NextN Sea...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Station M: LLM 그냥 쓰지마세요. 네이버 AI 검색의 모델 오케스트레이션 1. 네이버 검색에서 LLM 활용 - 다양한 검색 관련 태스크: 질의처리, 문서처리, 랭킹, 요약 등 - 다양한 LLM 평가와 Multi-LLM 활용 2. AI 검색을 위한 태스크별 모델 구축기 - AI Briefing - 요약 관련 서비스 - 검색 랭킹 관련 서비스 - 검색 색인 관련 서비스 - 질의 및 문서 이해 3. Station M : 서비스에 맞는 Multi-LLM 최적의 운영을 위해 - LLM 서비스를 위한 품질 평가 리더보드 - ICL, Reasoning, FT, RL, 경량화 등 서비스에 적절한 모델링 전략 - 속도, 비용, 처리량에 따른 모델 최적화 선택 전략 #DAN #DAN25 #TEAMNAVERCONFERENCE
딥러닝 · 머신러닝 자연어 처리 로드맵 6개에 담김
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] LLM 조각하기: HyperCLOVA-X SEED 모델 학습의 기술, 90x 학습 효율화, 효율적인 LLM 구조 본 세션에서는 HyperCLOVA X LLM 서비스 비용 최적화를 목표로, LLM 아키텍처 설계 단계에서부터 비용을 체계적으로 줄이는 방법을 다룹니다. 최근 LLM의 발전 방향과 서비스 관점에서의 활용 패턴을 정리하고, 이 과정에서 비용을 급증시키는 요인들을 개념적으로 설명합니다. 오픈소스 LLM 중 아키텍처를 연산·메모리 cost관점에서 리뷰하고, 서빙 환경에서 어떤 효과를 얻을 수 있는지 공유합니다. 이러한 아키텍처 리뷰를 바탕으로 HyperCLOVA X에 담긴 설계 철학과, 네이버의 여러 AI 서비스에 비용 효율화를 하기 위한 노력들을 공유합니다. 목차 1. LLM 발전 방향 - LLM의 발전 방향 : Long-Sequence 서비스 요구 사항 증가 - 어디서 LLM 비용이 발생할까? : LLM 비용 포인트...
딥러닝 · 머신러닝 로드맵 2개에 담김
컨퍼런스 엔지니어링데이 2025
경험이 쌓일수록 똑똑해지는 네이버 통합검색 LLM Devops Agent
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] 네이버 통합 검색에서 더 나은 장애 대응 프로세스를 위해 LLM Agent를 활용하는 방식에 대해 소개합니다. Agent 를 어떤 방식으로 구성하고 구축했는지, 어떻게 평가하고 활용하고 있는지를 자세히 소개합니다. [발표 대상] 네이버 검색에서 장애 감지와 분석에 대해 궁금하신 분 LLM을 활용한 Agent 구성을 고민하시는 분 [목차] 1. 기존 장애 대응 프로세스 - 네이버 검색 흐름 - 기존 장애대응 프로세스 - 기존 방식의 문제점 2. Devops Agent v1 - 설계 - v1 구조 - v1 소개 - 현재 SW stack 3. Devops Agent v2 - v1의 한계 - v2 구조 4. 시스템 동작과 특징 - Trigger Queue - 이상 탐지 방법 ...
데브옵스 · 인프라 AI에이전트 개발