AI에게 도메인을 가르치다 두 번 갈아엎은 이야기 — LLM Wiki + RAG 혼합기
김태훈 컬리 · 컬리 기술 블로그
AI 핵심 요약
사내 도메인 지식을 LLM에 제공하기 위해 LLM Wiki를 구축했지만, 문서가 늘면서 컨텍스트 비용과 정보 누락 문제가 생겨 검색 구조를 두 차례 바꿨습니다. 먼저 Inverted Index를 시도했으나 동의어를 놓치고 같은 키워드가 든 무관한 문서까지 불러왔고, 본문 임베딩은 의미 검색을 개선했지만 다주제 문서의 의미가 평균화되고 약어·티켓 ID 검색에 약했습니다. 최종적으로 문서를 한 주제씩 분리하고, 사람이 검토한 짧은 요약은 multilingual-e5-small과 sqlite-vec으로 의미 검색하며 본문 전체는 SQLite FTS5와 BM25로 검색하도록 역할을 나눴습니다. 이 방식은 임베딩 입력 잘림을 막고 식별자 검색을 보완했으며, 검색 시스템에서는 모델·사람·도구가 잘하는 일을 분담하는 것이 중요하다는 교훈을 남겼습니다.
- 키워드 색인은 동의어 누락과 무관한 문서의 과다 검색을 일으킬 수 있으므로, 색인 유지 비용까지 함께 평가해야 합니다.
- 임베딩 모델의 입력 길이 제한을 확인하고, 문서가 잘리는지 실제 토큰 분포로 검증하세요.
- 다주제 문서는 주제별로 나누면 각 요약의 의미가 선명해져 검색 정확도를 높일 수 있습니다.
- 의미 검색과 정확한 식별자 검색은 서로 다른 문제이므로, 임베딩과 FTS5·BM25처럼 적합한 검색 채널을 조합하세요.
- LLM이 만든 요약은 검색 품질의 핵심 메타데이터가 되므로 사람의 검토와 품질 관리가 필요합니다.
소개
도메인 지식을 LLM에게 먹이는 방법 — Inverted Index, 본문 임베딩, 요약 임베딩+FTS 세 가지 시도와 두 번의 갈아엎기
비슷한 학습 자료
컨퍼런스 if kakao
All About LLM: 카카오 AI메이트, 학습부터 서빙까지의 모든 것
컨퍼런스 if kakao
if(kakao)25 선물하기, 카카오맵 등 여러 도메인에 LLM을 성공적으로 학습, 평가 및 서빙한 모든 과정을 공개합니다. #TECH #AI #LLM 카카오에서 언어 모델을 활용하여 고성능 검색 시스템 구축을 시도하고 있는 황우성(charlie.cs)입니다. AI 서비스에 특화된 LLM을 연구/개발하고 있는 양기창(kevin.us)입니다. 피부에 와닿을 수 있는 세상에 실질적인 가치를 줄 수 있는 AI를 만들고자 합니다. AI 서비스 도메인에 특화된 언어모델의 서비스 적합성을 높이기 위해 학습 데이터 전략을 수립하고, 언어모델 성능 평가를 위한 평가 체계를 설계하고 구축을 하고있는 안애림(eileen.u)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=36 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 검색 서비스에 최적화된 LLM 만들기: 데이터, 학습, 서비스 적용 사례 범용 LLM은 강력하지만 매일 수십억 건의 질문과 답을 다루는 실제 검색 서비스에 그대로 적용하기에는 한계가 있다. 본 발표에서는 "검색 서비스 특화 LLM"을 만들고 실제 서비스에 적용해본 경험담을 공유한다. 검색 로그에서 출발한 데이터 가공 레시피 적용과 다양한 데이터 조합 실험, 특히 기존 범용 성능을 유지하면서도 서비스 맞춤 기능을 끌어올린 실험 결과와 데이터 최적화 노하우를 공유한다. 실제 서비스 적용 관점에서는 보다 신뢰성있는 검색 결과를 사용자에게 제공하기 위한 AuthGR과 전통적인 정보 검색 과정을 하나로 통합해 제시하는 AI briefing 을 소개한다. 이를 통해 범용 LLM 대비 검색 서비스 특화 모델의 효용성을 확인할 수 있으며, 네이버가 검색 품질 개선을 위해 갖고있는 고민과 앞으로의 방향성을 엿볼 수 있다. 목차 1. 서비스 특화 LLM 의 필...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Station M: LLM 그냥 쓰지마세요. 네이버 AI 검색의 모델 오케스트레이션 1. 네이버 검색에서 LLM 활용 - 다양한 검색 관련 태스크: 질의처리, 문서처리, 랭킹, 요약 등 - 다양한 LLM 평가와 Multi-LLM 활용 2. AI 검색을 위한 태스크별 모델 구축기 - AI Briefing - 요약 관련 서비스 - 검색 랭킹 관련 서비스 - 검색 색인 관련 서비스 - 질의 및 문서 이해 3. Station M : 서비스에 맞는 Multi-LLM 최적의 운영을 위해 - LLM 서비스를 위한 품질 평가 리더보드 - ICL, Reasoning, FT, RL, 경량화 등 서비스에 적절한 모델링 전략 - 속도, 비용, 처리량에 따른 모델 최적화 선택 전략 #DAN #DAN25 #TEAMNAVERCONFERENCE
딥러닝 · 머신러닝 자연어 처리 로드맵 6개에 담김
책 허정준 예스24
LLM을 활용한 실전 AI 애플리케이션 개발
책 허정준 예스24
트랜스포머 아키텍처부터 RAG 개발, 모델 학습, 배포, 최적화, 운영까지 라마인덱스와 LLM을 활용한 AI 애플리케이션 개발의 모든 것 이 책에서는 LLM의 기본 아키텍처에서 출발해 애플리케이션의 요구사항에 맞춰 LLM을 길들이고 제한된 컴퓨팅 환경에서 동작하게 경량화해서 원활하게 서빙하게끔 기초를 다진 다음에 RAG라는 LLM의 대표적인 애플리케이션을 만드는 방법을 차근차근 설명한다. 여기서 끝나지 않고 실제 운영과정에서 부딪히는 어려움을 해소하는 방법과 멀티 모달과 더불어 에이전트와 같은 고급 주제까지 다룬다. LLM 시대를 맞이하여 필수적으로 갖춰야 하는 개발 지식을 이론과 실무 양쪽 관점에서 설명하고 있으므로, 새로운 패러다임에 적응하고자 하는 개발자들에게 가뭄의 단비처럼 다가올 것이다.
AI에이전트 개발 딥러닝 · 머신러닝 자연어 처리 로드맵 1개에 담김
문서 김병균
LLM은 똑똑한데, 왜 우리 회사 일은 모를까
문서 표상영