Noir: 메일검색 서버를 반의 반으로 줄여준 신규 검색엔진 제작기
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
네이버 메일은 사용자별 문서만 검색하는 서비스였지만, 역색인 기반 구조에서는 색인·검색 장비와 대형 볼륨의 응답 지연, 수천만 개 볼륨의 운영 부담이 문제였습니다. 이를 해결하기 위해 역색인 없이 원본 문서를 블록 단위로 압축해 풀스캔하는 검색엔진 Noir를 만들고, 증분 볼륨에 문서를 추가한 뒤 일정량이 쌓이면 압축 볼륨에 반영하도록 설계했습니다. 메일 검색에 적용한 결과 기존 검색 장비를 약 4분의 1 수준으로 줄였고, 색인 서버도 없애 장비와 운영 부담을 낮췄으며 부분 일치 검색도 지원했습니다. 입력 중 검색과 장애 복구를 위해 메타데이터를 원자적으로 교체하고, 수정·삭제는 별도 변경 정보로 처리하는 등 풀스캔에 맞춘 저장·분산 설계가 중요하다는 점을 보여줍니다.
- 검색 대상이 사용자별 데이터처럼 작다면, 역색인 구축 비용과 검색 속도 사이의 균형을 다시 따져볼 수 있습니다.
- 블록 단위 압축은 저장 공간을 줄이는 동시에 압축 해제와 스캔을 병렬화할 수 있도록 설계합니다.
- 증분 볼륨과 압축 볼륨을 분리하고 메타데이터 포인터를 원자적으로 교체하면 입력 중 검색과 장애 복구를 함께 지원할 수 있습니다.
- 압축 데이터의 수정·삭제는 패치나 삭제 비트맵으로 반영하되, 변경 내역이 쌓이면 볼륨을 재구축해야 합니다.
- 분산 구성 변경 중 일관성을 지키려면 요청에 토폴로지 버전을 포함하고, 버전이 달라진 요청은 실패시켜 재시도하게 할 수 있습니다.
소개
[DEVIEW 2023] * 발표자 : 이창현, 신우진(NAVER Search) * 발표제목 : Noir: 메일검색 서버를 반의 반으로 줄여준 신규 검색엔진 제작기 * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
네이버 검색은 어떻게 나보다 더 내 의도를 잘 아는가? : AiRSearch 반응형 추천
컨퍼런스 DEVIEW 2023
CQuery : 우당탕탕 Trino와 썸타기
컨퍼런스 DEVIEW 2023
싸늘하다, 메신저에 경보가 날아와 꽂힌다 - 네이버 검색 SRE 시스템 개선기
컨퍼런스 DEVIEW 2023
지금까지 이런 검색은 없었다. 이것은 검색인가 추천인가 - 네이버 스마트블록 개인화 검색
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 발췌에서 생성으로: 네이버 검색의 진화
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 발췌에서 생성으로: 네이버 검색의 진화 본 세션에서는 생성형 AI를 활용하여 네이버 검색 결과를 요약 제공하는 AI브리핑 서비스를 소개하고, 서비스 출시 과정의 기술과 노하우를 공유합니다. 서비스를 구성하는 컴포넌트별로 필요한 LLM 모델을 튜닝하고, 파이프라인을 구축하여 서빙하는 과정, 그리고 서비스별 니즈를 만족시키기 위해 특화된 LLM모델링 및 프롬프트 엔지니어링을 수행하는 과정들에 대해 공유합니다. 목차 1. AI브리핑 소개 - 검색과 AI의 만남 - AI브리핑 시스템 overview - AI브리핑의 다양한 라인업 및 성과 2. AI브리핑 시스템 들여다보기 - AI브리핑을 위한 검색 시스템 소개 - 지속가능한 모델 개선 파이프라인 - AI브리핑 등장 후 네이버 검색 품질의 변화 3. 서비스 특화된 AI브리핑 - 다양한 사용자의 요구를 만족하기 위한 차별화된 시도 - Docume...
AI에이전트 개발 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] NextN Search: 끊임없이 진화하는 네이버 검색
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] NextN Search: 끊임없이 진화하는 네이버 검색 네이버 검색은 언제나 한 방향을 향해 진화해 왔습니다. 사용자가 원하는 정보를 더 정확하게 찾아주고, 양질의 네이버 콘텐츠를 더 효과적으로 보여주는 것, 그것이 변화의 본질입니다. NextN Search는 이러한 목적 아래, 검색 시스템 전반에 걸친 전방위 개편을 시도했습니다. 비효율적인 블록 영역을 최적화하고, 블록 중심의 결과를 개별 콘텐츠 피드 단위로 재구성함으로써 랭킹의 정교함과 해상력을 높였으며, 맞춤형 콘텐츠 추천을 통해 사용자가 체감할 수 있는 개인화 경험을 제공합니다. 본 세션에서는 NextN Search에 적용된 핵심 기술의 개발 과정과 실서비스 적용 경험을 공유합니다. 또한 LLM·VLM을 다양한 검색·추천 태스크에 활용한 실전 노하우를 통해, 최신 AI 모델이 실제 서비스에서 어떤 가치를 만들어내는지 구체적으로 살펴봅니다. 아래는 세션의 주요 목차입니다. NextN Sea...
딥러닝 · 머신러닝 자연어 처리