pgvector 검색 최적화 | 당근 DB 밋업 1회
당근 밋업 당근 · YouTube
AI 핵심 요약
당근은 별도 벡터 검색 시스템을 도입하지 않고 PostgreSQL의 pgvector로 텍스트·이미지 임베딩 검색을 운영하며, 하프 벡터와 HNSW, 코사인 거리를 활용한 경험을 공유했습니다. 대량 데이터에서는 HNSW의 랜덤 I/O와 큰 인덱스가 캐시 효율과 쿼리 성능을 떨어뜨릴 수 있어 파티셔닝이나 테이블 분리, 갱신이 잦은 컬럼의 분리가 중요합니다. 필터 조건으로 결과가 부족해지는 문제에는 ef_search 조정이나 pgvector 0.8.0의 iterative index scan을 적용하고, 서버 용량·트래픽 분산·인덱스 재구성도 함께 고려해야 합니다. pgvector는 기존 PostgreSQL 인프라에서 빠르게 시작할 수 있지만, 서비스 특성에 맞춰 작은 규모로 검증한 뒤 점진적으로 확장하는 것이 핵심입니다.
- 벡터 타입은 정밀도와 저장 공간의 균형을 따져 선택하고, 하프 벡터는 실제 임베딩으로 정확도 차이를 검증하세요.
- HNSW의 m, ef_construction, ef_search는 인덱스 크기·검색 품질·응답 시간에 영향을 주므로 워크로드에 맞춰 조정해야 합니다.
- 대량 데이터는 파티셔닝이나 테이블 분리로 인덱스와 캐시 부담을 줄이고, 자주 갱신되는 컬럼은 벡터 테이블에서 분리하는 편이 좋습니다.
- pgvector 0.8.0 이상에서는 iterative index scan으로 필터 조건과 LIMIT을 만족할 때까지 탐색을 이어갈 수 있습니다.
- HNSW 인덱스의 캐시 적중률과 블로팅을 살피고, 필요하면 버퍼 워밍업과 REINDEX CONCURRENTLY를 고려하세요.
소개
비싼 벡터 검색 SaaS 없이도 충분히 빠른 유사도 검색을 만들 수 있을까요? 벡터 검색과 pgvector의 기본 개념을 짚고, PostgreSQL의 pgvector 확장을 활용해 텍스트·이미지 등 비정형 데이터의 벡터 검색을 구현하고 최적화한 당근의 경험을 공유합니다. 대량 데이터를 안정적으로 처리하기 위한 테이블 설계와 쿼리 튜닝, 그리고 실제 운영에서 마주친 주의사항까지 실전 중심으로 소개합니다. 🥕 pgvector 검색 최적화 (백은빈) 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
당근마켓은 GCP를 왜, 어떻게 사용하고 있을까요? 인프라 관점에서 GCP를 활용해 본 당근의 이야기를 들려드려요. 🥕 추천 시스템 with DataFlow: 대규모 데이터 파이프라인 구성 (유경윤/ML 데이터플랫폼 팀) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#26428c3a9f8f8076b2bdd588558146a1 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
딥러닝 · 머신러닝 클라우드
컨퍼런스 당근 밋업
지역 기반으로 중고거래 검색을 샤딩하라 | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
대용량, 대규모 데이터를 다룰 때 샤딩(sharding)은 필수적으로 고려해야 하는 요소예요. 하지만 샤딩을 잘 적용하기란 결코 쉬운 일이 아니에요. 저희 검색플랫폼팀은 대규모의 중고거래 게시글을 샤딩하면서 지역 기반이라는 서비스 특성까지 고려해야 했고, 이를 프로덕션에 적용하여 좋은 결과를 만들어냈어요. 이 세션은 지역 기반 샤딩 적용 과정을 소개하면서, 검색에 대한 배경지식 없이도 성능 개선과 비용 개선을 위해 샤딩을 적용하려고 검토 중인 분들께 좋은 인사이트가 되길 바라요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
백엔드 데이터베이스
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] NextN Search: 끊임없이 진화하는 네이버 검색
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] NextN Search: 끊임없이 진화하는 네이버 검색 네이버 검색은 언제나 한 방향을 향해 진화해 왔습니다. 사용자가 원하는 정보를 더 정확하게 찾아주고, 양질의 네이버 콘텐츠를 더 효과적으로 보여주는 것, 그것이 변화의 본질입니다. NextN Search는 이러한 목적 아래, 검색 시스템 전반에 걸친 전방위 개편을 시도했습니다. 비효율적인 블록 영역을 최적화하고, 블록 중심의 결과를 개별 콘텐츠 피드 단위로 재구성함으로써 랭킹의 정교함과 해상력을 높였으며, 맞춤형 콘텐츠 추천을 통해 사용자가 체감할 수 있는 개인화 경험을 제공합니다. 본 세션에서는 NextN Search에 적용된 핵심 기술의 개발 과정과 실서비스 적용 경험을 공유합니다. 또한 LLM·VLM을 다양한 검색·추천 태스크에 활용한 실전 노하우를 통해, 최신 AI 모델이 실제 서비스에서 어떤 가치를 만들어내는지 구체적으로 살펴봅니다. 아래는 세션의 주요 목차입니다. NextN Sea...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] F-Solid: RAG에 최적화된 검색아키텍쳐
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] F-Solid: RAG에 최적화된 검색아키텍쳐 AI브리핑을 위해 만들어진 RAG용 검색기 - F-SOLID의 전반적인 아키텍쳐에 대해 설명합니다. 목차 AI를 위한 Unified 검색기 - AI를 위한 범용 Unified 검색기 의 필요성 - 현재 검색 시스템의 한계점 - F-Solid : AI 를 위한 새로운 검색 플랫폼 개발 프로젝트 대규모 자질을 효율적으로 색인하기 위한 파이프라인 - 대량의 문서 자질을 유통하기 위한 파이프라인 구성 - 자질 별 중요도를 고려한 우선순위 큐 - 문서 중요도를 고려한 색인 최적화 다층 Layer 기반 검색 구조 - 다층 Layer 기반 검색 구조 소개 - Base Ranker - Core Ranker - Blender 적합성 개선을 위한 LLM & 뉴럴 활용 - Learned Sparse Retrieval 기법인 SPLADE 적용 - 도메인...
데이터베이스 AI에이전트 개발 로드맵 5개에 담김
책 니틴 보르완카르 예스24
벡터 데이터베이스
책 니틴 보르완카르 예스24
헛소리하는 AI, 범인은 따로 있다. 응답의 퀄리티를 바꾸는 벡터 데이터베이스. 분명 문서 안에 있는 내용인데 AI는 모른다고 답합니다. 모델 탓일까요? 같은 LLM이라도 필요한 정보를 얼마나 정확히 찾아 전달하느냐에 따라 답변의 품질이 달라집니다. 텍스트, 이미지, 오디오처럼 형태가 다른 데이터도 벡터로 표현하면 키워드가 일치하지 않아도 의미가 비슷한 정보를 찾아낼 수 있습니다. 그렇다면 벡터는 어떻게 만들어지고, 저장되고, 검색될까요? 이 책은 임베딩과 유사도 검색, 인덱스, RAG까지 벡터 데이터베이스의 핵심 개념을 직접 코드로 구현하며 익히는 책입니다. 어려운 이론부터 파고들거나 복잡한 인프라를 먼저 구축할 필요는 없습니다. 익숙한 SQLite3와 PostgreSQL에 벡터 검색 기능을 더하고, 시맨틱 검색을 거쳐 실제로 작동하는 RAG 시스템까지 확장해 봅니다. FAISS와 pgvector, Ollama를 활용해 모든 과정을 직접 따라 할 수 있습니다. 코드를 하나씩 실행하...
데이터베이스 AI에이전트 개발
문서 권수영, 한수진