늘어가는 조회트래픽 Elasticsearch로 분산시키기
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
리뷰 조회량과 필터·정렬 조건이 늘면서 MongoDB 복합 인덱스가 30개까지 증가했고, 인덱스 관리 부담과 쓰기 성능 저하, 복잡한 조회의 지연이 문제로 나타났다. 이를 해결하기 위해 Kafka의 MongoDB CDC 이벤트로 조회에 필요한 필드만 Elasticsearch에 동기화하고, Elasticsearch에서 리뷰 ID를 찾은 뒤 MongoDB에서 응답 데이터를 가져오는 구조를 만들었다. Redis 캐시와 피처 토글을 함께 적용해 트래픽을 점진적으로 전환하고 장애 시 MongoDB로 자동 fallback하도록 했으며, 인덱스가 잘 맞지 않던 조회의 응답 시간과 슬로우 쿼리를 크게 줄였다. Elasticsearch 운영 팁과 함께 OpenSearch 전환 경험도 공유하며, 조회 저장소를 분리할 때는 매핑·샤드·라우팅을 신중히 설계하고 전환을 점진적으로 진행해야 한다고 설명했다.
- 조회 필터와 정렬 조합이 계속 늘면 복합 인덱스만 추가하는 방식은 인덱스 관리와 쓰기 성능 측면에서 한계가 생긴다.
- Elasticsearch 매핑은 검색·정렬에 필요한 필드부터 최소화하고, 문자열은 용도에 따라 keyword와 text를 구분한다.
- 배열 안 여러 필드의 조건을 함께 검색해야 할 때는 object의 교차 매칭 문제를 고려해 nested를 사용한다.
- 샤드 라우팅은 자주 조회되는 키를 기준으로 지정하고, 레플리카는 읽기 성능과 쓰기·저장 비용을 함께 따져 늘린다.
- 트래픽 전환 기준을 피처 토글로 관리하면 배포 없이 조정할 수 있고, 장애 시 자동 fallback으로 서비스 영향을 줄일 수 있다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 점점 늘어가던 플레이스 조회트래픽을 메인DB로부터 Elasticsearch(Opensearch)로 분산한 경험을 공유합니다. (#Elasticsearch #Opensearch #트래픽 분산 #CQRS #slow query #feature toggle #feature flag #자동 fallback) [강의 대상] * 트래픽 분산 및 Elasticsearch(Opensearch)에 관심이 있으신 분들 * 난이도 : 하~중하 (트래픽 분산경험 / ES 운용경험이 없으신 주니어 개발자분들도 이해하시기 좋은 정도) [목차] * 조회 DB 도입 배경 - 기존 리뷰조회 flow - 호출량이 점점 늘어가던 플랫폼, 증가하는 조회필터 / 정렬조건 - DB 인덱스 추가의 한계 - 조회용 DB를 도입한다면? * Elasticsearch를 조회DB로...
비슷한 학습 자료
컨퍼런스 NDC
NDC 2018 [유저동향분석 시스템인 '유저보이스2.0'에 Elastic Search를 적용한 경험담] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 허성오 2. 발표자 소개 : 넥슨 인프라기술팀에서 유저동향분석 시스템인 '유저보이스' 프로젝트를 담당하고 있는 2년 차 프로그래머 입니다. 3. 세션 소개 : 유저보이스는 실시간으로 넥슨 게임에 관련된 게시글을 수집하고, 텍스트 데이터를 분석하여, 게임 유저들의 반응을 파악하는 웹페이지입니다. 이번에 버전업된 유저보이스2.0은 유저들의 동향을 찾아가는 것에서 더 나아가, 새로운 인사이트를 발견해주는 기능들이 많이 추가되었습니다. 이때, 새로운 기능들을 위해 Elastic Search가 어떻게 활용되었고, 어떤 점이 어려웠는지를 예시를 통해 말하고자 합니다. 또한, Sphinx와 RDB를 유지하지 않고 Elastic Search를 선택하게 된 이유도 세션내용에 포함되...
데이터베이스 프로덕트 지표 · 실험
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] What's In Our Infra: 대규모 트래픽을 수용하기까지
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] What's In Our Infra: 대규모 트래픽을 수용하기까지 네이버는 50여 개국에서 유입되는 수백만 규모의 트래픽을 24/7 안정적으로 처리하고 있습니다. 본 세션은 대규모 이벤트 운영 경험을 바탕으로 지연·장애·비용 문제를 해결하기 위한 엔지니어링 사례와 그 과정에서 얻은 교훈을 다룹니다. 아울러 한계를 넘어서기 위한 새로운 도전인 NVELOP(NAVER Velocity Platform) 의 배경과 방향을 소개합니다. 목차 1. Intro - 네이버 글로벌 라이브 스트리밍 플랫폼의 인프라 구성 개요 - 서비스 콘셉트와 챌린지 2. 무중단 서비스를 위한 엔지니어링 사례 - 대규모 트래픽 분산·제어 전략 - 전송 플랫폼 **최적화(Tune-in) **사례 - **Observability **도입 3. NVELOP (NAVER Velocity Platform) 방향 - 기존 플랫폼 한계 ...
데브옵스 · 인프라 네트워크
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] NELO Alaska: 장기 로그 보존을 위한 Iceberg 도입과 운영 - 20x 비용 절감과 확장성 향상 본 세션에서는 NAVER의 전사 로깅 플랫폼 NELO에서 장기 로그 보존을 위해 오브젝트 스토리지와 Apache Iceberg 테이블 포맷, Trino 기반 SQL 검색을 도입해 ~20× 비용 절감과 높은 확장성을 달성한 사례를 공유합니다. 4 PiB+ 데이터를 운용하던 기존 Elasticsearch 중심 구조에서 실제 쿼리 분포와 보존 요구 간의 불일치를 정량 분석하고, 스토리지/컴퓨팅 분리·오픈 포맷·저비용 스토리지를 축으로 한 NELO Alaska 아키텍처를 설계·구현·운영한 경험을 중심으로 다룹니다. 목차 1. 배경 & 문제 정의 - NELO 소개: 사내 서비스/인프라/보안 모니터링을 담당, ES 클러스터 (4 PiB+, ~4,000대) - 기존 보존 전략의 한계: 인덱스 중심 구조의 비용, 샤드·리밸런스...
데이터베이스 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
Iceberg Low-Latency Queries with Materialized Views (feat. 실시간 거래 리포트)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] - 본 영상에서는 “실시간 거래 리포트를 어떻게 하면 사용자가 원하는 다양한 조건으로 빠르게 조회할 수 있을까?” 라는 질문에서 출발한 기술적 여정을 다룹니다. - 단순히 데이터를 쌓고 조회하는 단계를 넘어, 거래 데이터의 최신성과 응답 속도, 그리고 확장성을 동시에 확보하기 위한 여러 시도를 공유합니다. [발표 대상] - 데이터 플랫폼 엔지니어 / 데이터 아키텍트 – 대용량 실시간 데이터 처리 및 저지연 설계에 관심 있는 분 - 분석 플랫폼 운영자 / BI 개발자 – 다차원 필터 조회 속도 및 Freshness 향상 전략을 찾고 있는 분 - Spark, Iceberg, StarRocks 활용자 – 실제 조합 운영 사례를 통해 운영 팁을 얻고자 하는 분 [목차] 0. 소개 (Introduction) 1. 문제 정의 (Problem Definition)...
데이터베이스 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
데이터는 흐른다, 연결될 준비가 되었다면
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 유저 세그먼트를 손쉽게 정의하고, 이를 다양한 액션 채널(Braze, IDS, GAM 등)과 자동 연동할 수 있는 네이버 웹툰의 Cohort System을 소개합니다. 조건 기반 필터링, ML 모델 연동 등 다양한 방식으로 세그먼트를 만들고, 중복 제거 로직과 함께 효율적으로 활용할 수 있습니다. 시스템 구조와 기술 스택, 실제 마케팅 활용 사례까지 함께 공유하며, 데이터에서 인사이트, 나아가 액션까지의 연결을 어떻게 자동화했는지를 설명합니다. [강의 대상] * 데이터 엔지니어 / 백엔드 엔지니어: 데이터 흐름 자동화, 시스템 구조에 관심 있는 분 * ML 엔지니어 / 데이터 사이언티스트: ML 결과를 실시간 타겟팅에 적용하고 싶은 분 * 마케터 / PM: 타겟 유저 추출과 액션 전환까지의 전체 흐름을 이해하고 싶은 분 [목차] Episode 1...
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
분산디비지만 노출은 하고싶어 - mongo로 노출 전용 DB 만들기 - 이태원_NEDAY 23.07
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY(7월)에서 발표되었던 세션을 공개합니다. ----- 쇼핑검색서비스개발BE 팀의 이태원입니다. 네이쇼핑의 카탈로그, 상품 API 개발을 담당하고 있습니다. 이번 발표를 통해서 노출을 위해 고군분투했던 제 경험을 공유하고, 관련 기술에 관심 있는 분들과 함께 이야기 나누어보고 싶습니다! 이번 프로젝트에 사용한 kafka, mongoDb, postgreSql, redis 등 다양한 프레임워크에 관심을 갖게 되었습니다. [노출DB란?] - 쇼핑의 메인DB는 citus를 활용한 postgreSql로 분산DB입니다. - 이를 노출에 알맞은 형태로 가공해 새로운 DB를 만든 것이 노출DB입니다. - postgreSql의 CDC 데이터를 받아서, kafka를 통해 데이터를 재가공, mongo에 적재하는 프로젝트입니다 [목차] 노출DB란? - 탄생 배경 - 전체 구조 난관 - 변경량 - 정규화 - 새 상...
백엔드 데이터베이스