대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기
이준환 토스 · 토스 기술 블로그
AI 핵심 요약
하루 수십억 건의 로그를 온프레미스 Elasticsearch에서 처리하면서 인덱싱 지연과 노드 장애가 발생하자, 팀은 fielddata 사용과 비효율적인 동적 매핑 등 힙 메모리와 클러스터 상태 관리에 부담을 주는 설정을 점검했습니다. Hot-warm 아키텍처와 ILM으로 보관 기간에 따라 저장 계층을 나누고, 샤드 수·refresh 간격·translog 설정을 조정해 인덱싱 부하를 관리했습니다. JVM 기반 Logstash 파이프라인은 Rust 기반 Vector로 전환해 메모리 사용을 크게 줄이고 Prometheus exporter로 모니터링을 보강했습니다. 데이터센터 이중화를 위해 전용 회선과 투표 전용 마스터, shard awareness 및 force awareness를 적용해 하나의 클러스터를 구성했으며, 대규모 로그 환경에서는 매핑과 자원 사용을 통제하고 장애 경계를 설계하는 것이 중요하다는 점을 보여줍니다.
- Doc values를 지원하는 필드에는 fielddata를 켜지 말고, 대용량 인덱스에서 힙 메모리와 긴 GC가 발생하는지 점검하세요.
- 동적 매핑은 입력 JSON의 키가 늘면서 mapping explosion을 일으킬 수 있으므로 명시적 매핑, flattened 타입, dynamic: false를 고려하세요.
- 샤드 수는 인덱싱 처리량과 노드별 부하를 함께 고려하고, refresh 간격과 translog flush 설정으로 세그먼트 생성·머지 빈도를 조절할 수 있습니다.
- 로그 파이프라인 도구를 선택할 때 처리 성능뿐 아니라 자원 사용량과 모니터링 지원도 함께 살펴보세요.
- 데이터센터 간 클러스터링은 네트워크 지연과 단절 위험을 검토하고, 전용 회선·투표 전용 마스터·샤드 awareness로 장애 상황을 대비해야 합니다.
소개
일평균 56억 건 이상 수집되는 토스증권의 로그, 어떻게 효율적으로 처리할까요? 큰 폭으로 늘어나는 대규모 로그 처리를 위한 ‘Elasticsearch 클러스터 개선 경험’을 소개합니다.
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] NELO Alaska: 장기 로그 보존을 위한 Iceberg 도입과 운영 - 20x 비용 절감과 확장성 향상 본 세션에서는 NAVER의 전사 로깅 플랫폼 NELO에서 장기 로그 보존을 위해 오브젝트 스토리지와 Apache Iceberg 테이블 포맷, Trino 기반 SQL 검색을 도입해 ~20× 비용 절감과 높은 확장성을 달성한 사례를 공유합니다. 4 PiB+ 데이터를 운용하던 기존 Elasticsearch 중심 구조에서 실제 쿼리 분포와 보존 요구 간의 불일치를 정량 분석하고, 스토리지/컴퓨팅 분리·오픈 포맷·저비용 스토리지를 축으로 한 NELO Alaska 아키텍처를 설계·구현·운영한 경험을 중심으로 다룹니다. 목차 1. 배경 & 문제 정의 - NELO 소개: 사내 서비스/인프라/보안 모니터링을 담당, ES 클러스터 (4 PiB+, ~4,000대) - 기존 보존 전략의 한계: 인덱스 중심 구조의 비용, 샤드·리밸런스...
데이터베이스 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
늘어가는 조회트래픽 Elasticsearch로 분산시키기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 점점 늘어가던 플레이스 조회트래픽을 메인DB로부터 Elasticsearch(Opensearch)로 분산한 경험을 공유합니다. (#Elasticsearch #Opensearch #트래픽 분산 #CQRS #slow query #feature toggle #feature flag #자동 fallback) [강의 대상] * 트래픽 분산 및 Elasticsearch(Opensearch)에 관심이 있으신 분들 * 난이도 : 하~중하 (트래픽 분산경험 / ES 운용경험이 없으신 주니어 개발자분들도 이해하시기 좋은 정도) [목차] * 조회 DB 도입 배경 - 기존 리뷰조회 flow - 호출량이 점점 늘어가던 플랫폼, 증가하는 조회필터 / 정렬조건 - DB 인덱스 추가의 한계 - 조회용 DB를 도입한다면? * Elasticsearch를 조회DB로...
백엔드 데이터베이스
컨퍼런스 SLASH
일평균 56억 건 이상 수집되는 토스증권의 로그, 어떻게 효율적으로 처리할까요? 큰 폭으로 늘어나는 대규모 로그 처리를 위한 ‘Elasticsearch 클러스터 개선 경험’을 소개합니다. 이준환 / 토스증권 Data Engineer 발표 자료 👉🏻 https://bit.ly/3WW5jm2 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #elasticsearch #데이터센터 #dataengineer #토스증권 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동...
데이터베이스 데브옵스 · 인프라
문서 김민규
LLM 서빙, 띄우는 것과 잘 띄우는 것 사이
문서 박명순