토스ㅣSLASH 23 - 대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기
SLASH 토스 · YouTube
AI 핵심 요약
토스증권은 하루 약 53억 건의 로그를 Elasticsearch에 적재하면서, 수백 테라바이트 규모의 저장 공간과 클러스터 지연·장애를 관리해야 했습니다. 오래된 인덱스를 웜 노드로 옮기는 hot-warm 구조를 도입하고, 필드 데이터와 동적 매핑으로 인한 힙 부족 및 매핑 폭증을 줄이도록 인덱스 설정과 매핑을 개선했습니다. JVM 기반 Logstash 파이프라인은 Rust 기반 Vector로 전환해 메모리 사용량을 약 260GB에서 10GB 수준으로, CPU 사용량을 55코어에서 27코어로 낮췄습니다. 데이터센터 간 전용 회선과 투표 전용 마스터 노드, 샤드 awareness를 적용해 하나의 데이터센터 장애에도 대응하는 클러스터를 구성했으며, 대규모 로그 환경에서는 매핑과 파이프라인의 효율적인 설계가 안정성의 핵심임을 보여줬습니다.
- 대규모 인덱스에서는 필드 데이터가 JVM 힙을 빠르게 소모할 수 있으므로, 가능하면 doc values를 활용하고 필드 데이터 사용을 점검하세요.
- 매핑 폭증을 막으려면 명시적 매핑, dynamic templates, flattened 타입을 데이터 구조에 맞게 선택하세요.
- 샤드 수와 refresh interval, translog flush 설정은 인덱싱 부하와 검색 요구사항을 함께 고려해 조정해야 합니다.
- 여러 데이터센터를 하나의 클러스터로 묶을 때는 전용 회선, 투표 전용 마스터 노드, 샤드 awareness 설정으로 네트워크 단절과 장애에 대비하세요.
소개
일평균 56억 건 이상 수집되는 토스증권의 로그, 어떻게 효율적으로 처리할까요? 큰 폭으로 늘어나는 대규모 로그 처리를 위한 ‘Elasticsearch 클러스터 개선 경험’을 소개합니다. 이준환 / 토스증권 Data Engineer 발표 자료 👉🏻 https://bit.ly/3WW5jm2 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #elasticsearch #데이터센터 #dataengineer #토스증권 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동...
비슷한 학습 자료
컨퍼런스 SLASH
트래픽이 쏟아지는 마이데이터 서비스, 과연 어떻게 안정적으로 운영할 수 있을까요? 서비스 운영 과정에서 마주했던 여러 과제들과 기술적인 의사결정을 소개합니다. 신윤재 / Server Developer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #mydata #backend 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게 동의를 받은 후에 처...
백엔드 데이터베이스
컨퍼런스 SLASH
토스ㅣSLASH 24 - 전천후 데이터 분석을 위한 DW 설계 및 운영하기
컨퍼런스 SLASH
최소한의 context switching만으로 어떻게 다양한 도메인 영역을 분석할 수 있을까요? 토스의 데이터웨어하우스 테이블 구축 및 운영기를 소개합니다. 이준호 / 토스증권 Data Warehouse Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #datawarehouse #dataplatform 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토...
데이터베이스
컨퍼런스 SLASH
토스ㅣSLASH 24 - 오픈소스로 Hadoop 클러스터 구축하기
컨퍼런스 SLASH
오픈소스만으로 Hadoop 클러스터를 직접 구축하고 운영할 수 있을까요? 오픈소스를 200% 활용하는 팁과 이를 통한 데이터 플랫폼 구축법을 다룹니다. 이유비 / 토스뱅크 Data Platform Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #opensource #hadoop #dataplatform #datascience 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배...
데브옵스 · 인프라
컨퍼런스 SLASH
토스ㅣSLASH 23 - Kafka 이중화로 다양한 장애 상황 완벽 대처하기
컨퍼런스 SLASH
다양한 장애 상황에도 사용자에게 매끄러운 서비스 경험을 제공하는 방법은 뭘까요? 더 견고하고 편리한 증권 서비스 구축을 위한 토스증권의 ‘Kafka IDC 이중화’ 과정을 소개합니다. 강병수 / 토스증권 Data Engineer 발표 자료 👉🏻 https://bit.ly/3CkW4mc 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #kafka #idc #dataengineer #토스증권 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전...
데브옵스 · 인프라 네트워크
컨퍼런스 SLASH
토스ㅣSLASH 23 - 머신러닝으로 더 똑똑하게 증권 뉴스 제공하기
컨퍼런스 SLASH
토스증권은 어떻게 사용자가 필요한 투자 정보를 쏙쏙 뽑아 전달할까요? 수많은 정보 중 사용자에게 꼭 필요한 정보를 선별, 전달하기 위해 구축한 ‘3가지 머신러닝 모델’을 소개합니다. 조중현 / 토스증권 Data Scientist 발표 자료 👉🏻 https://bit.ly/3NluxHC 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #machinelearning #argoworkflows #datascientist #datascientist #토스증권 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지...
딥러닝 · 머신러닝
컨퍼런스 SLASH
토스ㅣSLASH 23 - 실시간 시세 데이터 안전하고 빠르게 처리하기
컨퍼런스 SLASH
토스증권의 시세 정보는 어떤 원리로 보이는 것일까요? 시세 플랫폼을 통해 시스템 구조와 개발 당시 고민했던 과정을 소개합니다. 정도원 / 토스증권 Server Developer 발표 자료 👉🏻 https://bit.ly/3IXHhl5 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #redis #reactiveredistemplate #serverdeveloper #토스증권 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩...
백엔드 데이터베이스