토스증권의 수천 개 실시간 데이터 파이프라인 운영방법 #1: Visualize Lineage
강병수 토스 · 토스 기술 블로그
AI 핵심 요약
토스증권은 수천 개의 실시간 데이터 파이프라인을 운영하면서 각 Job의 용도와 연결 관계를 파악하고, 팀 간에 처리 로직을 설명하는 데 드는 비용을 줄여야 했다. 이를 위해 파이프라인의 흐름을 DAG 기반 데이터 리니지로 모델링하고, Node·Edge 메타데이터를 MongoDB에 저장한 뒤 Graph Search로 탐색해 시각화하는 사내 웹 서비스를 만들었다. MySQL CDC, Kafka, Flink, ClickHouse 등 다양한 원천·처리·저장 시스템의 메타데이터를 연결해 실제 데이터 흐름과 각 구성 요소의 상세 정보를 확인할 수 있게 했다. 그 결과 파이프라인 운영 효율과 접근성이 높아졌으며, 앞으로 구간별 메트릭과 SLA·담당자 정보, DBT 배치 파이프라인까지 연결해 전체 시스템 가시성을 확장할 계획이다.
- 데이터 흐름과 Job 간 의존 관계를 표현할 때는 방향성과 비순환성을 갖는 DAG가 적합하다.
- Node와 Edge의 유형·클러스터·이름·속성을 메타데이터로 관리하면 파이프라인을 검색하고 상세 정보를 제공할 수 있다.
- 파이프라인 메타데이터는 원천 시스템, 처리 엔진, 저장소 등 구성 요소별로 수집해야 전체 흐름을 연결할 수 있다.
- 리니지에 구간별 지연 시간과 전송량, SLA, 담당자 정보를 더하면 운영 가시성과 장애 대응에 활용할 수 있다.
- 실시간 파이프라인과 DBT 기반 배치 파이프라인을 연결하면 데이터 적재 이후까지 이어지는 End-to-End 리니지를 만들 수 있다.
소개
토스증권의 실시간 데이터 파이프라인을 대규모로 구성하고 운영해 온 경험을 소개합니다.
비슷한 학습 자료
컨퍼런스 SLASH
어떻게 하면 실시간으로 고객들에게 데이터를 제공할 수 있을까요? ClickHouse를 활용해 토스증권의 실시간 랭킹서비스 구조를 개선한 여정을 소개합니다. 정채문 / Data Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #machinelearning #clickhouse #토스증권 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게...
백엔드 데이터베이스
컨퍼런스 SLASH
토스ㅣSLASH 23 - 실시간 시세 데이터 안전하고 빠르게 처리하기
컨퍼런스 SLASH
토스증권의 시세 정보는 어떤 원리로 보이는 것일까요? 시세 플랫폼을 통해 시스템 구조와 개발 당시 고민했던 과정을 소개합니다. 정도원 / 토스증권 Server Developer 발표 자료 👉🏻 https://bit.ly/3IXHhl5 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #redis #reactiveredistemplate #serverdeveloper #토스증권 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩...
백엔드 데이터베이스
컨퍼런스 SLASH
토스ㅣSLASH 22 - 토스증권 실시간 시세 적용기
컨퍼런스 SLASH
