토스ㅣSLASH 21 - 빠르게 성장하는 스타트업의 DW
SLASH 토스 · YouTube
AI 핵심 요약
빠르게 성장하며 서비스별로 데이터가 분산되는 상황에서, 토스는 전사 데이터 활용과 신뢰성을 높이기 위해 데이터 웨어하우스 운영 방식을 정비했다. DB 리뷰와 차원 테이블 관리로 데이터의 기본 구조와 맥락을 다지고, ODS 마트와 Airflow를 활용해 공통 지표 집계와 반복 작업을 자동화했다. 분석가가 배치 작업을 관리하는 Jenkins 기반 배치 센터와 메타데이터를 공유하는 테이블 센터를 만들었으며, 데이터 품질 관리는 간단한 검사에서 자체 DQ 센터 개발로 확장했다. 핵심 교훈은 처음부터 완성된 시스템을 만들기보다 쉬운 방법으로 시작하고, 전사 효율과 필요에 맞춰 자동화와 관리 체계를 단계적으로 발전시키는 것이다.
- DB 리뷰에서는 개인정보 보호뿐 아니라 데이터 모델, 인덱스, 파티션, 용어와 설명을 함께 점검한다.
- 차원 정보는 코드에 하드코딩하기보다 별도 테이블로 관리하고, 초기에는 Google 스프레드시트 API로 동기화하는 방식도 활용할 수 있다.
- 공통 지표를 ODS 마트로 표준화하면 분석가의 반복 작업을 줄이고 여러 서비스의 데이터를 함께 활용하기 쉬워진다.
- 사용자에게는 Jenkins 기반 배치 센터를 제공하고, 복잡한 워크플로는 Airflow로 관리하는 등 도구의 용도와 사용자에 맞춰 나눈다.
- 데이터 품질 검사는 초기에 간단한 스크립트와 알림으로 시작할 수 있지만, 데이터와 규칙이 늘면 체계적인 DQ 시스템으로 발전시켜야 한다.
소개
빠르게 성장하는 회사에서 제한된 리소스 안에서 데이터를 효율적으로 집계하고 제공하기 위해 선택한 방법. 신뢰할 수 있는 데이터 제공 및 데이터의 맥락, 정보 공유를 위한 고민들과 이를 극복하기 위한 방법을 공유합니다. 유승민 / 토스 Data Service Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-21 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
비슷한 학습 자료
컨퍼런스 SLASH
트래픽이 쏟아지는 마이데이터 서비스, 과연 어떻게 안정적으로 운영할 수 있을까요? 서비스 운영 과정에서 마주했던 여러 과제들과 기술적인 의사결정을 소개합니다. 신윤재 / Server Developer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #mydata #backend 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게 동의를 받은 후에 처...
백엔드 데이터베이스
컨퍼런스 SLASH
토스ㅣSLASH 24 - 전천후 데이터 분석을 위한 DW 설계 및 운영하기
컨퍼런스 SLASH
최소한의 context switching만으로 어떻게 다양한 도메인 영역을 분석할 수 있을까요? 토스의 데이터웨어하우스 테이블 구축 및 운영기를 소개합니다. 이준호 / 토스증권 Data Warehouse Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #datawarehouse #dataplatform 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토...
데이터베이스
컨퍼런스 SLASH
토스ㅣSLASH 22 - 어떻게 안정적인 서비스를 빠르게, 자주 출시할 것인가?
컨퍼런스 SLASH
토스페이먼츠는 가맹점이 빠르게 변화하는 시장에서 승리할 수 있도록, 사업자가 필요한 기능을 적시에 안정적으로 제공하는 것을 목표로 합니다. 안정적인 서비스를 빠르게, 자주 출시하기 위한 노력과 그로부터 얻은 러닝을 공유합니다. 하태호 / 토스 DevOps Engineer 발표 자료 👉🏻 https://bit.ly/3xrlgEu 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-22 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
데브옵스 · 인프라 애자일 · 협업
컨퍼런스 SLASH
토스ㅣSLASH 22 - 토스에서는 테이블 정보를 어떻게 관리하나요?
컨퍼런스 SLASH
토스ㅣSLASH 21 - 토스 데이터의 흐름과 활용
컨퍼런스 SLASH
토스ㅣSLASH 21 - 토스 서비스를 구성하는 서버 기술
컨퍼런스 SLASH
Active-Active 데이터센터 운영, Kubernetes와 Istio Service Mesh 운영, API-Gateway, Kafka, Redis, Monitoring Stack 등 토스에서 사용하는 전반적인 기술과 시스템 구성을 공유합니다. 이항령 / 토스 Server Platform Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-21 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
백엔드 데이터베이스 데브옵스 · 인프라