토스ㅣSLASH 24 - 전천후 데이터 분석을 위한 DW 설계 및 운영하기
SLASH 토스 · YouTube
AI 핵심 요약
분석가가 도메인마다 원천 테이블을 찾고 복잡한 전처리와 조인을 반복하는 문제를 줄이기 위해, 토스증권은 액티브 유저 지표를 액트 타입별로 미리 집계하는 데이터웨어하우스 구조를 개선했다. 테이블 네이밍 규칙을 통일하고, 공통 집계 테이블과 액트 타입별 상세 테이블을 나눠 거래액 같은 특수 지표도 보존했으며, 활성화 이력의 시퀀스와 이전·다음 날짜를 기록해 신규·복귀·이탈 분석을 지원했다. 생성 로직은 재사용 가능한 코드로 통합하고 Airflow와 PySpark의 태스크 우선순위·리소스 설정, 기간 단위 백필 기능을 적용해 운영과 재처리를 관리했다. 그 결과 서로 다른 도메인이나 기간의 분석을 적은 SQL 변경으로 수행할 수 있었고, 발표자는 분석 속도가 빨라지고 중복 테이블이 줄었다고 설명했다.
- 반복되는 분석 질문을 유형화하고, 액티브 유저 지표를 액트 타입 코드로 관리하면 도메인별 분석 로직을 재사용하기 쉽다.
- 테이블 이름에는 모델, 주제, 집계 기준, 기간을 일관된 순서로 담아 데이터의 성격을 드러낸다.
- 공통 지표와 도메인별 특수 지표를 분리해 저장하면 공통 조회 편의성과 세부 분석 요구를 함께 충족할 수 있다.
- 이전·다음 활성화 날짜와 시퀀스를 보관하면 신규·복귀·이탈 및 리텐션 지표를 매번 별도 테이블로 만들지 않아도 된다.
- Airflow의 태스크 우선순위와 기간 분할 백필, Spark 리소스 설정을 활용해 파이프라인 운영 부담을 줄인다.
소개
최소한의 context switching만으로 어떻게 다양한 도메인 영역을 분석할 수 있을까요? 토스의 데이터웨어하우스 테이블 구축 및 운영기를 소개합니다. 이준호 / 토스증권 Data Warehouse Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #datawarehouse #dataplatform 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토...
비슷한 학습 자료
컨퍼런스 SLASH
트래픽이 쏟아지는 마이데이터 서비스, 과연 어떻게 안정적으로 운영할 수 있을까요? 서비스 운영 과정에서 마주했던 여러 과제들과 기술적인 의사결정을 소개합니다. 신윤재 / Server Developer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #mydata #backend 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게 동의를 받은 후에 처...
백엔드 데이터베이스
컨퍼런스 SLASH
어떻게 하면 실시간으로 고객들에게 데이터를 제공할 수 있을까요? ClickHouse를 활용해 토스증권의 실시간 랭킹서비스 구조를 개선한 여정을 소개합니다. 정채문 / Data Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #machinelearning #clickhouse #토스증권 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게...
백엔드 데이터베이스
컨퍼런스 SLASH
토스ㅣSLASH 24 - 오픈소스로 Hadoop 클러스터 구축하기
컨퍼런스 SLASH
오픈소스만으로 Hadoop 클러스터를 직접 구축하고 운영할 수 있을까요? 오픈소스를 200% 활용하는 팁과 이를 통한 데이터 플랫폼 구축법을 다룹니다. 이유비 / 토스뱅크 Data Platform Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #opensource #hadoop #dataplatform #datascience 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배...
데브옵스 · 인프라
컨퍼런스 SLASH
처음 마주하는 고객들에게는 어떻게 상품을 추천해야 할까요? 새로 시작하는 ‘커머스 서비스’의 초기 추천 시스템 구축 과정에 대해 소개합니다. 장유영 / 토스 Data Scientist 김수원 / 토스 Machine Learning Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #datascience #machinelearning 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포...
딥러닝 · 머신러닝
컨퍼런스 SLASH
토스ㅣSLASH 23 - 은행 데이터플랫폼 오픈소스로 전환하기
컨퍼런스 SLASH
토스뱅크는 정보계 시스템을 어떻게 개편하고 있을까요? 오픈 소스를 이용한 플랫폼에서 신뢰할 수 있는 데이터를 운영할 수 있는 방법을 소개합니다. 김용휘 / 토스뱅크 Data Platform Team Leader 발표 자료 👉🏻 https://bit.ly/3Ci0lXx 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #데이터플랫폼 #오픈소스 #dataengineer #토스뱅크 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩...
데이터베이스 데브옵스 · 인프라
컨퍼런스 SLASH