토스ㅣSLASH 21 - 토스 데이터의 흐름과 활용
SLASH 토스 · YouTube
AI 핵심 요약
토스는 서비스 로그의 휴먼 에러와 데이터 처리 작업 간 자원 간섭, 실시간 데이터 조회의 제약을 해결하기 위해 데이터 흐름과 플랫폼을 용도별로 구성했다. 로그 센터에서 이벤트 스키마를 정의하고 Kafka 스트리밍 과정에서 검증하며, DB 데이터는 Sqoop과 배치 센터를 통해 HDFS에 적재하고 로그는 스트림 커넥터로 HDFS·HBase·Kudu 등에 보냈다. 배치 처리에는 Impala·Hive·Spark와 Airflow를, 실시간 처리에는 Flink·Spark Streaming 등을 활용하고, Impala 모니터링과 YARN 큐 분리로 운영 한계를 보완했다. 실시간 데이터는 Kudu, 과거 데이터는 HDFS에 저장하는 하이브리드 구성과 자체 분석 도구를 통해 데이터 조회부터 세그먼트 분석·A/B 테스트까지 이어지도록 했으며, 데이터 플랫폼은 용도에 맞는 구성과 운영 자동화가 중요하다는 점을 보여줬다.
- 로그 스키마를 중앙에서 정의하고 클라이언트 로그와 대조하면 누락·오류를 조기에 발견하고 변경 이력을 관리할 수 있다.
- Kafka 클러스터와 저장소는 서비스·분석 용도에 맞게 분리하고, 미러링과 자동 배포로 데이터 입수 경로를 운영한다.
- 배치 작업은 단순한 흐름과 복잡한 의존성을 구분해 관리하고, YARN 큐와 노드 레이블로 대용량 작업의 자원 간섭을 줄인다.
- 실시간 조회가 필요하지만 저장 용량이 제한될 때는 당일 데이터는 Kudu, 과거 데이터는 HDFS에 두는 하이브리드 구성을 고려할 수 있다.
- 분석 도구에서 로그 정의, 세그먼트, 화면 흐름, 퍼널, A/B 테스트를 연결하면 분석 결과를 타깃팅과 서비스 기능에 활용할 수 있다.
소개
토스의 데이터 흐름과 활용 방법, 그리고 용도에 따라 어떤 플랫폼을 활용하는지를 공유합니다. 유결 / 토스 Data Platform Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-21 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
비슷한 학습 자료
컨퍼런스 SLASH
트래픽이 쏟아지는 마이데이터 서비스, 과연 어떻게 안정적으로 운영할 수 있을까요? 서비스 운영 과정에서 마주했던 여러 과제들과 기술적인 의사결정을 소개합니다. 신윤재 / Server Developer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #mydata #backend 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게 동의를 받은 후에 처...
백엔드 데이터베이스
컨퍼런스 SLASH
[수십만 개의 가맹점 * 수백 개의 MSA 서비스 * 복수의 k8s cluster * 수십 개의 원천사] 의 조합 복잡도를 가진 토스페이먼츠가 안정적인 서비스 운영을 위해 분산 추적 체계와 로그를 기반으로 구성한 ‘Observability 체계’를 소개합니다. 하태호 / 토스페이먼츠 Server Platform Team Leader 발표 자료 👉🏻 https://bit.ly/3CkVNja 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #msa #kubernetescluster #serverdeveloper #토스페이먼츠 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포...
백엔드 데브옵스 · 인프라 로드맵 1개에 담김
컨퍼런스 SLASH
토스ㅣSLASH 22 - 토스에서는 테이블 정보를 어떻게 관리하나요?
컨퍼런스 SLASH
토스ㅣSLASH 22 - 스크래핑으로 우아한 조회 경험을 만든 방법
컨퍼런스 SLASH
토스ㅣSLASH 21 - 빠르게 성장하는 스타트업의 DW
컨퍼런스 SLASH
토스ㅣSLASH 21 - 토스 서비스를 구성하는 서버 기술
컨퍼런스 SLASH
Active-Active 데이터센터 운영, Kubernetes와 Istio Service Mesh 운영, API-Gateway, Kafka, Redis, Monitoring Stack 등 토스에서 사용하는 전반적인 기술과 시스템 구성을 공유합니다. 이항령 / 토스 Server Platform Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-21 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
백엔드 데이터베이스 데브옵스 · 인프라