토스ㅣSLASH 23 - 은행 데이터플랫폼 오픈소스로 전환하기
SLASH 토스 · YouTube
AI 핵심 요약
토스뱅크는 Oracle Exadata와 Hadoop에 나뉘어 있던 정보계 데이터 처리의 중복과 비용, 용량 한계를 해결하기 위해 정보계 업무를 오픈소스 기반 Hadoop 플랫폼으로 옮겼다. Apache Airflow, Spark, HDFS·Hudi 등을 활용하고, 기존 Oracle 결과와 새 마트의 정합성을 매일 비교한 뒤 단계적으로 전환해 데이터 검증과 롤백 경로를 마련했다. Spark는 Oracle SQL과의 호환성이 높아 Impala보다 마이그레이션 부담이 적었고, 발표에서는 배치 처리 성능과 운영 효율도 개선됐다고 설명했다. 금융 규정에 맞추기 위해 GitOps 배포 흐름에 승인 절차를 추가하고, 배치 실행 승인 서비스와 Apache Ranger 기반 접근 제어를 구축한 점이 핵심 교훈이다.
- 배치 파이프라인은 Apache Airflow와 Kubernetes를 활용하면 코드로 관리하고 재실행하기 쉬워진다.
- 오픈소스 ETL은 원천 DB에 부하를 줄 수 있으므로 읽기 전용 DB를 두고 추출 쿼리에 맞춰 인덱스를 설계해야 한다.
- 스케줄 간 의존성은 실행 주기가 바뀌어도 관리할 수 있도록 타임슬라이스 기반 센서로 추상화할 수 있다.
- 금융권에서는 코드 검증·배포 승인·배치 실행 승인을 각각 통제해야 하며, Airflow 외부에 승인 서비스를 둘 수 있다.
- Apache Ranger는 사용자·테이블·컬럼 단위 접근 제어와 컬럼 마스킹을 제공해 데이터 보안에 활용할 수 있다.
소개
토스뱅크는 정보계 시스템을 어떻게 개편하고 있을까요? 오픈 소스를 이용한 플랫폼에서 신뢰할 수 있는 데이터를 운영할 수 있는 방법을 소개합니다. 김용휘 / 토스뱅크 Data Platform Team Leader 발표 자료 👉🏻 https://bit.ly/3Ci0lXx 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #데이터플랫폼 #오픈소스 #dataengineer #토스뱅크 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩...
비슷한 학습 자료
컨퍼런스 SLASH
트래픽이 쏟아지는 마이데이터 서비스, 과연 어떻게 안정적으로 운영할 수 있을까요? 서비스 운영 과정에서 마주했던 여러 과제들과 기술적인 의사결정을 소개합니다. 신윤재 / Server Developer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #mydata #backend 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게 동의를 받은 후에 처...
백엔드 데이터베이스
컨퍼런스 SLASH
토스ㅣSLASH 24 - 보상 트랜잭션으로 분산 환경에서도 안전하게 환전하기
컨퍼런스 SLASH
거대한 은행 계정계 시스템과 새로운 MSA 서비스는 어떻게 협력할 수 있을까요? 계정계 시스템의 원화 계좌와 분리된 외화 계좌를 오가는 환전 트랜잭션 구현법을 소개합니다. 이신동 / Server Developer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #transaction #토스뱅크 #backend 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보...
백엔드 데이터베이스 로드맵 1개에 담김
컨퍼런스 SLASH
토스뱅크는 왜 신용 모형/전략 솔루션을 자체 구축하게 되었을까요?토스뱅크만의 신용전략 솔루션과 ML 기반의 신용평가모형 훈련 및 서빙 시스템을 소개합니다. 김용휘 / Data Platform Department Leader 유형균 / Machine Learning Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #dataplatform #machinelearning #토스뱅크 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 SLASH
토스ㅣSLASH 24 - 전천후 데이터 분석을 위한 DW 설계 및 운영하기
컨퍼런스 SLASH
최소한의 context switching만으로 어떻게 다양한 도메인 영역을 분석할 수 있을까요? 토스의 데이터웨어하우스 테이블 구축 및 운영기를 소개합니다. 이준호 / 토스증권 Data Warehouse Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #datawarehouse #dataplatform 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토...
데이터베이스
컨퍼런스 SLASH
토스ㅣSLASH 24 - 오픈소스로 Hadoop 클러스터 구축하기
컨퍼런스 SLASH
오픈소스만으로 Hadoop 클러스터를 직접 구축하고 운영할 수 있을까요? 오픈소스를 200% 활용하는 팁과 이를 통한 데이터 플랫폼 구축법을 다룹니다. 이유비 / 토스뱅크 Data Platform Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #opensource #hadoop #dataplatform #datascience 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배...
데브옵스 · 인프라
컨퍼런스 SLASH