토스ㅣSLASH 22 - 토스에서는 테이블 정보를 어떻게 관리하나요?
SLASH 토스 · YouTube
AI 핵심 요약
테이블이 늘면서 정보를 찾기 어렵고, 테이블의 생성·사용처와 데이터 품질을 파악하기 힘든 문제를 해결하기 위해 토스는 모든 테이블 정보를 모은 ‘테이블 센터’를 만들었다. 키워드·드릴다운·태그 검색과 검색 우선순위, 태그 동의어를 제공하고, 라이브 DB와 데이터웨어하우스의 메타데이터는 각각 주기 수집과 실시간 조회로 관리한다. SQL과 스크립트에서 테이블 참조를 수집해 영향도를 검색하고, Spark로 데이터 품질 규칙을 실행해 이상을 Slack으로 알린다. 검색과 영향도 파악을 자동화해 테이블 관리의 수작업과 누락 위험을 줄였으며, 검색 결과에 대한 확신을 높이기 위해 업무별 테이블을 보여주는 데이터 맵도 계획하고 있다.
- 검색 결과는 테이블명, 태그, 설명, 컬럼명 등의 일치 정도로 우선순위를 정하고, 같은 순위에서는 조회가 많은 테이블을 먼저 보여줄 수 있다.
- 약어와 정식 명칭을 함께 찾을 수 있도록 태그 동의어를 관리하면 조직 내 용어 차이로 인한 검색 누락을 줄일 수 있다.
- 라이브 DB 메타데이터는 읽기 전용 슬레이브에서 주기적으로 수집하고, 데이터웨어하우스 메타데이터는 변경 사항을 빠르게 확인하도록 실시간 조회하는 식으로 요구에 맞춰 수집 방식을 나눈다.
- 반복해서 쓰이는 컬럼 설명은 표준 용어로 관리해 여러 테이블에 일관되게 적용하고, 분석용 테이블의 설명은 별도로 등록할 수 있다.
- 영향도 검색은 SQL·스크립트 등에서 테이블 참조를 수집해 정규식으로 찾으며, 데이터 품질 규칙은 Spark로 주기 실행하고 이상을 Slack으로 알린다.
소개
서비스가 성장하면서 만들어지는 다양한 데이터와 수많은 테이블을 효율적으로 관리하고 활용하는 방법을 공유합니다. 윤아서 / 토스 Data Engineer 발표 자료 👉🏻 https://bit.ly/3OeoRMT 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-22 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
비슷한 학습 자료
컨퍼런스 SLASH
트래픽이 쏟아지는 마이데이터 서비스, 과연 어떻게 안정적으로 운영할 수 있을까요? 서비스 운영 과정에서 마주했던 여러 과제들과 기술적인 의사결정을 소개합니다. 신윤재 / Server Developer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #mydata #backend 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게 동의를 받은 후에 처...
백엔드 데이터베이스
컨퍼런스 SLASH
토스ㅣSLASH 24 - 전천후 데이터 분석을 위한 DW 설계 및 운영하기
컨퍼런스 SLASH
최소한의 context switching만으로 어떻게 다양한 도메인 영역을 분석할 수 있을까요? 토스의 데이터웨어하우스 테이블 구축 및 운영기를 소개합니다. 이준호 / 토스증권 Data Warehouse Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #datawarehouse #dataplatform 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토...
데이터베이스
컨퍼런스 SLASH
토스의 데이터 사이언티스트는 ‘사일로’라고 불리는 제품팀과 긴밀하게 협업합니다. 머신 러닝(Machine Learning) 기술을 통해 사일로의 니즈를 효율적으로 해소하기 위한 데이터 사이언티스트들의 여정을 공유합니다. 황동현 / 토스 Data Scientist 발표 자료 👉🏻 https://bit.ly/3QkVvhK 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-22 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
딥러닝 · 머신러닝
컨퍼런스 SLASH
토스ㅣSLASH 21 - 토스 데이터의 흐름과 활용
컨퍼런스 SLASH
토스ㅣSLASH 21 - 빠르게 성장하는 스타트업의 DW
컨퍼런스 SLASH
토스ㅣSLASH 21 - 토스 서비스를 구성하는 서버 기술
컨퍼런스 SLASH
Active-Active 데이터센터 운영, Kubernetes와 Istio Service Mesh 운영, API-Gateway, Kafka, Redis, Monitoring Stack 등 토스에서 사용하는 전반적인 기술과 시스템 구성을 공유합니다. 이항령 / 토스 Server Platform Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-21 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
백엔드 데이터베이스 데브옵스 · 인프라