토스ㅣSLASH 24 - 오픈소스로 Hadoop 클러스터 구축하기
SLASH 토스 · YouTube
AI 핵심 요약
금융 환경에서 임팔라와 Hue만으로는 다양한 빅데이터 작업을 지원하기 어렵고, 다른 도구에는 보안이 적용되지 않아 토스뱅크는 Hadoop 클러스터 전반에 인증과 인가를 적용하기로 했다. Apache Bigtop으로 Hadoop 생태계 패키지를 빌드하고 Ansible과 서버 프로비저닝 도구로 클러스터를 구성했으며, 버전 의존성을 직접 검증하고 사내 저장소에서 코드를 관리했다. 운영 중 필요한 패치는 체리픽하거나 내부에서 먼저 수정한 뒤 업스트림에 기여했고, Ranger·Kerberos 관련 개선과 여러 프로젝트의 버그 수정 사례를 공유했다. 오픈소스만으로 클러스터를 운영할 수 있지만, 코드를 추적하고 빌드·테스트·유지보수할 역량이 있어야 빠르게 문제에 대응할 수 있다는 점을 강조했다.
- 오픈소스 코드를 사내 저장소로 가져올 때는 릴리스 태그와 Git 히스토리를 보존해야 변경 이력과 패치 적용 여부를 추적하기 쉽다.
- 필요한 수정만 적용할 때는 커밋을 체리픽하되, 연관 이슈와 의존 패치 및 충돌을 함께 확인해야 한다.
- 내부 수정은 업스트림에도 기여해 코드 차이를 줄이고, 프로젝트의 기여 가이드와 리뷰 절차를 따른다.
- 오픈소스 운영은 라이선스 비용만으로 끝나지 않으며, 빌드·테스트·유지보수를 수행할 기술 역량이 필요하다.
소개
오픈소스만으로 Hadoop 클러스터를 직접 구축하고 운영할 수 있을까요? 오픈소스를 200% 활용하는 팁과 이를 통한 데이터 플랫폼 구축법을 다룹니다. 이유비 / 토스뱅크 Data Platform Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #opensource #hadoop #dataplatform #datascience 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배...
비슷한 학습 자료
컨퍼런스 SLASH
업무를 더 효율적으로, 최대의 성과를 낼 수 있는 법은 무엇일까요? 클러스터 운영부터 서비스 라이프사이클 관리까지, 데브옵스 업무 효율화 사례를 소개합니다. 양석준 / DevOps Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #devops #cluster 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게 동의를 받은 후에 처리...
데브옵스 · 인프라
컨퍼런스 SLASH
트래픽이 쏟아지는 마이데이터 서비스, 과연 어떻게 안정적으로 운영할 수 있을까요? 서비스 운영 과정에서 마주했던 여러 과제들과 기술적인 의사결정을 소개합니다. 신윤재 / Server Developer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #mydata #backend 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게 동의를 받은 후에 처...
백엔드 데이터베이스
컨퍼런스 SLASH
토스뱅크는 왜 신용 모형/전략 솔루션을 자체 구축하게 되었을까요?토스뱅크만의 신용전략 솔루션과 ML 기반의 신용평가모형 훈련 및 서빙 시스템을 소개합니다. 김용휘 / Data Platform Department Leader 유형균 / Machine Learning Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #dataplatform #machinelearning #토스뱅크 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는...
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 SLASH
토스ㅣSLASH 24 - 전천후 데이터 분석을 위한 DW 설계 및 운영하기
컨퍼런스 SLASH
최소한의 context switching만으로 어떻게 다양한 도메인 영역을 분석할 수 있을까요? 토스의 데이터웨어하우스 테이블 구축 및 운영기를 소개합니다. 이준호 / 토스증권 Data Warehouse Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #datawarehouse #dataplatform 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토...
데이터베이스
컨퍼런스 SLASH
처음 마주하는 고객들에게는 어떻게 상품을 추천해야 할까요? 새로 시작하는 ‘커머스 서비스’의 초기 추천 시스템 구축 과정에 대해 소개합니다. 장유영 / 토스 Data Scientist 김수원 / 토스 Machine Learning Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #datascience #machinelearning 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포...
딥러닝 · 머신러닝
컨퍼런스 SLASH
토스ㅣSLASH 23 - 은행 데이터플랫폼 오픈소스로 전환하기
컨퍼런스 SLASH
토스뱅크는 정보계 시스템을 어떻게 개편하고 있을까요? 오픈 소스를 이용한 플랫폼에서 신뢰할 수 있는 데이터를 운영할 수 있는 방법을 소개합니다. 김용휘 / 토스뱅크 Data Platform Team Leader 발표 자료 👉🏻 https://bit.ly/3Ci0lXx 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #데이터플랫폼 #오픈소스 #dataengineer #토스뱅크 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩...
데이터베이스 데브옵스 · 인프라