당근페이 데이터플랫폼 구축기 | 2024 당근 테크 밋업
당근 밋업 당근 · YouTube
AI 핵심 요약
당근페이의 첫 데이터 엔지니어로 합류한 발표자는 데이터 요청이 한 사람에게 몰려 의사 결정이 늦어지는 문제를 해결하기 위해 데이터 민주화를 목표로 삼았다. 기존 DMS·Lambda·S3·Athena 기반 환경의 처리량, 스키마 관리, 분석 속도 한계를 개선하고자 AWS와 Kubernetes 기반으로 Apache Spark, Flink, Kafka, Redshift, Iceberg, dbt 등을 조합한 데이터 플랫폼을 구축했다. YAML과 SQL로 배치·실시간 파이프라인을 생성하고 dbt 모델 의존성과 Airflow 스케줄링을 자동화해 셀프서비스 환경을 마련했으며, 결산 데이터 취합과 사기 탐지용 데이터 전달의 비효율을 줄였다. 데이터 민주화에는 기술뿐 아니라 신뢰할 수 있는 데이터 품질·권한 관리·거버넌스와 조직의 활용 경험이 필요하며, 다음 과제로 메타데이터 카탈로그와 인사이트 도출을 제시했다.
- 데이터 민주화는 접근 권한을 넓히는 데 그치지 않고, 설명·품질·보안·활용 문화를 함께 설계해야 한다.
- 배치와 실시간 처리를 함께 지원하되, 운영 인력이 적다면 기술 스택과 운영 복잡성을 최소화하는 선택이 중요하다.
- YAML과 SQL을 중심으로 파이프라인 생성을 추상화하면 사용자가 인프라 세부사항을 몰라도 데이터를 연동하고 스케줄링할 수 있다.
- dbt 매니페스트를 파싱해 모델 의존성을 파악하면 데이터 파이프라인의 실행 순서와 신뢰성을 자동화할 수 있다.
- 셀프서비스 분석을 확장하려면 데이터 접근 권한뿐 아니라 단일 진실을 위한 모델링과 거버넌스 규칙도 마련해야 한다.
소개
여러분, 잠시 상상해 보세요. 여러분이 어느 날 당근페이의 첫 데이터 엔지니어로 새롭게 합류하게 되었다고 가정해 봅시다. 그리고 이런 말을 들어요. "이제 우리 회사의 데이터를 책임져 주세요." 여러분이라면 어떤 생각이 드실까요? 어떤 전략으로 데이터를 활용하여 가치를 창출할지, 또 그 방향은 어떻게 설정할지 고민해 보신 적이 있나요? 이 세션에서는 제가 당근페이에 처음 합류했을 때 직면했던 도전과 이를 어떻게 해결해 나갔는지를 중심으로, 데이터플랫폼 구축 이야기를 여러분과 나누고자 해요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
당근페이 금융 거래 통합 테스트 개발 이야기 | 당근 SERVER 밋업 2회
컨퍼런스 당근 밋업
당근의 성장과 함께 프로덕트를 만드는 과정에서 겪은 다양한 경험을 공유해요. 🥕 당근페이 금융 거래 통합 테스트 개발 이야기 (유호성/당근페이) #kotlin #testing 🥕 당근 공고 살펴보기 : https://about.daangn.com/jobs/ 🥕 발표 자료 : https://daangn.notion.site/SERVER-5599a1755889426bafd4e87a0562e0b6 * 당근 Server 밋업 1회 다시보기 : https://youtube.com/playlist?list=PLaHcMRg2hoBr5s_jn5CzZrpkmHOY0N8w7&si=VRdpYyoT0bjZ3VOW
소프트웨어 테스트
컨퍼런스 당근 밋업
2022 당근페이 채용설명회 | 당근페이
컨퍼런스 당근 밋업
당근페이, 6개월 간의 인프라 구축 이야기 | 당근마켓 SRE 밋업 2회
컨퍼런스 당근 밋업
당근 SRE 두 번째 밋업에서는 서비스 배포를 주제로 다양한 세션을 준비했습니다. 🥕 당근페이, 6개월 간의 인프라 구축 이야기 - 강진우 님(당근페이 SRE 팀) 🥕 발표자료: https://www.notion.so/daangn/SRE-ca64e762e18e492fa449f8e43f0114d5 🥕 당근마켓 SRE팀에 합류하기 : https://team.daangn.com/jobs/4473170003/ 2021년 1월 17일 녹화. https://festa.io/events/1912 * 1회 밋업 다시보기: https://www.youtube.com/playlist?list=PLaHcMRg2hoBqWWla-pCBSRqU-jSriiZHj * 2회 밋업 다시보기: https://www.youtube.com/playlist?list=PLaHcMRg2hoBqJRSlnE7Xw_QpVkf8u6ISH
데브옵스 · 인프라
컨퍼런스 당근 밋업
2021 당근페이 초기 정예 개발자 채용설명회 | 당근테크
컨퍼런스 당근 밋업
안녕하세요, 당근마켓입니다. 7월 29일, 당근페이 채용설명회가 진행될 예정이에요. 당근마켓의 자회사 "당근페이"의 초기 정예 멤버로 합류해보세요! 🙌🏻 당근페이에 대한 소개와 비전 및 목표, 당근페이 개발자의 기술과 관련된 이야기, 현재 모집 중인 포지션에 대한 설명 등을 진행할 예정이에요. Q&A 세션도 마련되어 있으니 많은 참여 부탁드려요 😄 당근페이 서버 개발자로 합류하기 👉🏻 https://team.daangn.com/jobs/4511184003/ 당근페이 프론트엔드 개발자로 합류하기 👉🏻 https://team.daangn.com/jobs/4428002003/ ---------------------------------------------------------------------------------------------- 🕰채용설명회 타임라인🕰 00:00 오프닝 및 소통 09:35 오피스 투어 16:40 간단 질의응답 19:30 당근페이 발표...
컨퍼런스 당근 밋업