추천 시스템 with DataFlow: 대규모 데이터 파이프라인 구성 | 2025 당근 GCP 밋업
당근 밋업 당근 · YouTube
AI 핵심 요약
추천 시스템의 임베딩 생성, 게시글 카테고리 분류, 학습 데이터 가공에는 대량의 데이터를 실시간과 배치로 처리하는 파이프라인이 필요했다. 당근은 Apache Beam으로 처리 로직을 작성하고 GCP Dataflow에서 실행해, Kafka·BigQuery·Cloud Storage 등의 데이터를 변환하고 여러 저장소로 전달하는 파이프라인을 구성했다. 같은 코드베이스를 스트리밍과 배치에 활용하고 GPU 추론도 파이프라인에 포함했으며, Dataflow의 자동 확장과 관리형 운영으로 개발자가 데이터 처리 로직에 집중할 수 있었다. 발표에서는 실제 사용 현황으로 피크 시 약 13,000 VCPU와 주간 최대 약 4페타바이트의 처리량을 소개하며, 대규모 병렬 처리를 관리형 서비스로 운영하는 경험을 공유했다.
- Apache Beam으로 파이프라인을 모듈화하면 변환·집계 로직을 조합해 여러 작업에서 재사용할 수 있다.
- 스트리밍과 배치가 같은 코드베이스를 지원하는지 확인하면 실시간 처리와 과거 데이터 재처리의 구현 부담을 줄일 수 있다.
- Dataflow의 자동 확장과 오류 복구를 활용하되, 워커 규모와 처리량을 관찰해 비용과 성능을 함께 관리해야 한다.
- GPU 워커를 설정하면 임베딩 생성처럼 추론이 포함된 데이터 처리 작업도 파이프라인 안에서 수행할 수 있다.
소개
당근마켓은 GCP를 왜, 어떻게 사용하고 있을까요? 인프라 관점에서 GCP를 활용해 본 당근의 이야기를 들려드려요. 🥕 추천 시스템 with DataFlow: 대규모 데이터 파이프라인 구성 (유경윤/ML 데이터플랫폼 팀) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#26428c3a9f8f8076b2bdd588558146a1 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
당근마켓은 GCP를 왜, 어떻게 사용하고 있을까요? 인프라 관점에서 GCP를 활용해 본 당근의 이야기를 들려드려요. 🥕 대규모 이미지 서비스 with Cloud CDN, Cloud Run, Cloud Storage (이태현/공통서비스개발 팀) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#26428c3a9f8f8076b2bdd588558146a1 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데브옵스 · 인프라 클라우드
컨퍼런스 당근 밋업
ML Infrastructure with GCP | 2025 당근 GCP 밋업
컨퍼런스 당근 밋업
당근 채팅 시스템은 어떻게 만들까? | 2024 당근 테크 밋업
컨퍼런스 당근 밋업
당근 채팅 시스템이 탄생한 과정을 소개해요. 당근의 수많은 사용자들이 실시간으로 메시지를 주고받는 방법과 이를 효율적으로 저장하는 방식이 궁금하지 않으신가요? 이 세션에서는 먼저 메시지 전달의 기본 원리를 살펴본 후, 서버가 2대일 때 발생하는 메시지 동기화 방법과 서버 간 비동기 처리 방식을 설명해요. 저장 측면에서는 필요한 기능, 스키마 설계, 스케일 업, 인덱싱, 쿼리 최적화, 캐싱 기법 등 다양한 주제를 다루어요. 또한 리플리케이션과 샤딩, 채팅 데이터의 분할 방법 및 저장소 마이그레이션 경험을 쉽게 이야기하려 해요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
백엔드 데이터베이스 네트워크
컨퍼런스 당근 밋업
