로컬 스크립트에서 하루에 한 번 돌아가는 파이프라인이 되기까지: 당근지도의 여정 | 2025 당근 플랫폼 밋업
당근 밋업 당근 · YouTube
AI 핵심 요약
초기 로컬 스크립트와 RabbitMQ 기반 파이프라인은 타일 생성량이 늘면서 처리 병목, 데이터 유실 우려, 버전 관리 부재를 드러냈다. 이를 해결하기 위해 Kafka 파티션 기반 병렬 처리와 Redis 진행률 모니터링을 도입하고, 복잡한 공간 데이터를 분할하며 쿼리 결과를 재사용해 생성 비용을 낮췄다. 이후 작업 상태를 DB에 기록하는 큐로 전환해 실패 작업을 추적·재실행할 수 있게 하고, 데이터 가공부터 검증과 배포까지 자동화해 매일 지도를 갱신하는 흐름을 구축했다. 대량 처리에서는 병렬화뿐 아니라 작업 단위의 관측성과 재시도, 데이터 자체의 복잡도 개선이 안정적인 운영에 중요하다는 점을 보여준다.
- 타일 생성 작업을 Kafka 토픽과 파티션으로 나누면 컨슈머를 수평 확장해 대량의 공간 데이터를 병렬 처리할 수 있다.
- 진행률과 타일 버전을 Redis에 기록하고 별도 모니터링 토픽을 두면 파이프라인 상태를 가시화하기 쉽다.
- 복잡한 공간 도형은 작은 단위로 분할하고, 기준 레벨 이후에는 쿼리 결과를 재사용해 연산량을 줄일 수 있다.
- 작업 상태를 DB에 영속화하는 큐는 실패 지점을 찾고 특정 작업만 재실행하는 데 유리하다.
- 버전 단위 배포와 롤백을 고려하면 데이터 갱신 과정의 운영 안정성을 높일 수 있다.
소개
데이터베이스에서 시작해 최종적으로 사용자에게 지도로 보여지기까지의 파이프라인을 구축하고 일 1회 업데이트가 가능한 구조로 개선한 과정을 소개합니다. 대용량 공간 데이터를 효율적으로 처리한 큐잉 전략, 분산 환경에서 일관성을 유지하기 위한 방법, 배포 전략까지 안정적인 지도 서비스 운영을 위해 고민하고 경험한 내용을 공유하고자 합니다. 🥕 로컬 스크립트에서 하루에 한 번 돌아가는 파이프라인이 되기까지: 당근지도의 여정 👉 발표 자료 보러가기: https://daangn.notion.site/2025-platform-meetup-slide 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
비슷한 학습 자료
컨퍼런스 당근 밋업
복잡한 공간 데이터를 가볍고 빠르게 서빙하기 | 2025 당근 플랫폼 밋업
컨퍼런스 당근 밋업
이 세션에서는 행정구역·아파트·역세권 등 다양한 영역에 대한 좌표의 존재 판정을, 매번 무거운 공간 연산을 반복하지 않고 사전 계산된 영역을 기반으로 가볍고 빠르게 처리하는 방법을 소개합니다. 또한 서로 다른 출처의 공간 데이터를 세트(Set)·버전(Version)·식별자(ID) 모델로 표준화하고 스냅샷 기반 버저닝으로 일관성과 재현성을 확보하는 방법과 함께 데이터 파이프라인·증분 업데이트·품질 검증 프로세스를 아파트와 지하철 역세권 사례로 간단히 공유하고자 합니다. 🥕 복잡한 공간 데이터를 가볍고 빠르게 서빙하기 👉 발표 자료 보러가기: https://daangn.notion.site/2025-platform-meetup-slide 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데이터베이스 데브옵스 · 인프라
컨퍼런스 당근 밋업
당근 개발자들의 로그 검색 경험 향상을 위한 Quickwit 기반 신규 로그 파이프라인 구축 과정을 소개합니다. Quickwit의 특징과 선택 배경, 구축 과정에서의 문제 해결 사례를 다루고, 효율적인 로그 파이프라인 설계를 위해 고민하고 경험한 것들을 공유하고자 합니다. 🥕 10x 빠르게 10x 싸게: Quickwit 기반 신규 로그 파이프라인 👉 발표 자료 보러가기: https://daangn.notion.site/2025-platform-meetup-slide 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데이터베이스 데브옵스 · 인프라
컨퍼런스 당근 밋업
당근 개발자 플랫폼은 어떻게 발전하고 있을까 | 당근 SRE 밋업 4회
컨퍼런스 당근 밋업
당근의 성장과 함께 쌓아온 안정적인 인프라 구축과 운영 노하우를 당근 SRE 팀에서 공유해요. 사내 개발자 플랫폼 개발 경험, 관측가능성 구축 경험, 네트워크 개선 경험 등을 들어보세요! 🥕 당근 개발자 플랫폼은 어떻게 발전하고 있을까 (변정훈) 👉 발표 자료 보러가기: https://daangn.notion.site/SRE-c62abc2b6f0347a4ace9ee9cdfc49b6b#8afac52012304b20977c9299f8bca5f4 👉 당근 채용공고 보기: https://about.daangn.com/jobs/
데브옵스 · 인프라 개발 도구
컨퍼런스 당근 밋업
당근의 성장과 함께 프로덕트를 만드는 과정에서 겪은 다양한 경험을 공유해요. 🥕 모놀로틱 레거시 레포 개발자가 디컴프 과정을 겪으면서 느낀 심경의 변화 (이경원/중고거래실) #rubyonrails #system_decomposition #career 🥕 당근 공고 살펴보기 : https://about.daangn.com/jobs/ 🥕 발표 자료 : https://daangn.notion.site/SERVER-5599a1755889426bafd4e87a0562e0b6 * 당근 Server 밋업 1회 다시보기 : https://youtube.com/playlist?list=PLaHcMRg2hoBr5s_jn5CzZrpkmHOY0N8w7&si=VRdpYyoT0bjZ3VOW
개발 · 프로그래밍 기타
컨퍼런스 우아콘 2025
진화하는 스트리밍 플랫폼: 견고함을 향한 여정과 인사이트 #우아콘2025 #우아한형제들
컨퍼런스 당근 밋업
🥕 2026 당근 빌더 밋업 | Platform Day 하이퍼로컬, 가장 거대한 현장 4,300만 명이 가입한 서비스를 만드는 당근 빌더들은 어떤 문제를 풀고 있을까요? 하나의 프로덕트를 처음부터 끝까지 책임지고, 직군의 경계를 넘나들며 함께 답을 찾아가는 당근 빌더들의 고민과 시도, 성공과 실패의 경험을 솔직하게 나눠요. 엔지니어 동료들이 더 빠르게, 더 큰 문제에 집중할 수 있도록 당근의 플랫폼은 끊임없이 발전해요. 다양한 기술과 아키텍처를 여러 서비스가 함께 쓰는 플랫폼으로 만드는 과정부터 AI와 함께 일하는 새로운 방식까지, 당근 플랫폼 개발자들이 현장에서 마주한 고민과 시행착오를 만나보세요. 👉 당근 채용 바로가기 : https://careers.daangn.com/
개발 · 프로그래밍 기타