진화하는 스트리밍 플랫폼: 견고함을 향한 여정과 인사이트 #우아콘2025 #우아한형제들
우아콘 2025 우아한형제들 · YouTube
AI 핵심 요약
실시간 데이터 요청이 늘면서 기존 Spark·Kafka 기반 파이프라인을 빠르게 구축했지만, EMR 클러스터 의존성, 매일 재시작해야 하는 구조, 확장성 부족이 운영 부담으로 드러났다. 이후 Flink를 도입하고 매니지드 서비스에서 Kubernetes로 옮겨 Flink Kubernetes Operator로 운영을 자동화했으며, 발표 당시 19개 애플리케이션 기준 인프라 비용을 62%, 연간 1억 1,300만 원 절감했다. Schema Registry, 데드레터 큐, 소스·싱크 건수 검증, 모니터링과 Kafka Connect 기반 이벤트 백업을 더해 데이터 품질과 장애 대응력을 높였고, SQL·UDF·노트북을 제공하는 셀프서비스 플랫폼으로 확장했다. 핵심 교훈은 빠른 시작을 위해 기존 도구를 활용하되, 규모와 요구가 커질 때는 운영 한계를 측정해 플랫폼 구조를 개선하고 검증·복구 체계를 함께 마련하는 것이다.
- 초기에는 이미 운영 중인 Spark와 Kafka를 활용해 빠르게 시작하고, 요구와 운영상의 한계가 분명해지면 구조를 바꾸는 단계적 접근이 유효하다.
- 하루 단위로 갱신되는 참조 테이블은 Airflow로 스트리밍 애플리케이션을 주기적으로 재시작해 반영했다.
- Schema Registry로 이벤트 스키마를 검증하고, 비즈니스 로직 오류는 데드레터 큐로 격리해 애플리케이션 전체 장애를 줄일 수 있다.
- 소스와 싱크의 건수를 비교하고 모니터링·알림 및 이벤트 백업을 갖추면 누락·중복과 재처리 상황에 대응하기 쉽다.
- SQL과 UDF, 노트북 환경을 제공하면 사용자가 복잡한 스트리밍 구현보다 비즈니스 로직에 집중할 수 있다.
소개
[세션 설명] 우아한형제들의 실시간 데이터 파이프라인은 비즈니스 성장과 함께 끊임없이 진화해왔습니다. 처음에는 단순한 데이터 파이프라인에 불과했지만, 지금은 수많은 기술적 도전과 극복을 거쳐 견고한 스트리밍 플랫폼으로 자리잡았습니다. 그 과정에서 얻은 실패와 성공의 기록을 바탕으로, 안정적이고 확장 가능한 시스템을 만드는 실질적인 노하우와 인사이트를 전합니다. [발표자 소개] 김민호(데이터 엔지니어)
비슷한 학습 자료
컨퍼런스 우아콘 2025
오프닝 키노트 #우아콘2025 #우아한형제들
컨퍼런스 우아콘 2025
장보기•쇼핑 성능 최적화 고군분투기: 웹 전환 과정에서의 경험과 교훈 #우아콘2025 #우아한형제들
컨퍼런스 우아콘 2025
똑같아 보이는데 다르다고? 큐레이션 중복 개발 탈출기 #우아콘2025 #우아한형제들
컨퍼런스 우아콘 2025
더 나은 이상 탐지를 위한 여정: 서버부터 서비스, 그리고 문화까지 #우아콘2025 #우아한형제들
컨퍼런스 우아콘 2025
같은 시간, 더 나은 디자인을 할 수 있는 방법 #우아콘2025 #우아한형제들
컨퍼런스 우아콘 2022