데이터 연금술: 로우 데이터를 파이프라인을 통해 '금'으로 바꾸는 법 #우아콘2025 #우아한형제들
우아콘 2025 우아한형제들 · YouTube
AI 핵심 요약
커머스 데이터 허브는 여러 도메인의 데이터를 모아 앱에 전달했지만, 기능과 정책이 늘면서 파이프라인 그래프가 복잡해지고 변경 영향이 넓게 퍼지며 불필요한 처리 부하도 발생했습니다. 이를 개선하기 위해 메달리온 아키텍처에서 착안해 브론즈(원본 수집), 실버(검증·최적화), 골드(비즈니스·전시 로직)로 데이터 처리 단계를 재정의하고, 조회팀이 브론즈 스키마를 직접 참조하지 않도록 규칙을 세웠습니다. 지점 상품 팬아웃 사례에서는 공통 상품 정보와 지점별 정보를 분리해 조회 시 조합하고, 필요한 변경만 후속 파이프라인을 실행하도록 최적화했습니다. 그 결과 저장 데이터와 Redis 메모리 사용, 쓰기 부하를 줄였으며, 레이어 규칙을 코드 수준에서 강제하고 단계별 모니터링을 구축하는 일을 다음 과제로 제시했습니다.
- 브론즈는 원본 수집·보존, 실버는 검증과 최적화, 골드는 비즈니스·전시 로직으로 역할을 나누세요.
- 조회팀이 원천 스키마를 직접 참조하지 않게 하면 제공팀의 변경이 조회팀까지 번지는 결합을 줄일 수 있습니다.
- 실버 단계에서 변경된 필드가 후속 처리에 필요한지 판단해 불필요한 파이프라인 실행을 막으세요.
- 쓰기와 읽기 부하의 균형을 고려해 데이터를 미리 복제할지, 조회 시 조합할지 결정하세요.
- 레이어 규칙을 컨벤션에만 맡기면 휴먼 에러가 남으므로, 인터페이스나 모듈로 제약을 강제하는 방안을 검토하세요.
소개
[세션 설명] 커머스 서비스에서 억 단위의 대용량 로우 데이터를 처리하는 파이프라인을 공개합니다. 각각의 소스로부터 데이터를 받아 화면에 전달하기 위해 별도로 ETL 코드를 구현하던 레거시 시스템을, 메달리온 아키텍처에서 착안한 데이터 등급 체계로 재정립하여 안정적이고 일관된 파이프라인으로 리팩토링한 경험을 공유합니다. [발표자 소개] 김민중(서버 개발자), 성시형(서버 개발자)
비슷한 학습 자료
컨퍼런스 우아콘 2025
진화하는 스트리밍 플랫폼: 견고함을 향한 여정과 인사이트 #우아콘2025 #우아한형제들
컨퍼런스 우아콘 2025
장보기•쇼핑 성능 최적화 고군분투기: 웹 전환 과정에서의 경험과 교훈 #우아콘2025 #우아한형제들
컨퍼런스 우아콘 2025
로그 회귀 테스트 구축으로 데이터 기반 비즈니스 지키기 #우아콘2025 #우아한형제들
컨퍼런스 우아콘 2025
[세션 설명] 비즈니스 의사결정은 데이터 기반으로 이루어져요. 흔히 View나 Click로그 등으로 지표 데이터를 쌓고 있죠. 만약 코드 사이드 이펙트로 로그가 유실되었고 6개월 뒤에 지표 분석할 때 알게 되었다면 큰 문제예요. 안정적인 비즈니스 분석을 위해서 로그에도 회귀 테스트가 꼭 필요함을 알 수 있는 사례인데요. 어? 나 테스트 코드 짜고 있는데? 하시는 분도 로그가 여전히 잘 동작하는지 회귀 테스트가 필요하다는 사고의 전환을 하실 수 있어요. [발표자 소개] 유동식(프런트엔드 개발자)
소프트웨어 테스트 프로덕트 지표 · 실험 로드맵 1개에 담김
컨퍼런스 우아콘 2025
글로벌 타깃팅 서비스, 수억 명의 고객을 향한 도전 #우아콘2025 #우아한형제들
컨퍼런스 우아콘 2024
[WOOWACON2024 세션 다시보기] 👉 세션 설명 ㅤ 배달의 민족은 전국 식당들의 메뉴와 주문 뿐만아니라 커머스 대형 셀러들과 연동하여 실시간 배달 서비스를 제공하고 있습니다. 제공하는 서비스에서 발생하는 하루 평균 200억 건의 데이터가 흘러가는 시스템을 안정적으로 구축하고 운영한 사례를 공유드립니다. 1부: 시스템 아키텍처 편 대용량 데이터 처리 시스템을 도입하는 과정에서의 고민과 적용한 기술 그리고 아키텍처를 설명합니다. 2부: 음식 배달, 물건 배달 서비스 구축 편 데이터 정합성과 재처리 복원 등을 고려한 가장 안정적이고 지속가능한 시스템 구조를 만들기 위한 고민과 해결사례를 공유합니다. ㅤ 👉 발표자 소개ㅤ 김민중, 서버 개발자 장재주, 서버 개발자 윤보민, 서버 개발자 김병화, 서버 개발자
백엔드 데이터베이스