SCDF로 하루 N만곡 이상 VIBE 메타 데이터 실시간으로 적재하기!
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
VIBE의 기존 Spring Batch·Jenkins 기반 메타데이터 적재는 선행 데이터 의존성, 파일 다운로드·인코딩 병목, 잡 간 흐름 파악과 장애 대응의 어려움 때문에 처리량을 높이는 데 한계가 있었다. 이를 개선하기 위해 Oracle에서 MongoDB로 저장소를 전환하고, 기존 시스템과 신규 시스템을 병행하는 구조에서 Spring Cloud Data Flow(SCDF)와 Kafka 기반 스트림 파이프라인을 도입했다. 소스·프로세서·싱크 애플리케이션을 분리하고 SCDF 대시보드로 배포·롤백·워크플로를 관리했으며, 쿠버네티스 파티셔닝과 스케일링으로 파일 처리량을 확장했다. 발표에서 공유한 적재량은 하루 5천 곡에서 48만 곡으로 늘었고, 스트림 처리에는 도구 선택뿐 아니라 의존성 설계, 컨슈머 랙, 모니터링과 로그 중앙화가 중요하다는 점을 강조했다.
- SCDF는 연속적으로 유입되는 이벤트를 처리하는 스트림 워크플로에 적합하며, 장시간 분석하는 벌크 배치 작업과는 용도를 구분해야 한다.
- 소스·프로세서·싱크를 작은 애플리케이션으로 나누고 메시지 미들웨어로 연결하면 각 단계의 독립 배포와 장애 복구가 쉬워진다.
- SCDF의 스트림 파이프라인은 순환 연결을 피하고 복잡도를 낮추도록 설계하며, 파티션 기준과 컨슈머 랙도 부하 테스트로 검증한다.
- 쿠버네티스에서 태스크까지 모니터링하려면 Prometheus Pushgateway를 고려하고, 로그 중앙화와 오토스케일링 조건도 함께 준비한다.
소개
[DEVIEW 2023] * 발표자 : 김대성(NAVER TUNE) * 발표제목 : SCDF로 하루 N만곡 이상 VIBE 메타 데이터 실시간으로 적재하기! * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
CQuery : 우당탕탕 Trino와 썸타기
컨퍼런스 DEVIEW 2023
VictoriaMetrics: 시계열 데이터 대혼돈의 멀티버스
컨퍼런스 DEVIEW 2023
런타임 데드 코드 분석 도구 Scavenger - 당신의 코드는 생각보다 많이 죽어있다.
컨퍼런스 DEVIEW 2023
싸늘하다, 메신저에 경보가 날아와 꽂힌다 - 네이버 검색 SRE 시스템 개선기
컨퍼런스 DEVIEW 2023
네이버 스케일로 카프카 컨슈머 사용하기
컨퍼런스 엔지니어링데이 2025
Iceberg Low-Latency Queries with Materialized Views (feat. 실시간 거래 리포트)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] - 본 영상에서는 “실시간 거래 리포트를 어떻게 하면 사용자가 원하는 다양한 조건으로 빠르게 조회할 수 있을까?” 라는 질문에서 출발한 기술적 여정을 다룹니다. - 단순히 데이터를 쌓고 조회하는 단계를 넘어, 거래 데이터의 최신성과 응답 속도, 그리고 확장성을 동시에 확보하기 위한 여러 시도를 공유합니다. [발표 대상] - 데이터 플랫폼 엔지니어 / 데이터 아키텍트 – 대용량 실시간 데이터 처리 및 저지연 설계에 관심 있는 분 - 분석 플랫폼 운영자 / BI 개발자 – 다차원 필터 조회 속도 및 Freshness 향상 전략을 찾고 있는 분 - Spark, Iceberg, StarRocks 활용자 – 실제 조합 운영 사례를 통해 운영 팁을 얻고자 하는 분 [목차] 0. 소개 (Introduction) 1. 문제 정의 (Problem Definition)...
데이터베이스 데브옵스 · 인프라