빙산 위의 토끼: Trino(w/ Iceberg)와 함께 전사 분석 환경 개선하기 #우아콘2024 #우아한형제들
우아콘 2024 우아한형제들 · YouTube
AI 핵심 요약
하루 수만 건의 쿼리를 처리하는 전사 분석 환경에서 잦은 장애와 헤비 쿼리, 성능·비용 문제를 해결하기 위해 Trino를 Kubernetes로 옮기고 KEDA 기반 워커 오토스케일링과 Trino Gateway를 통한 멀티 클러스터 라우팅을 적용했다. 예측 가능한 부하는 스케줄 기반으로 미리 확장하고 순간 부하는 메트릭으로 대응했으며, 그레이스풀 셧다운과 쿼리 재시도, 리소스 그룹·세션 설정으로 안정성과 자원 제어를 보강했다. 로그 테이블에는 Iceberg를 도입해 쿼리 패턴에 맞춘 파티션과 컬럼 구조를 설계하고, Kafka Connect로 주요 테이블을 준실시간 적재한 뒤 컴팩션을 운영해 쿼리 성능과 분석 편의성을 높였다. 운영 경험을 통해 테이블 포맷 전환만으로는 충분하지 않으며, 적재·스케일링·버전 업그레이드·비용 관리까지 함께 설계하고 지속적으로 튜닝해야 한다고 강조했다.
- 워커 준비에 시간이 걸리는 환경에서는 예측 가능한 부하를 크론으로 미리 확장하고, 순간 부하는 메트릭 기반으로 대응하는 방식이 효과적이다.
- 스케일 인과 스팟 노드 회수에 대비해 그레이스풀 셧다운을 적용하고, 완료되지 못한 쿼리는 재시도할 수 있도록 설계한다.
- Trino의 리소스 그룹과 세션 프로퍼티로 사용자·쿼리 유형별 동시 실행 수, 메모리, 스캔량, 수행 시간을 제어할 수 있다.
- Iceberg 파티션은 실제 필터·그룹 조건을 바탕으로 설계하고, 적재 시 파티션 쏠림과 작은 파일 생성을 함께 관리해야 한다.
- Iceberg 파일은 개별 파일 단위로 메타데이터가 관리되므로, 스토리지 수명주기 정책에 주의하고 스냅샷 만료와 주기적 컴팩션을 운영한다.
소개
[WOOWACON2024 세션 다시보기] 👉 세션 설명 ㅤ 1,300여 명에 이르는 전사 분석환경 사용자 분들이 제출하시는 하루 약 3만여 건의 쿼리를 장애 없이 비용 효율적이면서도 높은 성능으로 처리하기 위해 고민하고 개선했던 경험을 나누고자 합니다. Trino를 k8s 환경으로 이관하고, 부하 기반 오토스케일링과 멀티 클러스터 구성을 적용함으로써 탄력적으로 변모한 분석환경을 소개합니다. 또한, Iceberg 테이블 포맷 도입 및 테이블 튜닝으로 쿼리 성능을 극적으로 개선한 경험과 함께 주요 테이블들에 Kafka 커넥트 기반 준실시간화를 적용한 후기를 공유드립니다. ㅤ 👉 발표자 소개ㅤ 오창훈, 데이터 엔지니어
비슷한 학습 자료
컨퍼런스 우아콘 2024
WOOWACON2024오프닝노트 #우아콘2024 #우아한형제들
컨퍼런스 우아콘 2024
[WOOWACON2024 세션 다시보기] 👉 세션 설명 ㅤ 배달의 민족은 전국 식당들의 메뉴와 주문 뿐만아니라 커머스 대형 셀러들과 연동하여 실시간 배달 서비스를 제공하고 있습니다. 제공하는 서비스에서 발생하는 하루 평균 200억 건의 데이터가 흘러가는 시스템을 안정적으로 구축하고 운영한 사례를 공유드립니다. 1부: 시스템 아키텍처 편 대용량 데이터 처리 시스템을 도입하는 과정에서의 고민과 적용한 기술 그리고 아키텍처를 설명합니다. 2부: 음식 배달, 물건 배달 서비스 구축 편 데이터 정합성과 재처리 복원 등을 고려한 가장 안정적이고 지속가능한 시스템 구조를 만들기 위한 고민과 해결사례를 공유합니다. ㅤ 👉 발표자 소개ㅤ 김민중, 서버 개발자 장재주, 서버 개발자 윤보민, 서버 개발자 김병화, 서버 개발자
백엔드 데이터베이스
