CQuery : 우당탕탕 Trino와 썸타기
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
네이버 검색의 대용량 로그를 빠르게 분석하기 위해 시커리는 Hive의 실행 오버헤드를 줄일 수 있는 Trino를 도입하고, 여러 데이터 소스를 SQL로 조회하는 분석 환경을 운영했다. 운영 중 쿼리 폭주와 장시간·고비용 쿼리로 클러스터가 불안정해지자 리소스 그룹, Prometheus·Grafana 모니터링, 이벤트 리스너와 Elasticsearch 기반 쿼리 기록을 적용하고, Java 에이전트로 조회 기간을 제한하는 가드를 개발했다. 메모리 부족에 따른 스필을 줄이기 위해 CXL 메모리 확장도 검증했으며, 대용량 쿼리에서 스필이 줄고 처리 시간이 단축되는 가능성을 확인했다. Trino의 성능을 안정적으로 활용하려면 쿼리 엔진 설정뿐 아니라 모니터링, 자원 제한, 데이터 형식과 하드웨어까지 함께 설계해야 한다.
- Trino는 코디네이터가 쿼리 계획을 만들고 워커가 여러 데이터 소스의 작업을 병렬 처리하는 구조다.
- 웹 UI의 쿼리 이력은 코디네이터 메모리에 남으므로, 장기 분석과 장애 추적에는 별도 지표 저장소가 필요하다.
- Prometheus와 Grafana로 JVM 지표를 수집하고, 이벤트 리스너와 Elasticsearch로 쿼리별 실행 정보를 분석할 수 있다.
- 리소스 그룹으로 동시 실행 수와 대기열을 제한하되, 단일 쿼리의 과도한 자원 사용은 별도 가드와 스필 설정으로 대비해야 한다.
- CXL 메모리처럼 하드웨어 확장을 검토할 때는 쿼리 크기와 스필 발생 여부를 나눠 성능을 비교해야 한다.
소개
[DEVIEW 2023] * 발표자 : 유재호(NAVER Search) * 발표제목 : CQuery : 우당탕탕 Trino와 썸타기 * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 DEVIEW 2023
싸늘하다, 메신저에 경보가 날아와 꽂힌다 - 네이버 검색 SRE 시스템 개선기
컨퍼런스 DEVIEW 2023
AiSuite: 안정적으로 멀티 테넌트 AI 플랫폼 제공하기
컨퍼런스 DEVIEW 2023
GraphQL 잘 쓰고 계신가요? (Production-ready GraphQL)
컨퍼런스 DEVIEW 2023
지금까지 이런 검색은 없었다. 이것은 검색인가 추천인가 - 네이버 스마트블록 개인화 검색
컨퍼런스 DEVIEW 2023
DEVIEW 2023 - 키노트 영상
컨퍼런스 우아콘 2024
[WOOWACON2024 세션 다시보기] 👉 세션 설명 ㅤ 1,300여 명에 이르는 전사 분석환경 사용자 분들이 제출하시는 하루 약 3만여 건의 쿼리를 장애 없이 비용 효율적이면서도 높은 성능으로 처리하기 위해 고민하고 개선했던 경험을 나누고자 합니다. Trino를 k8s 환경으로 이관하고, 부하 기반 오토스케일링과 멀티 클러스터 구성을 적용함으로써 탄력적으로 변모한 분석환경을 소개합니다. 또한, Iceberg 테이블 포맷 도입 및 테이블 튜닝으로 쿼리 성능을 극적으로 개선한 경험과 함께 주요 테이블들에 Kafka 커넥트 기반 준실시간화를 적용한 후기를 공유드립니다. ㅤ 👉 발표자 소개ㅤ 오창훈, 데이터 엔지니어
데이터베이스 데브옵스 · 인프라