바닥까지 파보는! Hbase random read 성능 개선기
DEVIEW 2023 네이버 · YouTube
AI 핵심 요약
네이버의 HBase 기반 저장소에서 클라이언트가 요청한 양보다 디스크에서 훨씬 많은 데이터를 읽는 읽기 증폭이 발생했고, 데이터 크기와 접근 패턴이 다양해 단순한 설정 튜닝으로 해결하기 어려웠다. 분석 결과 주요 원인은 여러 HFile을 읽는 멀티파일 접근이 아니라, 데이터 블록 단위 읽기와 블록 단위 LRU 캐시가 만드는 그레뉼러리티 불일치와 캐시 오염이었다. 이를 줄이기 위해 키-값 크기에 따라 데이터 블록 크기를 조절하는 동적 블록 제어와, 블록 안의 자주 쓰이는 키-값을 별도로 보관하는 키-값 캐시를 구현해 HBase에 적용했다. 프로덕션 데이터를 바탕으로 모델링한 워크로드 실험에서 두 기법을 함께 적용한 구성은 기본 HBase보다 처리량이 높았으며, 데이터 블록 크기는 읽기 증폭뿐 아니라 랜덤 읽기와 인덱스 비용까지 함께 고려해 정해야 한다는 점을 보였다.
- HBase의 읽기 경로에서 StoreFile Scanner 수를 세면 여러 HFile을 읽는 멀티파일 접근이 실제 병목인지 검증할 수 있다.
- 데이터 블록을 무조건 작게 만들면 읽기 증폭은 줄어도 디스크 탐색과 인덱스 크기가 늘어 처리량이 떨어질 수 있다.
- 동적 블록 크기 제어에는 최대 키-값 수와 최소 블록 크기를 함께 두어 작은 블록의 부작용을 제한한다.
- 블록 캐시의 적중률만으로 효율을 판단하지 말고, 블록 안에서 실제로 자주 읽히는 키-값의 접근 빈도도 살펴야 한다.
소개
[DEVIEW 2023] * 발표자 : 김정민(NAVER Search), 채상은(성균관대학교) * 발표제목 : 바닥까지 파보는! Hbase random read 성능 개선기 * DEVIEW 2023 바로가기: https://deview.kr/2023 #DEVIEW #DEVIEW2023 #데뷰 #데뷰2023
비슷한 학습 자료
컨퍼런스 if kakao
자체개발한 분산 KeyValue DB인 REDICOKE에 대해 소개하고, 기존 저장 구조에 성능 한계와 개선되는 구조에 대해 공유합니다. Key-Value 데이터에 NVMe 저장에 대한 최적화 고민과 문제를 어떻게 풀었는지 자세히 설명 할 예정입니다. #Redicoke 카카오 분산기술셀에서 다양한 분산 플랫폼을 개발하는 레온입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-30 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 데이터베이스
컨퍼런스 DEVIEW 2023
SSR환경에서의 Micro-Frontend 구현과 퍼포먼스 향상을 위한 캐시전략
컨퍼런스 DEVIEW 2023
CQuery : 우당탕탕 Trino와 썸타기
컨퍼런스 DEVIEW 2023
이해, 생성, 효율: 세 마리 토끼 다 잡는 Seq2Seq HyperCLOVA
컨퍼런스 DEVIEW 2023
Global Grid System(H3)를 이용한 Last Mile 분야의 공간데이터 관리와 Mapping
컨퍼런스 DEVIEW 2023