Local key-value 스토리지가 고민일땐 RocksDB 어때? - 이동규_NE DAY 23.10
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
크래시 로그 분석 시스템을 개발하면서 비휘발성 로컬 저장소, 임베디드 사용, Java 연동, 빠른 읽기·쓰기와 범위 조회가 가능한 키-값 스토리지가 필요해 RocksDB를 선택했습니다. 발표에서는 RocksDB의 LSM 트리 구조를 설명하며 MemTable, WAL, SST 파일과 컴팩션이 쓰기·읽기 성능 및 데이터 복구에 어떤 역할을 하는지 짚었습니다. 컬럼 패밀리, 압축 알고리즘, Bloom filter, 옵션과 통계 기능을 소개하고, JNI 리소스 관리·수동 컴팩션·멀티 프로세스 접근 시 주의점을 공유했습니다. 실제 서비스에서는 옵션과 동작을 튜닝해 리소스 문제를 안정화했으며, 로컬 임베디드 KV 저장소를 고를 때는 요구사항뿐 아니라 LSM 구조와 운영상의 제약도 함께 검토해야 한다고 설명했습니다.
- LSM 트리는 쓰기 요청을 WAL에 기록한 뒤 메모리의 MemTable에 반영해 장애 복구를 지원합니다.
- SST 파일은 정렬된 불변 데이터로 저장되며, 컴팩션은 오래된 값과 삭제된 데이터를 정리하는 대신 읽기·쓰기 비용을 발생시킵니다.
- Bloom filter는 키가 없을 가능성이 높은 SST 파일 탐색을 건너뛰지만, 존재한다고 판단해도 실제 키가 없을 수 있습니다.
- JNI 리소스를 해제한 뒤 데이터베이스에 접근하지 않도록 수명 관리를 하고, 아카이빙 전에는 수동 컴팩션을 고려하세요.
- RocksDB는 기본적으로 여러 프로세스가 같은 DB를 동시에 열 수 없으며, 필요한 경우 읽기 전용 모드를 검토해야 합니다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY(10월)에서 발표되었던 세션을 공개합니다. ----- [발표 내용] - KV 스토리지 - RocksDB - LSM Tree - RocksDB Features - 주의사항 - 마치며
비슷한 학습 자료
컨퍼런스 if kakao
StateDB pruning & Migration / if(kakao)2022
컨퍼런스 if kakao
블록체인의 스토리지는 모든 데이터의 정합성 체크를 위해 모든 데이터를 누적해 저장합니다. 지속해서 증가하는 데이터로 인해 로컬 스토리지 데이터는 계속 증가하고, 이에 따라 데이터 액세스 속도는 지속적으로 느려지게 됩니다. 블록체인에서 과거 데이터가 중요하긴 하지만 노드별 역할에 따라 현재 데이터만 필요한 경우도 있고, 과거 데이터가 필요하더라도 최근 데이터만큼 빠른 속도로 액세스 되지 않아도 괜찮은 노드도 존재합니다. 이러한 특성을 이용해서 클레이튼은 과거 데이터를 지우거나 분산 스토리지로 마이그레이션 하는 로직을 만들어 스토리지 활용을 최적화하는 블록체인 스토리지 관리 모듈을 개발 중입니다. 본 세션에서는 이에 대한 이야기를 하고자 합니다. #BlockchainStorage 크러스트유니버스에서 블록체인의 스토리지를 개발하고 있는 이든입니다. 카카오톡의 분산스토리지를 개발했고, 최근에 클레이튼에서 사용하는 블록체인용 스토리지의 최적화와 분산시스템으로의 확장을 고민하고 있습...
데이터베이스 블록체인
컨퍼런스 if kakao
자체개발한 분산 KeyValue DB인 REDICOKE에 대해 소개하고, 기존 저장 구조에 성능 한계와 개선되는 구조에 대해 공유합니다. Key-Value 데이터에 NVMe 저장에 대한 최적화 고민과 문제를 어떻게 풀었는지 자세히 설명 할 예정입니다. #Redicoke 카카오 분산기술셀에서 다양한 분산 플랫폼을 개발하는 레온입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-30 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
Iceberg Low-Latency Queries with Materialized Views (feat. 실시간 거래 리포트)
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] - 본 영상에서는 “실시간 거래 리포트를 어떻게 하면 사용자가 원하는 다양한 조건으로 빠르게 조회할 수 있을까?” 라는 질문에서 출발한 기술적 여정을 다룹니다. - 단순히 데이터를 쌓고 조회하는 단계를 넘어, 거래 데이터의 최신성과 응답 속도, 그리고 확장성을 동시에 확보하기 위한 여러 시도를 공유합니다. [발표 대상] - 데이터 플랫폼 엔지니어 / 데이터 아키텍트 – 대용량 실시간 데이터 처리 및 저지연 설계에 관심 있는 분 - 분석 플랫폼 운영자 / BI 개발자 – 다차원 필터 조회 속도 및 Freshness 향상 전략을 찾고 있는 분 - Spark, Iceberg, StarRocks 활용자 – 실제 조합 운영 사례를 통해 운영 팁을 얻고자 하는 분 [목차] 0. 소개 (Introduction) 1. 문제 정의 (Problem Definition)...
데이터베이스 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
늘어가는 조회트래픽 Elasticsearch로 분산시키기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 점점 늘어가던 플레이스 조회트래픽을 메인DB로부터 Elasticsearch(Opensearch)로 분산한 경험을 공유합니다. (#Elasticsearch #Opensearch #트래픽 분산 #CQRS #slow query #feature toggle #feature flag #자동 fallback) [강의 대상] * 트래픽 분산 및 Elasticsearch(Opensearch)에 관심이 있으신 분들 * 난이도 : 하~중하 (트래픽 분산경험 / ES 운용경험이 없으신 주니어 개발자분들도 이해하시기 좋은 정도) [목차] * 조회 DB 도입 배경 - 기존 리뷰조회 flow - 호출량이 점점 늘어가던 플랫폼, 증가하는 조회필터 / 정렬조건 - DB 인덱스 추가의 한계 - 조회용 DB를 도입한다면? * Elasticsearch를 조회DB로...
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
데이터는 흐른다, 연결될 준비가 되었다면
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 유저 세그먼트를 손쉽게 정의하고, 이를 다양한 액션 채널(Braze, IDS, GAM 등)과 자동 연동할 수 있는 네이버 웹툰의 Cohort System을 소개합니다. 조건 기반 필터링, ML 모델 연동 등 다양한 방식으로 세그먼트를 만들고, 중복 제거 로직과 함께 효율적으로 활용할 수 있습니다. 시스템 구조와 기술 스택, 실제 마케팅 활용 사례까지 함께 공유하며, 데이터에서 인사이트, 나아가 액션까지의 연결을 어떻게 자동화했는지를 설명합니다. [강의 대상] * 데이터 엔지니어 / 백엔드 엔지니어: 데이터 흐름 자동화, 시스템 구조에 관심 있는 분 * ML 엔지니어 / 데이터 사이언티스트: ML 결과를 실시간 타겟팅에 적용하고 싶은 분 * 마케터 / PM: 타겟 유저 추출과 액션 전환까지의 전체 흐름을 이해하고 싶은 분 [목차] Episode 1...
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
신규 프로젝트 Hazelcast 도입기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(10월)에서 발표되었던 세션을 공개합니다. [발표 내용] 신규 프로젝트를 구축하면서 Hazelcast 를 도입하게된 배경과 그 방법에 대해 설명합니다 [목차] Hazelcast 도입 배경 Hazelcast 특징 Hazelcast Member 구성 방법 Hazelcast Client 구성 방법 모니터링 소개 [대상] Hazelcast를 처음 접한 개발자 Hazelcast 도입을 고려중인 개발자 자체 캐시 클러스터 구축을 고려중인 개발자
백엔드 데이터베이스