대용량 지표 관리를 위한 TSDB 개발기 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
서버와 클러스터가 늘면서 Prometheus, 장기 저장소, 서비스별 TSDB가 분산되어 지표를 한곳에서 관리하기 어려워졌고, 이를 해결하기 위해 Prometheus 호환 분산 TSDB인 TSCoke를 개발했습니다. TSCoke는 Redis 프로토콜 기반의 분산 저장소 RediCoke를 장기 저장소로 활용하고, WAL 기반 복제와 자동 샤드 리밸런싱으로 무중단 수평 확장을 지원합니다. 로컬 저장소의 LSM 트리 컴팩션 병목은 만료 시점이 비슷한 데이터를 append-only 세그먼트로 저장하는 LSS로 바꾸고, 시리즈 인덱스에는 ART와 딕셔너리 코딩을 적용해 메모리와 조회 비용을 줄였습니다. 긴 쿼리는 여러 노드에 분산해 처리했으며, 발표에서는 저장·인덱스·조회 단계의 병목을 각각 찾아 구조에 맞게 최적화하는 과정을 보여줬습니다.
- 데이터가 일정 기간 뒤 만료되는 저장소라면, LSM 트리의 범용 컴팩션 대신 만료 단위에 맞춘 append-only 세그먼트 구조를 고려할 수 있습니다.
- 반복되는 레이블 문자열을 정수로 치환하는 딕셔너리 코딩은 ART 인덱스의 메모리 사용량과 조회 성능을 함께 개선할 수 있습니다.
- 긴 시간 범위의 쿼리는 구간을 나눠 여러 노드에서 처리하고 결과를 취합하는 방식으로 분산할 수 있습니다.
- 스토리지 최적화만으로 끝내지 말고, 메모리 프로파일링과 쿼리 병렬화처럼 병목이 옮겨가는 지점을 계속 확인해야 합니다.
소개
무중단 확장이 가능한 prometheus 호환 Time series DBMS인 TSCoke에 대한 소개와, 성능 최적화 과정에 대해 소개합니다. #TSCoke 카카오 분산기술셀에서 분산 스토리지 플랫폼을 개발하는 야누 입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-29 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
대용량 트래픽 아니면 안 보셔도 됩니다! 선물하기 서비스 캐싱 전략 / if(kakaoAI)2024
컨퍼런스 if kakao
리모트캐시의 부담을 덜기 위한 하이브리드 캐시, 선물하기만의 특성을 담은 유저 선호 데이터를 자동으로 감지하는 캐시 웜업 자동화. 초 단위 갱신으로 항상 최신 데이터를 서빙하는 캐시 웜업 등 선물하기 서비스에서 대량 트래픽을 견디기 위해 고안한 다양한 캐싱 전략을 공유합니다. #cache #트래픽 카카오 선물하기를 개발하는 Everett과 Joy입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-80 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
백엔드 데이터베이스
컨퍼런스 if kakao
대용량 데이터베이스 동기화를 위한 최적의 CDC 시스템 구축기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내 다양한 서비스의 데이터를 한 곳으로 응집하기 위한 대규모 CDC 파이프라인을 구축한 사례를 소개합니다. Flink와 Kafka Connect를 통해 수십억 건의 데이터를 MySQL과 Iceberg 까지 연동하는 과정에서 맞닥뜨린 어려움과 해결 방안을 공유합니다. #Data #CDC #Debezium #Flink #Iceberg #Spark 카카오 전사 데이터 조직의 데이터 엔지니어 Dawn입니다. 카카오의 방대하고 다양한 데이터를 효율적으로 처리하는 대규모 CDC 파이프라인을 개발하고 있습니다. flink와 kafka를 활용하여 여러 시도를 하고 있는 Louis입니다. 요즘은 flink로 iceberg에 데이터를 적재하는 것에 집중하고 있어요. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-77 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
Kubernetes 지능형 리소스 최적화 / if(kakaoAI)2024
컨퍼런스 if kakao
"쿠버네티스 클러스터에 구성된 서비스의 리소스를 어떻게 관리하고 계신가요?" 에서 비롯된 지능형 리소스 최적화 시스템 구축 프로젝트 과정을 소개합니다. 이 영상을 통해 효율적 리소스 관리를 통한 비용절감 방법을 공유합니다. #Kubernetes #리소스최적화 #finops 카카오페이증권 DevOps팀 Steve입니다. 카카오페이증권 서비스들을 위한 플랫폼 구축 및 운영, 표준화를 담당하고 있습니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-74 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 클라우드
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
카카오 T 대리 신규 커넥션 서버 개발기 / if(kakao)2022
컨퍼런스 if kakao
본 세션에서는 카카오 T 대리 서비스에서 소켓 통신을 담당하는 커넥션 서버를 왜 새롭게 개발하게 되었는지 말씀드리고, 새롭게 개발한 커넥션 서버의 설계와 그 구현 방법에 대해서 소개하겠습니다. 그리고 개발 과정에서 마주했던 문제들과 그 해결책들을 공유드리겠습니다. #NetworkSocket 카카오모빌리티에서 카카오 T 대리 서비스의 백엔드 개발을 맡고 있는 제이입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-34 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 네트워크
컨퍼런스 if kakao
카카오 분석플랫폼 변천사 / if(kakao)2022
컨퍼런스 if kakao
카카오내 수천억건이 넘는 데이터 환경에서 비즈니스 의사 결정을 도울 수 있는 데이터 분석플랫폼을 구축한 사례를 분석 플랫폼의 변화 과정을 통해 공유 드리고자 합니다. #AnalysisPlatform 카카오 데이터 연구실에서 데이터분석플랫폼을 개발하고 있는 jay 라고 합니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-61 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데이터베이스 인공지능 기타