Druid 반정형 데이터 고군분투기 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
Druid에서 JSON을 자동으로 평탄화하면 데이터 구조가 바뀔 때 스키마와 쿼리, 시각화도 함께 바뀌는 문제가 있었다. 이를 줄이기 위해 JSON을 문자열 형태로 저장하고 JSONPath 기반 함수를 만들어 필요한 값을 조회했지만, 100만 행 처리에 약 5초가 걸려 프로덕션 적용에는 부담이 됐다. 필요한 파싱 기능만 구현한 Fast JSON 파서와 키 인덱스를 도입해 처리 시간을 줄였으며, 발표에서는 Druid의 Nested Complex 컬럼도 비교해 비트맵 인덱스를 활용하는 대안으로 소개했다. 데이터 구조 변화에 유연한 저장 방식은 파싱 성능과 쓰기 비용까지 함께 고려해 선택해야 한다.
- JSON을 컬럼으로 평탄화하면 데이터 구조가 바뀔 때 스키마와 쿼리, 시각화까지 함께 수정해야 할 수 있다.
- JSONPath처럼 범용적인 파서가 느리다면 실제로 필요한 기능만 구현해 파싱 비용을 줄이는 방법을 고려한다.
- 키 인덱스로 대상 행을 먼저 필터링한 뒤 JSON 값을 추출하면 파서 종류와 관계없이 성능을 높일 수 있다.
- Druid의 Nested Complex 컬럼은 쓰기 시 JSON을 파싱하고 비트맵 인덱스를 활용하므로, 읽기 성능과 쓰기 비용을 함께 비교해야 한다.
소개
Druid로 JSON 형태의 반정형 데이터 분석 기능을 개발한 경험을 공유합니다. #Druid 카카오에서 데이터엔지니어로 일하고 있는 필립입니다. 개발이 좋아 이 일을 시작했습니다. 현재는 매니징 업무가 많지만 항상 개발을 꿈꾸는 꿈나무입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-31 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
카카오 분석플랫폼 변천사 / if(kakao)2022
컨퍼런스 if kakao
카카오내 수천억건이 넘는 데이터 환경에서 비즈니스 의사 결정을 도울 수 있는 데이터 분석플랫폼을 구축한 사례를 분석 플랫폼의 변화 과정을 통해 공유 드리고자 합니다. #AnalysisPlatform 카카오 데이터 연구실에서 데이터분석플랫폼을 개발하고 있는 jay 라고 합니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-61 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데이터베이스 인공지능 기타
컨퍼런스 if kakao
ㄷㄷㄷ: Domain Driven Design과 적용 사례공유 / if(kakao)2022
컨퍼런스 if kakao
Legacy Server의 포팅을 위해 Domain Driven Design을 적용하여 MSA 화 한 사례를 공유합니다. #MSA #DDD 카카오 엔터테인먼트에서 백엔드 개발자로 일하고 있는 셜록입니다. git blame을 열면 혹시나 제가 짠 코드일까 두근두근하면서, 레거시 서버로 고통받았던 나날과 함께 backlog를 열심히 청소하는 중입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-37 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드
컨퍼런스 if kakao
Preview data / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 data 관련 기술 발표세션을 소개합니다. 02:24 1. Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 by 안성훈(benny.ahn) 카카오페이 정산플랫폼팀 베니입니다. 서버 Performance 개선에 관심이 많습니다. 02:38 2. InnoDBCluster for kakao by 김근표(pio.p) 카카오에서 MySQL Database 를 운영하고 있는 피오입니다. 03:12 3. Kakao Hadoop Plaform (KHP): 카카오 하둡 플랫폼의 아키텍처와 개발/운영에 대한 이야기 by 국성표(elixir.kook) 카카오 내 하둡 클러스터를 효율적으로 운영하기 위해 힘쓰고 있습니다. KHP 프로젝트 중에는 배포판 PL을 맡았으며, 최근에는 Spark, Kafka 관련 업무를 수행하고 있습니다. 03:34 4. 생성부터 활용까지, 게임데이터 Flow 따라가기 by 이학희(kyle.l...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
생성부터 활용까지, 게임데이터 Flow 따라가기 / if(kakao)2022
컨퍼런스 if kakao
카카오게임즈의 모바일 게임 로그 데이터가 어떻게 생성되고 수집되는지, 이 수집된 데이터를 어떻게 처리하고 활용하는지에 대한 전체적인 과정을 소개합니다. #DataLake 카카오게임즈 BI팀 / DataLake TFT에서 ETL 및 데이터 엔지니어링 업무를 맡고 있는 kyle입니다 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-63 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
Preview Backend_2 @if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 Backend_2 관련 기술 발표 트랙을 소개합니다. 01:59 1. 카카오 계정 캐시 전환기 by 김경호(leo.kkh) 카카오 계정에서 서버 개발자로 일하고 있는 레오입니다. 02:12 2. Druid 반정형 데이터 고군분투기 by 한승후(philip.han) 카카오에서 데이터엔지니어로 일하고 있는 필립입니다. 개발이 좋아 이 일을 시작했습니다. 현재는 메니징 업무가 많지만 항상 개발을 꿈꾸는 꿈나무입니다. 02:36 3. WebRTC 기반 게임 리모트 플레이: 실시간 커뮤니케이션 서비스를 위한 WebRTC by 김시은(eddy.games) 카카오게임즈에서 백엔드 개발자로 일하고 있는 에디입니다. 02:52 4. JVM warm up by 이형구(greg.1020) 카카오모빌리티에서 백엔드엔지니어 역할을 맡고 있는 그렉입니다. 저는 주로 Python으로 개발하는 것을 좋아하는데요, 최근에는 Java를 활용한 백엔드 개발과 Reac...
백엔드 데이터베이스 네트워크