카카오 분석플랫폼 변천사 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
카카오는 하루 1억 건 수준의 로그에서 출발해 실시간 콘텐츠 통계, 서비스 통계, 다차원 분석과 프로덕트 애널리틱스 요구에 맞춰 분석 플랫폼을 단계적으로 바꿨다. 초기에는 MySQL과 Oracle로 집계했지만 조회 지연과 병목을 겪었고, Elasticsearch·Kafka·Storm, Hadoop·Hive·Greenplum, 이후 Druid와 람다 아키텍처를 도입해 실시간 처리와 배치 분석을 확장했다. 사용자 단위 분석이 필요한 세그먼트·퍼널·플로우·A/B 테스트에는 로우 데이터를 저장하고 빠르게 분산 처리하는 ClickHouse를 적용했으며, 윈도우 함수와 시퀀스 함수도 활용했다. 그 결과 월 수천억 건을 분석하는 플랫폼으로 발전했으며, 분석 요구에 따라 사전 집계와 로우 데이터 저장 방식을 구분해야 한다는 점을 공유했다.
- 실시간 지표와 장기·다차원 분석은 처리 특성이 다르므로 요구사항에 맞춰 저장소와 처리 경로를 나누는 것이 중요하다.
- ClickHouse의 로우 데이터 저장과 분산 집계를 활용하면 사용자 단위 세그먼트 분석을 지원할 수 있다.
- 퍼널 분석은 ClickHouse 윈도우 함수로, 플로우 분석은 시퀀스 함수로 구현해 복잡한 조인과 사전 계산 부담을 줄일 수 있다.
- 사전 집계는 빠른 조회에 유리하지만 사용자별 분석에는 제약이 있으므로 분석 기능에 따라 데이터 모델을 선택해야 한다.
소개
카카오내 수천억건이 넘는 데이터 환경에서 비즈니스 의사 결정을 도울 수 있는 데이터 분석플랫폼을 구축한 사례를 분석 플랫폼의 변화 과정을 통해 공유 드리고자 합니다. #AnalysisPlatform 카카오 데이터 연구실에서 데이터분석플랫폼을 개발하고 있는 jay 라고 합니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-61 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
1015 장애원인 분석 / if(kakao)2022
컨퍼런스 if kakao
Day3 Streaming / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스 Day3 Streaming 를 소개합니다. [ Keynote ] 클레이튼과 블록체인 기술 / 서상민(sam.seo) 크러스트유니버스 Beyond Korea(Company for Global) / 김일두(curtis.adcd) 카카오브레인 [ Preview ] AI / 송근창 (kacey.song) 카카오브레인 블록체인 / 김정현 (colin.klaytn) 크러스트 유니버스 클라우드 / 정진욱 (jake.j) 카카오 백엔드 / 양나은 (sue.anastasis) 카카오모빌리티 빅데이터 / 송대섭 (steven.song) 카카오게임즈 ESG + General / 이민정 (yally.next) 카카오 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao...
컨퍼런스 if kakao
Preview data / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 data 관련 기술 발표세션을 소개합니다. 02:24 1. Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 by 안성훈(benny.ahn) 카카오페이 정산플랫폼팀 베니입니다. 서버 Performance 개선에 관심이 많습니다. 02:38 2. InnoDBCluster for kakao by 김근표(pio.p) 카카오에서 MySQL Database 를 운영하고 있는 피오입니다. 03:12 3. Kakao Hadoop Plaform (KHP): 카카오 하둡 플랫폼의 아키텍처와 개발/운영에 대한 이야기 by 국성표(elixir.kook) 카카오 내 하둡 클러스터를 효율적으로 운영하기 위해 힘쓰고 있습니다. KHP 프로젝트 중에는 배포판 PL을 맡았으며, 최근에는 Spark, Kafka 관련 업무를 수행하고 있습니다. 03:34 4. 생성부터 활용까지, 게임데이터 Flow 따라가기 by 이학희(kyle.l...
데이터베이스 데브옵스 · 인프라
컨퍼런스 if kakao
Day1 Keynote / if(kakao)2022
컨퍼런스 if kakao
ifkakaodev2022 컨퍼런스 Day1 Streaming 를 소개합니다. [ Keynote ] 1. Our Social Mission 남궁훈 (nkay.play) / 비상대책위원회 재발방지대책 공동 소위원장 2. 1015 장애원인 분석 이확영 Grepp CEO / 비상대책위원회 원인조사 소위원장 3. 달라지는 카카오 1) 재발방지를 위한 기술적 개선 이채영 (ean.lee) / 비상대책위원회 재발방지대책소위원회 부위원장 2) 미래투자와 혁신 계획 고우찬 (gilbert.c) / 비상대책위원회 재발방지대책 공동 소위원장 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
컨퍼런스 if kakao
Day1 Keynote / if(kakao)2022
컨퍼런스 if kakao
ifkakaodev2022 컨퍼런스 Day1 Streaming 를 소개합니다. [ Keynote ] 1. Our Social Mission 남궁훈 (nkay.play) / 비상대책위원회 재발방지대책 공동 소위원장 2. 1015 장애원인 분석 이확영 Grepp CEO / 비상대책위원회 원인조사 소위원장 3. 달라지는 카카오 1) 재발방지를 위한 기술적 개선 이채영 (ean.lee) / 비상대책위원회 재발방지대책소위원회 부위원장 2) 미래투자와 혁신 계획 고우찬 (gilbert.c) / 비상대책위원회 재발방지대책 공동 소위원장 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022