생성부터 활용까지, 게임데이터 Flow 따라가기 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
게임 로그가 급증하고 오픈·업데이트 시 트래픽 변동이 커지면서 온프레미스 데이터웨어하우스만으로는 유연한 확장과 다양한 데이터 분석에 한계가 있었다. 이를 보완하기 위해 AWS 기반 데이터 레이크를 구축하고, 게임 로그를 Kinesis Data Streams와 Lambda로 분류해 S3에 저장하며 외부 데이터는 수집 서버와 Airflow로 적재했다. 이후 MWAA가 작업을 스케줄링하고 EMR의 Spark가 로그를 파싱·조인·집계해 Redshift와 Spectrum을 통해 대시보드, 리포트, 임시 분석에 제공한다. 이 데이터는 매출·이용자 분석과 어뷰징 탐지 등에 쓰이며, 발표에서는 데이터 활용성을 높이기 위한 데이터 디스커버리 플랫폼과 개인별 추천 시스템 구상도 소개했다.
- 로그를 게임·플랫폼·서비스 유형으로 나누고, 용도에 맞는 파티션으로 저장하면 후속 분석과 활용이 수월해집니다.
- Airflow와 MWAA로 배치 작업을 스케줄링하고, EMR의 Spark로 JSON 로그를 파싱·조인·집계하는 흐름을 구성할 수 있습니다.
- 원천 로그와 집계 데이터를 S3에 보관하고 Redshift 및 Spectrum으로 연결하면 대시보드와 임시 분석에 함께 활용할 수 있습니다.
- 실시간 이상 탐지는 규칙 기반과 모델 기반을 구분해 운영하고, 알림·조회·보호 조치까지 이어지도록 설계합니다.
- 데이터 레이크의 접근성을 높이려면 데이터 카탈로그와 디스커버리 도구를 마련해 메타데이터를 찾기 쉽게 해야 합니다.
소개
카카오게임즈의 모바일 게임 로그 데이터가 어떻게 생성되고 수집되는지, 이 수집된 데이터를 어떻게 처리하고 활용하는지에 대한 전체적인 과정을 소개합니다. #DataLake 카카오게임즈 BI팀 / DataLake TFT에서 ETL 및 데이터 엔지니어링 업무를 맡고 있는 kyle입니다 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-63 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
모두를 위한 게임 데이터 검색 시스템 / if(kakaoAI)2024
컨퍼런스 if kakao
데이터 분석 및 이에 기반한 의사결정이 신속히 이루어져야 하는 게임업계 특성상, 어떻게 데이터 접근성을 높일 수 있을지에 대한 고민이 많았습니다. SQL과 스키마 구조를 모르더라도 데이터에 쉽고 빠르게 접근할 수 있는 데이터 검색 시스템을 구축하기 위한 노력과 그 과정을 소개합니다. #data #game #LLM 카카오게임즈에서 BI 업무를 담당하고 있는 Sonny와 Saylor입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-82 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데이터베이스 인공지능 기타
컨퍼런스 if kakao
글로벌 멀티플랫폼 게임의 어뷰저 차단하기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오게임즈 글로벌 플랫폼의 인증과 결제 시스템에 시도되었던 어뷰징들을 탐지하고 차단한 경험을 공유합니다. #글로벌 게임 플랫폼 #인증 어뷰징 차단 #결제 어뷰징 차단 카카오 게임즈에서 빌링 및 플랫폼을 개발하고 있는 Andrew입니다. 카카오 게임즈에서 인증/회원 플랫폼을 개발하고 있는 Khameleon입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-67 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
백엔드 보안
컨퍼런스 if kakao
업무 효율화를 위한 카카오 사내봇 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
카카오 내에 수많은 데이터에서 원하는 데이터를 빠르게 찾아주는 '0depth 사내봇 개발기'를 공유합니다. #Data #AI #LLM #RAG 카카오 데이터 조직의 Tory입니다. 실용적이고 사용자 친화적인 AI Application을 만드는 것에 관심이 많습니다. 카카오 내에 다양한 AI 프로덕트를 생산하는 Jennie입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-27 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
AI에이전트 개발
컨퍼런스 if kakao
카카오 분석플랫폼 변천사 / if(kakao)2022
컨퍼런스 if kakao
카카오내 수천억건이 넘는 데이터 환경에서 비즈니스 의사 결정을 도울 수 있는 데이터 분석플랫폼을 구축한 사례를 분석 플랫폼의 변화 과정을 통해 공유 드리고자 합니다. #AnalysisPlatform 카카오 데이터 연구실에서 데이터분석플랫폼을 개발하고 있는 jay 라고 합니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-61 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데이터베이스 인공지능 기타
컨퍼런스 if kakao
Day3 Streaming / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스 Day3 Streaming 를 소개합니다. [ Keynote ] 클레이튼과 블록체인 기술 / 서상민(sam.seo) 크러스트유니버스 Beyond Korea(Company for Global) / 김일두(curtis.adcd) 카카오브레인 [ Preview ] AI / 송근창 (kacey.song) 카카오브레인 블록체인 / 김정현 (colin.klaytn) 크러스트 유니버스 클라우드 / 정진욱 (jake.j) 카카오 백엔드 / 양나은 (sue.anastasis) 카카오모빌리티 빅데이터 / 송대섭 (steven.song) 카카오게임즈 ESG + General / 이민정 (yally.next) 카카오 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao...
컨퍼런스 if kakao
Preview data / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 data 관련 기술 발표세션을 소개합니다. 02:24 1. Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 by 안성훈(benny.ahn) 카카오페이 정산플랫폼팀 베니입니다. 서버 Performance 개선에 관심이 많습니다. 02:38 2. InnoDBCluster for kakao by 김근표(pio.p) 카카오에서 MySQL Database 를 운영하고 있는 피오입니다. 03:12 3. Kakao Hadoop Plaform (KHP): 카카오 하둡 플랫폼의 아키텍처와 개발/운영에 대한 이야기 by 국성표(elixir.kook) 카카오 내 하둡 클러스터를 효율적으로 운영하기 위해 힘쓰고 있습니다. KHP 프로젝트 중에는 배포판 PL을 맡았으며, 최근에는 Spark, Kafka 관련 업무를 수행하고 있습니다. 03:34 4. 생성부터 활용까지, 게임데이터 Flow 따라가기 by 이학희(kyle.l...
데이터베이스 데브옵스 · 인프라