![[NDC] 어머님, A/B 테스트를 댁으로 들이십시오 - 〈DevPlay〉 A/B 테스트 플랫폼 개발기](https://i.ytimg.com/vi/iN-pQXQRzjI/maxresdefault.jpg)
[NDC] 어머님, A/B 테스트를 댁으로 들이십시오 - 〈DevPlay〉 A/B 테스트 플랫폼 개발기
NDC 넥슨 · YouTube
AI 핵심 요약
쿠키런: 오븐브레이크의 스타터 패키지 판매 시간을 정할 때, 공휴일이나 사용자 구성 같은 외부 요인 때문에 단순 비교로는 어느 설정이 나은지 판단하기 어려웠습니다. 발표자들은 사용자 ID와 실험 이름을 해시해 사용자를 그룹에 배정하고, 그룹 특성의 동질성을 확인하며 여러 실험의 적용 범위를 분리하는 A/B 테스트 방식을 마련했습니다. 이를 게임 운영 플랫폼 DevPlay에 구현해 개발자가 콘솔에서 실험과 지표를 설정하고 결과를 확인하도록 했으며, 베이지안 통계로 각 판매 시간의 성과를 비교했습니다. 해당 실험에서는 3일 판매 그룹이 가장 나은 선택지일 확률이 높게 나타났고, A/B 테스트를 플랫폼화하면 게임 운영의 의사결정에 반복적으로 활용할 수 있다는 점을 확인했습니다.
- 실험 전에 핵심 지표와 의미 있는 차이, 대상 사용자, 그룹 수, 기간을 정하고 주말 등 비즈니스 주기를 반영하세요.
- 사용자 ID를 해시해 그룹을 배정하면 로그인 순서에 의존하지 않고 사용자를 균등하게 나눌 수 있습니다.
- 그룹별 국가·레벨·과금 비율 등 주요 특성의 분포가 비슷한지 확인한 뒤 실험을 시작하세요.
- 여러 실험을 병행할 때는 적용 범위를 분리하고, 실험 이름을 해시 입력에 포함해 각 실험의 배정이 독립적이게 하세요.
- 결과는 단순 구매자 수가 아니라 구매 비율과 통계적 불확실성을 함께 살펴 판단하세요.
소개
NDC 2019 [어머님, A/B 테스트를 댁으로 들이십시오 - 〈DevPlay〉 A/B 테스트 플랫폼 개발기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 김민수, 오우택 2. 발표자 소개 : [김민수] 데브시스터즈에서 데이터 엔지니어로 일하고 있습니다. 매일 게임에서 발생하는 수 테라바이트의 데이터를 효율적으로 가공 및 적재하는 인프라를 설계하고 있습니다. 또한, 대규모 분석 프레임워크, 실시간 스트리밍 등의 데이터 어플리케이션을 개발하고 있습니다. 유저가 만들어내는 수많은 데이터에서 새로운 가치를 발견하여 더 큰 즐거움을 주는 게임을 만들고자 합니다. [오우택] 데브시스터즈에서 데이터 과학자로 첫 커리어를 쌓아 나가고 있습니다. KPI 스키마 디자인에서부터 분석 후 대쉬보드 형태로 엔드유저에게 전달되기까지, 데이터가 전사적으로 잘 쓰일 수 있도록 일을 진행했습니다. 서비스 중인 게임의 상품 분석, 어뷰저 탐...
비슷한 학습 자료
컨퍼런스 NDC
[NDC] 좋은 쿠키 있으면 소개시켜줘 - 데이터 기반 조합 추천
컨퍼런스 NDC
NDC 2019 [좋은 쿠키 있으면 소개시켜줘 - 데이터 기반 조합 추천] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 신현석, 여찬구 2. 발표자 소개 : [신현석] 데브시스터즈에 2017년 11월 부터 데이터 엔지니어로 일하고 있으며, 현재 데이터 플랫폼 그룹에서 데이터 적재, 분석 파이프라인 운영과 분석가능한 환경을 제공하는 것을 담당하고 있습니다. 큰 데이터를 안정적으로 처리하는 것과, 적재된 데이터를 잘 활용하여 제품에 도움이 되게 하는 것에도 관심이 많습니다. 각종 파이프라인을 업그레이드 하는 것과, 〈쿠키런:오븐브레이크〉 떼탈출 조합 추천 시스템을 개발했습니다. [여찬구] 현재 데브시스터즈에서 〈쿠키런:오븐브레이크〉 프로젝트의 데이터 분석 업무를 담당하고 있으며, 주로 비즈니스 성과 분석 또는 데이터 과학을 통해 제품 개선에 대한 insight를 도출하는 업무를 수행하고 있습니다. 이전에는 쿠키런...
딥러닝 · 머신러닝
컨퍼런스 NDC
[NDC] LTV 를 통한 손해보지 않는 마케팅
컨퍼런스 NDC
NDC 2019 [LTV 를 통한 손해보지 않는 마케팅] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 박주홍, 장세진 2. 발표자 소개 : [박주홍] 데브시스터즈에서 데이터 과학 그룹장을 맡고 있습니다. 쿠키런 For Kakao 서버를 개발하고 라인 쿠키런의 글로벌 서버 구현을 총괄하였으며, 데이터 분석을 위한 인프라 구축을 진행했습니다. 카이스트와 서울대에서 데이터 분석 연구를 진행했고 Line Developer Day 에서 글로벌 게임 서버 구축, CHI Conference 에서 게임 데이터 분석 발표를 하였습니다. 게임을 사랑하고 좋아하며, 데이터를 통해 게임을 보다 더 잘 이해하고 재미있게 만들고 싶습니다. 데이터 과학과 게임에 관심 많은 분들과 함께하고 싶습니다. [장세진] 수학과 IT를 좋아해 데이터 분야에 관심을 갖게 되었고, 외국계 리서치 회사에서 데이터 사이언스 분야를 접하게 된 이후 더욱 매력...
인공지능 기타 프로덕트 지표 · 실험
컨퍼런스 NDC
NDC 2019 [그치만 이렇게 하지 않으면 A/B 테스트 시켜주지 않는걸] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 이현섭, 김신영 2. 발표자 소개 : [이현섭] 데이터의 활용에 관심이 많은 Machine Learning Engineer입니다. PUBG의 Machine Learning 팀에서 A/B 테스트 플랫폼을 개발하고 있습니다. [김신영] 현재 PUBG Machine Learning 팀에서 코딩 외의 모든것을 담당하고 있습니다. 과거 중소기업 몇군데를 거치며 통계 및 알고리즘 및 가끔 서비스 개발도 했습니다. 3. 세션 소개 : 데이터 기반 의사결정을 위해 A/B 테스트를 수행하고자 하는 수요에 힘입어 대규모 서비스에서 활용 가능한 A/B 테스트 플랫폼을 구축한 경험을 공유하고자 합니다. 기존의 파이프라인을 통해 수집된 데이터를 활용할 수 없어 데이터를 직접 수집, 적재, 분석하는 파이프라인을 구축...
프로덕트 지표 · 실험
컨퍼런스 NDC
NDC 2018 [개발 자동화와 그 적들 - '블레이드 2' 및 다른 사례들 소개] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 최우성 2. 발표자 소개 : 16 년차 개발자. 프로그래머와 프로젝트 관리자와 AI 관련 업무를 오가며 게임 업계에 서식하고 있다. 현재는 블레이드2 에서 서버 프로그래밍 및 개발 생산성 향상을 위한 작업들을 하고 있다. 그 이전에는 블레이드 앤 소울, 로스트 사가, 다함께 차차차2, 불멸의 전사 등을 PM이나 프로그래머로서 개발 했다. 그리고 소개한 프로젝트 보다 더 많은 수의 빛을 보지 못한 프로젝트들에도 참여 했었다. 3. 세션 소개 : 개발환경이 발전하고 프로젝트들의 사이클이 짧아지면서, 개인 및 팀의 생산성은 또다른 키워드가 되고 있습니다. 특히 모바일 시대에 도래하면서 이런 현상은 더욱 가속화되어가고 있는 상황입니다. 블레이드 2 (서버)를 개발하면서 신경 썼던 부분 중 하...
데브옵스 · 인프라 개발 도구
컨퍼런스 NDC
NDC 2018 [로그 파이프라인 제작기 - 개발/런칭하는 서비스들을 위한 적재하고 조회하고 분석하는 솔루션 조립하기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 윤주식 2. 발표자 소개 : 넥슨레드의 RF실 부스팅팀 데이터파트에서 로그 시스템 개발을 하고있으며, 현재 라이브 서비스중인 AxE와 포인트블랭크 스트라이크에 도입하여 적재, 조회, 분석 등 다양한 업무를 지원하고 있습니다. 3. 세션 소개 : 운영을 돕고 서비스 분석을 하기 위한 게임 로그, 성능을 모니터하고 개선하기 위한 서버 성능 로그, 개발 과정에서 잡다하게 남겨놓고 필요할 때 찾게되는 디버그 로그 등등.. 게임을 개발하고 서비스 하는 과정에서 발생하는 다양한 로그들을 서버대신 잘 수집하고 모아서 적재하고, 쉽게 찾아보거나 시각화하고, 더 나은 게임을 위해 분석할 수 있는 솔루션을 만들기 위해 했던 고민들을 공유하고자 합니다. 그리고 고민들을 ...
데이터베이스 데브옵스 · 인프라
컨퍼런스 NDC
NDC 2018 [Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산 처리 자동화 인프라 구축] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 박주홍 2. 발표자 소개 : 데브시스터즈에서 데이터 분석 및 인프라 팀장을 맡고 있습니다. 쿠키런 For Kakao 서버를 개발하고 라인 쿠키런의 글로벌 서버 구현을 총괄하였으며, 데이터 분석을 위한 Hadoop 기반의 인프라 구축을 진행했습니다. 카이스트와 서울대에서 데이터 분석 연구를 진행했고 Line Developer Day 에서 글로벌 게임 서버 구축, CHI Conference 에서 게임 데이터 분석 발표를 하였습니다. 이번에는 게임 데이터 분석을 위한 데이터 분산 처리 자동화 인프라 구축에 대해 발표하고자 합니다. 게임을 사랑하고 좋아하며, 데이터를 통해 게임을 보다 더 잘 이해하고 재미있게 만들고 싶습니다. 데이터 분석과 인프라...
데이터베이스 데브옵스 · 인프라