![[NDC] 그치만 이렇게 하지 않으면 A/B 테스트 시켜주지 않는걸](https://i.ytimg.com/vi/-awjLPFeLaY/maxresdefault.jpg)
[NDC] 그치만 이렇게 하지 않으면 A/B 테스트 시켜주지 않는걸
NDC 넥슨 · YouTube
AI 핵심 요약
PUBG에서 머신러닝 기능을 라이브 서비스에 적용하고 효과를 측정하려 했지만, 기존 데이터 파이프라인만으로는 A/B 테스트에 필요한 데이터를 활용하기 어려웠다. 발표자들은 서버와 클라이언트 로그를 직접 수집·적재·분석하는 실시간 파이프라인을 만들고, Google Analytics의 데이터 스키마를 참고해 로그 형식을 정리했다. 대규모 트래픽의 스트리밍 처리는 Apache Flink로 구성하고, AWS 관리형 서비스와 모니터링 도구를 활용해 확장성과 운영 부담에 대응했다. 구축한 플랫폼은 실제 게임 서비스의 A/B 테스트에 쓰였으며, 검증된 도구와 서비스를 활용해 처음부터 모든 것을 직접 만들지 않는 것이 중요하다고 설명했다.
- 실험을 시작하기 전에 검증할 가설과 측정할 지표를 명확히 정해야 결과를 올바르게 해석할 수 있다.
- 로그의 의미와 필드를 먼저 표준화하고, 수집부터 분석까지 이어지는 데이터 파이프라인을 설계한다.
- 지연이 허용되지 않는 지표에는 배치 처리 대신 스트리밍 처리를 고려한다.
- 대규모 스트림의 분산 처리에는 Apache Flink 같은 엔진을 검토하고, 운영 부담은 관리형 서비스로 줄일 수 있다.
- 검증된 스키마와 라이브러리, 클라우드 서비스를 활용하면 불필요한 재구현과 운영 부담을 피할 수 있다.
소개
NDC 2019 [그치만 이렇게 하지 않으면 A/B 테스트 시켜주지 않는걸] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 이현섭, 김신영 2. 발표자 소개 : [이현섭] 데이터의 활용에 관심이 많은 Machine Learning Engineer입니다. PUBG의 Machine Learning 팀에서 A/B 테스트 플랫폼을 개발하고 있습니다. [김신영] 현재 PUBG Machine Learning 팀에서 코딩 외의 모든것을 담당하고 있습니다. 과거 중소기업 몇군데를 거치며 통계 및 알고리즘 및 가끔 서비스 개발도 했습니다. 3. 세션 소개 : 데이터 기반 의사결정을 위해 A/B 테스트를 수행하고자 하는 수요에 힘입어 대규모 서비스에서 활용 가능한 A/B 테스트 플랫폼을 구축한 경험을 공유하고자 합니다. 기존의 파이프라인을 통해 수집된 데이터를 활용할 수 없어 데이터를 직접 수집, 적재, 분석하는 파이프라인을 구축...
비슷한 학습 자료
컨퍼런스 NDC
● 설문조사: https://forms.gle/wyYgtGi5F4NGzzYeA ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 프로그래밍 ● 발표자: 엔씨소프트 김종원 ● 권장 대상: 프로그래머, QA, PM ● 키워드: #QA #자동테스트 #모바일게임 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
소프트웨어 테스트 게임 개발 기타
컨퍼런스 NDC
● 설문조사: https://forms.gle/a5WW3pifsiAdesjk6 ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 데이터분석 ● 발표자: 엔씨소프트 정예원 ● 권장 대상: 데이터 분석, 머신러닝, AI 관련 직군 ● 키워드: #추천알고리즘 #오프라인AB테스트 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
딥러닝 · 머신러닝 프로덕트 지표 · 실험
컨퍼런스 NDC
● 설문조사: https://forms.gle/4okUFU1GT4T3bsBG8 ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 프로덕션&운영 ● 발표자: 크래프톤 김상기 ● 권장 대상: 콘솔 개발 및 프로덕션 운영 관심있는 모든 분들 ● 키워드: #콘솔 #프로덕션 #라이브서비스 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
게임 개발 기타 애자일 · 협업
컨퍼런스 NDC
NDC 2019 [어머님, A/B 테스트를 댁으로 들이십시오 - 〈DevPlay〉 A/B 테스트 플랫폼 개발기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 김민수, 오우택 2. 발표자 소개 : [김민수] 데브시스터즈에서 데이터 엔지니어로 일하고 있습니다. 매일 게임에서 발생하는 수 테라바이트의 데이터를 효율적으로 가공 및 적재하는 인프라를 설계하고 있습니다. 또한, 대규모 분석 프레임워크, 실시간 스트리밍 등의 데이터 어플리케이션을 개발하고 있습니다. 유저가 만들어내는 수많은 데이터에서 새로운 가치를 발견하여 더 큰 즐거움을 주는 게임을 만들고자 합니다. [오우택] 데브시스터즈에서 데이터 과학자로 첫 커리어를 쌓아 나가고 있습니다. KPI 스키마 디자인에서부터 분석 후 대쉬보드 형태로 엔드유저에게 전달되기까지, 데이터가 전사적으로 잘 쓰일 수 있도록 일을 진행했습니다. 서비스 중인 게임의 상품 분석, 어뷰저 탐...
데이터베이스 프로덕트 지표 · 실험
컨퍼런스 NDC
NDC 2018 [억! 소리나는 게임 서비스 플랫폼을 지탱하는 알고리즘 - 해쉬, 확률적 자료구조, 불변데이터] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 전이삭 2. 발표자 소개 : 현재 블리자드 엔터테인먼트 배틀넷 부문 데이터 팀에서 빅데이터 수집/분석 시스템을 개발하고 있습니다. 2001년부터 PC 및 모바일용 패키지 소프트웨어, 게임 클라이언트, 게임 배포 및 서비스 플랫폼, 서버 프레임워크, 소스 코드 정적 분석 툴 등 다양한 프로젝트들에 참여했습니다. 참여한 프로젝트들로는 나모 웹 에디터, 나모 핸드스토리, 한게임 바둑, 월드 오브 워크래프트 게임 런처, 월드 오브 워크래프트 실시간 게임 다운로드 Play on Demand 라이브러리, 배틀넷 데스크톱 앱, 오버워치 게임 클라이언트 등이 있습니다. 작년 NDC2017에서는 '더 좋은 코드를 위한 함수형 프로그래밍 - 모던 C++를 중심으로'라는 제목의 세...
알고리즘 · 자료구조
컨퍼런스 NDC
NDC 2018 [로그 파이프라인 제작기 - 개발/런칭하는 서비스들을 위한 적재하고 조회하고 분석하는 솔루션 조립하기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 윤주식 2. 발표자 소개 : 넥슨레드의 RF실 부스팅팀 데이터파트에서 로그 시스템 개발을 하고있으며, 현재 라이브 서비스중인 AxE와 포인트블랭크 스트라이크에 도입하여 적재, 조회, 분석 등 다양한 업무를 지원하고 있습니다. 3. 세션 소개 : 운영을 돕고 서비스 분석을 하기 위한 게임 로그, 성능을 모니터하고 개선하기 위한 서버 성능 로그, 개발 과정에서 잡다하게 남겨놓고 필요할 때 찾게되는 디버그 로그 등등.. 게임을 개발하고 서비스 하는 과정에서 발생하는 다양한 로그들을 서버대신 잘 수집하고 모아서 적재하고, 쉽게 찾아보거나 시각화하고, 더 나은 게임을 위해 분석할 수 있는 솔루션을 만들기 위해 했던 고민들을 공유하고자 합니다. 그리고 고민들을 ...
데이터베이스 데브옵스 · 인프라