![[NDC21-데이터분석] 추천알고리즘 Offline A/B 테스트 (feat. PAIGE 프로야구 서비스)](https://i.ytimg.com/vi/U2v2rVb_6oo/maxresdefault.jpg)
[NDC21-데이터분석] 추천알고리즘 Offline A/B 테스트 (feat. PAIGE 프로야구 서비스)
NDC 넥슨 · YouTube
AI 핵심 요약
온라인 A/B 테스트는 실제 사용자 데이터가 쌓이기까지 시간이 걸리고 매출 하락 같은 위험도 있어, 발표자는 과거 로그로 새 추천 알고리즘의 성능을 추정하는 오프라인 평가 방법을 소개했다. 기존 정책과 테스트 정책의 추천 확률을 몬테카를로 시뮬레이션으로 구하고, 중요도 샘플링(IS)과 가중치 클리핑·정규화(CIS, NCIS)로 관측 반응을 보정했다. 이를 PAIGE 프로야구 서비스의 홈 피드에 적용해 선호 구단 콘텐츠를 우선 노출하는 정책을 평가했으며, NCIS의 추정치가 실제 온라인 실험에서 관측된 성능 향상과 유사한 수준이었다. 다만 오프라인 결과는 기존 노출 데이터의 편향과 확률적 알고리즘이라는 전제에 영향을 받으므로, 온라인 검증과 함께 해석해야 한다.
- 오프라인 평가에서는 기존 추천 정책의 노출 확률과 새 정책의 노출 확률 비율로 관측 반응을 재가중한다.
- 중요도 샘플링은 작은 기존 노출 확률 때문에 가중치가 과도하게 커질 수 있으므로 가중치 클리핑이나 정규화를 고려한다.
- 확률적 추천 알고리즘은 몬테카를로 시뮬레이션으로 아이템별·순위별 노출 확률을 추정할 수 있다.
- 결정론적 랭킹 모델에는 확률 기반 오프라인 평가를 바로 적용하기 어려워, 확률적 근사나 다른 평가 방법이 필요하다.
소개
● 설문조사: https://forms.gle/a5WW3pifsiAdesjk6 ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 데이터분석 ● 발표자: 엔씨소프트 정예원 ● 권장 대상: 데이터 분석, 머신러닝, AI 관련 직군 ● 키워드: #추천알고리즘 #오프라인AB테스트 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
비슷한 학습 자료
컨퍼런스 NDC
[NDC21-데이터분석] 데이터로 풀어본 게임 유튜버 마케팅
컨퍼런스 NDC
● 설문조사: https://forms.gle/HLGgJEepEcu67bWf8 ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 데이터분석 ● 발표자: 버즈앤비 정용희 ● 권장 대상: 유튜브를 통해 게임을 홍보하고 싶은 모든 개발자와 게임 업계 여러분 ● 키워드: #유튜브 #유튜브게임마케팅 #게임트래픽 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
컨퍼런스 NDC
[NDC21-데이터분석] 게임 내 악성행위분석 및 사설서버 탐지
컨퍼런스 NDC
● 설문조사: https://forms.gle/CkJmkGcETUnxrESc6 ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 데이터분석 ● 발표자: 고려대학교 정보보호대학원 김휘강 ● 권장 대상: 데이터 분석가, 게임보안분야 업무담당자 ● 키워드: #게임이용자 행위 분석(악성 유저 포함) #사설서버탐지 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
보안
컨퍼런스 NDC
● 설문조사: https://forms.gle/chY3gzVsxsW1FDKQA ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 데이터분석 ● 발표자: 엔미디어플랫폼 이한우 ● 권장 대상: 게임운영담당자, 마케팅담당자 ● 키워드: #게임 #연관분석 #PC방 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
컨퍼런스 NDC
● 설문조사: https://forms.gle/wyYgtGi5F4NGzzYeA ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 프로그래밍 ● 발표자: 엔씨소프트 김종원 ● 권장 대상: 프로그래머, QA, PM ● 키워드: #QA #자동테스트 #모바일게임 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
소프트웨어 테스트 게임 개발 기타
컨퍼런스 NDC
[NDC21-데이터분석] 튜토리얼, 다시 보기
컨퍼런스 NDC
● 설문조사: https://forms.gle/gAsEDCe2ZB9JoWXF9 ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 데이터분석 ● 발표자: 넥슨코리아 정소리 ● 권장 대상: 기획자, 개발자, 게이머 ● 키워드: #UX리서치 #목표설정 #게임학습 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
게임 기획
컨퍼런스 NDC
[NDC21-데이터분석] FGT 얼굴 분석 프레임워크 개발 사례
컨퍼런스 NDC
● 설문조사: https://forms.gle/QNQci2bn4x4agCLF8 ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 데이터분석 ● 발표자: 넥슨코리아 권승진 ● 권장 대상: AI 엔지니어 ● 키워드: #딥러닝 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
딥러닝 · 머신러닝 컴퓨터 비전