![[NDC] 억! 소리나는 게임 서비스 플랫폼을 지탱하는 알고리즘 - 해쉬, 확률적 자료구조, 불변데이터](https://i.ytimg.com/vi/yoVmf-9fW1c/maxresdefault.jpg)
[NDC] 억! 소리나는 게임 서비스 플랫폼을 지탱하는 알고리즘 - 해쉬, 확률적 자료구조, 불변데이터
NDC 넥슨 · YouTube
AI 핵심 요약
대규모 게임 서비스 플랫폼에서 데이터 저장과 집계, 추천을 효율적으로 처리하기 위해 해시와 불변 데이터, 확률적 자료구조를 사례 중심으로 소개했습니다. 카산드라의 SSTable에서 블룸 필터로 불필요한 디스크 조회를 줄이는 방식과, 하이퍼로그로그로 메모리를 적게 쓰면서 고유 사용자 수를 근사하는 방법을 설명했습니다. 또 모노이드 연산의 분산 처리 특성과 MinHash·LSH를 활용한 유사 집합 탐색을 다뤘습니다. 정확한 결과만 고집하기보다 허용 오차와 연산 특성에 맞는 알고리즘을 선택하면, 단순히 하드웨어를 늘리는 것과 다른 방식으로 대규모 문제를 풀 수 있다는 점을 강조했습니다.
- 블룸 필터는 ‘없다’는 응답은 확실하지만 ‘있다’는 응답에는 오탐이 있을 수 있으므로 원본 저장소에서 재확인해야 합니다.
- 블룸 필터의 해시 함수 수와 비트 배열 크기를 조정하면 메모리 사용량과 오탐률 사이의 균형을 맞출 수 있습니다.
- 하이퍼로그로그는 해시값의 비트 패턴을 이용해 고유 원소 수를 근사하므로, 정확한 집계 대신 허용 가능한 오차를 정하는 것이 중요합니다.
- 연산이 결합·교환 법칙을 만족하는지 살피면 분산 환경에서 작업 순서와 노드 배치를 유연하게 설계할 수 있습니다.
- LSH는 유사한 입력이 같은 버킷에 모이도록 해시 충돌을 활용하며, 모든 항목 쌍을 직접 비교하는 비용을 줄입니다.
소개
NDC 2018 [억! 소리나는 게임 서비스 플랫폼을 지탱하는 알고리즘 - 해쉬, 확률적 자료구조, 불변데이터] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 전이삭 2. 발표자 소개 : 현재 블리자드 엔터테인먼트 배틀넷 부문 데이터 팀에서 빅데이터 수집/분석 시스템을 개발하고 있습니다. 2001년부터 PC 및 모바일용 패키지 소프트웨어, 게임 클라이언트, 게임 배포 및 서비스 플랫폼, 서버 프레임워크, 소스 코드 정적 분석 툴 등 다양한 프로젝트들에 참여했습니다. 참여한 프로젝트들로는 나모 웹 에디터, 나모 핸드스토리, 한게임 바둑, 월드 오브 워크래프트 게임 런처, 월드 오브 워크래프트 실시간 게임 다운로드 Play on Demand 라이브러리, 배틀넷 데스크톱 앱, 오버워치 게임 클라이언트 등이 있습니다. 작년 NDC2017에서는 '더 좋은 코드를 위한 함수형 프로그래밍 - 모던 C++를 중심으로'라는 제목의 세...
비슷한 학습 자료
컨퍼런스 NDC
NDC 2019 [블리자드 모든 팀을 위한 플랫폼 중립적인 공용 라이브러리 만들기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 전이삭 2. 발표자 소개 : 현재 블리자드 엔터테인먼트 베틀넷 부문 데이터 팀에서 빅데이터 시스템을 개발하고 있습니다. 2001년 부터 개발 일을 시작해서 주로 C++를 이용한 패키지 소프트웨어 개발, 온라인 게임, 게임 플랫폼 개발 업무를 해왔습니다. 주요 프로젝트로는 나모 웹 에디터, 나모 핸드스토리, 한게임 바둑, 월드 오브 워크래프트 게임 런처, 베틀넷 데스크탑 앱, 오버워치 게임 클라이언트 등이 있습니다. NDC 2017에서 '더 좋은 코드를 위한 함수형 프로그래밍', NDC 2018에서 '게임 서비스 플랫폼을 지탱하는 알고리즘' 세션을 발표했습니다. 3. 세션 소개 : 최근 3년간 블리자드 모든 게임 팀에 적용해온 윈도우즈, 맥오에스, 리눅스, 콘솔, 모바일 등 모든 게임 플랫...
프로그래밍 언어
컨퍼런스 NDC
[NDC] 회귀 모델 기반의 게임 재화 이상 증감 탐지 툴 개발
컨퍼런스 NDC
NDC 2018 [회귀 모델 기반의 게임 재화 이상 증감 탐지 툴 개발] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 엄혜민 2. 발표자 소개 : 현재 엔씨소프트에서 데이터 분석 업무를 수행하고 있습니다. 유저들의 게임내 행동 분석을 통해 의미있는 정보를 추출하고, 잘 전달하고자 노력하고 있습니다. 3. 세션 소개 : 운영자가 쉽게 파악하기 힘든 버그로 인한 게임 재화 이상 증감 현상을 회귀 분석 기법을 이용하여 조기에 자동으로 감지하는 기술에 대해서 다루어 보려 합니다. 이상탐지 기법을 이용한 게임 품질 관리에 관심이 있으신 분들에게 조금이나마 도움이 되실 수 있을 것으로 생각합니다. 감사합니다. 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되...
딥러닝 · 머신러닝 프로덕트 지표 · 실험
컨퍼런스 NDC
NDC 2018 [Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산 처리 자동화 인프라 구축] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 박주홍 2. 발표자 소개 : 데브시스터즈에서 데이터 분석 및 인프라 팀장을 맡고 있습니다. 쿠키런 For Kakao 서버를 개발하고 라인 쿠키런의 글로벌 서버 구현을 총괄하였으며, 데이터 분석을 위한 Hadoop 기반의 인프라 구축을 진행했습니다. 카이스트와 서울대에서 데이터 분석 연구를 진행했고 Line Developer Day 에서 글로벌 게임 서버 구축, CHI Conference 에서 게임 데이터 분석 발표를 하였습니다. 이번에는 게임 데이터 분석을 위한 데이터 분산 처리 자동화 인프라 구축에 대해 발표하고자 합니다. 게임을 사랑하고 좋아하며, 데이터를 통해 게임을 보다 더 잘 이해하고 재미있게 만들고 싶습니다. 데이터 분석과 인프라...
데이터베이스 데브옵스 · 인프라
컨퍼런스 NDC
NDC 2018 ['야생의 땅: 듀랑고'의 데이터 엔지니어링 이야기-로그 시스템 구축 경험 공유] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 전효준 2. 발표자 소개 : 현재 왓 스튜디오에서 '야생의 땅: 듀랑고'의 데이터 엔지니어링을 주로 담당하고 있습니다. 데이터에 관심이 많은 주니어 백엔드 엔지니어입니다. 3. 세션 소개 : 본 발표는 게임플레이 시 발생하는 로그를 수집하고 변환, 적재하고 분석기반을 제공하는 로그 시스템에 대한 '야생의 땅: 듀랑고'의 데이터 엔지니어링 이야기입니다. 듀랑고에서는 게임 플레이 시 수집되는 로그를 통해 다양한 지표를 추출하고, 분석하고, 모니터링하며 데이터 중심적 의사결정을 내리고 있습니다. 이를 위해서는 다양한 형태로 존재하는 대용량의 로그를 수집하고, 잘 활용할 수 있도록 정제하고, 분석할 수 있는 기반을 만드는 것도 중요한 요소로 자리 잡고 있습니다. 그에 따라 높은...
데이터베이스 데브옵스 · 인프라 프로덕트 지표 · 실험
컨퍼런스 NDC
[NDC] 즐거움을 향한 항해 - 넥슨이 바라보는 데이터와 AI
컨퍼런스 NDC
NDC 2018 [즐거움을 향한 항해 - 넥슨이 바라보는 데이터와 AI ] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 강대현 2. 발표자 소개 : 2004년 넥슨코리아 입사, 크레이지아케이드 디렉터, 메이플스토리 디렉터 및 던전앤파이터 디렉터를 거쳐 2014년부터 넥슨코리아 라이브개발본부장을 역임했으며, 현재 넥슨코리아 부사장(인텔리전스랩스 총괄 겸임)으로 재직하고 있다. 인텔리전스랩스는 게임의 편의성 증대와 유저 만족도를 높이고자 라이브게임 서비스를 통해 얻어지는 경험과 노하우를 체계화하고 이식 가능한 형태로 축적, 전환하여 라이브게임 및 신규 개발에 접목하는 역할을 하고 있다. 2007년부터 2010년까지 매년 NDC에서 발표를 해왔으며, 초기 NDC 사무국 활동에 참여하여 ‘자발적 지식 공유의 장’으로 성장하는데 힘을 함께했다. 3. 세션 소개 : 오랜 기간 게임개발을 하며 생각해본 게임이 주는 즐거움이란 ...
인공지능 기타