![[NDC] '야생의 땅: 듀랑고'의 데이터 엔지니어링 이야기-로그 시스템 구축 경험 공유](https://i.ytimg.com/vi/lNV5bn_rPrw/maxresdefault.jpg)
[NDC] '야생의 땅: 듀랑고'의 데이터 엔지니어링 이야기-로그 시스템 구축 경험 공유
NDC 넥슨 · YouTube
AI 핵심 요약
듀랑고는 게임 운영과 지표 분석, 장애 대응에 필요한 대용량 게임 플레이 로그와 시스템 로그를 한곳에 모으기 위해 AWS 기반 로그 시스템을 구축했다. Fluentd에서 로그를 수집해 Kinesis Data Streams와 Lambda를 거쳐 S3에 저장하고, 최근 로그는 Elasticsearch로 검색하며 대규모 분석에는 Apache Spark와 Zeppelin을 활용했다. 유연한 JSON 로그를 Parquet으로 변환하고 파티셔닝과 컬럼 프로젝션을 적용해 분석 효율을 높였으며, 스키마는 하위 호환성을 위해 컬럼 추가 중심으로 관리했다. 운영 경험을 통해 분석 대중화와 복잡한 시각화, 스키마 변경 및 문서화가 남은 과제로 드러났으며, 처음부터 완벽한 시스템을 만들기보다 요구에 맞춰 지속적으로 개선하는 것이 중요하다고 설명했다.
- 로그 수집과 분석을 분리하면 실시간 검색과 대규모 배치 분석을 각 목적에 맞게 운영할 수 있다.
- Kinesis Data Streams의 샤드 수는 처리량뿐 아니라 Lambda의 동시 처리 능력에도 영향을 준다.
- JSON 로그를 Parquet으로 변환하고 컬럼 프로젝션·파티셔닝을 적용하면 분석 시 불필요한 데이터 읽기를 줄일 수 있다.
- 스키마 변경은 기존 데이터 재처리 비용을 고려해 하위 호환성을 유지하고, 컬럼 추가 중심으로 관리한다.
- 로그 스키마가 커질수록 코드만으로 의미를 파악하기 어려우므로 스키마 문서화가 필요하다.
소개
NDC 2018 ['야생의 땅: 듀랑고'의 데이터 엔지니어링 이야기-로그 시스템 구축 경험 공유] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 전효준 2. 발표자 소개 : 현재 왓 스튜디오에서 '야생의 땅: 듀랑고'의 데이터 엔지니어링을 주로 담당하고 있습니다. 데이터에 관심이 많은 주니어 백엔드 엔지니어입니다. 3. 세션 소개 : 본 발표는 게임플레이 시 발생하는 로그를 수집하고 변환, 적재하고 분석기반을 제공하는 로그 시스템에 대한 '야생의 땅: 듀랑고'의 데이터 엔지니어링 이야기입니다. 듀랑고에서는 게임 플레이 시 수집되는 로그를 통해 다양한 지표를 추출하고, 분석하고, 모니터링하며 데이터 중심적 의사결정을 내리고 있습니다. 이를 위해서는 다양한 형태로 존재하는 대용량의 로그를 수집하고, 잘 활용할 수 있도록 정제하고, 분석할 수 있는 기반을 만드는 것도 중요한 요소로 자리 잡고 있습니다. 그에 따라 높은...
비슷한 학습 자료
컨퍼런스 NDC
NDC 2019 [〈야생의 땅: 듀랑고〉 조직 문화와 라이브 개발 프로세스 - 자유와 관리, 두 마리 토끼 잡기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 안미루 2. 발표자 소개 : 프로젝트 매니저로 6년간 일하면서 〈야생의 땅: 듀랑고〉를 개발하여 출시하고 라이브 서비스를 진행하고 있습니다. 그 전에는 게임 디자이너로서 〈카트라이더 러쉬〉, 〈카트라이더 대쉬〉 등을 개발하여 출시하고 서비스 했습니다. NDC에는 2015, 2014, 2012년에 참여하여 조직 문화 등의 주제로 발표 했습니다. 3. 세션 소개 : 다른 게임들도 그렇듯이 〈야생의 땅: 듀랑고〉도 다수의 다양한 직군 사람들이 협력하여 만들고 있는 게임입니다. 다만 다른 곳에 비해 1) 모두가 자신의 모든 작업 내용과 의견을 열심히 기록으로 남긴다. 2) 기록들에 기반해 모두가 게임에 관한 모든 정보를 실시간으로 알 수 있다. 3) 모두가 모든 ...
프로덕트 매니지먼트 애자일 · 협업
컨퍼런스 NDC
NDC 2018 [창발과 통제 그 중간 어딘가, '야생의 땅: 듀랑고' 콘텐츠 디자인 변천사] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 양회진 2. 발표자 소개 : 저는 현재 왓스튜디오 게임디자이너로 일하고 있는 양회진이라고 합니다. 5년차 게임디자이너이며, 왓스튜디오에는 2년전에 합류했습니다. 현재는 듀랑고 컨텐츠 디자인을 담당하고 있습니다. 3. 세션 소개 : 듀랑고 세계는 자유도와 창발성이 넘치는 곳입니다. 그러나 재미를 위해 규칙없이 발산만 한다면 디자이너의 의도와 다른 결과가 나오게 될 것입니다. 결국 컨텐츠 자율성과 컨텐츠 통제 사이에서 고민하게 됩니다. 발표는 듀랑고 컨텐츠 개발 사례들을 소개하면서, 어떤 문제가 발견되었고 어떻게 해결했는지 또 그 결과에 대해 공유하려고 합니다. 감사합니다. 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물...
게임 기획
컨퍼런스 NDC
NDC 2018 [낯선 게임인데 익숙해야 하고, 알려줄 게 많은데 재미있어야 한다고요? - '야생의 땅: 듀랑고' 초반 플레이 변천사] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 강임성 2. 발표자 소개 : 왓 스튜디오의 '야생의 땅: 듀랑고' 프로젝트에서 게임 디자인을 하고 있습니다. 이전에는 장애아동을 위한 아이패드용 인지치료 프로그램, 페이스북 소셜 게임, 그리고 모바일 도시 경영 시뮬레이션 게임 개발에 참여했습니다. NDC에서는 그동안 2014년 '48시간 만에 게임 만들기: 게임잼 '수줍은 메두사' 포스트모템과 게임 개발의 왕도', 2015년 '한 그루 한 그루 심지 않아도 돼요. 생태학에 기반한 '야생의 땅: 듀랑고'의 절차적 생성 생태계', 2016년 '차트와 그래프로 덕질하기', 2017년 '게임 디자이너 커리어 포스트모템'을 발표했습니다. 3. 세션 소개 : 게임의 도입부는 게임의 첫인상이자 플...
게임 기획
컨퍼런스 NDC
NDC 2018 [억! 소리나는 게임 서비스 플랫폼을 지탱하는 알고리즘 - 해쉬, 확률적 자료구조, 불변데이터] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 전이삭 2. 발표자 소개 : 현재 블리자드 엔터테인먼트 배틀넷 부문 데이터 팀에서 빅데이터 수집/분석 시스템을 개발하고 있습니다. 2001년부터 PC 및 모바일용 패키지 소프트웨어, 게임 클라이언트, 게임 배포 및 서비스 플랫폼, 서버 프레임워크, 소스 코드 정적 분석 툴 등 다양한 프로젝트들에 참여했습니다. 참여한 프로젝트들로는 나모 웹 에디터, 나모 핸드스토리, 한게임 바둑, 월드 오브 워크래프트 게임 런처, 월드 오브 워크래프트 실시간 게임 다운로드 Play on Demand 라이브러리, 배틀넷 데스크톱 앱, 오버워치 게임 클라이언트 등이 있습니다. 작년 NDC2017에서는 '더 좋은 코드를 위한 함수형 프로그래밍 - 모던 C++를 중심으로'라는 제목의 세...
알고리즘 · 자료구조
컨퍼런스 NDC
NDC 2018 [로그 파이프라인 제작기 - 개발/런칭하는 서비스들을 위한 적재하고 조회하고 분석하는 솔루션 조립하기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 윤주식 2. 발표자 소개 : 넥슨레드의 RF실 부스팅팀 데이터파트에서 로그 시스템 개발을 하고있으며, 현재 라이브 서비스중인 AxE와 포인트블랭크 스트라이크에 도입하여 적재, 조회, 분석 등 다양한 업무를 지원하고 있습니다. 3. 세션 소개 : 운영을 돕고 서비스 분석을 하기 위한 게임 로그, 성능을 모니터하고 개선하기 위한 서버 성능 로그, 개발 과정에서 잡다하게 남겨놓고 필요할 때 찾게되는 디버그 로그 등등.. 게임을 개발하고 서비스 하는 과정에서 발생하는 다양한 로그들을 서버대신 잘 수집하고 모아서 적재하고, 쉽게 찾아보거나 시각화하고, 더 나은 게임을 위해 분석할 수 있는 솔루션을 만들기 위해 했던 고민들을 공유하고자 합니다. 그리고 고민들을 ...
데이터베이스 데브옵스 · 인프라
컨퍼런스 NDC
NDC 2018 [Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산 처리 자동화 인프라 구축] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 박주홍 2. 발표자 소개 : 데브시스터즈에서 데이터 분석 및 인프라 팀장을 맡고 있습니다. 쿠키런 For Kakao 서버를 개발하고 라인 쿠키런의 글로벌 서버 구현을 총괄하였으며, 데이터 분석을 위한 Hadoop 기반의 인프라 구축을 진행했습니다. 카이스트와 서울대에서 데이터 분석 연구를 진행했고 Line Developer Day 에서 글로벌 게임 서버 구축, CHI Conference 에서 게임 데이터 분석 발표를 하였습니다. 이번에는 게임 데이터 분석을 위한 데이터 분산 처리 자동화 인프라 구축에 대해 발표하고자 합니다. 게임을 사랑하고 좋아하며, 데이터를 통해 게임을 보다 더 잘 이해하고 재미있게 만들고 싶습니다. 데이터 분석과 인프라...
데이터베이스 데브옵스 · 인프라