![[NDC] 로그 파이프라인 제작기 - 개발/런칭하는 서비스들을 위한 적재하고 조회하고 분석하는 솔루션 조립하기](https://i.ytimg.com/vi/zhoGG3kqALs/maxresdefault.jpg)
[NDC] 로그 파이프라인 제작기 - 개발/런칭하는 서비스들을 위한 적재하고 조회하고 분석하는 솔루션 조립하기
NDC 넥슨 · YouTube
AI 핵심 요약
게임 개발팀이 로그 수집과 분석을 직접 구현하면 콘텐츠 개발에 쓸 시간이 줄고, 퍼블리셔의 분석 지원만으로는 빠른 조회와 간단한 통계 요구에 대응하기 어려웠다. 이를 해결하기 위해 Kafka로 로그를 수집하고 PostgreSQL과 S3의 Parquet 파일에 보관했으며, Spark·Hive·Superset으로 분석과 조회를 지원하는 로그 파이프라인을 구성했다. Apache Airflow로 분석·백업 작업을 스케줄링하고 SaltStack으로 게임별 설정과 배포를 관리해, AxE와 포인트 블랭크 스트라이크에 적용했다. 로그 형식과 적재 구조가 분석 가능성을 좌우하며, 시스템을 만든 뒤에도 저장소 관리와 운영 자동화를 계속 개선해야 한다는 점을 공유했다.
- 로그를 남길 때부터 조회·분석에 필요한 필드와 형식을 고려해야 이후 활용이 수월하다.
- 조회 빈도와 보존 기간에 따라 저장소를 나누면 비용과 응답 성능을 함께 조정할 수 있다.
- Kafka와 Spark 같은 오픈소스를 조합할 때는 각 도구의 운영 부담과 데이터 흐름도 함께 설계해야 한다.
- 게임별 설정과 공통 구성을 분리하고 배포·모니터링을 자동화하면 여러 서비스에 같은 파이프라인을 적용하기 쉽다.
소개
NDC 2018 [로그 파이프라인 제작기 - 개발/런칭하는 서비스들을 위한 적재하고 조회하고 분석하는 솔루션 조립하기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 윤주식 2. 발표자 소개 : 넥슨레드의 RF실 부스팅팀 데이터파트에서 로그 시스템 개발을 하고있으며, 현재 라이브 서비스중인 AxE와 포인트블랭크 스트라이크에 도입하여 적재, 조회, 분석 등 다양한 업무를 지원하고 있습니다. 3. 세션 소개 : 운영을 돕고 서비스 분석을 하기 위한 게임 로그, 성능을 모니터하고 개선하기 위한 서버 성능 로그, 개발 과정에서 잡다하게 남겨놓고 필요할 때 찾게되는 디버그 로그 등등.. 게임을 개발하고 서비스 하는 과정에서 발생하는 다양한 로그들을 서버대신 잘 수집하고 모아서 적재하고, 쉽게 찾아보거나 시각화하고, 더 나은 게임을 위해 분석할 수 있는 솔루션을 만들기 위해 했던 고민들을 공유하고자 합니다. 그리고 고민들을 ...
비슷한 학습 자료
컨퍼런스 NDC
[NDC] 게임플레이 프로그래머의 역할
컨퍼런스 NDC
NDC 2019 [게임플레이 프로그래머의 역할] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 최호영 2. 발표자 소개 : 현재 넥슨 코리아 왓스튜디오의 듀랑고실 소속으로 [듀랑고] 프로젝트 초기부터 게임플레이 프로그래머로 약 7년간 함께 하였습니다. 이전에는 3년간 [루니아 전기] 게임플레이 프로그래머로 일하였습니다. 3. 세션 소개 : 게임플레이 프로그래머로 일하면서 경험한 내용을 바탕으로 역할을 정리하고 어떻게 하면 좋은 개발자가 될 수 있는지에 대한 방법론을 제시하고자 합니다. 좋은 개발자로 가는 여러가지 길 중 하나를 제안하여 다양한 토론을 이끌어내는 계기가 되었으면 합니다. 감사합니다. 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권...
게임 프로그래밍
컨퍼런스 NDC
NDC 2018 [억! 소리나는 게임 서비스 플랫폼을 지탱하는 알고리즘 - 해쉬, 확률적 자료구조, 불변데이터] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 전이삭 2. 발표자 소개 : 현재 블리자드 엔터테인먼트 배틀넷 부문 데이터 팀에서 빅데이터 수집/분석 시스템을 개발하고 있습니다. 2001년부터 PC 및 모바일용 패키지 소프트웨어, 게임 클라이언트, 게임 배포 및 서비스 플랫폼, 서버 프레임워크, 소스 코드 정적 분석 툴 등 다양한 프로젝트들에 참여했습니다. 참여한 프로젝트들로는 나모 웹 에디터, 나모 핸드스토리, 한게임 바둑, 월드 오브 워크래프트 게임 런처, 월드 오브 워크래프트 실시간 게임 다운로드 Play on Demand 라이브러리, 배틀넷 데스크톱 앱, 오버워치 게임 클라이언트 등이 있습니다. 작년 NDC2017에서는 '더 좋은 코드를 위한 함수형 프로그래밍 - 모던 C++를 중심으로'라는 제목의 세...
알고리즘 · 자료구조
컨퍼런스 NDC
NDC 2018 [Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산 처리 자동화 인프라 구축] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 박주홍 2. 발표자 소개 : 데브시스터즈에서 데이터 분석 및 인프라 팀장을 맡고 있습니다. 쿠키런 For Kakao 서버를 개발하고 라인 쿠키런의 글로벌 서버 구현을 총괄하였으며, 데이터 분석을 위한 Hadoop 기반의 인프라 구축을 진행했습니다. 카이스트와 서울대에서 데이터 분석 연구를 진행했고 Line Developer Day 에서 글로벌 게임 서버 구축, CHI Conference 에서 게임 데이터 분석 발표를 하였습니다. 이번에는 게임 데이터 분석을 위한 데이터 분산 처리 자동화 인프라 구축에 대해 발표하고자 합니다. 게임을 사랑하고 좋아하며, 데이터를 통해 게임을 보다 더 잘 이해하고 재미있게 만들고 싶습니다. 데이터 분석과 인프라...
데이터베이스 데브옵스 · 인프라
컨퍼런스 NDC
NDC 2018 ['야생의 땅: 듀랑고'의 데이터 엔지니어링 이야기-로그 시스템 구축 경험 공유] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 전효준 2. 발표자 소개 : 현재 왓 스튜디오에서 '야생의 땅: 듀랑고'의 데이터 엔지니어링을 주로 담당하고 있습니다. 데이터에 관심이 많은 주니어 백엔드 엔지니어입니다. 3. 세션 소개 : 본 발표는 게임플레이 시 발생하는 로그를 수집하고 변환, 적재하고 분석기반을 제공하는 로그 시스템에 대한 '야생의 땅: 듀랑고'의 데이터 엔지니어링 이야기입니다. 듀랑고에서는 게임 플레이 시 수집되는 로그를 통해 다양한 지표를 추출하고, 분석하고, 모니터링하며 데이터 중심적 의사결정을 내리고 있습니다. 이를 위해서는 다양한 형태로 존재하는 대용량의 로그를 수집하고, 잘 활용할 수 있도록 정제하고, 분석할 수 있는 기반을 만드는 것도 중요한 요소로 자리 잡고 있습니다. 그에 따라 높은...
데이터베이스 데브옵스 · 인프라 프로덕트 지표 · 실험
컨퍼런스 NDC
NDC 2018 [소잡는 칼 - Kafka를 이용한 비동기 메시지 시스템 구현 및 활용] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 지두현 2. 발표자 소개 : 라이엇게임즈 코리아에서 계정 및 보안 관련 개발을 담당하고 있습니다. 사용자 중심의 개발과 이를 뒷받침하기 위한 개발과 문화에 대한 공부를 하고 있고, 배운 것들을 실제 현장에 적용하기 위해 노력하고 있습니다. 2016년, 2017년 상반기 진행했던 프로젝트 경험을 토대로 개발의 주류가 되고 있는 마이크로서비스 아키텍쳐와 이를 반영하기 위한 팀의 노력에 대한 경험을 공유하고자 합니다. 특히 단순히 작은 서비스들의 연계가 아닌 Asynchronous한 메시지 중심의 아키텍쳐를 통해, 시스템 및 서비스의 확장성을 담보하기 위한 수단으로 한 예가 될 수 있을 것 같습니다. 3. 세션 소개 : 마이크로서비스 아키텍쳐가 최근 개발의 대세로 자리잡았습니다. 작은 ...
백엔드 데이터베이스 네트워크 로드맵 1개에 담김
컨퍼런스 NDC
[NDC] 밸런스 기획이란 무엇인가
컨퍼런스 NDC
NDC 2018 [밸런스 기획이란 무엇인가] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 김미림 2. 발표자 소개 : 2010년 1월 부터 2015년 5월까지 KOG에서 2015년 6월 부터 2017년 6월까지 넷마블 몬스터에서 현재는 넷게임즈의 신작 프로젝트에서 밸런스 업무를 하고 있습니다. 3. 세션 소개 : 밸런스 기획을 전문적으로 다뤄본 적이 없는 분들을 위한 발표입니다. 밸런스 기획이란 어떤 일이며, 어떻게 해야하는 지를 간략히 가이드해드립니다. 감사합니다. 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
게임 기획