![[NDC22-프로그래밍] 테라바이트 규모의 변화무쌍한 데이터 정제 플랫폼](https://i.ytimg.com/vi/TzjGggQK_Ls/maxresdefault.jpg)
[NDC22-프로그래밍] 테라바이트 규모의 변화무쌍한 데이터 정제 플랫폼
NDC 넥슨 · YouTube
AI 핵심 요약
게임마다 로그 구조와 기록 기준이 달라 공통 분석 쿼리를 적용하기 어려웠고, 게임 팀에 로그 변경 부담을 주지 않으면서 데이터를 표준화해야 했습니다. 넥슨은 JSON Schema를 참고한 스키마와 Java 기반 스크립트 실행을 활용해 타입 검증·변환, 데이터 복사, 이벤트 파생을 수행하는 정제 플랫폼을 만들었습니다. S3에 저장된 로그를 컨트롤러와 정규화 서비스가 처리하고 Parquet으로 출력해, 게임별 로그를 일관된 형태로 제공하고 분석 쿼리를 여러 게임에 재사용할 수 있게 했습니다. 발표에서는 데이터 형태의 불안정성을 줄이고 조회 효율을 높인 한편, 이벤트 병합은 아직 남은 과제라고 설명했습니다.
- 스키마를 먼저 정의하고 검증해 데이터 형태의 오류가 파이프라인 전체로 퍼지는 것을 막으세요.
- 타입 변환은 데이터 손실 여부를 기준으로 허용 범위를 정하고, 되돌릴 때 손실이 생기는 변환은 제한하세요.
- 스크립트 기반 변환을 두면 게임별 규칙을 동적으로 추가할 수 있지만, 실행 성능과 운영 편의성도 함께 고려해야 합니다.
- 분산 처리 솔루션을 도입하기 전에 실제 데이터와 작업 부하로 성능을 벤치마킹하세요.
소개
● 설문조사: https://ko.surveymonkey.com/r/SVJG3ZJ ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 프로그래밍 ● 발표자: 넥슨코리아 이재면 / Nexon Korea Jaemyoun Lee ● 권장 대상: 데이터 엔지니어, 시스템 엔지니어, 백엔드 엔지니어 ● 키워드: #빅데이터 #데이터_정제 #로그_시스템
비슷한 학습 자료
컨퍼런스 NDC
● 설문조사: https://ko.surveymonkey.com/r/SVLS98Z ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 프로덕션&운영 ● 발표자: 넥슨네트웍스 유영하 / Nexon Networks Youngha You ● 권장 대상: 라이브 서비스 관련 담당자 ● 키워드: #라이브_운영 #고객_변화 #데이터_활용 ________________________________________ ▼시청 시 아래 참고해 주세요 😊 ▼ 13:48 리프팅 ▶ 리포팅 ________________________________________
프로덕트 지표 · 실험
컨퍼런스 NDC
● 설문조사: https://forms.gle/chY3gzVsxsW1FDKQA ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 데이터분석 ● 발표자: 엔미디어플랫폼 이한우 ● 권장 대상: 게임운영담당자, 마케팅담당자 ● 키워드: #게임 #연관분석 #PC방 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.
컨퍼런스 NDC
[NDC] 마이크로 토크
컨퍼런스 NDC
NDC 2018 [마이크로 토크] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 강한별, 편호장, 이정수 2. 발표자 소개 : [강한별] 현재 넥슨코리아 데이터 분석팀에서 일하고 있으며, 그 전에는 데이터로 트렌드를 예측하는 일, 데이터 분석을 통해 서비스 개선하거나 지표를 모니터링 하였다. 데이터가 품고 있는 함의를 해석하는 것을 좋아하며 최근에는 데이터로 탐구한 결과가 실제로 반영되게 하려면 어떻게 해야하는지에 대해 많이 고민하고 있다. [편호장] 현재 넥슨코리아 UX분석팀에서 근무하고 있고, 게임 및 플랫폼의 UX리서치를 담당하고 있다. 넥슨캐시충전창 개편 프로젝트에서 사용자 분석 역할, FO4 출시 전 테스트 분석 역할로 참여했고, 출시전 혹은 라이브 게임에 관련된 다양한 사용자 경험을 분석하고 있다. 과거 전시 디자인을 위한 뉴미디어 설계와 UX리서치 업무를 담당한 경험이 있다. [이정수] 왓 스튜디오...
UI/UX 프로덕트 지표 · 실험
컨퍼런스 NDC
NDC 2018 [억! 소리나는 게임 서비스 플랫폼을 지탱하는 알고리즘 - 해쉬, 확률적 자료구조, 불변데이터] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 전이삭 2. 발표자 소개 : 현재 블리자드 엔터테인먼트 배틀넷 부문 데이터 팀에서 빅데이터 수집/분석 시스템을 개발하고 있습니다. 2001년부터 PC 및 모바일용 패키지 소프트웨어, 게임 클라이언트, 게임 배포 및 서비스 플랫폼, 서버 프레임워크, 소스 코드 정적 분석 툴 등 다양한 프로젝트들에 참여했습니다. 참여한 프로젝트들로는 나모 웹 에디터, 나모 핸드스토리, 한게임 바둑, 월드 오브 워크래프트 게임 런처, 월드 오브 워크래프트 실시간 게임 다운로드 Play on Demand 라이브러리, 배틀넷 데스크톱 앱, 오버워치 게임 클라이언트 등이 있습니다. 작년 NDC2017에서는 '더 좋은 코드를 위한 함수형 프로그래밍 - 모던 C++를 중심으로'라는 제목의 세...
알고리즘 · 자료구조
컨퍼런스 NDC
NDC 2018 [개발자와 DBA가 힘을 모아 SQL Server 운영 능력 향상시키기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 하만철 2. 발표자 소개 : 현재 넥슨 IT본부의 게임DB팀 팀장을 맡고 있으며 넥슨에서 출시하는 대부분의 PC게임 DB들을 운영하고 있습니다. SQL Server를 가장 좋아하지만 넥슨에서 워낙 다양한 DBMS를 사용하다 보니 지금은 SQL Server가 아닌 DBMS와 클라우드 환경에 대해 열심히 공부하는 중입니다. 대학교 졸업하고 넥슨에 들어온 것을 시작으로 네이버에서는 카페, 블로그, 게임 서비스를, 한국마이크로소프트에서는 SQL Server 기술지원 엔지니어를 거쳐 다시 넥슨으로 돌아왔습니다. 3. 세션 소개 : 게임DB로써 SQL Server를 운영하다보면 “개발자와 이런 부분에 대해 변경할 수 있다면 서비스 런칭 후 좀 더 안정적인 서비스를 할 수 있을텐데”라는 생각을...
데이터베이스
컨퍼런스 NDC
NDC 2018 [Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산 처리 자동화 인프라 구축] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 박주홍 2. 발표자 소개 : 데브시스터즈에서 데이터 분석 및 인프라 팀장을 맡고 있습니다. 쿠키런 For Kakao 서버를 개발하고 라인 쿠키런의 글로벌 서버 구현을 총괄하였으며, 데이터 분석을 위한 Hadoop 기반의 인프라 구축을 진행했습니다. 카이스트와 서울대에서 데이터 분석 연구를 진행했고 Line Developer Day 에서 글로벌 게임 서버 구축, CHI Conference 에서 게임 데이터 분석 발표를 하였습니다. 이번에는 게임 데이터 분석을 위한 데이터 분산 처리 자동화 인프라 구축에 대해 발표하고자 합니다. 게임을 사랑하고 좋아하며, 데이터를 통해 게임을 보다 더 잘 이해하고 재미있게 만들고 싶습니다. 데이터 분석과 인프라...
데이터베이스 데브옵스 · 인프라