![[NDC] Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산 처리 자동화 인프라 구축](https://i.ytimg.com/vi/hVamSQogEuk/maxresdefault.jpg)
[NDC] Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산 처리 자동화 인프라 구축
NDC 넥슨 · YouTube
AI 핵심 요약
테라바이트 규모의 게임 데이터를 단일 서버에서 처리하기 어려워지면서, 분석 때마다 클러스터를 직접 띄우고 연결하는 과정이 병목이 됐다. 발표자는 Spark와 S3를 기반으로 분석 환경을 구성하고, Flintrock으로 클러스터 생성과 작업별 확장·축소를 자동화해 필요한 만큼의 자원을 쓰도록 했다. 이어 Airflow로 분석 작업을 DAG로 스케줄링하고 의존 관계, 실행 상태, 로그와 재시도를 관리했다. 작업 규모에 맞춰 클러스터를 탄력적으로 운영하고 분석 파이프라인을 자동화하면 인프라 낭비와 수작업을 줄일 수 있다는 점을 강조했다.
- Spark는 SQL·DataFrame 기반 분석과 분산 처리를 제공하며, S3를 데이터 저장소로 활용할 수 있다.
- Flintrock의 CLI와 클러스터 확장·축소 기능을 이용하면 작업에 맞춰 Spark 클러스터 크기를 조절할 수 있다.
- Airflow에서는 작업을 DAG로 구성해 의존 관계와 실행 상태를 시각화하고, 실패한 작업을 재실행할 수 있다.
- 정기 실행뿐 아니라 실패 알림, 재시도, 로그 확인까지 스케줄링 시스템의 요구사항으로 고려해야 한다.
소개
NDC 2018 [Spark, Flintrock, Airflow 로 구현하는 탄력적이고 유연한 데이터 분산 처리 자동화 인프라 구축] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 박주홍 2. 발표자 소개 : 데브시스터즈에서 데이터 분석 및 인프라 팀장을 맡고 있습니다. 쿠키런 For Kakao 서버를 개발하고 라인 쿠키런의 글로벌 서버 구현을 총괄하였으며, 데이터 분석을 위한 Hadoop 기반의 인프라 구축을 진행했습니다. 카이스트와 서울대에서 데이터 분석 연구를 진행했고 Line Developer Day 에서 글로벌 게임 서버 구축, CHI Conference 에서 게임 데이터 분석 발표를 하였습니다. 이번에는 게임 데이터 분석을 위한 데이터 분산 처리 자동화 인프라 구축에 대해 발표하고자 합니다. 게임을 사랑하고 좋아하며, 데이터를 통해 게임을 보다 더 잘 이해하고 재미있게 만들고 싶습니다. 데이터 분석과 인프라...
비슷한 학습 자료
컨퍼런스 NDC
[NDC] LTV 를 통한 손해보지 않는 마케팅
컨퍼런스 NDC
NDC 2019 [LTV 를 통한 손해보지 않는 마케팅] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 박주홍, 장세진 2. 발표자 소개 : [박주홍] 데브시스터즈에서 데이터 과학 그룹장을 맡고 있습니다. 쿠키런 For Kakao 서버를 개발하고 라인 쿠키런의 글로벌 서버 구현을 총괄하였으며, 데이터 분석을 위한 인프라 구축을 진행했습니다. 카이스트와 서울대에서 데이터 분석 연구를 진행했고 Line Developer Day 에서 글로벌 게임 서버 구축, CHI Conference 에서 게임 데이터 분석 발표를 하였습니다. 게임을 사랑하고 좋아하며, 데이터를 통해 게임을 보다 더 잘 이해하고 재미있게 만들고 싶습니다. 데이터 과학과 게임에 관심 많은 분들과 함께하고 싶습니다. [장세진] 수학과 IT를 좋아해 데이터 분야에 관심을 갖게 되었고, 외국계 리서치 회사에서 데이터 사이언스 분야를 접하게 된 이후 더욱 매력...
인공지능 기타 프로덕트 지표 · 실험
컨퍼런스 NDC
NDC 2018 [억! 소리나는 게임 서비스 플랫폼을 지탱하는 알고리즘 - 해쉬, 확률적 자료구조, 불변데이터] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 전이삭 2. 발표자 소개 : 현재 블리자드 엔터테인먼트 배틀넷 부문 데이터 팀에서 빅데이터 수집/분석 시스템을 개발하고 있습니다. 2001년부터 PC 및 모바일용 패키지 소프트웨어, 게임 클라이언트, 게임 배포 및 서비스 플랫폼, 서버 프레임워크, 소스 코드 정적 분석 툴 등 다양한 프로젝트들에 참여했습니다. 참여한 프로젝트들로는 나모 웹 에디터, 나모 핸드스토리, 한게임 바둑, 월드 오브 워크래프트 게임 런처, 월드 오브 워크래프트 실시간 게임 다운로드 Play on Demand 라이브러리, 배틀넷 데스크톱 앱, 오버워치 게임 클라이언트 등이 있습니다. 작년 NDC2017에서는 '더 좋은 코드를 위한 함수형 프로그래밍 - 모던 C++를 중심으로'라는 제목의 세...
알고리즘 · 자료구조
컨퍼런스 NDC
NDC 2018 [로그 파이프라인 제작기 - 개발/런칭하는 서비스들을 위한 적재하고 조회하고 분석하는 솔루션 조립하기] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 윤주식 2. 발표자 소개 : 넥슨레드의 RF실 부스팅팀 데이터파트에서 로그 시스템 개발을 하고있으며, 현재 라이브 서비스중인 AxE와 포인트블랭크 스트라이크에 도입하여 적재, 조회, 분석 등 다양한 업무를 지원하고 있습니다. 3. 세션 소개 : 운영을 돕고 서비스 분석을 하기 위한 게임 로그, 성능을 모니터하고 개선하기 위한 서버 성능 로그, 개발 과정에서 잡다하게 남겨놓고 필요할 때 찾게되는 디버그 로그 등등.. 게임을 개발하고 서비스 하는 과정에서 발생하는 다양한 로그들을 서버대신 잘 수집하고 모아서 적재하고, 쉽게 찾아보거나 시각화하고, 더 나은 게임을 위해 분석할 수 있는 솔루션을 만들기 위해 했던 고민들을 공유하고자 합니다. 그리고 고민들을 ...
데이터베이스 데브옵스 · 인프라
컨퍼런스 NDC
NDC 2018 [Packer, Terraform, Vault를 이용해 만드는 재현가능한 게임 서버 인프라] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 김민규 2. 발표자 소개 : 쿠키런 for Kakao, Solitaire: Decked Out의 서버 개발을 맡았으며, 현재 데브시스터즈 서버팀에서 주로 게임 서버 인프라 설계, 구축을 맡고 있습니다. AWS 서버 관리용 툴인 Eclair를 개발했고, AWS User Group에서 이에 대해 발표한 적이 있습니다. 3. 세션 소개 : 데브시스터즈는 지금까지 쿠키런, 쿠키런 오븐브레이크, Solitaire: Decked Out,Tape It Up! 등 여러 게임들을 출시해 왔습니다. 앞으로도 많은 게임들을 출시할 예정이고, 각 게임들의 서버 환경은 공통점이 있으면서도 조금씩 다릅니다. 여러 프로젝트를 동시에 진행하는 상황에서 어떻게 하면 서버 개발자들이 반복되는 ...
데브옵스 · 인프라 클라우드
컨퍼런스 NDC
NDC 2018 ['야생의 땅: 듀랑고'의 데이터 엔지니어링 이야기-로그 시스템 구축 경험 공유] 세션 공유드립니다. 상세 내용은 NDC Replay 홈페이지를 참고 부탁드려요. 😊 1. 발표자 성함 : 전효준 2. 발표자 소개 : 현재 왓 스튜디오에서 '야생의 땅: 듀랑고'의 데이터 엔지니어링을 주로 담당하고 있습니다. 데이터에 관심이 많은 주니어 백엔드 엔지니어입니다. 3. 세션 소개 : 본 발표는 게임플레이 시 발생하는 로그를 수집하고 변환, 적재하고 분석기반을 제공하는 로그 시스템에 대한 '야생의 땅: 듀랑고'의 데이터 엔지니어링 이야기입니다. 듀랑고에서는 게임 플레이 시 수집되는 로그를 통해 다양한 지표를 추출하고, 분석하고, 모니터링하며 데이터 중심적 의사결정을 내리고 있습니다. 이를 위해서는 다양한 형태로 존재하는 대용량의 로그를 수집하고, 잘 활용할 수 있도록 정제하고, 분석할 수 있는 기반을 만드는 것도 중요한 요소로 자리 잡고 있습니다. 그에 따라 높은...
데이터베이스 데브옵스 · 인프라 프로덕트 지표 · 실험