[NDC25-데이터분석] 실시간 데이터 레이크하우스 적재 도전기 (Feat. 모노레이크)

컨퍼런스

[NDC25-데이터분석] 실시간 데이터 레이크하우스 적재 도전기 (Feat. 모노레이크)

NDC 넥슨 · YouTube

AI 핵심 요약

넥슨은 대규모 게임 데이터를 낮은 지연으로 분석하기 위해 Snowflake 기반 모노레이크에 적재하는 파이프라인을 구축했지만, ETL 운영과 장애 대응 범위가 넓어지는 문제를 확인했다. Snowpipe Streaming을 컨테이너 환경에서 수평 확장해 적재 성능을 높였고, Iceberg 테이블에 직접 쓰는 방식도 검증해 기존 테이블과 비슷한 쓰기·조회 성능을 확인했다. Iceberg를 도입하면 ETL 단계를 줄이고 여러 쿼리 엔진에서 데이터를 활용할 수 있지만, 카탈로그 호환성 및 스키마 관리, 버퍼링과 메타데이터 운영을 고려해야 한다. 레이크하우스 전환은 운영 부담을 줄이고 데이터 활용성을 높일 수 있지만, 실제 파이프라인의 요구사항과 엔진 간 호환성을 기준으로 설계해야 한다.

오브젝트 스토리지의 접근 로그를 분석하면 데이터 조회 패턴에 맞춰 저비용 스토리지로 옮길 대상을 판단할 수 있다.
대량 스트리밍 적재는 채널 수만 늘리기보다 컨테이너 기반으로 작업을 수평 확장하는 방식을 검토한다.
Iceberg를 직접 쓰는 파이프라인은 카탈로그 호환성, 스키마 진화, 버퍼링과 작은 파일 관리를 함께 설계해야 한다.
테이블 포맷이 개방돼도 카탈로그에 따라 엔진 간 읽기·쓰기 제약과 벤더 종속성이 남을 수 있다.

소개

↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 데이터분석 ● 발표자: 넥슨코리아 이승철 ● 키워드: #데이터엔지니어링 #스노우플레이크 #데이터레이크하우스 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.

비슷한 학습 자료

컨퍼런스 NDC

[NDC25-IP] '쿠키런:킹덤', 제 2의 전성기

컨퍼런스 NDC

↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: IP, 게임기획 ● 발표자: 데브시스터즈 김이환 ● 키워드: #위기 #고뇌 #도약 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.

컨퍼런스 NDC

[NDC25-데이터분석] 처음부터 딥러닝 안 쓰기 잘했다! - 엠바크 보안(치터 탐지) 협력 사례

컨퍼런스 NDC

↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 데이터분석 ● 발표자: 넥슨코리아 정순우, 최재우 ● 키워드:#이상탐지 #FPS #딥러닝 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.

딥러닝 · 머신러닝 보안

컨퍼런스 NDC

[NDC25-프로덕션&운영] 라이브 게임 서비스의 도약: Data-Driven 운영 - ‘데이터 기반의 게임 운영’과 ‘전 직원 데이터 활용’

컨퍼런스 NDC

↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 프로덕션&운영 ● 발표자: 넥슨네트웍스 정유진 ● 키워드: #Data_Driven운영 #문제없는게임환경만들기 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.

프로덕트 지표 · 실험

컨퍼런스 NDC

[NDC25] 환영사

컨퍼런스 NDC

↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표자: 넥슨 이정헌 ● 키워드: #NDC25 #환영사 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.

컨퍼런스 NDC

[NDC21-데이터분석] PC방에서 뭐하니? - 게임과 먹거리 이용 분석

컨퍼런스 NDC

● 설문조사: https://forms.gle/chY3gzVsxsW1FDKQA ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 데이터분석 ● 발표자: 엔미디어플랫폼 이한우 ● 권장 대상: 게임운영담당자, 마케팅담당자 ● 키워드: #게임 #연관분석 #PC방 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.

컨퍼런스 NDC

[NDC21-데이터분석] 이상탐지를 위한 빠른 시계열모델(RLS필터주기모델)

컨퍼런스 NDC

● 설문조사: https://forms.gle/AKWxjQ3gvGHTS51s6 ↓ 아래를 펼쳐, 세션 상세정보를 확인하세요! ● 발표분야: 데이터분석 ● 발표자: 넥슨코리아 임태훈 ● 권장 대상: 데이터분석, 실제 업무 ● 키워드: #이상탐지 #시계열 #RLS필터 #온라인처리 본 NDC 발표 동영상(이하 “저작물”이라 합니다)에 대한 저작권 (2차적저작물작성권 및 편집저작물작성권 포함)은 해당 저작물의 저작자(발표자 포함) 또는 (주)넥슨코리아 (이하 “권리자”라 합니다)에게 귀속되며, 권리자의 허락 없이 이를 상업적으로 이용하거나 무단으로 도용, 편집, 2차적저작물을 작성, 공중송신, 배포할 수 없습니다.

인공지능 기타 로드맵 1개에 담김