![[팀네이버 컨퍼런스 DAN25] IDC Seamless HDFS: IDC의 한계를 넘어 도달한 데이터 통합의 세계](https://i.ytimg.com/vi/1h4k_Dbt0t8/maxresdefault.jpg)
[팀네이버 컨퍼런스 DAN25] IDC Seamless HDFS: IDC의 한계를 넘어 도달한 데이터 통합의 세계
DAN 2025 네이버 · YouTube
AI 핵심 요약
여러 IDC에 HDFS 클러스터를 나눠 운영하면서 데이터 사일로와 재해 복구의 어려움이 생겼고, 사용자가 직접 데이터를 복사하는 방식은 관리 부담과 DCI 과부하 위험을 키웠다. 이를 해결하기 위해 HDFS의 랙 인식과 블록 배치 정책을 확장해 IDC마다 복제본을 배치하고, 로컬 우선 읽기와 동기·비동기 쓰기 옵션을 구현했다. 네임노드에서 복구 트래픽을 제어하고 디렉터리별 쓰기 정책과 동적 제한 설정, 모니터링도 제공해 IDC 간 동기화가 과도한 트래픽을 만들지 않도록 했다. 발표에서 공유한 테스트에서는 읽기 성능 저하 없이 동작했고 동기식 쓰기의 I/O 성능 저하는 6~7%였으며, 기존 복사 방식보다 저장 공간을 33% 절감하면서 장애 대응과 운영 편의성을 높였다.
- HDFS의 랙 인식과 블록 배치 정책을 확장하면 IDC별 복제본 분산과 로컬 우선 읽기를 구현할 수 있다.
- 클라이언트 IP를 IDC 서브넷 규칙에 매핑하면 HDFS 클러스터 외부의 작업에도 가까운 데이터 노드를 안내할 수 있다.
- 동기식 쓰기와 비동기식 쓰기를 구분하고, 네임노드에서 복구 트래픽을 제한하면 데이터 동기화와 DCI 부하를 함께 관리할 수 있다.
- 복제본을 IDC마다 두 개씩 두면 단일 데이터 노드 장애 시 같은 IDC 안에서 복구해 IDC 간 트래픽을 줄일 수 있다.
- 공유·정제 데이터와 DR 필수 데이터는 다중 IDC 네임스페이스에 두고, 중간 데이터나 원천 데이터는 단일 IDC에 두는 식으로 저장 비용을 고려해야 한다.
소개
[팀네이버 컨퍼런스 DAN25] IDC Seamless HDFS: IDC의 한계를 넘어 도달한 데이터 통합의 세계 이 세션에서는 기존에 여러 IDC에서 HDFS 시스템을 운영하며 마주했던 문제들과 고군분투 끝에 찾아낸 해결책을 공유합니다. 데이터 엔지니어링 작업 시 발생하는 읽기(Read), 쓰기(Write) 트래픽의 특징과 이를 Storage 레벨에서 어떻게 기술적으로 대응했는지 설명합니다. 이 기술을 통해 사용자들은 기존에는 불가능하다고 생각했던 타 IDC의 데이터 분석과 자동화된 재해 복구(Diaster Recovery)에 대응할 수 있게 됩니다. 또한, 운영자 측면에서는 스토리지 사용량을 절감하고 트래픽을 효율적으로 제어하여 장애를 미리 방지하는 노하우도 얻으실 수 있습니다. 이번 세션을 통해 여러분의 HDFS 시스템 운영과 데이터 엔지니어링에 새로운 영감을 얻어가시길 바랍니다 목차 1. 문제 제기: IDC에 흩어진 데이터와 그로 인한 한계 - 사내 Had...
비슷한 학습 자료
컨퍼런스 if kakao
100억 개 파일을 다루는 Data Lake를 위한 여정
컨퍼런스 if kakao
if(kakao)25 100억 개 파일을 효율적으로 관리하기 위해 새롭게 구축된 KHP(Kakao Hadoop Platform) v2의 아키텍처와 함께, Kakao가 데이터 레이크를 구축하면서 겪었던 문제와 해결 방안을 공유합니다. #TECH #Data 빅데이터플랫폼 조직에서 하둡 기반 기술을 담당하고 있는 강민석(rex.tension)입니다. 편리하고 안정적인 대규모 클러스터를 구축하기 위해 항상 고민하고 있습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=40 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
데이터베이스 데브옵스 · 인프라
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 대화형 AI로 바꾼 데이터 협업: 데이터 활용의 장벽을 없애다
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 대화형 AI로 바꾼 데이터 협업: 데이터 활용의 장벽을 없애다 대화형 AI로 바뀐 데이터 협업 데이터는 많지만, 이를 쉽게 활용하거나 협업하는 것은 여전히 어렵습니다. 지표 조회나 단순 데이터 확인조차 반복적으로 요청해야 했고, SQL 의존으로 인해 데이터 활용은 전문가 중심에 머물러 있었습니다. KeplerChat은 이러한 장벽을 허물고, 데이터 협업 방식을 바꾸며 데이터 활용의 평등한 접근을 실현하기 위해 탄생했습니다. 주요 기능 데이터 탐색: - 자연어로 지표 검색, 스키마 확인(DataHub), - 데이터 기반 정보와 히스토리 파악을 통해 지식을 습득하고 활용 데이터 쿼리 작성: SQL 자동 생성 및 수정 데이터 실행 및 분석: 실시간 쿼리 실행 결과 제공, 주요 인사이트 도출 및 시각화 대시보드 해석 및 차트 기반 분석: 내부 BI(Metabase) 연동으로 수치와 시각화를 자동 해석하고 분석 지원 데이터 과제 인입 자동화: ...
데이터베이스 인공지능 기타
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] What's In Our Infra: 대규모 트래픽을 수용하기까지
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] What's In Our Infra: 대규모 트래픽을 수용하기까지 네이버는 50여 개국에서 유입되는 수백만 규모의 트래픽을 24/7 안정적으로 처리하고 있습니다. 본 세션은 대규모 이벤트 운영 경험을 바탕으로 지연·장애·비용 문제를 해결하기 위한 엔지니어링 사례와 그 과정에서 얻은 교훈을 다룹니다. 아울러 한계를 넘어서기 위한 새로운 도전인 NVELOP(NAVER Velocity Platform) 의 배경과 방향을 소개합니다. 목차 1. Intro - 네이버 글로벌 라이브 스트리밍 플랫폼의 인프라 구성 개요 - 서비스 콘셉트와 챌린지 2. 무중단 서비스를 위한 엔지니어링 사례 - 대규모 트래픽 분산·제어 전략 - 전송 플랫폼 **최적화(Tune-in) **사례 - **Observability **도입 3. NVELOP (NAVER Velocity Platform) 방향 - 기존 플랫폼 한계 ...
데브옵스 · 인프라 네트워크
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 기본기가 경쟁력이다 : 네이버가 Ncloud Storage를 만든 이유 네이버의 기존 Object Storage를 대체하고, 네이버 클라우드 플랫폼의 Object Storage와 Archive Storage 서비스를 대체하는 Ncloud Storage를 만들게 된 배경과 앞으로의 방향을 공유합니다. 목차 1. 기존 네이버 스토리지 시스템의 한계 - OwFS, Nubes의 설계 철학 - 시장의 흐름 2. 기존 NCP Object Storage의 한계 - 기능, 성능, 비용, 안정성 측면 3. S3 API 선택 이유 - S3 API - 개방성 4. 스토리지 기술에 진심인 네이버 - 스토리지는 플랫폼 비즈니스의 기본 - 기반 기술에 대한 장기적인 투자자인 네이버 - 개방형 생태계를 위한 기술 제공 5. Ncloud Storage를 어떻게 만들었나 6. 향후 계획 대상 - 대량의 ...
데이터베이스 클라우드
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 데이터 활용을 수 십 배 빠르게! KREAM의 데이터 Lakehouse 구축기 이 세션에서는 KREAM 데이터 플랫폼의 핵심 기반인 Lakehouse를 개발한 배경과 기술적 세부사항, 그리고 그로 인해 가능해진 변화들을 공유합니다. KREAM의 Lakehouse는 Kafka Ecosystem, Spark, Flink, Iceberg(HDFS), Hive Metastore, Trino, Airflow 등의 데이터 처리 기술을 활용하여 구축되었습니다. 메인 서비스 DB에서 실시간으로 발생하는 데이터와 하루 N억 건 이상의 유저 행동 데이터를 통합해, 데이터가 필요한 사내 모든 구성원들이 보다 빠르고 효율적으로 데이터를 획득·활용할 수 있게 되었습니다. Lakehouse를 개발하면서 겪은 고민과 경험들을 공유합니다. 목차 1. Lakehouse 도입 배경 2. Lakehouse 설계 & 기술 선택 3. Lakehouse 구성요소 & 데이터 파...
데이터베이스 데브옵스 · 인프라
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 네이버쇼핑 유저리서치 인프라: 구축부터 확산까지
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 네이버쇼핑 유저리서치 인프라: 구축부터 확산까지 네이버쇼핑은 고객 친화적인 서비스를 위해, 고객의 경험을 지속적으로 탐구하고 있습니다. 이를 위해 네이버쇼핑은 조직 내에서 고객 경험 리서치(CX Research)를 수행하는 동시에 리서치 운영 체계(Ops)를 정립하는 방식으로, 리서치 인프라를 꾸준히 확장(Scaling) 해오고 있습니다. 본 세션에서는 ‘리서치를 수행하는 팀’에서 나아가, ‘조직이 리서치를 활용하는 시스템’을 만들어온 현장의 경험을 공유합니다. 이를 통해 네이버쇼핑만의 사례를 넘어 업계 전반에서 고객 경험을 연구하고 활용하는 방식에 대한 공감대를 나누고자 합니다. #DAN #DAN25 #TEAMNAVERCONFERENCE
UI/UX