[팀네이버 컨퍼런스 DAN25] IDC Seamless HDFS: IDC의 한계를 넘어 도달한 데이터 통합의 세계

소개

[팀네이버 컨퍼런스 DAN25] IDC Seamless HDFS: IDC의 한계를 넘어 도달한 데이터 통합의 세계 이 세션에서는 기존에 여러 IDC에서 HDFS 시스템을 운영하며 마주했던 문제들과 고군분투 끝에 찾아낸 해결책을 공유합니다. 데이터 엔지니어링 작업 시 발생하는 읽기(Read), 쓰기(Write) 트래픽의 특징과 이를 Storage 레벨에서 어떻게 기술적으로 대응했는지 설명합니다. 이 기술을 통해 사용자들은 기존에는 불가능하다고 생각했던 타 IDC의 데이터 분석과 자동화된 재해 복구(Diaster Recovery)에 대응할 수 있게 됩니다. 또한, 운영자 측면에서는 스토리지 사용량을 절감하고 트래픽을 효율적으로 제어하여 장애를 미리 방지하는 노하우도 얻으실 수 있습니다. 이번 세션을 통해 여러분의 HDFS 시스템 운영과 데이터 엔지니어링에 새로운 영감을 얻어가시길 바랍니다 목차 1. 문제 제기: IDC에 흩어진 데이터와 그로 인한 한계 - 사내 Had...