데이터 분석 플랫폼, 지상계에서 천상계로 배달완료! AWS 이관기 #우아콘2021 #둘째날_새로운여정
우아콘 2021 우아한형제들 · YouTube
AI 핵심 요약
사내 데이터 분석 수요가 늘면서 IDC에서 운영하던 분석 플랫폼의 용량과 운영 부담이 커져 AWS로 이전하고, Trino와 Zeppelin을 새 버전으로 구성했다. S3 데이터를 조회하는 Trino 클러스터에는 Graviton2와 시간대별 워커 오토스케일링을 적용했으며, Apache Ranger와 커스텀 이벤트 리스너로 접근 제어와 쿼리 감사 로그를 구현했다. 이전 과정에서 S3 요청 제한에 따른 Slow Down 오류를 겪어 데이터 성격별로 버킷을 분리했고, Zeppelin 업그레이드와 ARM 이미지 빌드에서는 호환성 및 마이그레이션 문제를 해결해야 했다. 발표자들은 성능과 비용 개선뿐 아니라, 클라우드 이전에는 운영 역량과 보안·호환성 검증을 함께 고려해야 한다는 점을 공유했다.
- 쿼리 엔진을 고를 때는 벤치마크 결과뿐 아니라 직접 튜닝하고 장애에 대응할 운영 역량과 비용도 함께 따져야 한다.
- ARM 기반 Graviton2로 옮길 때는 의존 라이브러리와 컨테이너 이미지의 아키텍처 지원 여부를 확인하고, Docker Buildx로 다중 아키텍처 이미지를 준비할 수 있다.
- Trino 이벤트 리스너를 활용하면 쿼리 제출 시 서버별 접근을 검증하고, 실행 완료 시 쿼리 이력과 리소스 사용 정보를 기록할 수 있다.
- S3 요청이 특정 접두사에 몰리면 Slow Down 오류가 날 수 있으므로, 데이터 성격에 따라 버킷을 분리하는 방안을 고려한다.
- 노트북 도구를 업그레이드할 때는 버전 간 코드 변경뿐 아니라 파일 형식, 저장 방식, 쿼리 동작 차이와 사용자 불편도 함께 점검한다.
소개
우아한형제들의 인프라 하면 AWS를 떠올리시지만 사실 데이터 인프라는 IDC와 Cloud 환경 모두 구축되어 있습니다. 올해 데이터 분석 플랫폼을 On-premise에서 Cloud로 이전하기까지 과정과 결과를 공개합니다. #따끈따끈한 #삽질기 #zeppelin #trino #graviton2 [발표자 소개] 노승우, 데이터플랫폼팀 우아한형제들에서 데이터 인프라와 플랫폼을 담당하고있는 노승우 입니다. 우리회사에서 사람과 기계가 데이터를 잘 활용하는 방법에 대해 고민하고 있고 아직 입사한지 얼마 되지 않아 우아한형제들의 우아한 문화에 빠져드는 중입니다. [발표자 소개] 정재훈, 데이터플랫폼팀 우아한형제들에서 데이터 관련 인프라와 플랫폼을 구축 및 관리하는 업무에 참여하고 있습니다. (빠른 답변 속도를 자랑하는 최첨단 풀수동 슬랙봇을 담당하고 있습니다.) [발표자 소개] 윤홍근, 데이터플랫폼팀 우아한 구성원들이 보다 편하고 스마트하게 데이터를 활용할 수 있도록 데이터 관련 인프라...
비슷한 학습 자료
컨퍼런스 우아콘 2024
WOOWACON2024오프닝노트 #우아콘2024 #우아한형제들
컨퍼런스 우아콘 2024
[WOOWACON2024 세션 다시보기] 👉 세션 설명 ㅤ 배달의 민족은 전국 식당들의 메뉴와 주문 뿐만아니라 커머스 대형 셀러들과 연동하여 실시간 배달 서비스를 제공하고 있습니다. 제공하는 서비스에서 발생하는 하루 평균 200억 건의 데이터가 흘러가는 시스템을 안정적으로 구축하고 운영한 사례를 공유드립니다. 1부: 시스템 아키텍처 편 대용량 데이터 처리 시스템을 도입하는 과정에서의 고민과 적용한 기술 그리고 아키텍처를 설명합니다. 2부: 음식 배달, 물건 배달 서비스 구축 편 데이터 정합성과 재처리 복원 등을 고려한 가장 안정적이고 지속가능한 시스템 구조를 만들기 위한 고민과 해결사례를 공유합니다. ㅤ 👉 발표자 소개ㅤ 김민중, 서버 개발자 장재주, 서버 개발자 윤보민, 서버 개발자 김병화, 서버 개발자
백엔드 데이터베이스
컨퍼런스 우아콘 2024
[WOOWACON2024 세션 다시보기] 👉 세션 설명 ㅤ 1,300여 명에 이르는 전사 분석환경 사용자 분들이 제출하시는 하루 약 3만여 건의 쿼리를 장애 없이 비용 효율적이면서도 높은 성능으로 처리하기 위해 고민하고 개선했던 경험을 나누고자 합니다. Trino를 k8s 환경으로 이관하고, 부하 기반 오토스케일링과 멀티 클러스터 구성을 적용함으로써 탄력적으로 변모한 분석환경을 소개합니다. 또한, Iceberg 테이블 포맷 도입 및 테이블 튜닝으로 쿼리 성능을 극적으로 개선한 경험과 함께 주요 테이블들에 Kafka 커넥트 기반 준실시간화를 적용한 후기를 공유드립니다. ㅤ 👉 발표자 소개ㅤ 오창훈, 데이터 엔지니어
데이터베이스 데브옵스 · 인프라
컨퍼런스 우아콘 2023
AI 서비스 자동화 공장 만들기 #우아콘2023 #우아한형제들
컨퍼런스 우아콘 2023
[WOOWACON2023 세션 다시보기] 👉 세션 설명 기술을 통해서 경쟁사들보다 한 발짝 더 앞서나가기 위한 우아한형제들의 AI플랫폼을 소개합니다. 품질 좋은 AI 서비스를 빠르게 개발할 수 있는 체력을 어떻게 키우면 좋을까요? MLOps를 포함해 우아한형제들의 AI 서비스 개발 및 운영을 이야기합니다.ㅤ ㅤ 👉 발표자 소개 데이터사이언스팀 유이수 AI 서비스 공장 직원 1입니다. 더 번쩍번쩍한 공장을 만들기 위해 고민하고 있습니다. 데이터사이언스팀 임현호 종합예술인이 되고 싶은 생활체육인 밖구석 개발자 데이터사이언스팀 이준수 데이터사이언스팀을 리드하고 있는 소프트웨어 반지니어 👍 추천 대상 - 빠르게 AI 서비스를 만들고 싶은 분 - AI 서비스를 만드는 데 어려움이 있는 분 🙋🏻♀️ 세션에 대해 궁금한 점이 있다면 dev_relations@woowahan.com 으로 문의주시기 바랍니다.
데브옵스 · 인프라 딥러닝 · 머신러닝
컨퍼런스 우아콘 2021
우아한형제들의 AWS WAF 운영 이야기 #우아콘2021 #첫째날_배민비하인드
컨퍼런스 우아콘 2021
"음? 수호님 저희 서비스 403 떨어지는데요?" WAF를 운영하면 한번은 듣게되는 말입니다. 그리고 AWS WAFv2가 출시된지도 약 2년, 그간 WAF를 운영하며 쌓인 많은 이야기들이 있었습니다. 우아한형제들 WAF Classic의 리소스를 WAFv2로 이전하며 겪은 사례등을 이야기하고, AWS WAF를 활용한 탐지/대응 등의 운영 사례들을 공유하고자 합니다. [발표자 소개] 송수호, 인프라보안팀 새로운 환경과 경험을 좋아하는 보안 엔지니어 송수호입니다. 우아한형제들 정보보호실에서 좋은 분들과 함께 재미있게 일하는 방법, 익숙함을 탈피하기 위한 고민을 나누며 더 나은 결과를 만들기 위한 이야기를 만들어가고 있습니다.
보안 클라우드