신규 프로젝트 Hazelcast 도입기
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
프로모션 기획이 끝나기 전에 캐시 시스템을 마련해야 했지만, 트래픽과 저장 데이터 규모를 예측하기 어려워 용량을 사전에 확정하는 방식에는 한계가 있었다. 이에 Kubernetes에서 빠르게 확장할 수 있고 노드 장애에 대응하며 Kotlin·Spring Boot와 연동하기 쉬운 Hazelcast 자체 클러스터를 구축했다. StatefulSet과 자동 디스커버리로 멤버를 배포하고, Hazelcast Client와 Near Cache를 구성했으며, 재연결·읽기 타임아웃과 백오프 설정으로 장애 시 동작을 보완했다. Management Center와 Prometheus를 연결해 모니터링 기반을 마련했으며, 캐시 도입 시에는 확장성뿐 아니라 장애 상황의 응답 방식과 로컬 캐시 메모리 관리도 함께 설계해야 한다고 설명했다.
- Kubernetes에서는 Hazelcast의 자동 디스커버리와 StatefulSet을 활용해 멤버를 구성하고, 멤버 추가 시 파티션 리밸런싱으로 저장 용량을 확장할 수 있다.
- Spring Boot의 Hazelcast 연동을 이용하면 캐시 매니저를 구성해 기존 캐시 어노테이션을 유지할 수 있으며, Near Cache로 반복 조회의 네트워크 비용을 줄일 수 있다.
- 클러스터 장애와 네트워크 지연에 대비해 재연결 모드, 지수 백오프와 지터, 읽기 타임아웃을 설정하고 예외 로깅을 추가한다.
- Near Cache에는 맵 크기 제한과 퇴출 정책을 적용해 로컬 메모리 사용량이 과도해지지 않도록 관리한다.
- Management Center와 Prometheus 메트릭을 연동하면 캐시 상태를 관찰하고 운영 중 데이터를 점검하거나 조작할 수 있다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(10월)에서 발표되었던 세션을 공개합니다. [발표 내용] 신규 프로젝트를 구축하면서 Hazelcast 를 도입하게된 배경과 그 방법에 대해 설명합니다 [목차] Hazelcast 도입 배경 Hazelcast 특징 Hazelcast Member 구성 방법 Hazelcast Client 구성 방법 모니터링 소개 [대상] Hazelcast를 처음 접한 개발자 Hazelcast 도입을 고려중인 개발자 자체 캐시 클러스터 구축을 고려중인 개발자
비슷한 학습 자료
컨퍼런스 if kakao
Preview Cloud @if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 Cloud 관련 기술 발표 트랙을 소개합니다. 04:17 1. Kubernetes provisioning: 프로비저닝 툴과의 만남부터 헤어짐까지... by 전민철(rookie.jeon) 카카오에서 클라우드 플랫폼을 개발하고 있는 루키입니다. 04:43 2. Testing Kubernetes Controller: Kubernetes Controller를 위한 테스트코드 작성 by 이완해(scotty.scott) 카카오에서 클라우드 플랫폼을 개발하고 있는 스카티입니다. Human Computer Interaction (HCI) 에 관심이 많으며, 일하면서 틈틈히 개발자를 위한 HCI 라는 주제에 대해 생각해보고 있습니다. 하지만 이번발표에서는 순수하게 개발적인 내용만 다룹니다. 05:01 3. 카카오가 K8s CNI Cilium의 메모리 누수 버그를 해결하는 방법 by 배규태(gyu.gyu) 카카오에서 클라우드 플랫폼을 개발하고 있는 규입니...
소프트웨어 테스트 데브옵스 · 인프라
컨퍼런스 엔지니어링데이 2025
Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 대규모 쿠버네티스 GPU 클러스터에서 자체 HPA 시스템 구축을 통해 글로벌 유저 트래픽에 동적으로 대응하는 AI 서비스 오토스케일링을 적용한 사례를 소개합니다. [발표 대상] * AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 * AI 서비스 오토스케일링을 Kubernetes 에서 도입하고자 하는 엔지니어 * 기본 HPA 보다 고도화된 방법으로 오토스케일링을 도입하고자 하는 엔지니어 [목차] * 왜 SNOW는 GPU orchestration이 필요한가 * GPU 기반 서비스의 오토스케일링이 어려운 이유 * KEDA: Event-Driven Autoscaler * SNOW의 GPU Orchestration 시스템
데브옵스 · 인프라 딥러닝 · 머신러닝 로드맵 1개에 담김
컨퍼런스 엔지니어링데이 2025
늘어가는 조회트래픽 Elasticsearch로 분산시키기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 점점 늘어가던 플레이스 조회트래픽을 메인DB로부터 Elasticsearch(Opensearch)로 분산한 경험을 공유합니다. (#Elasticsearch #Opensearch #트래픽 분산 #CQRS #slow query #feature toggle #feature flag #자동 fallback) [강의 대상] * 트래픽 분산 및 Elasticsearch(Opensearch)에 관심이 있으신 분들 * 난이도 : 하~중하 (트래픽 분산경험 / ES 운용경험이 없으신 주니어 개발자분들도 이해하시기 좋은 정도) [목차] * 조회 DB 도입 배경 - 기존 리뷰조회 flow - 호출량이 점점 늘어가던 플랫폼, 증가하는 조회필터 / 정렬조건 - DB 인덱스 추가의 한계 - 조회용 DB를 도입한다면? * Elasticsearch를 조회DB로...
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
데이터는 흐른다, 연결될 준비가 되었다면
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 유저 세그먼트를 손쉽게 정의하고, 이를 다양한 액션 채널(Braze, IDS, GAM 등)과 자동 연동할 수 있는 네이버 웹툰의 Cohort System을 소개합니다. 조건 기반 필터링, ML 모델 연동 등 다양한 방식으로 세그먼트를 만들고, 중복 제거 로직과 함께 효율적으로 활용할 수 있습니다. 시스템 구조와 기술 스택, 실제 마케팅 활용 사례까지 함께 공유하며, 데이터에서 인사이트, 나아가 액션까지의 연결을 어떻게 자동화했는지를 설명합니다. [강의 대상] * 데이터 엔지니어 / 백엔드 엔지니어: 데이터 흐름 자동화, 시스템 구조에 관심 있는 분 * ML 엔지니어 / 데이터 사이언티스트: ML 결과를 실시간 타겟팅에 적용하고 싶은 분 * 마케터 / PM: 타겟 유저 추출과 액션 전환까지의 전체 흐름을 이해하고 싶은 분 [목차] Episode 1...
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(10월)에서 발표되었던 세션을 공개합니다. [발표 내용] 스노우 AI 서비스의 운영 개선을 위해 기존 GPU 서버 인프라를 Kubernetes 클러스터로 이전하는 과정에서 맞닥뜨린 기술적 문제들과 해결 방법을 공유합니다. [대상] AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어 [목차] - SNOW, AI, GPU, 그리고 Kubernetes - GPU 인프라 이전을 위한 고려 사항 - Kubernetes와 유연한 GPU 자원 스케쥴링 - Kubernetes GPU 클러스터의 미래
데브옵스 · 인프라 클라우드
컨퍼런스 엔지니어링데이 2025
실시간 광고 사용자 ID 매핑
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(5월)에서 발표되었던 세션을 공개합니다. ----- 이 세션에서는 실시간으로 광고 사용자 ID를 매핑하는 시스템에서 대해서 이야기합니다. gRPC, Spark Structured Streaming, Kafka 을 통해 마이크로서비스 아키텍처를 구축하는 법을 포함합니다. 사용자 ID를 그래프 구조로 맵핑하는 법을 포함합니다. [목차] 실시간 광고 사용자 ID 매핑 소개 해결과제 시스템 설계 ID 매핑 트리 알고리즘 gRPC 기반 ID 생성기 Spark Structured Streaming 애플리케이션 발전 방향 [강의 대상 및 직군] gRPC, Spark Structured Streaming 도입에 대해서 고민하시는 분들 마이크로서비스 아키텍처 구축에 관심이 있으신 분들 광고 사용자 ID 맵핑에 관심이 있으신 분들
백엔드 데이터베이스 네트워크