![[팀네이버 컨퍼런스 DAN25] 하루 수백억 건을 처리하는 똑똑한 로그 파이프라인 만들기: 비용·성능·안정성 삼박자](https://i.ytimg.com/vi/19l5JrbUWWs/maxresdefault.jpg)
[팀네이버 컨퍼런스 DAN25] 하루 수백억 건을 처리하는 똑똑한 로그 파이프라인 만들기: 비용·성능·안정성 삼박자
DAN 2025 네이버 · YouTube
AI 핵심 요약
네이버 전사 로그를 처리하는 Logiss는 단일 Storm 토폴로지로 인해 배포 중 지연이 생기고, 낮과 새벽의 트래픽 차이 및 장애 시 로그별 중요도를 반영하지 못하는 문제가 있었습니다. 이를 해결하기 위해 Kafka 파티션을 나눠 소비하는 멀티토폴로지와 작업을 고르게 배치하는 커스텀 Storm 스케줄러를 도입하고, 스티키 파티션 할당으로 재할당에 따른 중복 처리를 줄였습니다. 또한 백프레셔·메이데이 상태와 로그별 처리 중단 허용, 우선순위, 실시간 보장 비율을 적용해 피크 트래픽 일부를 한가한 시간에 처리하고 장애 시 핵심 로그를 우선 처리하도록 했으며, OpenSearch와 랜딩존별 샘플링으로 저장량도 조절했습니다. 그 결과 토폴로지를 하나씩 배포하는 무중단·점진적 배포가 가능해졌고, 저장소 사용 효율과 장애 대응력을 높였으며, 처리 옵션과 클러스터 상태 판단을 지속적으로 개선해야 한다는 점을 확인했습니다.
- Storm의 파티션 할당 방식과 토폴로지 배포 전략은 장애 시 재할당 범위와 중복 처리량까지 함께 검증해야 합니다.
- 커스텀 Storm 스케줄러로 파서·스로틀 등 작업을 슈퍼바이저에 고르게 배치하면 특정 장비의 병목을 줄일 수 있습니다.
- 백프레셔와 메이데이를 구분하고 로그별 처리 중단 허용 여부와 우선순위를 설정하면 평시 부하 분산과 장애 시 차등 처리를 함께 설계할 수 있습니다.
- OpenSearch와 랜딩존의 샘플링 비율을 각각 조정하면 분석 목적에 맞춰 저장량을 줄일 수 있습니다.
소개
[팀네이버 컨퍼런스 DAN25] 하루 수백억 건을 처리하는 똑똑한 로그 파이프라인 만들기: 비용·성능·안정성 삼박자 네이버 전사 로그(최대 초당 수백만건, 하루 수백억건의 로그)를 수집/처리하는 로그 파이프라인 Logiss를 소개하고, Logiss에서 겪은 문제점들과 해결책들을 공유합니다. Storm + kafka 환경에서 multi topology를 적용하는 방법과 이를 통해 안정적인 무중단 배포가 가능해진 파이프라인과 지능형 파이프라인의 도입으로 낮시간의 피크 트래픽을 한가한 시간으로 분산시킨 방법, 장애 상황에서 로그의 우선 순위에 따른 차등된 처리 방식, 샘플링 기능으로 저장소를 효율적으로 이용할 수 있게된 방법을 알려드립니다. 목차 1. Logiss 시스템 소개 - Storm, Kafka, Logstash, OpenSearch로 구성된 파이프라인 아키텍처 - 네이버 서비스 전반에서 발생하는 로그를 수집, 하루 수백억 건의 로그를 실시간 처리...
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 네이버 PersonA - 지금 나를 이해하는 AI (부제 : LLM 기반 사용자 메모리 구축과 실시간 사용자 로그 반영 시스템 구현)
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 네이버 PersonA - 지금 나를 이해하는 AI (부제 : LLM 기반 사용자 메모리 구축과 실시간 사용자 로그 반영 시스템 구현) ChatGPT, Google Gemini와 같은 대화형 AI 서비스를 사용해 보면, 바로 이전 대화만 기억하는 것이 아니라, 수개월간의 대화 기록을 요약·저장하여 사용자와의 대화 맥락을 이어가는 모습을 볼 수 있습니다. 또한 ‘메모리’ 보기 기능을 통해, AI가 나에 대해 무엇을 기억하고 있는지도 확인할 수 있습니다. 네이버는 대화형 AI 서비스는 아닙니다. 그럼에도 불구하고, 사용자는 네이버의 다양한 서비스를 이용하면서 자신에 대한 수많은 단서를 남기고 있습니다. 직접적인 대화는 아니지만, 이러한 파편적인 기록들을 사용자와 네이버 간의 ‘간접적인 대화’로 보고, 이를 기반으로 사용자 메모리를 구축하려는 프로젝트가 바로 네이버 PersonA입니다. 네이버 PersonA 프로젝트에서는 사용자 메모리를 구축하기 위해 ...
AI에이전트 개발 프로덕트 지표 · 실험
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] What's In Our Infra: 대규모 트래픽을 수용하기까지
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] What's In Our Infra: 대규모 트래픽을 수용하기까지 네이버는 50여 개국에서 유입되는 수백만 규모의 트래픽을 24/7 안정적으로 처리하고 있습니다. 본 세션은 대규모 이벤트 운영 경험을 바탕으로 지연·장애·비용 문제를 해결하기 위한 엔지니어링 사례와 그 과정에서 얻은 교훈을 다룹니다. 아울러 한계를 넘어서기 위한 새로운 도전인 NVELOP(NAVER Velocity Platform) 의 배경과 방향을 소개합니다. 목차 1. Intro - 네이버 글로벌 라이브 스트리밍 플랫폼의 인프라 구성 개요 - 서비스 콘셉트와 챌린지 2. 무중단 서비스를 위한 엔지니어링 사례 - 대규모 트래픽 분산·제어 전략 - 전송 플랫폼 **최적화(Tune-in) **사례 - **Observability **도입 3. NVELOP (NAVER Velocity Platform) 방향 - 기존 플랫폼 한계 ...
데브옵스 · 인프라 네트워크
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 기본기가 경쟁력이다 : 네이버가 Ncloud Storage를 만든 이유 네이버의 기존 Object Storage를 대체하고, 네이버 클라우드 플랫폼의 Object Storage와 Archive Storage 서비스를 대체하는 Ncloud Storage를 만들게 된 배경과 앞으로의 방향을 공유합니다. 목차 1. 기존 네이버 스토리지 시스템의 한계 - OwFS, Nubes의 설계 철학 - 시장의 흐름 2. 기존 NCP Object Storage의 한계 - 기능, 성능, 비용, 안정성 측면 3. S3 API 선택 이유 - S3 API - 개방성 4. 스토리지 기술에 진심인 네이버 - 스토리지는 플랫폼 비즈니스의 기본 - 기반 기술에 대한 장기적인 투자자인 네이버 - 개방형 생태계를 위한 기술 제공 5. Ncloud Storage를 어떻게 만들었나 6. 향후 계획 대상 - 대량의 ...
데이터베이스 클라우드
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] NELO Alaska: 장기 로그 보존을 위한 Iceberg 도입과 운영 - 20x 비용 절감과 확장성 향상 본 세션에서는 NAVER의 전사 로깅 플랫폼 NELO에서 장기 로그 보존을 위해 오브젝트 스토리지와 Apache Iceberg 테이블 포맷, Trino 기반 SQL 검색을 도입해 ~20× 비용 절감과 높은 확장성을 달성한 사례를 공유합니다. 4 PiB+ 데이터를 운용하던 기존 Elasticsearch 중심 구조에서 실제 쿼리 분포와 보존 요구 간의 불일치를 정량 분석하고, 스토리지/컴퓨팅 분리·오픈 포맷·저비용 스토리지를 축으로 한 NELO Alaska 아키텍처를 설계·구현·운영한 경험을 중심으로 다룹니다. 목차 1. 배경 & 문제 정의 - NELO 소개: 사내 서비스/인프라/보안 모니터링을 담당, ES 클러스터 (4 PiB+, ~4,000대) - 기존 보존 전략의 한계: 인덱스 중심 구조의 비용, 샤드·리밸런스...
데이터베이스 데브옵스 · 인프라
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 실시간 vs 배치, 함께 굴리는 데이터 파이프라인 - 확장성과 정합성을 잡은 대규모 데이터 플랫폼 운영기 본 발표는 AdVoost Shopping 광고 상품에서 쇼핑 상품을 연동하는 데이터 파이프라인을 구축한 경험을 다룹니다. 다양한 플랫폼 제약과 서비스 요구사항 속에서 실시간 처리와 배치 처리의 균형, 상품 메타데이터와 광고 메타데이터의 동시 연동이라는 과제를 해결한 과정을 공유합니다. MongoDB CDC, Kafka Streams, Iceberg, 자체 영속성 레이어 등을 활용하여 구현한 방법을 소개하고, 선형성·확장성·성능 관점에서의 트레이드오프, 그리고 실시간·배치 처리 방식을 선택한 기준에 대해 공유합니다. 목차 1. AdVoost Shopping 에서의 도전과제 - AdVoost Shopping 에서의 저희의 역할, 주어진 요구 사항, 그리고 도출한 도전과제를 설명합니다. 2. 아키텍처 - 도전과제를 통...
데이터베이스 데브옵스 · 인프라
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Multi-AI Agent 개발: 레퍼런스 아키텍처와 구현 전략
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Multi-AI Agent 개발: 레퍼런스 아키텍처와 구현 전략 이 세션에서는 Multi-Agent 시스템의 개념부터 실제 구축과 활용 사례까지를 폭넓게 다루며, 다양한 프레임워크와 아키텍처 설계를 통해 얻은 경험과 노하우를 공유합니다. 단일 에이전트의 한계를 극복하기 위해 여러 에이전트가 협력하는 구조를 어떻게 설계할 수 있는지, Supervisor와 Swarm을 통한 조율 방식은 어떤 차이가 있는지, 그리고 효율을 높이기 위해 어떤 프레임워크를 선택해야 하는지에 대해 구체적으로 살펴봅니다. 실제 구축 과정에서 직면했던 문제들과 그 해결 방법, 로그 분석과 RAG 기반 질의응답 정확도 향상을 위해 도입한 다양한 접근 방식, 그리고 여러 차례의 시행착오 끝에 정리된 아키텍처 설계 팁을 공유합니다. #DAN #DAN25 #TEAMNAVERCONFERENCE
AI에이전트 개발