AI가 지켜보는 데이터 파이프라인: 노이즈 제거부터 장애 대응까지
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
데이터 파이프라인이 늘면서 반복 알림과 유사한 장애 대응이 운영 부담을 키웠고, 실제 장애가 아닌 노이즈까지 사람이 확인해야 했다. 이를 줄이기 위해 로그를 유형별로 정제하고, BERT 임베딩과 DBSCAN으로 노이즈만 선별해 제거하는 한편 HyperCLOVA 기반 AI 어시스턴트가 장애 요약·원인 추정·대응 가이드를 제공하도록 구성했다. 발표에서 소개한 적용 결과는 노이즈 알림 779건 제거, 노이즈 분류 정밀도 100%, 재현율 95.2%였으며, 분류 내역은 일일 리포트로 점검했다. 운영 자동화에서는 모든 장애를 맞히려 하기보다 안전하게 걸러낼 노이즈를 좁혀 분류하고, 새로운 패턴은 사람의 확인 대상으로 남기는 접근이 중요하다는 점을 보여줬다.
- Spark 로그는 드라이버와 여러 익스큐터에서 모여 크고 중복이 많으므로, 로그 유형별로 불필요한 항목을 제거하고 스택 트레이스는 오류 단서가 있는 앞부분을 남긴다.
- 장애 유형 전체를 분류하기보다 안전하게 제거할 수 있는 노이즈 패턴만 분류 대상으로 좁히면, 희소한 장애 데이터에 모든 레이블을 붙여야 하는 부담을 줄일 수 있다.
- BERT 임베딩과 DBSCAN을 결합하면 기존 노이즈 군집은 식별하면서 새로운 패턴은 아웃라이어로 남겨 미분류 상태로 다룰 수 있다.
- 알림 제거의 정밀도가 중요한 운영 환경에서는 분류 결과를 일일 리포트로 점검해 오분류 위험을 확인한다.
- AI 어시스턴트는 역할·응답 형식·세부 지침을 프롬프트에 명시하고, 장애 로그 요약과 대응 가이드를 제공한 뒤 후속 질문도 받을 수 있게 구성한다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 이 세션에서는 서비스를 운영하는 운영 담당자들이 AI를 활용하여, 운영 피로도를 낮추면서 운영 품질을 향상시키기 위한 방법을 소개합니다. 너무 많은 알림을 받고 있으나, 실제로 장애로 연결되지 않는 Noise 알림때문에 운영 리소스가 낭비되고 있는 상황을 개선하는 방법을 소개합니다. 항상 똑같은 대응을 반복하는 (로그 분석, 원인파악, 장애공유, 대응책 수립, 복구 수행) 운영담당자분들이 AI를 활용해서 더 빠르고 신속하게 장애를 대응할 수 있도록 합니다. [발표 대상] * 데이터 파이프라인을 개발 및 운영하는 운영 담당자분들 * AI를 서비스 운영에 활용하는데 관심이 있는분들 [목차] 0. Intro 1. 도입 배경 2. AI를 활용한 장애처리 자동화 3. 로그 데이터 전처리 4. Noise 분류 모델 5. AI Assistant 6. 적용 사...
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 메신저 속 AI 오퍼레이터: LLM 기반 ChatOps 도구와 함께하는 팀네이버 SRE “AI와 함께 움직이는 팀네이버 SRE” 예상치 못한 재난·사회적 이벤트가 발생하면 네이버 전사 서비스는 단 몇 초 만에 폭증하는 트래픽과 수많은 변수에 직면합니다. 충주 지진, 대통령 선거와 같은 순간에도 팀네이버 SRE는 하나의 유기체처럼 움직이며 신속하고 정교하게 대응해 왔습니다. 그리고 올해, LLM 기반의 AI 오퍼레이터인 SRE 챗봇을 도입하며 장애 대응 패러다임을 한 단계 끌어올렸습니다. 주요 대응 업무는 모바일에서 대화하듯 처리되고 AI가 즉시 상황을 요약·전달하며 의사결정의 속도와 정확도가 향상되었습니다. 이번 세션에서는 팀네이버 SRE가 AI를 기술적으로 어떻게 활용하고 있는지, 그리고 실제 운영 사례와 성과를 확인하실 수 있습니다. 목차 1. 팀네이버 SRE가 걸어온 길 - 사람 중심으로 변경에 따른 장애를 줄이다. -...
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Place AI Briefing: 검색부터 요약까지
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Place AI Briefing: 검색부터 요약까지 이번 세션은 네이버 플레이스 AI Briefing 생성의 기술적 파이프라인을 다룹니다. Retrieval - Reranking - Summarization 구조를 중심으로 탐색형·정답형·정보형 태스크 차이를 설명하고, 텍스트와 이미지 정보를 요약하는 방법을 소개합니다. 구체적으로 Text Encoder·Reranker·Multi-modal Encoder의 데이터셋 구축, 모델 선택과 학습 방법론, 도메인 특화 모델 평가 사례, 그리고 ICL·Distillation 기반 요약 기법을 공유합니다. 마지막으로 서비스 적용 경험을 토대로 효율 최적화, 대형·경량 모델 조합 등 실무 전략을 제시합니다. 이 과정을 통해 얻은 통찰이 더 나은 서비스 설계와 발전 방향을 모색하는 데 기여하길 바랍니다. 목차 1. Overview - Place AI Briefing - 서비스 설명과 사례 ...
컴퓨터 비전 자연어 처리
컨퍼런스 엔지니어링데이 2025
사용자의 목소리를 AI로 재현하다: LLM기반 Multi Agent UX플랫폼 개발기
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. 해당 발표는 팀네이버 컨퍼런스 DAN25 홈페이지(https://dan.naver.com/25/sessions/699)에서도 살펴보실 수 있습니다. [발표 내용] “사용자에 진심인 3명이 모여, Persona가 말하게 만들다” 이 세션은 잘 만든 AI 시스템을. 넘어, 디자이너·AI 리서처·개발자가 경험한 AI 시대의 협업 가능성을 제안합니다. 사용자 페르소나봇 NSona의 기획부터 구현, 평가까지 전 과정을 공유합니다. AI로 사용자 리서치 데이터를 실시간 협업 자원으로 전환하며, Multi-Party 대화 시스템에서 사용자와 함께 일하는 방식을 실험했습니다. 세 명은 함께 AI를 만들며 역할과 협업 구조가 바뀌는 경험을 했습니다. 디자이너는 프롬프트를 설계하고, 리서처는 로직을 에이전트 구조로 바꾸었으며, 프론트 개발자는 AI를 비평 대상으로 다뤘습니다. 중요한 건...
AI에이전트 개발 UI/UX
컨퍼런스 엔지니어링데이 2025
경험이 쌓일수록 똑똑해지는 네이버 통합검색 LLM Devops Agent
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] 네이버 통합 검색에서 더 나은 장애 대응 프로세스를 위해 LLM Agent를 활용하는 방식에 대해 소개합니다. Agent 를 어떤 방식으로 구성하고 구축했는지, 어떻게 평가하고 활용하고 있는지를 자세히 소개합니다. [발표 대상] 네이버 검색에서 장애 감지와 분석에 대해 궁금하신 분 LLM을 활용한 Agent 구성을 고민하시는 분 [목차] 1. 기존 장애 대응 프로세스 - 네이버 검색 흐름 - 기존 장애대응 프로세스 - 기존 방식의 문제점 2. Devops Agent v1 - 설계 - v1 구조 - v1 소개 - 현재 SW stack 3. Devops Agent v2 - v1의 한계 - v2 구조 4. 시스템 동작과 특징 - Trigger Queue - 이상 탐지 방법 ...
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 엔지니어링데이 2025
데이터는 흐른다, 연결될 준비가 되었다면
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 유저 세그먼트를 손쉽게 정의하고, 이를 다양한 액션 채널(Braze, IDS, GAM 등)과 자동 연동할 수 있는 네이버 웹툰의 Cohort System을 소개합니다. 조건 기반 필터링, ML 모델 연동 등 다양한 방식으로 세그먼트를 만들고, 중복 제거 로직과 함께 효율적으로 활용할 수 있습니다. 시스템 구조와 기술 스택, 실제 마케팅 활용 사례까지 함께 공유하며, 데이터에서 인사이트, 나아가 액션까지의 연결을 어떻게 자동화했는지를 설명합니다. [강의 대상] * 데이터 엔지니어 / 백엔드 엔지니어: 데이터 흐름 자동화, 시스템 구조에 관심 있는 분 * ML 엔지니어 / 데이터 사이언티스트: ML 결과를 실시간 타겟팅에 적용하고 싶은 분 * 마케터 / PM: 타겟 유저 추출과 액션 전환까지의 전체 흐름을 이해하고 싶은 분 [목차] Episode 1...
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
서비스 장애를 예방하는 방법: Chaos Engineering
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] * 신입 개발자가 뉴스서비스에 대해 탐구하고 개선하려고 노력했던 경험을 공유합니다. * 서비스의 장애를 예방하고 신뢰성을 높이기 위한 분야인 Chaos Engineering에 대해 소개합니다. * 뉴스서비스의 잠재적인 Single-Point-of-Failure(SPOF)를 예방하고자 했던 경험을 공유합니다. [목차] Episode 1: Chaos Engineering 1.1. Netflix의 IDC 장애 이후 클라우드 전환, 그리고 장애를 예방하기 위한 노력 1.2. Chaos Monkey, 모든 인프라에 대한 실패를 가정하고 인프라를 운영한다 Episode 2: Toxiproxy 2.1. Toxiproxy의 구조와 테스트 도구로 선택한 이유 2.2. proxy server 구성 방법 2.3. client 사용방법(Client,...
소프트웨어 테스트 데브옵스 · 인프라