경험이 쌓일수록 똑똑해지는 네이버 통합검색 LLM Devops Agent
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
네이버 통합검색은 여러 레이어와 담당 조직에 걸쳐 있어 알람이 한꺼번에 발생하면 시급도와 원인을 파악하는 데 많은 시간이 들고, 대응 경험도 담당자에게 집중되는 문제가 있었다. 이를 개선하기 위해 Python과 OpenAI Agents SDK, GPT 모델을 활용한 DevOps Agent v1을 만들고, 검색 서버·PRS·인프라·외부 변경을 살피는 하위 에이전트의 분석을 종합해 심각도와 추정 원인을 리포트하도록 했다. 알람은 10~30초 동안 모아 한 번에 처리하고, 시계열 데이터는 직전 2시간의 기준과 최근 10분을 비교하며, 과거 장애 데이터를 재실행하는 평가 시스템으로 개선 여부를 확인한다. v1의 고정된 호출 흐름을 보완하기 위해 v2에서는 LLM이 계획을 세우고 도구를 여러 차례 호출하도록 바꾸며, 장애 분석 경험을 축적해 향후 대응 조치 제안과 실행까지 확장하는 방향을 제시했다.
- 동시에 발생하는 알람은 짧은 대기 구간을 두고 묶어 처리하면 중복 실행과 여러 리포트의 혼선을 줄일 수 있다.
- 변동성이 큰 시계열은 직전 2시간으로 기준 구간을 만들고 최근 10분 데이터를 신뢰 구간과 비교해 이상 여부를 판단한다.
- 과거 장애의 입력 정보와 시점을 저장해 재실행하면 프롬프트나 기능 변경이 실제로 개선을 만들었는지 회귀 평가할 수 있다.
- 에이전트가 서로 다른 분석 결과를 냈을 때 추가 조사하도록 하려면 고정된 호출 흐름 대신 LLM의 계획과 반복적인 도구 호출을 활용할 수 있다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] 네이버 통합 검색에서 더 나은 장애 대응 프로세스를 위해 LLM Agent를 활용하는 방식에 대해 소개합니다. Agent 를 어떤 방식으로 구성하고 구축했는지, 어떻게 평가하고 활용하고 있는지를 자세히 소개합니다. [발표 대상] 네이버 검색에서 장애 감지와 분석에 대해 궁금하신 분 LLM을 활용한 Agent 구성을 고민하시는 분 [목차] 1. 기존 장애 대응 프로세스 - 네이버 검색 흐름 - 기존 장애대응 프로세스 - 기존 방식의 문제점 2. Devops Agent v1 - 설계 - v1 구조 - v1 소개 - 현재 SW stack 3. Devops Agent v2 - v1의 한계 - v2 구조 4. 시스템 동작과 특징 - Trigger Queue - 이상 탐지 방법 ...
비슷한 학습 자료
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 오프닝 키노트: 연결의 진화, 경험의 확장 (English sub)
컨퍼런스 DAN 2025
AI와 함께하는 네이버의 연결의 진화, 경험의 확장 Beyond Connection, Expanding experiences 팀네이버 컨퍼런스 DAN25의 오프닝 키노트에서는 DAN24에서 발표되었던 'On-service AI' 전략을 고도화한 AI 에이전트 ‘Agent N’가 공개되었습니다. 네이버는 그동안의 경험과 기술력을 바탕으로, 쇼핑∙검색∙광고 등 네이버 주요 서비스에 순차적으로 고도화된 에이전트를 도입할 예정입니다. 다양한 서비스부터 B2B까지 아우를 네이버의 'Agent N'을 기대해 주세요. Introducing NAVER's AI Agent Strategy — a vision for new connections across everyday life, business, and society in the AI era. * DAN25 오프닝 키노트를 포함한 전 세션 다시보기는 네이버 공식 네이버TV, 유튜브 계정에서 곧 만나볼 수 있습니다. #DAN #DAN25 ...
AI에이전트 개발
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 발췌에서 생성으로: 네이버 검색의 진화
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 발췌에서 생성으로: 네이버 검색의 진화 본 세션에서는 생성형 AI를 활용하여 네이버 검색 결과를 요약 제공하는 AI브리핑 서비스를 소개하고, 서비스 출시 과정의 기술과 노하우를 공유합니다. 서비스를 구성하는 컴포넌트별로 필요한 LLM 모델을 튜닝하고, 파이프라인을 구축하여 서빙하는 과정, 그리고 서비스별 니즈를 만족시키기 위해 특화된 LLM모델링 및 프롬프트 엔지니어링을 수행하는 과정들에 대해 공유합니다. 목차 1. AI브리핑 소개 - 검색과 AI의 만남 - AI브리핑 시스템 overview - AI브리핑의 다양한 라인업 및 성과 2. AI브리핑 시스템 들여다보기 - AI브리핑을 위한 검색 시스템 소개 - 지속가능한 모델 개선 파이프라인 - AI브리핑 등장 후 네이버 검색 품질의 변화 3. 서비스 특화된 AI브리핑 - 다양한 사용자의 요구를 만족하기 위한 차별화된 시도 - Docume...
AI에이전트 개발 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 메신저 속 AI 오퍼레이터: LLM 기반 ChatOps 도구와 함께하는 팀네이버 SRE “AI와 함께 움직이는 팀네이버 SRE” 예상치 못한 재난·사회적 이벤트가 발생하면 네이버 전사 서비스는 단 몇 초 만에 폭증하는 트래픽과 수많은 변수에 직면합니다. 충주 지진, 대통령 선거와 같은 순간에도 팀네이버 SRE는 하나의 유기체처럼 움직이며 신속하고 정교하게 대응해 왔습니다. 그리고 올해, LLM 기반의 AI 오퍼레이터인 SRE 챗봇을 도입하며 장애 대응 패러다임을 한 단계 끌어올렸습니다. 주요 대응 업무는 모바일에서 대화하듯 처리되고 AI가 즉시 상황을 요약·전달하며 의사결정의 속도와 정확도가 향상되었습니다. 이번 세션에서는 팀네이버 SRE가 AI를 기술적으로 어떻게 활용하고 있는지, 그리고 실제 운영 사례와 성과를 확인하실 수 있습니다. 목차 1. 팀네이버 SRE가 걸어온 길 - 사람 중심으로 변경에 따른 장애를 줄이다. -...
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] 검색 서비스에 최적화된 LLM 만들기: 데이터, 학습, 서비스 적용 사례 범용 LLM은 강력하지만 매일 수십억 건의 질문과 답을 다루는 실제 검색 서비스에 그대로 적용하기에는 한계가 있다. 본 발표에서는 "검색 서비스 특화 LLM"을 만들고 실제 서비스에 적용해본 경험담을 공유한다. 검색 로그에서 출발한 데이터 가공 레시피 적용과 다양한 데이터 조합 실험, 특히 기존 범용 성능을 유지하면서도 서비스 맞춤 기능을 끌어올린 실험 결과와 데이터 최적화 노하우를 공유한다. 실제 서비스 적용 관점에서는 보다 신뢰성있는 검색 결과를 사용자에게 제공하기 위한 AuthGR과 전통적인 정보 검색 과정을 하나로 통합해 제시하는 AI briefing 을 소개한다. 이를 통해 범용 LLM 대비 검색 서비스 특화 모델의 효용성을 확인할 수 있으며, 네이버가 검색 품질 개선을 위해 갖고있는 고민과 앞으로의 방향성을 엿볼 수 있다. 목차 1. 서비스 특화 LLM 의 필...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] NextN Search: 끊임없이 진화하는 네이버 검색
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] NextN Search: 끊임없이 진화하는 네이버 검색 네이버 검색은 언제나 한 방향을 향해 진화해 왔습니다. 사용자가 원하는 정보를 더 정확하게 찾아주고, 양질의 네이버 콘텐츠를 더 효과적으로 보여주는 것, 그것이 변화의 본질입니다. NextN Search는 이러한 목적 아래, 검색 시스템 전반에 걸친 전방위 개편을 시도했습니다. 비효율적인 블록 영역을 최적화하고, 블록 중심의 결과를 개별 콘텐츠 피드 단위로 재구성함으로써 랭킹의 정교함과 해상력을 높였으며, 맞춤형 콘텐츠 추천을 통해 사용자가 체감할 수 있는 개인화 경험을 제공합니다. 본 세션에서는 NextN Search에 적용된 핵심 기술의 개발 과정과 실서비스 적용 경험을 공유합니다. 또한 LLM·VLM을 다양한 검색·추천 태스크에 활용한 실전 노하우를 통해, 최신 AI 모델이 실제 서비스에서 어떤 가치를 만들어내는지 구체적으로 살펴봅니다. 아래는 세션의 주요 목차입니다. NextN Sea...
딥러닝 · 머신러닝 자연어 처리
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Multi-AI Agent 개발: 레퍼런스 아키텍처와 구현 전략
컨퍼런스 DAN 2025
[팀네이버 컨퍼런스 DAN25] Multi-AI Agent 개발: 레퍼런스 아키텍처와 구현 전략 이 세션에서는 Multi-Agent 시스템의 개념부터 실제 구축과 활용 사례까지를 폭넓게 다루며, 다양한 프레임워크와 아키텍처 설계를 통해 얻은 경험과 노하우를 공유합니다. 단일 에이전트의 한계를 극복하기 위해 여러 에이전트가 협력하는 구조를 어떻게 설계할 수 있는지, Supervisor와 Swarm을 통한 조율 방식은 어떤 차이가 있는지, 그리고 효율을 높이기 위해 어떤 프레임워크를 선택해야 하는지에 대해 구체적으로 살펴봅니다. 실제 구축 과정에서 직면했던 문제들과 그 해결 방법, 로그 분석과 RAG 기반 질의응답 정확도 향상을 위해 도입한 다양한 접근 방식, 그리고 여러 차례의 시행착오 끝에 정리된 아키텍처 설계 팁을 공유합니다. #DAN #DAN25 #TEAMNAVERCONFERENCE
AI에이전트 개발