문서

우리 팀에도 Jarvis 가 생겼다 – 생성형 AI 로 만든 에러 분석가 이야기

김성준 컬리 · 컬리 기술 블로그

AI 핵심 요약

에러 로그를 찾고 해석하는 데 시간이 오래 걸리고, 일반 검색으로는 시스템에 특화된 문제를 해결하기 어려워 Slack 알림을 분석하는 AI 비서 Jarvis를 만들었다. Slack Event Subscriptions와 LangChain을 통해 Gemini에 에러 분석을 요청하고, 역할·환경·맥락과 답변 항목을 구체화하는 방식으로 프롬프트를 개선했다. 에러 메시지만으로는 업무에 맞는 답변을 얻기 어렵다는 점을 확인한 뒤 MCP로 Datadog의 로그와 GitHub의 관련 코드를 연결하고, 로그 형식과 코드 주석도 정비했다. 실제 운영 문제에서 Jarvis가 진단과 대응 방안을 제시해 빠른 대응에 도움을 줬으며, 앞으로는 과거 Slack 대화의 해결 경험도 활용할 계획이다.

일반 검색 결과는 시스템 고유의 에러를 설명하기 어렵고, 검증 과정도 추가로 필요하다.
프롬프트에는 역할과 환경, 맥락을 명시하고 원인·중요도·조치 방안처럼 답변 항목을 구조화한다.
에러 메시지만으로 부족하다면 Datadog 로그와 GitHub 소스 코드 등 분석에 필요한 맥락을 함께 제공한다.
AI의 제안을 실무에 활용하려면 로그 형식과 속성, 코드 주석도 정비해야 한다.
과거 Slack 대응 대화를 축적해 팀의 해결 경험을 분석에 반영하는 방안을 고려할 수 있다.

소개

팀 내에서 생성형 AI 를 활용한 사례를 공유합니다.

비슷한 학습 자료

컨퍼런스 엔지니어링데이 2025

AI와 함께하는 프로젝트 자동화 : 더 빠르고, 더 스마트하게

컨퍼런스 엔지니어링데이 2025

네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] 로컬 환경에서 Ollama LLM과 mcp-agent를 연결해 빌드 실패 분석, 크래시 로그 요약, Slack 자동 리포트까지 구현했습니다. AI가 단순한 도구가 아닌, 프로젝트의 자동화 동료가 되는 과정을 공유합니다. [발표 대상] 로컬 LLM(Ollama)과 오픈소스 mcp-agent 를 활용한 AI 자동화 시스템 구축에 관심 있는 개발자 [목차] * AI와 자동화를 연결하기 * LLM을 활용한 빌드 실패 알림 자동화 * LLM을 활용한 크래시 모니터링 자동화 * Slack with LLM * LLM & MCP 면 만능일까?

데브옵스 · 인프라 AI에이전트 개발