서비스 장애를 예방하는 방법: Chaos Engineering
엔지니어링데이 2025 네이버 · YouTube
AI 핵심 요약
외부 플랫폼과 사내 Redis 기반 캐시에 의존하는 뉴스 서비스는 실제 장애가 발생하기 전까지 외부 장애에 대한 동작을 충분히 검증하기 어려웠다. 발표자는 Chaos Engineering을 적용하고, Go로 작성된 TCP 프록시와 HTTP API를 제공하는 Toxiproxy를 테스트 환경에 구성해 주키퍼·Redis 게이트웨이 장애를 주입했다. 로컬 캐시로 서비스를 이어가고 장애 복구 후 재연결한다는 가설을 검증한 결과, 애플리케이션 실행 전에 발생한 주키퍼 장애에서는 커넥션 팩토리 생성이 실패해 서비스가 기동되지 않는 설계 문제를 발견했다. 장애를 의도적으로 재현하면 정상 경로 테스트로 놓치기 쉬운 SPOF와 초기화 단계의 취약점을 찾아 개선할 수 있다는 점을 공유했다.
- 카오스 실험은 정상 상태를 먼저 정의하고, 검증 가능한 가설과 장애 시나리오를 세운 뒤 결과를 확인하는 순서로 진행한다.
- Toxiproxy는 프록시 서버를 HTTP API로 제어해 지연, 타임아웃, 연결 종료 등 네트워크 장애를 주입할 수 있다.
- 테스트 환경에서 외부 의존성을 프록시 주소로 연결해야 장애를 통제할 수 있으며, HTTP API 방식은 여러 팀이 재사용하기 편리하다.
- 장애 주입 결과는 설계 검증뿐 아니라 초기화·연결 순서의 문제도 드러낸다. 주키퍼 연결을 애플리케이션 시작 시점에 필수로 요구하면 장애 때 기동 자체가 실패할 수 있다.
소개
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2024(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] * 신입 개발자가 뉴스서비스에 대해 탐구하고 개선하려고 노력했던 경험을 공유합니다. * 서비스의 장애를 예방하고 신뢰성을 높이기 위한 분야인 Chaos Engineering에 대해 소개합니다. * 뉴스서비스의 잠재적인 Single-Point-of-Failure(SPOF)를 예방하고자 했던 경험을 공유합니다. [목차] Episode 1: Chaos Engineering 1.1. Netflix의 IDC 장애 이후 클라우드 전환, 그리고 장애를 예방하기 위한 노력 1.2. Chaos Monkey, 모든 인프라에 대한 실패를 가정하고 인프라를 운영한다 Episode 2: Toxiproxy 2.1. Toxiproxy의 구조와 테스트 도구로 선택한 이유 2.2. proxy server 구성 방법 2.3. client 사용방법(Client,...
비슷한 학습 자료
컨퍼런스 당근 밋업
갑자기 서버에서 모든 아웃바운드 통신이 실패한다면 사용자는 어떤 경험을 하게 될까요? 그리고 에러 알림을 받은 엔지니어는 어떤 행동을 해야 할까요? 당근페이 팀은 Kubernetes 환경에서 Istio service mesh를 이용해 네트워크를 관리하며 JVM 애플리케이션을 운영하고 있어요. 어느 날 특정 Pod에서 모든 외부 통신이 불가능한 현상이 발생했어요. 이 현상은 짧지 않은 기간 동안 지속되었고, 그때마다 원인 분석과 가설을 바탕으로 문제 해결을 시도했지만 끈질기게 재발했어요. 정확한 원인을 찾아 문제를 해결하기까지 다양한 성능 개선이 이루어졌는데, 내결함성(fault-tolerance)과 탄력성(resilience)을 갖춘 시스템을 만들기 위해 당근페이 팀이 어떤 노력을 하고 있는지 이 세션을 통해 소개할게요. 🥕 영상을 보고 당근에 관심이 생기셨다면 채용 공고를 확인해보세요! https://about.daangn.com/jobs/
백엔드 데브옵스 · 인프라 네트워크
컨퍼런스 엔지니어링데이 2025
경험이 쌓일수록 똑똑해지는 네이버 통합검색 LLM Devops Agent
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] 네이버 통합 검색에서 더 나은 장애 대응 프로세스를 위해 LLM Agent를 활용하는 방식에 대해 소개합니다. Agent 를 어떤 방식으로 구성하고 구축했는지, 어떻게 평가하고 활용하고 있는지를 자세히 소개합니다. [발표 대상] 네이버 검색에서 장애 감지와 분석에 대해 궁금하신 분 LLM을 활용한 Agent 구성을 고민하시는 분 [목차] 1. 기존 장애 대응 프로세스 - 네이버 검색 흐름 - 기존 장애대응 프로세스 - 기존 방식의 문제점 2. Devops Agent v1 - 설계 - v1 구조 - v1 소개 - 현재 SW stack 3. Devops Agent v2 - v1의 한계 - v2 구조 4. 시스템 동작과 특징 - Trigger Queue - 이상 탐지 방법 ...
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 엔지니어링데이 2025
AI와 함께하는 프로젝트 자동화 : 더 빠르고, 더 스마트하게
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025 에서 발표되었던 세션을 공개합니다. [발표 내용] 로컬 환경에서 Ollama LLM과 mcp-agent를 연결해 빌드 실패 분석, 크래시 로그 요약, Slack 자동 리포트까지 구현했습니다. AI가 단순한 도구가 아닌, 프로젝트의 자동화 동료가 되는 과정을 공유합니다. [발표 대상] 로컬 LLM(Ollama)과 오픈소스 mcp-agent 를 활용한 AI 자동화 시스템 구축에 관심 있는 개발자 [목차] * AI와 자동화를 연결하기 * LLM을 활용한 빌드 실패 알림 자동화 * LLM을 활용한 크래시 모니터링 자동화 * Slack with LLM * LLM & MCP 면 만능일까?
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 엔지니어링데이 2025
AI가 지켜보는 데이터 파이프라인: 노이즈 제거부터 장애 대응까지
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 이 세션에서는 서비스를 운영하는 운영 담당자들이 AI를 활용하여, 운영 피로도를 낮추면서 운영 품질을 향상시키기 위한 방법을 소개합니다. 너무 많은 알림을 받고 있으나, 실제로 장애로 연결되지 않는 Noise 알림때문에 운영 리소스가 낭비되고 있는 상황을 개선하는 방법을 소개합니다. 항상 똑같은 대응을 반복하는 (로그 분석, 원인파악, 장애공유, 대응책 수립, 복구 수행) 운영담당자분들이 AI를 활용해서 더 빠르고 신속하게 장애를 대응할 수 있도록 합니다. [발표 대상] * 데이터 파이프라인을 개발 및 운영하는 운영 담당자분들 * AI를 서비스 운영에 활용하는데 관심이 있는분들 [목차] 0. Intro 1. 도입 배경 2. AI를 활용한 장애처리 자동화 3. 로그 데이터 전처리 4. Noise 분류 모델 5. AI Assistant 6. 적용 사...
데브옵스 · 인프라 인공지능 기타
컨퍼런스 엔지니어링데이 2025
데이터는 흐른다, 연결될 준비가 되었다면
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2025(5월)에서 발표되었던 세션을 공개합니다. [발표 내용] 유저 세그먼트를 손쉽게 정의하고, 이를 다양한 액션 채널(Braze, IDS, GAM 등)과 자동 연동할 수 있는 네이버 웹툰의 Cohort System을 소개합니다. 조건 기반 필터링, ML 모델 연동 등 다양한 방식으로 세그먼트를 만들고, 중복 제거 로직과 함께 효율적으로 활용할 수 있습니다. 시스템 구조와 기술 스택, 실제 마케팅 활용 사례까지 함께 공유하며, 데이터에서 인사이트, 나아가 액션까지의 연결을 어떻게 자동화했는지를 설명합니다. [강의 대상] * 데이터 엔지니어 / 백엔드 엔지니어: 데이터 흐름 자동화, 시스템 구조에 관심 있는 분 * ML 엔지니어 / 데이터 사이언티스트: ML 결과를 실시간 타겟팅에 적용하고 싶은 분 * 마케터 / PM: 타겟 유저 추출과 액션 전환까지의 전체 흐름을 이해하고 싶은 분 [목차] Episode 1...
백엔드 데이터베이스
컨퍼런스 엔지니어링데이 2025
네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY(7월)에서 발표되었던 세션을 공개합니다. ----- 안녕하세요, Portal FE 조문기입니다~ 저는 회사 내적으로는 네이버 통합검색의 프론트엔드를 담당하고 있습니다. 스마트블록, 인플루언서, VIEW 등 각 컬렉션의 얼굴(?)을 관리중이니 많은 관심 부탁드립니다. 그리고 Meerkat이라는 통합검색 클라이언트 에러 모니터링 시스템 개발에 참여하고 있습니다. [강의 내용] 웹 테스트 동향 소개 네이버 통합검색과 에러 Meerkat 프로젝트 소개 - Meerkat v1 : Global Error Handler - Meerkat v2 : Breadcrumbs Based Session Replay - Meerkat v3 : Browser-Side Assertion for Automated Test Generator 새로운 패러다임 : 코드가 아닌 데이터 기반의 테스트 [강의 대상] 테스트 코드 작성이 ...
프론트엔드 소프트웨어 테스트