Flowise와 LLM을 활용한 에러 분석 자동화

불친절하거나 보안상 추상화된 에러 메시지 때문에 원인 파악과 해결에 시간이 들자, Flowise와 LLM을 이용해 에러 분석 및 대응 가이드를 자동화했습니다. Swagger의 OpenAPI 스펙, 요청 정보, 필터링한 스택 트레이스와 바이트코드에서 추출한 메서드 시그니처를 모델에 제공하고, Structured Output Parser로 action·reason·guide·inference를 JSON으로 받도록 구성했습니다. 분석 결과는 Slack으로 전달하며, 요청 헤더가 있는 경우에만 알리고 Redis를 이용해 같은 오류의 알림을 10분간 제한하는 정책을 적용했습니다. 운영 중에는 예외별 세부 정보와 프롬프트 예시를 보강해 설명을 구체화했으며, LLM 분석의 품질은 입력 컨텍스트와 알림 정책을 함께 다듬는 데 달려 있음을 보여줍니다.

• Swagger의 OpenAPI JSON을 LLM 컨텍스트로 제공하면 요청 경로와 HTTP 메서드를 도메인 맥락에 맞춰 해석하는 데 도움이 됩니다.
• 스택 트레이스는 서비스 코드에 해당하는 프레임만 남기고, 바이트코드에서 메서드 시그니처를 추출해 분석에 필요한 정보를 보강할 수 있습니다.
• Structured Output Parser로 응답을 JSON 필드로 고정하면 분석 결과를 알림이나 후속 처리에 활용하기 쉽습니다.
• 알림은 요청 헤더가 있을 때만 보내고 Redis로 동일 오류의 발송을 10분간 제한해 중복 알림을 줄입니다.
• 오류 유형별 세부 메시지와 프롬프트 예시를 추가하면 원인 설명과 해결 가이드를 더 구체화할 수 있습니다.