본문으로 이동
세금 환급 자동화 : AI-driven UI 테스트 자동화 일지
문서

세금 환급 자동화 : AI-driven UI 테스트 자동화 일지

정수호 · 토스 · 토스 기술 블로그

원본 보기

소개

QA가 코드를 거의 치지 않아도, 자동화 시스템은 완성될 수 있을까? AI에게 99%를 맡긴다면, 품질을 지킬 수 있을까?

AI 핵심 요약

세금 환급 서비스는 긴 플로우와 잦은 UI·정책 변경, 외부 연동과 실험 그룹 차이 때문에 혼자서 수십 개의 E2E 테스트를 안정적으로 유지하기 어려웠습니다. QA는 Claude Code를 중심으로 테스트 설계·문서화·Git 작업을 AI에 맡기고, Playwright 기반 테스트에 Page Object Model, 서비스별 약관 설정, 테스트 격리와 메신저 알림을 도입했습니다. React 화면에서는 단순한 대기 대신 상호작용 준비 상태를 확인하고 안전한 클릭 fallback을 적용했으며, 5개월 동안 테스트를 35개까지 확장해 운영 단계에 진입했습니다. 핵심 교훈은 AI가 구현 속도를 높여도 문제를 정의하고 품질과 방향을 검증하는 QA의 역할은 여전히 중요하다는 점입니다.

  • 셀렉터와 화면 조작 로직은 Page Object Model로 분리해 변경 지점을 줄이세요.
  • React UI 테스트에서는 요소가 보이는 상태와 이벤트 핸들러까지 준비된 상태를 구분해 기다리세요.
  • 서비스별 약관은 설정으로 중앙 관리하고, URL이나 화면 구조를 이용해 분기 처리를 단순화할 수 있습니다.
  • 테스트 데이터와 실행 결과를 격리·기록하면 실패 원인을 추적하고 자동화를 운영하기 쉬워집니다.
  • AI에 구현을 맡기더라도 요구사항과 제약을 명확히 전달하고 결과를 검증하는 역할은 사람에게 남습니다.