토스의 속도와 품질, 상용 도구로 충분한가 — 토션(Tossion)

테스트 케이스와 자동화·수동 테스트 결과가 여러 도구에 흩어져 과거 검증을 확인하기 어렵고, 상용 TCM은 필요한 개선을 빠르게 반영하기 힘들어 토스 QA Platform 팀은 자체 플랫폼 토션을 만들었습니다. 테스트 런에 당시 테스트 케이스 정보를 복사하고 상태 변경 이력을 쌓으며, 종료 시 결과를 스냅샷으로 고정해 원본이 바뀌거나 삭제돼도 기록을 보존합니다. 토션에는 PR 위험 분석, AI 테스트 케이스 생성, 실기기 회귀 테스트 실행과 결과의 테스트 케이스별 연결을 추가했고, 규칙 검증·누락 대조·재실행으로 신뢰성과 추적성을 보강했습니다. 그 결과 릴리즈 범위와 검증 근거, 사람·자동화의 결과를 한곳에서 확인할 수 있게 됐으며, 팀의 요구에 맞춰 도구와 업무 방식을 직접 진화시키는 기반을 마련했습니다.

• 테스트 케이스는 계속 바뀌지만 테스트 런에는 당시의 값과 판정 이력을 복사해 두어야 과거 결과를 재현할 수 있습니다.
• AI 분석은 결과를 잘 만드는 것뿐 아니라 PR 수 대조, 규칙 기반 검증, 실패 항목 재분석으로 누락을 막아야 합니다.
• 테스트 케이스 생성에서는 트리 구조를 시스템이 관리하고, 독립적인 테스트 계획과 대조해 화면 중심 검증의 빈틈을 찾을 수 있습니다.
• 자동화 결과를 리포트에만 두지 말고 테스트 케이스 단위로 연결하면 수동 검증 이력과 함께 추적할 수 있습니다.
• 실행 스텝별 상태·시간·스크린샷을 저장하고 AI 시각 검사를 더하면 자동화 코드가 놓치는 화면 품질 문제를 보완할 수 있습니다.