누군가는 토스를 테스트하는 동안, 우리는 테스트하는 법을 만듭니다.

매주 수백 건의 변경이 쌓이는 토스에서 QA Platform 팀은 릴리즈 전후의 품질을 일관되게 지키기 위해 스모크·리그레션 테스트와 크래시 모니터링을 수행합니다. TestRail을 대체한 토션을 중심으로 PR 변경 분석기 PRCheck, 테스트 케이스 초안을 만드는 tcgen, 자동화 테스트 결과 통합과 핫픽스 대시보드 등을 구축해 반복 업무를 효율화했습니다. 하지만 테스트 케이스 작성 도구만 제공하는 것은 사용자에게 새 일을 맡기는 것일 수 있다는 점을 깨닫고, 테스트를 직접 처리하면서 품질까지 책임지는 방향으로 목표를 바꿨습니다. AI가 도구를 빠르게 만들 수 있어도 품질 기준과 방향은 사람이 정해야 하며, 맞지 않는 도구는 과감히 바꾸거나 폐기할 수 있어야 한다고 강조합니다.

• 릴리즈 후보에서는 스모크 테스트로 핵심 흐름을 확인하고, PR 변경 영향에 따라 테스트 우선순위를 정하세요.
• 테스트의 양보다 실제 사고로 이어질 결함을 찾아내는 정확도가 중요합니다.
• AI 도구는 테스트 초안 생성에 그치지 않고, 사용자가 실제로 덜어내고 싶어 하는 업무를 해결하는지 검증해야 합니다.
• 실험한 도구가 맞지 않으면 빠르게 폐기하고, 시스템은 더 나은 방식으로 교체할 수 있게 설계하세요.
• 핫픽스는 속도만으로 결정하지 말고 필요성과 재발 방지까지 함께 고려하세요.