1%가 겪은 버그 고쳐야할까요?

토스는 점진 배포 중 발견된 버그를 심각도만으로 분류하기 어려웠습니다. 배포율 1%는 피해가 작다는 뜻일 수도, 아직 99%에 위험이 퍼지지 않았다는 뜻일 수도 있어, 핫픽스 진행 여부를 사용자 영향과 우회 가능성 등을 바탕으로 릴리즈 마스터와 QA 마스터가 함께 판단하도록 바꿨습니다. 크래시 URL에서 재현 경로와 기기·OS 정보를 정리하는 Claude 기반 crash-path를 만들고, 핫픽스와 보류 사유를 토션에 기록해 매달 재발 원인과 방지 조치의 이행 여부를 점검합니다. 기록을 번거롭게 해 핫픽스를 줄이려던 시도는 기록만 부실하게 만들었고, 초안 자동 작성과 반복적인 검토 체계로 방향을 바꾼 뒤 핫픽스가 줄고 있으며, 기준은 계속 다듬고 있습니다.

• 점진 배포율은 문제의 심각도를 그대로 나타내지 않으므로, 사용자 영향과 배포 확대 시의 잠재 위험을 함께 살펴야 합니다.
• 핫픽스 여부는 우선순위가 아니라 기본 기능·매출·규제 영향과 우회 가능성 등을 기준으로 결정합니다.
• 크래시 분석 자동화에서는 AI가 판정을 추측하게 두기보다, 재현 신호와 화면 이름을 정한 규칙을 적용하게 합니다.
• 사후 기록에 마찰을 더하면 기록만 줄어들 수 있으므로, 대화 맥락을 초안으로 채워 검토 부담을 낮추는 편이 효과적입니다.
• 재발 방지 조치는 담당자의 체크에만 의존하지 않고 이슈 티켓과 연결해 실제 완료 여부를 추적합니다.