문서

쉼 없이 도는 테스트, 사람이 어디까지 돌봐야 할까요? - 토스닥터(Toss Doctor)

강연신/안재은/한가영 토스 · 토스 기술 블로그

AI 핵심 요약

매주 쌓이는 RC 빌드마다 반복하던 핵심 흐름의 수동 스모크 테스트를 줄이기 위해, 토스 QA Platform 팀은 토스닥터 V2를 다시 설계했습니다. 사람은 Gherkin 시나리오로 검증 의도를 적고 LLM과 Appium MCP가 실행 코드를 만들며, 스마트파인더는 화면을 가리는 요소를 처리하고 실패 분석 결과에 따라 복구 가능한 locator 오류 등을 자동으로 수정합니다. 서버는 실기기 설치부터 테스트 실행, 스텝별 실패 대응과 결과 전달까지 양방향으로 연결하고, 검증 단계에서는 유사 요소를 대신 인정하지 않아 거짓 성공을 막습니다. 이 구조는 한국어 BDD와 self-healing을 활용하는 토스체커의 기반이 됐으며, 사람은 반복 실행보다 검증 범위와 자동화 기준을 설계하는 데 집중할 수 있다는 점을 보여줍니다.

테스트 의도를 Gherkin의 Given-When-Then 시나리오로 작성하고, 코드 생성은 LLM과 Appium MCP에 맡길 수 있다.
UI 탐색은 화면에 보이는 정보부터 확인하고, 실패할 때만 전체 XML을 살펴보는 단계적 접근으로 비용을 줄인다.
요소를 찾지 못했을 때 팝업 같은 화면 방해 요소는 제거하되, 검증 단계에서 비슷한 요소를 대신 눌러 거짓 성공을 만들지 않도록 한다.
실패 분석에는 오류 화면뿐 아니라 직전 스텝의 화면도 함께 활용해 원인을 추적하고, 코드로 고칠 수 있는 실패만 자동 복구한다.
테스트 실행 중 서버와 테스트 프로세스가 스텝 단위로 양방향 통신하면, 실패 대응과 결과 전달을 실행 흐름에 연결할 수 있다.

소개

스스로 만들고 고치는 자동화, 토스닥터 V2를 다시 만든 이야기

비슷한 학습 자료

컨퍼런스 SLASH

토스ㅣSLASH 24 - 클릭 한 번으로 테스트 45만 개 완료! 테스트 자동화 플랫폼 구축기

컨퍼런스 SLASH

매일 45만 개의 테스트를 가장 빠르고, 매끄럽게 처리하는 방법은 무엇일까요? Playwright로 구축한 토스페이먼츠의 테스트 자동화 플랫폼을 소개합니다. 박정웅 / Node.js Developer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #nodejs #playwright #토스페이먼츠 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게...

프론트엔드 소프트웨어 테스트

문서 이정성

토스의 속도와 품질, 상용 도구로 충분한가 — 토션(Tossion)

문서 이정성

안녕하세요. 토스 QA Platform 팀 리더 이정성입니다. 지난 글에서 저희가 누구이고 무엇을 만들어 왔는지 짧게 소개해 드렸는데요. 오늘은 그 첫 번째 이야기, 저희만의 플랫폼 토션(Tossion)을 소개합니다. "이 기능, 지난번에 테스트 결과 어땠었죠?" QA라면 릴리즈 직전에 이 질문을 한 번쯤 받아 보셨을 겁니다. 저희도 받았고, 답을 드리는 데 시간이 걸리곤 했습니다. 자동화 테스트(Automation Test) 결과, 매뉴얼 테스트(Manual Test) 결과와 테스트 케이스(Test Case) 그리고 각 테스트의 ...

소프트웨어 테스트