토스ㅣSLASH 22 - 스크래핑으로 우아한 조회 경험을 만든 방법
SLASH 토스 · YouTube
AI 핵심 요약
마이데이터 이전 토스의 조회 서비스는 외부 스크래핑 솔루션의 불명확한 오류와 느린 처리 속도, 제한적인 운영 대응에 어려움을 겪었습니다. 팀은 JavaScript 기반 스크래핑을 내재화하고, WebView와 iframe·Web Worker를 활용한 미들웨어를 만들어 실행 단계별 로그와 워커 제어를 도입했습니다. 여기에 로그인 세션 재사용, 요청 병합과 IndexedDB 캐시, 스크립트 번들 최적화, 사이트별 병렬·순차 실행 설정을 더했습니다. 그 결과 발표에서 오류율은 30%에서 0.5%로, 평균 조회 시간은 20초에서 5초로 개선됐으며, 설정 변경도 배포 없이 할 수 있게 됐습니다.
- 스크래핑 파이프라인은 요청 생성부터 큐 처리, 스크립트 로드와 실행까지 단계별 로그를 남겨야 병목과 유실 지점을 찾을 수 있습니다.
- 로그인 세션을 재사용하면 반복 로그인과 사용자 알림을 줄일 수 있습니다.
- 요청 병합과 중복 제거, IndexedDB 캐시를 활용해 불필요한 스크래핑 호출을 줄일 수 있습니다.
- 사이트별로 병렬·순차 실행 조건이 다르므로 이벤트 컨슈머와 설정을 분리해 유연하게 제어하는 편이 좋습니다.
소개
토스의 조회 서비스, 사용해본 적 있나요? 마이데이터 이전, 스크래핑으로 개발한 제품을 운영하면서 마주쳤던 문제들과 해결 과정을 공유합니다. 김용성 / 토스 Node.js Developer (Web Automation) 발표 자료 👉🏻 https://bit.ly/39qKgUn 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-22 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
비슷한 학습 자료
컨퍼런스 SLASH
트래픽이 쏟아지는 마이데이터 서비스, 과연 어떻게 안정적으로 운영할 수 있을까요? 서비스 운영 과정에서 마주했던 여러 과제들과 기술적인 의사결정을 소개합니다. 신윤재 / Server Developer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #mydata #backend 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게 동의를 받은 후에 처...
백엔드 데이터베이스
컨퍼런스 SLASH
토스 웹페이지의 한 달 방문 횟수는 약 2억 번에 달합니다. 많은 횟수만큼 유저가 기다리는 시간도 상당했을 겁니다. 서버 사이드 렌더링(SSR)을 이용해 유저의 시간을 아낀 경험을 소개합니다. 김도환 / 토스 Frontend DevOps Engineer 발표 자료 👉🏻 https://bit.ly/3NOx8r9 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-22 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
웹 개발 프론트엔드
컨퍼런스 SLASH
토스ㅣSLASH 21 - 프론트엔드 웹 서비스에서 우아하게 비동기 처리하기
컨퍼런스 SLASH
API를 호출하거나 네이티브 앱과 통신할 때 프론트엔드 웹 서비스에서는 반드시 비동기 작업이 일어나게 됩니다. 일상처럼 다루고 있지만 정작 UI에서 다루기 힘든 비동기 프로그래밍. React Suspense를 이용하여 우아하게 처리하는 이론과 실전 적용법을 공유합니다. 박서진 / 토스 Frontend Developer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-21 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im #토스 #개발자컨퍼런스 #SLASH
프론트엔드 로드맵 2개에 담김
컨퍼런스 SLASH
토스ㅣSLASH 21 - 토스 데이터의 흐름과 활용
컨퍼런스 SLASH
토스ㅣSLASH 21 - 빠르게 성장하는 스타트업의 DW
컨퍼런스 SLASH