토스ㅣSLASH 23 - 실시간 시세 데이터 안전하고 빠르게 처리하기
SLASH 토스 · YouTube
AI 핵심 요약
거래소에서 들어오는 시세 데이터는 지연이나 누락이 투자자에게 혼란을 줄 수 있어, 토스증권은 낮은 지연 시간과 빠른 장애 복구를 목표로 시세 플랫폼을 구성했습니다. 처리부와 Redis를 두 그룹으로 나눠 장애 시 정상 그룹으로 전환하고, 수신부와 처리부 사이에는 Kafka 대신 지연 시간이 짧은 Redis Pub/Sub을 선택했습니다. 처리부는 Spring Data Redis의 ReactiveRedisTemplate과 Lettuce·Netty를 활용해 소켓 읽기와 비즈니스 로직을 분리하고, 이벤트 루프 그룹으로 처리 순서를 유지하면서 로컬 캐시와 비동기 저장으로 블로킹을 줄였습니다. 성능 테스트와 소켓·CPU 모니터링을 거쳐 목표 트래픽인 22,000 TPS에서 처리 시간을 1ms 이하로 달성했으며, 실시간 시스템에서는 처리량뿐 아니라 순서 보장과 유실 가능성도 함께 설계해야 한다고 설명했습니다.
- 장애 복구와 배포 롤백을 빠르게 하려면 처리부와 Redis를 이중 그룹으로 구성하고 트래픽 전환을 활용할 수 있습니다.
- Redis Pub/Sub은 구독자가 없을 때 메시지를 보관하지 않으므로, 데이터 유실을 감수할 수 있는 실시간 전달에 적합한지 따져야 합니다.
- Netty 이벤트 루프에서는 블로킹 I/O와 비즈니스 로직을 분리하고, 순서가 중요한 작업은 이벤트 루프 그룹으로 처리합니다.
- 이벤트 루프 수와 큐 크기는 고정된 정답이 없으므로 목표 트래픽을 재현하고 대기열과 지연 시간을 관찰해 조정해야 합니다.
- 처리량이 막히면 소켓 큐, CPU 프로파일, 불필요한 스레드와 이벤트 루프의 작업을 함께 점검합니다.
소개
토스증권의 시세 정보는 어떤 원리로 보이는 것일까요? 시세 플랫폼을 통해 시스템 구조와 개발 당시 고민했던 과정을 소개합니다. 정도원 / 토스증권 Server Developer 발표 자료 👉🏻 https://bit.ly/3IXHhl5 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #redis #reactiveredistemplate #serverdeveloper #토스증권 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩...
비슷한 학습 자료
컨퍼런스 SLASH
토스ㅣSLASH 24 - SSE 이벤트 푸쉬로 불필요한 Polling 제거하기
컨퍼런스 SLASH
'실시간' 업데이트가 중요한 증권 서비스! 이를 위해 서버에서 클라이언트까지 푸쉬 구조를 구축하고, SSE로 안정적이고 신속한 데이터 업데이트를 구현한 방법을 소개합니다. 전연빈 / 토스증권 Server Platform Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #server #sse #backend #토스증권 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다....
백엔드 네트워크
컨퍼런스 SLASH
토스ㅣSLASH 24 - 전천후 데이터 분석을 위한 DW 설계 및 운영하기
컨퍼런스 SLASH
최소한의 context switching만으로 어떻게 다양한 도메인 영역을 분석할 수 있을까요? 토스의 데이터웨어하우스 테이블 구축 및 운영기를 소개합니다. 이준호 / 토스증권 Data Warehouse Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #data #datawarehouse #dataplatform 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토...
데이터베이스
컨퍼런스 SLASH
토스ㅣSLASH 24 - 리플레이 검증으로 새로운 금융 시스템 안전하게 도입하기
컨퍼런스 SLASH
거대한 금융 시스템을 운영 환경에 안전하게 도입하려면 어떻게 해야 할까요? 토스증권의 국내원장 차세대 프로젝트와 토스뱅크의 대출 시스템 검증 과정을 공유합니다. 양승영 / 토스증권 Server Developer 박종수 / 토스뱅크 Server Developer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #server #backend #bankingsystem 유의 사항 *본 발표 자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저...
백엔드 소프트웨어 테스트
컨퍼런스 SLASH
일평균 56억 건 이상 수집되는 토스증권의 로그, 어떻게 효율적으로 처리할까요? 큰 폭으로 늘어나는 대규모 로그 처리를 위한 ‘Elasticsearch 클러스터 개선 경험’을 소개합니다. 이준환 / 토스증권 Data Engineer 발표 자료 👉🏻 https://bit.ly/3WW5jm2 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #elasticsearch #데이터센터 #dataengineer #토스증권 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동...
데이터베이스 데브옵스 · 인프라
컨퍼런스 SLASH
토스ㅣSLASH 23 - AI와 함께 가짜 신분증 찾아내기
컨퍼런스 SLASH
비대면 서비스의 편리함을 악용하는 금융 범죄, 더 똑똑하게 대처하는 법은 없을까요? 가짜 신분증을 활용한 이상 거래 탐지 및 예방을 위해 개발한 ‘이미지 학습 솔루션’을 소개합니다. 김연재 / 토스뱅크 Server Developer 발표 자료 👉🏻 https://bit.ly/3J3CWwN 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #이상거래탐지 #ai #serverdeveloper #토스뱅크 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 ...
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 SLASH