토스ㅣSLASH 24 - 미처 알지 못했던 Kernel까지 Observability 향상시키기
SLASH 토스 · YouTube
AI 핵심 요약
커널 내부가 블랙박스처럼 보여 CPU 비효율과 Redis의 간헐적 지연 원인을 찾기 어려웠던 경험을 eBPF 기반 관측으로 풀어냈습니다. CPU 분석에서는 페이지 폴트와 NUMA 원격 메모리 접근을 확인하고, 쿠버네티스에 소켓 단위 CPU·메모리 배치를 구현해 로컬 메모리 접근을 유도한 결과 클러스터 CPU 사용률이 13% 향상됐습니다. Redis 지연 사례에서는 패킷 수신부터 인터럽트와 타이머 경로까지 측정 범위를 좁혀 커널의 추정 타이머 실행이 원인임을 확인했고, Calico 대신 Cilium을 적용해 문제를 해소했습니다. 두 사례는 eBPF로 가설을 수치와 실행 경로로 검증하고, 커널과 하드웨어 영역까지 원인을 추적하는 것이 운영 문제 해결에 중요하다는 점을 보여줍니다.
- CPU 사용률만으로 연산과 메모리 대기 시간을 구분하기 어려우므로, 페이지 폴트와 NUMA 원격 메모리 접근을 함께 살펴보세요.
- CPU 피닝이나 메모리 피닝만으로는 CPU 안정성과 로컬 메모리 접근을 동시에 보장하기 어려울 수 있습니다.
- 이벤트가 매우 빈번한 경로를 로그로 수집하면 이벤트 누락과 부정확한 측정이 생길 수 있으므로, 목적에 맞는 eBPF 도구와 계측 지점을 선택해야 합니다.
- 함수별 지연 측정에서 원인이 드러나지 않으면 패킷 처리 흐름과 인터럽트 경로를 따라가며 범위를 단계적으로 좁히세요.
- 관측 결과를 바탕으로 커널 옵션이나 네트워크 정책 구현을 바꾸기 전에, 스택과 타이머 실행 경로까지 확인해 근본 원인을 검증하세요.
소개
이론으로, 감으로 예상만 하던 kernel 영역까지 명확하게 확인할 수 없을까요? eBPF를 활용해 observability를 대폭 향상시킨 경험을 나눕니다. 이항령 / Head of Server 이재성 / DevOps Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #kernel #observability #devops #backend 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포...
비슷한 학습 자료
컨퍼런스 SLASH
토스ㅣSLASH 24 - Kubernetes CPU 알뜰하게 사용하기
컨퍼런스 SLASH
서버를 증설하지 않으면서 트래픽을 2배 이상 받으려면 어떻게 해야 할까요? Kubernetes 환경에서 CPU를 최적화한 경험을 나눕니다. 김동석 / DevOps Team Leader 이재성 / DevOps Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #devops #kubernetes #토스뱅크 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모...
데브옵스 · 인프라
컨퍼런스 SLASH
업무를 더 효율적으로, 최대의 성과를 낼 수 있는 법은 무엇일까요? 클러스터 운영부터 서비스 라이프사이클 관리까지, 데브옵스 업무 효율화 사례를 소개합니다. 양석준 / DevOps Engineer 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #devops #cluster 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다. *토스가 다루는 모든 개인정보는 고객에게 동의를 받은 후에 처리...
데브옵스 · 인프라
컨퍼런스 SLASH
토스ㅣSLASH 24 - SSE 이벤트 푸쉬로 불필요한 Polling 제거하기
컨퍼런스 SLASH
'실시간' 업데이트가 중요한 증권 서비스! 이를 위해 서버에서 클라이언트까지 푸쉬 구조를 구축하고, SSE로 안정적이고 신속한 데이터 업데이트를 구현한 방법을 소개합니다. 전연빈 / 토스증권 Server Platform Team Leader 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #server #sse #backend #토스증권 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니다....
백엔드 네트워크
컨퍼런스 SLASH
Hyperthread는 어플리케이션에 어떤 영향을 미칠까요? CPU의 구조와 이를 더 자세히 모니터링 할 수 있는 Top down 분석 방법도 함께 살펴봅니다. 최준우 / 토스 Server Deveopler 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://toss.im/slash-24 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #토스 #개발자컨퍼런스 #SLASH #SLASH24 #server #backend #hyperthread #cpu #observability 유의 사항 *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작권 및 배포전송권에 위배됩니...
시스템 · 운영체제
컨퍼런스 SLASH
[수십만 개의 가맹점 * 수백 개의 MSA 서비스 * 복수의 k8s cluster * 수십 개의 원천사] 의 조합 복잡도를 가진 토스페이먼츠가 안정적인 서비스 운영을 위해 분산 추적 체계와 로그를 기반으로 구성한 ‘Observability 체계’를 소개합니다. 하태호 / 토스페이먼츠 Server Platform Team Leader 발표 자료 👉🏻 https://bit.ly/3CkVNja 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #msa #kubernetescluster #serverdeveloper #토스페이먼츠 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포...
백엔드 데브옵스 · 인프라 로드맵 1개에 담김
컨퍼런스 SLASH
토스ㅣSLASH 23 - 프로파일러로 시스템 성능 향상시키기
컨퍼런스 SLASH
서비스 운영 과정 속 여러 장애들, 어떻게 그 원인을 빠르고 정확하게 파악할 수 있을까요? 상황에 맞는 다양한 ‘프로파일러’로 문제 원인을 파악하고 또 해결한 과정을 소개합니다. 조유성 / 토스 Frontend Developer 발표 자료 👉🏻 https://bit.ly/42ypWpE 토스 개발자 컨퍼런스 SLASH에 대한 자세한 정보는 👉🏻 https://bit.ly/43kW3tO 컨퍼런스 및 세션에 대한 문의는 👉🏻 slash@toss.im 토스에 합류하고 싶다면 👉🏻 https://toss.im/career/jobs #profiler #서비스성능 #serverdeveloper #토스 #개발자컨퍼런스 #SLASH *본 발표자료의 저작권은 연사에 있으며, 저작권자의 사전 서면 동의 없이 자료의 일부 또는 전부를 이용하거나 배포할 수 없습니다. *또한 해당 자료를 복제하여 SLASH 행사 홈페이지를 제외한 온라인상에 게재하는 행위는 연사가 동의한 저작...
백엔드 데브옵스 · 인프라 로드맵 2개에 담김