클라우드 볼륨 서비스 가속화 사례 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
카카오 클라우드 볼륨 서비스는 Ceph 운영 인력 부족과 장애 영향 범위 파악의 어려움을 해결하기 위해 자체 분산 스토리지 Tenth2로 백엔드를 전환했습니다. 초기에는 Ceph 프로토콜을 흉내 내는 게이트웨이를 사용했지만, 비효율적인 API 호출과 네트워크 오버헤드가 생겨 Ceph를 제거하고 OpenStack에 Tenth2를 네이티브하게 연결하는 방향으로 바꿨습니다. 여러 드라이버 구조를 검토한 끝에 별도 프로세스에서 동작하는 SPDK vhost 기반 드라이버를 구현하고, 비동기 I/O와 Tenth2의 API·쓰기 락 구조도 함께 최적화했습니다. fio 측정에서 기존 게이트웨이보다 순차 I/O 처리량은 최대 200% 이상, 랜덤 I/O는 80% 이상 향상됐으며, 발표에서는 볼륨 마이그레이션과 스냅샷·저널링을 향후 과제로 제시했습니다.
- 기존 시스템과의 호환을 위해 게이트웨이를 두면 전환은 쉬워도 프로토콜 변환과 추가 네트워크 홉이 성능 병목이 될 수 있습니다.
- 드라이버 실행 위치를 고를 때는 성능뿐 아니라 배포 시 재시작 범위와 장애가 전파되는 프로세스 경계도 고려해야 합니다.
- SPDK의 폴링 기반 비동기 I/O와 공유 메모리 구조를 활용하면 커널 경로와 컨텍스트 스위칭 비용을 줄일 수 있습니다.
- 분산 스토리지의 쓰기 락 범위를 파일 전체에서 실제 쓰기 영역으로 좁히면 같은 오브젝트 안의 병렬 처리를 높일 수 있습니다.
소개
카카오의 클라우드 볼륨 서비스를 개선한 사례를 소개합니다. 스토리지 백엔드로 사용해오던 Ceph를 카카오 자체 개발 분산 스토리지 서비스인 Tenth2로 전환한 개발 과정을 공유합니다. #Storage 카카오에서 클라우드 분산 스토리지를 개발하고 있는 맥스입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-50 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
카카오 서비스들은 어떻게 CI/CD 를 하는가? / if(kakaoAI)2024
컨퍼런스 if kakao
수 천개의 쿠버네티스 멀티 클러스터 위에서 동작하는 카카오의 서비스들이 어떻게 CI/CD를 하는 지를 설명하고, GitOps, MSA 등의 개발 철학을 지키면서 클라우드 전환 이후 생긴 문제들을 해결하기 위한 CI/CD Pipeline 플랫폼 설계에 필요했던 고민을 공유하려 합니다. 또한 외부 솔루션 사용에 대한 고민, 자체 서비스 구축을 통한 비용 절감에, 두 번의 리팩토링을 통해 얻은 교훈들 그리고 시간을 돌려 다시 만든다면 어떤 부분을 다르게 할 것인지에 대한 생각도 함께 전합니다. #cloud #CI/CD 카카오 클라우드 컴퓨팅에서 CI/CD 플랫폼을 개발 운영하고 있는 Peny입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-70 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라
컨퍼런스 if kakao
카카오 T 대리 신규 커넥션 서버 개발기 / if(kakao)2022
컨퍼런스 if kakao
본 세션에서는 카카오 T 대리 서비스에서 소켓 통신을 담당하는 커넥션 서버를 왜 새롭게 개발하게 되었는지 말씀드리고, 새롭게 개발한 커넥션 서버의 설계와 그 구현 방법에 대해서 소개하겠습니다. 그리고 개발 과정에서 마주했던 문제들과 그 해결책들을 공유드리겠습니다. #NetworkSocket 카카오모빌리티에서 카카오 T 대리 서비스의 백엔드 개발을 맡고 있는 제이입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-34 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
백엔드 네트워크
컨퍼런스 if kakao
네트워크 인프라에서 Kubernetes 서비스 네트워킹 지원하기 / if(kakao)2022
컨퍼런스 if kakao
카카오 인프라 제공자 관점에서 Kubernetes 서비스 네트워킹을 지원하는 방법과 변화 과정을 소개합니다. #Infrastructure #Networking #Kubernetes 카카오에서 로드 밸런싱 서비스를 운영하며 개발하고 있는 알란입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-53 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데브옵스 · 인프라 네트워크
컨퍼런스 if kakao
카카오 분석플랫폼 변천사 / if(kakao)2022
컨퍼런스 if kakao
카카오내 수천억건이 넘는 데이터 환경에서 비즈니스 의사 결정을 도울 수 있는 데이터 분석플랫폼을 구축한 사례를 분석 플랫폼의 변화 과정을 통해 공유 드리고자 합니다. #AnalysisPlatform 카카오 데이터 연구실에서 데이터분석플랫폼을 개발하고 있는 jay 라고 합니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-61 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데이터베이스 인공지능 기타
컨퍼런스 if kakao
쿠버네티스 펀하고, 쿨하고, 섹시하게 / if(kakao)2022
컨퍼런스 if kakao
카카오 엔터프라이즈에서는 cluster api와 다양한 plugin을 이용하여, 개발자들에게 용도에 맞는 k8s를 제공하고 있습니다. 그리고 이 환경을 기반으로 모든 클라우드 배포 환경을 k8s를 이용하여 구현할 수 있었습니다. 카카오 엔터프라이즈에서 사용중인 선언적인 kubernetes as a service 개발 방법 공유! 이것이 선언적인 방법이니까! 음! #Kubernetes #ClusterAPI #Kubernetesasaservice 카카오엔터프라이즈에서 퍼블릭 클라우드 서비스를 개발하고 있는 벅과 곤잘레스 입니다. 카카오아이클라우드 최고에요~! 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-58 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #i...
데브옵스 · 인프라 클라우드
컨퍼런스 if kakao
같지만 다른 은행에서 퍼블릭 클라우드 사용하기 / if(kakao)2022
컨퍼런스 if kakao
카카오뱅크는 같지만 다른 은행을 만들기 위해 지속적으로 혁신 중입니다. 은행이 지켜야할 규제와 개발생산성 사이에서 계속 고민하고 있습니다. 카카오뱅크가 클라우드 사용을 준비하는 과정에서 무엇을 해야 했는지, 규제를 비롯한 여러 요구사항들과 이를 기반으로 설계한 아키텍쳐를 간략하게 공유 드립니다. 그리고 IaC로 무엇을 얻었고, 어떤 청사진이 있는지 소개합니다. #금융 #IaC #AWS #카카오뱅크 카카오뱅크에서 클라우드 엔지니어로 일하고 있는 척입니다. 금융의 클라우드 네이티브라는 멋진 목표를 가진 팀 안에서 즐겁게 일하고 있습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-56 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데브옵스 · 인프라 클라우드