GPU 네트워크 드라이버 가속 / if(kakaoAI)2024
if kakao 카카오 · YouTube
AI 핵심 요약
AI 워크로드에서 NIC 수신 데이터를 GPU로 옮길 때 호스트 메모리와 애플리케이션을 거치는 복사가 병목이 되며, 기존 DPDK식 제로카피는 커널 네트워킹 기능을 우회하고 NIC 자원을 독점하는 한계가 있다. 이를 개선하기 위해 Device Memory TCP는 NIC의 헤더 데이터 스플릿을 활용해 헤더는 호스트 메모리에서 커널 네트워킹 스택으로 처리하고, TCP 페이로드는 DMA로 GPU 메모리에 직접 전달한다. RSS 플로 스티어링과 큐별 링 버퍼를 이용해 일반 애플리케이션과 제로카피 애플리케이션의 공존도 가능하게 설계했다. 다만 당시에는 TX와 UDP 지원이 부족했고, 지원 NIC가 제한적이며 GPU 주소 변환과 비연속 페이지 처리는 애플리케이션 측 과제로 남아 있었다.
- RX 경로에서 NIC는 DMA로 패킷을 호스트 메모리에 옮기고, 커널 네트워킹 스택은 헤더를 처리한 뒤 TCP 페이로드를 애플리케이션에 전달한다.
- DPDK 같은 전통적 제로카피는 커널 스택을 우회하므로 프로토콜 처리와 네트워크 기능을 애플리케이션이 맡아야 하며, NIC 자원 독점 여부도 고려해야 한다.
- RSS는 패킷의 5-튜플 해시를 기준으로 큐를 선택해 같은 흐름을 같은 CPU 코어에서 처리하도록 한다.
- 헤더 데이터 스플릿을 지원하는 NIC에서는 헤더와 페이로드를 별도 메모리 영역에 배치할 수 있다.
- Device Memory TCP는 GPU 메모리 주소와 DMA 주소의 변환, 비연속 페이지 처리, NIC 하드웨어 지원 여부를 고려해야 한다.
소개
NIC에서 GPU로 zero copy로 데이터를 보내는 방법을 소개합니다. #Cloud 카카오엔터프라이즈에서 리눅스 커널을 개발하고 있는 Herbert입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-58 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
비슷한 학습 자료
컨퍼런스 if kakao
if(kakao)25 GPU 도입부터 LLMOps 구축, 그리고 이를 기반으로 LLM을 활용한 AI 에이전트 및 워크플로우 개발을 위한 플랫폼 개발 과정을 소개합니다. #TECH #AI #LLM 카카오페이에서 DevOps 업무를 담당하고 있는 유수지(stella.yu)입니다. 카카오페이에서 서버개발을 담당하고 있는 최원호(wayne.cai)입니다. AI Native 업무에 관심이 많습니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=42 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
데브옵스 · 인프라 AI에이전트 개발
컨퍼런스 if kakao
라스트마일 네트워크와 데이터센터 네트워크 성능을 모니터링하기 위해 각각 Network Error Logging과 eBPF를 도입한 과정과 이를 통해 네트워크 성능을 개선시킨 경험을 소개합니다. #Network Performance Monitoring #eBPF #Network Error Logging 카카오에서 네트워크 운영 및 관련 서비스 개발을 담당하고 있는 Dalgona입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-57 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
데브옵스 · 인프라 네트워크
컨퍼런스 if kakao
Media 가속기를 통해 저지연 멀티스트림 트랜스코딩을 달성하고 실시간 스트리밍하는 사례를 공유합니다. AI 가속기를 통해 영상에 Vision AI를 적용하여 스트리밍하는 방법을 소개합니다. #ML #Vison #Cloud #Video Streaming 카카오엔터프라이즈에서 Vision AI 관련 서비스를 개발하고 있는 Mjkim입니다. 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-21 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
컴퓨터 비전 클라우드
컨퍼런스 if kakao
NVIDIA Vice President for World-wide Developer Relations Ty McKercher 키노트 : NVIDIA AI Native Company 👇핵심만 골라보기 👇 ⏲️ Time Stamps 00:00 오프닝 01:15 엔비디아 소개 05:39 day-0 Titles 13:58 AI가 가져올 새로운 변화 15:08 NVIDIA와 카카오의 협업 17:58 지속가능한 AI 생태계 카카오 개발자 컨퍼런스 if(kakaoAI)2024에서 AI Native Company로써 엔비디아가 기울이고 있는 노력과 두 회사가 만들어나갈 AI 시너지를 공개하였습니다. 더 나은 일상을 모두에게 전하는 그날까지, 끊임없이 가깝고, 친근한 기술을 만들어 가겠습니다. 모든 연결을 새롭게 if(kakaoAI)2024 🔗 if(kakaoAI)2024 홈페이지 : https://if.kakao.com/
인공지능 기타
컨퍼런스 if kakao
카카오브레인에서 경험한 라지스케일 모델 학습 최적화 사례를 소개합니다. #Large-scale #Engineering 카카오브레인 Large-Scale AI Studio의 Monk입니다. 라지스케일 AI 를 실용적으로 사용하기 위해 항상 고민 중 입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-21 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
딥러닝 · 머신러닝
컨퍼런스 if kakao
네트워크 인프라에서 Kubernetes 서비스 네트워킹 지원하기 / if(kakao)2022
컨퍼런스 if kakao
카카오 인프라 제공자 관점에서 Kubernetes 서비스 네트워킹을 지원하는 방법과 변화 과정을 소개합니다. #Infrastructure #Networking #Kubernetes 카카오에서 로드 밸런싱 서비스를 운영하며 개발하고 있는 알란입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-53 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
데브옵스 · 인프라 네트워크