코끼리를 GPU에 넣는법: 실용적인 라지스케일 AI 학습을 위한 최적화 사례 공유 / if(kakao)2022
if kakao 카카오 · YouTube
AI 핵심 요약
대규모 모델을 일반적인 데이터 병렬 방식으로 학습할 때 GPU 메모리 한계와 멀티노드 통신 비용이 문제가 됐다. 발표자는 Microsoft의 ZeRO-1·2·3를 적용해 옵티마이저 상태와 그래디언트, 파라미터를 샤딩하고, 활성화 체크포인팅과 연산·통신 오버랩으로 메모리와 속도를 조정했다. 노드 간 통신 병목을 줄이기 위해 PyTorch의 PowerSGD를 결합한 계층적 파라미터 샤딩(HFSDP)을 구현했으며, 버킷팅과 오류 버퍼 처리 등 학습 중 발생한 문제도 해결했다. 발표에서 제시한 실험에서는 압축 적용 시 속도 향상을 관측했고, 학습 손실 곡선에 유의미한 차이가 없어 압축이 모델 학습에 미치는 영향도 확인했다.
- ZeRO는 옵티마이저 상태, 그래디언트, 파라미터를 단계적으로 샤딩해 데이터 병렬 학습의 메모리 중복을 줄인다.
- ZeRO-3의 통신 비용은 다음 레이어의 파라미터 수집과 연산을 겹치고, 절약한 메모리로 배치 크기를 늘려 보완할 수 있다.
- 멀티노드 환경에서는 노드 간 통신이 병목이 될 수 있으므로, 통신 압축을 적용할 때 샤딩 그룹과 압축 대상 그룹을 구분해야 한다.
- 손실 압축의 오차 피드백 버퍼는 메모리 부담과 비정상 그래디언트 전파를 일으킬 수 있어, 버퍼 재사용과 비정상 값 처리 방식을 함께 설계해야 한다.
소개
카카오브레인에서 경험한 라지스케일 모델 학습 최적화 사례를 소개합니다. #Large-scale #Engineering 카카오브레인 Large-Scale AI Studio의 Monk입니다. 라지스케일 AI 를 실용적으로 사용하기 위해 항상 고민 중 입니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-21 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
비슷한 학습 자료
컨퍼런스 if kakao
카카오톡 AI 에이전트를 위한 온디바이스 모델 최적화 및 적용
컨퍼런스 if kakao
if(kakao)25 온디바이스 환경의 제약 사항과 적용 가능한 솔루션을 소개하고, 양자화를 포함한 최적화 기술을 온디바이스에 적용하는 과정과 결과를 공유합니다. #TECH #AI #LLM 온디바이스 환경에서 언어 모델을 사용할 수 있도록 하는 것을 포함해 다양한 AI 기술을 탐색하고 적용하는 일을 하고 있는 노영만(alan.zero)입니다. 발표자료 보기 📍https://if.kakao.com/2025/session?sessionId=52 📍if.kakao.com if(kakao)25 홈페이지 : https://if.kakao.com/2025 #카카오 #kakao #이프카카오25
모바일 앱 개발 딥러닝 · 머신러닝
컨퍼런스 if kakao
GPU 네트워크 드라이버 가속 / if(kakaoAI)2024
컨퍼런스 if kakao
AI 기반 광고 콘텐츠 모니터링 기술 개발기 / if(kakaoAI)2024
컨퍼런스 if kakao
부적절한 광고소재 콘텐츠의 모니터링을 위해 사용한 이미지-텍스트 유사도 도출 모델의 소개와 학습 과정, 이를 고도화하기 위한 기술 개발 과정과, 기반 기술을 활용한 응용 사례를 소개합니다. #AI #광고소재필터링 #MultiModal Adaptive AI에서 다양한 인공지능 모델들을 학습하고 개발하는 Queue입니다! 최근에는 다양한 멀티모달 모델들에 대한 학습을 진행하고 있습니다! 발표자료 보기 👉 https://speakerdeck.com/kakao/ifkakao24-33 if(kakaoAI)2024에 대한 자세한 정보는 👉 https://if.kakao.com #카카오 #이프카카오 #개발자컨퍼런스 #AI #기술 #개발 #ifkakaoAI2024
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
초거대 AI 기술은 헬스케어에 어떻게 활용될 수 있을까? / if(kakao)2022
컨퍼런스 if kakao
기존 헬스케어 AI 기술 및 서비스들을 반면교사 삼아, 초거대 AI 기술이 앞으로 어떻게 활용 및 연구되어야 하는지에 대한 방향을 제안합니다. #Large-scale #MultiModal #Healthcare #Medicine #Radiology #CAD 카카오브레인 Chief Healthcare Officer인 Zeron 입니다. 라지스케일 AI를 기반으로 의료혁신을 만들기 위해 끊임없이 고민하고 노력하고 있습니다. 발표자료 보기 👉https://speakerdeck.com/kakao/ifkakao22-23 if(kakao)2022에 대한 자세한 정보는 👉 https://if.kakao.com if(kakao)2022에 대한 문의는 👉 if@kakaocorp.com #카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
딥러닝 · 머신러닝
컨퍼런스 if kakao
Preview AI_2 / if(kakao)2022
컨퍼런스 if kakao
if(kakao)2022 컨퍼런스에서 AI_2 관련 기술 발표 트랙을 소개합니다. 01:27 1. 초거대모델 학습을 위한 이미지-텍스트 데이터셋: COYO-700M: Large-scale Image-Text Pair Dataset by 변민우(dylan.m) 카카오브레인 라지스케일엔지니어링팀에서 분산학습과 데이터 기술을 연구하고 있는 딜런입니다. 01:54 2. 카카오브레인의 텍스트 기반 이미지 생성 기술 소개 by 김세훈(sam.ksh) 카카오브레인에서 생성 모델을 개발하고 있는 연구원입니다. 02:11 3. 코끼리를 GPU에 넣는법: 실용적인 라지스케일 AI 학습을 위한 최적화 사례 공유 by 조상훈(monk.detective) 카카오브레인 Large-Scale AI Studio의 Monk 입니다. 라지스케일 AI를 실용적으로 사용하기 위해 항상 고민 중입니다. 02:42 4. 이 세상 모든 물체를 검출할 수 있는 AI 기술을 만들 수 있을까요?: 물체 검출 기술의 과거...
딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 if kakao
Preview AI_2 @if(kakao)2021
컨퍼런스 if kakao
if (kakao) 2021 컨퍼런스에서 AI 관련 기술 발표 세션을 소개합니다. 1. AI 장면 분석을 통한 비디오 인코딩 최적화 @darren.thkim 동영상 인코딩을 위한 최적의 설정을 어떻게 찾을 수 있을까요? AI를 활용한 인코딩 최적화의 실제 사례를 중심으로 최적화와 분산 인코딩에 대해서 알아봅시다. 2. DFerence, 클라우드 기반 AI 서빙 플랫폼 @bran.p 맨땅에서부터 k8s를 사용하여 GPU shared inference Platform 을 만든 과정에서 얻은 경험과 지식을 공유합니다. 3. 카카오엔터프라이즈 딥러닝 음성 합성 기술 @jeff.rey @taylor.martin @satoshi.2020 카카오엔터프라이즈에서는 더욱 자연스럽고 고품질의 음성을 만들어내기 위한 음향 모델과 보코더 기술을 개발하였습니다. 또한, 보다 사람 같은 음성합성을 위한 스타일 변환 기술도 소개합니다. 4. Tips for transfer learning @mic...
데브옵스 · 인프라 딥러닝 · 머신러닝 컴퓨터 비전