자율주행 로봇을 위한 머신러닝 모델의 추론 성능을 최적화하기 #우아콘2024 #우아한형제들
우아콘 2024 우아한형제들 · YouTube
AI 핵심 요약
자율주행 배달 로봇은 제한된 전력과 컴퓨팅 자원으로 주변 환경을 실시간 인식해야 하므로, Jetson 엣지 디바이스에서 모델 추론을 최적화한 사례를 소개했다. TensorRT를 활용해 FP32 모델을 INT8로 양자화하고, 정확도 저하를 줄이기 위해 PTQ와 QAT를 적용했으며, 레이어·텐서 퓨전과 커널 오토 튜닝 결과도 직접 분석해 구조와 텐서 레이아웃을 조정했다. 또한 지원 연산이 제한된 DLA에 맞게 모델을 변환해 저전력 운용에서 전력 소비를 낮추는 방안을 검토했다. 자동 최적화 도구만으로는 충분하지 않으며, 프로파일링과 변환 결과 검증을 바탕으로 모델과 하드웨어 특성에 맞게 개입해야 한다는 점을 강조했다.
- INT8 양자화는 추론 속도를 높이지만 정확도 손실이 생길 수 있으므로, 실제 데이터로 범위를 보정하는 PTQ와 학습 중 양자화를 모사하는 QAT를 상황에 맞게 적용한다.
- TensorRT가 자동으로 수행한 변환 결과도 레이어별 정밀도와 퓨전 여부를 시각화해 확인하고, 기대와 다르면 모델 구조를 직접 조정한다.
- 추론 단계에서 Batch Normalization은 선형 연산으로 취급할 수 있어, 연산 순서를 바꾸면 Conv와의 퓨전을 유도할 수 있다.
- 연산 특성에 맞는 텐서 레이아웃을 검토하고 프로파일링으로 병목 커널을 찾으면, 자동 커널 튜닝이 놓친 최적화 기회를 보완할 수 있다.
- DLA는 지원 레이어가 제한되므로 모델 변환이 필요하지만, 저전력 운용에서는 GPU와 지연 시간이 비슷하면서 전력 소비를 줄일 수 있다.
소개
[WOOWACON2024 세션 다시보기] 👉 세션 설명 ㅤ 자율주행 로봇에 쓰이는 머신러닝 모델의 추론 성능을 최적화하는 다양한 방법을 소개합니다. 머신러닝 모델 추론을 위한 엣지 컴퓨터(edge computer) 및 소프트웨어의 기능과 특징들을 살펴보고, 이러한 기능과 특징들을 활용하여 추론 성능을 향상시킨 실제 사례를 공유합니다. ㅤ 👉 발표자 소개ㅤ 박준수, 컴퓨터비전 및 머신러닝 엔지니어 문종식, 컴퓨터비전 및 머신러닝 엔지니어
비슷한 학습 자료
컨퍼런스 우아콘 2024
WOOWACON2024오프닝노트 #우아콘2024 #우아한형제들
컨퍼런스 우아콘 2024
[WOOWACON2024 세션 다시보기] 👉 세션 설명 ㅤ 1,300여 명에 이르는 전사 분석환경 사용자 분들이 제출하시는 하루 약 3만여 건의 쿼리를 장애 없이 비용 효율적이면서도 높은 성능으로 처리하기 위해 고민하고 개선했던 경험을 나누고자 합니다. Trino를 k8s 환경으로 이관하고, 부하 기반 오토스케일링과 멀티 클러스터 구성을 적용함으로써 탄력적으로 변모한 분석환경을 소개합니다. 또한, Iceberg 테이블 포맷 도입 및 테이블 튜닝으로 쿼리 성능을 극적으로 개선한 경험과 함께 주요 테이블들에 Kafka 커넥트 기반 준실시간화를 적용한 후기를 공유드립니다. ㅤ 👉 발표자 소개ㅤ 오창훈, 데이터 엔지니어
데이터베이스 데브옵스 · 인프라
컨퍼런스 우아콘 2024
생성형 AI 활용기(이그나이트) #우아콘2024 #우아한형제들
컨퍼런스 우아콘 2024
[WOOWACON2024 세션 다시보기] 👉 세션 설명 ㅤ 이그나이트는 하나의 주제로 3~5명의 발표자가 5분간 빠르게 발표를 진행하는 방식의 세션입니다. 참여형으로 진행된 이그나이트 세션에서는, 우아한형제들 소속 발표자와 타소속 발표자가 함께 참여하였습니다. '생성형 AI 활용기' 세션에서는 생성형 AI를 활용해 업무 효율을 높인 경험담을 공유합니다. 👉 발표 목록 1. 생성형 AI를 사용하여 나만의 캐릭터 그리기 - 민윤홍 님 2. Self-made Prototype: 생성형 AI로 혁신의 속도를 높이다 - 김효섭 님 3. 더 나은 AI를 위하여! 문서 압축부터 성능 개선까지 - 김동현 님 4. 생성AI로 이력서고치기 - 송요창 님 5. 생성형 AI로 '우리’가 더 똑똑해지기 - 임동준 님
인공지능 기타
컨퍼런스 우아콘 2023