![[Unite Seoul 2025] XR/모바일 환경에서 실시간 모션 트래킹 개발하기](https://i.ytimg.com/vi/zLpLTN97wMg/maxresdefault.jpg)
[Unite Seoul 2025] XR/모바일 환경에서 실시간 모션 트래킹 개발하기
Unite Seoul 2025 유니티 · YouTube
AI 핵심 요약
모바일과 XR에서 실시간 모션 트래킹을 구현할 때는 기기별 모델·추론 환경과 아바타에 맞는 포즈 변환이 과제입니다. 김한얼은 Unity 6와 Sentis를 사용해 MediaPipe의 얼굴·포즈·손 모델을 ONNX로 변환하고, 얼굴 랜드마크와 블렌드셰이프, 신체 랜드마크와 휴머노이드 리타게팅, 손 제스처 인식을 구현했습니다. Meta Quest 3의 바디 트래킹과 패스스루 카메라를 활용한 데모도 소개하고, 직접 수집한 키포인트로 제스처 분류 모델을 학습해 XR과 모바일에서 실행하는 과정을 보여줬습니다. 모델과 기기에 따라 CPU·GPU 백엔드 성능이 달라지므로 타깃 환경에서 검증하고, 비동기 실행과 모델 분할로 프레임 저하를 줄이는 것이 중요하다고 설명했습니다.
- MediaPipe의 `.task` 파일은 압축을 풀어 TensorFlow Lite 모델을 꺼낸 뒤 ONNX로 변환해 Unity Sentis에서 사용할 수 있습니다.
- 모델 카드에서 입력 크기와 값의 범위, 출력 형식을 확인해야 추론 결과가 어긋나는 문제를 줄일 수 있습니다.
- Unity Sentis의 CPU·GPU 백엔드는 기기와 모델에 따라 성능이 달라지므로 실제 타깃 환경에서 비교하고, 비동기 실행으로 메인 스레드 블로킹을 피하세요.
- Unity 휴머노이드 아바타에 포즈를 적용하려면 랜드마크를 리타게팅하고 관절 위치에 맞춰 IK를 계산해야 합니다.
- 원하는 제스처의 키포인트를 직접 수집해 분류 모델을 학습하고 ONNX로 내보내면, XR이나 모바일 앱에 맞춤형 인식을 추가할 수 있습니다.
소개
🔹XR/모바일 환경에서 실시간 모션 트래킹 개발하기🔹 지난 4월 15일 개최되었던 Unite Seoul 2025의 세션 레코딩 영상들을 공개합니다! 🎉 Meta Quest 3와 모바일 디바이스 환경에서 AI를 활용한 실시간 풀바디 트래킹 기술의 구현 방법을 살펴봅니다. 또한 Unity Sentis를 활용한 모션 및 제스처 인식을 위한 커스텀 모델의 학습법과 최적화 방법도 함께 알아봅니다. 이를 통해 XR 게임, 버추얼 유튜버, 미디어 아트 등 다양한 분야에서 실제 모션 트래킹의 적용 가능성을 파악할 수 있습니다. 🎤 연사자 정보 김한얼 / Unity Technologies, Senior Software Engineer ✨ 추천대상자 프로그래머 📜 발표 자료 https://on.unitysquare.co.kr/3Henrny 여러분의 게임 개발 능률을 향상시켜줄 Unity의 유용한 기능 및 사용 방법, 성공 사례와 전략을 소개합니다! 유니티가 직접 큐레이션한 아티스...
비슷한 학습 자료
컨퍼런스 Unite Seoul 2025
[Unite Seoul 2025] Unity 기반 크로스 플랫폼 XR 개발: XR 기기 비교 분석
컨퍼런스 Unite Seoul 2025
🔹Unity 기반 크로스 플랫폼 XR 개발: XR 기기 비교 분석🔹 지난 4월 15일 개최되었던 Unite Seoul 2025의 세션 레코딩 영상들을 공개합니다! 🎉 본 세션에서는 Unity 개발자를 위한 주요 XR 플랫폼의 개발 환경과 기술적 특성을 비교 분석합니다. 각 플랫폼이 가진 공간 인식 능력과 상호작용 방식 등의 핵심 기술 요소들을 살펴보고, 이를 활용한 효과적인 콘텐츠 제작 방안을 알아봅니다. 또한 Unity에서 제공하는 플랫폼별 구현 방식의 차이점을 다룹니다. 🎤 연사자 정보 이현수 / Unity Technologies, Senior Software Engineer ✨ 추천대상자 프로그래머, XR 관련 개발자 여러분의 게임 개발 능률을 향상시켜줄 Unity의 유용한 기능 및 사용 방법, 성공 사례와 전략을 소개합니다! 유니티가 직접 큐레이션한 아티스트를 위한 Game(General) 세션 영상을 지금 만나보세요! 📍 Addressables을 사용한...
VR/AR 게임 프로그래밍
컨퍼런스 Unite Seoul 2025
[Unite Seoul 2025] Multi Modal과 Neural Rendering을 활용한 유니티 및 센티스 활용 꿀팁
컨퍼런스 Unite Seoul 2025
🔹Multi Modal과 Neural Rendering을 활용한 유니티 및 센티스 활용 꿀팁🔹 지난 4월 15일 개최되었던 Unite Seoul 2025의 세션 레코딩 영상들을 공개합니다! 🎉 Sentis에서 Multi Modal 모델, 3D Gaussian Splatting 생성형 AI 기술과 같이 최근 주목 받는 기술을 유니티에서 활용할 수 있는 방법에 대해 알아보고 이를 활용한 최신 사례를 소개합니다. 🎤 연사자 정보 박우진 / Unity Technologies, Partner Relationship Manager ✨ 추천대상자 프로그래머, 테크니컬 아티스트, 모델러, AI 엔지니어 여러분의 게임 개발 능률을 향상시켜줄 Unity의 유용한 기능 및 사용 방법, 성공 사례와 전략을 소개합니다! 유니티가 직접 큐레이션한 아티스트를 위한 Game(General) 세션 영상을 지금 만나보세요! 📍 Addressables을 사용한 최신 모범 사례 👉 https:/...
인공지능 기타 게임 프로그래밍
컨퍼런스 Unite Seoul 2025
[Unite Seoul 2025] Unity 6로 더 강력해진 모바일 개발: 주요 업데이트 및 로드맵
컨퍼런스 Unite Seoul 2025
🔹Unity 6로 더 강력해진 모바일 개발: 주요 업데이트 및 로드맵🔹 지난 4월 15일 개최되었던 Unite Seoul 2025의 세션 레코딩 영상들을 공개합니다! 🎉 이 세션에서는 비주얼 퀄리티 향상과 툴체인 혁신을 포함한 모바일 플랫폼의 핵심 업데이트를 소개합니다. STP(Spatial Temporal Post-Processing), 디퍼드 렌더링, 모바일 Web, 폴더블 디바이스 지원 등 Unity 6가 제공하는 최신 기술과 주요 기능을 확인해보세요. 모바일 개발자라면 놓칠 수 없는 인사이트가 가득합니다! 🎤 연사자 정보 양진석 / Unity Technologies Lead, Partner Engineering ✨ 추천대상자 모바일 게임 개발자 여러분의 게임 개발 능률을 향상시켜줄 Unity의 유용한 기능 및 사용 방법, 성공 사례와 전략을 소개합니다! 유니티가 직접 큐레이션한 아티스트를 위한 Game(General) 세션 영상을 지금 만나보세요! 📍 A...
모바일 앱 개발 게임 프로그래밍
컨퍼런스 Unite Seoul 2025
[Unite Seoul 2025] 효율적인 사내 Unity프로젝트 품질관리 전략과 최적화 사례
컨퍼런스 Unite Seoul 2025
🔹효율적인 사내 Unity프로젝트 품질관리 전략과 최적화 사례🔹 지난 4월 15일 개최되었던 Unite Seoul 2025의 세션 레코딩 영상들을 공개합니다! 🎉 사이버에이전트 게임&엔터테인먼트 사업부에는 여러 자회사 내에 Unity를 사용한 수 많은 프로젝트가 존재하고 있습니다. 사내 프로젝트를 기술면으로 서포트 하기 위한 코어기술본부 출범 이래, 효율적으로 각 Unity프로젝트의 품질을 관리하기 위해 채택한 전략에 대한 이야기와 더불어 실제 운용 중인 프로젝트에서 있었던 최적화 사례를 소개합니다. 🎤 연사자 정보 김민혁 CyberAgent, Inc. Unity Solution Architect ✨ 추천대상자 프로그래머 📜 발표 자료 https://on.unitysquare.co.kr/44Geqxr 여러분의 게임 개발 능률을 향상시켜줄 Unity의 유용한 기능 및 사용 방법, 성공 사례와 전략을 소개합니다! 유니티가 직접 큐레이션한 아티스트를 위한 Game(G...
소프트웨어 테스트 게임 프로그래밍
컨퍼런스 Unite Seoul 2025
[Unite Seoul 2025] Unity 프로젝트 개발 시 반드시 체크해야 할 최적화 관련 기능 공유
컨퍼런스 Unite Seoul 2025
🔹Unity 프로젝트 개발 시 반드시 체크해야 할 최적화 관련 기능 공유🔹 지난 4월 15일 개최되었던 Unite Seoul 2025의 세션 레코딩 영상들을 공개합니다! 🎉 게임 및 산업 분야 프로젝트 컨설팅을 수행하며 경험해왔던 다양한 프로젝트 사례에서 공통적으로 나타나는 성능 저하 요소의 최적화 방법과 덜 알려져 있지만 유용한 기능 활용에 대해 소개합니다. 🎤 연사자 정보 류태규 Unity Technologies Senior Software Engineer ✨ 추천대상자 프로그래머 📜 발표 자료 https://on.unitysquare.co.kr/3GOXFpT 여러분의 게임 개발 능률을 향상시켜줄 Unity의 유용한 기능 및 사용 방법, 성공 사례와 전략을 소개합니다! 유니티가 직접 큐레이션한 아티스트를 위한 Game(General) 세션 영상을 지금 만나보세요! 📍 Unity 프로젝트 개발 시 반드시 체크해야 할 최적화 관련 기능 공유 👉 htt...
게임 프로그래밍
컨퍼런스 Unite Seoul 2026
Unity 기반 AI/ML 실전 Agentic Workflow: 모델 학습부터 최적화된 배포까지
컨퍼런스 Unite Seoul 2026
🔹Unity 기반 AI/ML 실전 Agentic Workflow: 모델 학습부터 최적화된 배포까지🔹 📽️ 7월 21일 진행되었던 Unite Seoul 2026 세션 레코딩 영상을 공개합니다! 🎤 연사 김한얼 | Unity Senior Software Engineer 이번 시간에는 Unity 개발 환경에 AI 모델을 효율적으로 통합하는 전 과정을 다룹니다. AI/ML 모델의 학습, 변환, 최적화 방법과 음성 인식, 컴퓨터 비전, LLM 등의 실제 추론 코드 구현 베스트 프랙티스를 상세히 소개합니다. 특히, AI 에이전트를 활용해 AI 모델을 효과적으로 다루며, Unity Sentis 추론 코드를 손쉽게 작성하는 핵심 노하우를 공유합니다.
AI에이전트 개발 딥러닝 · 머신러닝 컴퓨터 비전