Unity가 여는 Physical AI-나만의 솔루션을 설계하고 확장하는 법
Unite Seoul 2026 유니티 · YouTube
AI 핵심 요약
Unity를 로보틱스 전용 통합 플랫폼이 아닌 조합 가능한 애플리케이션 플랫폼으로 활용해, 카드 인식부터 로봇 제어까지 이어지는 Physical AI 파이프라인을 Unity 6와 ROS 2로 구성했다. URDF 로봇 모델, Unity의 물리 시뮬레이션과 합성 데이터 생성, ONNX 모델의 Sentis 온디바이스 추론, 역기구학과 TCP 통신을 연결하고, 의존성 주입으로 가상·실물 장치와 모델을 교체할 수 있게 설계했다. 가상 환경에서 픽앤플레이스 동작을 검증한 뒤 RealSense 카메라와 실제 로봇에 연결했으며, 상태 로그를 바탕으로 알람·명령 동기화 문제를 해결하고 실제 환경의 오인식에는 데이터를 보강했다. 시뮬레이션은 현실을 완벽히 복제하기보다 목적에 맞는 수준으로 파이프라인을 검증하는 도구이며, 추측보다 관측값을 활용하고 교체 가능한 구조를 갖추는 것이 확장에 중요하다고 강조했다.
- URDF 임포터로 로봇 모델과 관절 정보를 가져오고, ROS 2와 TCP로 연결하면 로봇 종류를 바꿔도 애플리케이션 구조를 유지할 수 있다.
- 합성 데이터는 라벨과 클래스별 생성 수를 검증하는 절차까지 마련해야 데이터 누락이나 잘못된 주석을 찾을 수 있다.
- 모델 출력은 작업에 필요한 정보만 담도록 단순화할 수 있다. 카드 중심점만 필요하다면 OBB 대신 AABB를 선택해 디코더와 모델을 가볍게 만들 수 있다.
- AI에게 원인을 추측하게 하기보다 상태와 경로, 잔차를 로그로 남기고 관측값을 바탕으로 디버깅해야 한다.
- 디지털 트윈은 물리 현상을 완벽히 복제하기보다 검증하려는 작업에 필요한 충실도를 우선하고, 실제 환경과의 차이는 캘리브레이션과 데이터 보강으로 좁혀 간다.
소개
🔹 Unity가 여는 Physical AI-나만의 솔루션을 설계하고 확장하는 법 🔹 📽️ 7월 21일 진행되었던 Unite Seoul 2026 세션 레코딩 영상을 공개합니다! 🎤 연사 김현민 | Senior Solutions Engineer, Unity Unity는 처음부터 통합된 로보틱스 플랫폼이 아닙니다. 하지만 요소 기술들을 직접 조합하고, AI 개발 도구로 빠르게 스캐폴딩하면 인식부터 실물 제어까지 이어지는 Physical AI 파이프라인을 완성할 수 있습니다. 이 세션에서는 Unity 6 + ROS2 기반 로보틱스 아키텍처를 직접 설계하고 구현한 실전 과정을 공유합니다.
비슷한 학습 자료
컨퍼런스 Unite Seoul 2026
제조 AI를 위한 Unity 디지털 트윈 기반 합성 데이터 파이프라인
컨퍼런스 Unite Seoul 2026
🔹 제조 AI를 위한 Unity 디지털 트윈 기반 합성 데이터 파이프라인 🔹 📽️ 7월 21일 진행되었던 Unite Seoul 2026 세션 레코딩 영상을 공개합니다! 🎤 연사 박우진 | Technical Account Manager, Unity 원홍인 | 제조AI협력팀장, 한국생산기술연구원 황재훈 | Research Associate, 한국생산기술연구원 제조 AI의 현장 적용에서 가장 큰 병목 중 하나는 신뢰성 있는 산업 데이터와 정밀 Annotation 확보입니다. 본 세션에서는 협동로봇 기반 HRC 환경을 대상으로 Unity Digital Twin에서 실제 로봇 궤적과 멀티뷰 센서 환경을 재현하고, Pixel Mask, Depth Map, 3D Bounding Box 등 2D/3D Annotation을 자동 생성하는 Synthetic Data Pipeline을 소개합니다. 간단한 데모 영상을 통해 Unity가 제조 AI 데이터 인프라로 활용될 수 있는 가능성을 공유...
컴퓨터 비전 게임 프로그래밍
컨퍼런스 Unite Seoul 2026
Unity 기반 AI/ML 실전 Agentic Workflow: 모델 학습부터 최적화된 배포까지
컨퍼런스 Unite Seoul 2026
🔹Unity 기반 AI/ML 실전 Agentic Workflow: 모델 학습부터 최적화된 배포까지🔹 📽️ 7월 21일 진행되었던 Unite Seoul 2026 세션 레코딩 영상을 공개합니다! 🎤 연사 김한얼 | Unity Senior Software Engineer 이번 시간에는 Unity 개발 환경에 AI 모델을 효율적으로 통합하는 전 과정을 다룹니다. AI/ML 모델의 학습, 변환, 최적화 방법과 음성 인식, 컴퓨터 비전, LLM 등의 실제 추론 코드 구현 베스트 프랙티스를 상세히 소개합니다. 특히, AI 에이전트를 활용해 AI 모델을 효과적으로 다루며, Unity Sentis 추론 코드를 손쉽게 작성하는 핵심 노하우를 공유합니다.
AI에이전트 개발 딥러닝 · 머신러닝 컴퓨터 비전
컨퍼런스 Unite Seoul 2026
AI 코딩 시대의 유니티 대규모 프로젝트 설계: 데이터 흐름 제어를 통한 로직 집중과 테스트 전략
컨퍼런스 Unite Seoul 2026
🔹AI 코딩 시대의 유니티 대규모 프로젝트 설계: 데이터 흐름 제어를 통한 로직 집중과 테스트 전략🔹 📽️ 7월 21일 진행되었던 Unite Seoul 2026 세션 레코딩 영상을 공개합니다! 🎤 연사 김민혁 | CyberAgent,Inc. Unity Solution Architect 이번 시간에는 '전체 개발 비용을 최소화'하는 설계의 본질적 목표에 집중하여, 프로젝트 규모가 커져도 기민한 개발 속도를 유지할 수 있는 실용적인 유니티 설계 방법론을 제안합니다. 애플리케이션의 데이터 흐름을 명확히 분리함으로써, 개발자는 가장 중요한 '핵심 로직'에만 전념하고 나머지 코드는 AI 및 자동화 시스템에 일임하는 최적의 구조를 확립합니다. 특히, 이렇게 역할과 흐름이 명확히 분리된 아키텍처는 AI가 코드의 맥락을 정확히 파악하도록 유도하여, 결과적으로 AI가 생성하는 코드의 품질과 일관성을 높여줍니다. 나아가, 데이터 상태 변화를 다루는 로직과 화면에 보여지는 시각적 결과물(V...
소프트웨어 테스트 AI 코딩 게임 프로그래밍
컨퍼런스 Unite Seoul 2026
[Unite Seoul 2026] Unity의 새로운 프로덕션 파이프라인
컨퍼런스 Unite Seoul 2026
🔹 [Unite Seoul 2026] Unity의 새로운 프로덕션 파이프라인 🔹 📽️ 7월 21일 진행되었던 Unite Seoul 2026 세션 레코딩 영상을 공개합니다! 🎤 연사 David Menard | Principal Product Manager, Unity Pipeline, Unity Peter Andreasen | Principal Software Engineer, Unity Unity 에디터는 수년간 게임 제작의 중심 역할을 해왔습니다. 하지만 에디터 주변에는 DCC 앱, 브라우저, CI, 자동화 파이프라인, AI 에이전트 등 더 넓은 도구 생태계가 존재합니다. 새롭게 제공되는 API를 통해 이 모든 도구를 동일한 Unity 프로덕션에 다시 연결할 수 있습니다. 본 세션에서는 이 API를 스튜디오의 생태계에 플러그인처럼 연결하여, 팀원 전체가 서로의 작업을 방해하거나 흐름을 끊지 않고 함께 협업할 수 있는 방법을 보여드립니다.
개발 도구 게임 프로그래밍
컨퍼런스 Unite Seoul 2026
[Unite Seoul 2026] Unity AI를 활용한 개발: 실제 사용 사례
컨퍼런스 Unite Seoul 2026
[Unite Seoul 2026] Unity의 AI 도구를 활용한 프로덕션 규모 확장
컨퍼런스 Unite Seoul 2026
🔹 [Unite Seoul 2026] Unity의 AI 도구를 활용한 프로덕션 규모 확장 🔹 📽️ 7월 21일 진행되었던 Unite Seoul 2026 세션 레코딩 영상을 공개합니다! 🎤 연사 Maxime Plantady | Principal AI Engineer, Unity Hugo van Heuven | Principal Product Designer, Unity 새로운 Unity AI 기능이 팀이 아이디어를 탐색하고, 개발 작업을 분할하고, Unity 프로젝트에 변경 사항이 적용되기 전에 안전한 검토 지점을 확인하는 데 어떻게 도움이 되는지 알아보세요. 이 세션에서는 개발자가 AI 에이전트를 병렬로 사용하여 제어권을 유지하면서 더 빠르게 개발하는 방법을 보여줍니다.
AI 코딩 AI에이전트 개발 게임 프로그래밍