엔비디아(NVIDIA)가 물리적 인공지능(Physical AI) 및 로봇 공학 시스템 개발을 위한 ‘엔비디아 코스모스(NVIDIA Cosmos)’ 플랫폼의 신규 훈련 도구, 시뮬레이션 체크포인트, 코스모스 데이터 팩토리 청사진을 2026년 10월 21일 전격 공개했다. 이번 확장을 통해 자율주행차, 산업용 로봇, 비전 AI 개발진은 멀티모달·다중감각 데이터를 대규모로 정제하고 가상 시뮬레이션 학습부터 최적화 배포까지의 개발 주기를 비약적으로 단축할 수 있게 되었다.
코스모스 데이터 팩토리와 5대 클라우드 네이티브 청사진
엔비디아 코스모스 데이터 팩토리(Cosmos Data Factory)는 물리적 AI 학습에 필요한 다중감각 비디오 및 인지 데이터를 수집, 라벨링, 증강, 평가하기 위한 통합 솔루션이다. 비디오 데이터 정제를 담당하는 ‘코스모스 큐레이터(Cosmos Curator)’에는 멀티모달 및 다중감각 입력 처리 기능이 새롭게 추가되었다. 엔비디아는 이와 함께 깃허브(GitHub), 마이크로소프트 아주르(Azure), 네비우스(Nebius), 코어위브(CoreWeave)를 통해 5가지 핵심 클라우드 네이티브 청사진을 제공한다.
해당 청사진은 데이터 수집과 합성 생성을 자동화하여 오픈 월드 모델 구축을 지원하도록 구체화되었다.
- 자율주행차 데이터셋 생성: 실제 주행 데이터를 라벨링하고 희귀한 주행 상황의 합성 시나리오를 추가해 학습 범위를 넓힌다.
- 이미지 속성 증강: 객체의 외형 요소를 동적으로 변경하여 이미지 검색 정밀도를 올린다.
- 이벤트 비디오 생성: 정지 이미지를 기반으로 희귀하거나 위험한 사건을 다룬 합성 영상을 제작한다.
- 결함 이미지 생성: 인쇄회로기판(PCB), 금속, 유리 제품 등의 검사용 모델 학습 데이터를 합성 생성한다.
- 비디오 데이터 증강: 기존 영상의 원본 장면 구조를 유지하면서 날씨나 조명 조건만을 자유롭게 전환한다.
완성차·로봇·컴퓨터 비전 현장의 실전 적용 사례와 성과
글로벌 기업들은 코스모스 데이터 팩토리 청사진을 산업 현장에 도입해 실제적인 개발 효율 향상 성과를 거두고 있다. 독일 폭스바겐 그룹 산하 포르쉐(Porsche)는 마이크로소프트 아주르 환경에서 박셀51(Voxel51) 플랫폼과 코스모스 데이터 팩토리를 활용해 그룹 브랜드 전체가 공유하는 자율주행 데이터 플라이휠을 구축했다. 이를 통해 실제 도로에서의 반복적인 물리적 시운전 필요성을 최대 90%까지 줄이고, 전체 개발 주기 시간을 최대 85% 단축할 수 있을 것으로 전망된다.
산업용 점검 로봇 제조사인 애니보틱스(ANYbotics)는 코스모스 청사진을 활용해 1,500개 이상의 합성 비디오 클립을 생성하고 엔코드(Encord) 플랫폼으로 출력을 검증했다. 애니보틱스는 이 데이터를 바탕으로 시설 방문 간 액체 누수 현상이나 장비의 작은 변화를 정밀하게 감지하도록 로봇을 학습시켰다. 또한 컴퓨터 비전 기업 울트랄리틱스(Ultralytics)는 코스모스로 생성한 맞춤형 타깃 결함 데이터와 실물 이미지를 결합해 대표적인 객체 탐지 모델인 YOLO의 재학습을 진행했으며, 결함 위치 추정 성능과 재현율(Recall)을 유의미하게 향상시켰다.
코스모스 프레임워크 확장과 오픈 모델 재학습 메커니즘
엔비디아는 정제된 데이터셋을 실제 로봇 및 AI 모델 아키텍처에 적용할 수 있도록 ‘코스모스 프레임워크(Cosmos Framework)’를 오픈 소스 모델 호환 개발 도구로 확장했다. 개발자와 AI 에이전트는 GR00T, 알파마요(Alpamayo), QWEN, Pi0.5를 포함해 허깅페이스(Hugging Face) 호환 오픈 모델을 파인튜닝(미세조정) 및 강화학습 방식으로 고도화할 수 있다. 모델 최적화 과정에서는 지식 증류(Distillation) 및 양자화(Quantization) 기술이 차용된다.
로봇공학 연구소인 마이크로AGI(MicroAGI)는 자율적 작업 수행용 오픈 월드 모델을 개발하기 위해 사람의 물체 조작 비디오 데이터로 ‘코스모스 3(Cosmos 3)’ 모델을 사후 학습시켰다. 이후 320억 개의 파라미터를 가진 추론 모델을 정확도 손실 없이 80억 개 파라미터 크기의 ‘나노(Nano)’ 모델로 압축 증류하는 데 성공했다. 개발자들은 로보플로우(Roboflow) 플랫폼에서 코스모스 3를 전용 환경에 맞게 라벨링 및 학습시킨 후 호스팅 환경이나 자체 엔비디아 GPU 인프라에 즉시 배치할 수 있다.
시뮬레이션 전용 나노 모델과 실시간 비전 관제 성능 향상
엔비디아는 가상 시뮬레이션 환경 내에서 자율주행 및 로봇 제어 정책을 사전에 검증할 수 있는 신규 ‘코스모스 3 나노’ 모델 변형을 선보였다. 개발자들은 이 모델을 활용해 다중 시점 및 다중 감각 기반의 복잡하고 재현하기 어려운 시나리오를 가상 공간에서 무한히 반복 구성할 수 있다. 이를 통해 실제 실물 로봇이나 차량을 투입하기 전에 폐루프(closed-loop) 시뮬레이션상에서 양손 로봇(bimanual robot)과 자율주행 소프트웨어의 제어 정책을 안전하게 시험하고 평가할 수 있다.
실제 운용 단계에서는 개편된 엔비디아 코스모스 3 NIM(NVIDIA Inference Microservice) 마이크로서비스가 적용된다. 기존 시스템 대비 모델 품질 저하 없이 추론 속도를 최대 2배까지 향상시키며 서브초(1초 미만) 단위의 실시간 위험 알림을 제공한다. 이와 함께 공개된 비디오 검색 및 요약용 ‘엔비디아 메트로폴리스 청사진 3.3(Metropolis Blueprint VSS 3.3)’은 동일한 GPU 자원으로 관제할 수 있는 비디오 스트림 수량을 기존 대비 40% 늘려준다. 아부다비 국영석유공사(ADNOC)는 폭스스피어(Fogsphere)의 미스트IQ(MistIQ) 플랫폼과 이 청사진을 결합해 65개 사업장의 안전 위험을 실시간으로 감지하고 있으며, 희귀 위험 상황의 학습 데이터 생성에 코스모스 데이터 팩토리를 접목하고 있다.
기술적 한계와 향후 확인 과제
엔비디아 코스모스 플랫폼이 제시하는 가상 데이터 기반 월드 모델 학습은 물리적 위험 요소가 큰 실제 시운전 비용을 크게 낮추지만, 가상 시뮬레이션 환경과 실제 현실 세계 간의 미세한 오차(Sim-to-Real gap)를 완벽히 메워야 하는 과제를 안고 있다. 또한 다양한 산업 현장의 센서 규격과 실제 복잡한 가공 현장에 코스모스 NIM 마이크로서비스를 적용할 때 지속적인 컴퓨팅 자원 유지 비용과 정밀한 추론 정확도가 유지되는지 향후 산업별 실증 배치 결과를 지속적으로 점검해야 한다.
공식 출처 목록
- NVIDIA Official Blog – NVIDIA Cosmos Opens New Tools to Train, Evaluate and Deploy World Models (2026년 10월 21일 발표)