NVIDIA助力枢途科技突破视频提取具身数据技术鸿沟

大家好，今天给各位分享NVIDIA助力枢途科技突破视频提取具身数据技术鸿沟的一些知识，其中也会对NVIDIA,仿真,具身智能进行解释，文章篇幅可能偏长，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在就马上开始吧！

在NVIDIA的软件和硬件生态系统的支持下，Suthu Technology的总体数据提取和处理效率得到了极大的提高，实现了数据培训并验证多个体现模型和真实机器部署。

视频驱动的体现智能新兴企业

Shutu Technology是一家专注于从视频中提取多模式压纹智能训练数据的公司。它致力于解决压纹智能模型行业中最紧急缺乏训练数据，并使用数据来推动机器人智能。

作为一家在体现的智能培训数据采集技术中的新兴企业，Suthu技术已经开发了自己的Synadata算法，该算法具有高精度的三维视频重建，跨域映射重建和其他技术的三维重建，以提取高级实用数据的高级数据，从作为RDT，Equibot，Univla，等。

该公司使用NVIDIA GPU提供的有效的平行功能来实现2D视频的高速重建为3D数据，以及对3D数据的高速提取来体现多模式训练数据，并将提取的体现的多模式训练数据集成到ISAAC SIMP平台中，并与ISAAC SIMP平台相结合，从多模式数据提取，仿真环境融合和VLA模型培训。

在NVIDIA GPU工作站的有效计算和多平行功能的支持下，以及ISAAC SIM平台的高保真物理模拟和多传感器模拟环境的支持，Shuthe Technology的体现数据采集速度已增加了15次，并且模型训练速度和着陆水平增加了60次以上。在NVIDIA技术的帮助下，Shutu Technology通过输入人类视频，使机器人能够学习各种操作技能，从而将体现的智能培训范式从劳动密集型的“手中教学”升级到有效且可扩展的“观看教学”模型，并加速了体现智能缩放法律的突破。

体现智能领域的三个大数据困境

数据是体现智能的灵魂，但是与可以直接使用Internet上文本数据的文本模型不同，目前，具体的情报行业被困在严重数据短缺的泥潭中。数据收集方法当前依靠该行业纯粹由算法生成，并且有大量的身体失真。它可能需要手动操作，甚至边际成本也太高。

视频数据结合了现实世界的身体完整性，人类互动的真实性和几乎为零的边际成本，并且是体现智能模型的理想数据源。但是，为了从视频数据中提取高质量的体现智能培训数据，有必要克服以下三个主要挑战：

1。视频维度崩溃

单眼摄像机失去了场景深度维度信息：从2D单眼视频中重建3D物理世界，本质上是一个反向解决方案过程，并具有无限制。解决此类问题需要很大程度上依赖于先验知识（例如人体骨骼的长度）逆冲动，并依靠大量的计算能力来执行多连通推断，否则会导致大量数据推导错误。例如，当一个人用手抓住玻璃杯时，指尖与杯墙之间的接触点之间的深度歧义将导致咬合姿势的错误判断率超过40。

由物体相互作用引起的自嵌入：当棕榈与物体相互作用时，超过30的关节节点将是看不见的。传统的插值方法将产生累积错误。根据ICRA 2023基准测试数据，当闭塞超过5帧时，轨迹重建的误差将成倍增加。

2。提取精度不足

信号衰减链：包括光学成像损失，运动轨迹模糊，传感器噪声，算法量化误差等。例如，由透镜失真引起的图像边缘坐标偏移会导致径向误差3-8；快速运动将导致边缘定位失败，这通常会导致不少于10像素的位移误差等。这些挑战直接影响从视频中提取的轨迹数据的准确性。数据精度不足不仅无法优化体现的智能模型，而且会导致诸如模型数据污染之类的问题。

3。算法迁移失真

人体与机械运动之间的差异：从人体运动到机器人执行的轨迹数据之间存在巨大的动态生成差距。例如，由于人类实现平滑的抓握，由于动作超过了机器人臂的谐振频率，因此在提取的轨迹中训练的算法将在迁移到机器人臂时会导致高于10Hz的高频震颤。为了解决这个问题，不仅有必要加强算法微调的学习，而且还必须为具有多个动态参数扰动的虚拟环境产生补偿策略。

NVIDIA生态授权Shutu Technology

突破视频提取技术的差距

基于上述挑战，Sulu技术选择使用NVIDIA GPU作为基本的加速模型培训和现实世界的视频数据提取计算电源硬件的提取，并结合使用Omniverse和Isaac Sim Sim仿真，将数据应用于机器人培训，成功地实现了培训，以实现智能的培训，以实现机器的培训，从而实现了新的训练，以实现型模型，以实施新的培训，以实现新的型号，从而开放了一个新的训练，以实现一项新的培训数据。

1。NVIDIAGPU授权视频3D重建以提高质量和效率

Shutu Technology使用NVIDIA GPU和CUDA进行大规模并行处理和计算。

在NVIDIA GPU的高带宽和高容量的支持下，视频框架推断将花费数小时才能实现，并在10分钟内加速完成。

Suthu Technology的视频深度估计计算方法结合了NVIDIA GPU的计算功率资源和对CUDA工具的完整呼吁，可以实现有效的混合精度计算，而吞吐量的增加超过3倍。

在NVIDIA GPU的支持下，Suthu技术将视频3D重建的不足逆问题转化为对大规模先前假设的平行验证，而全面的重建速度增加了25倍以上。

2。NVIDIASDK有助于高精度轨迹获取

由于张量核心和变压器引擎上NVIDIA GPU的本机加速度，所有核心链接（例如3D重建，深度估计和关键点推理）都已在视频内存端巩固。结合NVIDIA最新SDK构建的端到端管道，Suthu Technology的连续吞吐量达到了Ampere系列的单卡视频处理FPS的15倍。

Shutu Technology采用了NVIDIA SDK和其他生态系统，以减少最初花费数周完成的大规模视频预处理，直到30个小时的交付，大大加速了模型迭代。

基于大量先验知识的高速模型迭代和算法化，视频轨迹数据提取精度已超过了次级，为随后的体现数据提取奠定了坚实的基础。

3. nvidiaisaac sim赋予具有高效率重新定位的体现算法

Suthu Technology从视频中提取的具体数据与Isaac Sim深入集成。借助Isaac Sim的高保真物理物理仿真能力，它为具体数据和体现模型算法之间的训练路径打开了训练路径。

ISAAC SIM包含1000多个动态参数扰动，包括摩擦系数，负载惯性等，并叠加在nvidia gpu有效的实时渲染，高级训练算法（例如压花），浮雕学习（IL），增强式学习（RL），增强学习（RL），智能算法（VLA）的环境中，可以在一个智能环境中进行car car。在现实世界中，训练过程需要数周，并且在现实世界中花费了数十个机器人硬件。

Shutu Technology Video的压纹数据，结合Isaac的数据增强和扩展功能，可以在几个小时内生成大量的高质量步态样本，并支持对多个机器人的平行训练，从而提高模型的收敛速度，以使过去数十次。

在支持连续的轨迹优化和动态一致性约束的支持下，学到的抓握策略更加聪明，广义和稳定，通过夹紧或聪明的手帮助夹紧复杂物体的夹紧位置推理，并且更准确，并快速扩展应用程序方案，例如交互，运输，运输和分类。

Suthu技术由NVIDIA GPU，CUDA，SDK等技术和生态系统授权，已经实现了三维视频重建，高精度轨迹提取，体现的多模式数据采集的完整链接，并涉及较高的智能数据，以供高级数据供应，并找到了一定的高级数据，并找到了一定的高级数据。 获得。

目前，Suthu Technology Synadata算法从视频中提取的体现智能培训数据已在体现模型算法（例如RDT，UNIVLA（基于VLA）和Equibot（基于扩散策略）等体现模型算法上实施了培训验证。依靠NVIDIA的计算能力和Isaac Sim仿真平台，Suthu Technologry将为更具体现的智能开发公司和学院提供大量交付的高保真性，低成本和可衡量的视频体现数据，从而帮助体现的智能模型破坏了缩放法律并实现真正的通用智力。

NVIDIA加速了Suthu技术体现模型的实施

依靠NVIDIA的软件和硬件全栈生态学，高性能AI加速簇，端到端的视频操作员优化以及ISAAC虚拟仿真环境，Suthu Technology已实现了高速处理和算法在大规模视频培训中的数据进行的高速处理和算法的进程，以探索新的数据，以探索新的数据，以探索新的数据，以探索新的数据，以探索新的数据，以探索一项新的数据，并探索了型号的范围，探索了型号的范围。法律，并为新兴数据采集技术设置气象叶片。

Lin Xiao, chief technology officer of Shutu Technology, said: \”As embodied intelligence enters the era of \’data native 2.0\’, the core bottlenecks for real-scale implementation have shifted from model design to data acquisition strategies. NVIDIA\’s powerful GPU computing matrix, AI acceleration solutions and SDK ecosystem have built a solid underlying computing power base for Shutu Technology. On this basis, Shutu Technology has been able在很短的时间内完成三维重建，轨迹提取和自动标记。

在这种技术协作下，Suthu Technology的数据管道可以执行复杂的三维场景重建，关键点跟踪和动态一致性校正所有居民视频记忆终端，从而实现多级宽度吞吐量的改进；同时，灵活的增强和扩展策略以及仿真对齐机制可确保在虚拟和真实之间高度一致，从而为各种场景和跨本体学提供了强大的概括能力。