结合10+年工程三维模型数据的积累,通过自主开发的数据连接器,支持将包括数十款工程软件在内的100+种主流三维格式数据快速生产为面向仿真需要的Sim Ready资产。
平台内置大量1:1实物重建的高保真资产(大部分资产均包含铰链,覆盖刚体和软体),实际工程的三维模型、3D高斯泼溅实景模型以及利用这些资产和模型搭建的1:1映射真实场景的全交互物理仿真场景,所有资产均严格按照实物重建,确保仿真场景与真实物理世界严格一致并符合建筑标准和规范。资产在保证实物级几何精度的同时,全面使用PBR材质,保证仿真与真实的视觉一致性;在物理层面,通过详细的物理参数、碰撞体以及关节的动力学参数设定,确保仿真与真实在物理特性上的一致,除此之外,在语义标注、数据组织、坐标设定等方面采用统一标准,确保所有资产均能良好的适用于物理仿真。
Synthesis提供在线浏览工具,在Web浏览器中即可浏览三维资产、建筑、3D高斯泼溅模型,并支持属性、语义及关节信息的查看。
资产、模型、实景均支持在线转换为OpenUSD格式,方便与Isaac sim集成。
部分Sim Ready、建筑模型、全交互场景已经遵照CC BY-NC 4.0开源协议开源,可以从Synthesis直接下载使用。
Synthesis平台提供在线场景搭建工具与基于LLM的泛化,支持在Web浏览器中通过“拖拉拽”的方式将Sim Ready、建筑模型、3D高斯模型添加到场景中并进行位置调整,从而快速构建出符合真实世界的正确的交互场景,借助Synthesis的泛化功能,可通过调整灯光、天气、材质、资产位置的合理调整快速泛化出大量的真实正确的可用场景。
借助于自主开发的工具,可以在不同仿真器中便捷的加载仿真资产及仿真场景,快速初始化仿真环境,以满足仿真数采及任务验证的需要。
同时,我们基于NVIDIA Isaac Sim的WebRTC推流方案的深度定制,开发了自有的Isaac sim集群方案,用户仅通过浏览器即可实现仿真场景的加载、数据采集、任务和模型验证操作,提升GPU共享使用率,大幅度降低仿真所需的硬件成本。
通过我们开发的数据采集套件,用户可以通过遥操的方式在仿真环境中完成数据采集、增广,充分利用仿真在泛化、随机化方面的优势,实现低成本的长尾场景覆盖和数据规模化扩增。
针对复杂任务,尤其是长尾环境下的危险任务,通过构建与真实世界高度对齐的仿真环境,让具身体在仿真环境中对任务执行的达成率和合理性进行验证,实现模型的强化和快速迭代验证。