李菲菲队的机器人模拟训练场2.0版本已经到了！

李菲菲队的机器人模拟训练场2.0版本已经到了！

拥有8000多个交互场景的模拟环境IGibson又进化了！

而在iGibson 2.0演进之后，核心就是一句话:

机器人，别接球了，做家务吧！

比如模拟环境中温度，湿度，切片等物理状态增加，所有机器人迫切需要提供洗，切，煮一条龙服务:

而且外观颜色确实会变做饭

晚饭后，你可以擦桌子上的污渍，收拾桌子。

把不用的蔬菜放回冰箱，看着它们变冻。

人类也可以通过虚拟现实进入模拟环境，向机器人展示如何做一件标准的家务:

现在，让我们来看看这个版本更新的具体内容。

添加5种物理状态

好了，现在我们的机器人玩家已经进入模拟环境，它会做饭了。

这道菜将使用此次iGibson 2.0扩展的五种新物理状态:

湿度

从洗菜开始。

洗菜用水来自流体模拟系统。

比如下面水槽上的水龙头:

水龙头被用作液滴源来产生液滴，然后被收集在其他容器中或被浸泡物吸收。

在iGibson 2.0中，物体吸收的液滴数量对应于物体的润湿程度。

切口

洗完之后，开始切菜。

但是这里有一个问题:

一般来说，仿真环境中的对象假设为节点固定，表面为三角形的三维结构，不容易实现切割的动作。

而iGibson 2.0通过更新切片状态和保持对象实例的扩展状态来完成切割动作。

当握住切片工具并施加超过切片力阈值的力时，切片状态将变为真。

此时，模拟器将用两个对象替换一个对象:

这两个剪切对象将继承整个对象的扩展对象状态。

但是，这种转换是不可逆的，对象将在接下来的模拟时间内一直保持这种切片状态。

温度

现在，我们要用这个微波炉来炸鱼:

为了让温度自然变化，iGibson 2.0将WordNet层次中的对象类别标注为热源。

这是iGibson 2.0中的一项新规定:

也就是说，每个模拟的对象应该是WordNet中现有对象类的一个实例。

这种语义结构可以将特性与同一类的所有实例联系起来。

好了，现在我们要通过这个热源来改变其他物体的温度。

就像现实中的微波炉一样，被加热的物体被手触摸后会开始升温。

具体温度将发生如下变化:

。Sim:模拟时间r:热源变化率

而且，每个物体过去达到的最高温度的历史价值也会保留下来。

比如上图中的鱼，过去已经达到了烹饪或者燃烧的温度。

因此，即使热源关闭后，它也会显示出被烘烤或烧焦的外观。

也就是说，如果在模拟环境中烧了，那就是真的烧了！

清洁度

清洁度，换句话说，就是污垢和污渍的程度。

在iGibson 2.0中，对象在初始化时可能包含灰尘或污垢颗粒，可以采取措施来改变对象的清洁度。

因此，烹饪后，机器人可以选择用布擦拭灰尘颗粒:

或者使用湿工具去除污渍:

状态转换

IGibson 2.0为部分对象提供了开和关的切换功能，同时保持其内部状态和外观变化。

这种状态通过触摸虚拟固定链接切换。

例如，下烤箱打开时外观会发生变化。

最后，机器人关闭了设备，成功完成了任务。

如此稳定，逼真，便捷的仿真环境自然意味着机器人可以训练越来越复杂的任务。

基于逻辑谓词的生成系统

加入这些新的物理状态后，模拟室内环境中的一系列基本活动就足够了。

但是如果我们用日常生活中的自然语言来描述这些状态，emmm。.

就像重庆人对外人的微辣一样，在个体理解上肯定存在语义差异。

因此，基于常见的自然语言，iGibson 2.0定义了一组逻辑谓词:

这组逻辑谓词将扩展对象状态映射到对象的逻辑状态，并以符号方式描述对象的状态。

基于不同的逻辑谓词，我们将对不同的有效对象进行采样。

例如，对于基于对象扩展状态的谓词，如冻结，将对满足谓词要求的扩展状态值进行采样。

如果它是像OnTopOf这样的运动谓词，则有必要将光线投射和分析方法结合起来，以确保对象处于静态物理状态:

此时，我们得到了一个基于逻辑谓词的生成系统。

在这个系统中，只要我们指定一个逻辑谓词列表，就可以更快更方便地生成模拟场景。

虚拟现实允许机器人向人类学习

现在，机器人训练的场地已经搭建好了。

我们的最终目标是让机器人通过训练完成越来越复杂的任务。

p>

那么，或许可以让机器人来看看人类是怎么做的，进而开发出新的解决方案。

于是，iGibson 2.0 引入了 VR，让人类也能进入机器人训练的场景中:

团队根据通过 OpenVR 与市面上主要的 VR 头盔兼容，并有一个额外的跟踪器来控制主体。

通过 iGibson 的 PBR 渲染功能，系统会以最高 90 帧/秒的速度接收从虚拟化身的头部视角生成的立体图像。

而通过人类在 VR 环境中完成任务的流程，研究人员也能更加便捷地收集到长期，复杂，双手动移动操作任务的演示数据。

当然，抓小球的经典任务也不能忘。

为了提供更自然的抓取体验，团队实现了一个辅助抓取机制:

在用户通过抓取阈值后，只要物体在手指和手掌之间，就能在手掌和目标物体之间形成一个额外的约束。

而最后，李飞飞团队也表示:

iGibson 是一个完全开源的，面向大型场景交互任务的模拟环境。

我们希望 iGibson 2.0 能成为社区有用的工具，减少为不同任务创建模拟环境的负担，促进具身 AI研究的解决方案的发展。

下载地址:

论文地址:

官网:

参考链接: