Meta的OK-Robot可以在没有任何帮助的情况下整理房间

新的OK-Robot AI系统旨在使各种机器人能够整理对他们来说全新的房间。例如，他们可以从地板上捡起衣物或玩具并将它们放在其他地方。其他机器人系统通常设计为在熟悉的环境中运行。

OK-Robot 与 VLM（视觉语言模型）配合使用，这是一种能够同时处理和理解来自文本或直接语音和图像的信息的 AI 系统。同样有趣的是，OK-Robot 可与各种开源 AI 模型配合使用，并已使用公开可用的大型数据集进行了预训练。

从积极的一面来看，您不必在环境中为机器人提供任何额外的训练数据，它就可以工作了。在缺点方面，它只能捡起一个物体并将其扔到其他地方。你不能要求它打开抽屉，因为它只知道如何做这两件事。

该系统由纽约大学和 Meta 的研究人员使用 Hello Robot 的商业机器人 Stretch 进行了测试。在不同的家庭中进行了171次拾取和放置实验。在实验过程中，机器人使用 Record3D iPhone 应用程序扫描环境以创建 3D 视频。然后，OK Robot 系统在视频的每一帧上运行一个 AI 对象识别模型。

这使机器人能够识别其环境中的所有物体，例如桌子、沙发、一副眼镜、一只鞋子和一盏灯。然后，它被指示捡起某些物品，在82.2%的情况下，只要房间不是太杂乱，它就会这样做。然而，在更混乱的房间里，成功率要低得多。

我想说的是，完全依赖现成的模型是很不寻常的，而且让它们工作是相当令人印象深刻的。我们已经看到了机器学习的一场革命，它使得创建不仅在实验室中工作，而且在开放世界中工作的模型成为可能。看到这在真实的物理环境中确实有效是非常有用的信息。

该系统离完美还有很长的路要走;例如，它有时难以理解语音输入，并且其抓取模型在某些对象上也存在问题。尽管如此，该项目表明，当前的模型能够相对很好地应对开放的词汇表，同时能够在不熟悉的空间中直接导航到正确的对象。

来源：IT时代网

IT时代网(关注微信公众号ITtime2000，定时推送，互动有福利惊喜)所有原创文章版权所有，未经授权，转载必究。
创客100创投基金成立于2015年，直通硅谷，专注于TMT领域早期项目投资。LP均来自政府、互联网IT、传媒知名企业和个人。创客100创投基金对IT、通信、互联网、IP等有着自己独特眼光和丰富的资源。决策快、投资快是创客100基金最显著的特点。

相关文章

Meta的OK-Robot可以在没有任何帮助的情况下整理房间