如果开发3D游戏世界就像用手机拍摄照片一样容易,该怎么办?Nvidia研究人员最近开发了一种AI系统,该系统能够从任何2D图像预测完整的3D模型。
AI称为“ DIB-R”,可以拍摄任何2D对象的照片(例如鸟的图像),并预测其在三维中的外观。该预测包括光照,纹理和深度。
DIB-R代表可微分的基于插值的渲染器,这意味着它将其“看到的”内容与2D图像进行组合,并基于对世界的3D“了解”进行推理。这与人类将我们眼睛的2D输入转换为3D心理图像的方式极为相似。
根据Nvidia的说法,这项研究对机器人技术领域具有许多启示:
为了使自主机器人能够与其环境安全有效地交互,它必须能够感知和理解其周围环境。DIB-R可能会改善那些深度感知能力。
随着进一步的发展,研究人员希望将DIB-R扩展到包括实质上使它成为虚拟现实渲染器的功能。团队希望有一天,这样的系统将使AI能够仅使用照片在毫秒内创建完全沉浸式3D世界:
Nvidia的AI总监兼团队论文的合著者Sanja Fidler对Venture Beat的Khari Johnson表示:
想象一下,您可以拍摄一张照片,然后得到一个3D模型,这意味着您现在可以查看从各种不同视点拍摄了照片的场景。您可以潜入其中,从不同角度查看它-您可以在照片集中拍摄旧照片,然后将它们变成3D场景,并像在那儿一样检查它们。
从照片渲染世界的能力可能会导致惊人的内容创建流程。诸如Google Maps之类的技术可能会比以往更加沉浸式。而且,可能比摄影和绘画更精通摄影或绘画的创意者可以将所有繁重的工作留给机器。
想象一下,如果制作大型的开放世界游戏(如Skyrim和Grand Theft Auto),这种游戏传统上是降级到拥有数百名员工的公司,那是少数创意者和AI可以自己处理的游戏。