英伟达最新的人工智能演示令人印象非常深刻:这是一个可以快速将几十张2D快照转换成3D渲染场景的工具。在下面的视频中,你可以看到这个方法的实际应用,一个模特穿着安迪·沃霍尔(Andy Warhol)的衣服,手里拿着一台老式的宝丽来相机。
该工具被称为即时NeRF(Instant NeRF)。NeRF指的是“神经辐射场”( Neural Radiance Fields”)——一项由加州大学伯克利分校、谷歌研究中心和加州大学圣地亚哥分校的研究人员在2020年开发的技术。简而言之,该方法映射不同2D镜头的颜色和光强,然后生成数据,从不同的角度连接这些图像,并渲染一个完成的3D场景。除了图像,该系统还需要关于摄像机位置的数据。
几年来,研究人员一直在改进这种2D到3D模型,在完成的渲染中添加更多的细节,并提高渲染速度。英伟达表示,其新的即时NeRF模型是目前开发的最快模型之一,它将渲染时间从几分钟缩短到“几乎立即”完成。
英伟达在一篇描述这项工作的博客文章中说,随着这项技术变得更快、更容易实现,它可以用于各种任务。
英伟达的Isha Salian写道:“即时NeRF可以用于创建虚拟世界的化身或场景,以3D方式捕捉视频会议参与者及其环境,或者为3D数字地图重建场景。”这项技术可以用来训练机器人和自动驾驶汽车,通过捕捉现实世界物体的2D图像或视频片段来理解它们的大小和形状。它还可以用于建筑和娱乐,以快速生成真实环境的数字表示,创作者可以在此基础上进行修改和构建。听起来像跟热门的元宇宙也关系密切。
在一篇描述这项工作的论文中,英伟达的研究人员表示,他们能够“在几十毫秒内”输出1920 × 1080分辨率的场景。研究人员还分享了项目的源代码,允许其他开发人员利用以实现他们的应用需求。看起来NeRF渲染的进展很快,并且可能在未来的几年里开始对现实世界产生影响。