当前位置:首页 > 人工智能 > >

腾讯推出静态图像3D渲染AI模型InstantMesh

腾讯推出静态图像3D渲染AI模型InstantMesh
2024-04-19 16:54:56 来源:聚焦媒体网

腾讯发布了一种新的人工智能(AI) 模型,称为 InstantMesh,可以使用静态照片渲染 3D 对象。新的人工智能模型是对该公司旧版Instant3D框架的升级,现在结合使用多视图扩散模型和基于大型重建模型(LRM)架构的稀疏视图重建模型。腾讯还开源了 InstantMesh 模型,并为爱好者提供了预览应用程序来测试其功能或生成和导出 3D 渲染。

腾讯在 arXiv 上发布了其研究论文的预印本。值得注意的是,arXiv 不进行同行评审,因此很难说该模型是否经过评估。不过,该公司已经在 Hugging Face 上开源了该 AI 模型,以便开发者可以测试其效率。对于爱好者来说,还有一个应用程序视图可供使用,他们可以在其中添加照片并观看它变成 3D 渲染。我们在 Gadgets 360 测试了该平台,发现渲染在 10 秒内创建完成,正如该公司声称的那样。然而,渲染的质量感觉相当低。一位X(以前称为X)用户发布了使用AI模型的视频,您可以看到下面的结果。

谈到人工智能模型背后的技术,该公司使用两种不同的架构——多视图扩散模型和 LRM 架构。前者帮助处理输入图像并生成图像中不可见的不同维度,LRM 构建可以在 3D 环境中体验的轨道视图对象。

据腾讯介绍,InstantMesh解决了3D渲染领域的Janus问题。Janus 问题是 3D 渲染空间中的一种现象,由于模型必须“想象”参考对象的不同侧面并创建它们,因此它会创建对象的多个规范视图,而不是内聚的 3D 对象。该公司通过使用经过稳定扩散微调的新颖视图生成器解决了这个问题。

该研究论文还分享了与不同现有模型(包括最近推出的Stability AI 的 Stable Video 3D)相比的基准分数。根据分数,InstantMesh 在 Google 扫描对象 (GSO) 和 OmniObject3D (Omni3D) 轨道视图上的表现优于 SV3D。SV3D 在 Omni3D 基准测试中的几个参数中表现更好,这些参数与输出的分辨率相对应,但腾讯表示这是故意的。该公司解释说:“我们认为,感知质量比忠实性更重要,因为‘真正的小说观点’应该是未知的,并且在以单个图像作为参考的情况下具有多种可能性。”

关键词:腾讯 AI模型 InstantMesh

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

投诉邮箱:Email:133 46734 45@qq.com

相关新闻