Point-E:OpenAI 的 Dall-E 继任者如何塑造你的 3D 梦

本文介绍 OpenAI 即将推出的 Point-E 概念

用 Apifox,节省研发团队的每一分钟

Point-E:OpenAI 的 Dall-E 继任者如何塑造你的 3D 梦

免费使用 Apifox

相关推荐

最新文章

API

一体化协作平台

API 设计

API 文档

API 调试

自动化测试

API Mock

API Hub

立即体验 Apifox
目录
原文链接:https://www.sciencefocus.com/future-technology/point-e/   作者:Alex Hughes

在过去的一年里,OpenAI 非常忙碌。它因其两个重大项目而成为互联网上的热门话题:Dall-E 2 和 ChatGPT。在这两个庞大的人工智能平台之间,该公司帮助从仅有的文字提示中生成图像和大量的文本。


现在,该公司已经推出了第三个概念,恰好在圣诞节前引起了大家的兴趣。这个第三个概念现在被称为 Point-E,它遵循着类似的模式,可以从你的提示中创建内容。

Point-E 是什么以及它是如何工作的?

通过OpenAI的Point-E来塑造你的 3D 梦

在许多方面,Point-E 是 Dall-E 2 的继任者,甚至遵循相同的命名规则。Dall-E 用于从零开始创建图像,而 Point-E 则更进一步,将这些图像转化为 3D 模型。


在 OpenAI 团队发布的一篇研究论文中宣布,Point-E 分为两个部分:首先使用文本到图像的人工智能将您的文字提示转化为图像,然后使用第二个函数将该图像转化为 3D 模型。


Dall-E 2 的工作目标是创建最高质量的图像,而 Point-E 则创建了一个质量较低的图像,只需要足够的信息来形成一个 3D 模型。


与传统的 3D 模型不同,Point-E 实际上并没有生成整个流体结构。相反,它生成了一个点云(因此得名)。这只是意味着在空间中散布着一些点,代表一个 3D 形状。

显然,这看起来不像很多东西,这就是为什么模型有第二步。团队训练了一个额外的人工智能模型来将这些点转化为网格。这是一种更接近对象的形状、模具和边缘的代码。


然而,当你处理这么多因素时,事情并不总是完美的。正如 OpenAI 在研究论文中指出的那样,对象可能会缺少点或导致方块状的对象。

训练模型

通过OpenAI的Point-E来塑造你的 3D 梦

为了使模型正常运行,团队必须对其进行训练。过程的前半部分,即文本到图像的部分,与之前的 Dall-E 2 一样,是基于用文字提示进行训练的。这意味着图像附带了替代文本,以帮助模型理解图像中的内容。


然后,图像到 3D 模型也必须以类似的方式进行训练。它接受了类似的训练,提供了一组图像,这些图像与 3D 模型配对,以便 Point-E 能够理解二者之间的关系。


这个训练过程重复了数百万次,使用了大量的数据集。在对模型进行首次测试时,Point-E 能够通过点云生成请求的彩色粗略估计,但它们离准确的表示还有很长的路要走。


这项技术仍处于早期阶段,可能还需要一段时间才能看到 Point-E 像 Dall-E 2 或 ChatGPT 那样准确地生成 3D 渲染图,并且公众与之互动的时间可能更长。

如何使用 Point-E

虽然 Point-E 尚未通过 OpenAI 以其官方形式发布,但对于那些更加技术导向的人来说,可以通过Github获得。或者,您可以通过Hugging Face测试这项技术,Hugging Face 是一个之前托管其他大型人工智能程序的机器学习社区。


目前,这项技术还处于初级阶段,因此不会产生最准确的响应。 Hugging Face 尝试这项技术,所以可能会偶尔出现长时间等待或加载时间较长的情况。


目前尚不清楚 OpenAI 在推出该服务时是否会向公众提供,或者是否首先只限邀请。

Point-E 的应用

通过OpenAI的Point-E来塑造你的 3D 梦

对于大多数现代人工智能程序,很快就会出现一个问题,即它们的设计目的是什么。对于 ChatGPT 和 Dall-E 2,人们越来越担心这些平台会取代艺术家和创作者。


同样的担忧可能会出现在 Point-E 上。3D 设计是一个庞大的行业,虽然 Point-E 目前还不能准确地匹配 3D 艺术家的作品,但它未来可能会与这个领域竞争。


然而,有报道称 OpenAI 每个月花费数百万美元来维持这些项目的运作,这种软件的使用和运行可能会非常昂贵,尤其是对于像 3D 渲染这样复杂的任务。


阅读更多: