如何使用 AI 智能体免费制作 3D 动画与视觉特效(VFX)

详解如何将 Claude Code、Codex 或 Cursor 与免费无头 3D 引擎 vork 结合,通过代码编写场景、预览调优、添加关键帧并渲染输出 MP4 动画与 VFX 特效。

用 Apifox,节省研发团队的每一分钟

如何使用 AI 智能体免费制作 3D 动画与视觉特效(VFX)

免费使用 Apifox

相关推荐

最新文章

API

一体化协作平台

API 设计

API 文档

API 调试

自动化测试

API Mock

API Hub

立即体验 Apifox
目录

只需将你日常使用的编程智能体(Claude Code、Codex 或 Cursor)与 vork 结合,即可免费制作 3D 动画与视觉特效。vork 是一款无头(headless)3D 与 VFX 渲染引擎,在当前研究预览期(research preview)内完全免费。智能体会将整个 3D 场景编写为 JSON 或代码,渲染预览图并自行查看画面,接着修正摄像机机位与灯光,最后直接输出成片 MP4——全程无需打开任何图形化 3D 编辑器。

本文将基于 vork 0.3.0(2026 年 11 月 9 日发布)完整演示这一工作流:安装引擎、运行 vork init、生成预览图、迭代调优、制作关键帧动画片段以及最终高质量渲染,同时说明其免费许可的边界与所需的硬件配置。

AI Coding 交流群

如果你也在用 AI 写代码,或者正在研究 Cursor、Claude Code 这些工具,欢迎加入以下交流群。群里平时会聊一些 AI 编程的实际用法、开发工作流,还有各种新工具和新玩法。

AI Coding 交流群二维码

什么是 vork?

vork 是由 Voyager 于 2026 年 11 月发布的专为 AI 智能体打造的 3D 与 VFX 引擎。智能体可以用代码完整定义整个场景(包括自定义着色器、材质、摄像机和物理模拟),再由 vork 在 GPU 上完成渲染。它采用 Rust 与 Slang 编写,基于 Vulkan 和 Metal 运行,且整个核心 API 文档仅占约 2,500 个 token。

最后这个数字非常关键:智能体可以把整套引擎规范完整装进上下文窗口,同时还留有充足的空间来处理你的具体镜头需求。当某个镜头需要特殊效果时,场景文件本身就可以自带材质、摄像机光线或光照的专属 GPU 程序。vork 代码仓库中展示了百万飞鸟群集、黑洞引力透镜以及合成到真实实拍视频上的霓虹视觉特效。

以下是 vork 智能体工作流与传统 3D 工具的对比:

Blender 等传统工作流 vork + 编程智能体
操作主体 人类创作者(通过图形界面 GUI) 编程智能体(通过命令行 CLI)
场景格式 二进制 .blend 文件 scene.json、scene.ts 或 scene.py
迭代方式 手动点击、微调参数、重新渲染 智能体修改代码、触发渲染、自动查看 PNG 预览图
输出格式 静态图、视频 基于同一套场景文件直接输出 PNG、EXR、MP4

与通过 MCP 驱动 Blender 的智能体方案不同,vork 底层根本没有图形化编辑器,场景代码文件本身就是唯一真实数据源(source of truth)。

vork 真的免费吗?

是的,但在将其引入生产管线之前,你需要了解以下许可条款细节(基于 2026 年 11 月 9 日核查的许可证):

  1. 研究预览期内免费。 vork Preview License 明确规定,vork“在研究预览期内可免费使用,包括用于商业项目”。
  2. 源码可用(Source-available),而非开源(Open source)。 你不能出售、重新授权或分发修改后的版本,也不能将其包装成面向第三方的托管云渲染服务。但为你自己的团队渲染画面、向客户交付最终视频或图像素材是完全允许的。
  3. 仅限当前已下载版本。 免费授权仅覆盖你已下载的具体版本。后续新版本“可能会采用不同的授权条款,包括付费条款”,但你对手中已有版本的使用权将永久保留。
  4. 产出内容归你所有。 Voyager 对你创建的场景、代码或渲染出的媒体素材不主张任何权利。

因此,就目前而言,引擎本身是完全零成本的。编程智能体的订阅费用另算,vork 不会在你现有的智能体套餐之外收取任何额外费用。在将其用于正式客户项目前,建议先阅读完整的 LICENSE 许可证文件。

需要什么样的硬件配置?

虽然软件授权免费,但实际渲染必须依赖符合要求的 GPU。vork 0.3.0 支持的硬件与系统环境如下:

  • Mac:搭载 Apple Silicon 芯片、支持 Metal 且运行 macOS 26 的设备。不支持 Intel 芯片的 Mac。
  • Linux:x64 架构、Ubuntu 22.04 或更高版本,配备支持硬件光线追踪 Vulkan 驱动的较新 NVIDIA 显卡。
  • Windows:x64 架构的 Windows 10 或 11,具备相同的 NVIDIA 显卡要求,并需安装 ffmpeg 以导出 MP4。

不支持 AMD 显卡、Intel 显卡以及纯 CPU 渲染;此外,A100 和 H100 等数据中心计算卡由于缺少 vork 所需的硬件光线追踪单元,同样不受支持。不过在没有合规 GPU 的机器上,你依然可以编写场景代码并查阅 vork help 文档。

第一步:安装 vork

在 Mac 或 Linux 机器上,官方安装脚本会自动校验文件哈希、将其安装到 ~/.local/lib/vork 目录下并执行 vork setup:

curl -fL https://github.com/voyager-so/vork/releases/latest/download/install.sh -o /tmp/vork-install.sh
sh /tmp/vork-install.sh
export PATH="$HOME/.local/bin:$PATH"
vork --version
vork help

在 Node.js 项目中,也可以运行 npm create vork@latest my-shot 在本地安装(需 Node 22.18 或更高版本)。注意 npm 上直接叫 vork 的同名包与该项目无关,官方包名为 @voyager-so/vork。

初始化过程需要编译 GPU 着色器,因此首次运行耗时较长:在 Voyager 官方实测中,单张 NVIDIA L4 上大约需要 251 秒。请耐心等待其编译完成。

第二步:把镜头需求交给智能体

在一个空文件夹中打开 Claude Code、Codex 或 Cursor,粘贴 vork README 中推荐的提示词:

Run `vork init my-shot`, read `vork help`, render a preview and inspect the image.
Refine the camera and lighting before rendering at final quality. Read the
relevant help topic when you need a feature the first page doesn't explain.

vork init 会在不联网、不调用 GPU 的情况下生成一份初始 scene.json,且绝不会覆盖已有文件。如果你想直接用代码编写场景,可以加上 --language typescript 或 --language python 参数。

随后,智能体会先运行开销最低的快速预览渲染:

vork render scene.json --profile std/previs --out preview.png
vork 智能体渲染循环示意图:执行 vork init 初始化后,智能体编写 scene.json,使用 std/previs 渲染预览图,智能体查看 PNG 画面并修正摄像机与灯光,循环调优后切换至 std/final 输出最终 MP4

第三步:结合预览图循环调优画面

这一步正是编程智能体发挥核心价值的地方。它会直接打开刚刚生成的 preview.png,发现主体偏离中心或阴影过于平淡,随后自动修改摄像机的 translation 坐标或灯光的 energy 强度,接着再次渲染。由于 std/previs 预设跳过了间接光照计算,每一轮迭代只需几秒钟。

建议给智能体提供明确具体的镜头简报,例如“黄昏暖光下缓慢推向一个橙色球体,低机位仰拍,带柔和轮廓光”,这样智能体在检查每张预览图时就有明确的评判基准。当需要用到首页文档未展开的字段时,智能体会直接向引擎查询帮助,而不是盲目乱猜:

vork help lights
vork help field node.target
vork help programs --all

如果需要逼真的天空光照,vork std sky 可以快速搭建日光环境,而 vork std environment 则能将一张 HDR 贴图转换为环境光加太阳光源。下文还会介绍免费 HDRI 素材的获取方式。

第四步:让画面动起来

单帧静止画面加上动画轨道(tracks)就构成了动画。vork 将关键帧保存在顶层的 animation 数组中,关键帧时间单位为秒。以下示例展示了一个在 2 秒内沿弧线跃过画面的球体:

{"version":2,"nodes":[
  {"type":"mesh","name":"ball","geometry":{"std":"sphere","radius":0.5},
   "materials":[{"inputs":{"base_color":[0.9,0.4,0.1],"specular_roughness":0.3}}]},
  {"type":"mesh","translation":[0,-0.5,0],"geometry":{"std":"grid","size":[10,10]},
   "materials":[{"inputs":{"base_color":[0.35,0.35,0.35]}}]},
  {"type":"light","shape":"rectangle","translation":[-3,5,4],"target":[0,0,0],
   "energy":700,"size":4},
  {"type":"camera","translation":[0,2,6],"target":[0,0,0]}
],
"animation":[{"tracks":[{"path":["nodes","ball","translation"],
  "keys":[[0,[-2,0,0]],[1,[0,1.5,0]],[2,[2,0,0]]],"interpolation":"LINEAR"}]}],
"render":{"resolution":[1280,720]}}

根据 vork help animation 的规则:属性路径必须写成字段名组成的数组(而非点号拼接的字符串);插值模式支持 STEP、LINEAR 或 CUBICSPLINE;此外,摄像机的 target 属性不能直接设置关键帧动画——如果你需要让镜头视线平滑跟随移动,可以将 target 指向一个命名节点,然后对该节点设置移动动画。

建议先渲染一段低开销的预览视频。注意帧范围是包含首尾两端的闭区间,因此在 24 fps 下,第 0 到 47 帧正好对应 2 秒时长:

vork render scene.json --profile std/previs --set fps=24 --frame-start 0 --frame-end 47 --out preview.mp4

第五步:输出最终高质量成片

确认预览视频的动作和构图无误后,只需切换渲染预设(profile)即可输出成片。在 vork 中,渲染画质只是一个命令行参数,无需改动场景代码:

vork render scene.json --profile std/final --set fps=24 --frame-start 0 --frame-end 47 --out final.mp4
vork 四档渲染预设对比图:从仅计算直接光照的 std/previs,到最高支持 4,096 次采样的路径追踪 std/path,从左到右渲染耗时逐步增加、光影精度逐级提升
渲染预设 计算内容 适用场景
std/previs 仅计算直接光照与硬阴影 构图取景、动作走位、快速迭代循环
std/draft 4 次采样,包含间接光照与降噪 快速检查光影氛围
std/final 8 次采样,包含间接光照与降噪(默认) 最终成片交付
std/path 完整路径追踪,最高支持 4,096 次采样 室内复杂光影、玻璃折射、焦散效果

如果画面暗部仍有噪点,可以通过追加 --set samples=32 提高采样数来换取更纯净的细节。

渲染速度表现如何?

Voyager 在单张 NVIDIA L4 GPU 上测得了以下数据,并将其明确标注为特定画质下的实测耗时(而非同等画质下的绝对加速比):

  • 百万飞鸟场景(Million birds):在 std/draft 预设(4 次采样 + 降噪)下,渲染 192 帧 1080p 动画耗时约 97 秒。作为对比,官方给出的 Blender EEVEE 耗时(13 至 18 分钟)是基于 8 帧样本推算出的估算值,而非跑完全片的实测值。
  • 路径追踪(Path tracing):在两个测试场景中,vork 的速度比 Blender Cycles 慢 1.99 倍至 5.81 倍(基于早期构建版本测试)。

完整的测试条件与边界说明可查阅官方基准测试报告,不同型号的 GPU 实测表现会有所差异。

研究预览期的已知限制

在向客户承诺镜头效果之前,请务必先运行 vork help limits 查看当前限制。在 0.3.0 版本中:

  • 暂不支持雾气、霾、烟雾或体积光(volumes)。Voyager 表示雾效将在 0.4 版本中回归。
  • 超大规模场景和密集的半透明叠层可能会渲染失败(包括在 Mac 平台上)。
  • 首次使用某个全新 GPU 程序进行渲染时,着色器编译可能需要数分钟时间。

上述限制并不会影响制作产品 360 度旋转展示或风格化演示短片,但目前还无法胜任烟雾弥漫的电影感镜头。

为场景接入免费素材:Poly Haven API

Poly Haven 提供了大量采用 CC0 协议的 HDRI 环境贴图、材质纹理和 3D 模型,并且其公开 API 允许智能体直接按需拉取素材。根据 2026 年 11 月 9 日核查的服务条款,该 API“可用于任何用途(包括商业用途)”且完全免费,无需申请 API Key,仅要求在请求时携带标明你软件名称的专属 User-Agent 或 Referer 请求头。

Poly Haven 官网提供的 CC0 免费 HDRI 环境贴图、纹理与 3D 模型素材库界面

通常只需两条接口调用就能满足绝大多数镜头的素材需求:

curl -A "my-shot-renderer/1.0" "https://api.polyhaven.com/assets?t=hdris&categories=sunrise-sunset"
curl -A "my-shot-renderer/1.0" "https://api.polyhaven.com/files/kloofendal_48d_partly_cloudy_puresky"

第二条请求会按分辨率返回对应的下载直链(例如供 vork std environment 使用的 1K .hdr 文件)。3D 模型则以 glTF 格式提供,vork 可直接通过 asset 节点导入。

使用 Apifox CLI 让智能体提前测试素材 API

如果因为外部素材接口的返回结构发生变化,导致渲染任务在跑到第 200 帧时崩溃退出,排查代价未免太高。既然你的智能体本来就要调用 Poly Haven 接口,不妨让它先用 Apifox CLI 在终端里导入接口规范、编写契约测试并提前跑通验证。

npm install -g apifox-cli@latest
apifox auth login --with-token <YOUR_TOKEN>
apifox skill install

随后向智能体发送一条提示词:

Download https://api.polyhaven.com/api-docs/swagger.json and import it into Apifox
project <projectId>. Create a test case for GET /files/{id} with id
kloofendal_48d_partly_cloudy_puresky that asserts status 200 and that
hdri.1k.hdr.url ends in .hdr, then run it and summarize any failures.

智能体会自动导入 OpenAPI 规范、读取载荷 schema、校验本地文件并执行测试用例:

apifox import --project <projectId> --format openapi --file ./swagger.json
apifox cli-schema get test-case-create
apifox cli-schema validate test-case-create --file case.json
apifox test-case create --project <projectId> --file case.json
apifox run --test-case <caseId> --project <projectId> -r cli,json

把同一条 apifox run 命令放在最终渲染脚本执行之前,一旦素材接口出现异常,几秒钟内就会提前报错拦截,而不至于在渲染到视频半途时才前功尽弃。关于智能体侧的更多配置说明,可参考在 Claude Code 中使用 Apifox CLI 或 Apifox CLI 安装指南。

vork 与其他智能体视频工具的定位互补

vork 专注于渲染真正的 3D 场景:几何体、物理光照与刚体/粒子物理。如果你需要制作的是动态图形(Motion Graphics)、片头字幕或 UI 动效,基于 React 组件构建视频的结合 Remotion 使用 Claude Code 方案会更加合适;如果你需要让智能体把多段 AI 生成的视频素材剪辑成片,则可以参考 OpenMontage 视频剪辑智能体。许多团队会将它们组合使用:用 Remotion 制作解说演示框架,再用 vork 渲染核心的 3D 主视觉镜头。

常见问题

真的可以不花软件授权费,就用 AI 智能体制作 3D 动画吗? 可以。vork 在研究预览期内免费,Poly Haven 的素材库与 API 也完全免费。你只需要准备一块受支持的 GPU 以及你原本就在使用的编程智能体订阅。

vork 是开源软件吗? 不是,它是源码可用(source-available)软件。你可以将其免费用于自己的个人或商业项目并进行修改,但不能重新分发修改后的版本,也不能将其作为托管渲染服务提供给他人。

哪些 AI 智能体可以配合 vork 使用? 任何能够执行终端 shell 命令并支持读取查看图片的智能体均可配合使用,例如 Claude Code、Codex 或 Cursor,无需安装任何额外插件。

vork 支持在 Intel 芯片的 Mac 或 AMD 显卡上运行吗? 不支持。渲染功能必须在运行 macOS 26 的 Apple Silicon 设备,或具备硬件光线追踪能力的较新 NVIDIA GPU 上运行。

vork 可以往真实拍摄的视频素材里合成 VFX 视觉特效吗? 可以。官方代码仓库中提供了现成示例,可通过摄像机反求追踪、遮挡蒙版(occlusion mattes)和代理几何体,将渲染出的 3D 特效精准合成到实拍视频中,全程不依赖生成式 AI 视频模型。