如何在本地免费运行 Qwen 3.8 27B:Ollama、LM Studio、llama.cpp 与 MLX 实战指南

详解如何通过 Ollama、LM Studio、llama.cpp 与 MLX 在本地免费部署 Qwen 3.8 27B 视觉语言模型,涵盖各量化版本显存需求、硬件实测速度及 Apifox CLI 本地接口测试。

用 Apifox,节省研发团队的每一分钟

如何在本地免费运行 Qwen 3.8 27B:Ollama、LM Studio、llama.cpp 与 MLX 实战指南

免费使用 Apifox

相关推荐

最新文章

API

一体化协作平台

API 设计

API 文档

API 调试

自动化测试

API Mock

API Hub

立即体验 Apifox
目录

要在本地运行 Qwen 3.8 27B(待核实:该模型版本及参数信息请以通义千问官方发布为准),只需安装 Ollama 并依次运行 ollama pull qwen3.8:27b 和 ollama run qwen3.8:27b。默认版本是一个 18 GB 的 4-bit 量化下载包,因此建议使用配备 24 GB 显存(VRAM)的 GPU,或拥有 32 GB 统一内存的 Mac。模型权重采用 Apache-2.0 许可证开源,模型本身完全免费,唯一的成本只有硬件和电费。

以上是简明步骤。本文将详细介绍值得使用的四款本地运行工具(Ollama、LM Studio、llama.cpp 与 MLX)、不同量化版本所需的内存容量、真实硬件上的实测推理速度,以及在服务启动后如何让编码智能体搭配 Apifox CLI 测试本地接口。

如果你刚开始接触这一系列模型,可以先了解 2.4T 参数的旗舰版 Qwen 3.8-Max;而本文聚焦于能够直接跑在桌面设备上的紧凑型稠密(Dense)版本。

AI Coding 交流群

如果你也在用 AI 写代码,或者正在研究 Cursor、Claude Code 这些工具,欢迎加入以下交流群。群里平时会聊一些 AI 编程的实际用法、开发工作流,还有各种新工具和新玩法。

AI Coding 交流群二维码

什么是 Qwen 3.8 27B?

Qwen 3.8 27B 是阿里巴巴通义千问(Qwen)团队于 2026 年 8 月基于 Apache-2.0 许可证发布的 270 亿参数稠密视觉语言模型(待核实)。它支持读取文本、图像和视频,默认开启思考(Thinking)模式后再作答,原生支持 262,144 token 的上下文窗口,并可通过 YaRN 扩展至 100 万 token。

官方模型卡列出的核心规格如下(待核实):

规格项 Qwen 3.8 27B
参数量 27B 稠密模型(Hugging Face Hub 计入视觉编码器后显示为 28B)
层数 64 层,混合采用 Gated DeltaNet 与 Gated Attention 模块
上下文窗口 原生 262,144,通过 YaRN 最高可扩展至 1,000,000
输入模态 文本、图像、视频
思考模式 默认开启,reasoning_effort 支持 xhigh、medium 或 low
附加特性 多词元预测(MTP,Multi-token prediction)层
开源协议 Apache-2.0

在 Qwen 官方公布的基准测试表中,它在 SWE-bench Pro 上得分为 61.7,在 Terminal Bench 2.1 上得分为 73.0,在 GPQA Diamond 上得分为 89.2(待核实)。这些均为厂商公布的数据,阅读时建议留意哪些测试集属于官方自建评测。

为什么它适合本地部署:4-bit 量化下的 27B 稠密模型可以塞进单张消费级显卡,并且在同一个模型文件中同时具备工具调用(Tool Calling)、视觉理解与深度思考能力。

运行 Qwen 3.8 27B 需要多少内存(RAM)与显存(VRAM)?

规划硬件时,请按所选量化模型的文件大小再加上 3 到 6 GB 的 KV 缓存与运行时开销来计算。对于默认的 Q4_K_M 量化版本,意味着需要 24 GB 显存的 GPU 或 32 GB 统一内存的 Mac。

以下是于 2026 年 11 月 9 日核对的 unsloth 量化仓库中的 GGUF 文件大小(待核实):

量化版本 文件大小 推荐硬件配置
UD-IQ2_XXS 7.27 GB 16 GB Mac 或 12 GB 显存 GPU,有明显质量损失
UD-Q3_K_XL 13.1 GB 16 GB 显存 GPU,24 GB Mac
UD-Q4_K_M 16.5 GB 24 GB 显存 GPU,32 GB Mac(性价比甜点档)
UD-Q5_K_M 19.8 GB 24 GB 显存 GPU(短上下文),32 GB Mac
UD-Q6_K 22 GB 32 GB 显存 GPU,48 GB Mac
Q8_0 29 GB 48 GB 显存 GPU,64 GB Mac

如果需要图像输入能力,视觉投影器(mmproj-F16.gguf)会额外增加 928 MB。Ollama 默认的 qwen3.8:27b 镜像体积为 18 GB,正是因为它打包了视觉模块。

上下文长度是容易被忽视的隐性开销。根据 llm-speed 的容量测算(待核实),开启 32,000 token 上下文时,Q4_K_M 大约会占用 21.9 GB。这也是为什么 24 GB 显卡是运行 Q4 的实用底线,而且除非内存非常充裕,否则不建议直接拉满 262K 的完整上下文窗口。

Qwen 3.8 27B GGUF 各量化版本文件大小柱状图(从 7.3 GB 的 IQ2_XXS 到 29 GB 的 Q8_0,标有 16、24 和 32 GB 内存参考线)

在 Mac 上还要注意,macOS 会为系统保留一部分统一内存。24 GB 的 Mac 理论上也能加载 Q4_K_M,但留给长上下文或浏览器的余量会非常紧张,因此在 24 GB Mac 上更建议选择 Q3_K_XL。

Qwen 3.8 27B 在本地运行有多快?

使用 llama.cpp 运行 Q4_K_M 时,RTX 3090 或 4090 的生成速度大约在 38 到 44 token/s,RTX 5090 可达 65 到 75 token/s;搭载 M3 Ultra 的 Mac Studio 解码速度约为 25 到 27 token/s(待核实)。

这些并非我们自行跑分的结果,而是由 llm-speed 公布的实测数据及其声明的硬件与运行时环境(待核实):

硬件设备 量化版本 / 运行时 解码速度 (Decode tok/s) 预填充速度 (Prefill tok/s)
RTX 3090 24 GB Q4_K_M, llama.cpp 38.6(短对话,4K 上下文) 482
RTX 4090 24 GB Q4_K_M, llama.cpp 43.4(短对话,4K 上下文) 448
RTX 5090 32 GB Q4_K_M, llama.cpp 75.2(短对话,4K 上下文) 563
L40S 45 GB Q4_K_M, llama.cpp 34.3(短对话) 569
M3 Ultra 96 GB Q4_K_M, llama.cpp 25.2(短对话) 45
M3 Ultra 96 GB 4-bit, MLX 0.31.3 27.3(短对话) 12

在独立 GPU 上,解码速度几乎不会随上下文增长而明显下降:输入 33,133 token 的提示词后,RTX 4090 依然能保持 39.0 tok/s。而预填充(Prefill)则是 Mac 落后的地方:面对 11,827 token 的提示词,M3 Ultra 的处理速度约为 283 tok/s,而 RTX 4090 约为 2,000 到 3,000 tok/s,因此读取大型代码库时需要等待几十秒才会输出第一个 token。

思考模式同样会消耗大量时间预算。当 Simon Willison 让本地 Qwen 3.8 27B 从原始模型权重中识别游戏时(待核实),其中一次回答耗时 46 分钟并生成了 43,506 个推理 token。对于日常任务,建议将 reasoning_effort 调低至 low 或直接关闭思考模式。

使用 Ollama 运行 Qwen 3.8 27B

Ollama 是各大操作系统上最省事的启动方式。从 ollama.com 安装后,执行以下命令:

ollama pull qwen3.8:27b
ollama run qwen3.8:27b

在 Apple Silicon 设备上,可以尝试 qwen3.8:27b-mlx 标签,它会使用 MLX 后端,体积同样为 18 GB。

Ollama 的默认上下文长度较小,在长对话的智能体会话中容易截断报错。建议在启动服务前调大上下文窗口:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

Ollama 还会在 http://localhost:11434/v1 暴露兼容 OpenAI 的 API,因此任何 OpenAI SDK 只需修改 Base URL 即可直接调用:

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen3.8:27b",
       "messages": [{"role": "user", "content": "Write a Python function that validates an email address."}]}'

想直接接入编码智能体?Ollama 内置了快捷启动命令:ollama launch claude --model qwen3.8 可以让 Claude Code 直接连接本地模型启动,ollama launch opencode --model qwen3.8 则可用于启动 OpenCode(待核实)。

使用 LM Studio 运行

如果你偏好图形界面(GUI)并希望按模型独立配置加载参数,LM Studio 是理想选择。在应用中搜索 Qwen 3.8 27B,下载 Q4_K_M 版本的 lmstudio-community/Qwen3.8-27B-GGUF(16.8 GB)并加载。

有一项设置尤为关键:加载模型时务必调高上下文长度。Simon Willison 在实测中发现,默认的 8,192 token 上下文在处理长提示词时会报错失败,必须加载更大的上下文窗口才能顺利运行。

随后打开 Developer(开发者)标签页并启动本地服务器,或在终端运行 lms server start。兼容 OpenAI 的接口地址位于 http://localhost:1234/v1。

使用 llama.cpp 运行

llama.cpp 提供了最精细的控制能力,前面列出的绝大多数基准测试也是基于它运行的。在 macOS 或 Linux 上可执行:

brew install llama.cpp

llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M \
  --jinja -c 32768 -ngl 99 \
  --temp 1.0 --top-p 0.95 --top-k 20 \
  --port 8080

其中 -hf 会直接从 Hugging Face 下载对应的量化文件,--jinja 会应用模型的聊天模板(工具调用与思考模式所必需),-c 用于设置上下文长度,-ngl 99 则会将所有网络层卸载到 GPU 上。上述采样参数是 Qwen 官方针对思考模式给出的推荐值;如果使用非思考模式,模型卡建议将参数设为 temperature 0.7、top_p 0.8、top_k 20 以及 presence_penalty 1.5。

如果只想在单次请求中关闭思考模式,可以在请求体中传入 "chat_template_kwargs": {"enable_thinking": false}。

在 Mac 上使用 MLX 运行

MLX 是 Apple 官方推出的数组计算框架,在 Apple Silicon 上通常能提供最快的解码速度。安装 mlx-lm 并使用 mlx-community 转换的 4-bit 版本:

pip install mlx-lm

mlx_lm.generate --model mlx-community/Qwen3.8-27B-4bit \
  --prompt "Explain the difference between a mutex and a semaphore." \
  --max-tokens 1024

mlx_lm.server --model mlx-community/Qwen3.8-27B-4bit --port 8080

mlx_lm.server 会暴露一个兼容 OpenAI 的 /v1/chat/completions 路由。如果你希望在内存占用、输出质量与推理速度之间做不同权衡,mlx-community 组织还发布了 8-bit、mxfp4 以及 MTP 等多种变体。

让编码智能体通过 Apifox CLI 测试本地接口

虽然各款运行工具都提供相同结构的 OpenAI 兼容接口,但它们对思考块(Thinking Blocks)、工具调用和超时时间的处理方式各不相同。在把业务应用指向 localhost 之前,可以让你的编码智能体使用 Apifox CLI 构建一套可重复执行的测试,以便在几秒内揪出损坏的聊天模板或上下文截断问题,而不是等到任务执行到一半才报错(待核实:以下 Apifox CLI 具体子命令及参数请以 Apifox 官方文档为准)。

从 Ollama、LM Studio、llama.cpp 或 MLX 等本地运行工具到本地 OpenAI 兼容接口,再到编码智能体与 Apifox CLI 测试运行的流程图

只需初始化配置一次:

npm install -g apifox-cli@latest
apifox login --with-token <YOUR_TOKEN>
npx -y skills add https://apifox.com   # 出现提示时选择你使用的智能体

接着向 Claude Code、Codex 或 Cursor 发送一段提示词:

In Apifox project <projectId>, create an environment "qwen-local" with base URL
http://localhost:11434/v1. Add a POST /chat/completions endpoint for model
qwen3.8:27b, then a test case that asserts status 200, a non-empty
choices[0].message.content, usage.completion_tokens > 0, and a second request
with a tools array that returns a tool_calls entry. Run it and summarize failures.

智能体会读取对应的载荷 Schema、校验 JSON、创建资源并执行测试用例:

apifox environment create qwen-local --project <projectId> --base-url http://localhost:11434/v1
apifox cli-schema get endpoint-create
apifox cli-schema validate endpoint-create --file endpoint.json
apifox endpoint create --project <projectId> --file endpoint.json
apifox cli-schema get test-case-create
apifox test-case create --project <projectId> --file case.json
apifox run --test-case <caseId> --project <projectId> -e <envId> -r cli,json --timeout-request 300000

这里的长超时参数 --timeout-request 非常关键:开启思考模式的 27B 模型在 Mac 上可能需要数分钟才能完成推理。只需将 Base URL 切换为 http://localhost:1234/v1 或 :8080/v1,同一个测试用例就能直接验证 LM Studio、llama.cpp 或 MLX。如需了解更多智能体配置方式,可参考在 Claude Code 中使用 Apifox CLI 的相关指南以及 apifox run 命令参考文档。

本地部署 vs 托管版 Qwen 3.8 API

在本地运行能够让提示词数据留在本地设备、支持离线工作且免除按 token 计费的开销。代价则是速度与模型规模:云端托管接口运行的是体量庞大得多的 Qwen 3.8-Max,具备 100 万上下文窗口且几乎没有预填充等待。如果你需要旗舰级能力,可以查阅 Qwen 3.8 API 指南或免费调用渠道说明;如果打算用任意尺寸的模型进行智能体编程,也可以参考 Qwen 3.8 编程对比评测来挑选合适的脚手架。

常见问题(FAQ)

在本地运行 Qwen 3.8 27B 是免费的吗? 是的。模型权重以 Apache-2.0 协议发布在 Hugging Face 上,Ollama、LM Studio、llama.cpp 和 MLX 也全部免费,你只需承担硬件和电费成本。

我可以在 16 GB 内存的 Mac 上运行 Qwen 3.8 27B 吗? 只能在短上下文下运行 2-bit 量化版本(如 7.27 GB 的 UD-IQ2_XXS),且生成质量会有明显下降。32 GB 内存的 Mac 搭配 Q4_K_M 才是较为舒适的配置。

Qwen 3.8 27B 能在 RTX 3090 上运行吗? 可以。Q4_K_M 能够装进 24 GB 显存,并留有容纳 16K 至 32K 上下文的空间;根据 llm-speed 在 llama.cpp 上的实测,生成速度约为 38 token/s。

如何关闭思考模式? 在 llama.cpp 或 vLLM 上发送请求时传入 "chat_template_kwargs": {"enable_thinking": false},或者将 reasoning_effort 调低为 low。Qwen 官方建议在非思考模式下使用 temperature 0.7 与 top_p 0.8。

本地模型支持图像输入吗? 支持。Ollama 的 18 GB 默认镜像已内置视觉能力;如果使用 llama.cpp,只需在下载模型的同时一并下载 mmproj-F16.gguf 文件即可。

Qwen 3.8 27B 与 Qwen 3.8-Max 有什么区别? Max 是通过阿里云 API 提供的 2.4T 参数混合专家(MoE)旗舰模型;而 27B 是稠密模型,体积足够小,可在单张消费级 GPU 或 32 GB Mac 上独立运行。