Qwen3.5 9B + Hermes: 这可能是本地电脑玩Agent最好的组合！

想要在个人电脑中构建专属的AI助手？Qwen3.5 9B搭配Hermes的组合，在性能与易用性之间实现了理想平衡。本文详述实测表现、硬件要求与完整搭建流程。

当前，智能体应用日益普及，众多用户正着手搭建个人AI工作台。本篇文章分享一套经实测验证的方案，其完全运行于本地电脑，无需联网即可驱动专属智能助手。具体方案为：Qwen3.5:9b配合Hermes。以下呈现一手实测数据、详细搭建步骤，供感兴趣的读者参考。

1 实测 Qwen3.5:9b

在开源模型领域，Qwen系列目前表现突出。不仅国内广泛采用，英伟达近期也在对其进行量化处理，例如Qwen3.6-27B模型：

针对该模型，笔者在个人电脑上进行过实测。量化后的Qwen3.6:27B若要在单张消费级显卡上流畅运行，仅能选用32G显存的5090显卡，这一门槛过高，估计绝大多数用户都无法流畅运行。基于实际考量，经过大量测试发现，Qwen3.5:9b模型更为亲民。它仅需16G内存搭配8G显卡即可运行，在12G至16G显卡环境下则能流畅运行。例如，笔者在32G 5090显卡环境下实测，运行极为流畅。如下所示，5090显卡实测，对单张图片的处理速度达到500 tokens/s：

推理速度方面，针对上述输入，笔者执行了10次测评，并绘制折线图：

首token延时（TTFT）平均值为2.29秒，对应图中绿色折线。首token之后，平均每0.40秒生成一个输出token。推理输出token数/s的曲线如下：

模型推理的平均速度为175.5 tokens/s。以上数据基于ollama搭载的qwen3.5:9b，适用于单人单机的最佳场景。

实测结果表明，Qwen3.5:9B更像是本地Agent的甜点位模型。

它既不像27B那样占用大量显存，也不会像小模型那样在复杂任务中显得力不从心。

此外，该模型最高支持256K上下文长度，对多数本地Agent任务而言已足够应用：

结合Hermes自带的记忆功能，多轮任务的连续性得以提升。

总的来说，该模型接入Hermes后，不再仅限于聊天功能，而是能够胜任多项本地Agent任务，这正是笔者觉得它特别适合单机本地玩Agent的原因。

2 接入Hermes

为何本次选择将Qwen3.5 9B接入Hermes，而非先测试其他Agent工具？

一个现实原因是：Hermes相对易于安装。

它更为轻量，安装链路更短，对于普通用户而言，成功运行的概率更高。

这一点至关重要。本地Agent工具的价值不在于外观多酷炫，而在于能否在个人电脑上快速安装、接入模型，并真正开始工作。

Ollama现已便捷支持Hermes，只需执行下面一行命令，它会自动将模型指定为qwen3.5:9b，后续无需手动配置，十分方便：

ollama launch hermes --model qwen3.5:9b

若Hermes尚未安装，它会自动完成安装，操作简便：

点击Yes，即开始自动在电脑中安装Hermes。

大约不到3分钟，Hermes便安装完成，Windows电脑同样丝滑兼容：

如图所示显示为qwen3.5:9b，进行测试提问：

该搭建方案因接入本地算力，token可随意使用，无需担忧花费问题。

接入步骤极为便捷，若此前从未安装过Hermes，仅需一行命令即可完成。

若此前安装过，可能会遇到一个问题，解决方法如下：

首先执行下面两行命令：

hermes config path

hermes config show

找到输出的配置文件具体路径，例如：

C:UsersguozhAppDataLocalhermesconfig.yaml

打开该文件，在yaml文件中输入以下内容：

model:

default: qwen3.5:9b

provider: custom

base_url: http://127.0.0.1:11434/v1

api_key: ollama

context_length: 65536

以上即为接入Hermes的完整步骤，中间无任何省略。

3 开始本地玩Agent

1) 如需直接理解一张图，告知它图片路径即可：

2) 作为OCR使用，例如提取图片中的文字：

3) 自动分析Excel文件，告知它Excel文件位置，过程中它会自动安装pandas等数据分析包：

最终得出如下结论：

中途遇到问题，Hermes会主动学习：

若超出模型上下文限制，Hermes会自动压缩，如下图所示：

Hermes的突出优势在于，它不仅是单次对话工具，而是在多轮使用中自动更新用户画像和长期记忆：

例如这里显示User profile updated·Memory updated，说明它已将本轮对话中具有长期价值的信息写入记忆。

篇幅所限，更多实用且有趣的场景，各位可自行实践。总体而言，本地玩法颇具乐趣。

通过实测验证，Qwen3.5:9B与Hermes的组合足以应对众多本地办公场景。对于AI爱好者而言，在本地运行智能体，完全依赖本地算力，无需担忧Token消耗，这种体验极具吸引力。本方案是目前本地部署智能体的优选搭配。

登录查看剩余 70% 内容