英特尔第一时间支持混元Hy3: 至强 6适配优化已就位

7月6日，腾讯正式开源新一代多模态大模型混元Hy3，其性能可媲美参数规模更大的旗舰模型。英特尔作为关键算力伙伴，第一时间完成在至强®6与Gaudi® 2E平台上的优化适配，为产业应用提供高效算力支撑。

英特尔针对Hy3的快速支持涵盖多项关键组件与算子优化，使至强®6处理器平台能充分释放内置英特尔®AMX（高级矩阵扩展）技术潜力，提供高效强劲的推理加速。在推荐配置下，仅需单台至强®6服务器即可部署总参数295B、BF16精度的满血版Hy3模型。

至强® 6平台部署方案

目前，英特尔已在SGLang主分支完成针对Hy3与至强®6处理器硬件特性的专属优化，以最大化发挥该平台的算力与带宽优势。按照以下步骤完成安装与适配：

平台推荐配置：搭载两颗至强®6性能核处理器，推荐选用6978P（120核）或6980P（128核）型号，每颗处理器均配置为SNC3模式，整体平台建议搭配1TB或以上容量内存。

安装指南参考：https://docs.sglang.io/platforms/cpu_server.html#installation

至强®服务器server启动指南参考：https://docs.sglang.io/platforms/cpu_server.html#launch-of-the-serving-engine

#启动server命令python -m sglang.launch_server --model-path HY-3.0_ID --dtype bfloat16 --trust-remote-code --device cpu --disable-overlap-schedule --tp 6

额外提示：如需获得更佳解码性能，可在server启动命令中添加"--enable-torch-compile"。

Gaudi® 2E AI 加&速器平台部署方案

英特尔®Gaudi® 2E AI加&速器对Hy3的支持也已就绪，仅使用单节点4卡高速互联即可完成模型部署，提供更高灵活性及更低门槛。

按照以下步骤完成在Gaudi® 2E AI加&速器上的部署：

平台推荐配置：单节点至少安装4块Gaudi® 2E PCIe加速卡，基于单卡96GB HBM配置实现4卡384GB HBM总容量。

Gaudi® 2E AI加&速器针对Hy3的技术资源已上传至Github：https://github.com/HabanaAI/vllm-fork/tree/aice/v1.22.0

按照以下步骤安装上述链接中的vllm-fork及vllm-hpu-extension库：https://github.com/HabanaAI/vllm-fork/blob/aice/v1.22.0/scripts/docs/vllm%E6%8E%A8%E7%90%86%E6%89%8B%E5%86%8C.md#10-%E7%8E%AF%E5%A2%83%E9%83%A8%E7%BD%AE

之后，按照以下链接转换下载得到的Hy3 FP8模型权重目录，即可部署使用：https://github.com/HabanaAI/vllm-fork/blob/aice/v1.22.0/scripts/docs/vllm%E6%8E%A8%E7%90%86%E6%89%8B%E5%86%8C.md#384-fp8%E7%B2%BE%E5%BA%A6%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2

通过这些优化与部署方案，用户可充分利用英特尔平台算力高效运行Hy3模型，显著降低部署门槛，推动开源大模型在行业中的广泛应用。