方案 · 适配
非英伟达算力卡适配与联合优化
这项服务帮你把 AMD MI308X、华为昇腾 910B、沐曦 N260 这类非英伟达算力卡真正用起来:从 vLLM、LMCache 的源码编译和补丁,到具体模型的实跑验证和交付。
为什么非英伟达的卡需要专门适配?
主流推理软件默认围绕英伟达的生态开发,换到 ROCm 或昇腾的软件栈,常见问题是编译不过、算子缺失、缓存后端有缺陷。卡跑不满,多半出在这一层。
芯元一在 8 卡 MI308X 上用 ROCm 7.2 从源码编译了 vLLM 0.20.1 和 LMCache 的上游主线版本,定位了 fs:// 后端的一处缺陷,再在这套环境上完成 R1 到 R4 的全部测试。
已经在哪些平台和模型上验证过?
已验证的平台有三个:8 卡 AMD MI308X(R1 到 R4),8 卡华为昇腾 910B(R9),沐曦 N260 单卡(R5)。模型从 14B、32B 到 480B 的语言模型,以及视频生成工作流。
| 平台 | 验证内容 | 出处 |
|---|---|---|
| AMD Instinct MI308X × 8 | Qwen3-Coder-480B-FP8 推理、KV 缓存分层、模型加载与切换、训练检查点 | R1–R4 |
| AMD Instinct MI308X | ComfyUI 加 LTX-Video 2.3 视频生成,7 个模型全部实跑通过 | R6、R7 |
| 华为 Atlas 910B × 8 | DeepSeek-32B、70B 模型加载,训练权重与数据读取,对照 NFS | R9 |
| 沐曦 N260 单卡 | 14B 模型七组对照,外置 KV 层替代显存驻留的论证 | R5 |
MI308X 单节点上还有两份模型验收:Kimi K2.7 上线前验收(KIMI-K27-ACPT-2026-001)和 GLM-5.2 适配(GLM52-FP8-ADAPT-PERF-2026-001)。两份都是单节点结果,不代表整个集群已经联调。
交付物是什么?
交付的是能复现的东西:构建步骤、git patch、负载客户端、编排脚本、取证脚本和原始数据。R8 复现包就是这样一份交付物,第三方拿到可以独立重跑。
适配工作一般并入联测一起做:G2 门禁要求单节点 8 卡推理基线复现,与 R1 口径相差不超过 10%。
常见问题
MI308X 是国产芯片吗?
不是。MI308X 是 AMD 的 Instinct 系列加速卡。芯元一同时做华为昇腾 910B 和沐曦 N260 这两类国产平台的适配,所以这项服务准确的叫法是非英伟达算力卡适配。
视频生成模型能在 MI308X 上跑吗?
能。R6 和 R7 记录了 ComfyUI 加 LTX-Video 2.3 的适配:3 个 VAE、fp8 文本编码器、文本投影和 2 个 LoRA 共 7 个模型,在 MI308X 和 ROCm 7.2 上全部实跑通过。
适配用到的补丁会公开吗?
补丁以 git patch 加改动前后全文的形式放在 R8 复现包里,不公开托管,联系我们即可获取。拿到后可以逐行检查改了什么,并在自己的环境里重跑测试。