AI 推理栈软件开发与交付

软件交付服务覆盖推理栈的源码级改造和新需求开发：从给 vLLM、LMCache 这类上游项目打补丁，到视频生成产线、私有化推理一体机等具体场景的落地。

更新于 2026-11-12 · 芯元一（天津）半导体设备有限公司

做过哪些上游级别的工程？

已经完成并有报告可查的工作包括：vLLM 和 LMCache 在 ROCm 上的源码编译，LMCache 并行读补丁，GDS 适配层，以及 fs:// 后端缺陷的定位，对应 R1 和 R8。

并行读补丁是其中最直接的一项：冷读场景下首 token 延迟从 37.97 秒降到 9.30 秒，约 4.1 倍（R1）。补丁的 git patch 和改动前后全文都在 R8 复现包里。

目前在做和已跑通的方向有两类：AI 视频生成产线，ComfyUI 加 LTX-Video 的 7 个模型已在 MI308X 上跑通（R6/R7）；以及私有化推理一体机这类软硬件打包的交付。

需求不在这两类里也可以谈。我们的判断标准是能不能在真实硬件上验证：能测出来、能写进报告的，才会作为交付物承诺。

芯元一可调动的成熟软件开发者约 10,000 名，这是我方口径，接受尽调核验，不作为论证数据；另与北京信息科技大学有校企合作，此为校方口径。

想用自己的模型和负载验证这些数字？从一次联测开始，不达标就停。

LMCache 并行读补丁放在 R8 复现包里，形式是 git patch 加改动前后的全文，同时附带负载客户端、编排脚本和原始数据。这个包不公开托管，联系我们即可获取。

有。并行读补丁的效果记录在 R1，补丁和复现材料在 R8；视频生成工作流的 7 个模型在 MI308X 上实跑通过，记录在 R6 和 R7。开发者规模属于我方口径。