WiCi开源InferSSD 从固态硬盘流式运行7480亿参数模型
要点
10月30日，WiCi团队在GitHub发布开源推理引擎InferSSD 0.1.0，采用Apache 2.0许可证，基于llama.cpp构建。它的做法是把混合专家（MoE）模型的专家权重保存在固态硬盘上，计算时才把需要的部分调入内存与显存，从而让总参数量远超内存容量的模型在…
10月30日，WiCi团队在GitHub发布开源推理引擎InferSSD 0.1.0，采用Apache 2.0许可证，基于llama.cpp构建。它的做法是把混合专家（MoE）模型的专家权重保存在固态硬盘上，计算时才把需要的部分调入内存与显存，从而让总参数量远超内存容量的模型在消费级设备上运行。仓库列出的首批适配对象包括DeepSeek-V4.1-Flash、8160亿参数的Muse-Spark-Open和350亿参数的Qwen3.6-35B-A3B，输出兼容OpenAI格式的API，并提供浏览器聊天界面。
这套引擎背后是一个更激进的硬件设想。按官网说明，WiCi One是一台内置RTX 5090、处理器与4TB NVMe固态硬盘的”无线本地GPU”，通过Wi-Fi向家中的笔记本、Mac等设备供算，操作系统经虚拟显卡驱动把远端显卡识别为本机设备，Ollama、LM Studio与PyTorch可以像使用标准显卡一样调用它；5090版自测的DeepSeek V4.1 Flash生成速度约为每秒20个Token。无线的难点不在带宽而在延迟，官网技术页直言约束是”往返，而不是带宽”，为此其自研协议引入了指令批量发送、数据压缩、增量传输与预测响应等手段，画面结果再以视频流回传。
仓库基准给出了可供复现的数字：在RTX 5090、32GB内存与PCIe 5.0固态硬盘的组合上，DeepSeek-V4.1-Flash的解码速度为每秒7.27个Token，约为llama.cpp原生的8.39倍；DGX Spark为每秒7.26个，M5 Max笔记本为每秒2.87个。按官方模型卡，这个模型由5520亿骨干参数与1960亿条件记忆模块构成（合计约7480亿，计入视觉编码器则约7630亿），每个Token预填阶段只激活80亿、解码阶段激活160亿参数，每层的384个路由专家中仅6个参与计算。正是这种稀疏激活给了硬盘供给以工程空间——RTX 5090显存带宽约1.8TB/s，PCIe 5.0固态硬盘标称连续读取只有约14GB/s，两者相差两个数量级，总参数决定硬件账单、激活参数决定算力账单的分工，让”把权重放进硬盘”第一次变得可以讨论。
不过，外部验证才刚刚开始。仓库自述这些基准属于”短集成检查，不主张性能对齐”，Qwen3.6的支持只在Apple Silicon上验证过，CUDA路径仅完成编译检查；目前没有预编译包，首次运行DeepSeek需要下载约470GiB文件，Windows版本仍在开发中。提交记录显示0.1.2已于11月3日跟进，修复了Mac上混合张量布局导致的Metal内存超限问题——发布四天连推两个版本，既说明社区参与活跃，也说明这套系统离稳定还有距离。至于演示中生成速度在每秒3至15个Token之间的波动，以及多设备并发时显存如何排队，仓库均未给出长期运行数据。
标准侧的条件倒是正在就位。Wi-Fi联盟介绍，2024年启动认证的Wi-Fi 7把6GHz频段的信道宽度扩展到320MHz，吞吐较Wi-Fi 6翻倍，多链路操作则在多条链路间做负载均衡；其援引ABI Research的统计显示，2026年Wi-Fi 7芯片组出货量预计达14亿颗。近端无线共享一整块高端显卡，由此从纸面参数变成了工程上可讨论的选项。
边界也要说清：SSD卸载适合每次激活参数较少的MoE模型，密集模型每个Token都要读取大部分权重，收益会大打折扣；SSD承担的是容量扩展，提供不了显存级带宽，实时编码与高并发服务所需的吞吐和首词延迟仍要靠显存解决。InferSSD把”本地跑超大模型”的门槛从大内存主机降到了一张显卡加一块大容量硬盘——它究竟是显存墙下的过渡方案，还是个人算力的一种新形态，要等更多独立复测来下结论。
