寒武纪完成商汤SenseNova Loop-9B的Day 0适配,打通MLU平台推理链路
寒武纪宣布已完成对商汤新发布模型SenseNova Loop-9B的Day 0适配,基于vllm_mlu打通该模型在MLU平台上的推理链路。适配围绕Loop循环结构、MLU算子适配和mHC路由优化展开;模型约9B参数,官方4bit量化后权重约4.9GB,部署显存需求低至10GB内。
推荐分析:这次适配使MLU平台对这类新模型的可用性判断多了一个具体条件:发布当日能否由软件栈跑通推理。 其Loop结构将32个物理解码层扩展为56次层计算;静态展开为56个顺序层,复用vLLM调度与KV cache,并共享权重存储。 目前证据仅来自寒武纪单方公告,覆盖该模型在MLU的适配与部署显存口径,未给出推理性能、客户采用或量产落地数据。