我国日均词元调用量突破500万亿
最新数据显示,国内日均词元调用量已突破500万亿。央视财经报道称,智能算力短期补不上,需向存量要效益;郑纬民院士团队的大模型推理系统Mooncake用PD分离技术,把读题与答题分给两组算力,同样硬件规模下多承接75%用户请求,长文本吞吐提升五倍以上,该系统获2025年埃里克·里德尔最佳论文奖。
推荐分析:词元调用量突破500万亿,说明需求增长快于算力扩容,而报道称智能算力短期补不上,缺口要靠提高存量硬件利用率消化。 PD分离把读题与答题拆给两组算力,不再让同一批硬件轮流干两件事,等于用软件调度换吞吐,同样的硬件能承接更多请求。 这些提升是论文作者在其系统与特定硬件条件下的结果,不能直接外推为全行业算力的普遍增幅。