大模型的参数竞赛,又上了一级台阶。
阿里通义千问 Qwen4-Max 上线,2.4 万亿参数,MoE 架构,原生支持视觉,上下文窗口 100 万 Token,成本比上一代下降超过 60%,后续还会开源小尺寸版本。
2.4 万亿参数是什么概念?上一代旗舰普遍在千亿级,这次直接上了一个数量级。但要注意,MoE 架构下总参数和激活参数是两回事——总参数决定容量,激活参数决定单次推理的开销。所以 2.4 万亿不等于每次调用都要跑 2.4 万亿。
原生视觉这个点值得单独说。“原生”意味着模型在训练阶段就把图像和文本放在一起处理,而不是外挂一个视觉编码器再对接。差别在哪?前者对图文混合任务的理解更连贯,后者容易出现“看图”和“读字”两张皮。
100 万 Token 上下文,对应大概是几十万字的中文。这个长度已经能塞进整本书、整套合同或者一个中型代码库。对做长文档处理的团队来说,这是实打实的能力变化。
成本降超 60%,是这次最实际的进步。参数涨了,单价反而降了,说明推理效率的优化幅度比参数增长更快。对开发者来说,这意味着原来跑不起的任务现在能跑了。
后续开源小尺寸版本这条也有分量。大厂把旗舰能力往下放,中小团队才有得用。这几年国内开源模型的节奏一直不错,这次大概率也会延续。
观察点:实测效果和宣传口径差多少,长上下文下的召回质量稳不稳,以及小尺寸版本什么时候放出来。
来源:今日头条
