Qwen 下一代模子架构开云(中国)KAIYUN·官方网站，抢先来袭！

Qwen3-Next发布，Qwen 团队认真东谈主林俊旸说，这便是Qwen3.5 的抢先预览版。

基于 Qwen3-Next，团队先开源了 Qwen3-Next-80B-A3B-Base。

模子参数 80B，但履行本钱连 Qwen3-32B 的十分之一都不到，何况在 32 k 以上的高下文推理蒙胧能达到后者的十倍以上。

基于这一模子，团队接连滥觞，同步开导并发布了两大新模子：

Qwen3-Next-80B-A3B-Instruct：在 256K 超长高下文解决任务中展现出权贵上风。

Qwen3-Next-80B-A3B-Thinking：在多项基准测试中卓绝闭源模子 Gemini-2.5-Flash-Thinking。

网友暗意，这更新频率令东谈主畏怯。

话未几说，赶紧来望望新模子有哪些改换吧。

4 猛进犯改换

Qwen3-Next 的中枢改换有 4 方面：

搀杂戒备力机制

高疏淡度 MoE 结构

沉稳性优化

多 token 瞻望机制

搀杂戒备力机制

线性戒备力在长高下文解决中恶果很高，但调回智商有限，而程序戒备力探求支拨大、推理恶果低，单独使用均存在局限。

为此，Qwen 团队引入 Gated DeltaNet，其在高下文体习智商上优于常用的滑动窗口戒备力和 Mamba2，并在遴荐 3:1 的搀杂政策（75% 层使用 Gated DeltaNet，25% 层保留程序戒备力）时，兼顾性能与恶果。

同期，在保留的程序戒备力层中，他们进一步引入了多项优化缱绻：

1、陆续先前责任的输外出控机制，以缓解戒备力中的低秩问题；

2、将单个戒备力头的维度从 128 彭胀至 256；

3、仅对戒备力头前 25% 的维度加入旋转位置编码，以增强长序列外推智商。

高疏淡度 MoE 结构

Qwen3-Next 遴荐高疏淡度的 MoE 架构，总参数目达 800 亿，但每次推理仅激活约 30 亿参数。

比较 Qwen3-MoE 的 128 个总内行和 8 个路由内行，Qwen3-Next 彭胀到 512 个总内行，并遴荐 10 路由内行加 1 分享内行的组合缱绻，在保证性能的前提下最大化资源行使率。

履行沉稳性优化

在 Qwen3-Next 中，团队为进一步提高模子沉稳性，遴荐了 Zero-Centered RMSNorm，并在此基础上，对 norm weight 施加 weight decay，以幸免权重无界增长。

不仅如斯，他们还在运行化时归一化了 MoE router 的参数，确保每个 expert 在履行早期都能被无偏地选中，减小运行化对实验扬弃的扰动。

多 token 瞻望机制

Qwen3-Next 引入了原生 Multi-Token Prediction（MTP） 机制，不仅取得了 Speculative Decoding 采纳率较高的 MTP 模块，还进步了模子骨干的举座性能。

此外，它还对 MTP 的多步推理进行了专项优化，即通过履行推理一致的多步政策，进一步提高了在内容应用场景下 Speculative Decoding 的采纳率。

快 10 倍，但低廉 10 倍

接下来，让咱们一皆望望新模子流露若何。

领先，Qwen3-Next 使用了 Qwen3 36T 预履行语料的均匀采神色集，仅包含 15T tokens。

其履行所需的 GPU Hours 不到 Qwen3-30A-3B 的 80%，比较 Qwen3-32B，仅需 9.3% 的 GPU 探求资源就能取得更优性能。

不仅如斯，收获于翻新的搀杂模子架构，Qwen3-Next 在推理恶果上也流露凸起。

与 Qwen3-32B 比较，Qwen3-Next-80B-A3B 在预填充（prefill）阶段就展现出超卓的蒙胧智商：

在 4k tokens 的高下文长度下，蒙胧量接近前者的 7 倍；当高下文长度逾越 32k 时，蒙胧进步更是达到 10 倍以上。

在解码（decode）阶段，该模子相似高效。4k 高下文蒙胧量进步约 4 倍，长高下文（32k+）场景中仍可保抓逾越 10 倍的蒙胧上风。

基于 Qwen3-Next，Qwen 团队领先履行了 Qwen3-Next-80B-A3B-Base 模子。

该模子仅使用十分之一的 Non-Embedding 激活参数，就已在大广宽基准测试中卓绝 Qwen3-32B-Base，并权贵优于 Qwen3-30B-A3B，展现出出色的恶果与性能上风。

基于 Qwen3-Next-80B-A3B-Base 的优异流露，团队进一步开导并发布了Qwen3-Next-80B-A3B-Instruct与Qwen3-Next-80B-A3B-Thinking。

Qwen3-Next-80B-A3B-Instruct

领先，Qwen3-Next-80B-A3B-Instruct 的流露权贵优于 Qwen3-30B-A3B-Instruct-2507 和 Qwen3-32B-Non-thinking，并在广宽主见上接近 Qwen3-235B-A22B-Instruct-2507。

除此除外，在 RULER 测试中，不管高下文长度若何，Qwen3-Next-80B-A3B-Instruct 的流露均逾越了层数换取但戒备力层更多的 Qwen3-30B-A3B-Instruct-2507。

以致在 256 k 范畴内也优于层数更多的 Qwen3-235B-A22B-Instruct-2507，充分体现了 Gated DeltaNet 与 Gated Attention 搀杂模子在长文本解决场景下的上风。

Qwen3-Next-80B-A3B-Thinking

再来看 Qwen3-Next-80B-A3B-Thinking，其流露也衰败可以。

在多项基准测试中都逾越了闭源模子 Gemini-2.5-Flash-Thinking，并在部分主见上接近 Qwen 最新的旗舰模子 Qwen3-235B-A22B-Thinking-2507。

推明智商衰败可以

接下来让咱们实测一下 Qwen3-Next-80B-A3B 的推明智商。

使用 Qwen Chat 网页，一上来就给它扔一谈 AIME 数学竞赛题试试：

由于 Qwen3-Next-80B-A3B赈济多模态，这里咱们可以径直上传图片。

真的蓦然，模子就着手赶快地列出了瞩目解题想路和探求进程，最终得到的谜底" 588 "与 AIME 程序谜底饱和吻合。

小试牛刀之后，接下来过问编程交替。

用 p5js 创建一个可径直玩的扫雷游戏。

代码得手运行后，咱们也简单试玩了一下，运动度还可以（doge）。

便是谁能评释注解一下为什么这个游戏配景是大红色，还莫得网格线？？？

还有网友奇想妙想，用它生成了天气卡片。

不外，看到这个更新时，网友直爽之余也曾忍不住吐槽：

名字确凿太复杂了。

现在，新模子已在魔搭社区和抱抱脸开源，人人可通过 Qwen Chat 免费体验，也可径直调用阿里云百真金不怕火平台提供的 API 做事。

魔搭社区纵贯车：https://t.co/mld9lp8QjK

抱抱脸纵贯车：https://t.co/zHHNBB2l5X

Qwen Chat 纵贯车：https://t.co/V7RmqMaVNZ

阿里云 API 纵贯车：https://t.co/RdmUF5m6JA

参考连络：

[ 1 ] https://x.com/Alibaba_Qwen/status/1966197643904000262

[ 2 ] https://x.com/JustinLin610/status/1966199996728156167

[ 3 ] https://mp.weixin.qq.com/s/STsWFuEkaoUa8J8v_uDhag?scene=1

一键三连「点赞」「转发」「小心心」

接待在褒贬区留住你的想法！

—  完  —

� �  年度科技风向标「2025 东谈主工智能年度榜单」评比报名开启啦！咱们正在寻找 AI+ 时期领航者  点击了解确定

❤️‍� �   企业、居品、东谈主物 3 大维度，共建筑了 5 类奖项，接待企业报名参与   � �  

一键温雅 � � 点亮星标

科技前沿进展逐日见开云(中国)KAIYUN·官方网站