首页 > 资源分享 > 资源分享 > 里程碑时刻!100B扩散语言模型892 Tokens /秒,AI另一条路走通了

里程碑时刻!100B扩散语言模型892 Tokens /秒,AI另一条路走通了

发布时间:2026-02-11 19:49:26

扩散语言模型(dLLM),这个曾被认为是「小众赛道」的研究方向,如今终于迎来了质变。

本周一,LLaDA2.1 在 HuggingFace 上悄悄上线,距离上一版本 LLaDA2.0 发布仅仅过去了两个月。本次发布共包含两个版本:LLaDA2.1-Mini(16B) 与 LLaDA2.1-Flash(100B)



作为这一赛道的标杆,LLaDA 的每一次迭代都牵动着整个方向的走向。而这一次,LLaDA2.1 几乎凭一己之力完成了扩散语言模型的「成人礼」——892 Tokens / 秒的峰值速度让理论上的效率优势第一次照进现实;边生成边纠错的机制,打破了「快则不准」的魔咒;再加上可切换的双模式、首次跑通的强化学习后训练…… 这些信号再明确不过:这条曾被视为小众的学术路线,已经长成了真正可用、甚至在效率上更为优越的强大工具。

时至今日,逐个生成下一个 Token 的自回归模型仍是主流。但长文本生成里,计算成本高、推理速度慢只是明面上的麻烦;真正棘手却鲜被正视的是模型只能单向往前猜,看不到后文语境,写错了也没法回头改,误差像滚雪球一样越积越重。这些困境就像房间里的大象,始终横亘在规模化应用的门口。

LLaDA2.1 的解法很直接:与其在旧框架里修修补补,不如换一套底层逻辑 —— 让模型像「完形填空」一样并行生成、反复打磨,把「下笔无悔」变成「边写边改」。

这套机制具体如何运转,我们可以在蚂蚁集团、浙江大学、西湖大学、南方科技大学联合撰写的技术报告中找到答案。



 

  • 论文地址:https://github.com/inclusionAI/LLaDA2.X/blob/main/llada2_1_tech_report.pdf
  • Hugging Face:https://huggingface.co/collections/inclusionAI/llada21
  • ModelScope 魔搭社区:https://modelscope.cn/collections/inclusionAI/LLaDA21
  • GitHub:https://github.com/inclusionAI/LLaDA2.X
  • Tech Report:https://huggingface.co/papers/2602.08676

 

自回归之外的另一条路

要理解 LLaDA2.1 的突破,必须从当前 AI 模型的「底层逻辑冲突」看起。

在主流 AI 大模型(如 GPT、Claude)的世界里,自回归架构是绝对的主宰。

它遵循逐 Token 生成的严苛范式:每一步输出都会固化为下一步的条件,生成路径如同单向延伸的铁轨,一旦落笔便不可回溯。比如写到「人不能两次走入同一条河流」,即使模型后来意识到应该是「踏入」而不是「走入」,也只能错到底。

这种方式在稳定性与可控性上具备天然优势,但代价同样明显。由于推理过程本质上是串行的,模型难以进行大规模并行解码,生成延迟随着上下文长度与输出规模不断放大,逐渐成为制约推理效率和部署成本的重要因素。更关键的是,这一范式在结构上默认慢而稳,并未为速度与吞吐的数量级提升预留太多空间。

基于此,扩散语言模型开始被视为一条具有潜在突破意义的替代路线,它不再执着于从左到右,而是尝试在全局空间内同时生成多个 Token。

然而,高并行往往伴随着高错误率。早期的扩散模型通常采用「掩码到 Token」(M2T)的固定路径,这种机制虽然快,却存在劣势:一旦某个生成的 Token 信心不足,模型无法在后续步骤中修正它,最终拖慢整体推理速度并降低输出质量。

这一「速度 — 质量」之间的结构性矛盾,使扩散语言模型长期停留在研究阶段,而难以真正进入应用系统。

资源分享更多>>

魅族天猫旗舰店所有手机都下架了:一个时代终结 机圈再无小而美 利好苹果,不利好国产,智能手机领域寒风刮起 小米17U徕卡版海外定名“LEITZPHONE powered by Xiaomi” 媒体称魅族第三方硬件合作方为酷比魔方:共享Flyme系统 存储芯片持续涨价,千元机市场静悄悄:中低端需求正被动萎缩 台积电先进封装科普:CoWoS、CoPoS、CoWoP 到底是个啥?谁才是下一代最该关注的技术? 1秒3亿、单日突破10亿!老铺黄金创下天猫大促最快销售纪录 百度无代码开发平台“秒哒”已生成超100万个AI应用 DeepSeek发布下一代技术!北大实习生立功 又一车企大规模召回,440万辆! 猿辅导沉浸式素养教育展落地冰城 T3出行大数据:火车站等交通枢纽峰值日打车需求同比增长将超48% 阅文计提新丽18亿商誉减值 出清商誉风险 有道“AI原生”战略成效显著,CEO周枫:将扩大AI应用与智能体的布局 字节跳动Seedance 2.0暂停真人素材参考能力 2026高性价比换机新年送礼首选!nova 15系列国补来袭:3000元档颜值实力双在线 里程碑时刻!100B扩散语言模型892 Tokens /秒,AI另一条路走通了 小众架构赢麻了:让100B扩散模型飙出892 tokens/秒的速度! 22亿!黄仁勋苏姿丰联手,投了一家“世界模型”公司 两天痛失两位华裔大佬!马斯克万亿估值为何留不住人心? RLinf-USER发布!别再用仿真,真实世界训练也能极致效率与系统化 Moltbook之外,上交大联合上海AI Lab模拟了AI原⽣社交的真实暗⾯ 盛色推出“OF27UT Pro”27英寸显示器,1299元 曝苹果首款OLED MacBook将于Q4发布 由三星供应屏幕 一季度PC内存要翻倍涨!涨幅达历史新高 折叠版iPad!iPhone Fold外观细节出炉:音量键在顶部 折叠屏iPhone不止一款!苹果或再推覆盖式可折叠iPhone,主打便携与易收纳 苹果出手,隔空投送白嫖FCP失灵了 千问APP投入30亿,阿里加入春节AI红包大战 腾讯内部信回应元宝“春节红包”分享质疑:无门槛领取与平台旨在打击的恶意营销存在本质不同