在线 网站建设51网页游戏官网

在线 网站建设,51网页游戏官网,开源建站系统cms,网络架构师12月17日#xff0c;小米人车家全生态合作伙伴大会上#xff0c;MiMo大模型负责人罗福莉首次公开亮相95 后罗福莉#xff0c;四川宜宾人#xff0c;本科就读于北京师范大学计算机专业#xff0c;硕士毕业于北京大学计算语言学研究所计算语言学专业。求学期间就在人工智能领…12月17日小米人车家全生态合作伙伴大会上MiMo大模型负责人罗福莉首次公开亮相95 后罗福莉四川宜宾人本科就读于北京师范大学计算机专业硕士毕业于北京大学计算语言学研究所计算语言学专业。求学期间就在人工智能领域顶级国际会议 ACL 上发表了 8 篇论文其中两篇为第一作者。毕业就职阿里达摩院。2022 年加入 DeepSeek 母公司幻方量化从事深度学习相关工作后又担任 DeepSeek 的深度学习研究员参与研发 DeepSeek-V2 等模型。今年初传闻雷军曾希望用千万年薪挖角罗福莉邀请她到小米带领团队从事 AI 大模型研究。11 月本人正式官宣加入 Xiaomi MiMo。MiMo-V2-Flash 是小米首个推理大模型。也是罗福莉正式宣布加入小米后的第一个开源大模型。MiMo-V2-Flash 是小米自研、参数量达到 309B 的混合专家MoE模型激活 15B 参数在代码能力上比肩行业标杆 Claude 4.5 Sonnet但推理价格只有对方的 2.5%生成速度却是对方的 2 倍。综合性能登顶全球开源 TOP 2。架构创新突破显存与算力瓶颈MiMo-V2-Flash 在注意力机制上采用了 5:1 的混合注意力结构。它将 Sliding Window AttentionSWA滑动窗口注意力与 Global AttentionGA全局注意力相结合。SWA 就像是一个只会关注最近 128 个 token 的聚光灯它处理速度快显存占用极其有限且固定而 GA 则像是一个掌控全局的雷达负责捕捉长距离的依赖关系。这种 5:1 的配比经过了大量前期实验验证。相比于试图用数学技巧逼近全关注力的 Linear Attention线性注意力这种混合结构展现出了更佳的鲁棒性。它既保留了 Transformer 捕捉复杂逻辑的能力又通过大量的滑动窗口层强制将 KV Cache 限制在一个极小的固定范围内。这对于推理基础设施Infra来说是一个巨大的福音。固定的 KV Cache 意味着显存占用变得可预测工程师不再需要为长文本预留巨额的安全冗余从而可以在同一张显卡上塞入更多的并发请求。原生 32K 并外扩至 256K 的训练长度让这个模型在处理长文档、代码库分析等任务时游刃有余而不会像传统模型那样随着文本变长而不仅变慢还可能直接显存溢出OOM。在解决显存问题的同时MiMo-V2-Flash 引入了 MTPMulti-Token Prediction多 token 预测技术。传统的大模型推理是自回归的即每生成一个词都需要把庞大的模型权重从显存搬运到计算核心一次。在显存带宽有限的今天这种模式导致 GPU 的计算核心经常处于等数据的闲置状态。MTP 的核心思想非常直观既然都要搬运一次权重为什么不一次性多猜几个词MiMo-V2-Flash 在训练阶段就引入了 MTP 任务让模型在预测下一个 token 的同时还对多个未来 Token 具备可预测性。在推理阶段这种能力被转化为一种并行验证机制。实测数据显示在开启 3 层 MTP 的情况下模型可以实现 2.8 到 3.6 的接收长度带来了 2.0 到 2.6 倍的实际推理加速比。这一技术在大 Batch批处理场景下尤为关键。传统解码方式在大 Batch 下会彻底卡死在显存带宽上而 MTP 提高了单次显存读取的利用率显著提升了吞吐量。更有意思的是 MTP 对强化学习RL训练的赋能。在强化学习中On-Policy在线策略训练通常被认为更稳定但由于它需要小 Batch 采样往往会导致 GPU 利用率低下。而 Off-Policy离线策略虽然吞吐量大但稳定性较差。MTP 巧妙地解决了这个矛盾。通过扩展 token 级的并行度它让小 Batch 的 On-Policy 训练也能跑满 GPU 算力。特别是在推理采样的后期当某些样本生成的序列极长导致有效 Batch Size 缩减时MTP 能显著提升计算效率填补算力空隙降低整体延迟。蒸馏范式提升强化学习训练效率拥有了强大的基座模型和高效的推理架构如何让模型更聪明小米提出了一种全新的后训练范式MOPDMulti-Teacher On-Policy Distillation。在传统的后训练流程中SFT监督微调加上 RL强化学习是一条昂贵的路径尤其是高质量的 Reward Model奖励模型和大规模的采样计算往往需要消耗数倍于预训练的资源。MOPD 不再依赖单一的奖励信号而是引入了多位专家教师。这些教师模型在各自的领域经过了 SFT 和 RL 的充分训练。学生模型即 MiMo-V2-Flash基于自身的策略分布进行采样Rollout然后由这些教师提供 Token-level词元级的密集奖励信号。相比于传统 RL 只有在生成结束后才给一个稀疏的好/坏评价MOPD 让学生在生成的每一步都能收到反馈。数据表明MOPD 仅需传统 SFTRL 流程不到 1/50 的计算资源就能让学生模型追上教师模型的峰值能力。更重要的是这是一个解耦的设计。开发者可以灵活地引入新的教师模型或者集成 ORMOutcome Reward Model结果奖励模型。这种架构天然支持教学相长的闭环迭代经过蒸馏变强的学生模型在下一轮迭代中可以摇身一变成为更强的教师推动模型能力的螺旋式上升。这种高效的后训练机制是 MiMo-V2-Flash 能够在 Agent 测评基准上进入全球开源模型 Top 2 的核心动力之一。开源生态与工程化落地的实测小米这次不仅开源了模型权重更是直接将推理代码贡献给了 SGLang 社区真正做到了开箱即用。MiMo-V2-Flash 的 API 定价极其激进输入 0.7 元 / 百万 tokens输出 2.1 元 / 百万 tokens。结合其在代码生成和逻辑推理上的强悍表现这个定价直接冲击了现有的市场格局。对于开发者而言这意味着可以用极低的成本构建复杂的 Agent 应用。在实际工程测试中得益于模型结构与推理框架SGLang的深度融合单机性能表现优异。在 Prefill预填充阶段单机吞吐量可达 50000 tokens/s。处理超长上下文的 prompt 几乎是瞬间完成。而在 Decode解码阶段即使在 16K 的长上下文背景下通过 3 层 MTP 加速单机吞吐依然能维持在 5000 到 15000 tokens/s单请求吞吐达到 151 到 115 tokens/s。用户在使用基于 MiMo-V2-Flash 的 coding 助手时代码生成的流畅度将接近人类的阅读速度不再有那种等字蹦出来的焦灼感。为了验证其作为 Agent 基座的能力团队进行了多项真实场景测试。例如编写一个简单的操作系统模拟太阳系运行轨迹用代码画一颗圣诞树模型展现出了初具规模的描述世界的能力。它不仅能理解复杂的指令还能生成结构严谨、逻辑自洽的代码。目前模型已在 HuggingFace 遵循 MIT 协议开源技术报告同步放出。API 服务也已上线并兼容 Claude Code、Cursor、Cline 等主流开发框架。对于开发者和企业来说MiMo-V2-Flash 提供了一个在性能、成本和速度之间取得极致平衡的新选择。免费试用https://aistudio.xiaomimimo.com/参考资料https://mimo.xiaomi.com/blog/mimo-v2-flashhttps://github.com/XiaomiMiMo/MiMo-V2-Flashhttps://huggingface.co/xiaomimimo/MiMo-V2-Flashhttps://lmsys.org/blog/2025-12-16-mimo-v2-flash/