网站保障体系建设德清县城乡建设局网站

网站保障体系建设,德清县城乡建设局网站,有哪些中文域名网站,做自媒体关注的网站DeepMind再登Nature#xff1a;AI Agent造出了最强RL算法#xff01; 原创 学术头条 学术头条 2025年10月27日 18:46 北京 人工智能#xff08;AI#xff09;的主要目标之一#xff0c;是设计出能够像人类一样在复杂环境中自主预测、行动、最终实现目标的智能体#xff…DeepMind再登NatureAI Agent造出了最强RL算法原创 学术头条 学术头条2025年10月27日 18:46北京人工智能AI的主要目标之一是设计出能够像人类一样在复杂环境中自主预测、行动、最终实现目标的智能体Agent。智能体的训练离不开强化学习RL相关研究也已经持续了几十年但让智能体自主开发高效的 RL 算法的目标始终难以实现。针对这一痛点Google DeepMind 团队提出了一种通过多代智能体在不同环境中的交互经验来自主发现 RL 规则的方法。在大型实验中DiscoRL 不仅在 Atari 基准测试中超越所有现有规则更在未曾接触过的挑战性基准测试中超越人工设计击败了多项主流 RL 算法。相关研究论文已发表在权威科学期刊Nature上。论文链接https://www.nature.com/articles/s41586-025-09761-x这表明未来用于构建高级 AI 的 RL 算法可能不再需要人工设计而是能够由智能体自身的经验自动发现。Agent 「凭啥」自主发现 RL 算法据论文描述他们的发现方法涉及两种优化智能体优化与元优化。智能体参数通过更新其策略和预测来优化使其趋向于 RL 规则生成的目标。同时通过更新 RL 规则的目标来优化其元参数从而最大化智能体的累积奖励。图智能体自主发现RL 算法的全过程(a) 发现过程多个智能体在不同环境中并行交互与训练遵循由元网络定义的学习规则元网络在此过程中不断优化以提升整体表现(b) 智能体结构每个智能体输出策略π、观测预测y、动作预测z、动作价值q与辅助策略预测p其中 y 与 z 的语义由元网络确定(c) 元网络结构元网络接收智能体的输出轨迹及环境奖励与终止信号生成针对当前与未来时刻的目标预测智能体据此最小化预测误差进行更新(d) 元优化过程通过对智能体更新过程的反向传播计算元梯度优化元参数以最大化智能体在环境中的累计回报。在智能体优化方面研究团队使用Kullback–Leibler 散度衡量两者之间的差距以确保训练过程的稳定性与普适性。智能体会输出策略、观测预测和动作预测三类结果元网络为其生成相应的学习目标。智能体再根据这些目标更新自身从而逐步改进策略。同时模型还引入了一个辅助损失用于优化预定义的动作价值与策略预测使学习过程更稳定、更高效。在元优化方面研究团队让多个智能体在不同环境中独立学习元网络则根据它们的整体表现计算元梯度并调整自身参数。智能体的参数会定期重置使学习规则能在有限时间内迅速提升表现。元梯度的计算结合了智能体的更新过程与标准强化学习目标的优化具体由反向传播与优势行动者-评论家A2C算法完成并配合一个专用于元学习阶段的价值函数进行评估。最强 RL 算法AI 造为验证 DiscoRL团队评估时采用四分位数平均值IQM作为综合性能指标该指标基于多任务基准测试的标准化分数已被证实具有统计学可靠性。1.Atari 实验Atari 基准测试是强化学习领域最具代表性的评估标准之一。为验证算法自动发现的能力团队基于 57 款 Atari 游戏元训练出 Disco57 规则并在相同游戏中评估。评估时使用与 MuZero 相当规模的网络架构结果显示Disco57 的 IQM 达到 13.86在 Atari 基准上超越了包括MuZero、Dreamer 在内的所有现有强化学习规则并且在实际运行效率wall-clock efficiency上显著优于最先进的 MuZero。图Disco57 在 Atari 实验中的评估结果。横轴表示环境交互步数以百万为单位纵轴表示在基准测试中 IQM 得分。2.泛化能力研究团队进一步评估了 Disco57 的通用性在多个它从未见过的独立基准测试上进行测试。在 16 个 ProcGen 二维游戏上Disco57 超越了包括 MuZero 和 PPO 在内的所有已发表方法在 Crafter 基准测试中也表现出竞争力在 NetHack NeurIPS 2021 挑战赛中获得第三名且未使用任何领域特定知识。对比在相同设置下训练的 IMPALA 智能体Disco57 明显更高效。此外它在网络规模、重放比例和超参数调整等多种设置下也表现鲁棒。图Disco57 在 ProcGen、Crafter、 NetHack NeurIPS 中的评估结果。3.环境的复杂性和多样性研究团队基于 Atari、ProcGen 和 DMLab-30 三个基准共 103 个环境发现了另一种 RL 规则 Disco103。Disco103 在 Atari 基准上的表现与 Disco57 相当尤其是在 Crafter 基准上达到了人类水平的表现并在 Sokoban 上接近了 MuZero 的最先进性能。这些结果表明用于发现的环境越复杂、越多样所发现的强化学习规则就越强大、越具泛化能力即使是在训练过程中从未见过的环境中也能保持出色表现。图|Disco103 与 Disco57 在相同测试中的对比结果。蓝线Disco57表示在 Atari 基准上发现的规则橙线Disco103表示在 Atari、ProcGen 和 DMLab-30 基准上共同发现的规则。4.高效率和稳定性研究团队对多个 Disco57 的版本进行了评估。最优表现是在每个 Atari 游戏约 6 亿步内被发现相当于在 57 个 Atari 游戏上进行 3 轮实验这相比传统的人工设计 RL 规则要高效得多——后者往往需要更多实验次数以及大量研究人员的时间投入。此外随着用于实验的 Atari 游戏数量增加DiscoRL 在未见过的 ProcGen 基准上的表现也随之提升这表明所发现的 RL 规则能够随着参与实验的环境数量与多样性的增加而得到扩展。换句话说所发现 RL 的性能取决于数据即环境与计算量。图DiscoRL 最佳规则在每款游戏约6亿步内被发现随着用于发现的训练环境数量的增加DiscoRL 在未见过的 ProcGen 基准测试上的性能也变得更强。研究团队表示未来高级 AI 的 RL 算法设计可能将由能高效扩展数据与计算能力的机器主导不再需要人类设计。这一发现或许令人振奋但又引发担忧一方面它带来了学术领域的新潜力另一方面当前社会并未做好迎接这项技术的准备。整理潇潇