广州市企业网站制作公司程序员做任务的网站

广州市企业网站制作公司,程序员做任务的网站,一套完整的室内设计图,杭州网站建设费用多少钱原始文章发布在知乎#xff0c;欢迎移步#xff1a;《关于GR-RL与PI-0.6的一些想法》 最近学习了字节跳动gr-1/gr-2/gr-3/gr-rl#xff08;关于gr-rl#xff1a;文档1和文档2#xff09;系列工作#xff0c;再结合以前看的pi系列模型或算法#xff0c;产生了一些想法欢迎移步《关于GR-RL与PI-0.6的一些想法》最近学习了字节跳动gr-1/gr-2/gr-3/gr-rl关于gr-rl文档1和文档2系列工作再结合以前看的pi系列模型或算法产生了一些想法想法可能不成熟甚至有错误仅在此记录总结一下以便回顾。1gr-1/gr-2是基于视频生成的技术路线去设计核心就是通过未来帧的预测一方面可以利用海量的视频数据另一方面可以学习到一些语义和操作的通用知识。而gr-3完全换了路线切换到了pi0/pi0.5这种基于VLMaction expert(flow matching)的路线上是否说明在技术路线上前者不如后者呢2两个系列模型发展路线pi0-pi0.5-pi0.6(RL)gr-1-gr-2-gr-3-gr-rlpi0.5与gr-3pi0.6与gr-rl这两两之间的思路已经相当接近了有一种殊途同归的感觉读相关的技术报告确实可以学习到很多。字节的开源精神再强一些把相关的代码开源一下可以让大家复现就更好了。3今天详细的阅读了gr-rl论文它是based在gr-3的基础之上有一些收获吧3.1通过时序差分(TD)的思想去训练一个critic网络并且先通过数据离线进行训练这点和pi0.6中的思路是一样的。离线先训练critic应该可以减少RL整体的训练时间。有些细节不同之处是pi0.6是训练了一个V函数而gr-rl训练了一个Q函数另外gr-rl训练的Q函数输出是一个分布而不是传统强化学习中的一个值论文中说分布更加鲁棒。3.2策略网络的训练gr-rl与pi0.6差别比较大最近也看了一些如何在flow matching基础之上让强化学习去训练它的一些方法例如《 ​π RL(piRL)算法支持用强化学习方法训练π 0/π 0.5(pi0/pi0.5)》。其实大家所做的目标只有一个就是如何将RL与flow matching结合一句话说核心点pi0.6是通过训练好的critic网络生成一个condition去sft监督训练策略网络gr-rl不会动已经sft训练好的策略网络而是对flow matching初始时的那个原始噪声进行了优化通过一个噪声网络去预测这个初始噪声同时也增加了一个Q网络对噪声策略输出的噪声进行打分。在前向推理的时候不再从高斯采样而是让 π_θ′ 根据当前观测直接给出最优噪声 ε再由冻结的流模型一步或少量几步解码成动作。整体上此方案相当于在flow matching基础之上找到了一个突破口初始噪声在这个突破口上添加了一个外挂在强化学习中去训练这个外挂外挂外的其它部分不参与训练。论文中相关的描述如下pi0.6/gr-rl/piRL三者的思路有没有优劣之分目前还不太清楚后续有时候看一下相关的参考文献或亲自尝试一下。如果各位有相关信息希望能不吝赐教3.3双buffer的设计类似于《具身智能hil-serl强化学习算法在lerobot机械臂上复现》中的双buffer。3.4通过模仿学习数据增强强化学习协同的方式持续提升效果短期有可能会是一个主流的范式。