无锡做网站365caiyi建设项目查询网站

无锡做网站365caiyi,建设项目查询网站,页面跳转的两种方式,网站宣传软文今年早些时候#xff0c;由何恺明、Yann LeCun 等大佬联手推出的 Dynamic Tanh (DyT) 曾引发热议#xff0c;它向我们展示了 Transformer 中不可或缺的 LayerNorm 其实可以用一个简单的 Tanh 函数替代。而现在#xff0c;普林斯顿大学刘壮团队#xff08;DyT 原班人马…今年早些时候由何恺明、Yann LeCun 等大佬联手推出的 Dynamic Tanh (DyT) 曾引发热议它向我们展示了 Transformer 中不可或缺的 LayerNorm 其实可以用一个简单的 Tanh 函数替代。而现在普林斯顿大学刘壮团队DyT 原班人马在这一方向上取得了最新突破。他们发现Tanh 还不是终点一个基于高斯误差函数 (erf) 设计的算子 Derf不仅更加简单更在视觉、生成、基因序列建模等全模态任务上性能全面反超了 LayerNorm 和 DyT。论文标题Stronger Normalization-Free Transformers论文链接https://arxiv.org/abs/2512.10938研究背景在深度学习架构中LayerNorm (LN) 和 RMSNorm 早已成为 Transformer 的出厂标配。它们通过统计数据的均值和方差来规范化激活分布从而稳定训练并加速收敛。但这种对统计量的依赖也引入了额外的显存访问和计算开销甚至在某些特定 Batch 设置下会引发不稳定性。前序工作 DyT 提出了一个颠覆性的观点LayerNorm 在训练中本质上是在做一个 S 形的非线性变换。因此我们可以直接用一个带参数的 tanh(αx) 函数来模拟这个过程从而甩掉对均值和方差的依赖。虽然 DyT 成功打平了 LayerNorm 的性能但这还不是终点。研究团队进一步思考Tanh 是否就是数学上的最优解是否存在一种函数不仅能平替LayerNorm还能实现性能的全面反超核心方法为了找到这个天选之子研究团队并没有盲目炼丹而是从数学性质上总结出了替代归一化层的四大黄金法则零中心性 (Zero-centeredness)函数输出需围绕 0 分布这与 Norm 的“去均值”作用类似对稳定收敛至关重要。有界性 (Boundedness)输出必须限制在有限范围内如 [-1, 1]防止信号在前向传播中爆炸。中心敏感性 (Center Sensitivity)在 0 附近必须对输入变化敏感导数不为 0不能有宽阔的死区以保证微小信号的传播。单调性 (Monotonicity)函数必须单调递增或递减保持特征的相对顺序。波浪形或非单调函数会导致性能大幅下降。〓 图1. 点对点函数的四大关键属性零中心性、有界性、中心敏感性和单调性。满足这些属性是替代归一化层的必要条件。基于这四大法则团队对大量候选函数进行了海选。最终误差函数 (Error Function, erf) 脱颖而出击败了 Tanh、Arctan 等一众对手。Dynamic erf (Derf) 的定义非常简洁美观 其中是标准的高斯误差函数。是可学习的缩放参数Scale是可学习的平移参数Shift。是通道级的仿射参数与 LayerNorm 保持一致。实验结果Derf 的表现不仅是替代而是实打实的超越。作者在视觉、语言、语音甚至 DNA 序列建模上进行了广泛验证结果显示 Derf 是一套通用的解决方案。〓 图2. Derf (蓝色) 在不同模态任务上全面超越 LayerNorm 和 DyT 。视觉分类 (ViT)在 ImageNet-1K 上Derf 在 ViT-Base 和 ViT-Large 上均超越了 LayerNorm (LN) 和 DyT。例如在 ViT-L 上Derf (83.8%) DyT (83.6%) LN (83.1%)。〓 表1. 在 ImageNet-1K 视觉分类任务中于不同规模 ViT 模型上均超越 LayerNorm 和 DyT。图像生成 (DiT)在目前最火的 Diffusion Transformer (DiT) 架构中Derf 展现了惊人的优势。在 DiT-XL/2 模型上Derf 的 FID 分数越低越好降到了 18.92显著优于 LN (19.94) 和 DyT (20.83)。这说明 Derf 在处理高频细节生成时更具优势。〓 表2. 在 ImageNet 图像生成任务中显著降低了各规模 DiT 模型的 FID 分数越低越好。科学 AI (DNA 建模)在长序列基因建模任务Caduceus 模型中Derf 同样以 87.3% 的准确率刷新了记录优于原始使用 RMSNorm 的 86.9%。〓 表3. 在 GenomicBenchmarks DNA 序列建模任务中准确率全面优于默认归一化层和 DyT。拟合更差反而更强这篇论文最反直觉、也最精彩的发现是关于泛化性的讨论。作者在训练结束后计算了模型在训练集上的 LossEvaluation-mode Training Loss。结果发现一个有趣的现象LayerNorm 的训练 Loss 其实是最低的而 Derf 和 DyT 的训练 Loss 都要更高一些。〓 表4. 模型在评估模式下的训练集 Loss 对比Derf 的训练 Loss 高于归一化层表明其优势源于更强的泛化而非拟合。这说明了什么LayerNorm 太聪明了它能利用统计量动态适应数据导致它在训练集上死记硬背拟合能力过强反而牺牲了一定的泛化能力。Derf 自带正则化光环Derf 仅依赖几个固定的标量参数 (α, s)这种限制反而构成了隐式的正则化强迫模型学习更通用的特征从而在测试集上表现更好。Derf 处于甜蜜点Derf 的拟合能力虽然不如 Norm但比 DyT 强Loss 比 DyT 低在拟合与泛化之间找到了最佳平衡点。结语从何恺明等人提出的 DyT 到如今普林斯顿团队的 Derf我们正在见证 Transformer 架构的一次极简主义回归。Derf 用一个无需统计量的 erf 函数不仅干掉了复杂的 LayerNorm更用实打实的性能提升告诉我们在深度学习中更简单的设计往往意味着更强的泛化能力。Derf 实现极其简单几行代码且不依赖 Batch 信息绝对是一个值得尝试的涨点神器。更多阅读#投 稿 通 道#让你的文字被更多人看到如何才能让更多的优质内容以更短路径到达读者群体缩短读者寻找优质内容的成本呢答案就是你不认识的人。总有一些你不认识的人知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁促使不同背景、不同方向的学者和学术灵感相互碰撞迸发出更多的可能性。PaperWeekly 鼓励高校实验室或个人在我们的平台上分享各类优质内容可以是最新论文解读也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个让知识真正流动起来。稿件基本要求• 文章确系个人原创作品未曾在公开渠道发表如为其他平台已发表或待发表的文章请明确标注• 稿件建议以markdown格式撰写文中配图以附件形式发送要求图片清晰无版权问题• PaperWeekly 尊重原作者署名权并将为每篇被采纳的原创首发稿件提供业内具有竞争力稿酬具体依据文章阅读量和文章质量阶梯制结算投稿通道• 投稿邮箱hrpaperweekly.site• 来稿请备注即时联系方式微信以便我们在稿件选用的第一时间联系作者• 您也可以直接添加小编微信pwbot02快速投稿备注姓名-投稿△长按添加PaperWeekly小编现在在「知乎」也能找到我们了进入知乎首页搜索「PaperWeekly」点击「关注」订阅我们的专栏吧·