网站开发版权归谁深圳龙岗有什么好玩的地方

网站开发版权归谁,深圳龙岗有什么好玩的地方,惠州百度搜索优化,wordpress图片管理目录 动量法#xff1a;优化梯度下降的“惯性”策略 核心原理 与SGD的直观对比 关键推导 简洁案例 Python实现对比 算法优劣 核心总结 动量法#xff1a;优化梯度下降的“惯性”策略 梯度下降是优化模型参数的核心方法#xff0c;但其基础版本在训练中常面临收敛慢…目录动量法优化梯度下降的“惯性”策略核心原理与SGD的直观对比关键推导简洁案例Python实现对比算法优劣核心总结动量法优化梯度下降的“惯性”策略梯度下降是优化模型参数的核心方法但其基础版本在训练中常面临收敛慢、震荡大的问题。动量法通过引入物理中的“惯性”概念有效提升了优化效率与稳定性。核心原理动量法在更新参数时不仅考虑当前梯度还累积历史梯度的指数加权平均作为“动量”使更新方向更平滑、更一致。更新公式vt当前时刻的动量速度β动量系数通常0.9控制历史信息的保留程度η学习率∇θL(θt)当前梯度与SGD的直观对比普通SGD每次更新只依赖当前梯度路径曲折易震荡。动量法更新受历史动量引导在稳定方向加速在震荡方向减速路径更平滑直接。关键推导动量更新可视为历史梯度的指数加权和当损失函数在某方向持续下降时同向梯度不断累积实现加速当梯度方向频繁变化时正负梯度相互抵消抑制震荡。简洁案例优化目标最小化 L(w)(w−4)2最优值 w∗4。SGD更新η0.1wt1wt−0.1×2(wt−4)动量法更新η0.1,β0.9vt0.9vt−10.1×2(wt−4)wt1​wt​−vt​初始化 w00,v00第一步梯度-8SGD更新至0.8动量法 v1−0.8更新至0.8第二步梯度-6.4SGD更新至1.44动量法 v20.9×(−0.8)0.1×(−6.4)−1.36更新至2.16可见动量法因累积了之前的梯度第二步更新幅度更大加速接近最优值。Python实现对比import numpy as np import matplotlib.pyplot as plt # 定义目标函数及其梯度 def loss(w): return (w - 4)**2 def grad(w): return 2 * (w - 4) # 优化器 def sgd_update(w, lr): return w - lr * grad(w) def momentum_update(w, v, lr, beta): v beta * v lr * grad(w) return w - v, v # 参数设置 lr 0.1 beta 0.9 iterations 20 # 初始化 w_sgd 0 w_mom 0 v 0 # 记录路径 path_sgd [w_sgd] path_mom [w_mom] # 迭代优化 for i in range(iterations): w_sgd sgd_update(w_sgd, lr) w_mom, v momentum_update(w_mom, v, lr, beta) path_sgd.append(w_sgd) path_mom.append(w_mom) # 可视化 plt.figure(figsize(10, 4)) plt.subplot(1, 2, 1) w_range np.linspace(-1, 5, 100) plt.plot(w_range, loss(w_range), k-, alpha0.3, labelLoss) plt.plot(path_sgd, loss(np.array(path_sgd)), o-, labelSGD, markersize4) plt.plot(path_mom, loss(np.array(path_mom)), s-, labelMomentum, markersize4) plt.xlabel(Parameter w) plt.ylabel(Loss) plt.title(Optimization Trajectory) plt.legend() plt.grid(True, alpha0.3) plt.subplot(1, 2, 2) plt.plot(range(len(path_sgd)), loss(np.array(path_sgd)), labelSGD) plt.plot(range(len(path_mom)), loss(np.array(path_mom)), labelMomentum) plt.xlabel(Iteration) plt.ylabel(Loss) plt.title(Loss Convergence) plt.legend() plt.grid(True, alpha0.3) plt.tight_layout() plt.show()算法优劣优点加速收敛在平缓或方向一致的区域快速前进抑制震荡平滑优化路径提升训练稳定性帮助逃离局部极小惯性可能冲过窄小局部最优点缺点增加超参数需调整动量系数β可能超调动量过大时在最优值附近震荡适用场景高维非凸优化如深度学习梯度存在噪声或方向不一致时需要更快收敛速度的场景核心总结动量法通过累积历史梯度信息为参数更新增加“惯性”在保持随机梯度下降计算效率的同时显著改善了优化过程的收敛速度与稳定性。其核心思想简单而有效已成为现代深度学习优化器的基础组件之一。