肥城做网站tahmwlkj中国产业信息网

肥城做网站tahmwlkj,中国产业信息网,微网站建站,安卓优化大师清理通过前面几篇学习#xff0c;我们了解到神经网络核心数学理论包括向量#xff08;数据结构#xff09;→ 概率#xff08;决策框架#xff09;→ 优化#xff08;实现手段#xff09;。前两篇学习了线性代数#xff08;万物皆可向量#xff09;、概率论#xff08;为…通过前面几篇学习我们了解到神经网络核心数学理论包括向量数据结构→ 概率决策框架→ 优化实现手段。前两篇学习了线性代数万物皆可向量、概率论为AI提供不确定性量化与决策的框架本章我们主要学习深度网络优化算法优化指的是改变x以最小化或最大化某个函数f(x)的任务。 在神经网络的学习中寻找最优参数权重和偏置时要寻找使损失函数的值尽可能小的参数。那么我们该如何找到使损失函数的值尽可能小的方法这里需要用到微积分数学知识通过计算参数的导数确切讲是梯度然后以这个导数为指引逐步更新参数的值。本章让我们来一起学习回顾下微积分导数、梯度相关知识及其在神经网络中的作用。1什么是微积分导数梯度what2为什么神经网络学习过程需要使用导数/梯度why3神经网络学习过程如何使用梯度法寻找最优参数how4神经网络学习算法案例实践理解。1.什么是微积分微积分 (Calculus)是数学的一个分支是深度学习中不可或缺的一部分主要用于优化问题。在深度学习中我们“训练”模型不断更新它们使它们在看到越来越多的数据时变得越来越好。通常情况下变得更好意味着最小化一个损失函数loss function 即一个衡量“模型有多糟糕”这个问题的分数。 最终我们真正关心的是生成一个模型它能够在从未见过的数据上表现良好。 但“训练”模型只能将模型与我们实际能看到的数据相拟合。因此我们可以将拟合模型的任务分解为两个关键问题1优化optimization用模型拟合观测数据的过程2泛化generalization数学原理和实践者的智慧能够指导我们生成出有效性超出用于训练的数据集本身的模型。1.1基本概念微积分是模型如何从数据中“学习”的理论基础。它的核心任务是回答如何调整模型参数才能让它表现得更好微积分与深度学习相关的基本概念脉络如下主要包括微积分、导数、偏导数、梯度、链式法则等基本概念。1微积分微分和积分是微积分的两个分支前者可以应用于深度学习中的优化问题。➢ 微分 (Differential Calculus)核心是导数主要用于解决优化问题。研究的是事物在某一瞬间变化的速率即“瞬时变化率”。比如计算瞬时速度、曲线斜率。导数➢ 积分 (Integral Calculus) 古希腊人为了求出曲线形状比如圆的面积通过内接多边形计算圆的面积的过程被称为逼近法method of exhaustion。逼近法就是积分integral calculus的起源。2导数 (Derivative)单变量函数的输出值随输入值变化的瞬时变化率或斜率。本质上反映了函数在某一点的瞬时变化率它能告诉我们函数值如何随输入的微小变化而变化。在神经网络中导数的意义在于“求解每一个神经元节点对于最终结果的影响“。假设我们有一个函数fx其输入和输出都是标量。极限法求解导数如果存在f‘a存在则称在a处是可微differentiable的。 如果在一个区间内的每个数上都是可微的则此函数在此区间中是可微的。deffunction(x): 计算函数值 f(x)3x^2 - 4x. return3* x **2-4* xdefapproximate_derivative(func, x, h): 使用差分商方法近似计算导数.(f(xh)-f(x))/h 参数: func: 目标函数 x: 在此点计算导数 h: 小增量 返回:导数的近似值 return(func(x h)- func(x))/ h#逼近法当 h 越来越小时(f(xh)-f(x))/h 趋近于 f(x)。#说明我们用 approximate_derivative 实现了逼近导数的极限概念。#当h越小(f(xh)−f(x)) / h 越能逼近 “斜率”。这里的数值实验并非数学证明但可以显示当h→0时function的结果非常接近2暗合你用普通微分法则计算得出的 f(1)2。defmain():# 计算 f(x)3x^2 - 4x 在 x1 处的导数近似值print(f(x)3x^2 - 4x 在 x1 处的导数近似值) h 0.1for _ inrange(10): derivative approximate_derivative(function,1, h)print(fh {h:.5f}, 近似导数 {derivative:.5f}) h *0.1if __name__ __main__: main()3偏导数导数是仅含一个变量的函数的微分。在深度学习中函数通常依赖于许多变量。 因此我们需要将微分的思想推广到多元函数multivariate function上。设yf(x1,x2,…,xn)是一个具有个变量的函数。 关于第个参数的偏导数partial derivative为为了计算y关于xi的导数 我们可以简单地将其他变量看作常数对于偏导数的表示以下是等价的4梯度导数概念在多变量函数上的推广如果一个函数的输入不是单个变量x而是一个向量 X (x_1, x_2, …, x_n)例如神经网络有成千上万个参数我们就需要梯度。它是一个向量指向函数值增长最快的方向。在机器学习中损失函数 L(θ) 的梯度 ∇L(θ) 指向了损失增长最快的方向而负梯度则指向函数值下降最快的方向。简单总结导数是标量单变量的“斜率”梯度是向量多变量的“斜率”它指明了 multivariable 函数在某个点变化最快的方向。我们可以连结一个多元函数对其所有变量的偏导数以得到该函数的梯度gradient向量。 具体而言设函数fX的输入是X一个n维向量X(x1,x2,…xn)并且输出是一个标量。函数f(X)相对于输入向量X的梯度是一个包含n个偏导数的向量:1.2常见函数导数计算1.2.1幂函数的导数1.2.2指数函数和对数函数的导数1.2.3三角函数的导数1.2.4反三角函数的导数1.2.5双曲函数的导数1.3 运算法则1.3.1导数计算法则1.3.2导数的链式法则神经网络是深度复合函数L(g(f(x)))链式法则允许我们将损失函数对最底层参数的导数一层一层地反向传播回去。这是反向传播算法的核心。假设函数yf(u),ug(x)和都是可微的根据链式法则现在考虑一个更一般的场景即函数具有任意数量的变量的情况。 假设可微分函数y有变量u1,u2…un其中每个可微分函数ui都有变量x1,x2…xn。 注意y是x1,x2…xn的函数。 对于任意i1,2…n链式法则给出2.为什么神经网络学习过程需要使用微积分在微分学最重要的应用是优化问题即考虑如何把事情做到最好这种问题在深度学习中是无处不在的深度网络时训练本质上就是 “让参数在梯度指引下向最小损失方向移动”若没有微分运算、链式法则我们也无法对网络做反向传播 (backprop)。神经网络学习的核心目标是找到一组最优权重参数使得损失函数最小。机器学习特别是深度学习通常通过优化损失函数来对网络进行训练在深度学习中的意义因为参数太多无法暴力搜索。因此在这个过程中矩阵微积分(matrix calculus) 至关重要。1问题规模巨大一个现代神经网络的参数权重和偏置数量轻松达到百万、千万甚至十亿级别。损失函数是所有这些参数的函数其图像是一个在超高维空间中的“曲面”称为损失曲面。我们无法可视化它更不可能通过枚举所有可能的参数组合暴力搜索来找到最低点。2需要一种指引几乎所有优化流程都建立在梯度下降之上而梯度依赖可微函数导数。我们常假设损失函数相对于参数是可微的这样就能应用链式法则来完成反向传播。类似我们就像被困在一个超高维的山地中四周大雾弥漫看不见全貌不知道最低点在哪只能靠脚感受地面的倾斜。梯度就是这个“脚下的感觉”。它精确地告诉我们在当前所处的位置哪个方向是“下坡”最陡的方向。沿着梯度指引的方向更准确地说是梯度的反方向更新参数可以最高效、最快速地降低损失函数的值。这是一种定向搜索远比随机搜索高效得多。因此梯度为我们提供了在复杂、高维的损失函数 landscapes中导航的“罗盘”指引我们走向最优解。3.神经网络训练中如何使用微积分深度学习的本质就是在学习时寻找最优参数权重w和偏置b这里的最优参数是指损失函数取最小值时的参数。然而损失函数往往很复杂参数空间庞大我们不知道他在何处能取得最小值梯度法为我们提供了寻找损失函数最小值的方法导数、偏导数、梯度和链式法则是优化算法的数学基石反向传播、梯度下降、参数更新都离不开它们。简单理解微积分提供了“如何调整模型内部旋钮参数才能让它表现得更好”的精确指导手册。微积分中的梯度是连接损失函数我们想最小化的目标和神经网络参数我们可以改变的东西之间的桥梁。反向传播是高效计算这座桥梁的算法。梯度下降法则是踩着这座桥梁一步步走向目的地模型最优解的导航策略。这就是现代神经网络能够从数据中“学习”的根本数学原理也是AI看似“智能”背后的坚实数理基础。3.1梯度法优化过程是怎样的梯度下降法 (Gradient Descent)。其核心思想非常简单沿着梯度的反方向以小步幅不断迭代更新参数逐步逼近损失函数的最小值。利用计算出的梯度沿着梯度相反的方向即损失下降最快的方向微调所有参数那些矩阵中的数从而逐步降低损失使模型预测更准确。既然梯度指向损失增长的方向那么它的反方向 -∇L(θ) 就是损失下降最快的方向。更新规则θ_new θ_old - learning_rate * ∇L(θ_old)通过不断沿负梯度方向微小地更新参数θ损失函数的值会逐渐减小模型性能逐步提升。在大模型中的应用整个训练过程就是基于梯度下降及其变体来优化数百万甚至万亿级的参数最小化预测损失。简单比喻损失函数就像是一座山的高度误差大小梯度就像是山的坡度最陡下降方向梯度下降就像是沿着最陡的下坡方向行走参数更新过程。3.2为什么深度学习需要链式法则反向传播中的关键作用深度神经网络本质上就是一个巨大的复合函数链式法则是反向传播算法的数学基础和核心引擎。反向传播本质上是链式法则在神经网络这个特定复合函数结构中的系统化、高效的应用。通过链式法则从输出层反向计算损失函数对于网络中每一个参数的梯度。1局部计算链式法则允许我们将复杂的全局导数分解为简单的局部导数的乘积。每一层只需要计算自己对输入的导数而不需要知道整个网络的细节。2计算效率通过从输出层向输入层反向传播误差我们可以复用中间计算结果避免了重复计算大大提高了计算效率。3模块化链式法则使得反向传播算法可以应用于任意深度的神经网络和任意类型的层全连接层、卷积层、循环层等只要我们能定义该层的前向传播和局部导数。4自动微分现代深度学习框架如PyTorch利用链式法则实现自动微分开发者只需定义前向传播框架会自动计算梯度。从一个简单的复合函数理解什么是链式法则假设有一个函数y (3x 1)³如果我们想计算dy/dx有两种方法。1先展开再求导复杂展开计算过程比较复杂。2用链式法则简单链式法则就是把复杂的复合函数分解成简单的部分分别求导然后相乘。假设u 3x 1则y u³那么dy/du 3u²du/dx3因此dy/dx (dy/du) × (du/dx) (3u²) ×(3) 9(3x 1)²再比如假设某个3层神经网络如果我们想知道第1层的权重w₁如何影响最终的损失Loss该怎么计算直接计算∂Loss/∂w₁是很困难的因为Loss和w₁之间隔了好几层。h₁ f₁(x, w₁) # 第1层h₁是x和w₁的函数h₂ f₂(h₁,w₂) # 第2层h₂是h₁和w₂的函数 y f₃(h₂,w₃) # 第3层y是h₂和w₃的函数Loss L(y, target) # 损失Loss是y的函数但是用链式法则我们可以把这个复杂的关系分解∂Loss/∂w₁ (∂Loss/∂y) × (∂y/∂h₂) × (∂h₂/∂h₁) × (∂h₁/∂w₁)这样我们只需计算每一步的简单偏导数然后把它们乘起来就得到了最终结果。4.神经网络案例理解反向传播神经网络存在合适的权重和偏置调整权重和偏置以便你和训练数据的过程为“学习”。为了展示如何将神经网络和梯度下降法应用于实际的医疗诊断问题通过反向传播算法自动学习从特征到诊断结果的映射关系。本章通过使用一个简单的全连接神经网络来监测乳腺癌二分类问题。数据集使用威斯康星乳腺癌数据集。步骤1加载数据并预处理标准化✧ 加载威斯康星乳腺癌数据集✧ 标准化特征数据均值为0方差为1✧ 划分训练集和测试集80%训练20%测试2构建神经网络模型定义神经网络架构✧ 输入层30个特征乳腺癌特征✧ 隐藏层10个神经元使用Sigmoid激活函数✧ 输出层1个神经元二元分类使用Sigmoid激活函数3定义损失函数和优化器使用二元交叉熵作为损失函数4训练模型前向传播、反向传播、梯度下降✧ 1.初始化随机设置网络参数的初始值✧ 2.前向传播输入训练数据计算各层输出得到最终预测值✧ 3.计算损失比较预测值与真实值计算损失函数值✧ 4.反向传播计算损失函数对每个参数的梯度导数✧ 5.参数更新沿梯度反方向调整参数减小损失使用梯度下降法更新权重和偏置✧ 6.重复迭代重复步骤2-5直到模型性能满足要求5评估模型✧ 计算测试集准确率✧ 生成混淆矩阵✧ 计算精确率、召回率和F1分数✧ 绘制训练过程中的损失和准确率曲线import numpy as npimport pandas as pdfrom sklearn.datasets import load_breast_cancerfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerimport matplotlib# 使用非交互式后端避免图形显示问题matplotlib.use(Agg)# 使用Agg后端不显示图形窗口import matplotlib.pyplot as pltclassNeuralNetwork:def__init__(self, input_size, hidden_size, output_size):初始化神经网络参数# 初始化权重和偏置使用小随机数 self.W1 np.random.randn(input_size, hidden_size)*0.01 self.b1 np.zeros((1, hidden_size)) self.W2 np.random.randn(hidden_size, output_size)*0.01 self.b2 np.zeros((1, output_size))defsigmoid(self, x):Sigmoid激活函数return1/(1 np.exp(-np.clip(x,-500,500)))# 防止溢出defsigmoid_derivative(self, x):Sigmoid函数的导数return x *(1- x)defforward(self, X):前向传播 self.z1 np.dot(X, self.W1) self.b1 # 第一层加权和 self.a1 self.sigmoid(self.z1)# 第一层激活输出 self.z2 np.dot(self.a1, self.W2) self.b2 # 第二层加权和 self.a2 self.sigmoid(self.z2)# 输出层预测概率return self.a2defbackward(self, X, y, output):反向传播计算梯度 m X.shape[0]# 样本数量# 计算输出层误差 (损失函数对输出的导数) self.dz2 output - y# 计算第二层权重和偏置的梯度 self.dW2 np.dot(self.a1.T, self.dz2)/ m self.db2 np.sum(self.dz2, axis0, keepdimsTrue)/ m# 计算第一层误差 (链式法则) self.dz1 np.dot(self.dz2, self.W2.T)* self.sigmoid_derivative(self.a1)# 计算第一层权重和偏置的梯度 self.dW1 np.dot(X.T, self.dz1)/ m self.db1 np.sum(self.dz1, axis0, keepdimsTrue)/ mdefupdate_parameters(self, learning_rate):使用梯度下降更新参数 self.W1 - learning_rate * self.dW1 self.b1 - learning_rate * self.db1 self.W2 - learning_rate * self.dW2 self.b2 - learning_rate * self.db2defcompute_loss(self, y, output):计算二元交叉熵损失 m y.shape[0]# 添加微小值防止log(0) loss -np.sum(y * np.log(output 1e-9)(1- y)* np.log(1- output 1e-9))/ mreturn lossdefpredict(self, X):预测函数return np.round(self.forward(X))defaccuracy(self, X, y):计算准确率 predictions self.predict(X)return np.mean(predictions y)defload_and_preprocess_data():加载和预处理乳腺癌数据集# 加载数据集 data load_breast_cancer() X data.data y data.target.reshape(-1,1)# 转换为列向量# 数据标准化 scaler StandardScaler() X scaler.fit_transform(X)# 划分训练集和测试集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42, stratifyy)return X_train, X_test, y_train, y_test, data.feature_namesdeftrain_neural_network():训练神经网络主函数# 加载和预处理数据 X_train, X_test, y_train, y_test, feature_names load_and_preprocess_data()# 设置网络参数 input_size X_train.shape[1]# 输入特征数 hidden_size 10# 隐藏层神经元数 output_size 1# 输出层神经元数二分类 learning_rate 0.1# 学习率 epochs 2000# 训练轮数# 初始化神经网络 nn NeuralNetwork(input_size, hidden_size, output_size)# 存储训练过程中的损失和准确率 train_losses [] test_losses [] train_accuracies [] test_accuracies []# 训练循环for i inrange(epochs):# 前向传播 output nn.forward(X_train)# 计算损失 train_loss nn.compute_loss(y_train, output)# 反向传播 nn.backward(X_train, y_train, output)# 更新参数 nn.update_parameters(learning_rate)# 记录训练过程if i %1000:# 计算测试集损失 test_output nn.forward(X_test) test_loss nn.compute_loss(y_test, test_output) train_acc nn.accuracy(X_train, y_train) test_acc nn.accuracy(X_test, y_test) train_losses.append(train_loss) test_losses.append(test_loss) train_accuracies.append(train_acc) test_accuracies.append(test_acc)print(fEpoch {i}: Train Loss {train_loss:.4f}, Test Loss {test_loss:.4f}, fTrain Acc {train_acc:.4f}, Test Acc {test_acc:.4f})# 最终评估 final_train_acc nn.accuracy(X_train, y_train) final_test_acc nn.accuracy(X_test, y_test)print(f\n最终结果: 训练准确率 {final_train_acc:.4f}, 测试准确率 {final_test_acc:.4f})# 绘制训练过程try: plot_training_process(train_losses, test_losses, train_accuracies, test_accuracies)except Exception as e:print(f绘制图形时出错: {e})return nn, X_test, y_testdefplot_training_process(train_losses, test_losses, train_accuracies, test_accuracies):绘制训练过程中的损失和准确率变化 epochs range(0,len(train_losses)*100,100) plt.figure(figsize(12,5))# 绘制损失曲线 plt.subplot(1,2,1) plt.plot(epochs, train_losses, label训练损失) plt.plot(epochs, test_losses, label测试损失) plt.xlabel(训练轮数) plt.ylabel(损失值) plt.title(训练和测试损失) plt.legend() plt.grid(True)# 绘制准确率曲线 plt.subplot(1,2,2) plt.plot(epochs, train_accuracies, label训练准确率) plt.plot(epochs, test_accuracies, label测试准确率) plt.xlabel(训练轮数) plt.ylabel(准确率) plt.title(训练和测试准确率) plt.legend() plt.grid(True) plt.tight_layout() plt.savefig(breast_cancer_training.png, dpi300, bbox_inchestight)print(训练过程图表已保存为 breast_cancer_training.png)# 尝试关闭图形避免内存泄漏 plt.close()# 主程序入口if __name__ __main__:print(开始训练乳腺癌监测神经网络...)try: model, X_test, y_test train_neural_network()# 在测试集上进行预测 predictions model.predict(X_test)# 计算混淆矩阵 true_negatives np.sum((predictions 0)(y_test 0)) false_positives np.sum((predictions 1)(y_test 0)) false_negatives np.sum((predictions 0)(y_test 1)) true_positives np.sum((predictions 1)(y_test 1))print(\n混淆矩阵:)print(f真阴性 (TN): {true_negatives})print(f假阳性 (FP): {false_positives})print(f假阴性 (FN): {false_negatives})print(f真阳性 (TP): {true_positives})# 计算评估指标 accuracy (true_positives true_negatives)/len(y_test) precision true_positives /(true_positives false_positives)if(true_positives false_positives)0else0 recall true_positives /(true_positives false_negatives)if(true_positives false_negatives)0else0 f1_score 2*(precision * recall)/(precision recall)if(precision recall)0else0print(f\n评估指标:)print(f准确率: {accuracy:.4f})print(f精确率: {precision:.4f})print(f召回率: {recall:.4f})#F1-Score是精确率(Precision)和召回率(Recall)的调和平均数其值范围在0到1之间1表示最佳性能0表示最差性能。print(fF1分数: {f1_score:.4f})except Exception as e:print(f程序运行出错: {e})import traceback traceback.print_exc()想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2025 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2025 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”