河南省建设厅证件查询官网百度代做seo排名

河南省建设厅证件查询官网,百度代做seo排名,wordpress文章图片点击放大预览,福建省品牌建设促进会网站1. 模型的本质是什么#xff1f; 模型 一个数学函数 一堆参数#xff08;权重#xff09;最简单的例子#xff1a;线性回归y w * x b- w和b就是参数#xff08;也叫权重#xff09;- 训练就是找到最好的w和b#xff0c;让预测值y尽量接近真实值神经网络…1. 模型的本质是什么模型 一个数学函数 一堆参数权重 最简单的例子线性回归 y w * x b - w和b就是参数也叫权重 - 训练就是找到最好的w和b让预测值y尽量接近真实值 神经网络就是把很多这样的函数叠加起来 第1层: h1 w1 * x b1 第2层: h2 w2 * h1 b2 第3层: h3 w3 * h2 b3 ... 输出层: y wn * hn-1 bn用代码理解# 一个最简单的模型 class SimpleModel: def __init__(self): # 这些就是参数初始是随机的 self.w1 random() # 比如 0.5 self.w2 random() # 比如 0.3 self.b random() # 比如 0.1 def forward(self, x): # 这就是前向传播用参数计算输出 return self.w1 * x self.w2 * x**2 self.b # 模型就是结构forward函数 参数w1, w2, b # 保存模型 保存这些参数的值2. 训练的本质是什么训练 不断调整参数让模型的输出越来越接近正确答案 ┌─────────────────────────────────────────────────────────────┐ │ 第1步随机初始化参数 │ │ w 0.5, b 0.1瞎猜的 │ └─────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────┐ │ 第2步前向传播用当前参数计算预测值 │ │ 输入x2预测 y_pred 0.5*2 0.1 1.1 │ │ 真实答案 y_true 3.0 │ └─────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────┐ │ 第3步计算损失预测值和真实值差多远 │ │ loss (y_pred - y_true)² (1.1 - 3.0)² 3.61 │ │ loss越大说明预测越差 │ └─────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────┐ │ 第4步反向传播计算每个参数对loss的影响 │ │ 求导∂loss/∂w ? ∂loss/∂b ? │ │ 这一步是PyTorch/TensorFlow自动帮你算的 │ └─────────────────────────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────────────────────────┐ │ 第5步更新参数让loss变小 │ │ w_new w_old - learning_rate * ∂loss/∂w │ │ b_new b_old - learning_rate * ∂loss/∂b │ │ 这就是梯度下降 │ └─────────────────────────────────────────────────────────────┘ ↓ 重复第2-5步直到loss足够小用代码理解# 完整的训练循环 model SimpleModel() optimizer SGD(model.parameters(), lr0.01) # 优化器lr就是learning_rate for epoch in range(100): # 训练100轮 for x, y_true in training_data: # 第2步前向传播 y_pred model.forward(x) # 第3步计算损失 loss (y_pred - y_true) ** 2 # 第4步反向传播PyTorch自动算梯度 loss.backward() # 第5步更新参数 optimizer.step() optimizer.zero_grad() print(fEpoch {epoch}, Loss: {loss}) # Loss会越来越小3.61 → 2.1 → 0.8 → 0.2 → 0.05 → ...3. ResNet-50是什么ResNet-50 一个有50层的神经网络结构 结构是什么意思就是定义了 - 有多少层 - 每层有多少个神经元 - 层与层之间怎么连接 ResNet的特点是有残差连接跳跃连接解决深层网络难训练的问题 ┌─────┐ ┌─────┐ ┌─────┐ │第1层│ ──→ │第2层│ ──→ │第3层│ ──→ ... └─────┘ └─────┘ └─────┘ ↑ │ └────────────┘ ← 这就是残差连接让梯度能直接传过去ResNet-50的参数量约2500万个参数# ResNet-50的结构简化版 class ResNet50: def __init__(self): self.conv1 Conv2d(...) # 第1层有若干参数 self.conv2 Conv2d(...) # 第2层 self.conv3 Conv2d(...) # 第3层 # ... 一共50层 self.fc Linear(2048, 1000) # 最后一层输出1000类 # 总共约2500万个参数w和b4. 预训练权重是什么预训练权重 别人已经训练好的参数值 ImageNet是一个超大数据集 - 1400万张图片 - 1000个类别猫、狗、汽车、飞机... 有人Google/Facebook用这个数据集训练了ResNet-50 - 花了几周时间 - 用了几十张GPU - 得到了一组很好的参数值 这组参数就是预训练权重可以下载使用预训练权重文件长什么样# 预训练权重就是一个字典存储每一层的参数值 pretrained_weights { conv1.weight: [[0.23, 0.45, ...], [0.12, 0.67, ...], ...], # 第1层的w conv1.bias: [0.01, 0.02, ...], # 第1层的b conv2.weight: [[...], [...], ...], # 第2层的w conv2.bias: [...], # 第2层的b # ... 所有层的参数 } # 保存成文件resnet50-imagenet.pth约100MB5. 迁移学习是什么意思迁移学习 借用别人训练好的参数在自己的数据上微调 为什么能迁移 - 神经网络的前面几层学到的是通用特征边缘、纹理、形状 - 这些特征对所有图像任务都有用 - 只需要调整最后几层适应你的具体任务 打个比方 - 预训练 学会了看图的基本能力识别边缘、颜色、形状 - 迁移学习 用这个能力去做垃圾分类这个具体任务迁移学习的代码from torchvision.models import resnet50, ResNet50_Weights # 方法1从头训练不用预训练权重 model resnet50(weightsNone) # 随机初始化参数 # 需要大量数据 很长时间才能训练好 # 方法2迁移学习用预训练权重 # 第1步加载预训练权重 model resnet50(weightsResNet50_Weights.IMAGENET1K_V1) # 现在model的参数已经是ImageNet上训练好的值了 # 第2步冻结前面的层不训练保持原样 for param in model.parameters(): param.requires_grad False # 冻结不更新 # 第3步替换最后一层适应你的任务 # 原来输出1000类ImageNet的类别数 # 现在输出4类垃圾分类可回收、有害、厨余、其他 model.fc nn.Linear(2048, 4) # 只有这一层需要训练 # 第4步只训练最后一层 optimizer SGD(model.fc.parameters(), lr0.001) # 只优化fc层 # 这样训练很快因为只需要调整最后一层的参数迁移学习的效果对比方法需要数据量训练时间准确率从头训练100万几天可能很差迁移学习几万几小时很好6. 训练集、验证集、测试集是干嘛的这是防止作弊的机制 想象一个学生准备考试 - 训练集 平时做的练习题可以反复做知道答案 - 验证集 模拟考试检验学习效果调整学习方法 - 测试集 正式考试最终评估只考一次 如果用练习题的成绩来评价学生不公平 因为他可能把题目背下来了但不会举一反三具体作用# 数据划分80%训练10%验证10%测试 all_data load_data() # 2.9万张图片 train_data all_data[:23200] # 训练集2.32万 val_data all_data[23200:26100] # 验证集0.29万 test_data all_data[26100:] # 测试集0.29万 # 训练过程 for epoch in range(50): # 1. 在训练集上训练 model.train() for x, y in train_data: loss compute_loss(model(x), y) loss.backward() optimizer.step() # 2. 在验证集上评估不训练只看效果 model.eval() val_accuracy evaluate(model, val_data) print(fEpoch {epoch}, 验证集准确率: {val_accuracy}) # 3. 根据验证集效果调整策略 if val_accuracy last_accuracy: # 验证集效果变差了可能过拟合了 # 可以早停、调学习率、加正则化等 learning_rate * 0.1 # 训练完成后在测试集上最终评估 test_accuracy evaluate(model, test_data) print(f最终测试集准确率: {test_accuracy}) # 这个数字才能对外说为什么要分开问题过拟合 模型把训练数据背下来了但不会泛化 例子 训练集准确率: 99%练习题全对 测试集准确率: 60%考试不及格 这说明模型没有真正学会只是记住了训练数据 验证集的作用 在训练过程中监控模型的泛化能力 如果验证集准确率开始下降就该停止训练了早停 测试集的作用 最终评估模型效果这个数字才能写进论文/简历 注意测试集只能用一次不能用它来调参数7. 保存模型保存的是什么保存模型 保存所有参数的值 模型文件里存的就是一个字典 { layer1.weight: tensor([[0.23, 0.45, ...], ...]), layer1.bias: tensor([0.01, 0.02, ...]), layer2.weight: tensor([[...], ...]), ... } 这些数字就是训练完成后每个参数的最优值代码演示# 保存模型 # 方法1只保存参数推荐 torch.save(model.state_dict(), model_weights.pth) # 文件大小约100MB取决于模型参数量 # 方法2保存整个模型包括结构和参数 torch.save(model, model_full.pth) # 加载模型 # 方法1先定义结构再加载参数 model ResNet50() # 先创建模型结构 model.load_state_dict(torch.load(model_weights.pth)) # 再加载参数 # 现在model的参数就是训练好的值了 # 方法2直接加载整个模型 model torch.load(model_full.pth) # 使用模型 model.eval() # 切换到评估模式 image load_image(垃圾.jpg) prediction model(image) # 输出[0.1, 0.8, 0.05, 0.05] → 有害垃圾8. 参数为什么有用参数 模型从数据中学到的知识 训练前 参数是随机的 → 输入垃圾图片 → 输出随机猜测 训练后 参数被调整过 → 输入垃圾图片 → 输出正确分类 参数的值编码了 - 什么样的边缘特征代表塑料瓶 - 什么样的颜色特征代表厨余垃圾 - 什么样的形状特征代表电池 这些知识就存储在那2500万个参数里直观理解想象参数是决策规则 if 参数w1 0.5 and 边缘特征 圆形: 可能是塑料瓶 if 参数w2 0.3 and 颜色特征 绿色: 可能是厨余垃圾 ... 实际的神经网络更复杂但本质就是用参数组合特征做决策 训练就是找到最好的参数组合