林州网站建设哪家便宜用网站空间可以做有后台的网站吗

林州网站建设哪家便宜,用网站空间可以做有后台的网站吗,网站本地建设教程,网站建设公司招网站设计介绍线性回归 线性回归核心 本质#xff1a;数理统计中用回归分析量化变量间定量依赖关系的方法#xff0c;聚焦“有方向的因果影响”。 相关关系的两类#xff1a; 因果关系#xff1a;变量有“原因→结果”方向#xff0c;需分自变量#xff08;因#xff09;/因变量数理统计中用回归分析量化变量间定量依赖关系的方法聚焦“有方向的因果影响”。相关关系的两类因果关系变量有“原因→结果”方向需分自变量因/因变量果线性回归用它算“自变量每变1单位因变量平均变多少”权重θ体现影响大小与方向。平行关系变量仅“伴随变化”无因果不区分自变量/因变量只用相关系数r。关键区别回归是“因果建模”定量算影响相关是“关联描述”只说紧密度线性回归是回归分析在“线性关系”下的具体实现。一元线性回归模型一元线性回归模型定义仅含1个自变量如x与1个因变量y的线性模型是线性回归的最简形式。模型y θ₀ θ₁x εθ₀截距x0时y的基准值θ₁斜率x每变1单位y的平均变化量ε随机误差未解释的噪声。目标用最小二乘法估计θ₀、θ₁让预测值最贴合真实值。求解θ₁ 协方差(x,y) / 方差(x)反映x与y的关联强度与方向θ₀ y的平均值 - θ₁×x的平均值直线过样本中心(x̄,ȳ)。本质用直线量化“x对y的线性影响方向与大小”是多元线性回归的基础。多元线性回归模型定义含多个自变量如x₁、x₂…xₙ与1个因变量y的线性模型是现实最常用的线性回归形式。模型y θ₀ θ₁x₁ θ₂x₂ … θₙxₙ εθ₀截距所有自变量为0时y的基准值θ₁~θₙ权重每个自变量对因变量的边际影响该自变量每变1单位y的平均变化量ε随机误差未解释的噪声。矩阵简化y Xθ εX是含全1列的特征矩阵θ是权重向量。目标用最小二乘法估计θ最小化预测误差平方和。求解若XᵀX可逆θ的估计值为 (XᵀX)⁻¹Xᵀy矩阵闭式解。本质量化多个自变量对因变量的联合线性影响需避免自变量间高度相关多重共线性。误差项分析误差项的本质与作用定义线性回归中未被自变量解释的因变量变异公式为 y预测值εε即误差项。来源测量误差、未纳入模型的自变量、变量间的非线性关系、随机噪声等。核心作用误差项越小模型对数据的“解释力”越强但误差不可能为0否则模型会拟合噪声导致过拟合。误差项的关键假设普通最小二乘法OLS估计的参数要“无偏、有效”需满足误差项的4个假设零均值E(ε) 0误差无系统性偏向模型预测整体无偏同方差Var(ε_i) σ²所有样本的误差波动大小一致不随自变量变化无自相关Cov(ε_i, ε_j) 0i≠j样本间误差独立无“连锁反应”注Cov(ε_i, ε_j)表示第i个样本与第j个样本的误差项的协方差正态分布ε_i ~ N(0, σ²)误差服从正态分布用于参数显著性检验等统计推断。误差项的诊断方法需通过可视化或统计检验判断误差项是否满足假设残差图最直观残差 vs 预测值散点随机分布无明显趋势/“漏斗形”→ 同方差成立若呈“漏斗形”方差随预测值增大而变大→ 异方差。残差 vs 自变量散点随机分布→ 线性关系合理若呈曲线趋势→ 需补充非线性项如x²。统计检验异方差White检验、Breusch-Pagan检验p值0.05则存在异方差自相关Durbin-Watson检验值接近2→无自相关1或3→存在自相关正态性Shapiro-Wilk检验p值0.05→符合正态、Q-Q图点越贴近直线→正态性越好。误差项异常的后果与修正若误差项违反假设会导致模型结论不可靠需针对性修正异方差误差方差随预测值变化后果参数估计仍无偏但标准误不准确易导致“假阳性”显著性结论修正加权最小二乘法WLS、对变量取对数压缩方差。自相关样本间误差相关如时间序列数据后果参数估计无偏但效率低标准误偏小易高估显著性修正广义最小二乘法GLS、加入滞后项如y_{t-1}。非正态性误差不服从正态分布后果小样本下假设检验失效修正Box-Cox变换调整变量分布、使用鲁棒标准误不依赖正态假设。误差项的现实意义误差项的大小反映模型的“未知空间”误差越小模型能解释的现实规律越多但需避免过度追求小误差可能拟合噪声降低泛化能力。误差项是模型“局限性”的体现若误差持续过大需反思是否遗漏关键自变量、是否应改用非线性模型如多项式回归、树模型。总结误差项是线性回归的“隐形考官”——需通过诊断确保其满足假设否则模型结论可能误导决策同时误差项的大小也提示模型的改进方向。误差项满足高斯分布误差项满足高斯分布正态是线性回归的关键假设即εᵢ~N(0,σ²)能让参数估计更有效、假设检验如t/F检验和置信区间计算更可靠。可用Q-Q图点近直线或Shapiro-Wilk检验p0.05判断是否正态。若不满足会导致检验失效、置信区间不准小样本更明显。修正可试变量变换如对数、鲁棒标准误或更换模型如非线性/广义线性模型。它是统计推断的基石需验证不满足则调方法保可靠。极大似然估计定义一种参数估计方法核心思想是选一组参数让“观测到当前样本数据”的概率似然最大。基本逻辑先假设数据服从某分布如线性回归中误差项εN(0,σ²)则yN(Xθ,σ²)写出“观测到所有样本”的似然函数各样本概率的乘积因样本独立对似然函数取对数简化计算乘法变加法求偏导找极值点得最大似然估计值。线性回归中的应用当线性回归满足“误差正态”假设时极大似然估计的结果与最小二乘法OLS完全一致θ的估计值相同但MLE更通用可扩展到非线模型、非正态误差。优势理论严谨能自然融入先验信息贝叶斯MLE适用于复杂模型如逻辑回归、深度学习局限依赖“数据分布假设”若假设错如误差非正态估计可能失效。一句话总结MLE是“让样本出现概率最大的参数”估计法线性回归中误差正态时等价于OLS是统计/机器学习的核心估计工具。似然函数求解数据与分布假设​线性回归模型y Xθ εX为特征矩阵θ为权重向量ε为误差项。假设误差项独立同分布且正态ε_i ~ N(0, σ²)则因变量y_i ~ N(X_iθ, σ²)X_i是第i个样本的特征行向量。似然函数联合概率​似然函数L(θ, σ²)是“给定参数(θ, σ²)时观测到所有样本y₁,…,y_m”的概率样本独立概率相乘L(θ, σ²) ∏[i1 to m] [1/√(2πσ²)] * exp(-(y_i - X_iθ)²/(2σ²))3. 对数似然简化计算​取自然对数乘积变求和单调性不变ln L(θ, σ²) -m/2 * ln(2π) - m/2 * ln(σ²) - 1/(2σ²) * ∑[i1 to m] (y_i - X_iθ)²最大化对数似然求偏导找极值​对θ和σ²分别求偏导令偏导为0解出最优估计对θ求偏导仅最后一项含θ求导并令其为0∂ln L/∂θ (1/σ²) * ∑[i1 to m] (y_i - X_iθ)X_i 0化简得矩阵形式X^T(y - Xθ) 0解得对σ²求偏导令∂ln L/∂σ² 0解得σ²_MLE (1/m) * ∑[i1 to m] (y_i - X_iθ_MLE)² 分母为样本量m相关系数CovX,Y为X与Y的协方差Var[X]为X的方差Var[Y]为Y的方差相关系数的解释|r|≥0.8时视为两个变量之间高度相关0.5≤|r|0.8时视为中度相关0.3≤|r|0.5时视为低度相关|r|0.3时说明两个变量之间的相关程度极弱可视为不相关拟合优度statsmodelsstatsmodels是一个有很多统计模型的python库能完成很多统计测试数据探索以及可视化。它也包含一些经典的统计方法比如贝叶斯方法等。• 线性模型• 线性混合效应模型• 方差分析方法• 时间序列模型• 广义矩阵估计方法三种检验方法一.t检验单个参数的显著性检验​用途检验单个自变量对因变量是否有显著影响如“面积是否真的影响房价”。原假设H₀: θ_j 0第j个自变量的权重为0即该变量对y无影响。步骤估计参数θ_j的标准误SE(θ_j)衡量θ_j的估计精度计算t统计量t θ_j_hat / SE(θ_j)θ_j_hat是θ_j的估计值对比临界值若|t| t_α/2(m-n-1)m样本量n自变量数α显著性水平如0.05则拒绝H₀。核心公式t θ_j_hat / SE(θ_j)二、F检验整体模型的显著性检验​用途检验所有自变量联合起来对因变量是否有显著影响如“面积地段房龄是否共同影响房价”。原假设H₀: θ₁θ₂…θ_n0所有自变量的权重均为0模型无意义。步骤计算总平方和SST ∑(y_i - ȳ)²y的总变异、回归平方和SSR ∑(ŷ_i - ȳ)²模型解释的变异、残差平方和SSE ∑(y_i - ŷ_i)²未解释的变异计算F统计量F (SSR/n) / (SSE/(m-n-1))n为自变量个数m-n-1为自由度对比临界值若F F_α(n, m-n-1)则拒绝H₀。核心公式F (SSR/n) / (SSE/(m-n-1))三、残差检验模型假设的诊断检验​用途检验模型是否满足误差项的基本假设正态性、同方差、无自相关是模型有效的前提。常用子检验正态性Shapiro-Wilk检验原假设H₀: 误差项服从正态分布若p0.05则不拒绝H₀同方差White检验原假设H₀: 误差项同方差若p0.05则无 heteroscedasticity无自相关Durbin-Watson检验统计量DW接近2时无自相关DW1或3则存在。核心逻辑通过残差实际值-预测值的分布特征反推误差项是否满足假设若不满足需修正模型如加权最小二乘、变量变换。F检验线性关系F检验用于判断所有自变量联合起来是否与因变量存在显著线性关系原假设是所有自变量权重为0无线性关系通过对比回归解释的变异与未解释变异的相对大小F统计量决定是否拒绝原假设。T检验回归系数T检验回归系数用于判断单个自变量对因变量是否有显著影响原假设是该自变量的回归系数为0无影响通过计算回归系数的t统计量系数估计值÷标准误并与临界值比较决定是否拒绝原假设。调整R方简单来说多元线性回归中直接用R²评估模型会有“虚假提升”问题——不断加变量哪怕无关R²也会因总能“多解释点变异”而看似上升但这其实是过拟合模型记住了噪声而非规律。而调整R²Adjusted R²能解决这个问题它在R²基础上加入“变量数量惩罚”——只有当新变量真的能显著提升模型解释力时调整R²才会上升若加的是无关变量非显著调整R²反而会下降。因此多元线性回归中必须用调整R²判断模型效果避免被“加变量”的虚假拟合迷惑。数据标准化0~1标准化0~1标准化是用公式x_scaled(x-x_min)/(x_max-x_min)把数据缩放到[0,1]区间的线性变换能消除量纲影响但易受极端值干扰。Z标准化Z标准化是用公式z(x-μ)/σ将数据转为均值0、标准差1的分布能消除量纲且对极端值鲁棒常用于线性回归等需跨特征比较影响的场景。