1. 从“房价预测”说起为什么单变量线性回归是机器学习的“第一课”如果你刚接触机器学习翻开任何一本教材或课程大概率第一个遇到的算法就是“单变量线性回归”。这绝不是偶然。它就像一个数学里的“Hello World”结构简单却包含了监督学习几乎所有核心概念模型、参数、损失函数、梯度下降。更重要的是它解决的是一个我们直觉上就能理解的问题寻找两个变量之间最“般配”的那条直线。想象一下这个场景你手头有一份某城市不同面积房子的价格数据。你的直觉会告诉你面积越大价格通常越高。单变量线性回归要做的就是把这种模糊的直觉变成一个精确的数学公式房价 a * 面积 b。这里的a和b就是我们要求解的模型参数。a代表了“面积每增加一平米房价会增加多少”也就是斜率b代表了“当面积为零时的基础价格”也就是截距。这个模型之所以叫“单变量”是因为它只考虑一个特征或叫输入变量即房屋面积叫“线性”是因为它试图用一条直线来拟合数据之间的关系。为什么从它开始学因为它足够简单让你能看清机器学习“黑箱”里最基础的齿轮是如何啮合的。你不会被复杂的神经网络结构、五花八门的特征工程分散注意力。你的全部精力可以聚焦在理解“模型如何学习”这个根本问题上。理解了单变量线性回归你就拿到了打开监督学习大门的钥匙后续的多变量线性回归、逻辑回归乃至更复杂的模型都是在这把钥匙的基础上增加新的零件和复杂度。很多同学在期末考试前突击复习或者在工作面试中被问到机器学习基础时单变量线性回归都是必须滚瓜烂熟的核心考点因为它考察的是你对机器学习最底层逻辑的掌握程度。2. 模型拆解那条直线背后的数学“骨架”单变量线性回归的模型表达式简洁得令人安心h(x) θ₀ θ₁x。这里h(x)是我们的假设函数即模型预测的输出x是输入特征比如房屋面积θ₀和θ₁就是我们需要通过数据来学习的参数。在学术文献和很多课程中你也会看到用w和b来表示本质一样w(weight) 对应θ₁b(bias) 对应θ₀。这个模型看似简单但每一个部分都值得深究。θ₀即截距项它代表了当输入特征x为 0 时模型的基准预测值。在很多实际问题中即使特征为零输出也可能不为零比如零面积的“房子”可能有土地价值这个基准值就由θ₀捕捉。θ₁即斜率或权重它量化了特征x对预测结果h(x)的影响程度和方向。θ₁为正表示正相关为负表示负相关其绝对值大小则代表了影响的强度。但模型摆在这里我们怎么知道找到的θ₀和θ₁就是最好的呢这就引出了机器学习的核心——定义一个衡量“好”与“坏”的标准。在单变量线性回归中这个标准就是均方误差损失函数。它的思想非常直观对于每一个数据点计算模型预测值h(x⁽ⁱ⁾)与实际值y⁽ⁱ⁾的差值即误差然后平方为了消除正负号影响并放大大误差最后对所有数据点的平方误差取平均。用数学公式表达就是J(θ₀, θ₁) (1/2m) * Σ (h(x⁽ⁱ⁾) - y⁽ⁱ⁾)²其中m是训练样本的数量Σ表示对所有样本求和。这里分母有时是2m而不是m主要是为了后续求梯度时平方项求导产生的2能与分母抵消让数学形式更整洁。这个J(θ₀, θ₁)函数就是我们的目标函数也叫代价函数。机器学习的过程就是寻找一组参数(θ₀, θ₁)使得这个代价函数J的值最小。你可以把J想象成一个三维空间中的碗状曲面θ₀和θ₁是碗底的水平坐标J的值是高度。我们的目标就是找到这个碗的最低点。注意均方误差并不是唯一的选择但在线性回归中它是最常用且具有良好数学性质如凸性保证能找到全局最优解的损失函数。在有些场景如存在较多异常值时可能会考虑使用平均绝对误差等更稳健的损失函数。3. 梯度下降如何“滚”到碗底找到最优参数现在我们有了目标最小化J和地图J构成的曲面但怎么找到那个最低点呢对于单变量线性回归这种简单的凸函数理论上我们可以直接通过求导数为零的方程正规方程解析出最优解。但机器学习更通用的、也是你必须掌握的方法是梯度下降。它是几乎所有复杂模型参数学习的基石。梯度下降的思路模仿了盲人下山如果你想最快下到山谷你每一步都应该沿着当前所在位置最陡峭的下坡方向走。在数学上这个“最陡峭的下坡方向”就是函数在该点的梯度的负方向。对于我们的代价函数J(θ₀, θ₁)梯度是一个向量[∂J/∂θ₀, ∂J/∂θ₁]它指向J增长最快的方向。因此负梯度方向就是J下降最快的方向。梯度下降的更新规则如下θⱼ : θⱼ - α * (∂J/∂θⱼ)对于j 0和j 1。 这里:表示赋值α是一个至关重要的超参数叫做学习率。它控制着我们每一步下山的“步长”。对于我们的均方误差代价函数我们可以具体求出两个偏导数∂J/∂θ₀ (1/m) * Σ (h(x⁽ⁱ⁾) - y⁽ⁱ⁾)∂J/∂θ₁ (1/m) * Σ (h(x⁽ⁱ⁾) - y⁽ⁱ⁾) * x⁽ⁱ⁾所以完整的梯度下降算法批量梯度下降步骤如下随机初始化参数θ₀和θ₁例如都设为0。重复以下过程直到代价函数的变化小于某个阈值或达到预设的迭代次数 a. 计算当前参数下对所有训练样本的预测值h(x⁽ⁱ⁾)。 b. 计算误差(h(x⁽ⁱ⁾) - y⁽ⁱ⁾)。 c. 同时更新两个参数θ₀ : θ₀ - α * (1/m) * Σ (h(x⁽ⁱ⁾) - y⁽ⁱ⁾)θ₁ : θ₁ - α * (1/m) * Σ (h(x⁽ⁱ⁾) - y⁽ⁱ⁾) * x⁽ⁱ⁾注意这里是同时更新即用旧的θ₀和θ₁计算出新值后再统一替换而不是用已经更新的θ₀去计算θ₁的更新。学习率α的选择是一门艺术也是实操中最容易踩坑的地方α太小下山步长太短需要非常多的迭代次数才能收敛训练过程缓慢。α太大步长太大可能会直接跨过最低点导致代价函数在最小值附近震荡甚至发散值越来越大。一个实用的技巧是可以尝试一系列按数量级变化的值如0.001, 0.003, 0.01, 0.03, 0.1, 0.3, 1绘制代价函数J随迭代次数变化的曲线。一个好的学习率应该使J平滑、稳定地下降。在实际项目中随着迭代进行动态衰减学习率如指数衰减是更高级的优化策略。4. 从理论到代码手把手实现与可视化理解了原理最好的巩固方式就是动手实现。我们使用Python和NumPy库来完成。假设我们的训练数据是X(特征) 和y(目标值)。4.1 数据准备与特征缩放首先我们生成或加载一些数据。为了演示我们生成一份有线性关系但带噪声的数据。import numpy as np import matplotlib.pyplot as plt # 设置随机种子确保结果可复现 np.random.seed(42) # 生成特征X在0到10之间均匀生成50个点 m 50 X_raw np.linspace(0, 10, m) # 定义真实参数θ0_true5, θ1_true2.5 theta0_true, theta1_true 5, 2.5 # 生成目标值yy 5 2.5*X 噪声 noise np.random.randn(m) * 2 # 标准差为2的正态分布噪声 y theta0_true theta1_true * X_raw noise # 将X_raw转换为列向量 (m, 1)方便后续矩阵运算 X X_raw.reshape(-1, 1)在应用梯度下降前对特征进行标准化是一个非常好的习惯尤其是当特征尺度差异大时虽然单变量问题不明显。标准化能加速梯度下降的收敛。我们使用Z-score标准化x (x - μ) / σ其中μ是均值σ是标准差。# 特征标准化 X_mean np.mean(X) X_std np.std(X) X_scaled (X - X_mean) / X_std标准化后X_scaled的均值约为0标准差为1。4.2 实现梯度下降现在我们实现梯度下降算法。我们将代价函数和梯度计算封装成函数。def compute_cost(X, y, theta): 计算均方误差代价函数 X: 特征矩阵 (m, 2)第一列为1对应θ0 y: 目标值向量 (m,) theta: 参数向量 (2,) m len(y) predictions X.dot(theta) # X * theta errors predictions - y cost (1/(2*m)) * np.sum(errors**2) return cost def gradient_descent(X, y, theta, alpha, num_iters): 执行梯度下降 X: 特征矩阵 (m, 2) y: 目标值向量 (m,) theta: 初始参数向量 (2,) alpha: 学习率 num_iters: 迭代次数 返回: 最终参数theta和历史代价cost_history m len(y) cost_history np.zeros(num_iters) for i in range(num_iters): predictions X.dot(theta) errors predictions - y # 计算梯度 # X.T是(2, m)errors是(m,)点乘后得到(2,)的梯度向量 gradient (1/m) * X.T.dot(errors) # 更新参数 theta theta - alpha * gradient # 记录当前代价 cost_history[i] compute_cost(X, y, theta) return theta, cost_history注意为了统一处理θ₀(截距项)我们需要在特征矩阵X前添加一列1。这样θ₀就相当于这个新增“特征”的权重参数向量theta [θ₀, θ₁]预测公式h(x) X * theta就能完美表达θ₀ θ₁*x。# 为标准化后的X添加一列1对应θ0 m len(y) X_b np.c_[np.ones((m, 1)), X_scaled] # 现在X_b形状是(m, 2) # 初始化参数 theta_initial np.random.randn(2, 1) # 随机初始化形状(2,1) # 设置学习率和迭代次数 alpha 0.01 num_iters 1000 # 运行梯度下降 theta_final, cost_history gradient_descent(X_b, y, theta_initial, alpha, num_iters) print(f初始参数: {theta_initial.flatten()}) print(f最终参数: {theta_final.flatten()}) print(f真实参数: [{theta0_true}, {theta1_true}])4.3 结果可视化与解读可视化能帮助我们直观理解算法的工作过程。我们绘制三张图1) 数据和拟合直线2) 代价函数随迭代下降的过程3) 参数空间中的梯度下降路径。# 1. 绘制数据和拟合直线 plt.figure(figsize(15, 5)) plt.subplot(1, 3, 1) plt.scatter(X_raw, y, alpha0.7, labelTraining Data) # 为了画线生成一组预测点 X_line np.linspace(0, 10, 100).reshape(-1, 1) # 注意预测时需要对X_line也进行相同的标准化变换 X_line_scaled (X_line - X_mean) / X_std X_line_b np.c_[np.ones((100, 1)), X_line_scaled] y_line X_line_b.dot(theta_final) plt.plot(X_line, y_line, r-, linewidth3, labelfFit: y{theta_final[0][0]:.2f}{theta_final[1][0]:.2f}*x) plt.xlabel(Feature X (Original Scale)) plt.ylabel(Target y) plt.title(Linear Regression Fit) plt.legend() plt.grid(True) # 2. 绘制代价函数下降曲线 plt.subplot(1, 3, 2) plt.plot(range(num_iters), cost_history, b-) plt.xlabel(Iteration Number) plt.ylabel(Cost J) plt.title(Cost Function over Iterations) plt.grid(True) # 3. 绘制参数空间和等高线可选更高级的可视化 # 生成参数网格 theta0_vals np.linspace(0, 10, 100) theta1_vals np.linspace(0, 5, 100) Theta0, Theta1 np.meshgrid(theta0_vals, theta1_vals) # 计算网格上每一点的代价注意这里为了演示使用未标准化的X计算代价实际意义不大 # 更严谨的做法是计算在标准化特征空间下的代价但可视化复杂。此处略去详细计算。 # 简单绘制参数更新路径需要记录每次迭代的theta值修改gradient_descent函数来记录 plt.subplot(1, 3, 3) # 假设我们记录了theta_history (num_iters, 2) # plt.contour(Theta0, Theta1, J_vals, levelsnp.logspace(-2, 3, 20)) # 等高线 # plt.plot(theta_history[:,0], theta_history[:,1], rx-, markersize5, linewidth1) # 路径 plt.xlabel(r$\theta_0$) plt.ylabel(r$\theta_1$) plt.title(Parameter Space (Path Sketch)) plt.grid(True) # 由于未计算J_vals此处仅作示意实际代码中需要补充计算。 plt.tight_layout() plt.show()运行代码后你会看到第一张图中一条红色的直线穿过了数据点的中心这就是我们学习到的模型。第二张图中代价函数随着迭代快速下降并逐渐平缓说明梯度下降有效收敛了。比较theta_final和真实参数[5, 2.5]由于数据中有噪声我们学习到的参数不会完全等于真实值但应该非常接近。实操心得在编写梯度下降时最容易出错的地方是矩阵的维度。务必确保X_b的形状是(m, n1)其中n是特征数单变量时n11是截距项。theta的形状应是(n1, 1)或(n1,)y的形状是(m,)或(m, 1)。使用np.dot()或运算符进行矩阵乘法时注意维度匹配。在绘制拟合直线时一个常见的坑是忘记对用于预测的新数据X_line进行与训练数据完全相同的标准化处理这会导致画出的直线错位。5. 超越基础问题、评估与扩展思考当你成功运行了第一个线性回归模型后真正的学习才刚刚开始。接下来我们需要思考几个关键问题。5.1 模型评估我们拟合得有多好仅仅画出拟合直线不够我们需要量化指标。最常用的两个指标是均方误差这就是我们的代价函数J。计算在训练集或测试集上的 MSE值越小越好。R平方也称为决定系数。它衡量了模型对目标变量方差的解释比例。公式为R² 1 - (SS_res / SS_tot)其中SS_res是残差平方和即 MSE * 2mSS_tot是总平方和。R²越接近1说明模型拟合越好。# 计算在训练集上的R平方 def r2_score(y_true, y_pred): ss_res np.sum((y_true - y_pred) ** 2) ss_tot np.sum((y_true - np.mean(y_true)) ** 2) return 1 - (ss_res / ss_tot) # 使用学习到的参数进行预测 y_pred X_b.dot(theta_final) train_mse compute_cost(X_b, y, theta_final) * 2 # 注意我们的compute_cost包含了1/(2m) train_r2 r2_score(y, y_pred) print(f训练集 MSE: {train_mse:.4f}) print(f训练集 R²: {train_r2:.4f})一个接近1的R²例如0.85以上通常表示拟合良好。但要注意R²高并不意味着模型一定正确它只衡量线性关系的解释力。5.2 遇到问题怎么办常见陷阱与诊断如果你的模型表现不佳R²很低或拟合直线明显偏离数据可以从以下几个方面排查学习率α不合适这是新手最常见的问题。绘制代价函数J随迭代次数的变化图。如果J震荡上升说明α太大如果J下降极其缓慢说明α太小。调整α并重新运行。迭代次数不足梯度下降可能还没收敛。观察J是否已趋于平稳。如果没有增加num_iters。特征与目标关系非线性单变量线性回归的前提是假设关系是线性的。如果数据呈现曲线模式如抛物线强行用直线拟合效果必然差。这时需要引入多项式特征如x²或者使用其他非线性模型。绘制X和y的散点图是第一步可以直观判断。存在异常值均方误差对异常值非常敏感一两个偏离很远的点可能会把拟合直线“拉”偏。检查数据散点图看是否存在明显的离群点。可以考虑使用更稳健的损失函数如Huber损失或在预处理阶段处理异常值。未进行特征缩放在单变量问题中特征缩放影响不大但在多变量线性回归中至关重要。如果特征尺度差异巨大如一个特征范围是0-1另一个是10000-100000梯度下降会收敛得很慢路径会曲折。务必进行标准化或归一化。5.3 从单变量到多变量自然的延伸单变量线性回归是理解多变量线性回归的完美跳板。多变量线性回归的假设函数变为h(x) θ₀ θ₁x₁ θ₂x₂ ... θₙxₙ其中x₁, x₂, ..., xₙ是n个特征。所有的核心概念——代价函数、梯度下降——都完全一样只是维度变高了。参数θ变成一个(n1)维向量梯度∂J/∂θⱼ的计算公式形式也完全一致。在代码实现上你几乎不需要修改梯度下降函数只需要确保特征矩阵X的维度正确即可。5.4 正规方程另一种求解方式对于线性回归除了梯度下降这种迭代方法还有一种直接求解的解析方法——正规方程。它通过求解令代价函数梯度为零的方程直接得到最优参数θ (XᵀX)⁻¹ Xᵀy其中X是包含一列1的特征矩阵y是目标值向量。# 使用正规方程求解 theta_normal_eq np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y) print(f正规方程解: {theta_normal_eq.flatten()}) print(f梯度下降解: {theta_final.flatten()})两者结果应该非常接近。正规方程的优点是无需选择学习率α无需迭代一次计算得到最优解。缺点是当特征数量n非常大时例如 10000计算(XᵀX)⁻¹的逆矩阵会非常慢甚至不可行矩阵不可逆。梯度下降则在特征数量很大时依然能良好工作。在实际应用中当n不大时如小于1000正规方程是一个简单可靠的选择对于更大规模的数据梯度下降或其变种如随机梯度下降是标准工具。理解了单变量线性回归的这些方方面面你就不仅仅是“知道”了这个算法而是真正掌握了它的灵魂。这为你后续学习逻辑回归、正则化、以及更复杂的神经网络模型打下了坚实且必要的基础。记住所有复杂的模型其训练的核心思想——定义损失、优化参数——都与你在本章中实践的过程一脉相承。
1. 从“房价预测”说起为什么单变量线性回归是机器学习的“第一课”如果你刚接触机器学习翻开任何一本教材或课程大概率第一个遇到的算法就是“单变量线性回归”。这绝不是偶然。它就像一个数学里的“Hello World”结构简单却包含了监督学习几乎所有核心概念模型、参数、损失函数、梯度下降。更重要的是它解决的是一个我们直觉上就能理解的问题寻找两个变量之间最“般配”的那条直线。想象一下这个场景你手头有一份某城市不同面积房子的价格数据。你的直觉会告诉你面积越大价格通常越高。单变量线性回归要做的就是把这种模糊的直觉变成一个精确的数学公式房价 a * 面积 b。这里的a和b就是我们要求解的模型参数。a代表了“面积每增加一平米房价会增加多少”也就是斜率b代表了“当面积为零时的基础价格”也就是截距。这个模型之所以叫“单变量”是因为它只考虑一个特征或叫输入变量即房屋面积叫“线性”是因为它试图用一条直线来拟合数据之间的关系。为什么从它开始学因为它足够简单让你能看清机器学习“黑箱”里最基础的齿轮是如何啮合的。你不会被复杂的神经网络结构、五花八门的特征工程分散注意力。你的全部精力可以聚焦在理解“模型如何学习”这个根本问题上。理解了单变量线性回归你就拿到了打开监督学习大门的钥匙后续的多变量线性回归、逻辑回归乃至更复杂的模型都是在这把钥匙的基础上增加新的零件和复杂度。很多同学在期末考试前突击复习或者在工作面试中被问到机器学习基础时单变量线性回归都是必须滚瓜烂熟的核心考点因为它考察的是你对机器学习最底层逻辑的掌握程度。2. 模型拆解那条直线背后的数学“骨架”单变量线性回归的模型表达式简洁得令人安心h(x) θ₀ θ₁x。这里h(x)是我们的假设函数即模型预测的输出x是输入特征比如房屋面积θ₀和θ₁就是我们需要通过数据来学习的参数。在学术文献和很多课程中你也会看到用w和b来表示本质一样w(weight) 对应θ₁b(bias) 对应θ₀。这个模型看似简单但每一个部分都值得深究。θ₀即截距项它代表了当输入特征x为 0 时模型的基准预测值。在很多实际问题中即使特征为零输出也可能不为零比如零面积的“房子”可能有土地价值这个基准值就由θ₀捕捉。θ₁即斜率或权重它量化了特征x对预测结果h(x)的影响程度和方向。θ₁为正表示正相关为负表示负相关其绝对值大小则代表了影响的强度。但模型摆在这里我们怎么知道找到的θ₀和θ₁就是最好的呢这就引出了机器学习的核心——定义一个衡量“好”与“坏”的标准。在单变量线性回归中这个标准就是均方误差损失函数。它的思想非常直观对于每一个数据点计算模型预测值h(x⁽ⁱ⁾)与实际值y⁽ⁱ⁾的差值即误差然后平方为了消除正负号影响并放大大误差最后对所有数据点的平方误差取平均。用数学公式表达就是J(θ₀, θ₁) (1/2m) * Σ (h(x⁽ⁱ⁾) - y⁽ⁱ⁾)²其中m是训练样本的数量Σ表示对所有样本求和。这里分母有时是2m而不是m主要是为了后续求梯度时平方项求导产生的2能与分母抵消让数学形式更整洁。这个J(θ₀, θ₁)函数就是我们的目标函数也叫代价函数。机器学习的过程就是寻找一组参数(θ₀, θ₁)使得这个代价函数J的值最小。你可以把J想象成一个三维空间中的碗状曲面θ₀和θ₁是碗底的水平坐标J的值是高度。我们的目标就是找到这个碗的最低点。注意均方误差并不是唯一的选择但在线性回归中它是最常用且具有良好数学性质如凸性保证能找到全局最优解的损失函数。在有些场景如存在较多异常值时可能会考虑使用平均绝对误差等更稳健的损失函数。3. 梯度下降如何“滚”到碗底找到最优参数现在我们有了目标最小化J和地图J构成的曲面但怎么找到那个最低点呢对于单变量线性回归这种简单的凸函数理论上我们可以直接通过求导数为零的方程正规方程解析出最优解。但机器学习更通用的、也是你必须掌握的方法是梯度下降。它是几乎所有复杂模型参数学习的基石。梯度下降的思路模仿了盲人下山如果你想最快下到山谷你每一步都应该沿着当前所在位置最陡峭的下坡方向走。在数学上这个“最陡峭的下坡方向”就是函数在该点的梯度的负方向。对于我们的代价函数J(θ₀, θ₁)梯度是一个向量[∂J/∂θ₀, ∂J/∂θ₁]它指向J增长最快的方向。因此负梯度方向就是J下降最快的方向。梯度下降的更新规则如下θⱼ : θⱼ - α * (∂J/∂θⱼ)对于j 0和j 1。 这里:表示赋值α是一个至关重要的超参数叫做学习率。它控制着我们每一步下山的“步长”。对于我们的均方误差代价函数我们可以具体求出两个偏导数∂J/∂θ₀ (1/m) * Σ (h(x⁽ⁱ⁾) - y⁽ⁱ⁾)∂J/∂θ₁ (1/m) * Σ (h(x⁽ⁱ⁾) - y⁽ⁱ⁾) * x⁽ⁱ⁾所以完整的梯度下降算法批量梯度下降步骤如下随机初始化参数θ₀和θ₁例如都设为0。重复以下过程直到代价函数的变化小于某个阈值或达到预设的迭代次数 a. 计算当前参数下对所有训练样本的预测值h(x⁽ⁱ⁾)。 b. 计算误差(h(x⁽ⁱ⁾) - y⁽ⁱ⁾)。 c. 同时更新两个参数θ₀ : θ₀ - α * (1/m) * Σ (h(x⁽ⁱ⁾) - y⁽ⁱ⁾)θ₁ : θ₁ - α * (1/m) * Σ (h(x⁽ⁱ⁾) - y⁽ⁱ⁾) * x⁽ⁱ⁾注意这里是同时更新即用旧的θ₀和θ₁计算出新值后再统一替换而不是用已经更新的θ₀去计算θ₁的更新。学习率α的选择是一门艺术也是实操中最容易踩坑的地方α太小下山步长太短需要非常多的迭代次数才能收敛训练过程缓慢。α太大步长太大可能会直接跨过最低点导致代价函数在最小值附近震荡甚至发散值越来越大。一个实用的技巧是可以尝试一系列按数量级变化的值如0.001, 0.003, 0.01, 0.03, 0.1, 0.3, 1绘制代价函数J随迭代次数变化的曲线。一个好的学习率应该使J平滑、稳定地下降。在实际项目中随着迭代进行动态衰减学习率如指数衰减是更高级的优化策略。4. 从理论到代码手把手实现与可视化理解了原理最好的巩固方式就是动手实现。我们使用Python和NumPy库来完成。假设我们的训练数据是X(特征) 和y(目标值)。4.1 数据准备与特征缩放首先我们生成或加载一些数据。为了演示我们生成一份有线性关系但带噪声的数据。import numpy as np import matplotlib.pyplot as plt # 设置随机种子确保结果可复现 np.random.seed(42) # 生成特征X在0到10之间均匀生成50个点 m 50 X_raw np.linspace(0, 10, m) # 定义真实参数θ0_true5, θ1_true2.5 theta0_true, theta1_true 5, 2.5 # 生成目标值yy 5 2.5*X 噪声 noise np.random.randn(m) * 2 # 标准差为2的正态分布噪声 y theta0_true theta1_true * X_raw noise # 将X_raw转换为列向量 (m, 1)方便后续矩阵运算 X X_raw.reshape(-1, 1)在应用梯度下降前对特征进行标准化是一个非常好的习惯尤其是当特征尺度差异大时虽然单变量问题不明显。标准化能加速梯度下降的收敛。我们使用Z-score标准化x (x - μ) / σ其中μ是均值σ是标准差。# 特征标准化 X_mean np.mean(X) X_std np.std(X) X_scaled (X - X_mean) / X_std标准化后X_scaled的均值约为0标准差为1。4.2 实现梯度下降现在我们实现梯度下降算法。我们将代价函数和梯度计算封装成函数。def compute_cost(X, y, theta): 计算均方误差代价函数 X: 特征矩阵 (m, 2)第一列为1对应θ0 y: 目标值向量 (m,) theta: 参数向量 (2,) m len(y) predictions X.dot(theta) # X * theta errors predictions - y cost (1/(2*m)) * np.sum(errors**2) return cost def gradient_descent(X, y, theta, alpha, num_iters): 执行梯度下降 X: 特征矩阵 (m, 2) y: 目标值向量 (m,) theta: 初始参数向量 (2,) alpha: 学习率 num_iters: 迭代次数 返回: 最终参数theta和历史代价cost_history m len(y) cost_history np.zeros(num_iters) for i in range(num_iters): predictions X.dot(theta) errors predictions - y # 计算梯度 # X.T是(2, m)errors是(m,)点乘后得到(2,)的梯度向量 gradient (1/m) * X.T.dot(errors) # 更新参数 theta theta - alpha * gradient # 记录当前代价 cost_history[i] compute_cost(X, y, theta) return theta, cost_history注意为了统一处理θ₀(截距项)我们需要在特征矩阵X前添加一列1。这样θ₀就相当于这个新增“特征”的权重参数向量theta [θ₀, θ₁]预测公式h(x) X * theta就能完美表达θ₀ θ₁*x。# 为标准化后的X添加一列1对应θ0 m len(y) X_b np.c_[np.ones((m, 1)), X_scaled] # 现在X_b形状是(m, 2) # 初始化参数 theta_initial np.random.randn(2, 1) # 随机初始化形状(2,1) # 设置学习率和迭代次数 alpha 0.01 num_iters 1000 # 运行梯度下降 theta_final, cost_history gradient_descent(X_b, y, theta_initial, alpha, num_iters) print(f初始参数: {theta_initial.flatten()}) print(f最终参数: {theta_final.flatten()}) print(f真实参数: [{theta0_true}, {theta1_true}])4.3 结果可视化与解读可视化能帮助我们直观理解算法的工作过程。我们绘制三张图1) 数据和拟合直线2) 代价函数随迭代下降的过程3) 参数空间中的梯度下降路径。# 1. 绘制数据和拟合直线 plt.figure(figsize(15, 5)) plt.subplot(1, 3, 1) plt.scatter(X_raw, y, alpha0.7, labelTraining Data) # 为了画线生成一组预测点 X_line np.linspace(0, 10, 100).reshape(-1, 1) # 注意预测时需要对X_line也进行相同的标准化变换 X_line_scaled (X_line - X_mean) / X_std X_line_b np.c_[np.ones((100, 1)), X_line_scaled] y_line X_line_b.dot(theta_final) plt.plot(X_line, y_line, r-, linewidth3, labelfFit: y{theta_final[0][0]:.2f}{theta_final[1][0]:.2f}*x) plt.xlabel(Feature X (Original Scale)) plt.ylabel(Target y) plt.title(Linear Regression Fit) plt.legend() plt.grid(True) # 2. 绘制代价函数下降曲线 plt.subplot(1, 3, 2) plt.plot(range(num_iters), cost_history, b-) plt.xlabel(Iteration Number) plt.ylabel(Cost J) plt.title(Cost Function over Iterations) plt.grid(True) # 3. 绘制参数空间和等高线可选更高级的可视化 # 生成参数网格 theta0_vals np.linspace(0, 10, 100) theta1_vals np.linspace(0, 5, 100) Theta0, Theta1 np.meshgrid(theta0_vals, theta1_vals) # 计算网格上每一点的代价注意这里为了演示使用未标准化的X计算代价实际意义不大 # 更严谨的做法是计算在标准化特征空间下的代价但可视化复杂。此处略去详细计算。 # 简单绘制参数更新路径需要记录每次迭代的theta值修改gradient_descent函数来记录 plt.subplot(1, 3, 3) # 假设我们记录了theta_history (num_iters, 2) # plt.contour(Theta0, Theta1, J_vals, levelsnp.logspace(-2, 3, 20)) # 等高线 # plt.plot(theta_history[:,0], theta_history[:,1], rx-, markersize5, linewidth1) # 路径 plt.xlabel(r$\theta_0$) plt.ylabel(r$\theta_1$) plt.title(Parameter Space (Path Sketch)) plt.grid(True) # 由于未计算J_vals此处仅作示意实际代码中需要补充计算。 plt.tight_layout() plt.show()运行代码后你会看到第一张图中一条红色的直线穿过了数据点的中心这就是我们学习到的模型。第二张图中代价函数随着迭代快速下降并逐渐平缓说明梯度下降有效收敛了。比较theta_final和真实参数[5, 2.5]由于数据中有噪声我们学习到的参数不会完全等于真实值但应该非常接近。实操心得在编写梯度下降时最容易出错的地方是矩阵的维度。务必确保X_b的形状是(m, n1)其中n是特征数单变量时n11是截距项。theta的形状应是(n1, 1)或(n1,)y的形状是(m,)或(m, 1)。使用np.dot()或运算符进行矩阵乘法时注意维度匹配。在绘制拟合直线时一个常见的坑是忘记对用于预测的新数据X_line进行与训练数据完全相同的标准化处理这会导致画出的直线错位。5. 超越基础问题、评估与扩展思考当你成功运行了第一个线性回归模型后真正的学习才刚刚开始。接下来我们需要思考几个关键问题。5.1 模型评估我们拟合得有多好仅仅画出拟合直线不够我们需要量化指标。最常用的两个指标是均方误差这就是我们的代价函数J。计算在训练集或测试集上的 MSE值越小越好。R平方也称为决定系数。它衡量了模型对目标变量方差的解释比例。公式为R² 1 - (SS_res / SS_tot)其中SS_res是残差平方和即 MSE * 2mSS_tot是总平方和。R²越接近1说明模型拟合越好。# 计算在训练集上的R平方 def r2_score(y_true, y_pred): ss_res np.sum((y_true - y_pred) ** 2) ss_tot np.sum((y_true - np.mean(y_true)) ** 2) return 1 - (ss_res / ss_tot) # 使用学习到的参数进行预测 y_pred X_b.dot(theta_final) train_mse compute_cost(X_b, y, theta_final) * 2 # 注意我们的compute_cost包含了1/(2m) train_r2 r2_score(y, y_pred) print(f训练集 MSE: {train_mse:.4f}) print(f训练集 R²: {train_r2:.4f})一个接近1的R²例如0.85以上通常表示拟合良好。但要注意R²高并不意味着模型一定正确它只衡量线性关系的解释力。5.2 遇到问题怎么办常见陷阱与诊断如果你的模型表现不佳R²很低或拟合直线明显偏离数据可以从以下几个方面排查学习率α不合适这是新手最常见的问题。绘制代价函数J随迭代次数的变化图。如果J震荡上升说明α太大如果J下降极其缓慢说明α太小。调整α并重新运行。迭代次数不足梯度下降可能还没收敛。观察J是否已趋于平稳。如果没有增加num_iters。特征与目标关系非线性单变量线性回归的前提是假设关系是线性的。如果数据呈现曲线模式如抛物线强行用直线拟合效果必然差。这时需要引入多项式特征如x²或者使用其他非线性模型。绘制X和y的散点图是第一步可以直观判断。存在异常值均方误差对异常值非常敏感一两个偏离很远的点可能会把拟合直线“拉”偏。检查数据散点图看是否存在明显的离群点。可以考虑使用更稳健的损失函数如Huber损失或在预处理阶段处理异常值。未进行特征缩放在单变量问题中特征缩放影响不大但在多变量线性回归中至关重要。如果特征尺度差异巨大如一个特征范围是0-1另一个是10000-100000梯度下降会收敛得很慢路径会曲折。务必进行标准化或归一化。5.3 从单变量到多变量自然的延伸单变量线性回归是理解多变量线性回归的完美跳板。多变量线性回归的假设函数变为h(x) θ₀ θ₁x₁ θ₂x₂ ... θₙxₙ其中x₁, x₂, ..., xₙ是n个特征。所有的核心概念——代价函数、梯度下降——都完全一样只是维度变高了。参数θ变成一个(n1)维向量梯度∂J/∂θⱼ的计算公式形式也完全一致。在代码实现上你几乎不需要修改梯度下降函数只需要确保特征矩阵X的维度正确即可。5.4 正规方程另一种求解方式对于线性回归除了梯度下降这种迭代方法还有一种直接求解的解析方法——正规方程。它通过求解令代价函数梯度为零的方程直接得到最优参数θ (XᵀX)⁻¹ Xᵀy其中X是包含一列1的特征矩阵y是目标值向量。# 使用正规方程求解 theta_normal_eq np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y) print(f正规方程解: {theta_normal_eq.flatten()}) print(f梯度下降解: {theta_final.flatten()})两者结果应该非常接近。正规方程的优点是无需选择学习率α无需迭代一次计算得到最优解。缺点是当特征数量n非常大时例如 10000计算(XᵀX)⁻¹的逆矩阵会非常慢甚至不可行矩阵不可逆。梯度下降则在特征数量很大时依然能良好工作。在实际应用中当n不大时如小于1000正规方程是一个简单可靠的选择对于更大规模的数据梯度下降或其变种如随机梯度下降是标准工具。理解了单变量线性回归的这些方方面面你就不仅仅是“知道”了这个算法而是真正掌握了它的灵魂。这为你后续学习逻辑回归、正则化、以及更复杂的神经网络模型打下了坚实且必要的基础。记住所有复杂的模型其训练的核心思想——定义损失、优化参数——都与你在本章中实践的过程一脉相承。
![[光学原理与应用-521]：对光的错误理解与纠偏](http://pic.xiahunao.cn/yaotu/[光学原理与应用-521]：对光的错误理解与纠偏)
