最小二乘法，又叫做最小平方法，外文名叫做ordinary least squares，是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。提出时间1806年，提出者是马里·勒让德。
示例
数据点(红色)、使用最小二乘法求得的最佳解(蓝色)、误差(绿色)。
某次实验得到了四个数据点 ( x , y ) {\displaystyle (x,y)} ： ( 1 , 6 ) {\displaystyle (1,6)} 、 ( 2 , 5 ) {\displaystyle (2,5)} 、 ( 3 , 7 ) {\displaystyle (3,7)} 、 ( 4 , 10 ) {\displaystyle (4,10)} (右图中红色的点)。我们希望找出一条和这四个点最匹配的直线 y = β β --> 1 + β β --> 2 x {\displaystyle y=\beta _{1}+\beta _{2}x} ，即找出在某种“最佳情况”下能够大致符合如下超定线性方程组的 β β --> 1 {\displaystyle \beta _{1}} 和 β β --> 2 {\displaystyle \beta _{2}} ：
最小二乘法采用的手段是尽量使得等号两边的方差最小，也就是找出这个函数的最小值：
最小值可以通过对 S ( β β --> 1 , β β --> 2 ) {\displaystyle S(\beta _{1},\beta _{2})} 分别求 β β --> 1 {\displaystyle \beta _{1}} 和 β β --> 2 {\displaystyle \beta _{2}} 的偏导数，然后使它们等于零得到。
如此就得到了一个只有两个未知数的方程组，很容易就可以解出：
也就是说直线 y = 3.5 + 1.4 x {\displaystyle y=3.5+1.4x} 是最佳的。
简介
历史背景
最小二乘法发展于天文学和大地测量学领域，科学家和数学家尝试为大航海探索时期的海洋航行挑战提供解决方案。准确描述天体的行为是船舰在大海洋上航行的关键，水手不能再依靠陆上目标导航作航行。
这个方法是在十八世纪期间一些进步的集大成：
不同观测值的组合是真实值的最佳估计;多次观测会减少误差而不是增加，也许在1722年由Roger Cotes首先阐明。
在相同条件下采取的不同观察结果，与只尝试记录一次最精确的观察结果是对立的。这个方法被称为平均值方法。托马斯·马耶尔(Tobias Mayer)在1750年研究月球的天平动时，特别使用这种方法，而拉普拉斯(Pierre-Simon Laplace)在1788年他的工作成果中以此解释木星和土星的运动差异。
在不同条件下进行的不同观测值组合。该方法被称为最小绝对偏差法，出现在Roger Joseph Boscovich在1757年他对地球形体的著名作品，而拉普拉斯在1799年也表示了同样的问题。
评定对误差达到最小的解决方案标准，拉普拉斯指明了误差的概率密度的数学形式，并定义了误差最小化的估计方法。为此，拉普拉斯使用了一双边对称的指数分布，现在称为拉普拉斯分布作为误差分布的模型，并将绝对偏差之和作为估计误差。他认为这是他最简单的假设，他期待得出算术平均值而成为最佳的估计。可相反地，他的估计是后验中位数。
最小二乘法
高斯
1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。
1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。
方法
人们对由某一变量 t {\displaystyle t} 或多个变量 t 1 {\displaystyle t_{1}} …… t n {\displaystyle t_{n}} 构成的相关变量 y {\displaystyle y} 感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同 y {\displaystyle y} 之间的关系，便用不相关变量去构建 y {\displaystyle y} ，使用如下函数模型
q {\displaystyle q} 个独立变量或 p {\displaystyle p} 个系数去拟合。
通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型称作函数模型(如抛物线函数或指数函数)。参数b是为了使所选择的函数模型同观测值y相匹配。(如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来)。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。
其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关(随机无关)。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差(有固定的变异数)，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。
确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为：
min b → → --> ∑ ∑ --> i = 1 n ( y m − − --> y i ) 2 . {\displaystyle \min _{ ec {b}}{\sum _{i=1}^{n}(y_{m}-y_{i})^{2}}.}
用欧几里得度量表达为：
min b → → --> ∥ ∥ --> y → → --> m ( b → → --> ) − − --> y → → --> ∥ ∥ --> 2 . {\displaystyle \min _{ ec {b}}\|{ ec {y}}_{m}({ ec {b}})-{ ec {y}}\|_{2}\ .}
最小化问题的精度，依赖于所选择的函数模型。
线性函数模型
典型的一类函数模型是线性函数模型。最简单的线性式是 y = b 0 + b 1 t {\displaystyle y=b_{0}+b_{1}t} ，写成矩阵式，为
直接给出该式的参数解：
其中 t ¯ ¯ --> = 1 n ∑ ∑ --> i = 1 n t i {\displaystyle {\bar {t}}={ rac {1}{n}}\sum _{i=1}^{n}t_{i}} ，为t值的算术平均值。也可解得如下形式：
简单线性模型 y = b0 + b1t 的例子
随机选定10艘战舰，并分析它们的长度与宽度，寻找它们长度与宽度之间的关系。由下面的描点图可以直观地看出，一艘战舰的长度(t)与宽度(y)基本呈线性关系。散点图如下：
以下图表列出了各战舰的数据，随后步骤是采用最小二乘法确定两变量间的线性关系。
仿照上面给出的例子
t ¯ ¯ --> = ∑ ∑ --> i = 1 n t i n = 1678 10 = 167 . 8 {\displaystyle {\bar {t}}={ rac {\sum _{i=1}^{n}t_{i}}{n}}={ rac {1678}{10}}=167{.}8} 并得到相应的 y ¯ ¯ --> = 18 . 41 {\displaystyle {\bar {y}}=18{.}41} .
然后确定b1
可以看出，战舰的长度每变化1m，相对应的宽度便要变化16cm。并由下式得到常数项b0：
在这里随机理论不加阐述。可以看出点的拟合非常好，长度和宽度的相关性大约为96.03%。 利用Matlab得到拟合直线：
一般线性情况
若含有更多不相关模型变量 t 1 , . . . , t q {\displaystyle t_{1},...,t_{q}} ，可如组成线性函数的形式
即线性方程组
通常人们将tij记作数据矩阵 A，参数bj记做参数向量b，观测值yi记作Y，则线性方程组又可写成：
上述方程运用最小二乘法导出为线性平方差计算的形式为：
最小二乘法的解
min b ∥ A b − − --> Y ∥ 2 , A ∈ ∈ --> C n × × --> m , Y ∈ ∈ --> C n {\displaystyle \min _{b}\left\|{\boldsymbol {Ab}}-{\boldsymbol {Y}} ight\|_{2},{\boldsymbol {A}}\in \mathbf {C} ^{n imes m},{\boldsymbol {Y}}\in \mathbf {C} ^{n}}
的特解为A的广义逆矩阵与Y的乘积，这同时也是二范数极小的解，其通解为特解加上A的零空间。证明如下：
先将Y拆成A的值域及其正交补两部分
所以 A b − − --> Y 1 ∈ ∈ --> R ( A ) {\displaystyle {\boldsymbol {Ab}}-{\boldsymbol {Y}}_{1}\in R\left({\boldsymbol {A}} ight)} ，可得
故当且仅当 b {\displaystyle {\boldsymbol {b}}} 是 A b = Y 1 = A A † † --> Y {\displaystyle {\boldsymbol {Ab}}={\boldsymbol {Y}}_{1}={\boldsymbol {A}}{\boldsymbol {A}}^{\dagger }{\boldsymbol {Y}}} 解时， b {\displaystyle {\boldsymbol {b}}} 即为最小二乘解，即 b = A † † --> Y = ( A H A ) − − --> 1 A H Y {\displaystyle {\boldsymbol {b}}={\boldsymbol {A}}^{\dagger }{\boldsymbol {Y}}={\left({{{\mathbf {A} }^{H}}{\mathbf {A} }} ight)^{-1}}{{\mathbf {A} }^{H}}{\mathbf {Y} }} 。
又因为
故 A b = A A † † --> Y {\displaystyle {\boldsymbol {Ab}}={\boldsymbol {A}}{\boldsymbol {A}}^{\dagger }{\boldsymbol {Y}}} 的通解为
因为
所以 A † † --> Y {\displaystyle {\boldsymbol {A}}^{\dagger }{\boldsymbol {Y}}} 又是二范数极小的最小二乘解。
参考文献
书籍
Wang Guorong; Wei Yimin; Qiao SanZheng. Equation Solving Generalized Inverses. Generalized Inverses:Theory and Computations. Beijing: Science Press. 2004: 第6页. ISBN 7-03-012437-5 (英语).
