线性代数复习(十二):最小二乘解 Least Square Solution

所谓的最小二乘解,是当方程组 \(A\vec{x}=\vec{b}\)没有解的时候,我们找出最接近它的解。也就是说,找出一个 \(\vec{y}\),使得 \(||A\vec{y}-\vec{b}||\) 的值最小。一个定理告诉我们,这样的解满足
\[A^TA\vec{x}=A^T\vec{b}\]
那么,在计算中,我们先计算 \(A^TA\) 和 \(A^T\vec{b}\),将\(A^TA\) 和 \(A^T\vec{b}\)都看成一个整体,然后运用求解线性方程组的方法来求解。所得到的解就是最小二乘解。

如果 \(A^TA\) 可逆,我们还可以直接得到解
\[\hat{\vec{x}}=(A^TA)^{-1}A^T\vec{b}.\]

Posted in 复习与总结, 线性代数 (Linear Algebra) 复习.