多元线性回归方程的建立 

建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解http://202.121.199.249/foundrymate/lessons/data-analysis/22/117.gif 的残差平方和达到最小值。由于残差平方和

http://202.121.199.249/foundrymate/lessons/data-analysis/22/113.gif          （2-2-5）

    是http://202.121.199.249/foundrymate/lessons/data-analysis/22/118.gif 的非负二次式，所以它的最小值一定存在。

    根据极值原理，当Q取得极值时，http://202.121.199.249/foundrymate/lessons/data-analysis/22/119.gif 应满足

http://202.121.199.249/foundrymate/lessons/data-analysis/22/120.gif

    由（2-2-5）式，即满足

http://202.121.199.249/foundrymate/lessons/data-analysis/22/121.gif                    （2-2-6）

    (2-2-6）式称为正规方程组。它可以化为以下形式

http://202.121.199.249/foundrymate/lessons/data-analysis/22/122.gif     （2-2-7）

    如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有

http://202.121.199.249/foundrymate/lessons/data-analysis/22/123.gif

                   （2-2-8）

 式中X是多元线性回归模型中数据的结构矩阵，http://202.121.199.249/foundrymate/lessons/data-analysis/22/124.gif 是结构矩阵X的转置矩阵。

 (2-2-7)式右端常数项也可用矩阵D来表示

    即

http://202.121.199.249/foundrymate/lessons/data-analysis/22/4.GIF           

    因此(2-2-7)式可写成

Ab=D           （2-2-10）

    或

http://202.121.199.249/foundrymate/lessons/data-analysis/22/125.gif            （2-2-11）

如果A满秩（即A的行列式 http://202.121.199.249/foundrymate/lessons/data-analysis/22/128.gif 的最小二乘估计为

http://202.121.199.249/foundrymate/lessons/data-analysis/22/127.gif            （2-2-12）

  也就是多元线性回归方程的回归系数。

  为了计算方便往往并不先求 http://202.121.199.249/foundrymate/lessons/data-analysis/22/129.gif ，再求b，而是通过解线性方程组(2-2-7)来求b。(2-2-7)是一个有p+1个未知量的线性方程组，它的第一个方程可化为

http://202.121.199.249/foundrymate/lessons/data-analysis/22/130.gif            （2-2-13）

    式中

http://202.121.199.249/foundrymate/lessons/data-analysis/22/131.gif            （2-2-14）

    将（2-2-13）式代入（2-2-7）式中的其余各方程，得

http://202.121.199.249/foundrymate/lessons/data-analysis/22/132.gif            （2-2-15）

    其中

http://202.121.199.249/foundrymate/lessons/data-analysis/22/133.gif            （2-2-16）

    将方程组（2-2-15）式用矩阵表示，则有

Lb=F           （2-2-17）

    其中

  http://202.121.199.249/foundrymate/lessons/data-analysis/22/5.GIF

    于是

b=L^-1F           （2-2-18）

  因此求解多元线性回归方程的系数可由（2-2-16）式先求出L，然后将其代回（2-2-17）式中求解。求b时，可用克莱姆法则求解，也可通过高斯变换求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩阵，因而相对复杂一些。

  例2-2-1 表2-2-1为某地区土壤内含植物可给态磷(y)与土壤内所含无机磷浓度(x₁)、土壤内溶于K₂CO₃溶液并受溴化物水解的有机磷浓度(x₂)以及土壤内溶于K₂CO₃溶液但不溶于溴化物的有机磷(x₃)的观察数据。求y对x_1, x_2, x₃的线性回归方程  。

表2-2-1 土壤含磷情况观察数据

http://202.121.199.249/foundrymate/lessons/data-analysis/22/221.GIF

    计算如下：

http://202.121.199.249/foundrymate/lessons/data-analysis/22/134.gif

http://202.121.199.249/foundrymate/lessons/data-analysis/22/135.gif

http://202.121.199.249/foundrymate/lessons/data-analysis/22/136.gif

http://202.121.199.249/foundrymate/lessons/data-analysis/22/137.gif

    由(2-2-16)式

http://202.121.199.249/foundrymate/lessons/data-analysis/22/138.gif

http://202.121.199.249/foundrymate/lessons/data-analysis/22/139.gif

  http://202.121.199.249/foundrymate/lessons/data-analysis/22/140.gif

  http://202.121.199.249/foundrymate/lessons/data-analysis/22/141.gif

http://202.121.199.249/foundrymate/lessons/data-analysis/22/142.gif

http://202.121.199.249/foundrymate/lessons/data-analysis/22/143.gif

http://202.121.199.249/foundrymate/lessons/data-analysis/22/144.gif

http://202.121.199.249/foundrymate/lessons/data-analysis/22/145.gif

http://202.121.199.249/foundrymate/lessons/data-analysis/22/146.gif

 代入(2-2-15)式得

 http://202.121.199.249/foundrymate/lessons/data-analysis/22/147.gif        （2-2-19）

    若用克莱姆法则解上述方程组，则其解为

http://202.121.199.249/foundrymate/lessons/data-analysis/22/148.gif                （2-2-20）

    其中

http://202.121.199.249/foundrymate/lessons/data-analysis/22/149.gif

    计算得

b₁=1.7848，b₂=-0.0834，b₃=0.1611

http://202.121.199.249/foundrymate/lessons/data-analysis/22/150.gif

     回归方程为

http://202.121.199.249/foundrymate/lessons/data-analysis/22/151.gif

  应用克莱姆法则求解线性方程组计算量偏大，下面介绍更实用的方法——高斯消去法和消去变换。