1、多元線性回歸模型及其矩陣表示設(shè)Y是一個(gè)可觀測(cè)的隨機(jī)變量，它受到p-1個(gè)非隨機(jī)因素 X1、X2、X3···X(p-1)和隨機(jī)因素ε的影響。
若Y與 X1、X2、X3···X(p-1)有如下線性關(guān)系： Y = β0 β1X1 β2X2 ··· β(p-1)X(p-1) ε,
其中，β為未知參數(shù)，ε是均值為0、方差為σ2>0的不可觀測(cè)隨機(jī)變量，稱為誤差項(xiàng)，
并通常假定 ε∽N(0,σ2)。
該模型稱為多元線性回歸模型，
稱Y為因變量，X為自變量。
要建立多元線性回歸模型，我們首先要估計(jì)未知參數(shù)β，為此我們要進(jìn)行n(n>=p)次獨(dú)立觀測(cè)，得到n組數(shù)據(jù)（稱為樣本）。
它們應(yīng)滿足上面代碼塊里那個(gè)式子。 就有了下面這張圖：
 其中ε相互獨(dú)立且均服從N(0,σ2)分布。 令：
則有了以下的矩陣形式： Y = Xβ ε； 其中Y稱為觀測(cè)向量，X稱為設(shè)計(jì)矩陣，它們是由觀測(cè)數(shù)據(jù)得到的，是已知的，并假定X是列滿秩的。
β是待估計(jì)的未知參數(shù)向量，ε是不可觀測(cè)的隨機(jī)誤差向量。 上式稱為多元統(tǒng)計(jì)回歸模型的矩陣形式。
2、β和σ2的估計(jì)經(jīng)過(guò)一番計(jì)算，得出β的最小二乘估計(jì):
 β的最大似然估計(jì)和它的最小二乘估計(jì)一樣。
誤差方差σ2的估計(jì)： 
為它的一個(gè)無(wú)偏估計(jì)。
3、有關(guān)的統(tǒng)計(jì)推斷3.1 回歸關(guān)系的統(tǒng)計(jì)推斷給定因變量Y與自變量X的n組觀測(cè)值，利用前面的方法可以得到未知參數(shù)β和σ2的估計(jì)，從而得出線性回歸方程，但所求的方程是否有意義，也就是說(shuō)XY之間是否存在顯著的線性關(guān)系，還需要對(duì)回歸方程進(jìn)行檢驗(yàn)。 檢驗(yàn)方法：
建立方差分析表；
線性回歸關(guān)系的顯著性檢驗(yàn)；
P值檢驗(yàn) 3.1.1 建立方差分析表（1）離差平方和的分解
數(shù)據(jù)的總離差平方和：（反映了Y的波動(dòng)大?。?br> 殘差平方和：（SSE越大，觀測(cè)值與線性擬合值之間的偏差就越大）
回歸平方和：（反映了線性擬合值與它們的平均值的總偏差）
 經(jīng)過(guò)計(jì)算，可得出：
SST= SSE SSR
因此，SSR越大，說(shuō)明線性回歸關(guān)系所描述的Y波動(dòng)性比例就越大，即Y與X的線性關(guān)系就越顯著。
3.1.2 方差分析表
3.2 線性回歸關(guān)系的顯著性檢驗(yàn)檢驗(yàn)假設(shè)： 若H0成立，則XY之間不存在線性回歸關(guān)系。 構(gòu)建如下檢驗(yàn)統(tǒng)計(jì)量：
在給定顯著性水平α，查F分布表得臨界值Fσ(p-1,n-p)，（即F分布的上側(cè)σ分位數(shù)）。 計(jì)算F的觀測(cè)值F0,若F0<=Fσ時(shí)，則接受H0.
3.3 p值檢驗(yàn)對(duì)于線性回歸關(guān)系顯著性檢驗(yàn)問(wèn)題，
p = P(H0).
P(H0)表示在H0為真時(shí)的概率。 若p<α,拒絕H0
若p>=α,接受H0.
來(lái)些例題
|
