最近在做聚類的時(shí)候用到了主成分分析PCA技術(shù)，里面涉及一些關(guān)于矩陣特征值和特征向量的內(nèi)容，在網(wǎng)上找到一篇對(duì)特征向量及其物理意義說(shuō)明較好的文章，整理下來(lái)，分享一下。

一、矩陣基礎(chǔ)[1]：

矩陣是一個(gè)表示二維空間的數(shù)組，矩陣可以看做是一個(gè)變換。在線性代數(shù)中，矩陣可以把一個(gè)向量變換到另一個(gè)位置，或者說(shuō)從一個(gè)坐標(biāo)系變換到另一個(gè)坐標(biāo)系。矩陣的“基”，實(shí)際就是變換時(shí)所用的坐標(biāo)系。而所謂的相似矩陣（），就是同樣的變換，只不過(guò)使用了不同的坐標(biāo)系。線性代數(shù)中的相似矩陣實(shí)際上就是要使這些相似的矩陣有一個(gè)好看的外表，而不改變其變換的功用。

矩陣雖然是二維的，但我們通常把矩陣的大小稱為矩陣的維度。例如一個(gè)3乘3的矩陣就可以說(shuō)是一個(gè)三維矩陣。

二、直觀性說(shuō)明[2]：

我們先來(lái)看點(diǎn)直觀性的內(nèi)容。矩陣的特征方程式是：

矩陣實(shí)際可以看作一個(gè)變換，方程左邊就是把向量x變到另一個(gè)位置而已；右邊是把向量x作了一個(gè)拉伸，拉伸量是lambda。那么它的意義就很明顯了，表達(dá)了矩陣A的一個(gè)特性就是這個(gè)矩陣可以把向量x拉長(zhǎng)（或縮短）lambda倍，僅此而已。

任意給定一個(gè)矩陣A，并不是對(duì)所有的向量x它都能拉長(zhǎng)（縮短）。凡是能被矩陣A拉長(zhǎng)（縮短）的向量就稱為矩陣A的特征向量（Eigenvector）；拉長(zhǎng)（縮短）的量就是這個(gè)特征向量對(duì)應(yīng)的特征值（Eigenvalue）。

值得注意的是，我們說(shuō)的特征向量是一類向量，因?yàn)槿我庖粋€(gè)特征向量隨便乘以一個(gè)標(biāo)量結(jié)果肯定也滿足上述方程，當(dāng)然這兩個(gè)向量都可以看成是同一特征向量，并且它們也對(duì)應(yīng)于同一個(gè)特征值。

如果特征值是負(fù)數(shù)，則說(shuō)明矩陣不但把特征向量拉長(zhǎng)（縮短）了，而且使該向量的方向發(fā)生了反轉(zhuǎn)（指向了相反的方向）。一個(gè)矩陣可能可以拉長(zhǎng)（縮短）多個(gè)向量，因此它就可能有多個(gè)特征值。另外，對(duì)于實(shí)對(duì)稱矩陣來(lái)說(shuō)，不同特征值對(duì)應(yīng)的特征向量必定正交。

我們也可以說(shuō)，一個(gè)變換矩陣的所有特征向量組成了這個(gè)變換矩陣的一組基。所謂基，可以理解為坐標(biāo)系的軸。我們平常用到的大多是直角坐標(biāo)系，在線性代數(shù)中可以把這個(gè)坐標(biāo)系扭曲、拉伸、旋轉(zhuǎn)，稱為基變換。我們可以按需求去設(shè)定基，但是基的軸之間必須是線性無(wú)關(guān)的，也就是保證坐標(biāo)系的不同軸不要指向同一個(gè)方向或可以被別的軸組合而成，否則的話原來(lái)的空間就“撐”不起來(lái)了。在主成分分析（PCA）中，我們通過(guò)在拉伸最大的方向設(shè)置基，忽略一些小的量，可以極大的壓縮數(shù)據(jù)而減小失真。

變換矩陣的所有特征向量作為空間的基之所以重要，是因?yàn)樵谶@些方向上變換矩陣可以拉伸向量而不必扭曲和選擇它，使得計(jì)算大為簡(jiǎn)單。因此特征值固然重要，但我們的終極目標(biāo)卻是特征向量。

三、幾個(gè)重要的抽象概念

1、核

所有經(jīng)過(guò)變換矩陣后變成了零向量的向量組成的集合，通常用Ker(A)來(lái)表示。

假設(shè)你是一個(gè)向量，有一個(gè)矩陣要來(lái)變換你，如果你不幸落入了這個(gè)矩陣的核里面，那么很遺憾轉(zhuǎn)換后你就變成了虛無(wú)的零。特別指出的是，核實(shí)“變換”（Transform）中的概念，矩陣變換中有一個(gè)相似的概念叫“零空間”。有的材料在談到變換的時(shí)候使用T來(lái)表示，聯(lián)系到矩陣時(shí)才用A，本文把矩陣直接看作“變換”。核所在的空間定義為V空間，也就是全部向量原來(lái)的空間。

2、值域

某個(gè)空間中所有向量經(jīng)過(guò)變換矩陣后形成的向量的集合，通常用R（A）來(lái)表示。

假設(shè)你是一個(gè)向量，有一個(gè)矩陣要來(lái)變換你，這個(gè)矩陣的值域表示了你將來(lái)所有可能的位置。值域的維度也叫做秩（Rank）。值域所在的空間定義為W空間。

3、空間

向量與建立在其上的加、乘運(yùn)算構(gòu)成了空間。向量可以（也只能在）空間中變換。使用坐標(biāo)系（基）在空間中描述向量。

不管是核還是值域，它們都是封閉的。意思是說(shuō)，如果你和你的朋友困在核里面，你們不管是相加還是相乘都還會(huì)在核里面，跑不出去，這就構(gòu)成了一個(gè)子空間。值域同理。

數(shù)學(xué)家證明了，V（核所在的空間定義為V空間）的維度一定等于它的任意一個(gè)變換矩陣的核的維度加上值域的維度。

嚴(yán)格的證明可以參考相關(guān)資料，這里說(shuō)一個(gè)直觀的證明方法：

V的維度也就是V的基的數(shù)目。這些基分為兩部分，一部分在核中，一部分是值域中非零象的原象（肯定可以分，因?yàn)楹撕椭涤蚨际仟?dú)立的子空間）。如果把V中的任意向量用基的形式寫出來(lái)，那么這個(gè)向量必然也是一部分在核中，另一部分在值域中非零象的原象里。現(xiàn)在對(duì)這個(gè)向量作變換，核的那部分當(dāng)然為零了，另一部分的維度剛好等于值域的維度。

四、變換矩陣行空間和零空間的關(guān)系

根據(jù)矩陣的性質(zhì)，變換矩陣的行數(shù)等于V的維度，變換矩陣的秩等于值域R的維度，所以可以得出：

因?yàn)锳的秩又是A行空間的維度（注意在非滿矩陣中這個(gè)數(shù)肯定小于行數(shù)），所以上述公式可以變?yōu)椋?/p> 

之所以寫成這個(gè)形式，是因?yàn)槲覀兛梢园l(fā)現(xiàn)A的零空間和A的行空間是正交互補(bǔ)的。正交是因?yàn)榱憧臻g就是核，按定義乘以A的行向量當(dāng)然為零?；パa(bǔ)是因?yàn)樗鼈兗悠饋?lái)剛好張成整個(gè)V空間。

這個(gè)正交互補(bǔ)導(dǎo)致了非常好的性質(zhì)，因?yàn)锳的零空間和A的行空間的基組合起來(lái)剛好可以湊成V的基。

五、變換矩陣列空間和左零空間的關(guān)系

如果把以上方程取轉(zhuǎn)置，則可以得到：

因?yàn)?a href="http://images./blog/407700/201307/04175041-bacf41c9bc174520b6b836c70420aa08.gif">的實(shí)際意義是把值域和定義域顛倒過(guò)來(lái)了，所以的零空間就是值域以外的區(qū)域投向V中零點(diǎn)的所有向量的空間，有人將其稱為“左零空間”（Left Null Space）。這樣就可以得到：

同樣，A的左零空間與A的列空間也正交互補(bǔ)，它們加起來(lái)剛好可以張成W空間，它們的基也構(gòu)成了W的基。

六、變換矩陣行空間和列空間的關(guān)系

變換矩陣實(shí)際上就是把目標(biāo)向量從行空間轉(zhuǎn)換到列空間。

矩陣的行空間、列空間、零空間、左零空間構(gòu)成了我們?cè)诰€性代數(shù)研究中的所有空間，把它們的關(guān)系弄清楚，對(duì)于分別的基轉(zhuǎn)換非常重要。

七、特征方程的秘密

我們?cè)噲D構(gòu)造一個(gè)這樣的變換矩陣A：它把向量變換到一個(gè)值域空間，這個(gè)值域空間的基是正交的；不僅如此，還要求任對(duì)于意一個(gè)基v都有 的形式， 是原來(lái)空間的一個(gè)已知基。這樣我們就能把復(fù)雜的向量問(wèn)題轉(zhuǎn)換到一個(gè)異常簡(jiǎn)單的空間中去。

如果 的數(shù)量不等于v，那么用取代A，可以變?yōu)橐粋€(gè)對(duì)稱且半正定矩陣，它的特征向量正是要求的基v！

再次說(shuō)明，矩陣不等于變換，把矩陣看成變換只是提供一個(gè)理解變換矩陣的方法。或者，我們可以認(rèn)為，矩陣只是變換的一種變現(xiàn)形式。

參考文獻(xiàn)：

[1] 矩陣基礎(chǔ)，http://blog.csdn.net/wangxiaojun911/article/details/4582021

[2] 矩陣——特征向量，http://blog.csdn.net/wangxiaojun911/article/details/6737933