數(shù)學(xué)是計(jì)算機(jī)技術(shù)的基礎(chǔ)，線性代數(shù)是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的基礎(chǔ)，了解數(shù)據(jù)知識(shí)最好的方法我覺得是理解概念，數(shù)學(xué)不只是上學(xué)時(shí)用來考試的，也是工作中必不可少的基礎(chǔ)知識(shí)，實(shí)際上有很多有趣的數(shù)學(xué)門類在學(xué)校里學(xué)不到，有很多拓展類的數(shù)據(jù)能讓我們發(fā)散思維，但掌握最基本的數(shù)學(xué)知識(shí)是前提，本文就以線性代數(shù)的各種詞條來做一下預(yù)熱，不懂的記得百度一下。

矩陣與方程組

還記得n*n方程組是怎么求解的嗎？這個(gè)術(shù)語叫“回代法”，即轉(zhuǎn)成三角形方程組再挨個(gè)代入求解

一直不理解“代數(shù)”這個(gè)“代”是什么意思，現(xiàn)在終于理解了，代，英文是substitution，含義是代替，從初中到現(xiàn)在一直以為“代數(shù)”就是“代入”

系數(shù)矩陣，英文名叫coefficient matrix，怪不得讀開源代碼里面經(jīng)常遇到變量名叫做coe，原來是從這來的

“導(dǎo)數(shù)”、“可導(dǎo)”還記得嗎？不知道“導(dǎo)”是什么含義的有木有？英文derivative（含義是派生的、衍生的），看起來不是疏導(dǎo)的意思，而是音譯過來的

矩陣就是矩形的數(shù)字陣列，這再簡(jiǎn)單不過了

n*n的矩陣叫方陣，傻子都知道了

系數(shù)矩陣加一列右端項(xiàng)的矩陣叫增廣矩陣，英文叫做augmented matrix，記作：(A|B)，科學(xué)家們隨便想個(gè)東西起個(gè)名字就讓我們抱著書本啃，我把A后面放兩個(gè)B，叫做“增廣矩陣二”行嗎

行階梯型矩陣，這回有點(diǎn)難度了，它就是這樣的：非零一行比一行少，第一個(gè)元素是1，數(shù)字靠右

高斯消元法：把增廣矩陣化為行階梯型矩陣

超定方程組：方程個(gè)數(shù)比未知量個(gè)數(shù)多

行最簡(jiǎn)形：行階梯形，每行第一個(gè)非零元是該列唯一的非零元

高斯-若爾當(dāng)消元法：將矩陣化為最簡(jiǎn)形的方法

齊次方程組(homogeneous)：右端項(xiàng)全為零。齊次方程組總是有解的

平凡解，就是零解（0,0,0,.....0），能不能別這么平凡的叫....

非平凡解：零解以外的解

x上面加水平箭頭表示水平數(shù)組（行向量），不加則表示列向量，不一樣的書里記法不太一樣，姑且這么記吧

對(duì)稱矩陣的性質(zhì)：轉(zhuǎn)置等于他自己

若A=(1)，則An=(2n-1)

如果AB=BA=I，則稱A是可逆的，或A是非奇異的(nonsingular)，B叫做A的逆元，記作A-1

矩陣沒有乘法逆元，那么叫做奇異的(singlular)

(AB)-1=B-1A-1

(AB)T=BTAT

圖的鄰接矩陣（相連為1否則為0）是對(duì)稱的

初等矩陣：乘到方程兩端得到行階梯形，初等矩陣是非奇異的，即有逆

如果B=多個(gè)初等矩陣連乘A，那么說A與B是行等價(jià)的

如果A與I行等價(jià)，那么Ax=0只有平凡解0，而且A有逆矩陣A-1，也就是A是非奇異的，此時(shí)Ax=b有唯一解

求逆的方法：對(duì)增廣矩陣A|I做行列變換，把A變成I，則I變成了A-1

對(duì)角矩陣：對(duì)角線以外的元素都是0

如果A可以僅利用行運(yùn)算化簡(jiǎn)為嚴(yán)格上三角形，則A有一LU分解，L是單位下三角矩陣，矩陣值就是變換中用的系數(shù)，這叫LU分解

矩陣分塊后滿足矩陣乘法規(guī)則

內(nèi)積也叫標(biāo)量積：行向量和列向量乘積，得出一個(gè)數(shù)

外積：列向量和行向量乘積，得出一個(gè)矩陣

外積展開：兩個(gè)矩陣分別用向量方式表示，其乘積可以表示為外積展開

行列式

行列式：兩條豎線間包括的陣列

每個(gè)方形矩陣可以和他的行列式對(duì)應(yīng)，行列式數(shù)值說明方陣是否是奇異的

行列式算法：展開某一行，每個(gè)數(shù)乘以他的余子式并加和

如果行列式非0，則方形矩陣為非奇異

det(A)可表示為A的任何行或列的余子式展開

三角形矩陣的行列式等于對(duì)角元素乘積

交換矩陣兩行，行列式變成原來的負(fù)數(shù)，即det(EA)=-det(A)

矩陣某行乘以a，行列式變成原來的a倍，即det(EA)=adet(A)

矩陣某行乘以a加到另一行，行列式不變

如果某行為另一行的倍數(shù)，則矩陣行列式為零

det(AB)=det(A)det(B)

adj A：矩陣的伴隨(adjoint)，將元素用余子式替換并轉(zhuǎn)置

求逆方法：A-1=(1/det(A)) adj A，推導(dǎo)：A(adj A)=det(A)I所以A(((1/det(A)) adj A) = I

克拉黙法則：Ax=b的唯一解是xi=det(Ai)/det(A)，這是線性方程組用行列式求解的便利方法

信息加密方法：找到行列式為正負(fù)1的整數(shù)矩陣A，A-1=+-adj A易求，乘A加密，乘A-1解密，A的構(gòu)造方法：?jiǎn)挝痪仃囎龀醯茸儞Q

向量積也是一個(gè)向量

微積分中x看做行向量，線性代數(shù)中x看做列向量

假設(shè)x和y是行向量，則x*y=(x2y3-y2x3)i-(x1y3-y1x3)j+(x1y2-y1x2)k，其中i,j,k是單位矩陣的行向量

向量積可用于定義副法線方向

xT(x*y)=yT(x*y)=0，說明向量積與向量夾角為0

向量空間

向量空間：這個(gè)集合中滿足加法和標(biāo)量乘法運(yùn)算，標(biāo)量通常指實(shí)數(shù)

子空間：向量空間S的子集本身也是個(gè)向量空間，這個(gè)子集叫做子空間

除了{(lán)0}和向量空間本身外，其他子空間叫做真子空間，類似于真子集的概念，{0}叫做零子空間

Ax=0的解空間N(A)稱為A的零空間，也就是說Ax=0線性方程組的解空間構(gòu)成一個(gè)向量空間

向量空間V中多個(gè)向量的線性組合構(gòu)成的集合成為這些向量的張成(span)，記作span(v1,v2,...,vn)

span(e1,e2)為R3的一個(gè)子空間，從幾何上表示為所有x1x2平面內(nèi)3維空間的向量

span(e1,e2,e3)=R3

如果span(v1,v2,v3)=R3，那么說向量v1,v2,v3張成R3，{v1,v2,v3}是V的一個(gè)張集

最小張集是說里面沒有多余的向量

最小張集的判斷方法是：這些向量線性組合=0只有0解，這種情況也就是這些向量是線性無關(guān)的，如果有非零解那么就說是線性相關(guān)的

在幾何上看二位向量線性相關(guān)等價(jià)于平行，三維向量線性相關(guān)等價(jià)于在同一個(gè)平面內(nèi)

向量構(gòu)成矩陣的行列式det(A)=0，則線性相關(guān)，否則線性無關(guān)

線性無關(guān)向量唯一地線性組合來表示任意向量

最小張集構(gòu)成向量空間的基，{e1,e2...en}叫做標(biāo)準(zhǔn)基，基向量數(shù)目就是向量空間的維數(shù)

轉(zhuǎn)移矩陣：把坐標(biāo)從一組基到另一組基的變換矩陣

由A的行向量張成的R1*n子空間成為A的行空間，由A的列向量張成的Rm子空間成為A的列空間

A的行空間的維數(shù)成為A的秩(rank)，求A的秩方法：把A化為行階梯形，非零行個(gè)數(shù)就是秩

矩陣的零空間的維數(shù)成為矩陣的零度，一般秩和零度之和等于矩陣的列數(shù)

m*n矩陣行空間維數(shù)等于列空間的維數(shù)

線性變換

線性變換：L(av1+bv2)=aL(v1)+bL(v2)

線性算子：一個(gè)向量空間到其自身的線性變換

典型線性算子距離：ax(伸長(zhǎng)或壓縮a倍)，x1e1（到x1軸的投影），(x1,-x2)T（關(guān)于x1軸作對(duì)稱），(-x2,x1)T逆時(shí)針旋轉(zhuǎn)90度

判斷是不是線性變換，就看看這種變換能不能轉(zhuǎn)化成一個(gè)m*n矩陣

線性變換L的核記為ker(L)，表示線性變換后的向量空間中的0向量

子空間S的象記為L(zhǎng)(S)，表示子空間S上向量做L變換的值

整個(gè)向量空間的象L(V)成為L(zhǎng)的值域

ker(L)為V的一個(gè)子空間，L(S)為W的一個(gè)子空間，其中L是V到W的線性變換，S是V的子空間

從以E為有序基的向量空間V到以F為有序基的向量空間W的線性變換的矩陣A叫做表示矩陣

B為L(zhǎng)相應(yīng)于[u1,u2]的表示矩陣,A為L(zhǎng)相應(yīng)于[e1,e2]的表示矩陣，U為從[u1,u2]到[e1,e2]的轉(zhuǎn)移矩陣，則B=U-1AU

如果B=S-1AS，則稱B相似于A

如果A和B為同一線性算子L的表示矩陣，則A和B是相似的

正交性

兩個(gè)向量的標(biāo)量積為零，則稱他們正交(orthogonal)

R2或R3中的向量x和y之間的距離是：||x-y||

xTy=||x|| ||y|| cos θ，即cos θ=xTy / (||x|| ||y||)

設(shè)方向向量u=(1/||x||)x，v=(1/||y||)y，則cos θ=uTv，即夾角余弦等于單位向量的標(biāo)量積

柯西-施瓦茨不等式：|xTy| <= ||x||  ||y||，當(dāng)且僅當(dāng)有0向量或成倍數(shù)關(guān)系時(shí)等號(hào)成立

標(biāo)量投影：向量投影的長(zhǎng)度，α=xTy/||y||

向量投影：p=(xTy/||y||)y=(xTy/yTy)y

對(duì)R3：||x*y|| = ||x|| ||y|| sinθ

當(dāng)x和y正交時(shí), ||x+y||2= ||x||2+ ||y||2，叫畢達(dá)哥拉斯定律

c2=a2+b2叫畢達(dá)哥拉斯定理，其實(shí)就是勾股弦定理

余弦應(yīng)用于判斷相似程度

U為向量組成的矩陣，C=UTU對(duì)應(yīng)每一行向量的標(biāo)量積值，這個(gè)矩陣表示相關(guān)程度，即相關(guān)矩陣(correlation matrix)，值為正就是正相關(guān)，值為負(fù)就是負(fù)相關(guān)，值為0就是不相關(guān)

協(xié)方差：x1和x2為兩個(gè)集合相對(duì)平均值的偏差向量，協(xié)方差cov(X1,X2)=(x1Tx2)/(n-1)

協(xié)方差矩陣S=1/(n-1) XTX，矩陣的對(duì)角線元素為三個(gè)成績(jī)集合的方差，非對(duì)角線元素為協(xié)方差

正交子空間：向量空間的兩個(gè)子空間各取出一個(gè)向量都正交，則子空間正交。比如z軸子空間和xy平面子空間是正交的

子空間Y的正交補(bǔ)：是這樣一個(gè)集合，集合中每個(gè)向量都和Y正交

正交補(bǔ)一定也是一個(gè)子空間

A的列空間R(A)就是A的值域，即Rn中的x向量，列空間中的b=Ax

R(AT)的正交空間是零空間N(A)，也就是說A的列空間和A的零空間正交

S為Rn的一個(gè)子空間，則S的維數(shù)+S正交空間的維數(shù)=n

S為Rn的一個(gè)子空間，則S的正交空間的正交空間是他本身

最小二乘(least squares)用來擬合平面上的點(diǎn)集

最小二乘解為p=Ax最接近b的向量，向量p為b在R(A)上的投影

最小二乘解x的殘差r(x)一定屬于R(A)的正交空間

殘差：r(x) = b - Ax

ATAx = ATb叫做正規(guī)方程組，它有唯一解x = (ATA)-1ATb，這就是最小二乘解，投影向量p=A(ATA)-1ATb為R(A)中的元素

插值多項(xiàng)式：不超過n次的多項(xiàng)式通過平面上n+1個(gè)點(diǎn)

一個(gè)定義了內(nèi)積的向量空間成為內(nèi)積空間

標(biāo)量?jī)?nèi)積是Rn中的標(biāo)準(zhǔn)內(nèi)積，加權(quán)求和也是一種內(nèi)積

內(nèi)積表示為，內(nèi)積需滿足： >= 0; =; =a+b

a=/||v||為u到v的標(biāo)量投影

p=(/) v為u到v的向量投影

柯西-施瓦茨不等式：|| <= ||u|| ||v||

范數(shù)(norm)：定義與向量相關(guān)聯(lián)的實(shí)數(shù)||v||，滿足||v||>=0; ||av||=|a| ||v||; ||v+w|| <= ||v|| + ||w||

||v|| = ()^-1為一個(gè)范數(shù)

||x||=sigma|xi|為一個(gè)范數(shù)

||x||=max|xi|為一個(gè)范數(shù)

一般地，范數(shù)給出了一種方法來度量?jī)蓚€(gè)向量的距離

v1,v2,...,vn如果相互之間=0，則{v1,v2,...,vn}成為向量的正交集

正交集中的向量都是線性無關(guān)的

規(guī)范正交的向量集合是單位向量的正交集，規(guī)范正交集中=1，里面的向量叫做規(guī)范正交基

正交矩陣：列向量構(gòu)成規(guī)范正交基

矩陣Q是正交矩陣重要條件是QTQ=I，即Q-1=QT

乘以一個(gè)正交矩陣，內(nèi)積保持不變，即=

乘以一個(gè)正交矩陣，仍保持向量長(zhǎng)度，即||Qx||=||x||

置換矩陣：將單位矩陣的各列重新排列

如果A的列向量構(gòu)成規(guī)范正交集，則最小二乘問題解為x=ATb

非零子空間S中向量b到S的投影p=UUTb，其中U為S的一組規(guī)范正交基，其中UUT為到S上的投影矩陣

使用不超過n次的多項(xiàng)式對(duì)連續(xù)函數(shù)進(jìn)行逼近，可以用最小二乘逼近。

某取值范圍內(nèi)線性函數(shù)的子空間，內(nèi)積形式是取值范圍內(nèi)對(duì)兩個(gè)函數(shù)乘積做積分

通過將FN乘以向量z來計(jì)算離散傅里葉系數(shù)d的方法稱為DFT算法(離散傅里葉變換)

FFT(快速傅里葉變換)，利用矩陣分塊，比離散傅里葉變換快8w多倍

格拉姆-施密特正交化過程：u1=(1/||x1||)x1, u2=(1/||x2-p1||) (x2-p1), .....直接求出一組規(guī)范正交基

格拉姆-施密特QR分解：m*n矩陣A如果秩為n，則A可以分解為QR，Q為列向量正交的矩陣，R為上三角矩陣，而且對(duì)角元素都為正，具體算法：

r11=||a1||，其中r11是對(duì)角矩陣第一列第一個(gè)元素，a1是A的列向量，

rkk=||ak-p(k-1)||, rik=qiTak, a1=r11q1

Ax=b的最小二乘解為x=R-1QTb，其中QR為因式分解矩陣，解x可用回代法求解Rx=QTb得到

使用多項(xiàng)式進(jìn)行數(shù)據(jù)擬合以及逼近連續(xù)函數(shù)可通過選取逼近函數(shù)的一組正交基進(jìn)行簡(jiǎn)化

多項(xiàng)式序列p0(x),p1(x),...下標(biāo)就是最高次數(shù)，如果=0，則{pn(x)}成為正交多項(xiàng)式序列，如果=1，則叫規(guī)范正交多項(xiàng)式序列

經(jīng)典正交多項(xiàng)式：勒讓德多項(xiàng)式、切比雪夫多項(xiàng)式、雅克比多項(xiàng)式、艾爾米特多項(xiàng)式、拉蓋爾多項(xiàng)式

勒讓德多項(xiàng)式：在內(nèi)積=-1到1的積分p(x)q(x)dx意義下正交，(n+1)P(n+1)(x)=(2n+1)xPn(x)-nP(n-1)(x)

切比雪夫多項(xiàng)式：在內(nèi)積=-1到1的積分p(x)q(x)(1-x2)-1/2dx意義下正交，T1(x)=xT0(x), T(n+1)(x)=2xTn(x)-T(n-1)(x)

拉格朗日插值公式：P(x)=sigma f(xi) Li(x)

拉格朗日函數(shù)Li(x)=(x-xj)連乘積 / (xi-xj)連乘積

f(x)w(x)在a到b的積分可以簡(jiǎn)化為sigma Li(x)w(x)在a到b的積分 f(xi)

特征值

經(jīng)過矩陣變換后向量保持不變，穩(wěn)定后的向量叫做該過程的穩(wěn)態(tài)向量

存在非零的x使得Ax=λx，則稱λ為特征值，x為屬于λ的特征向量。特征值就是一個(gè)縮放因子，表示線性變換這個(gè)算子的自然頻率

子空間N(A-λI)稱為對(duì)應(yīng)特征值λ的特征空間

det(A-λI)=0稱為矩陣A的特征方程，求解特征方程可以算出λ

λ1λ2...λn=det(A)，即所有特征值的連乘積等于矩陣A的行列式的值

sigma λi= sigma aii，所有特征值的和等于矩陣對(duì)角線元素之和

A的對(duì)角線元素的和稱為A的跡(trace)，記為tr(A)

相似矩陣：B=S-1AS

相似矩陣具有相同的特征多項(xiàng)式，和相同的特征值

線性微分方程解法可以用特征值特征向量，形如Y'=AY, Y(0)=Y0的解是ae(λt)x，其中x是向量，這樣的問題稱為初值問題，如果有多個(gè)特征值，則解可以是多個(gè)ae(λt)x的線性組合

任意高階微分方程都可以轉(zhuǎn)化成一階微分方程，一階微分方程可以用特征值特征向量求解

矩陣A的不同特征值的特征向量線性無關(guān)

如果存在X使得X-1AX=D，D是對(duì)角矩陣，則說A是可對(duì)角化的，稱X將A對(duì)角化，X叫做對(duì)角化矩陣

如果A有n個(gè)線性無關(guān)的特征向量，則A可對(duì)角化

對(duì)角化矩陣X的列向量就是A的特征向量，D的對(duì)角元素就是A的特征值，X和D都不是唯一的，乘以個(gè)標(biāo)量，或重新排列，都是一個(gè)新的

An=XDnX-1，所以按A=XDX-1因式分解后，容易計(jì)算冪次

如果A有少于n個(gè)線性無關(guān)的特征向量，則稱A為退化的(defective)，退化矩陣不可對(duì)角化

特征值和特征向量的幾何理解：矩陣A有特征值2，特征空間由e3張成,看成幾何重?cái)?shù)(geometric multiplicity)是1

矩陣B有特征值2，特征向量有兩個(gè)x=(2,1,0)和e3，看成幾何重?cái)?shù)(geometric multiplicity)是2

隨機(jī)過程：一個(gè)試驗(yàn)序列，每一步輸出都取決于概率

馬爾可夫過程：可能的輸出集合或狀態(tài)是有限的；下一步輸出僅依賴前一步輸出，概率相對(duì)于時(shí)間是常數(shù)

如果1為轉(zhuǎn)移矩陣A的住特征值，則馬爾可夫鏈將收斂到穩(wěn)態(tài)向量

一個(gè)轉(zhuǎn)移矩陣為A的馬爾可夫過程，若A的某冪次的元素全為正的，則稱其為正則的(regular)

PageRank算法可以看成瀏覽網(wǎng)頁是馬爾可夫過程，求穩(wěn)態(tài)向量就得到每個(gè)網(wǎng)頁的pagerank值

A的奇異值(singlular value)分解：把A分解為一個(gè)乘積UΣVT，其中U、V都是正交矩陣，Σ矩陣的對(duì)角線下所有元素為0，對(duì)角線元素逐個(gè)減小，對(duì)角線上的值叫奇異值

A的秩等于非零奇異值的個(gè)數(shù)

A的奇異值等于特征向量的開方

若A=UΣVT，那么上面ATuj=σjvj，下面ATuj=0，其中vj叫做A的右奇異向量，uj叫做左奇異向量

壓縮形式的奇異值分解：U1=(u1,u2,...,ur), V1=(v1,v2,...,vr)，A=U1Σ1V1T

奇異值分解解題過程：先算ATA的特征值，從而算出奇異值，同時(shí)算出特征向量，由特征向量得出正交矩陣V，求N(AT)的一組基并化成規(guī)范正交基，組成U，最終得出A=UΣVT

數(shù)值秩是在有限位精度計(jì)算中的秩，不是準(zhǔn)確的秩，一般假設(shè)一個(gè)很小的epsilon值，如果奇異值小于它則認(rèn)為是0，這樣來計(jì)算數(shù)值秩

用來存儲(chǔ)圖像的矩陣做奇異值分解后去掉較小的奇異值得到更小秩的矩陣，實(shí)現(xiàn)壓縮存儲(chǔ)

信息檢索中去掉小奇異值得到的近似矩陣可以大大提高檢索效率，減小誤差

二次型：每一個(gè)二次方程關(guān)聯(lián)的向量函數(shù)f(x)=xTAx，即二次方程中ax2+2bxy+cy2部分

ax2+2bxy+cy2+dx+ey+f=0圖形是一個(gè)圓錐曲線，如果沒解則稱為虛圓錐曲線，如果僅有一個(gè)點(diǎn)、直線、兩條直線，則稱為退化的圓錐曲線，非退化的圓錐曲線為圓、橢圓、拋物線、雙曲線

一個(gè)關(guān)于x、y的二次方程可以寫為xTAx+Bx+f=0，其中A為2*2對(duì)稱，B為1*2矩陣，如果A是非奇異的，利用旋轉(zhuǎn)和平移坐標(biāo)軸，則可化簡(jiǎn)為λ1(x')2+λ2(y')2+f'=0，其中λ1和λ2為A的特征值。如果A是奇異的，且只有一個(gè)特征值為零，則化簡(jiǎn)為λ1(x')2+e'y'+f'=0或λ2(x')2+d'x'+f'=0

二次型f(x)=xTAx對(duì)于所有x都是一個(gè)符號(hào)，則稱為定的(definite)，若符號(hào)為正，則叫正定的(positive definite)，相對(duì)應(yīng)叫負(fù)定的(negative definite)，如果符號(hào)有不同則叫不定的(indefinite)，如果可能=0，則叫半正定的(positive semidefinite),和半負(fù)定的(negative semidefinite)

如果二次型正定則稱A為正定的

一階偏導(dǎo)存在且為0的點(diǎn)稱為駐點(diǎn)，駐點(diǎn)是極小值點(diǎn)還是極大值點(diǎn)還是鞍點(diǎn)取決于A是正定負(fù)定還是不定

一個(gè)對(duì)稱矩陣是正定的，當(dāng)且僅當(dāng)其所有特征值均為正的

r階前主子矩陣：將n-r行和列刪去得到的矩陣

如果A是一個(gè)對(duì)稱正定矩陣，則A可分解為L(zhǎng)DLT，其中L為下三角的，對(duì)角線上元素為1，D為對(duì)角矩陣，其對(duì)角元素均為正的

如果A是一個(gè)對(duì)稱正定矩陣，則A可分解為L(zhǎng)LT，其中L為下三角的，其對(duì)角線元素均為正

對(duì)稱矩陣如下結(jié)論等價(jià)：A是正定的；前主子矩陣均為正定的；A可僅使用行運(yùn)算化為上三角的，且主元全為正；A有一個(gè)楚列斯基分解LLT（其中L為下三角矩陣，其對(duì)角元素為正的）；A可以分解為一個(gè)乘積BTB，其中B為某非奇異矩陣

非負(fù)矩陣：所有元素均大于等于0

一個(gè)非負(fù)矩陣A，若可將下標(biāo)集{1,2,...,n}劃分為非空不交集合I1和I2，使得當(dāng)i屬于I1而j屬于I2中時(shí)，aij=0，則成其為可約的，否則為不可約的

數(shù)值線性代數(shù)

舍入誤差(round off error):四舍五入后的浮點(diǎn)數(shù)x'和原始數(shù)x之間的差

絕對(duì)誤差：x'-x

相對(duì)誤差：(x'-x)/x，通常用符號(hào)δ表示，|δ|可以用一個(gè)正常數(shù)ε限制，稱為機(jī)器精度(machine epsilon)

高斯消元法涉及最少的算術(shù)運(yùn)算，因此被認(rèn)為是最高效的計(jì)算方法

求解Ax=b步驟：將A乘以n個(gè)初等矩陣得到上三角矩陣U，把初等矩陣求逆相乘得到L，那么A=LU，其中L為下三角矩陣，一旦A化簡(jiǎn)為三角形式，LU分解就確定了，那么解方程如下：LUx=b，令y=Ux，則Ly=b，所以可以通過求下三角方程求得y，y求得后再求解Ux=y，即可求得x

矩陣的弗羅貝尼烏斯范數(shù)記作||·||F，求其所有元素平方和的平方根

若A的奇異值分解A=UΣVT，則||A||2=σ1（最大的奇異值）

矩陣范數(shù)可用于估計(jì)線性方程組對(duì)系數(shù)矩陣的微小變化的敏感性

將x'代回原方程組觀察b'=Ax'和b的接近成都來檢驗(yàn)精度，r=b-b'=b-Ax'叫做殘差(residual)，||r||/||b||叫做相對(duì)殘差

奇異值為一個(gè)矩陣接近奇異程度的度量，矩陣越接近奇異就越病態(tài)

豪斯霍爾德變換(householder transformation)矩陣H可由向量v和標(biāo)量β求得，因此存儲(chǔ)v和β更省空間

主特征值是指最大的特征值

求主特征值的方法：冪法。

求特征值方法：QR算法。將A分解為乘積Q1R1，其中Q1為正交的，R1為上三角的，A2=Q1TAQ1=R1Q1，將A2分解為Q2R2，定義A3=Q2TA2Q2=R2Q2，繼續(xù)這樣，得到相似矩陣序列Ak=QkRk，最終將收斂到類似上三角矩陣，對(duì)角上是1*1或2*2的對(duì)角塊，對(duì)角塊的特征值就是A的特征值

最后的總結(jié)

奇異值分解正是對(duì)這種線性變換的一個(gè)析構(gòu)，A=，和是兩組正交單位向量，是對(duì)角陣，表示奇異值，它表示A矩陣的作用是將一個(gè)向量從這組正交基向量的空間旋轉(zhuǎn)到這組正交基向量空間，并對(duì)每個(gè)方向進(jìn)行了一定的縮放，縮放因子就是各個(gè)奇異值。如果維度比大，則表示還進(jìn)行了投影?？梢哉f奇異值分解描述了一個(gè)矩陣完整的功能/特性。

而特征值分解其實(shí)只描述了矩陣的部分功能。特征值，特征向量由Ax=x得到，它表示如果一個(gè)向量v處于A的特征向量方向，那么Av對(duì)v的線性變換作用只是一個(gè)縮放。也就是說，求特征向量和特征值的過程，我們找到了這樣一些方向，在這些方向上矩陣A對(duì)向量的旋轉(zhuǎn)、縮放變換（由于特征值只針對(duì)方陣，所以沒有投影變換）在一定程度上抵消了，變成了存粹的縮放（這個(gè)縮放比例和奇異值分解中的縮放比例可能不一樣）。

概括一下，特征值分解只告訴我們?cè)谔卣飨蛄康哪莻€(gè)方向上，矩陣的線性變化作用相當(dāng)于是簡(jiǎn)單的縮放，其他方向上則不清楚，所以我說它只表示矩陣的部分特性。而奇異值分解則將原先隱含在矩陣中的旋轉(zhuǎn)、縮放、投影三種功能清楚地解析出來，表示出來了，它是對(duì)矩陣的一個(gè)完整特征剖析。

參考文獻(xiàn)

線性代數(shù)(原書第9版)，史蒂文 J.利昂 (Steven J.Leon)(作者)