最近加了一個QQ群，接觸了點(diǎn)新的東西，包括稀疏近似，低秩近似和壓縮感知等。Robust PCA中既包含了低秩，又包含了稀疏，于是以其為切入點(diǎn)，做了如下筆記。筆記中有的公式有比較詳細(xì)的推導(dǎo)，希望對讀者有用；有的公式則直接列寫出了，待以后有新的理解再更新。由于初學(xué)，加之水平有限，文中會有疏漏錯誤之處，希望大家批評指正賜教。

本文推導(dǎo)了矩陣絕對值和范數(shù)及核范數(shù)的次梯度；求解了帶正則項(xiàng)（和懲罰項(xiàng)）的絕對值，矩陣絕對值和范數(shù)及矩陣核范數(shù)的最優(yōu)化問題；介紹了Robust PCA的幾種算法，包括了迭代閾值算法，加速近端梯度算法（Accelerated Proximal Gradient；APG），增廣Lagrange乘子法（Augmented Lagrange Multiplier；ALM）和交替方向法（alternating direction methods；ADM），注意這部分筆記內(nèi)容并不成熟。

更新記錄

本文持續(xù)更新！如文中有錯誤，或你對本文有疑問或建議，歡迎留言或發(fā)郵件至quarrying#qq.com！

2015年12月29日，更新博文，添加L0范數(shù)最優(yōu)化問題求解，修正一些錯誤。

參考

http://math./questions/701062/derivative-of-nuclear-norm

http://math./questions/1142540/proof-that-nuclear-norm-is-convex

[2010 SIAM] A Singular Value Thresholding Algorithm for Matrix Completion

[2009 SIAM] A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems

[2008 Candes] Exact Matrix Completion Via Convex Optimization

[2009 ACM] Robust Principal Component Analysis

[2009] Sparse and low-rank matrix decomposition via alternating direction methods

[2009] The augmented Lagrange multiplier method for exact recovery of a corrupted low-rank matrices.

[2009] Fast algorithms for recovering a corrupted low-rank matrix

[2009] An Accelerated Proximal Gradient Algorithm for Nuclear Norm Regularized Least Squares problems

正文