小男孩‘自慰网亚洲一区二区,亚洲一级在线播放毛片,亚洲中文字幕av每天更新,黄aⅴ永久免费无码,91成人午夜在线精品,色网站免费在线观看,亚洲欧洲wwwww在线观看

分享

數(shù)據(jù)不滿足正態(tài)分布,到底能不能用t檢驗(yàn)?

 嘿實(shí)驗(yàn)室 2019-10-13

T檢驗(yàn)是我們醫(yī)學(xué)科研工作中使用頻率非常高的一種進(jìn)行均值比較的統(tǒng)計(jì)方法。但是對(duì)于T檢驗(yàn)的適用條件卻似乎存在著爭(zhēng)議。

有人說(shuō),應(yīng)用T檢驗(yàn)的前提是數(shù)據(jù)來(lái)自于正態(tài)分布的總體,因此在進(jìn)行T檢驗(yàn)前均需進(jìn)行正態(tài)性檢驗(yàn),也有人說(shuō),在樣本量比較大時(shí),可不必在意數(shù)據(jù)是否來(lái)源于正態(tài)分布總體,因?yàn)橹行臉O限定理告訴我們樣本均數(shù)在樣本量較大時(shí)可以近似為正態(tài)分布。

那么到底哪種說(shuō)法正確呢?樣本量較大時(shí)是否還要求數(shù)據(jù)服從正態(tài)分布呢?其實(shí)這個(gè)問(wèn)題在統(tǒng)計(jì)學(xué)專業(yè)的教材中有非常明確的數(shù)學(xué)證明,數(shù)據(jù)不滿足正態(tài)分布時(shí),也是可以使用T檢驗(yàn)的,但不完全是因?yàn)橹行臉O限定理。(本文附錄將介紹統(tǒng)計(jì)學(xué)教材中對(duì)該問(wèn)題的數(shù)學(xué)證明,建議先看文末的附錄再看結(jié)論)

1. 原始數(shù)據(jù)為非正態(tài)數(shù)據(jù)時(shí)

使用T檢驗(yàn)的條件

從文末附錄的證明過(guò)程我們不難看出,樣本量較大時(shí),任意分布的隨機(jī)樣本均數(shù)比較,可以使用T檢驗(yàn),但足夠大的樣本量是關(guān)鍵條件。那么多大的樣本量才算是足夠大呢?實(shí)際上并沒(méi)有唯一答案,這取決于原始分布本身偏離正態(tài)分布的程度,以及我們對(duì)近似性標(biāo)準(zhǔn)要求到底有多高。

經(jīng)驗(yàn)來(lái)看,若只是稍稍偏離正態(tài)分布,可能大于30的樣本量就夠了(相信大家對(duì)這個(gè)說(shuō)法有所耳聞),但若偏離比較大,則會(huì)需要更多,比如50以上,甚至100以上。這種近似是可以接受的,因?yàn)榧幢闶俏覀兺ㄟ^(guò)正態(tài)性檢驗(yàn)發(fā)現(xiàn)不拒絕正態(tài)性假設(shè)時(shí)才進(jìn)行T檢驗(yàn),也無(wú)法保證原始數(shù)據(jù)一定就是完美的正態(tài)分布,正態(tài)性檢驗(yàn)本身也是個(gè)近似。

2. 選擇T檢驗(yàn)還是非參數(shù)檢驗(yàn)?

通常我們獲得的建議是,如果通過(guò)正態(tài)性檢驗(yàn)發(fā)現(xiàn)不拒絕正態(tài)性假設(shè)就用T檢驗(yàn),如果拒絕了就用非參數(shù)檢驗(yàn),例如對(duì)于兩樣本,通常是wilcoxon rank-sum檢驗(yàn)。那么T檢驗(yàn)與非參數(shù)檢驗(yàn)之間該如何選擇呢?

答案是,若原始數(shù)據(jù)比較符合正態(tài)分布,推薦用T檢驗(yàn),若偏離較大,建議用非參數(shù)檢驗(yàn)。若樣本量非常大,那么這兩種檢驗(yàn)都是可以的。

這是因?yàn)閮煞N檢驗(yàn)方法在不同條件下的power不同。當(dāng)數(shù)據(jù)近似符合正態(tài)分布時(shí),T檢驗(yàn)幾乎利用了所有的數(shù)據(jù)信息,因此最有能力發(fā)現(xiàn)差異,非參數(shù)檢驗(yàn)利用的是數(shù)據(jù)間的次序關(guān)系,本身造成了一定的信息損失。

但是當(dāng)數(shù)據(jù)明顯偏離正態(tài)分布時(shí),由于T檢驗(yàn)依賴于較大的樣本量才可以獲得較好的近似,其power可能下降明顯,不如非參數(shù)檢驗(yàn)power高。

例如,理論上,對(duì)于兩組正態(tài)分布數(shù)據(jù),wilcoxon rank-sum 檢驗(yàn)的漸近檢驗(yàn)效率是T檢驗(yàn)的95.5%,但若數(shù)據(jù)明顯偏離正態(tài)分布,同等樣本量下wilcoxon rank-sum 檢驗(yàn)的power要更高一些。所以當(dāng)你無(wú)法確定原始數(shù)據(jù)是否大致符合正態(tài)分布,而又需要提前確定分析方法時(shí),用非參數(shù)檢驗(yàn)會(huì)相對(duì)保險(xiǎn)。

我們常常也會(huì)看到支持用非參數(shù)檢驗(yàn)另外一些說(shuō)法:非參數(shù)檢驗(yàn)對(duì)原始分布類型沒(méi)有要求,不需要額外假設(shè),對(duì)于非對(duì)稱數(shù)據(jù)檢驗(yàn)中位數(shù)比檢驗(yàn)均數(shù)更好。這其實(shí)也是誤解。

就拿wilcoxon rank-sum檢驗(yàn)來(lái)說(shuō),雖然其不要求數(shù)據(jù)來(lái)自于哪個(gè)具體的分布,但是要求兩個(gè)樣本的分布形狀要大體相同,在這樣的情況下,檢驗(yàn)兩組樣本均值存在差異還是中位數(shù)存在差異,其實(shí)是等價(jià)的,都可以說(shuō)明兩組數(shù)據(jù)分布位置存在差異,因此不存在檢驗(yàn)均數(shù)不正確的問(wèn)題。

對(duì)于非對(duì)稱數(shù)據(jù)用中位數(shù)進(jìn)行描述,只是因?yàn)橹形粩?shù)能更好地代表數(shù)據(jù)的中心位置,但不代表中位數(shù)是唯一可以用來(lái)說(shuō)明組間存在差異的統(tǒng)計(jì)量。而且非參數(shù)檢驗(yàn)大多檢驗(yàn)的是位置參數(shù),中位數(shù)和均數(shù)同屬于位置參數(shù),因此也不能說(shuō)非參數(shù)檢驗(yàn)方法檢驗(yàn)的就一定是中位數(shù)(當(dāng)然某些非參數(shù)檢驗(yàn)確實(shí)針對(duì)的是中位數(shù)),或者用了非參數(shù)檢驗(yàn)就一定只能報(bào)告中位數(shù)。

3. 模擬驗(yàn)證

本部分將針對(duì)幾個(gè)不同類型的分布,構(gòu)造樣本的t統(tǒng)計(jì)量,以驗(yàn)證該統(tǒng)計(jì)量是否近似為標(biāo)準(zhǔn)正態(tài)分布(或T分布)。

① 首先假設(shè)數(shù)據(jù)總體來(lái)自正態(tài)分布。(總體均數(shù)為2,標(biāo)準(zhǔn)差為5,樣本量50,重復(fù)抽樣1000次)

指數(shù)分布(總體均數(shù)為2,標(biāo)準(zhǔn)差為2,樣本量分別為50/100,重復(fù)抽樣1000次)

③ 兩點(diǎn)分布(p=0.2,樣本量為50/100/200/500,重復(fù)抽樣1000次)

兩點(diǎn)分布只有0和1兩個(gè)取值,與正態(tài)分布差異巨大,但樣本量到200以上時(shí),樣本t統(tǒng)計(jì)量也比較接近標(biāo)準(zhǔn)正態(tài)分布了。

附錄

為了使讀者對(duì)該問(wèn)題有全面的理解,本文的附錄將首先證明為什么原始數(shù)據(jù)符合正態(tài)分布時(shí),樣本均值的比較要用T檢驗(yàn);然后證明為什么原始數(shù)據(jù)不符合正態(tài)分布時(shí),樣本均值可以近似使用T檢驗(yàn),以及近似的條件。

原始數(shù)據(jù)符合正態(tài)分布,

樣本均值比較時(shí)需要用T檢驗(yàn)的證明

數(shù)據(jù)用什么樣的檢驗(yàn)方法進(jìn)行分析,實(shí)際上取決于我們構(gòu)造的統(tǒng)計(jì)量服從什么樣的分布,只有服從這個(gè)分布,才可以利用這個(gè)分布的相關(guān)函數(shù)計(jì)算P值,如果實(shí)際上不服從這個(gè)分布,那么計(jì)算出的P值自然是不準(zhǔn)確的。因此要證明以上問(wèn)題,實(shí)際上是要證明原始數(shù)據(jù)符合正態(tài)分布時(shí),我們構(gòu)造的檢驗(yàn)統(tǒng)計(jì)量符合T分布。

在開(kāi)始證明前,我們需要先了解以下三個(gè)分布及其特征:

正態(tài)分布

正態(tài)分布大家應(yīng)該都很熟悉了,它有兩個(gè)重要的參數(shù),一個(gè)是均值 μ,另一個(gè)是方差 σ2。正態(tài)分布一個(gè)非常重要的特征是:如果有多個(gè)變量服從正態(tài)分布,且互相獨(dú)立,那么它們的線性組合也服從正態(tài)分布,例如,若

X1  ~  N(μ1,σ12),

X2  ~  N(μ2,σ22),那么

aX1   bX2  ~  N(aμ1 bμ2,a2σ12 b2σ22),

aX1 - bX2  ~  N(aμ1 - bμ2,a2σ12 b2σ22)。

χ2 分布

如果一個(gè)變量X服從標(biāo)準(zhǔn)正態(tài)分布,即 N(0,1),那么變量 X2服從自由度為1的 χ2 分布。χ2 分布的一個(gè)重要特征是:n個(gè)相互獨(dú)立的 χ2 分布的和也服從 χ2 分布,且自由度為n。

T分布

如果變量 X 服從標(biāo)準(zhǔn)正態(tài)分布 N(0,1),Y服從自由度為 n 的 χ2 分布,且X 和 Y 相互獨(dú)立,則以下統(tǒng)計(jì)量服從自由度為n 的T分布:

我們稱以上為T(mén)分布的標(biāo)準(zhǔn)形式。

因此一個(gè)統(tǒng)計(jì)量要服從T分布需滿足以下三個(gè)條件

  1. 變量X為標(biāo)準(zhǔn)正態(tài)分布變量

  2. 變量Y為卡方分布變量

  3. 變量X與變量Y獨(dú)立

換句話說(shuō),如果我們構(gòu)造了一個(gè)統(tǒng)計(jì)量,并且這個(gè)統(tǒng)計(jì)量滿足以上三個(gè)條件,那么就可以證明這個(gè)統(tǒng)計(jì)量服從 T 分布。

現(xiàn)在,我們從正態(tài)分布 N(μ,σ2)的總體中抽取了一個(gè)樣本,并計(jì)算該樣本的均數(shù)(例如若中國(guó)60歲居民收縮壓是符合正態(tài)分布的,我們隨機(jī)抽取了1000人計(jì)算了平均收縮壓用于研究),即,

利用前面介紹的正態(tài)分布的重要特征,我們很容易知道樣本均數(shù) 服從均數(shù)為 μ,方差為 σ2/n 的正態(tài)分布,這是因?yàn)椋?/p>

中各個(gè) X 都是獨(dú)立的,且都來(lái)源于 N(μ,σ2)的正態(tài)分布總體,樣本均數(shù)也服從正態(tài)分布,且

期望(即均數(shù))為

方差為:

我們把樣本均數(shù) 標(biāo)準(zhǔn)化為統(tǒng)計(jì)量 Z,則Z服從標(biāo)準(zhǔn)正態(tài)分布:

我們知道進(jìn)行均數(shù) T 檢驗(yàn)時(shí) T 統(tǒng)計(jì)量的計(jì)算公式是,跟 Z 的計(jì)算公式非常相似,唯一的區(qū)別是 Z 統(tǒng)計(jì)量中使用的是總體的方差 σ,通常來(lái)說(shuō)是未知的,因此 Z 統(tǒng)計(jì)量一般無(wú)法計(jì)算。但樣本方差 S 是可以計(jì)算得到的,T統(tǒng)計(jì)量中用到的也正是樣本方差 S。這一區(qū)別導(dǎo)致了 T 統(tǒng)計(jì)量服從 T 分布,而不是像 Z 統(tǒng)計(jì)量一樣服從標(biāo)準(zhǔn)正態(tài)分布。下面我們來(lái)介紹為什么。

我們把T統(tǒng)計(jì)量的計(jì)算公式進(jìn)行一下變形:

對(duì)比一下前面介紹的T分布的標(biāo)準(zhǔn)形式:

顯然,Z 統(tǒng)計(jì)量就是以上標(biāo)準(zhǔn)形式中的 X,且符合條件 A。而自然是標(biāo)準(zhǔn)形式中的Y,而且其自由度為 n-1。下面我們證明其符合條件B。

對(duì)于我們樣本中抽取的每個(gè) Xi 都來(lái)自于N(μ,σ2)的總體。將 Xi 進(jìn)行標(biāo)準(zhǔn)化:

那么,根據(jù) χ2 分布的性質(zhì),可知:

對(duì)于n個(gè)獨(dú)立樣本值,可知:

我們知道,樣本方差 S的計(jì)算公式為:

那么T分布標(biāo)準(zhǔn)型中的Y為:

將 ③ 和 ⑤ 仔細(xì)對(duì)比,我們發(fā)現(xiàn),二者非常相似,唯一區(qū)別在于,③ 中與樣本值相減的是總體均數(shù) μ,而 ⑤ 中為樣本均數(shù)。μ 是常數(shù),而是變量,所以 ⑤ 必然不服從分布。統(tǒng)計(jì)學(xué)上已經(jīng)證明,⑤ 其實(shí)服從 χ2 分布,但其自由度不再 n,而是 n-1(具體證明比較復(fù)雜,有興趣的參閱參考資料1)。也就是說(shuō),

至此,我們證明了條件B。

而對(duì)于正態(tài)分布的數(shù)據(jù),其樣本方差與樣本均數(shù)獨(dú)立,即條件C(證明見(jiàn)參考資料1),因此T分布成立的三個(gè)條件全部滿足。

故 T 統(tǒng)計(jì)量服從T分布,即,

以上我們證明了數(shù)據(jù)來(lái)源于正態(tài)分布總體時(shí)樣本均數(shù)和樣本方差構(gòu)造的統(tǒng)計(jì)量服從T分布。

原始數(shù)據(jù)不符合正態(tài)分布,

樣本均值比較時(shí)可以用T檢驗(yàn)的證明

首先,中心極限定理告訴我們,當(dāng)樣本足夠大時(shí),無(wú)論總體服從何種分布,它的樣本均數(shù)都近似服從正態(tài)分布。因此 ⑧ 式中分子( 即Z統(tǒng)計(jì)量:)便服從標(biāo)準(zhǔn)正態(tài)分布( T分布成立的條件A )。

第二,要使⑧式T分布成立,還需要分母中服從 χ2 分布(條件B)。問(wèn)題是,中心極限定理是針對(duì)樣本均數(shù)的定理,只能證明條件A成立,卻無(wú)法證明條件B成立。實(shí)際上,條件B成立的前提是數(shù)據(jù)總體服從正態(tài)分布,與樣本均數(shù)沒(méi)有關(guān)系。

第三,總體服從正態(tài)分布時(shí)可以證明樣本均數(shù)與樣本方差獨(dú)立,當(dāng)總體不服從正態(tài)分布時(shí)獨(dú)立性無(wú)法保證,因此條件C也可能不滿足。

這樣看來(lái),原始數(shù)據(jù)不符合正態(tài)分布時(shí)樣本均值比較好像不應(yīng)該使用T檢驗(yàn),為什么本文說(shuō)可以使用呢?其實(shí)本文在一開(kāi)始就提到過(guò),這個(gè)證明不完全取決于中心極限定理,因?yàn)檫€需要用到另外兩個(gè)統(tǒng)計(jì)學(xué)中非常重要的定理。

定理1(又稱Slutsky定理)

設(shè) {Zn} 和 {Un} 是兩個(gè)隨機(jī)變量序列,若

Zn 依分布收斂于分布 Z,Un 依概率收斂于常數(shù) C,則有,

  • Zn Un 依分布收斂于 Z C

  • Un*Zn  依分布收斂于 C*Z

  • Zn / Un 依分布收斂于Z/c (c不等于0)

注:依分布收斂可以簡(jiǎn)單理解隨著樣本量增大,變量的分布越來(lái)越接近一個(gè)特定的分布;依概率收斂可以簡(jiǎn)單理解為隨著樣本量增加,變量的取值越來(lái)越可能接近一個(gè)固定的常數(shù)。

定理2:

設(shè) {Zn} 為一隨機(jī)變量序列,且 Zn 依概率收斂于常數(shù)C,又函數(shù) g(.) 在C處連續(xù),則g(Zn) 依概率收斂到 g(C)。(即如果一個(gè)變量收斂到一個(gè)常數(shù),那么這個(gè)變量經(jīng)過(guò)某種運(yùn)算后的值收斂到該常數(shù)接受同樣運(yùn)算后的值)

下面我們利用以上幾個(gè)定理完成第二個(gè)證明。

設(shè) X1, X2, … , Xn,是來(lái)自相同任意分布的獨(dú)立樣本,該分布均值為 μ ,方差為,模仿正態(tài)總體下的 T 統(tǒng)計(jì)量計(jì)算公式,構(gòu)造

首先由大數(shù)定理可知:

  • 依概率收斂到總體方差 σ2(當(dāng)樣本量接近總體時(shí),該公式即是計(jì)算總體方差的公式)

  • 依概率收斂到總體均值 μ(當(dāng)樣本量接近總體時(shí),該公式即是計(jì)算總體均數(shù)的公式)

由定理1可知:

依概率收斂到 σ2(即樣本方差依概率收斂到總體方差)。

由定理2可知,S 依概率收斂到 σ(即樣本標(biāo)準(zhǔn)差依概率收斂到總體標(biāo)準(zhǔn)差)。對(duì)t進(jìn)行變形:

由中心極限定理,上式中分子服從標(biāo)準(zhǔn)正態(tài)分布 N(0,1);上式分母依概率收斂到常數(shù)1;由定理1,上式 t 依分布收斂到標(biāo)準(zhǔn)正態(tài)分布 N(0,1)。

到此,我們證明了任意分布下樣本構(gòu)造的 t 統(tǒng)計(jì)量趨向于標(biāo)準(zhǔn)正態(tài)分布(確實(shí)不一定符合 T 分布),那為什么說(shuō)可以用 T 檢驗(yàn)?zāi)兀恳驗(yàn)椋涸跇颖玖勘容^大時(shí),T 分布是近似于標(biāo)準(zhǔn)正態(tài)分布的,因此 t 統(tǒng)計(jì)量對(duì)應(yīng)的P值可由 T 分布近似計(jì)算。也就是說(shuō),樣本量較大時(shí),任意分布的隨機(jī)樣本均數(shù)比較可以使用T檢驗(yàn)。

以上證明來(lái)自于參考資料2(P38-P42),有興趣的讀者可以查閱驗(yàn)證。

參考資料:

1. http://jekyll.math./courses/m321/handouts/mean_var_indep.pdf

2.茆詩(shī)松,王靜龍,濮曉龍. 高等數(shù)理統(tǒng)計(jì)第二版. 北京:高等教育出版社,2006

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn)。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購(gòu)買(mǎi)等信息,謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多