作者：雪代巴。心理學(xué)碩士，PM/UR，來(lái)自迅時(shí)通信。

公眾號(hào)：UXRen（ID：cnUXRen）

作者授權(quán)早讀課發(fā)表，轉(zhuǎn)載請(qǐng)聯(lián)系作者。

歡迎投稿到早讀課，投稿郵箱：mm@zaodula.com

在對(duì)用戶(hù)進(jìn)行定量分析中，當(dāng)我們無(wú)法通過(guò)“大數(shù)據(jù)”獲取所有人的信息時(shí)，可以通過(guò)抽樣的方法獲取一部分人的信息，然后通過(guò)推論來(lái)了解這類(lèi)用戶(hù)的特點(diǎn)，也就是抽樣調(diào)研。

在抽樣調(diào)研中，從問(wèn)卷或量表的編制、到人群抽樣或被試篩選、到問(wèn)卷或量表的發(fā)放，直至數(shù)據(jù)收回的漫長(zhǎng)過(guò)程中，我們不僅要分析數(shù)據(jù)的結(jié)果和結(jié)論，還要思考如何衡量研究過(guò)程的效果，調(diào)查質(zhì)量的高低，以及數(shù)據(jù)可推論的到總體的程度，這就需要通過(guò)信度和效度來(lái)表達(dá)。

1)信度（Reliability）

指測(cè)量結(jié)果的穩(wěn)定性程度，換句話(huà)說(shuō)，對(duì)同一特質(zhì)反復(fù)測(cè)量，結(jié)果的一致性程度。比如，某測(cè)量體重的產(chǎn)品，連續(xù)三次站上去測(cè)量出來(lái)的體重差異很大，說(shuō)明這個(gè)體重秤的信度很低。信度有以下幾類(lèi)：

不同信度的使用前提、適用對(duì)象及計(jì)算方法都有差異，如高考作文評(píng)分、職業(yè)選拔中的面試，就有必要考慮評(píng)分者之間的一致性，一致性高，評(píng)分者信度高。上述的體重稱(chēng)多次重復(fù)測(cè)量結(jié)果不一致，指的就是重測(cè)信度很低。

 
2)效度（Validity）

指是否反映了欲測(cè)量的特性及程度。比如，HR想通過(guò)問(wèn)卷了解一個(gè)人的社交能力，問(wèn)卷中卻出現(xiàn)大量的管理能力的試題，這樣無(wú)論在特性上，還是程度上都會(huì)受影響。效度一般有以下幾類(lèi)：

不同效度的使用前提、適用對(duì)象及計(jì)算方法都有差異，如上述HR的問(wèn)卷，顯然是內(nèi)容效度很低。

 
3)信度與效度的關(guān)系
效度受信度制約，效度高信度一定高，信度高效度不一定高。

我們把需要測(cè)的東西比喻成靶心。

• a.點(diǎn)集中在靶心（能測(cè)到要測(cè)的東西，效度高），測(cè)量的點(diǎn)都比較集中（隨機(jī)誤差小，信度高）

• 
  

• b.點(diǎn)不都在中心環(huán)（測(cè)不到要測(cè)的，效度低），點(diǎn)分布離散（隨機(jī)誤差大，信度低）

• 
  

• c.點(diǎn)不在中心（測(cè)不到想測(cè)的，效度低），點(diǎn)分布在一個(gè)區(qū)域（隨機(jī)誤差小，信度高）

從信度和效度的定義可以看出，根據(jù)不同的需求，我們可以用不同的信效度計(jì)算方法，從而得到對(duì)調(diào)研結(jié)果的不同解讀。下面介紹一下如何解讀調(diào)研結(jié)果。

下面虛擬一個(gè)顧客對(duì)玩具偏好分析的研究，帶大家一起來(lái)看一下如何分析與理解信效度~

假如，我們找100個(gè)大人對(duì)10類(lèi)兒童玩具進(jìn)行評(píng)分，分?jǐn)?shù)為1-10分。大家也可以假想成對(duì)其他產(chǎn)品進(jìn)行評(píng)價(jià)、對(duì)某產(chǎn)品各方面的評(píng)價(jià)、或者對(duì)某產(chǎn)品的多個(gè)功能進(jìn)行評(píng)價(jià)等。

 
1)效度

效度分析常用因素分析法，因素分析通俗地理解就是把問(wèn)卷或量表分成幾部分，每部分代表一定的意義，并且每部分內(nèi)的題目間有密切關(guān)系。

基本思想是通過(guò)對(duì)變量的相關(guān)系數(shù)矩陣的內(nèi)部結(jié)構(gòu)的研究，找出能控制所有變量的少數(shù)幾個(gè)隨機(jī)變量去描述多個(gè)變量之間的相關(guān)關(guān)系，但在這里，這少數(shù)幾個(gè)隨機(jī)變量是不可直接觀測(cè)的，通常稱(chēng)為因子。然后根據(jù)相關(guān)性的大小把變量分組，使得同組內(nèi)的變量之間相關(guān)性較高，但不同組的變量相關(guān)性較低。

因素分析主要有兩種：

• a.探索性因素分析（Exploratory Factor Analysis, EFA），尋求問(wèn)卷或量表的潛在結(jié)構(gòu)，使之變成一組題目少但彼此相關(guān)較大的變量。可理解為問(wèn)卷主要測(cè)的內(nèi)容是什么。（內(nèi)容效度）

• 
  

• b.驗(yàn)證性因素分析（Confirmatory Factory Analysis, CFA），根據(jù)理論或知識(shí)對(duì)因子結(jié)構(gòu)做出的驗(yàn)證，計(jì)算擬合實(shí)際數(shù)據(jù)的程度?？衫斫鉃槎啻蟪潭壬蠝y(cè)出希望測(cè)的東西。（結(jié)構(gòu)效度）

如果已經(jīng)有編制好的成熟的問(wèn)卷或量表，說(shuō)明已經(jīng)有了內(nèi)容效度（別人已經(jīng)指明了問(wèn)卷是測(cè)什么的了），我們只需要通過(guò)驗(yàn)證性因素分析驗(yàn)證結(jié)構(gòu)效度即可。探索性因素分析適合于在沒(méi)有理論支持的情況下對(duì)數(shù)據(jù)的試探性分析。對(duì)于上述虛擬的關(guān)于玩具評(píng)價(jià)的調(diào)查，我們需要先進(jìn)行探索性因素分析。

A.探索性因素分析

探索性因素分析可以通過(guò)SPSS進(jìn)行，主要指標(biāo)及解釋見(jiàn)下表：

根據(jù)以上結(jié)果確定各個(gè)維度的題目（說(shuō)明哪些題目是測(cè)哪個(gè)維度的），并根據(jù)同一維度下題目的特點(diǎn)，對(duì)各個(gè)維度命名（即內(nèi)容效度，說(shuō)明自己要測(cè)的是什么）。假設(shè)我們通過(guò)SPSS進(jìn)行了數(shù)據(jù)分析，下面解讀一下分析結(jié)果。

看是否適合因素分析

這個(gè)調(diào)查問(wèn)卷顯然不是成熟的量表，所以需要進(jìn)行探索性因素分析，首先檢驗(yàn)是否適合做因素分析。KMO=0.7，Bartlett檢驗(yàn)的P=0.04，說(shuō)明適宜做因素分析。

看累計(jì)解釋率與特征值從圖中看出，前兩個(gè)因子特征值（Total）都大于1，且前兩個(gè)因子能解釋10個(gè)變量（即10類(lèi)玩具的評(píng)價(jià)）中69.576%的變異，接近70%。

看因子載荷可以看出因子1包含1、2、3、5四個(gè)題目，因子2包含7、8、9、10四個(gè)題目，4和6兩個(gè)題目因?yàn)橐蜃虞d荷低，也就是說(shuō)對(duì)因子的貢獻(xiàn)率低而排除。

給兩個(gè)因子命名。

分別根據(jù)這兩個(gè)因子中題目的特征（即玩具的特征），給兩個(gè)因子命名。分析發(fā)現(xiàn)第一個(gè)因子的玩具體積都比較大，第二個(gè)因子的玩具操作都比較復(fù)雜，因此把1命名為“體積”，2命名為“復(fù)雜度”。

 
B.驗(yàn)證性因素分析

把探索性驗(yàn)證分析的結(jié)果放到結(jié)構(gòu)方程中擬合形成模型，再看擬合指標(biāo)是否合適，并進(jìn)行調(diào)整，模型擬合程度良好說(shuō)明該量表能夠在一定程度上測(cè)量自己想要的東西。

擬合指標(biāo)：需要把自己的模型與飽和模型（估計(jì)所有參數(shù)，包括題目間的相關(guān)）比較，因?yàn)轱柡湍Ｐ秃兴械男畔?，估?jì)了所有的參數(shù)，如果比較結(jié)果差異不顯著，或者比較的“相似度”高，說(shuō)明預(yù)設(shè)模型保留了飽和模型中的大部分信息，可以使用。

驗(yàn)證性因素分析一般通過(guò)AMOS或LISREL進(jìn)行，通過(guò)擬合指標(biāo)來(lái)檢驗(yàn)：

驗(yàn)證之前的結(jié)果，從圖中看出，第5題因子載荷小于0.35，可以考慮刪除。其他題目沒(méi)有問(wèn)題，同時(shí)假設(shè)其他擬合指數(shù)符合上述指標(biāo)，整個(gè)問(wèn)卷的效度還是比較理想的。

 
2)信度

在調(diào)查研究中，常用同質(zhì)性信度，又稱(chēng)內(nèi)部一致性信度，其中克隆巴赫α（Cronbach’s α coefficient）系數(shù)適用范圍比較廣，也是最簡(jiǎn)單易行且常用的方法。

一般計(jì)算方法是在SPSS中選擇Reliability Analysis，然后對(duì)問(wèn)卷整體或某一個(gè)維度內(nèi)不同題項(xiàng)進(jìn)行分析。

DeVellis(1991)認(rèn)為，克隆巴赫α系數(shù)在0.65～0.70為最小可接受值，0.70～0.80相當(dāng)好，0.80以上是非常好。

分別對(duì)兩個(gè)因子的信度進(jìn)行檢驗(yàn)，結(jié)果如下表：

根據(jù)表中數(shù)據(jù)可以看出，兩個(gè)因子的效度都可以接受，說(shuō)明問(wèn)卷穩(wěn)定性比較好，測(cè)驗(yàn)內(nèi)部一致性程度比較高。

誤差主要有系統(tǒng)誤差、隨機(jī)誤差和抽樣誤差三類(lèi)，有些文獻(xiàn)把抽樣誤差歸于隨機(jī)誤差內(nèi)，下圖為誤差與信效度的關(guān)系。

1)抽樣誤差

定義：抽樣變動(dòng)或抽樣方法本身造成的誤差，可以理解為樣本估計(jì)的值與總體指標(biāo)之間的偏差。

舉例：例如，我們想了解用戶(hù)對(duì)產(chǎn)品某個(gè)功能的喜好程度，由于無(wú)法獲取所有人的評(píng)價(jià)，因此通過(guò)電話(huà)回訪，抽取一部分用戶(hù)對(duì)其進(jìn)行評(píng)分，這一部分用戶(hù)喜好程度的平均數(shù)，很可能與所有人喜好程度的平均數(shù)有差異。

抽樣誤差是不可避免的，在其他條件不變的情況下，抽樣單位的數(shù)目越多，抽樣誤差越??；在其他條件不變的情況下，總體的離散程度（方差、標(biāo)準(zhǔn)差）越小，抽樣誤差越小。此外，

不同的抽樣方式也會(huì)對(duì)其造成影響。

抽樣誤差與測(cè)量的優(yōu)劣沒(méi)有必然聯(lián)系，信度或效度研究時(shí)，可以忽略抽樣誤差。

 
2)系統(tǒng)誤差

定義：與測(cè)驗(yàn)?zāi)康臒o(wú)關(guān)的因子引起的恒定的、系統(tǒng)的、有規(guī)律的變化，存在于每次測(cè)量中，因此又稱(chēng)常定誤差。

舉例：比如我們發(fā)現(xiàn)藥店的體重稱(chēng)和家里的體重稱(chēng)結(jié)果不一樣。如果家里的稱(chēng)是準(zhǔn)確的，那么藥店對(duì)所有人稱(chēng)的體重都會(huì)造成有規(guī)律的偏差（比如偏胖5斤），這就是系統(tǒng)誤差。在問(wèn)卷編輯時(shí)，如果語(yǔ)言描述模糊或模棱兩可，很可能存在一致性的評(píng)價(jià)傾向。如

“這個(gè)界面的顏色、布局和文字描述，您的感受是”

A很不喜歡B不喜歡C不確定D喜歡 E很喜歡

這里面透露了顏色、布局和文字三個(gè)內(nèi)容，對(duì)于三項(xiàng)內(nèi)容感受差異大的用戶(hù)來(lái)說(shuō)，很多人會(huì)傾向選“不確定”來(lái)“中和”內(nèi)心的糾結(jié)。

系統(tǒng)誤差直接影響測(cè)量的準(zhǔn)確性，與效度有關(guān)。

 
3)隨機(jī)誤差

定義：與測(cè)量目的無(wú)關(guān)的偶然因素引起的，使得幾次測(cè)量結(jié)果不一致，且這種不一致是隨機(jī)的，又稱(chēng)觀察誤差或偶然誤差。

舉例：比如用戶(hù)在填問(wèn)卷時(shí)心不在焉，隨便填寫(xiě)；或者在體驗(yàn)?zāi)钞a(chǎn)品時(shí)身體不適或緊張，或現(xiàn)場(chǎng)偶然發(fā)生噪聲，這些都會(huì)引起用戶(hù)的反應(yīng)，從而可能對(duì)產(chǎn)品的評(píng)分造成影響。

隨機(jī)誤差不僅影響測(cè)量的準(zhǔn)確性，而且影響測(cè)量的穩(wěn)定性，與信度和效度都有關(guān)系。

• 凡是能引起隨機(jī)誤差的因素（被試、主試、測(cè)量?jī)?nèi)容、施測(cè)情景等），都會(huì)影響測(cè)量信度。任何誤差的增加都會(huì)降低效度，要提高效度，就需要控制隨機(jī)誤差、減小系統(tǒng)誤差。

• 
  

• 測(cè)量誤差通常來(lái)源于測(cè)驗(yàn)本身（如上述系統(tǒng)誤差中的界面調(diào)查）、測(cè)驗(yàn)實(shí)施過(guò)程（如抽樣方法或?qū)嵤┻^(guò)程中的噪音）和用戶(hù)本身（如用戶(hù)的身體不適或心不在焉），因此在調(diào)研過(guò)程中需要全面考慮這三個(gè)因素的影響，盡量減少誤差。