怎么做信度和效度的檢驗(信度和效度的區(qū)別)
(1)信度低,效度不可能高。因為如果測量的數(shù)據(jù)不準確,也并不能有效地說明所研究的對象。(2)信度高,效度未必高。例如,如果我們準確地測量出某人的經濟收入,也未必能夠說明他的消費水平。(3)效度低,信度很可能高。例如,即是一項研究未能說明社會流動的原因,但它很有可能很精確很可靠地調查各個時期各種類型的人的流動數(shù)量。(4)效度高,信度也必然高。
信度和效度是優(yōu)良的測量工具必備的條件,是評估所測量數(shù)據(jù)的可靠性和有效性的基本尺度。只有保證測量工具的信度和效度,才有可能獲得可靠、正確的數(shù)據(jù)。
一、信度和效度的概念
信度,即可靠性或一致性,指的是測量結果經得起重復檢驗,即測量工具能否穩(wěn)定地測量到它想要測量的數(shù)據(jù)。 信度反映了測量中的隨機誤差大小,信度高,那么意味針對同一事物進行多次測量的結果可以保持一致,說明該測量工具可靠、穩(wěn)定;缺乏信度,則前后測量的結果就會出現(xiàn)不一致,說明該測量工具有問題。
效度,即切實性,指的是測量工具確實能夠測出其所要測量的內容。 效度高,說明測量結果能很好地反映測量對象的真實特征,能夠保證不同研究人員對某一研究變量的意義和內內涵有一致的理解;
缺乏效度,則說明測量工具沒有正確地獲取反映真實特征的數(shù)據(jù)。比如農村貧困,代表政府對貧困進行測量的人對貧困的理解和農民對貧困的理解是不一樣的,前者根據(jù)的是可量化的指標,后者關心的是自己的實際生活感受,以及與他人的比較。
二、信度和效度的關系
信度和效度的關系可用以下四幅圖來表示。 黑點表示測量結果,靶心表示測量目的,離靶心越近,表示測量結果越準確。
a 圖: 黑點均集中在一個小區(qū)域,說明多次測量比較穩(wěn)定、一致,即信度高;但黑點均遠離靶心,說明多次測量結果都沒有切合測量目的,測量結果準確性較差,即效度低(高信度低效度);
b 圖: 黑點分散各處,說明多次測量的結果很不穩(wěn)定,即信度低;而且大部分黑點都遠離靶心,說明測量結果的準確性交叉,即效度低(低信度低效度)。
c 圖: 黑點分散在一側,且大部分都遠離靶心,說明測量結果穩(wěn)定性不足,且準確性也不行,即低效度低信度。
d 圖: 黑點均集中于靶心附近,說明測量結果既穩(wěn)定又準確,即高信度高效度。
由這四幅圖所表示的關系,我們可知:
(1)信度低,效度不可能高。如果收集的資料不可信、不可靠,那么它肯定是不能真實反映研究對象的真實特征;
(2)信度高,效度不一定高,效度有可能很低。比如,即使測量出某個人的經濟收入,但未必能夠說明他的消費水平;
(3)效度低,信度有可能高;
(4)效度高,信度必然也高。
因此,信度是效度的必要條件,但不是充分條件,無信度必然無效度,但有信度未必有效度;效度是信度的充分條件,但不是必要條件,有效度必然會有信度,但無效度卻未必無信度。
三、信度和效度的檢驗
問卷、量表是調查研究常用的測量工具,而信度和效度是衡量測量工具質量高低的重要指標。因此,在問卷設計、量表設計時,需要對問卷、量表進行信度和效度的檢驗,以判斷通過它們獲取的數(shù)據(jù)的可靠和有效程度,保證所收集到的數(shù)據(jù)真實、可靠、有效。這里我們以檢驗量表的信度和效度的檢驗為基礎進行介紹。
(一)信度的檢驗
信度反映了測量中的隨機誤差大小,由于造成測量隨機誤差的來源有多種,因此信度檢驗的方法也有多種,主要包括內在信度檢驗和外在信度檢驗。
1. 內在信度的檢驗
內在信度所檢驗的是量表的內部一致性,一致性程度越高,那么測量數(shù)據(jù)就越準確,評估結果的可信度就越強。 內部一致性主要有兩層意思:一是考察量表的所有題目測量的是否是同一個概念,一般來說,量表的作用是要測量某個單一的現(xiàn)象/心理特質;二是量表中的所有題目得分之間是否存在較高的正相關。
為什么量表的題目會存在相關?有兩種可能:第一種是題目之間有因果關系;第二種是量表各題目存在一個共同的因。大多數(shù)情況下,第一種原因是不存在的,更多的是第二種可能使量表的項目之間存在一定程度的相關性。
如果量表的內在信度不高,說明測量結果可能反映的是多個概念/心理特質的綜合反映,這種結果就會比較難解釋,對此,我們可以把一次測量分解為多個具有一致性的分測量,再進行解釋。
檢驗量表內部一致性的方法有多種,包括Cronbach-α、協(xié)方差矩陣、多項目量表的協(xié)方差矩陣、α與協(xié)方差矩陣。 最常用的是Cronbach-α。
(1)Cronbach-α
Cronbach-α 是量表信度最常用的檢驗方法。 Cronbach-α 系數(shù)的范圍在0~1之間,越接近1,信度越好,其判斷標準為:
系數(shù)在0.9以上,表明該測量工具即量表的信度很好;0.8-0.9,表明信度較好;0.7-0.8,可以接受,但量表的某些內容需要修改;0.7以下,說明量表的某些內容需要重新編寫。
使用SPSS來計算 Cronbach-α 系數(shù)的操作路徑為:【分析】-【度量】-【可靠性分析】
2. 外在信度的檢驗
外在信度的檢驗主要考察的是時間、測量形式等外在因素的變化是否會對對測量結果的穩(wěn)定性和一致性產生影響。
常用的外在信度分析方法有:重測信度法、復本信度法、折半信度法。
(1)重測信度
用同一個量表對同一批被調查者前后調查兩次,再根據(jù)調查結果計算相關系數(shù),即可得到重測信度。兩次調查間隔的時間要適當,間隔太短,被調查者會記得上一次調查的答案;間隔太久,可能會因為發(fā)生一些事情影響他們的態(tài)度。
(2)復本信度
在一項調查中,針對同一批被調查者,先使用A量表進行測量,再用A量表的復本進行測量,然后根據(jù)調查結果計算其相關系數(shù)。A量表的復本需在題數(shù)、形式、內容、難度等方面與A量表一致,僅只在問法、用詞方面不同。
復本的調查可連續(xù)進行調查,也可以隔一段時間再進行調查。連續(xù)實施調查的復本信度又稱為等值系數(shù),相隔一段時間再進行復本調查所得到的復本信度又稱為穩(wěn)定與等值系數(shù)。
(3)折半信度
將調查結果,按題目的單雙數(shù)或者前半部分和后半部分劃分為相同的兩份進行計分,再根據(jù)每個樣本的兩部分的總分,并計算其相關系數(shù),該系數(shù)即為折半信度系數(shù)。
(二)效度的檢驗
效度是指測量工具確實能夠測出其所要測量的內容。因此,量表是否具備效度,就要看該量表結果是否達到了此次測量的目的。比如,一個用以測量產品滿意度的量表,被用來測量用戶活躍度,那么所得的測量結果肯定缺乏信度。即使是測量內容相同,被測量的目標群體發(fā)生了變化,效度也會大受影響。
量表的效度檢驗,主要采用以下三種方法:
1. 內容效度(content validity)
內容效度的檢驗主要是考慮所測量的內容是否很好地反映了所要研究的概念(變量)的基本內容,即策略工具實測的內容與我們想要測量的內容之間的匹配程度。
內容效度的檢驗一般采用專家評估、預調查的方法 ,來評估量表是否合理、用戶是否理解量表題項,再根據(jù)結果來修正量表。
2. 結構效度(construct validity)
結構效度,也叫建構效度 、構想效度。 結構效度的檢驗主要是考察量表的內部結構與編制量表時依據(jù)的理論假設是否相符,具體來說,即是評估量表的題項與測量維度(測量方向)是否一致。一般通過因子分析來檢驗結構效度。
比如在開發(fā)者體驗調查量表中,10道題分為了易學、易用、高效三個維度的題項,那么可以通過因子分析來評估每個維度下的題項與其所屬的維度是否一致。在使用因子分析評估結構效度,一般會同時使用探索性因子分析和驗證性因子分析進行綜合評估:
(1)探索性因子分析目的是要探索所評估現(xiàn)象/特質的因子結構,所得的公因子相當于量表所要測量的潛在維度,因子載荷反映了量表題項對該維度的貢獻,因子載荷越大,說明題項與該維度的關系越密切;
(2)驗證性因子分析是在已經確定因子數(shù)量、各題項和因子的對應關系的情況下,基于實際數(shù)據(jù)來擬合特定的因子模型,分析擬合優(yōu)度,以驗證預設的因子結構與實際數(shù)據(jù)的匹配程度。
3. 校標效度(criterion validity)
校標效度, 也叫準則效度、校標關聯(lián)效度。 校標效度 的檢驗主要是以一個公認有效的量表作為標準,考察當前量表與標準量表的測量結果的相關性,所測得的相關系數(shù)為當前量表的效度,相關系數(shù)越大表示該量表的校標效度就越好。比如將自己設計的量表所搜集的數(shù)據(jù)與權威量表的數(shù)據(jù)進行相關分析,如果相關大,說明準則效度比較好。
四、如何提升測量工具的信度和效度
(一)信度的提升
1. 定義清楚所要測量的概念
如果對單個清楚明確的概念或概念的某個維度進行測量,可提高信度。每個測量工具只針對單獨的一個概念進行測量,就可以明確所收集的數(shù)據(jù)是針對的哪個概念或維度,而不會因為多個概念的存在導致我們無法精確判斷測量結果是針對哪一個概念,而且不同維度的測量指標之間可能會相互影響,從而影響測量結果的可靠性、準確性。這意味著,在調查研究中,我們要將概念定義清楚,不能模糊不清。
2. 提高測量層次
測量層次越高,獲取的信息就越精確、詳細,自然信度就會越高。因此,在研究時,盡可能以最精確的測量層次來測量概念或變量。
3. 使用多重指標來測量一個變量
多重指標允許研究者對概念或變量進行更廣泛、全面的測量,自然測量結果也會更準確、穩(wěn)定。比如滿意度評分,分維度的滿意度評價比總體的滿意度評價所獲取的信息更為廣泛、細致,讓研究者可以了解不同方面的滿意度情況。但并不意味測量指標越多越好,指標數(shù)量也要在合適的范圍。
4. 進行預測試,提前發(fā)現(xiàn)問題
正式調查前,可在小范圍內進行預測試,以了解問卷題項是否清楚明白,避免題項含糊不清,造成錯誤理解。
5. 問卷題項清楚且易于理解
題項要清楚明白,且能讓被調查者容易理解,不然模糊不清、難以理解會導致被調查者回答錯誤,從而影響調查的信度。
6. 問卷題項數(shù)量適當,不宜過多
問卷題項不要太多,不要占用被調查者太多時間,如果太多,可能被調查者填答到后面就漸漸沒了耐心,回答也就變得隨意,甚至亂填。
7. 調查人員需規(guī)范操作
對于需要調查人員與被調查者面對面調查的,要求調查人員需按照程序和標準詢問被調查者,不得有意無意對被調查者施加影響,在后續(xù)的數(shù)據(jù)記錄的時候也要耐心認真,避免出錯
8. 安靜良好的填答環(huán)境
盡量給被調查者安排或者營造一個良好的填答環(huán)境,避免被他人或者外界因素的干擾
9. 問卷設計規(guī)范標準
問卷設計需做到規(guī)范標準,比如價值中立、選項窮盡、題項排序等要求,都需要做好。
(二)效度的提升
1. 明確調查目的,緊緊圍繞調查目的設計問卷內容
要明確調查目的是什么,收集該信息點的目的是什么,以確保題項能夠真正收集到想要測量的數(shù)據(jù)。
2. 問卷題項清楚且易于理解
題項要清楚明白,且能讓被調查者容易理解,不然模糊不清、難以理解會導致被調查者回答錯誤,從而影響調查的信度。
3. 問卷題項數(shù)量適當,不宜過多
問卷題項不要太多,不要占用被調查者太多時間,如果太多,可能被調查者填答到后面就漸漸沒了耐心,回答也就變得隨意,甚至亂填。
4. 安靜良好的填答環(huán)境
盡量給被調查者安排或者營造一個良好的填答環(huán)境,避免被他人或者外界因素的干擾。
5. 問卷設計規(guī)范標準
問卷設計需做到規(guī)范標準,比如價值中立、選項窮盡、題項排序等要求,都需要做好。
6. 確保樣本的代表性
樣本具備代表性,意味著所調查的對象是我們實際想要了解的對象,自然所收集的數(shù)據(jù)就越準確。
本站部分文章來自網絡或用戶投稿。涉及到的言論觀點不代表本站立場。閱讀前請查看【免責聲明】發(fā)布者:方應,如若本篇文章侵犯了原著者的合法權益,可聯(lián)系我們進行處理。本文鏈接:http://m.256680.cn/life/115583.html