《第十一章 人員素質(zhì)測評質(zhì)量分析》由會員分享，可在線閱讀，更多相關(guān)《第十一章 人員素質(zhì)測評質(zhì)量分析（39頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,第十一章 素質(zhì)測評的質(zhì)量分析,目錄,效度,信度,項目分析,其他分析方法,第一節(jié) 效度,測評的效度就是指測評的有效性，即能測評到所要測評目標的程度。效度是評價測評好壞、選擇測評的重要標準之一。,效度的作用比信度的作用更為重要。強調(diào)測評目標、工具與測評對象的統(tǒng)一。,一、人員測評的有效性,效度的理論定義：與測評目標有關(guān)的真實分數(shù)方差與總分方差的比率。公式：,其中，為測評效度；為有效方差；為總分方差。,效度的性質(zhì),實際上效度指的是“測評結(jié)果的效度”，是指測評結(jié)果的準確性程度，而并不是指測評本身。也反映了測評結(jié)果對測

2、評目標的體現(xiàn)程度。,二、如何評估人員測評的效度,（一）內(nèi)容效度,1、內(nèi)容效度是指測評內(nèi)容取樣是否反映測評的目標，適用于測評對象。,2內(nèi)容效度的評估方法,測評內(nèi)容范圍明確；,測評內(nèi)容的取樣有代表性。,采用如下步驟：,1）確定總體范圍；,2）編制雙向細目表；,3）制定評定量表。,還可采用經(jīng)驗的方法、統(tǒng)計分析方法。,3內(nèi)容效度的應(yīng)用,內(nèi)容效度最適合于評估教育和職業(yè)成就測評。,也適合于某些用于人員選拔和分類的測評。,（二）效標關(guān)聯(lián)效度,效標關(guān)聯(lián)效度，也稱效標效度，它反映的是測評分數(shù)與外在標準（效標）的相關(guān)程度，即測評分數(shù)對個體的效標行為表現(xiàn)進行預(yù)測的有效性程度。,效標是考察測評效用的外在參照標準。效標

3、關(guān)聯(lián)效度往往用于預(yù)測性測評。,1預(yù)測效度和同時效度,預(yù)測效度的效標資料往往是測評結(jié)束后隔一段時間才獲得，它反映被試行為表現(xiàn)的預(yù)測程度。,同時效度的效標材料可以和測評分數(shù)差不多同時搜集。,同時效度多用于診斷現(xiàn)在的狀態(tài)，預(yù)測效度多預(yù)測未來的結(jié)果。,如：1）“某人成功了嗎？”,2）“某人會成功嗎？”,2效標和效標測評,效標是衡量測評有效性的參照標準。,把效標轉(zhuǎn)化為某種可以操作的測評指標，稱為效標測評。,效標可以細分為觀念效標（即效標的實質(zhì)概念內(nèi)容）和效標測評（即效標的具體度量方法）。例如，對于篩選銷售人員的觀念效標是“銷售工作的成功”，而效標測評是“年銷售量”。,3常用的效標,（1）學(xué)術(shù)成就,（2）

4、特殊訓(xùn)練成績,（3）實際工作表現(xiàn),（4）團體對照,（5）等級評定,（6）先前有效的測評,（三）構(gòu)想效度,構(gòu)想效度是指測評能夠測評到理論上的構(gòu)想或特質(zhì)的程度。所謂構(gòu)想通常指一些抽象的、假設(shè)性的概念或特質(zhì)，如智力、創(chuàng)造力、言語流暢性、焦慮等。,1確定構(gòu)想效度的步驟,建立理論框架，以解釋被試在測評上的表現(xiàn)；,依據(jù)理論框架，推演出各種有關(guān)測評成績的假設(shè)；,以邏輯和實證的方法來驗證假設(shè)，根據(jù)累積材料決定這種理論是否能恰當?shù)亟忉尙F(xiàn)有材料；如果不能做出恰當解釋，則應(yīng)該修正上述假設(shè)，直到能做出恰當?shù)慕忉尀橹埂?如：創(chuàng)造力測評構(gòu)想效度。以測評分數(shù)與根據(jù)創(chuàng)造力的心理學(xué)理論觀察被試行為所做出的判斷做相關(guān)分析。,2常

5、見的確定構(gòu)想效度的指標,（1）發(fā)展變化,（2）與其他測評的相關(guān),（3）因素分析,因素分析是分析行為資料內(nèi)部關(guān)系、結(jié)構(gòu)特性的一種統(tǒng)計技術(shù)。,（4）內(nèi)部一致性,如果測評的所有題目被驗證為具有很高的內(nèi)部一致性，說明它們都是關(guān)于同一內(nèi)容的，屬于同一種構(gòu)想。,用來考察內(nèi)部一致性的方法主要有三種：,1）考察總分數(shù)較高和較低兩類人在各,題目上通過率的大小，如果通過率低，應(yīng)淘汰或修改。,2）計算題目與總分的相關(guān)，如未達顯著水準，應(yīng)予淘汰。,3）求分測評與總分的相關(guān)。各分測評與總分有顯著相關(guān)，如果不是，則應(yīng)予刪除。,（5）會聚效度和區(qū)分效度,會聚效度：測評與測評相同特質(zhì)或構(gòu)想等理論上有關(guān)的變量高相關(guān)；,區(qū)分效度

6、：測評與測評不同特質(zhì)或構(gòu)想等理論上無關(guān)的變量低相關(guān)。,如，一個數(shù)學(xué)推理能力測評與數(shù)學(xué)課成績的相關(guān)就是會聚效度；而該測評與閱讀理解能力測評的相關(guān)顯著低，就是區(qū)分效度。,三、影響效度的因素,測評本身帶來的影響因素,1測評題目的質(zhì)量,2實施測評時的于擾因素,3被試的影響因素,4測評的長度,樣本團體的性質(zhì),效標的性質(zhì),如果其他條件相同，所測評的行為或心理特質(zhì)與效標行為或特質(zhì)越相似，效度系數(shù)就越高。,第二節(jié) 信度,一、信度的定義,信度主要是指測評結(jié)果的可靠性或一致性。,由測評工具否精確引起的誤差叫系統(tǒng)誤差。,由操作是否到位引起的誤差叫隨機誤差。,信度考慮兩方面的問題。,一是穩(wěn)定性：不同時間、不同測評條件

7、下所得分數(shù)之間的一致性有多大；一個人的所得分數(shù)與“真實分數(shù)”之間接近程度有多大；是否可以達到實際應(yīng)用的程度等。,二是影響穩(wěn)定性的原因：什么因素造成了這種差異；這些影響的相對作用有多大。,二、信度的作用,信度高低的指標通常以相關(guān)系數(shù)表示，稱為信度系數(shù)。信度系數(shù)一般是同一樣本所得的兩組資料的相關(guān)，在理論上表示為實得分數(shù)與真實分數(shù)相關(guān)的平方。信度系數(shù)公式：,它是,其中,：,真實分數(shù)標準差與實得分數(shù)標準差的比率。,其中，r,xr,有時也稱為信度指數(shù)，它是真實分數(shù)標準差與實得分數(shù)標準差的比率。,還可通過分析個人分數(shù)再測時的變化（誤差）來考察信度。兩次測評分數(shù)的差異越大，信度就越低。,在人員測評中，對信度

8、系數(shù)進行確定通常有以下兩方面的作用：,方差：即每個被測評者得分與其算術(shù)平均數(shù)差的平方和與總個數(shù)之商。公式：,標準差公式：,1解釋真實分數(shù)與實得分數(shù)的相關(guān)性,總的方差（即標準差的平方的縮略語）中有多少比例是由真實分數(shù)的方差決定的。,2說明可以接受的信度水準,一般的能力與成就測評的信度系數(shù)在090以上；人格、興趣等測評的信度系數(shù)通常在0800.85之間。r,xx,070時，不能用測評對個人作評價，也不能在團體間作比較；,當r,xx,070時，可用于團體間比較；r,xx,085時，可用于鑒別個人情況。,三、如何評估人員測評的信度,1.重測信度又稱為穩(wěn)定性系數(shù),用同一測評，在不同時間對同一群體施測,N

9、為兩次測評結(jié)果數(shù)據(jù)配對總數(shù)；x被分析的測評結(jié)果；y為重復(fù)測評得到的結(jié)果。,在進行重測信度的評估時，還應(yīng)注意以下兩個重要問題：,1）重測信度一般只反映由隨機因素導(dǎo)致的變化，而不反映被試行為的長久變化。,2）不同行為受隨機誤差的影響不同。,兩次，這兩次測評分數(shù)的相關(guān)系數(shù)即為重測系數(shù)。一個測評的重測信度越高，說明測評的結(jié)果越一致、越可靠。積差相關(guān)公式：,2.復(fù)本信度又稱等值性系數(shù)。,它是以兩個測評復(fù)本（功能等值但題目內(nèi)容不同）來測評同一群體，然后求得應(yīng)試者在這兩個測評上得分的相關(guān)系數(shù)（積差相關(guān)）。復(fù)本信度的高低反映了這兩個測評復(fù)本在內(nèi)容上的等值性程度。兩個等值的測評互為復(fù)本。,3內(nèi)部一致性信度,內(nèi)部

10、一致性信度主要反映的是測評內(nèi)部題目之間的關(guān)系，考察測評的各個題目是否測評了相同的內(nèi)容或特質(zhì)。,1）分半信度,分半信度系數(shù)是通過將測評分成兩半，計算這兩半測評之間的相關(guān)性而獲得的信度系數(shù)。,分半法經(jīng)常會低估信度，必須進行修正。斯皮爾曼一布朗公式可以估計增長或縮短一個測評對其信度系數(shù)的影響，用這個公式進行修正的前提條件為：兩半測評的方差相等。,分半法中的斯皮爾曼一布朗修正公式為：,其中，r,hh,為兩半測評的相關(guān)系數(shù)，r,xx,為估計或修正后的信度。,當兩半測評的方差不同時，應(yīng)采用盧倫公式或弗拉納根公式進行修正。,盧倫公式只要求將被試在兩半測評的分數(shù)之差的方差（S,d,2,）和測評總分的方差(S,

11、x,2,)代入如下公式即可直接計算分半信度：,其中S,d,2,為兩測評分數(shù)之差的方差；S,x,2,為測評總分的方差。,也可以采用弗拉納根公式直接計算分半信度：,S,a,2,與,S,b,2,為兩個分測評分數(shù)的方差；,S,x,2,為總分方差。,2）同質(zhì)性信度,同質(zhì)性是指所有測評題目測評的只是單一特質(zhì)或內(nèi)容，表現(xiàn)為所有測評題目得分的一致性。樂觀情緒特質(zhì)和外向特質(zhì)、預(yù)測和決策、監(jiān)督與控制等都是不太容易區(qū)分的。,如果需要在一個測評中測評不同的內(nèi)容，就應(yīng)該將測評設(shè)計為幾個分測評，每個分測評測評一種內(nèi)容。例如，16PF人格測評就是包含16個分量表的測評，每個分量表只對一種人格特質(zhì)進行測評。,常用的同質(zhì)性信度

12、計算方法是庫德理查遜估計方法。計算公式有庫德理查遜20號公式（簡稱（KR20）和21號公式（KR21）。,下面是,KR20,公式,：,其中,n,為測評題目數(shù)，,為通過 題的人數(shù)比例；,q,i,為未通過該題的人數(shù)比例；=1;,為所有題目答對與答錯人數(shù)百分比乘積的總和。,四、評分者信度,在有些測評中，評分者的評判也是誤差的來源之一。,評分者信度是指不同評分者對同樣對象進行評定時的一致性。最簡單的估計方法就是隨機抽取若干份答卷，由兩個獨立的評分者打分，再求每份答卷兩個評判分數(shù)的相關(guān)系數(shù)。這種相關(guān)系數(shù)的計算可以用積差相關(guān)方法。,如果評分者在三人以上，而且又采用等級記分時，就需要用肯德爾和諧系數(shù)來求評分

13、者信度。其公式為：,其中，,K,為評分者人數(shù)，,N,為被評定的人數(shù)或答卷數(shù)；Ri為評分者給某人（或某一答卷）評分之和。,為每一個對象被評等級。,評分者,答卷編號,一,二,三,四,五,六,甲,4,3,1,2,5,6,乙,5,3,2,1,4,6,丙,4,1,2,3,5,6,丁,6,4,1,2,3,5,R,i,19,11,6,8,17,23,例如，有4名評分者，對6份答卷進行評分，所評等級如下：,五、影響信度的因素,1樣本團體的性質(zhì),1)樣本團體的分數(shù)分布,分數(shù)分布越廣，信度系數(shù)就相對越高，分數(shù)分布越窄，信度系數(shù)就會越低。,2)樣本團體的異質(zhì)性,一般來說，取樣團體的異質(zhì)性越大，信度系數(shù)就相對越高。,

14、但是在測評中,往往會因為團體過于同質(zhì)或過于異質(zhì)而出現(xiàn)信度被低估或高估的情況。這種情況下，可以采用下面的公式對求出的信度進行修正：,其中,為估計的信度；為取樣的信度；S,X,為取樣團體的標準差；為估計團體（取樣的總體）的標準差。,3)不同團體間能力水平的差異,2.測評的長度,信度還會受測評長度（即題目的多少）的影響。一般來說，測評越長，信度值越高。,3.測評的難度,測評的難度也會對信度產(chǎn)生影響。如果一個測評的難度太低，出現(xiàn)天花板效應(yīng)；如果難度太大，出現(xiàn)地板效應(yīng)，,第三節(jié) 項目分析,項目適合度,在素質(zhì)測評中，項目不僅僅是試題，更多的是一些咨詢問題或觀察評定點（指標），它們無難易之分，適合度指的是被

15、測者行為符合項目測評標準的程度。,當項目為試題時，適合度即難度；,當項目是問卷中的問題時，適合度即所有選對的被測者人數(shù)與總?cè)藬?shù)之比；,當項目為觀察評定量表中的指標時，適合度即所有被測得分平均值與指標滿分值之比。,項目區(qū)分度,又稱鑒別力，指項目得分對被試實際能力或心理特質(zhì)水平的區(qū)分能力或鑒別力，也即項目得分的高低與被試實際能力或心理特質(zhì)水平高低的一致性程度。項目區(qū)分度的計算方法主要有相關(guān)分析法（包括積差相關(guān)法、二列相關(guān)法和點二列相關(guān)法）、極端組法（鑒別度指數(shù)、臨界比）和因素分析法,項目獨立性,在能力測評中，常常需要項目之間有一定的獨立性。所謂獨立性即非相關(guān)性或低相關(guān)性。獨立性的分析一般采用項目間

16、分數(shù)的相關(guān)系數(shù)揭示，根據(jù)實際得分分布是否均勻，可以分別采用r系數(shù)法和列聯(lián)表檢驗法。,第四節(jié) 其他指標的分析,客觀性,測評的客觀性由測評方法的客觀性與測評者的客觀性兩方面構(gòu)成,總體分布與水平,總體分布指測評結(jié)果在各水平層次上的分布情況，總體水平一般指對測評結(jié)果集中量的分析。,區(qū)分性與差異性,測評工具的區(qū)分性是指把不同水平的被測者區(qū)分開來的程度，測評區(qū)分性一般通過測評結(jié)果差異性的分析來揭示。,誤差,誤差是指通過測評結(jié)果的定性定量分析，判斷測評結(jié)果是否受到心理效應(yīng)的嚴重影響。分析的主要內(nèi)容是心理誤差、標準誤差以及單個測評結(jié)果的致信區(qū)間。,誤差,心理誤差,哈羅效應(yīng)誤差,哈羅效應(yīng)又稱暈輪效應(yīng)，是指測評者往往會因為對被測評者整體印象的好壞從而影響他對每個素質(zhì)的測評。例如因看到一個人相貌端莊、嚴肅，就容易產(chǎn)生此人責(zé)任感很強的看法。由哈羅效應(yīng)引起的誤差叫哈羅效應(yīng)誤差。,哈羅效應(yīng)還表現(xiàn)為因?qū)δ硞€重要因素的印象好壞而對整體評價產(chǎn)生影響，所謂一好百好，一丑白丑。雖然這是一種泛化影響，而前者是一種演繹影響。,趨中心理誤差,趨中心理誤差是指因為測評者既不愿把被測評的過好，也不愿把被測評的過差而過于集中在中間段而