《第十一章 人員素質(zhì)測(cè)評(píng)質(zhì)量分析》由會(huì)員分享，可在線閱讀，更多相關(guān)《第十一章 人員素質(zhì)測(cè)評(píng)質(zhì)量分析（39頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,第十一章 素質(zhì)測(cè)評(píng)的質(zhì)量分析,目錄,效度,信度,項(xiàng)目分析,其他分析方法,第一節(jié) 效度,測(cè)評(píng)的效度就是指測(cè)評(píng)的有效性，即能測(cè)評(píng)到所要測(cè)評(píng)目標(biāo)的程度。效度是評(píng)價(jià)測(cè)評(píng)好壞、選擇測(cè)評(píng)的重要標(biāo)準(zhǔn)之一。,效度的作用比信度的作用更為重要。強(qiáng)調(diào)測(cè)評(píng)目標(biāo)、工具與測(cè)評(píng)對(duì)象的統(tǒng)一。,一、人員測(cè)評(píng)的有效性,效度的理論定義：與測(cè)評(píng)目標(biāo)有關(guān)的真實(shí)分?jǐn)?shù)方差與總分方差的比率。公式：,其中，為測(cè)評(píng)效度；為有效方差；為總分方差。,效度的性質(zhì),實(shí)際上效度指的是“測(cè)評(píng)結(jié)果的效度”，是指測(cè)評(píng)結(jié)果的準(zhǔn)確性程度，而并不是指測(cè)評(píng)本身。也反映了測(cè)評(píng)結(jié)果對(duì)測(cè)

2、評(píng)目標(biāo)的體現(xiàn)程度。,二、如何評(píng)估人員測(cè)評(píng)的效度,（一）內(nèi)容效度,1、內(nèi)容效度是指測(cè)評(píng)內(nèi)容取樣是否反映測(cè)評(píng)的目標(biāo)，適用于測(cè)評(píng)對(duì)象。,2內(nèi)容效度的評(píng)估方法,測(cè)評(píng)內(nèi)容范圍明確；,測(cè)評(píng)內(nèi)容的取樣有代表性。,采用如下步驟：,1）確定總體范圍；,2）編制雙向細(xì)目表；,3）制定評(píng)定量表。,還可采用經(jīng)驗(yàn)的方法、統(tǒng)計(jì)分析方法。,3內(nèi)容效度的應(yīng)用,內(nèi)容效度最適合于評(píng)估教育和職業(yè)成就測(cè)評(píng)。,也適合于某些用于人員選拔和分類的測(cè)評(píng)。,（二）效標(biāo)關(guān)聯(lián)效度,效標(biāo)關(guān)聯(lián)效度，也稱效標(biāo)效度，它反映的是測(cè)評(píng)分?jǐn)?shù)與外在標(biāo)準(zhǔn)（效標(biāo)）的相關(guān)程度，即測(cè)評(píng)分?jǐn)?shù)對(duì)個(gè)體的效標(biāo)行為表現(xiàn)進(jìn)行預(yù)測(cè)的有效性程度。,效標(biāo)是考察測(cè)評(píng)效用的外在參照標(biāo)準(zhǔn)。效標(biāo)

3、關(guān)聯(lián)效度往往用于預(yù)測(cè)性測(cè)評(píng)。,1預(yù)測(cè)效度和同時(shí)效度,預(yù)測(cè)效度的效標(biāo)資料往往是測(cè)評(píng)結(jié)束后隔一段時(shí)間才獲得，它反映被試行為表現(xiàn)的預(yù)測(cè)程度。,同時(shí)效度的效標(biāo)材料可以和測(cè)評(píng)分?jǐn)?shù)差不多同時(shí)搜集。,同時(shí)效度多用于診斷現(xiàn)在的狀態(tài)，預(yù)測(cè)效度多預(yù)測(cè)未來的結(jié)果。,如：1）“某人成功了嗎？”,2）“某人會(huì)成功嗎？”,2效標(biāo)和效標(biāo)測(cè)評(píng),效標(biāo)是衡量測(cè)評(píng)有效性的參照標(biāo)準(zhǔn)。,把效標(biāo)轉(zhuǎn)化為某種可以操作的測(cè)評(píng)指標(biāo)，稱為效標(biāo)測(cè)評(píng)。,效標(biāo)可以細(xì)分為觀念效標(biāo)（即效標(biāo)的實(shí)質(zhì)概念內(nèi)容）和效標(biāo)測(cè)評(píng)（即效標(biāo)的具體度量方法）。例如，對(duì)于篩選銷售人員的觀念效標(biāo)是“銷售工作的成功”，而效標(biāo)測(cè)評(píng)是“年銷售量”。,3常用的效標(biāo),（1）學(xué)術(shù)成就,（2）

4、特殊訓(xùn)練成績(jī),（3）實(shí)際工作表現(xiàn),（4）團(tuán)體對(duì)照,（5）等級(jí)評(píng)定,（6）先前有效的測(cè)評(píng),（三）構(gòu)想效度,構(gòu)想效度是指測(cè)評(píng)能夠測(cè)評(píng)到理論上的構(gòu)想或特質(zhì)的程度。所謂構(gòu)想通常指一些抽象的、假設(shè)性的概念或特質(zhì)，如智力、創(chuàng)造力、言語流暢性、焦慮等。,1確定構(gòu)想效度的步驟,建立理論框架，以解釋被試在測(cè)評(píng)上的表現(xiàn)；,依據(jù)理論框架，推演出各種有關(guān)測(cè)評(píng)成績(jī)的假設(shè)；,以邏輯和實(shí)證的方法來驗(yàn)證假設(shè)，根據(jù)累積材料決定這種理論是否能恰當(dāng)?shù)亟忉尙F(xiàn)有材料；如果不能做出恰當(dāng)解釋，則應(yīng)該修正上述假設(shè)，直到能做出恰當(dāng)?shù)慕忉尀橹埂?如：創(chuàng)造力測(cè)評(píng)構(gòu)想效度。以測(cè)評(píng)分?jǐn)?shù)與根據(jù)創(chuàng)造力的心理學(xué)理論觀察被試行為所做出的判斷做相關(guān)分析。,2常

5、見的確定構(gòu)想效度的指標(biāo),（1）發(fā)展變化,（2）與其他測(cè)評(píng)的相關(guān),（3）因素分析,因素分析是分析行為資料內(nèi)部關(guān)系、結(jié)構(gòu)特性的一種統(tǒng)計(jì)技術(shù)。,（4）內(nèi)部一致性,如果測(cè)評(píng)的所有題目被驗(yàn)證為具有很高的內(nèi)部一致性，說明它們都是關(guān)于同一內(nèi)容的，屬于同一種構(gòu)想。,用來考察內(nèi)部一致性的方法主要有三種：,1）考察總分?jǐn)?shù)較高和較低兩類人在各,題目上通過率的大小，如果通過率低，應(yīng)淘汰或修改。,2）計(jì)算題目與總分的相關(guān)，如未達(dá)顯著水準(zhǔn)，應(yīng)予淘汰。,3）求分測(cè)評(píng)與總分的相關(guān)。各分測(cè)評(píng)與總分有顯著相關(guān)，如果不是，則應(yīng)予刪除。,（5）會(huì)聚效度和區(qū)分效度,會(huì)聚效度：測(cè)評(píng)與測(cè)評(píng)相同特質(zhì)或構(gòu)想等理論上有關(guān)的變量高相關(guān)；,區(qū)分效度

6、：測(cè)評(píng)與測(cè)評(píng)不同特質(zhì)或構(gòu)想等理論上無關(guān)的變量低相關(guān)。,如，一個(gè)數(shù)學(xué)推理能力測(cè)評(píng)與數(shù)學(xué)課成績(jī)的相關(guān)就是會(huì)聚效度；而該測(cè)評(píng)與閱讀理解能力測(cè)評(píng)的相關(guān)顯著低，就是區(qū)分效度。,三、影響效度的因素,測(cè)評(píng)本身帶來的影響因素,1測(cè)評(píng)題目的質(zhì)量,2實(shí)施測(cè)評(píng)時(shí)的于擾因素,3被試的影響因素,4測(cè)評(píng)的長(zhǎng)度,樣本團(tuán)體的性質(zhì),效標(biāo)的性質(zhì),如果其他條件相同，所測(cè)評(píng)的行為或心理特質(zhì)與效標(biāo)行為或特質(zhì)越相似，效度系數(shù)就越高。,第二節(jié) 信度,一、信度的定義,信度主要是指測(cè)評(píng)結(jié)果的可靠性或一致性。,由測(cè)評(píng)工具否精確引起的誤差叫系統(tǒng)誤差。,由操作是否到位引起的誤差叫隨機(jī)誤差。,信度考慮兩方面的問題。,一是穩(wěn)定性：不同時(shí)間、不同測(cè)評(píng)條件

7、下所得分?jǐn)?shù)之間的一致性有多大；一個(gè)人的所得分?jǐn)?shù)與“真實(shí)分?jǐn)?shù)”之間接近程度有多大；是否可以達(dá)到實(shí)際應(yīng)用的程度等。,二是影響穩(wěn)定性的原因：什么因素造成了這種差異；這些影響的相對(duì)作用有多大。,二、信度的作用,信度高低的指標(biāo)通常以相關(guān)系數(shù)表示，稱為信度系數(shù)。信度系數(shù)一般是同一樣本所得的兩組資料的相關(guān)，在理論上表示為實(shí)得分?jǐn)?shù)與真實(shí)分?jǐn)?shù)相關(guān)的平方。信度系數(shù)公式：,它是,其中,：,真實(shí)分?jǐn)?shù)標(biāo)準(zhǔn)差與實(shí)得分?jǐn)?shù)標(biāo)準(zhǔn)差的比率。,其中，r,xr,有時(shí)也稱為信度指數(shù)，它是真實(shí)分?jǐn)?shù)標(biāo)準(zhǔn)差與實(shí)得分?jǐn)?shù)標(biāo)準(zhǔn)差的比率。,還可通過分析個(gè)人分?jǐn)?shù)再測(cè)時(shí)的變化（誤差）來考察信度。兩次測(cè)評(píng)分?jǐn)?shù)的差異越大，信度就越低。,在人員測(cè)評(píng)中，對(duì)信度

8、系數(shù)進(jìn)行確定通常有以下兩方面的作用：,方差：即每個(gè)被測(cè)評(píng)者得分與其算術(shù)平均數(shù)差的平方和與總個(gè)數(shù)之商。公式：,標(biāo)準(zhǔn)差公式：,1解釋真實(shí)分?jǐn)?shù)與實(shí)得分?jǐn)?shù)的相關(guān)性,總的方差（即標(biāo)準(zhǔn)差的平方的縮略語）中有多少比例是由真實(shí)分?jǐn)?shù)的方差決定的。,2說明可以接受的信度水準(zhǔn),一般的能力與成就測(cè)評(píng)的信度系數(shù)在090以上；人格、興趣等測(cè)評(píng)的信度系數(shù)通常在0800.85之間。r,xx,070時(shí)，不能用測(cè)評(píng)對(duì)個(gè)人作評(píng)價(jià)，也不能在團(tuán)體間作比較；,當(dāng)r,xx,070時(shí)，可用于團(tuán)體間比較；r,xx,085時(shí)，可用于鑒別個(gè)人情況。,三、如何評(píng)估人員測(cè)評(píng)的信度,1.重測(cè)信度又稱為穩(wěn)定性系數(shù),用同一測(cè)評(píng)，在不同時(shí)間對(duì)同一群體施測(cè),N

9、為兩次測(cè)評(píng)結(jié)果數(shù)據(jù)配對(duì)總數(shù)；x被分析的測(cè)評(píng)結(jié)果；y為重復(fù)測(cè)評(píng)得到的結(jié)果。,在進(jìn)行重測(cè)信度的評(píng)估時(shí)，還應(yīng)注意以下兩個(gè)重要問題：,1）重測(cè)信度一般只反映由隨機(jī)因素導(dǎo)致的變化，而不反映被試行為的長(zhǎng)久變化。,2）不同行為受隨機(jī)誤差的影響不同。,兩次，這兩次測(cè)評(píng)分?jǐn)?shù)的相關(guān)系數(shù)即為重測(cè)系數(shù)。一個(gè)測(cè)評(píng)的重測(cè)信度越高，說明測(cè)評(píng)的結(jié)果越一致、越可靠。積差相關(guān)公式：,2.復(fù)本信度又稱等值性系數(shù)。,它是以兩個(gè)測(cè)評(píng)復(fù)本（功能等值但題目?jī)?nèi)容不同）來測(cè)評(píng)同一群體，然后求得應(yīng)試者在這兩個(gè)測(cè)評(píng)上得分的相關(guān)系數(shù)（積差相關(guān)）。復(fù)本信度的高低反映了這兩個(gè)測(cè)評(píng)復(fù)本在內(nèi)容上的等值性程度。兩個(gè)等值的測(cè)評(píng)互為復(fù)本。,3內(nèi)部一致性信度,內(nèi)部

10、一致性信度主要反映的是測(cè)評(píng)內(nèi)部題目之間的關(guān)系，考察測(cè)評(píng)的各個(gè)題目是否測(cè)評(píng)了相同的內(nèi)容或特質(zhì)。,1）分半信度,分半信度系數(shù)是通過將測(cè)評(píng)分成兩半，計(jì)算這兩半測(cè)評(píng)之間的相關(guān)性而獲得的信度系數(shù)。,分半法經(jīng)常會(huì)低估信度，必須進(jìn)行修正。斯皮爾曼一布朗公式可以估計(jì)增長(zhǎng)或縮短一個(gè)測(cè)評(píng)對(duì)其信度系數(shù)的影響，用這個(gè)公式進(jìn)行修正的前提條件為：兩半測(cè)評(píng)的方差相等。,分半法中的斯皮爾曼一布朗修正公式為：,其中，r,hh,為兩半測(cè)評(píng)的相關(guān)系數(shù)，r,xx,為估計(jì)或修正后的信度。,當(dāng)兩半測(cè)評(píng)的方差不同時(shí)，應(yīng)采用盧倫公式或弗拉納根公式進(jìn)行修正。,盧倫公式只要求將被試在兩半測(cè)評(píng)的分?jǐn)?shù)之差的方差（S,d,2,）和測(cè)評(píng)總分的方差(S,

11、x,2,)代入如下公式即可直接計(jì)算分半信度：,其中S,d,2,為兩測(cè)評(píng)分?jǐn)?shù)之差的方差；S,x,2,為測(cè)評(píng)總分的方差。,也可以采用弗拉納根公式直接計(jì)算分半信度：,S,a,2,與,S,b,2,為兩個(gè)分測(cè)評(píng)分?jǐn)?shù)的方差；,S,x,2,為總分方差。,2）同質(zhì)性信度,同質(zhì)性是指所有測(cè)評(píng)題目測(cè)評(píng)的只是單一特質(zhì)或內(nèi)容，表現(xiàn)為所有測(cè)評(píng)題目得分的一致性。樂觀情緒特質(zhì)和外向特質(zhì)、預(yù)測(cè)和決策、監(jiān)督與控制等都是不太容易區(qū)分的。,如果需要在一個(gè)測(cè)評(píng)中測(cè)評(píng)不同的內(nèi)容，就應(yīng)該將測(cè)評(píng)設(shè)計(jì)為幾個(gè)分測(cè)評(píng)，每個(gè)分測(cè)評(píng)測(cè)評(píng)一種內(nèi)容。例如，16PF人格測(cè)評(píng)就是包含16個(gè)分量表的測(cè)評(píng)，每個(gè)分量表只對(duì)一種人格特質(zhì)進(jìn)行測(cè)評(píng)。,常用的同質(zhì)性信度

12、計(jì)算方法是庫德理查遜估計(jì)方法。計(jì)算公式有庫德理查遜20號(hào)公式（簡(jiǎn)稱（KR20）和21號(hào)公式（KR21）。,下面是,KR20,公式,：,其中,n,為測(cè)評(píng)題目數(shù)，,為通過 題的人數(shù)比例；,q,i,為未通過該題的人數(shù)比例；=1;,為所有題目答對(duì)與答錯(cuò)人數(shù)百分比乘積的總和。,四、評(píng)分者信度,在有些測(cè)評(píng)中，評(píng)分者的評(píng)判也是誤差的來源之一。,評(píng)分者信度是指不同評(píng)分者對(duì)同樣對(duì)象進(jìn)行評(píng)定時(shí)的一致性。最簡(jiǎn)單的估計(jì)方法就是隨機(jī)抽取若干份答卷，由兩個(gè)獨(dú)立的評(píng)分者打分，再求每份答卷兩個(gè)評(píng)判分?jǐn)?shù)的相關(guān)系數(shù)。這種相關(guān)系數(shù)的計(jì)算可以用積差相關(guān)方法。,如果評(píng)分者在三人以上，而且又采用等級(jí)記分時(shí)，就需要用肯德爾和諧系數(shù)來求評(píng)分

13、者信度。其公式為：,其中，,K,為評(píng)分者人數(shù)，,N,為被評(píng)定的人數(shù)或答卷數(shù)；Ri為評(píng)分者給某人（或某一答卷）評(píng)分之和。,為每一個(gè)對(duì)象被評(píng)等級(jí)。,評(píng)分者,答卷編號(hào),一,二,三,四,五,六,甲,4,3,1,2,5,6,乙,5,3,2,1,4,6,丙,4,1,2,3,5,6,丁,6,4,1,2,3,5,R,i,19,11,6,8,17,23,例如，有4名評(píng)分者，對(duì)6份答卷進(jìn)行評(píng)分，所評(píng)等級(jí)如下：,五、影響信度的因素,1樣本團(tuán)體的性質(zhì),1)樣本團(tuán)體的分?jǐn)?shù)分布,分?jǐn)?shù)分布越廣，信度系數(shù)就相對(duì)越高，分?jǐn)?shù)分布越窄，信度系數(shù)就會(huì)越低。,2)樣本團(tuán)體的異質(zhì)性,一般來說，取樣團(tuán)體的異質(zhì)性越大，信度系數(shù)就相對(duì)越高。,

14、但是在測(cè)評(píng)中,往往會(huì)因?yàn)閳F(tuán)體過于同質(zhì)或過于異質(zhì)而出現(xiàn)信度被低估或高估的情況。這種情況下，可以采用下面的公式對(duì)求出的信度進(jìn)行修正：,其中,為估計(jì)的信度；為取樣的信度；S,X,為取樣團(tuán)體的標(biāo)準(zhǔn)差；為估計(jì)團(tuán)體（取樣的總體）的標(biāo)準(zhǔn)差。,3)不同團(tuán)體間能力水平的差異,2.測(cè)評(píng)的長(zhǎng)度,信度還會(huì)受測(cè)評(píng)長(zhǎng)度（即題目的多少）的影響。一般來說，測(cè)評(píng)越長(zhǎng)，信度值越高。,3.測(cè)評(píng)的難度,測(cè)評(píng)的難度也會(huì)對(duì)信度產(chǎn)生影響。如果一個(gè)測(cè)評(píng)的難度太低，出現(xiàn)天花板效應(yīng)；如果難度太大，出現(xiàn)地板效應(yīng)，,第三節(jié) 項(xiàng)目分析,項(xiàng)目適合度,在素質(zhì)測(cè)評(píng)中，項(xiàng)目不僅僅是試題，更多的是一些咨詢問題或觀察評(píng)定點(diǎn)（指標(biāo)），它們無難易之分，適合度指的是被

15、測(cè)者行為符合項(xiàng)目測(cè)評(píng)標(biāo)準(zhǔn)的程度。,當(dāng)項(xiàng)目為試題時(shí)，適合度即難度；,當(dāng)項(xiàng)目是問卷中的問題時(shí)，適合度即所有選對(duì)的被測(cè)者人數(shù)與總?cè)藬?shù)之比；,當(dāng)項(xiàng)目為觀察評(píng)定量表中的指標(biāo)時(shí)，適合度即所有被測(cè)得分平均值與指標(biāo)滿分值之比。,項(xiàng)目區(qū)分度,又稱鑒別力，指項(xiàng)目得分對(duì)被試實(shí)際能力或心理特質(zhì)水平的區(qū)分能力或鑒別力，也即項(xiàng)目得分的高低與被試實(shí)際能力或心理特質(zhì)水平高低的一致性程度。項(xiàng)目區(qū)分度的計(jì)算方法主要有相關(guān)分析法（包括積差相關(guān)法、二列相關(guān)法和點(diǎn)二列相關(guān)法）、極端組法（鑒別度指數(shù)、臨界比）和因素分析法,項(xiàng)目獨(dú)立性,在能力測(cè)評(píng)中，常常需要項(xiàng)目之間有一定的獨(dú)立性。所謂獨(dú)立性即非相關(guān)性或低相關(guān)性。獨(dú)立性的分析一般采用項(xiàng)目間

16、分?jǐn)?shù)的相關(guān)系數(shù)揭示，根據(jù)實(shí)際得分分布是否均勻，可以分別采用r系數(shù)法和列聯(lián)表檢驗(yàn)法。,第四節(jié) 其他指標(biāo)的分析,客觀性,測(cè)評(píng)的客觀性由測(cè)評(píng)方法的客觀性與測(cè)評(píng)者的客觀性兩方面構(gòu)成,總體分布與水平,總體分布指測(cè)評(píng)結(jié)果在各水平層次上的分布情況，總體水平一般指對(duì)測(cè)評(píng)結(jié)果集中量的分析。,區(qū)分性與差異性,測(cè)評(píng)工具的區(qū)分性是指把不同水平的被測(cè)者區(qū)分開來的程度，測(cè)評(píng)區(qū)分性一般通過測(cè)評(píng)結(jié)果差異性的分析來揭示。,誤差,誤差是指通過測(cè)評(píng)結(jié)果的定性定量分析，判斷測(cè)評(píng)結(jié)果是否受到心理效應(yīng)的嚴(yán)重影響。分析的主要內(nèi)容是心理誤差、標(biāo)準(zhǔn)誤差以及單個(gè)測(cè)評(píng)結(jié)果的致信區(qū)間。,誤差,心理誤差,哈羅效應(yīng)誤差,哈羅效應(yīng)又稱暈輪效應(yīng)，是指測(cè)評(píng)者往往會(huì)因?yàn)閷?duì)被測(cè)評(píng)者整體印象的好壞從而影響他對(duì)每個(gè)素質(zhì)的測(cè)評(píng)。例如因看到一個(gè)人相貌端莊、嚴(yán)肅，就容易產(chǎn)生此人責(zé)任感很強(qiáng)的看法。由哈羅效應(yīng)引起的誤差叫哈羅效應(yīng)誤差。,哈羅效應(yīng)還表現(xiàn)為因?qū)δ硞€(gè)重要因素的印象好壞而對(duì)整體評(píng)價(jià)產(chǎn)生影響，所謂一好百好，一丑白丑。雖然這是一種泛化影響，而前者是一種演繹影響。,趨中心理誤差,趨中心理誤差是指因?yàn)闇y(cè)評(píng)者既不愿把被測(cè)評(píng)的過好，也不愿把被測(cè)評(píng)的過差而過于集中在中間段而