心理和教育測量學(xué)越來越變成一門如何用統(tǒng)計(jì)手段分析測驗(yàn)分?jǐn)?shù)的學(xué)科,而非怎樣測量心理或教育屬性的理論,造成了效度分析和測驗(yàn)設(shè)計(jì)中的諸多問題。本書在剖析既有問題基礎(chǔ)上,提出并構(gòu)建了一種理論驅(qū)動(dòng)的測量學(xué)模式,提出并系統(tǒng)構(gòu)建了一種理論驅(qū)動(dòng)的測量學(xué)模式。這種測量學(xué)模式綜合了當(dāng)前國際上在測量基本理論、效度研究、認(rèn)知項(xiàng)目設(shè)計(jì)和自動(dòng)化項(xiàng)目生成、多維測量模型建模和計(jì)算機(jī)自適應(yīng)測驗(yàn)等相關(guān)領(lǐng)域的最近研究成果和發(fā)展趨勢。
長期以來,心理和教育測量學(xué)越來越演變成一種去理論化的、過于功能主義和實(shí)用主義取向的應(yīng)用學(xué)科。這種取向使得心理和教育測量學(xué)蛻變?yōu)橐婚T如何用統(tǒng)計(jì)手段分析測驗(yàn)分?jǐn)?shù)的技術(shù)學(xué)科, 而不是怎樣合理和科學(xué)地測量心理或教育領(lǐng)域中的屬性或建構(gòu)的測量理論。
本書剖析了當(dāng)前心理和教育測量學(xué)研究范式中的既有問題,并在此基礎(chǔ)上提出并構(gòu)建了一種理論驅(qū)動(dòng)的測量學(xué)模式。該模式綜合了當(dāng)前國際上測量基本理論、效度研究、認(rèn)知項(xiàng)目設(shè)計(jì)和自動(dòng)化項(xiàng)目生成、多維測量模型建模和計(jì)算機(jī)自適應(yīng)測驗(yàn)等相關(guān)領(lǐng)域的最近研究成果和發(fā)展趨勢,按照測量的本質(zhì)、測量所需建構(gòu)理論、理論驅(qū)動(dòng)的測驗(yàn)編制與項(xiàng)目設(shè)計(jì)、基于理論的測驗(yàn)分析與建模這樣一種思路重構(gòu)了心理和教育測量學(xué)的基本框架和應(yīng)該關(guān)注的研究問題。
本書不同于常見心理或教育測量學(xué)的基本思路,即先介紹測驗(yàn)信度或效度,然后介紹不同類型的已有測驗(yàn),而是沿著基本概念、工具開發(fā)、建模分析和推斷解釋的邏輯思路進(jìn)行架構(gòu),提出了對什么是測量、建構(gòu)理論等方面新的理解和認(rèn)識(shí),強(qiáng)調(diào)建構(gòu)理論、項(xiàng)目設(shè)計(jì)和測量學(xué)建模之間整合關(guān)系。
楊向東,博士,美國堪薩斯大學(xué)量化心理學(xué)博士,華東師范大學(xué)教育科學(xué)學(xué)院副院長,課程與教學(xué)研究所副教授。主要研究領(lǐng)域?yàn)榻逃郎y量與評價(jià)、研究方法和應(yīng)用統(tǒng)計(jì)。已出版著作包括《課堂評價(jià):促進(jìn)學(xué)生學(xué)習(xí)和發(fā)展》,華師大出版社2012年出版。
第一章 導(dǎo)論
一、心理與教育測量學(xué)的迷失
二、去理論化和功能主義的測量研究范式
三、測驗(yàn)效度與效度檢驗(yàn)的矯枉
(一)去理論化的內(nèi)容效度
(二)功能主義觀下的建構(gòu)效度
(三)效標(biāo)關(guān)聯(lián)效度的內(nèi)涵變遷
(四)偷換概念的效度研究
四、測驗(yàn)項(xiàng)目設(shè)計(jì):藝術(shù)還是科學(xué)
五、理論驅(qū)動(dòng)測量學(xué)的回歸
(一)建構(gòu)理論和測量理論整合的科學(xué)基礎(chǔ)
(二)測量理論內(nèi)部的變革
六、心理與教育測量學(xué)中的“測量”觀
(一)測量的經(jīng)典觀
(二)測量經(jīng)典觀的流放和Stevens測量觀的興起
(三)聯(lián)合測量理論
七、結(jié)語
第二章 什么是測量
一、測量的內(nèi)涵
(一)屬性的可加性結(jié)構(gòu)
(二)連續(xù)量化屬性
(三)連續(xù)性與相同測量單位
(四)測量的界定
(五)理解測量結(jié)果的實(shí)質(zhì)含義
二、測量在科學(xué)研究中的位置
(一)觀念的演化歷程
(二)科學(xué)理論的闡述方式
(三)測量在科學(xué)發(fā)展中的作用和局限
第三章 心理與教育領(lǐng)域中的測量
一、理想心理和教育測量的特征
二、心理和教育測量的基本問題
(一)心理屬性的本體論問題
(二)如何判定心理屬性是否是連續(xù)量化屬性
三、心理與教育屬性測量尺度的構(gòu)建
(一)哥特曼尺度(Guttman seale)
(二)拉希尺度構(gòu)建法(Rasch scaling)
(三)瑟斯頓尺度構(gòu)建法和項(xiàng)目反應(yīng)理論
四、本章結(jié)語
第四章 建構(gòu)和建構(gòu)理論
一、什么是建構(gòu)
(一)建構(gòu)作為一種理論意義上的變量
(二)理論建構(gòu)、操作定義中的建構(gòu)以及觀測指標(biāo)之間的關(guān)系
二、建構(gòu)究竟是一種什么性質(zhì)的變量
(一)不同觀點(diǎn)下建構(gòu)的性質(zhì)
(二)心理或教育領(lǐng)域中的建構(gòu)是一種什么性質(zhì)的存在
三、理解建構(gòu)和觀測指標(biāo)之間的因果關(guān)系
(一)被試間和被試內(nèi)因果關(guān)系(Between-subject or within-subject causalitv)
(二)同質(zhì)性與異質(zhì)性因果關(guān)系(homogenous or heterogeneous causality)
四、心理或教育測量領(lǐng)域中的建構(gòu)理論
(一)宏觀層面的建構(gòu)理論
(二)中層的建構(gòu)理論
(三)微觀的建構(gòu)理論
五、本章小結(jié):幾個(gè)尚未解決的問題
(一)建構(gòu)、領(lǐng)域和任務(wù)
(二)建構(gòu)在哪里?
(三)重新審視因果機(jī)制同質(zhì)性的問題
第五章 測驗(yàn)設(shè)計(jì)和項(xiàng)目生成
一、測驗(yàn)設(shè)計(jì)與開發(fā)模式
(一)測驗(yàn)設(shè)計(jì)的傳統(tǒng)理論取向
(二)理論驅(qū)動(dòng)的測驗(yàn)設(shè)計(jì)取向
二、項(xiàng)目設(shè)計(jì)的發(fā)展
(一)功能取向的項(xiàng)目生成方法
(二)層面理論和匹配語句(mapping-sentence)項(xiàng)目設(shè)計(jì)法
(三)認(rèn)知項(xiàng)目設(shè)計(jì)法(cognitive approach to itam design)
三、當(dāng)前趨勢和未來發(fā)展方向
第六章 測驗(yàn)數(shù)據(jù)分析
一、理論驅(qū)動(dòng)的測量學(xué)分析的基本問題
(一)測量即按照規(guī)則賦值的過程
(二)測量即基于證據(jù)的推理過程
(三)測量即一種結(jié)構(gòu)理論
(四)測量的經(jīng)典觀
(五)基于建構(gòu)理論的測量學(xué)分析
二、理論驅(qū)動(dòng)的測量尺度分析
(一)可尺度化(scalabmty)與測量尺度的存在(existence of a scale)
(二)測驗(yàn)數(shù)據(jù)的維度
(三)測量尺度特征的評估
三、實(shí)質(zhì)理論對測量尺度的解釋程度分析
(一)測量工具或尺度的結(jié)構(gòu)性假設(shè)檢驗(yàn)
(二)項(xiàng)目結(jié)構(gòu)背后的認(rèn)知成分分析
(三)建構(gòu)的法則廣度分析
(四)更為復(fù)雜的情況
四、其他方面的測驗(yàn)學(xué)分析
參考文獻(xiàn)
《理論驅(qū)動(dòng)的心理與教育測量學(xué)》:
建構(gòu)效度的另一個(gè)方面是法則廣度(nomothetic span),指的是當(dāng)前測驗(yàn)與其他變量之間的關(guān)系網(wǎng)絡(luò)。法則廣度類似于Cronbach和Meehl(1955)提出的法則網(wǎng)絡(luò),對應(yīng)的數(shù)據(jù)是當(dāng)前測驗(yàn)分?jǐn)?shù)與其他測驗(yàn)分?jǐn)?shù)或變量的相關(guān)矩陣。當(dāng)前測驗(yàn)與其他測驗(yàn)或變量相關(guān)關(guān)系的頻率、大小和模式,表明當(dāng)前測驗(yàn)在測量個(gè)別差異中的效用和重要程度。如果某建構(gòu)在特定領(lǐng)域中具有核心位置,任何與該建構(gòu)關(guān)系密切的其他變量都應(yīng)該與測量該建構(gòu)的測驗(yàn)分?jǐn)?shù)有較高的相關(guān),則對應(yīng)法則廣度就涉及面較廣。此外,當(dāng)前測驗(yàn)與其他測驗(yàn)相關(guān)矩陣的特定模式還在一定程度上表明了當(dāng)前測驗(yàn)所測的建構(gòu)[見Cronbach和Meehl(1955),利用法則網(wǎng)絡(luò)推斷測驗(yàn)建構(gòu)效度的思考]。
Embretson對建構(gòu)效度的二分法開啟了測量學(xué)模式與認(rèn)知研究相結(jié)合的可能性。在功能主義研究范式下,項(xiàng)目反應(yīng)的因果機(jī)制無法成為心理學(xué)研究的對象,“建構(gòu)表征不可能成為一個(gè)獨(dú)立的研究目標(biāo)”(Embretson,1983,p.180)。因而,傳統(tǒng)測驗(yàn)效度理論關(guān)注更多的是所測建構(gòu)的法則廣度,利用的多是測驗(yàn)分?jǐn)?shù)(或項(xiàng)目反應(yīng))之間的相關(guān)矩陣,采用的主要是因素分析式方法。建構(gòu)表征概念的提出,明確地將能夠解釋測驗(yàn)項(xiàng)目反應(yīng)機(jī)制的建構(gòu)理論置于測驗(yàn)效度及其檢驗(yàn)的首要位置。在這一框架下,效度理論的內(nèi)涵和驗(yàn)證方法發(fā)生了實(shí)質(zhì)性的改變。測驗(yàn)分?jǐn)?shù)與其他測驗(yàn)分?jǐn)?shù)的相關(guān)程度(傳統(tǒng)意義上的效標(biāo)效度)以及不同測驗(yàn)項(xiàng)目反應(yīng)的潛在維度(傳統(tǒng)意義上的結(jié)構(gòu)效度)雖然仍然是重要證據(jù),但已經(jīng)不是核心證據(jù)。在新的效度理論下,測驗(yàn)項(xiàng)目解決所需的認(rèn)知加工過程和結(jié)構(gòu)是否是對所測量的建構(gòu)理論的一個(gè)合理表征,變成了效度檢驗(yàn)的核心問題。這樣一來,認(rèn)知心理學(xué)的理論和方法也就被合理地納入了測驗(yàn)建構(gòu)效度及其檢驗(yàn)的理論框架內(nèi)。更為主要的是,建構(gòu)表征概念的提出,使認(rèn)知研究的理論成果和實(shí)驗(yàn)技術(shù)成為一種新型測驗(yàn)項(xiàng)目設(shè)計(jì)和測驗(yàn)編制模式的重要基礎(chǔ)。這種項(xiàng)目設(shè)計(jì)通常被稱為認(rèn)知項(xiàng)目設(shè)計(jì)(cognitive item design; Embretson,1994,1998)或項(xiàng)目生成(cognitive item generation; Irvine & Kyllonen,2002).認(rèn)知項(xiàng)目設(shè)計(jì)的基本思路是將認(rèn)知心理學(xué)的研究方法和發(fā)現(xiàn)應(yīng)用到測驗(yàn)項(xiàng)目的設(shè)計(jì)過程中。在確定了所要測量的建構(gòu)之后,設(shè)計(jì)人員運(yùn)用文獻(xiàn)研究、言語報(bào)告、認(rèn)知成分分析技術(shù)以及實(shí)驗(yàn)室研究等多種方法,對所選擇的認(rèn)知任務(wù)類型進(jìn)行詳盡的任務(wù)分析和研究。在此基礎(chǔ)上,設(shè)計(jì)人員研發(fā)相應(yīng)的認(rèn)知模型,明確描述個(gè)體在解決該類任務(wù)時(shí)所需要的認(rèn)知過程、策略和知識(shí)結(jié)構(gòu),及其對任務(wù)難度的影響;谡J(rèn)知模型,設(shè)計(jì)人員鑒別該類測驗(yàn)任務(wù)的一系列具體的刺激特征,通過實(shí)驗(yàn)研究建立這些具體特征與任務(wù)解決的不同認(rèn)知成分和過程之間的關(guān)系。然后,設(shè)計(jì)人員就可以通過操縱任務(wù)中的這些具體特征,從而控制解決任務(wù)所需要的認(rèn)知過程及其難度。這樣一來,即使所設(shè)計(jì)的項(xiàng)目沒有進(jìn)行試測,設(shè)計(jì)人員也可以確定所設(shè)計(jì)的測驗(yàn)項(xiàng)目的建構(gòu)效度。由于建立了任務(wù)類型中的具體特征與相應(yīng)的認(rèn)知過程的影響關(guān)系,設(shè)計(jì)人員可以運(yùn)用相應(yīng)的測量學(xué)模型標(biāo)定任務(wù)特征對測驗(yàn)項(xiàng)目的測量學(xué)特征(如難度或者鑒別力等)的影響程度。更為重要的是,設(shè)計(jì)人員可以通過變換測驗(yàn)項(xiàng)目中具體特征的組合,生成具有指定測量學(xué)指標(biāo)的項(xiàng)目(Embretson,1999),從而使得計(jì)算機(jī)輔助的自動(dòng)化項(xiàng)目生成(automaticitem g eneration)成為可能(Embretson & Yang,2007)。
目前,眾多心理與教育測量學(xué)家對認(rèn)知測驗(yàn)項(xiàng)目設(shè)計(jì)的理論和技術(shù)進(jìn)行了多方面的研究。近年來,該方法被運(yùn)用到心理旋轉(zhuǎn)、隱藏圖形識(shí)別、瑞文矩陣推理、空間折疊、類比推理、序列完成等傳統(tǒng)智力和能力傾向測驗(yàn)的任務(wù)類型(Irvine & Kyllonen,2002)。隨著研究的深入,對閱讀理解、數(shù)學(xué)問題解決等復(fù)雜認(rèn)知領(lǐng)域問題的研究也正在逐步展開(Arendasy & Sommer,2007;Daniel&Embretson,2010;Gorin,2005)。以認(rèn)知項(xiàng)目設(shè)計(jì)為基礎(chǔ)的自動(dòng)化項(xiàng)目生成也成為近年來心理測量中比較活躍的研究領(lǐng)域(Alves,Gierl,&Lai,2010;Gierl&Haladyna,2012)。
認(rèn)知研究范式使得解釋測驗(yàn)項(xiàng)目反應(yīng)機(jī)制的建構(gòu)理論成為可能,測驗(yàn)效度理論和項(xiàng)目設(shè)計(jì)技術(shù)的變革則為建構(gòu)理論與測量理論相結(jié)合提供了理論框架和實(shí)踐路徑。但是,這些只是解決了“psychometrics”(心理測量學(xué))中“psycho”(心理)的部分,“metric"(尺度)部分的問題仍有待解決。在深層意義上,尺度問題的背后是對心理與教育測量學(xué)中“測量”這一概念內(nèi)涵的理解和界定。這種理解深刻影響著心理與教育測量學(xué)的理論取向和實(shí)踐模式。
……