《多元廣義線性模型》介紹了廣義線性模型的多元形式,并展示了多元廣義線性模型的幾種應(yīng)用。首先,作者回顧了一元回歸分析,然后介紹了一些示例樣本數(shù)據(jù),并對(duì)廣義線性模型分析的模型識(shí)別進(jìn)行了討論,在此基礎(chǔ)上,作者探討了模型參數(shù)估計(jì)、模型擬合優(yōu)度的評(píng)價(jià)及相應(yīng)的多元檢驗(yàn)統(tǒng)計(jì)量,以及對(duì)模型的假設(shè)檢驗(yàn),最后介紹了多元方法分析的線性模型解決方法和典型相關(guān)分析。
人類學(xué)、社會(huì)學(xué)、經(jīng)濟(jì)學(xué)、政治學(xué)、心理學(xué)等學(xué)科常常需要用到多元回歸分析,通過(guò)此方法來(lái)研究變量之間的關(guān)系。廣義線性模型是回歸模型的一個(gè)延伸,是處理定量赫爾定性的變量分析。多元回歸分析涵蓋了所有線性模型的數(shù)據(jù)分析系統(tǒng),包括處理連續(xù)變量的分析模型、處理分類變量的模型以及同時(shí)處理前兩者的模型;貧w模型在處理不同類型的預(yù)測(cè)變量時(shí)非常靈活,因此多元廣義線性模型在很多學(xué)科領(lǐng)域都得到了廣泛的運(yùn)用。
在社會(huì)科學(xué)、行為科學(xué)以及自然科學(xué)中,很少有數(shù)據(jù)分析技術(shù)比多元回歸分析更為重要。在各個(gè)領(lǐng)域,包括人類學(xué)(Cardoso & Garcia, 2009)、經(jīng)濟(jì)學(xué)(Card, Dobkin & Maestas, 2009)、政治學(xué) (Baek, 2009)、社會(huì)學(xué)(Arthur, Van Buren & Del Campo, 2009),以及心理學(xué)的各個(gè)分支(Ellis, MacDonald, Lincoln, & Cabral, 2008; Pekrun, Elliot, & Maier, 2009)中, 都可見(jiàn)多元回歸分析的示范性應(yīng)用。
在以上每個(gè)領(lǐng)域中,研究者的目的是研究變量之間的關(guān)系。用數(shù)據(jù)擬合回歸模型可以使分析者能夠用一個(gè)或多個(gè)預(yù)測(cè)變量來(lái)解釋一個(gè)因變量?jī)?nèi)的變化。廣義線性模型是回歸模型的一個(gè)延伸,用來(lái)處理定量和定性的變量分析。 眾所周知,多元回歸分析是一個(gè)涵蓋所有線性模型的數(shù)據(jù)分析系統(tǒng) (Cohen, 1968), 包括了處理連續(xù)變量的分析模型(經(jīng)典回歸分析)、處理分類變量的模型(經(jīng)典方差分析),以及同時(shí)處理連續(xù)和分類預(yù)測(cè)變量的模型。
這些模型共同定義了廣義線性模型;貧w模型在處理許多不同類型的預(yù)測(cè)變量方面是非常靈活的,包括連續(xù)變量的交互作用,分類變量的交互作用,以及連續(xù)和分類變量的交互作用。 這些組合提供了在更廣泛的范圍內(nèi)進(jìn)行分析的可能性,這解釋了為什么這項(xiàng)技術(shù)在所有科學(xué)領(lǐng)域內(nèi),包括從人類學(xué)到動(dòng)物學(xué),都有如此廣泛的運(yùn)用。
本書(shū)的目的是介紹廣義線性模型的多元形式,以及展示它的幾種應(yīng)用。多元模型的特點(diǎn)是具有不止一個(gè)因變量,通過(guò)擬合一個(gè)模型來(lái)同時(shí)分析這些變量。很多多元線性模型分析的概念和統(tǒng)計(jì)學(xué)基礎(chǔ)是對(duì)一元回歸分析的直接推廣,我們將在本章中簡(jiǎn)單回顧一元回歸分析,來(lái)為之后的章節(jié)做鋪墊。第二章中,我們介紹了會(huì)一直用到的示例樣本數(shù)據(jù),并對(duì)廣義線性模型(GLM) 分析中的第一步--模型識(shí)別--進(jìn)行討論。第三、四、五章的內(nèi)容涉及到了模型參數(shù)的估計(jì),模型擬合優(yōu)度的評(píng)價(jià)及相應(yīng)的多元檢驗(yàn)統(tǒng)計(jì)量, 以及對(duì)模型的假設(shè)檢驗(yàn)。第六章介紹了多元方差分析的線性模型解決方法, 第七章用對(duì)典型相關(guān)分析的介紹來(lái)結(jié)束本書(shū)。典型相關(guān)分析涵蓋了之前章節(jié)介紹過(guò)的所有線性模型。本文最重要的目的是從一個(gè)整合的視角把所有不同的技術(shù)用一個(gè)模型框架展現(xiàn)出來(lái)。
理查德?F.哈斯(Richard F. Haase),美國(guó)紐約州立大學(xué)奧爾巴尼分校教育學(xué)院心理咨詢部榮譽(yù)教授、研究教授,以及公共衛(wèi)生學(xué)院健康與環(huán)境研究所的研究員。先后在馬薩諸塞大學(xué)阿默斯特分校、得州理工大學(xué)和紐約州立大學(xué)奧爾巴尼分校教授研究方法、統(tǒng)計(jì)學(xué)和數(shù)據(jù)分析。研究興趣集中在研究方法、一元和多元統(tǒng)計(jì)學(xué)。
一元廣義線性模型的簡(jiǎn)介與回顧
一元線性模型分析回顧
識(shí)別一元回歸模型
模型的參數(shù)估計(jì)
證實(shí)最小二乘估計(jì)的有效性所需要的假設(shè)
分解平方和以及定義擬合優(yōu)度的測(cè)量
全模型、限制模型以及半偏相關(guān)系數(shù)的平方
回歸系數(shù)和判定系數(shù)的假設(shè)檢驗(yàn)
廣義線性假設(shè)檢驗(yàn)
模型整體假設(shè) β_1= β_2= β_3=0 和 ρ_(Y�6�1X_1 X_2 X_3)^2 的檢驗(yàn)
用廣義線性檢驗(yàn)方法評(píng)估X1, X2和 X3 的單獨(dú)貢獻(xiàn)
用廣義線性檢驗(yàn)檢驗(yàn)更為復(fù)雜的假設(shè)
從一元到多元廣義線性模型的一般化
多元廣義線性模型的結(jié)構(gòu)識(shí)別
模型的數(shù)學(xué)識(shí)別
定義預(yù)測(cè)變量和標(biāo)準(zhǔn)變量的實(shí)質(zhì)作用
示例數(shù)據(jù)和模型識(shí)別
廣義多元線性模型的參數(shù)估計(jì)
例1:性格特征與成功的工作申請(qǐng)
用標(biāo)準(zhǔn)得分的形式估計(jì)多元線性模型中的參數(shù)
例2:多氯聯(lián)苯——心血管疾病的風(fēng)險(xiǎn)因素:認(rèn)知功能數(shù)據(jù)
對(duì)多元線性模型分析的電腦程序的一個(gè)說(shuō)明
本章小結(jié)與回顧
多元SSCP分解、關(guān)聯(lián)強(qiáng)度的測(cè)量和檢驗(yàn)統(tǒng)計(jì)量
在多元廣義線性模型中SSCP的分解
例1:性格與工作申請(qǐng)
例2:PCB 數(shù)據(jù)
SSCP 矩陣的進(jìn)一步分解:全模型、限制模型以及定義Q_H
一些關(guān)聯(lián)強(qiáng)度的多元測(cè)度的概念定義
一個(gè)不對(duì)稱的R^2的多元測(cè)度——Hooper跡相關(guān)系數(shù)平方
例子:性格數(shù)據(jù)和PCB數(shù)據(jù)中Hooper’s r ?^2
一元和多元R^2之間的關(guān)系和它們的檢驗(yàn)統(tǒng)計(jì)量
Pillai跡 V和相應(yīng)的關(guān)聯(lián)強(qiáng)度測(cè)度R_V^2
Wilks’ Λ 及其關(guān)聯(lián)強(qiáng)度測(cè)度
Hotelling跡 Τ及其關(guān)聯(lián)強(qiáng)度測(cè)度R_Τ^2
Roy最大特征根及其關(guān)聯(lián)強(qiáng)度度量r_(C_max)^2
通過(guò)一元回歸模型建立Pillai跡V和Wilks’Λ
多元廣義線性模型中的假設(shè)檢驗(yàn)
多元廣義線性檢驗(yàn)
多元檢驗(yàn)統(tǒng)計(jì)量及其近似F檢驗(yàn)
對(duì)Pillai跡V的近似F檢驗(yàn)
Wilks’Λ的近似F檢驗(yàn)
Hotelling跡Τ的近似F檢驗(yàn)
Roy最大特征根θ的近似F檢驗(yàn)
對(duì)一個(gè)或一組預(yù)測(cè)變量的廣義線性檢驗(yàn)
對(duì)一個(gè)預(yù)測(cè)變量的多元假設(shè)檢驗(yàn):性格數(shù)據(jù)
一個(gè)預(yù)測(cè)變量的多元假設(shè)檢驗(yàn):PCB數(shù)據(jù)
一組預(yù)測(cè)變量的多元假設(shè)檢驗(yàn)和其他復(fù)雜假設(shè)
檢驗(yàn)其他的復(fù)雜的多元假設(shè)
適用于所有多元線性模型分析的假設(shè)
編碼設(shè)計(jì)矩陣和方差模型的多元分析
變量和向量的差異
用編碼向量來(lái)表示一個(gè)分類變量
通過(guò)廣義線性檢驗(yàn)來(lái)檢驗(yàn)MANOVA 假設(shè)
分解SSCP矩陣和MANOVA里的假設(shè)檢驗(yàn)
身材估計(jì)數(shù)據(jù)的單項(xiàng)MANOVA
更高階的MANOVA設(shè)計(jì):對(duì)身材估計(jì)數(shù)據(jù)的一個(gè)2 x 3階MANOVA
關(guān)于MANOVA分析假設(shè)的備注
多元線性模型的特征值求解:典型相關(guān)系數(shù)和多元檢驗(yàn)統(tǒng)計(jì)量
典型相關(guān)系數(shù)的概念定義
2 x 2相關(guān)系數(shù)矩陣的特征值
R_((2x2) )的特征向量
R_YY^(-1) R_YX R_XX^(-1) R_XY的特征值
特征值、典型相關(guān)系數(shù)的平方和四個(gè)多元檢驗(yàn)統(tǒng)計(jì)量
R_YY^(-1) R_YX R_XX^(-1) R_XY的典型相關(guān)系數(shù)的平方的特征向量
檢驗(yàn)典型相關(guān)系數(shù)和典型系數(shù)上的進(jìn)一步假設(shè)
注釋
參考文獻(xiàn)
譯名對(duì)照表
在這些數(shù)據(jù)中,我們無(wú)法拒絕AxB 交互作用的H_0。我們沒(méi)有足夠的證據(jù)說(shuō)明性別差異在三個(gè)地理聚類分組中不保持恒定。在有交互作用時(shí)和沒(méi)有交互作用時(shí)分別應(yīng)該如何處理是一個(gè)很復(fù)雜的問(wèn)題。目前針對(duì)于這個(gè)問(wèn)題還沒(méi)有達(dá)成一個(gè)共識(shí)。很多作者 (例如, Muller & Fetterman, 2002, 第14章) 建議在復(fù)雜的ANOVA模型中,應(yīng)該先檢驗(yàn)并解釋交互作用,然后再討論因素的主要作用。如果交互作用顯著,我們應(yīng)該忽略因素的主要作用。而且模型解釋應(yīng)該主要針對(duì)交互作用。同時(shí)應(yīng)該對(duì)潛在交互的簡(jiǎn)單主要作用做進(jìn)一步調(diào)查。相反,如果交互作用不顯著,我們可以把交互作用從模型中移除。然后對(duì)因素的主要作用進(jìn)行重新估計(jì)和解釋。
復(fù)雜的ANOVA設(shè)計(jì)中還有一個(gè)難點(diǎn)就是設(shè)計(jì)單元的不平衡,也就是每個(gè)單元中的樣本數(shù)量不相等。我們這里用的2 x 3的例子 就是這種情況。單元樣本量不相等會(huì)引起因素主要作用間存在相關(guān)性。這樣我們模型中的因素就不再相互正交,從而導(dǎo)致因素的作用也不再像在平衡設(shè)計(jì)條件下相互獨(dú)立。我們可以采取以下幾種方法來(lái)解決這個(gè)問(wèn)題,包括 (1)每個(gè)作用進(jìn)行調(diào)整后再檢驗(yàn)因素A,因素B和AxB 的交互作用。具體的調(diào)整方式是對(duì)模型中其他的主要作用和交互作用進(jìn)行調(diào)整——這就是第三類平方和解法,該解法是對(duì)未加權(quán)均值進(jìn)行檢驗(yàn),我們已經(jīng)在這個(gè)2 x 3的例子中使用過(guò)。第三類解法中每個(gè)作用都對(duì)其他作用進(jìn)行調(diào)整。 (2) 對(duì)模型中的主要作用調(diào)整(而不對(duì)任何高階項(xiàng)例如AxB的交互做出調(diào)整)后,檢驗(yàn)主要作用(因素A或者因素B)——這是第二類平方和解法,該方法基于加權(quán)平均值,并對(duì)單元樣本量不相等做出了調(diào)整。 (3) 檢驗(yàn)第一個(gè)主要作用,比方說(shuō)因素A,但不對(duì)其余模型作用做出調(diào)整。然后對(duì)因素A調(diào)整后再檢驗(yàn)下一個(gè)主要作用,比方說(shuō)因素B。接著,對(duì)因素A和B都調(diào)整后再檢驗(yàn) AxB的交互作用。這個(gè)想法是按順序?qū)δP椭械囊蛩刈龀稣{(diào)整。每個(gè)作用都對(duì)前面已經(jīng)檢驗(yàn)過(guò)的作用做出調(diào)整—— 這是第一類平方和解法。該方法需要一個(gè)理由或者理論來(lái)決定選擇檢驗(yàn)順序。我們還有第四種解法,該方法適用于在一個(gè)或多個(gè)單元為空的情況。但不被大部分作者所推薦。關(guān)于這四種非正交設(shè)計(jì)的解法之間區(qū)別的詳細(xì)討論請(qǐng)參閱Green et al. (1999)和 Maxwell and Delaney (2004, 第7章)。大部分多元線性模型分析的統(tǒng)計(jì)軟件都默認(rèn)設(shè)置為第三類解法。但如果有必要,用戶可以選擇結(jié)果用其他解法輸出。如果第三種解法的結(jié)果由于單元樣本容量的極度不平衡而值得懷疑,第二類解法是最有用的替代選擇。在身材估計(jì)數(shù)據(jù)(表格6.12)的2 x 3 MANOVA 中,因素A和B的第二類分析需要對(duì)比向量L_A和 L_B。這兩個(gè)向量的建立是為了根據(jù)設(shè)計(jì)中六個(gè)單元不相等的n_ab ,來(lái)提供一種加權(quán)平均。 具體依據(jù)不想的單元樣本量,對(duì)對(duì)比向量加權(quán)來(lái)獲得第二類平方和的解的方法請(qǐng)參閱 Littell, Stroup and Freund (2002, pp. 198-201)。盡管我們不在這里展示這個(gè)分析,對(duì)身材數(shù)據(jù)的第二類SSCP分析將得到與基于表格6.12中總結(jié)的檢驗(yàn)相同的結(jié)論。大部分用于MANOVA的電腦軟件在估計(jì)任意因素模型的參數(shù)時(shí),都是用廣義逆完成。而且輸出結(jié)果的形式是依照我們前面章節(jié)中討論的參考單元編碼設(shè)計(jì)矩陣。用戶可以對(duì)任何問(wèn)題選擇自己偏愛(ài)的分析方法(也就是SSCP矩陣的第一類到第四類分解方法)。