第1章 緒論………………………………………………………………………… 1 1.1 引言 ………………………………………………………………………… 1 1.2 極大似然估計(jì) ……………………………………………………………… 2 1.3 牛頓法 ……………………………………………………………………… 4 1.3.1 牛頓法與方程求根 …………………………………………………… 5 1.3.2 牛頓法與最優(yōu)化 ……………………………………………………… 6 1.4 牛頓-拉弗森算法 …………………………………………………………… 7 1.5 擬牛頓法 …………………………………………………………………… 8 1.6 費(fèi)希爾得分算法…………………………………………………………… 10 1.7 EM 算法 …………………………………………………………………… 11 1.7.1 EM 算法的迭代公式 ………………………………………………… 12 1.7.2 EM 算法的上升性質(zhì) ………………………………………………… 14 1.7.3 信息缺失準(zhǔn)則和標(biāo)準(zhǔn)誤差…………………………………………… 15 1.8 蒙特卡羅EM 算法 ……………………………………………………… 16 1.9 ECM 算法 ………………………………………………………………… 18 1.10 EM 梯度算法 …………………………………………………………… 20 第2章 凸性 ……………………………………………………………………… 23 2.1 引言………………………………………………………………………… 23 2.2 凸集………………………………………………………………………… 23 2.3 凸函數(shù)……………………………………………………………………… 26 2.4 凸函數(shù)的性質(zhì)………………………………………………………………32 2.5 閉合函數(shù)…………………………………………………………………… 34 2.6 強(qiáng)制函數(shù)…………………………………………………………………… 37 2.7 距離函數(shù)…………………………………………………………………… 38 第3章 MM 算法與組裝分解技術(shù) ……………………………………………… 41 3.1 引言………………………………………………………………………… 41 3.2 MM 算法原理 …………………………………………………………… 42 3.3 不等式……………………………………………………………………… 44 3.3.1 Jensen不等式及其應(yīng)用 …………………………………………… 44 3.3.2 支撐超平面不等式及其應(yīng)用………………………………………… 45 3.3.3 算術(shù)-幾何均值不等式及其應(yīng)用 …………………………………… 47 3.3.4 Cauchy-Schwarz不等式及其應(yīng)用 ………………………………… 48 3.3.5 二次上界原理及其應(yīng)用……………………………………………… 49 3.4 組裝技術(shù)…………………………………………………………………… 52 3.5 分解技術(shù)…………………………………………………………………… 55 3.5.1 對(duì)數(shù)似然函數(shù)的分解………………………………………………… 55 3.5.2 雙重極小化技術(shù)……………………………………………………… 57 第4章 單 (多)元分布參數(shù)估計(jì)的 MM 算法 ………………………………… 59 4.1 引言………………………………………………………………………… 59 4.2 零截?cái)嗟亩��?xiàng)分布………………………………………………………… 60 4.2.1 零截?cái)嗟亩��?xiàng)分布概述……………………………………………… 60 4.2.2 基于LB函數(shù)族的第一個(gè) MM 算法 ……………………………… 60 4.2.3 基于LEB函數(shù)族的第二個(gè) MM 算法 ……………………………… 61 4.3 廣義泊松分布……………………………………………………………… 61 4.3.1 廣義泊松分布概述…………………………………………………… 61 4.3.2 基于LG函數(shù)族的 MM 算法 ……………………………………… 62 4.4 左截?cái)嗟恼龖B(tài)分布………………………………………………………… 63 4.4.1 左截?cái)嗟恼龖B(tài)分布概述……………………………………………… 63 4.4.2 MM 算法的構(gòu)造流程 ……………………………………………… 64 4.5 高維泊松回歸模型與變量選擇…………………………………………… 66 4.5.1 透射斷層掃描的泊松回歸模型……………………………………… 66 4.5.2 基于LGM 函數(shù)族的 MM 算法 …………………………………… 66 4.5.3 高維泊松回歸模型的變量選擇……………………………………… 67 4.5.4 高維泊松回歸模型正則估計(jì)的 MM 算法 ………………………… 68 4.6 多元泊松分布……………………………………………………………… 69 4.6.1 多元泊松分布概述…………………………………………………… 69 4.6.2 基于LG函數(shù)族的 MM 算法 ……………………………………… 70 4.7 I型多元零膨脹廣義泊松分布 …………………………………………… 71 4.7.1 I型多元零膨脹廣義泊松分布概述 ………………………………… 71 4.7.2 基于LB和LG函數(shù)族的 MM 算法………………………………… 73 4.8 多元復(fù)合零膨脹廣義泊松分布…………………………………………… 74 4.8.1 多元復(fù)合零膨脹廣義泊松分布概述………………………………… 74 4.8.2 基于LB和LG函數(shù)族的 MM 算法………………………………… 76 附錄 ……………………………………………………………………………… 78 第5章 混合模型的 MM 算法 ………………………………………………… 109 5.1 引言 ……………………………………………………………………… 109 5.2 混合分布的一般化 MM 算法 …………………………………………… 110 5.2.1 連續(xù)/離散混合分布模型的一般化 MM 算法 …………………… 110 5.2.2 連續(xù)-離散混合分布模型的一般化 MM 算法 …………………… 112 5.3 混合正態(tài)分布 …………………………………………………………… 114 5.4 混合T分布 ……………………………………………………………… 115 5.5 混合伽瑪分布 …………………………………………………………… 117 5.6 混合威布爾分布 ………………………………………………………… 118 5.7 混合泊松分布 …………………………………………………………… 119 5.8 混合幾何分布 …………………………………………………………… 121 5.9 正態(tài)-泊松混合分布 ……………………………………………………… 122 5.10 指數(shù)-泊松混合分布 …………………………………………………… 123 5.11 伽瑪-幾何混合分布 …………………………………………………… 125 5.12 伽瑪-泊松混合分布 …………………………………………………… 127 附錄……………………………………………………………………………… 128 第6章 生存模型的半?yún)��?shù)估計(jì)與 MM 算法 ………………………………… 175 6.1 引言 ……………………………………………………………………… 175 6.2 Cox模型 ………………………………………………………………… 176 6.2.1 Cox模型與右刪失數(shù)據(jù) …………………………………………… 176 6.2.2 Cox模型的輪廓 MM 算法 ………………………………………… 176 6.2.3 Cox模型的非輪廓 MM 算法 ……………………………………… 178 6.3 伽瑪脆弱模型 …………………………………………………………… 179 6.3.1 伽瑪脆弱模型與右刪失的集群失效時(shí)間數(shù)據(jù) …………………… 179 6.3.2 伽瑪脆弱模型的第一個(gè)輪廓 MM 算法 …………………………… 180 6.3.3 伽瑪脆弱模型的第二個(gè)輪廓 MM 算法 …………………………… 182 6.3.4 伽瑪脆弱模型的第三個(gè)輪廓 MM 算法 …………………………… 183 6.4 脆弱模型 ………………………………………………………………… 186 6.4.1 脆弱模型與右刪失的多元失效時(shí)間數(shù)據(jù) ………………………… 186 6.4.2 一般化脆弱模型的非輪廓 MM 算法 ……………………………… 187 6.4.3 脆弱模型高維回歸向量的變量選擇 ……………………………… 190 6.5 半競(jìng)爭(zhēng)風(fēng)險(xiǎn)模型 ………………………………………………………… 191 6.5.1 半競(jìng)爭(zhēng)風(fēng)險(xiǎn)模型概述 ……………………………………………… 191 6.5.2 半競(jìng)爭(zhēng)風(fēng)險(xiǎn)模型的輪廓 MM 算法 ………………………………… 192 6.6 比例優(yōu)勢(shì)模型 …………………………………………………………… 195 6.6.1 比例優(yōu)勢(shì)模型概述 ………………………………………………… 195 6.6.2 比例優(yōu)勢(shì)模型的輪廓 MM 算法 …………………………………… 196 6.6.3 比例優(yōu)勢(shì)模型的非輪廓 MM 算法 ………………………………… 198 6.6.4 比例優(yōu)勢(shì)模型高維回歸向量的變量選擇 ………………………… 199 6.7 混合比例優(yōu)勢(shì)模型 ……………………………………………………… 201 6.7.1 混合比例優(yōu)勢(shì)模型概述 …………………………………………… 201 6.7.2 混合比例優(yōu)勢(shì)模型的輪廓 MM 算法 ……………………………… 202 6.7.3 混合比例優(yōu)勢(shì)模型的非輪廓 MM 算法 …………………………… 204 附錄……………………………………………………………………………… 206 第7章 收斂性與加速算法……………………………………………………… 306 7.1 引言 ……………………………………………………………………… 306 7.2 局部收斂性 ……………………………………………………………… 307 7.3 全局收斂性 ……………………………………………………………… 310 7.4 SUMMA條件 …………………………………………………………… 313 7.5 平滑算法的加速 ………………………………………………………… 315 參考文獻(xiàn)…………………………………………………………………………… 318