目錄

1 導(dǎo) 論… ………………………………………………… 1

1.1 研究背景和研究意義… ………………………………………… 1

1.1.1 研究背景… ……………………………………………… 1

1.1.2 研究意義… ……………………………………………… 4

1.2 主要概念界定… ………………………………………………… 5

1.2.1 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查… ………………………………………… 5

1.2.2 缺失值… ………………………………………………… 6

1.3 問(wèn)題的提出與研究目標(biāo)… ……………………………………… 7

1.3.1 問(wèn)題的提出… …………………………………………… 7

1.3.2 研究目標(biāo)… ……………………………………………… 8

1.4 技術(shù)路線與結(jié)構(gòu)框架… ………………………………………… 8

1.4.1 技術(shù)路線… ……………………………………………… 8

1.4.2 結(jié)構(gòu)框架… ……………………………………………… 9

1.5 研究方法與數(shù)據(jù)來(lái)源… ………………………………………… 11

1.5.1 研究方法… ……………………………………………… 11

1.5.2 數(shù)據(jù)來(lái)源… ……………………………………………… 12

1.6 可能的創(chuàng)新與不足… …………………………………………… 13

1.6.1 可能的創(chuàng)新… …………………………………………… 13

1.6.2 不足之處與展望… ……………………………………… 14

2 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)缺失值處理的文獻(xiàn)綜述… ………… 15

2.1 缺失值處理的理論和方法的研究綜述… ……………………… 16

2.1.1 國(guó)外缺失值處理的理論和方法的研究綜述… ………… 16

2.1.2 國(guó)內(nèi)缺失值處理的理論和方法的研究綜述… ………… 20

2.2 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)缺失值問(wèn)題的研究綜述… ………………… 21

2.2.1 國(guó)外農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)缺失值問(wèn)題的研究綜述… …… 21

2.2.2 國(guó)內(nèi)農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)缺失值問(wèn)題的研究綜述… …… 23

2.3 結(jié)論和評(píng)價(jià)… …………………………………………………… 25

3 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)缺失值處理的研究基礎(chǔ)和假設(shè)… … 27

3.1 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查的特點(diǎn)和數(shù)據(jù)缺失原因… ……………………… 28

3.1.1 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查的特點(diǎn)… ………………………………… 28

3.1.2 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)缺失的原因… ……………………… 30

3.2 基本概念及符號(hào)表示… ………………………………………… 31

3.2.1 基本概念及符號(hào)… ……………………………………… 31

3.2.2 缺失數(shù)據(jù)及缺失信息的轉(zhuǎn)換… ………………………… 32

3.3 模擬方法介紹… ………………………………………………… 34

3.3.1 模擬方法的含義… ……………………………………… 34

3.3.2 采取模擬方法的原因… ………………………………… 34

3.3.3 模擬方法的優(yōu)勢(shì)… ……………………………………… 35

3.4 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)的缺失模式… ……………………………… 35

3.4.1 一般缺失模式… ………………………………………… 35

3.4.2 單一缺失模式… ………………………………………… 36

3.4.3 單調(diào)缺失模式… ………………………………………… 37

3.5 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)的缺失機(jī)制… ……………………………… 37

3.5.1 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)缺失機(jī)制及模型… ………………… 37

3.5.2 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)缺失機(jī)制的模擬… ………………… 39

3.6 基本假設(shè)… ……………………………………………………… 41

3.6.1 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查總體分布的假設(shè)… ……………………… 41

3.6.2 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查樣本隨機(jī)性的假設(shè)… …………………… 42

3.6.3 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查的變量假設(shè)… …………………………… 42

3.6.4 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)缺失模式的假設(shè)… ………………… 43

3.6.5 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)缺失機(jī)制的假設(shè)… ………………… 44

3.7 缺失值處理的統(tǒng)計(jì)軟件… ……………………………………… 44

3.7.1 分析軟件… ……………………………………………… 44

3.7.2 本研究使用的軟件… …………………………………… 45

3.7.3 本研究自編的R 程序代碼… …………………………… 45

4 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)缺失值處理的刪除及模擬分析… … 46

4.1 成列刪除及其缺陷分析… ……………………………………… 46

4.1.1 成列刪除及其爭(zhēng)議… …………………………………… 46

4.1.2 成列刪除引致的估計(jì)錯(cuò)誤分析… ……………………… 48

4.1.3 成列刪除引致數(shù)據(jù)損失和估計(jì)錯(cuò)誤的模擬分析… …… 50

4.2 成對(duì)刪除及比較分析… ………………………………………… 54

4.2.1 成對(duì)刪除及其爭(zhēng)議… …………………………………… 54

4.2.2 成對(duì)刪除的估計(jì)復(fù)雜性分析… ………………………… 55

4.2.3 成對(duì)刪除和成列刪除在相關(guān)關(guān)系估計(jì)上的模擬

比較分析… …………………………………………… 57

4.3 隨機(jī)缺失下成列刪除有偏估計(jì)的加權(quán)調(diào)整分析… …………… 60

4.3.1 加權(quán)調(diào)整的基本模型… ………………………………… 60

4.3.2 加權(quán)調(diào)整的方法… ……………………………………… 61

4.3.3 加權(quán)調(diào)整效果的模擬分析… …………………………… 63

4.4 結(jié)論和討論… …………………………………………………… 65

5 農(nóng)業(yè)經(jīng)濟(jì)調(diào)查數(shù)據(jù)缺失值處理的單一插補(bǔ)及

模擬比較分析…………………………………………… 67

5.1 單一插補(bǔ)的模型和缺陷分析… ………………………………… 67

5.1.1 單一插補(bǔ)的基本思想… ………………………………… 67

5.1.2 單一插補(bǔ)的基本模型… ………………………………… 68

5.1.3 單一插補(bǔ)的缺陷分析… ………………………………… 69

5.2 均值插補(bǔ)及其改進(jìn)分析… ……………………………………… 70

5.2.1 關(guān)于均值插補(bǔ)的討論… ………………………………… 70

5.2.2 簡(jiǎn)單均值插補(bǔ)對(duì)總體方差的低估分析… ……………… 71

5.2.3 均值插補(bǔ)離散性的改進(jìn)分析… ………………………… 73

5.2.4 隨機(jī)缺失下均值插補(bǔ)估計(jì)偏差的修正… ……………… 75

5.2.5 簡(jiǎn)單均值插補(bǔ)對(duì)相關(guān)關(guān)系低估的模擬分析… ………… 76

5.3 回歸插補(bǔ)及其插補(bǔ)效果的比較分析… ………………………… 78

5.3.1 關(guān)于回歸插補(bǔ)的討論… ………………………………… 78

5.3.2 簡(jiǎn)單回歸插補(bǔ)及對(duì)總體方差的低估分析… …………… 79

5.3.3 回歸插補(bǔ)的改進(jìn)分析… ………………………………… 81

5.3.4 回歸插補(bǔ)效果的模擬比較分析… ……………………… 83

5.4 基于模糊后驗(yàn)分布的熱平臺(tái)插補(bǔ)及比較分析… ……………… 86

5.4.1 關(guān)于熱平臺(tái)插補(bǔ)的討論… ……………………………… 86

5.4.2 簡(jiǎn)單隨機(jī)插補(bǔ)的穩(wěn)健性分析… ………………………… 87

5.4.3 隨機(jī)缺失下隨機(jī)插補(bǔ)的改進(jìn)… ………………………… 87

5.4.4 最近距離插補(bǔ)及其模型方法… ………………………… 88

5.4.5 熱平臺(tái)插補(bǔ)效果的模擬比較分析… …………………… 89

5.5 結(jié)論和討論… …………………………………………………… 90