国产欧美日韩麻豆91,亚洲人成无码网WWW在线观看,国产va免费精品观看精品

《深入理解大數(shù)據(jù)：大數(shù)據(jù)處理與編程實(shí)踐》從HadoopMapReduce并行計(jì)算技術(shù)與系統(tǒng)的基本原理剖析著手，在系統(tǒng)介紹基本工作原理、編程模型、編程框架和接口的基礎(chǔ)上，著重系統(tǒng)化地介紹MapReduce并行算法設(shè)計(jì)與編程技術(shù)，較為全面地介紹了基本MapReduce算法設(shè)計(jì)、高級(jí)MapReduce編程技術(shù)、以及一系列較為復(fù)雜的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘并行化算法，并引入來(lái)自IntelHadoop系統(tǒng)產(chǎn)品的一系列增強(qiáng)功能以及深度技術(shù)剖析；最后，為了提高讀者的算法設(shè)計(jì)與編程實(shí)戰(zhàn)能力，本書(shū)較為詳細(xì)地介紹了一系列綜合性和實(shí)戰(zhàn)性大數(shù)據(jù)處理和算法設(shè)計(jì)問(wèn)題，這些問(wèn)題來(lái)自課程同學(xué)參加的全國(guó)性大數(shù)據(jù)大賽中的獲獎(jiǎng)算法、課程中的優(yōu)秀課程設(shè)計(jì)、以及來(lái)自本團(tuán)隊(duì)的科研課題及業(yè)界實(shí)際的大數(shù)據(jù)應(yīng)用實(shí)戰(zhàn)案例。

4）從大數(shù)據(jù)處理響應(yīng)性能看，大數(shù)據(jù)處理可分為實(shí)時(shí)／準(zhǔn)實(shí)時(shí)與非實(shí)時(shí)計(jì)算，或者是聯(lián)機(jī)計(jì)算與線下計(jì)算。前述的流式計(jì)算通常屬于實(shí)時(shí)計(jì)算，此外查詢分析類計(jì)算通常也要求具有高響應(yīng)性能，因而也可以歸為實(shí)時(shí)或準(zhǔn)實(shí)時(shí)計(jì)算。而批處理計(jì)算和復(fù)雜數(shù)據(jù)挖掘計(jì)算通常屬于非實(shí)時(shí)或線下計(jì)算。

　　5）從數(shù)據(jù)關(guān)系角度看，大數(shù)據(jù)可分為簡(jiǎn)單關(guān)系數(shù)據(jù)（如Web日志）和復(fù)雜關(guān)系數(shù)據(jù)（如社會(huì)網(wǎng)絡(luò)等具有復(fù)雜數(shù)據(jù)關(guān)系的網(wǎng)計(jì)算）。

　　6）從迭代計(jì)算角度看，現(xiàn)實(shí)世界的數(shù)據(jù)處理中有很多計(jì)算問(wèn)題需要大量的迭代計(jì)算，諸如一些機(jī)器學(xué)習(xí)等復(fù)雜的計(jì)算任務(wù)會(huì)需要大量的迭代計(jì)算，為此需要提供具有高效的迭代計(jì)算能力的大數(shù)據(jù)處理和計(jì)算方法。

　　7）從并行計(jì)算體系結(jié)構(gòu)特征角度看，由于需要支持大規(guī)模數(shù)據(jù)的存儲(chǔ)和計(jì)算，因此目前絕大多數(shù)大數(shù)據(jù)處理都使用基于集群的分布式存儲(chǔ)與并行計(jì)算體系結(jié)構(gòu)和硬件平臺(tái)。MapReduce是最為成功的分布式存儲(chǔ)和并行計(jì)算模式。然而，基于磁盤的數(shù)據(jù)存儲(chǔ)和計(jì)算模式使MapReduce難以實(shí)現(xiàn)高響應(yīng)性能。為此人們從分布計(jì)算體系結(jié)構(gòu)層面上又提出了內(nèi)存計(jì)算的概念和技術(shù)方法。

　　1．2．3大數(shù)據(jù)研究的主要目標(biāo)、基本原則和基本途徑

　　1．大數(shù)據(jù)研究的主要目標(biāo)

　　大數(shù)據(jù)研究的主要目標(biāo)是，以有效的信息技術(shù)手段和計(jì)算方法，獲取、處理和分析各種應(yīng)用行業(yè)的大數(shù)據(jù)，發(fā)現(xiàn)和提取數(shù)據(jù)的深度價(jià)值，為行業(yè)提供高附加值的應(yīng)用和服務(wù)。因此，大數(shù)據(jù)研究的核心目標(biāo)是價(jià)值發(fā)現(xiàn)，而其技術(shù)手段是信息技術(shù)和計(jì)算方法，其效益目標(biāo)是為行業(yè)提供高附加值的應(yīng)用和服務(wù)。

　　2．大數(shù)據(jù)研究的基本特點(diǎn)。

　　大數(shù)據(jù)研究具有以下幾方面的主要特點(diǎn)：

　　1）大數(shù)據(jù)處理具有很強(qiáng)的行業(yè)應(yīng)用需求特性，因此大數(shù)據(jù)技術(shù)研究必須緊扣行業(yè)應(yīng)用需求。

　　2）大數(shù)據(jù)規(guī)模極大，超過(guò)任何傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)的處理能力。

　　3）大數(shù)據(jù)處理技術(shù)綜合性強(qiáng)，任何單一層面的計(jì)算技術(shù)都難以提供理想的解決方案，需要采用綜合性的軟硬件技術(shù)才能有效處理。

　　4）大數(shù)據(jù)處理時(shí)，大多數(shù)傳統(tǒng)算法都面臨失效，需要重寫。

　　3．大數(shù)據(jù)研究的基本原則

　　大數(shù)據(jù)研究的基本原則是：

　　1）應(yīng)用需求為導(dǎo)向：由于大數(shù)據(jù)問(wèn)題來(lái)自行業(yè)應(yīng)用，因此大數(shù)據(jù)的研究需要以行業(yè)應(yīng)用問(wèn)題和需求為導(dǎo)向，從行業(yè)實(shí)際的應(yīng)用需求和存在的技術(shù)難題入手，研究解決有效的處理技術(shù)和解決方案。

　　2）領(lǐng)域交叉為橋梁：由于大數(shù)據(jù)技術(shù)有典型的行業(yè)應(yīng)用特征，因此大數(shù)據(jù)技術(shù)研究和應(yīng)用開(kāi)發(fā)需要由計(jì)算技術(shù)人員、數(shù)據(jù)分析師、具備專業(yè)知識(shí)的領(lǐng)域?qū)＜蚁嗷ヅ浜虾蛥f(xié)同，促進(jìn)應(yīng)用行業(yè)、IT產(chǎn)業(yè)與計(jì)算技術(shù)研究機(jī)構(gòu)的交叉融合，來(lái)提供良好的大數(shù)據(jù)解決方法。

　　3）技術(shù)綜合為支撐：與傳統(tǒng)的單一層面的計(jì)算技術(shù)研究和應(yīng)用不同，大數(shù)據(jù)處理是幾乎整個(gè)計(jì)算技術(shù)和信息技術(shù)的融合，只有采用技術(shù)交叉融合的方法才能提供較為完善的大數(shù)據(jù)處理方法。

　　……

你還可能感興趣

我要評(píng)論