第1章大數(shù)據(jù)概論
　　本章提要
　　在這個日新月異發(fā)展的社會中，人們發(fā)現(xiàn)未知領域的規(guī)律主要依賴抽樣數(shù)據(jù)、局部數(shù)據(jù)和片面數(shù)據(jù)，甚至無法獲得真實數(shù)據(jù)時只能純粹依賴經(jīng)驗、理論、假設和價值觀去認識世界。因此,人們對世界的認識往往是表面的、膚淺的、簡單的、扭曲的或者是無知的。然而大數(shù)據(jù)時代的來臨使人類擁有更多的機會和條件在各個領域更深入地獲得和使用全面數(shù)據(jù)、完整數(shù)據(jù)和系統(tǒng)數(shù)據(jù)，深入探索現(xiàn)實世界的規(guī)律。大數(shù)據(jù)的出現(xiàn)幫助商家了解用戶、鎖定資源、規(guī)劃生產(chǎn)、做好運營及開展服務。
　　本章主要從大數(shù)據(jù)時代背景、大數(shù)據(jù)基本概念、大數(shù)據(jù)系統(tǒng)以及大數(shù)據(jù)與企業(yè)等方面，讓讀者對大數(shù)據(jù)有初步的認識。
　　1.1大數(shù)據(jù)時代背景
　　中國龐大的人數(shù)和應用市場，其復雜性高并且充滿變化，從而成為世界上擁有最復雜的大數(shù)據(jù)的國家。解決這種由大規(guī)模數(shù)據(jù)引發(fā)的問題，探索以大數(shù)據(jù)為基礎的解決方案，是中國產(chǎn)業(yè)升級、效率提高的重要手段。因此，解決大數(shù)據(jù)這一問題不僅提高公司的競爭力，也能提高國家競爭力。
　　1.1.1大數(shù)據(jù)的數(shù)據(jù)源
　　近年來，隨著信息技術的發(fā)展，我國在各個領域產(chǎn)生了海量數(shù)據(jù)，主要分布如下。
　　1. 以BAT為代表的互聯(lián)網(wǎng)公司
　　(1) 阿里巴巴: 目前保存的數(shù)據(jù)量為近百個拍字節(jié)(PB)，90%以上是電商數(shù)據(jù)、交易數(shù)據(jù)、用戶瀏覽和點擊網(wǎng)頁數(shù)據(jù)、購物數(shù)據(jù)。
　　(2) 百度: 2013年的數(shù)據(jù)總量接近一千個拍字節(jié)(PB)，主要來自中文網(wǎng)、百度推廣、百度日志、UGC，由于占有70%以上的搜索市場份額從而坐擁龐大的搜索數(shù)據(jù)。
　　(3) 騰訊: 存儲數(shù)據(jù)經(jīng)壓縮處理后總量在100PB左右，數(shù)據(jù)量月增10%，主要是大量社交、游戲等領域積累的文本、音頻、視頻和關系類數(shù)據(jù)。
　　大數(shù)據(jù)
　　技術基礎
　　00第1章
　　大數(shù)據(jù)概論
　　002. 電信、金融與保險、電力與石化系統(tǒng)
　　(1) 電信: 包括用戶上網(wǎng)記錄、通話、信息、地理位置等。運營商擁有的數(shù)據(jù)量都在10PB以上，年度用戶數(shù)據(jù)增長數(shù)十拍字節(jié)(PB)。
　　(2) 金融與保險: 包括開戶信息數(shù)據(jù)、銀行網(wǎng)點和在線交易數(shù)據(jù)、自身運營的數(shù)據(jù)等。金融系統(tǒng)每年產(chǎn)生數(shù)據(jù)達數(shù)十拍字節(jié)(PB)，保險系統(tǒng)數(shù)據(jù)量也接近拍字節(jié)(PB)級別。
　　(3) 電力與石化: 僅國家電網(wǎng)采集獲得的數(shù)據(jù)總量就達到10個拍字節(jié)(PB)級別，石化行業(yè)、智能水表等每年產(chǎn)生和保存下來的數(shù)據(jù)量也達到數(shù)十拍字節(jié)(PB)級別。
　　3. 公共安全、醫(yī)療、交通領域
　　(1) 公共安全: 在北京，就有50萬個監(jiān)控攝像頭，每天采集視頻數(shù)量約3PB，整個視頻監(jiān)控每年保存下來的數(shù)據(jù)在數(shù)百拍字節(jié)(PB)以上。
　　(2) 醫(yī)療衛(wèi)生: 據(jù)了解，整個醫(yī)療衛(wèi)生行業(yè)一年能夠保存下來的數(shù)據(jù)就可達到數(shù)百PB。
　　(3) 交通: 航班往返一次就能產(chǎn)生太字節(jié)(TB)級別的海量數(shù)據(jù)；列車、水陸路運輸產(chǎn)生的各種視頻、文本類數(shù)據(jù)，每年保存下來的也達到數(shù)十拍字節(jié)(PB)。
　　4. 氣象與地理、政務與教育等領域
　　(1) 氣象與地理: 中國幅頁遼闊，氣象局保存的數(shù)據(jù)為4～5PB，每年約增數(shù)百個太字節(jié)(TB)，各種地圖和地理位置信息每年約增數(shù)十太字節(jié)(PB)。
　　(2) 政務與教育: 北京市政務數(shù)據(jù)資源網(wǎng)涵蓋旅游、教育、交通、醫(yī)療等門類，一年上線公布400余個數(shù)據(jù)包。政務數(shù)據(jù)多為結構化數(shù)據(jù)。
　　5. 其他行業(yè)
　　線下商業(yè)銷售、農(nóng)林牧漁業(yè)、線下餐飲、食品、科研、物流運輸?shù)刃袠I(yè)數(shù)據(jù)量還處于積累期，整個體積都不算大，多則達到拍字節(jié)(PB)級別，少則幾百太字節(jié)(TB)，甚至只有數(shù)十太字節(jié)(TB)級別，但增速很快。
　　1.1.2大數(shù)據(jù)的價值和影響
　　數(shù)量巨大、與微觀情境相結合的運行記錄信息的最終結果就是大數(shù)據(jù)。盡管運行記錄信息不是大數(shù)據(jù)的全部，但卻應該是以后大數(shù)據(jù)的主流。目前看得到的金融、電信、航空、電商、零售渠道等領域中的大數(shù)據(jù)，多數(shù)也都是運行記錄信息。大數(shù)據(jù)具有采集過程價值未知、力爭全面、即時、系統(tǒng)性并發(fā)的記錄方式，以及主受體統(tǒng)一和大微觀的特征，這些特征決定了大數(shù)據(jù)的價值發(fā)揮。
　　大數(shù)據(jù)的應用很廣泛，解決了大量的日常問題。大數(shù)據(jù)是利害攸關的，它將重塑人們的生活、工作和思維方式，比其他劃時代創(chuàng)新引起的社會信息范圍和規(guī)模急劇擴大所帶來的影響更大。大數(shù)據(jù)需要人們重新討論決策、命運和正義的性質。人們的世界觀正受到大數(shù)據(jù)優(yōu)勢的挑戰(zhàn)，擁有大數(shù)據(jù)不但意味著掌握過去，更意味著能夠預測未來。因此，大數(shù)據(jù)給人們帶來了巨大的價值和影響。
　　(1) 全面洞察客戶信息。全面分析來自渠道的反饋、社會傳媒等多源信息，讓每個客戶作為個體了解全景。
　　(2) 提升企業(yè)的資源管理: 利用實時數(shù)據(jù)實現(xiàn)預測性維護，并減少故障，推動產(chǎn)品和服務開發(fā)。
　　(3) 數(shù)據(jù)深度利用。梳理結構化、非結構化、海量歷史/實時、地理信息4類數(shù)據(jù)資源，以企業(yè)核心業(yè)務及應用為主線實現(xiàn)四類數(shù)據(jù)資源的關聯(lián)利用。
　　(4) 風險及時感知和控制。通過全面數(shù)據(jù)分析改進風險模型，結合交易流數(shù)據(jù)實時捕獲風險，及時有效地控制。
　　(5) 輔助智能決策。實時分析所有的運營數(shù)據(jù)和效果反饋，優(yōu)化運營流程。利用投資回報率最大程度減少信息技術成本。
　　(6) 更快和更大規(guī)模的產(chǎn)品創(chuàng)新。多源捕獲市場反饋，利用海量市場數(shù)據(jù)和研究數(shù)據(jù)來快速驅動創(chuàng)新。
　　1.1.3大數(shù)據(jù)技術應用場景
　　當前，大數(shù)據(jù)技術的應用涉及各個行業(yè)領域。
　　1. 大數(shù)據(jù)在金融行業(yè)的應用
　　近年來，隨著“互聯(lián)網(wǎng)金融”概念的興起，催生了一大批金融、類金融機構轉型或布局的服務需求，相關產(chǎn)業(yè)服務應運而生。而隨著互聯(lián)網(wǎng)金融向縱深發(fā)展，行業(yè)競爭日趨白熱化，金融、類金融機構在其中的短板日益凸顯。為了更好地獲得最佳商機，金融行業(yè)也步入了大數(shù)據(jù)時代。
　　華爾街某公司通過分析全球3.4億微博賬戶留言來判斷民眾情緒。人們高興的時候會買股票，而焦慮的時候會拋售股票，它通過判斷全世界高興的人多還是焦慮的人多來決定公司股票的買入還是賣出。
　　阿里公司根據(jù)在淘寶網(wǎng)上中小企業(yè)的交易狀況篩選出財務健康和誠信經(jīng)營的企業(yè)，給他們提供貸款，并且不需要這些中小企業(yè)的擔保。目前阿里公司已放貸款上千億元，壞賬率僅為0.3%。
　　2. 大數(shù)據(jù)在政府的應用
　　為充分運用大數(shù)據(jù)的先進理念、技術和資源，加強對我國各地市場主體的服務和監(jiān)管，推進簡政放權和政府職能轉變，提高政府治理能力，我國一些省市運用大數(shù)據(jù)加強對市場主體服務和監(jiān)管實施方案已然出爐。
　　3. 大數(shù)據(jù)在醫(yī)療健康的應用
　　隨著醫(yī)療衛(wèi)生信息化建設進程的不斷加快，醫(yī)療數(shù)據(jù)的類型和規(guī)模也在以前所未有的速度迅猛增長，甚至產(chǎn)生了無法利用目前主流軟件工具的現(xiàn)象，這些醫(yī)療數(shù)據(jù)能幫助醫(yī)改在合理的時間內(nèi)達到擷取、管理信息并整合成為能夠幫助醫(yī)院進行更積極的經(jīng)營決策的有用信息。這些具有特殊性、復雜性的龐大的醫(yī)療大數(shù)據(jù)，僅靠個人甚至個別機構來進行搜索，那基本是不可能完成的。
　　4. 大數(shù)據(jù)在宏觀經(jīng)濟管理領域的應用
　　IBM日本分公司建立了一個經(jīng)濟指標預測系統(tǒng)，它從互聯(lián)網(wǎng)新聞中搜索出能影響制造業(yè)的480項經(jīng)濟數(shù)據(jù)，再利用這些數(shù)據(jù)進行預測，準確度相當高。
　　印第安納大學學者利用Google提供的心情分析工具，根據(jù)用戶近千萬條短信、微博留言預測瓊斯工業(yè)指數(shù)，準確率高達87%。
　　淘寶網(wǎng)建立了“淘寶CPI”，通過采集、編制淘寶網(wǎng)上390個類目的熱門商品價格來統(tǒng)計CPI，預測某個時間段的經(jīng)濟走勢比國家統(tǒng)計局的CPI還提前半個月。
　　5. 大數(shù)據(jù)在農(nóng)業(yè)領域的應用
　　由Google前雇員創(chuàng)辦Climate公司，從美國氣象局等數(shù)據(jù)庫中獲得幾十年的天氣數(shù)據(jù)，各地的降雨、氣溫和土壤狀況及歷年農(nóng)作物產(chǎn)量做成緊湊的圖表，從而能夠預測美國任一農(nóng)場下一年的產(chǎn)量。農(nóng)場主可以去該公司咨詢明年種什么能賣出去、能賺錢，說錯了該公司負責賠償，賠償金額比保險公司還要高，但到目前為止還沒賠過。
　　通過對手機上的農(nóng)產(chǎn)品“移動支付”數(shù)據(jù)、“采購投入”數(shù)據(jù)和“補貼”數(shù)據(jù)分析，可準確預測農(nóng)產(chǎn)品生產(chǎn)趨勢，政府可依此決定出臺激勵實施和確定合適的作物存儲量，還可以為農(nóng)民提供服務。
　　6. 大數(shù)據(jù)在商業(yè)領域的應用
　　沃爾瑪基于每個月4500萬的網(wǎng)絡購物數(shù)據(jù)，并結合社交網(wǎng)絡上有關產(chǎn)品的大眾評分，開發(fā)機器學習語義搜索引擎“北極星”，方便瀏覽，在線購物者因此增加10%～15%，銷售額增加十多億美元。
　　沃爾瑪通過手機定位，可以分析顧客在貨柜前停留時間的長短，從而判斷顧客對什么商品感興趣。
　　不僅僅是通過手機定位，實際上美國有的超市在購物推車上也安裝了位置傳感器，根據(jù)顧客在不同貨物前停留時間的長短來分析顧客可能的購物行為。
　　在淘寶網(wǎng)上買東西時，消費者會在阿里的廣告交易平臺上留下記錄，阿里不僅從交易記錄平臺把消費記錄拿來供自己使用，還會把消費記錄賣給其他商家。
　　7. 大數(shù)據(jù)在銀行的應用
　　在信用卡服務方面，銀行首先利用移動互聯(lián)網(wǎng)技術的定位功能確定商圈，目前已實際覆蓋全國161個商圈，累計服務千萬人次；其次利用用戶活動軌跡追蹤，確定高價值商業(yè)圈設計業(yè)務；再利用大數(shù)據(jù)進行客戶需求的體驗分析。既包括客戶的需要，也包括客戶的體驗，最終實現(xiàn)用戶體驗的LIKE曲線。
　　1.1.4大數(shù)據(jù)技術的發(fā)展前景
　　據(jù)預測，到2020年，全球需要存儲的數(shù)據(jù)量將達到35萬億吉字節(jié)(GB)，是2009年數(shù)據(jù)存儲量的44倍。根據(jù)IDC的研究，2010年底全球的數(shù)據(jù)量已達到120萬拍字節(jié)(PB)。這些數(shù)據(jù)如果使用光盤存儲，摞起來可以從地球到月球一個來回。對于商業(yè)而言，這里孕育著巨大的市場機會，龐大的數(shù)據(jù)就是一個信息金礦。數(shù)據(jù)是企業(yè)的重要資產(chǎn)。因此，大數(shù)據(jù)將人們帶進了一個更有前景的領域。
　　在大數(shù)據(jù)時代，一批新的大數(shù)據(jù)技術正在涌現(xiàn)，將改變?nèi)藗兎治鎏幚砗Ａ繑?shù)據(jù)的方式，使人們更快、更經(jīng)濟地獲得所需的結果。傳統(tǒng)商業(yè)智能限于技術瓶頸很大程度上是對抽樣數(shù)據(jù)進行分析。大數(shù)據(jù)技術就是要打破傳統(tǒng)商業(yè)智能領域的局限。大數(shù)據(jù)技術不但能處理結構化數(shù)據(jù)，還能分析和處理各種半結構化和非結構化數(shù)據(jù)，甚至從某種程度上，更擅長處理非結構化數(shù)據(jù)，例如Hadoop。而在現(xiàn)實生活中，這樣的數(shù)據(jù)更為普遍，增長得更為迅速。例如，社交媒體中的各種交互活動、購物網(wǎng)站用戶點擊行為、圖片、電子郵件等�？梢哉f，正是此類數(shù)據(jù)的爆炸性催生了大數(shù)據(jù)相關技術的出現(xiàn)和完善，從而讓人們知道在一個資源有限的世界中應該提取哪些有價值的信息。
　　大數(shù)據(jù)技術的出現(xiàn)和完善還可以幫助健康保險公司不做體檢就能決定保險覆蓋面，并降低提醒病人服藥的成本。通過大數(shù)據(jù)的相關性，語言可以得到翻譯，汽車可以在預測的基礎上自行駕駛。人們之所以能做所有的這些事，新工具的使用只是一個很小的因素，比擁有更快的處理器、更多的存儲器，更智能的軟件和算法更重要的是，人們擁有了更多的數(shù)據(jù)，繼而世界上更多的事物被數(shù)據(jù)化了。顯然，人類量化世界的雄心先于計算機革命，但是數(shù)字工具將數(shù)據(jù)化提升到了新的高度。不僅移動電話能夠跟蹤到呼叫的人和被呼叫人所在的位置，而且同樣的數(shù)據(jù)也能用于斷定來人是否生病了。
　　能置身于信息流中央并且能夠收集數(shù)據(jù)的公司通常會繁榮興旺。有效利用大數(shù)據(jù)需要專業(yè)技術和豐富的想象力，即一個能容納大數(shù)據(jù)的心態(tài)，但價值的核心歸功于數(shù)據(jù)本身。有時，重要的資產(chǎn)并不僅僅是能清楚看到的信息，聰明的公司可以用它來改善現(xiàn)有的服務，或推出全新的服務。
　　大數(shù)據(jù)將成為理解和解決當今許多緊迫的全球問題所不可或缺的重要工具。在應對氣候變化問題時，需要對污染相關的數(shù)據(jù)進行分析得出最佳方案，從而明確努力方向，找出解決問題的方法。全球范圍內(nèi)遍布的大量傳感設備，包括智能手機內(nèi)部的傳感器，使人們能以更高的細節(jié)水平模擬環(huán)境。而世界貧困人口迫切需要提高醫(yī)療保健服務，降低醫(yī)療費用，這很大程度上可以靠自動化來實現(xiàn)。當下許多似乎需要人類判斷力才能進行的事情，其實可以完全交由計算機來做，比如癌細胞活檢、傳染病爆發(fā)前期的模式預測等。
　　大數(shù)據(jù)也被用于發(fā)展經(jīng)濟和理解如何預防沖突。基于手機動向數(shù)據(jù)顯示，非洲許多貧民窟地區(qū)經(jīng)濟活動十分活躍。大數(shù)據(jù)還揭示了最有可能引發(fā)種族關系緊張的社區(qū)以及解除難民危機的方式。只有當科技應用于生活的方方面面時，大數(shù)據(jù)的使用范圍才能進一步擴大。
　　大數(shù)據(jù)能幫助人們更好地進行已有的工作，并處理全新事務。在不久的將來，人們將在生活的方方面面使用到大數(shù)據(jù)。當大數(shù)據(jù)成為日常生活的一部分后，它將會極大地改變?nèi)藗儗ξ磥淼目捶ā?br /> 　　大數(shù)據(jù)時代造就了一個數(shù)據(jù)庫無所不在的世界，數(shù)據(jù)監(jiān)管部門面臨前所未有的壓力和責任。如何避免數(shù)據(jù)泄露對國家利益、公眾利益、個人隱私造成傷害？如何避免信息不對稱，對困難群體的利益構成傷害？在有效控制風險之前，也許還是讓“大數(shù)據(jù)”繼續(xù)待在籠子里更好一些。
　　大數(shù)據(jù)的經(jīng)濟價值已經(jīng)被人們認可，大數(shù)據(jù)的技術正逐漸成熟，一旦完成數(shù)據(jù)的整合和監(jiān)管，大數(shù)據(jù)爆發(fā)的時代即將到來。人們現(xiàn)在要做的，就是選好自己的方向，為迎接大數(shù)據(jù)的到來提前做好準備。
　　以未來的視角看，無論是政府、互聯(lián)網(wǎng)公司、IT企業(yè)，還是行業(yè)用戶，只要以開放的心態(tài)、創(chuàng)新的勇氣擁抱“大數(shù)據(jù)”，大數(shù)據(jù)時代就一定有屬于中國的機會。
　　1.2大數(shù)據(jù)基本概念〖*2〗1.2.1大數(shù)據(jù)定義麥肯錫(美國首屈一指的咨詢公司)是研究大數(shù)據(jù)的先驅。在其報告《Big data: The next frontier for innovation,competition and productivity》中給出的大數(shù)據(jù)定義是: 大數(shù)據(jù)指的是大小超出常規(guī)的數(shù)據(jù)庫工具獲取、存儲、管理和分析能力的數(shù)據(jù)集。但它同時強調，并不是說一定要超過特定太字節(jié)(TB)值的數(shù)據(jù)集才能算是大數(shù)據(jù)。
　　國際數(shù)據(jù)公司(IDC)從大數(shù)據(jù)的四個特征來定義，即海量的數(shù)據(jù)規(guī)模(Volume)、快速的數(shù)據(jù)流轉和動態(tài)的數(shù)據(jù)體系(Velocity)、多樣的數(shù)據(jù)類型(Variety)、巨大的數(shù)據(jù)價值(Value)。
　　亞馬遜公司(全球最大的電子商務公司)的大數(shù)據(jù)科學家John Rauser 給出了一個簡單的定義: 大數(shù)據(jù)是任何超過了一臺計算機處理能力的數(shù)據(jù)量。
　　維基百科中只有短短的一句話: “巨量資料(Big Data)，或稱大數(shù)據(jù)，指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊�！�
　　而在百度百科中是這樣定義的: “大數(shù)據(jù)(Big Data)，是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合�！�
　　綜合上面的定義，可以得出以下幾點。
　　(1) 大數(shù)據(jù)并沒有明確的界限，它的標準是可變的。大數(shù)據(jù)在今天的不同行業(yè)中的范圍可以從幾十太字節(jié)(TB)到幾拍字節(jié)(PB)，但在20年前1GB的數(shù)據(jù)已然是大數(shù)據(jù)了�？梢�，隨著計算機軟硬件技術的發(fā)展，符合大數(shù)據(jù)標準的數(shù)據(jù)集容量也會增長。
　　(2) 大數(shù)據(jù)不僅僅只是大，它還包含了數(shù)據(jù)集規(guī)模已經(jīng)超過了傳統(tǒng)數(shù)據(jù)庫軟件獲取、存儲、分析和管理能力的意思。
　　IDC報告顯示，計到2020年全球數(shù)據(jù)總量將超過40ZB(相當于4萬億GB)，這一數(shù)據(jù)量是2011年的22倍。在過去幾年，全球的數(shù)據(jù)量以每年58%的速度增長，在未來這個速度會更快。如果按照現(xiàn)在存儲容量每年增長40%的速度計算，到2017年需要存儲的數(shù)據(jù)量甚至會大于存儲設備的總容量。如何利用大數(shù)據(jù)解決科研、醫(yī)療、能源、商業(yè)、政府管理、城市建設等領域的問題，是全世界面臨的問題。
　　舉幾個大家熟悉例子: 2014年11月19日，百度在京召開“百度云兩周年媒體溝通會”，正式宣布百度云總用戶數(shù)突破兩億，百度云數(shù)據(jù)存儲量達5EB，這些數(shù)據(jù)足以塞滿3.4億部16GB內(nèi)存的iPhone6，如果將這些手機首尾相連，可以在地球和月球之間搭建16條星際通道。
　　2014年3月7日，在阿里巴巴有史以來最大型對外開放的數(shù)據(jù)峰會“2014西湖品學大數(shù)據(jù)峰會”上，阿里巴巴大數(shù)據(jù)負責人披露了阿里巴巴目前的數(shù)據(jù)儲存情況。目前在阿里巴巴數(shù)據(jù)平臺事業(yè)部的服務器上，攢下了超過100PB已處理過的數(shù)據(jù)，等于104857600GB，相當于4萬個西雅圖中央圖書館，580億本藏書。僅淘寶和天貓兩個子公司每日新增的數(shù)據(jù)量，就足以讓一個人連續(xù)不斷看上28年的電影。而如果將一個人作為服務器，則此人處理的數(shù)據(jù)量相當于每秒鐘看上837集的《來自星星的你》。
　　在2013年的數(shù)據(jù)大會上，騰訊公司數(shù)據(jù)平臺總經(jīng)理助理蔣杰透露，騰訊QQ目前擁有8億用戶、4億移動用戶，在數(shù)據(jù)倉庫存儲的數(shù)據(jù)量單機群數(shù)量已達到4400臺，總存儲數(shù)據(jù)量經(jīng)壓縮處理后約100PB，并且這一數(shù)據(jù)還在日增200～300TB、月增加率為10%的速度增長。
　　1993 年，《紐約客》刊登了一幅漫畫，標題是“互聯(lián)網(wǎng)上，沒有人知道你是一條狗”。據(jù)說作者彼得·施泰納因為此漫畫的重印而賺取了超過5 萬美元。當時關注互聯(lián)網(wǎng)社會學的一些專家，甚至擔憂“計算機異性扮裝”而引發(fā)的社會問題。
　　20多年后，互聯(lián)網(wǎng)發(fā)生了巨大的變化，移動互聯(lián)、社交網(wǎng)絡、電子商務大大拓展了互聯(lián)網(wǎng)的疆界和應用領域。人們在享受便利的同時，也無償貢獻了自己的“行蹤”�，F(xiàn)在互聯(lián)網(wǎng)不但知道對面是一條狗，還知道這條狗喜歡什么食物、幾點出去遛彎、幾點回窩睡覺。人們不得不接受這個現(xiàn)實，每個人在互聯(lián)網(wǎng)進入到大數(shù)據(jù)時代都將是透明存在的。
　　1.2.2大數(shù)據(jù)結構類型
　　當今企業(yè)存儲的數(shù)據(jù)不僅僅是內(nèi)容多，而且結構已發(fā)生了極大改變，不再僅僅是以二維表的規(guī)范結構存儲。大量的數(shù)據(jù)來自不是結構化的數(shù)據(jù)類型(半結構化數(shù)據(jù)、準結構化數(shù)據(jù)或非結構化數(shù)據(jù))，如辦公文檔、文本、圖片、XML、 HTML、各類報表、圖片、音頻和視頻等，并且這些數(shù)據(jù)在企業(yè)的所有數(shù)據(jù)中是大量且增長迅速的。企業(yè)80%的數(shù)據(jù)來自不是結構化的數(shù)據(jù)類型，結構化數(shù)據(jù)僅有20%。全球結構化數(shù)據(jù)增長速度約為32%，而不是結構化的數(shù)據(jù)類型增速高達63%。預計今年不是結構化的數(shù)據(jù)類型占有比例將達到互聯(lián)網(wǎng)整個數(shù)據(jù)量的75%以上。
　　(1) 結構化數(shù)據(jù): 包括預定義的數(shù)據(jù)類型、格式和結構的數(shù)據(jù)。例如，關系型數(shù)據(jù)庫中的數(shù)據(jù)。
　　(2) 半結構化數(shù)據(jù): 具有可識別的模式并可以解析的文本數(shù)據(jù)文件。例如，自描述和具有定義模式的XML數(shù)據(jù)文件。
　　(3) 準結構化數(shù)據(jù): 具有不規(guī)則數(shù)據(jù)格式的文本數(shù)據(jù)，使用工具可以使之格式化。例如，包含不一致的數(shù)據(jù)值和格式化的網(wǎng)站點擊數(shù)據(jù)，可參考http://www.zkpk.org/。
　　(4) 非結構化數(shù)據(jù): 沒有固定結構的數(shù)據(jù)，通常保存為不同類型的文件。例如，文本文檔、圖片、音頻和視頻。
　　1.2.3大數(shù)據(jù)核心特征
　　業(yè)界通常用4個V，即Volume(數(shù)據(jù)量大)、Variety(類型繁多)、Value(價值密度低)、Velocity(速度快，時效高)來概括大數(shù)據(jù)的特征。
　　……