第章
　　3
　　HiveQL數據操作
　　本章摘要
　　在第2章中學習了管理表、外部表、分區(qū)表和桶表的概念，并且學習了創(chuàng)建、修改和刪除表。在本章中將學習如何對Hive表中的數據進行操作。
　　首先，將學習如何把數據加載到表中，以及如何把表中的數據導出到指定的位置；其次，作為本章最重要的部分，將要學習一些數據查詢語句，包括簡單的查詢語句和復雜的查詢語句，因為好多用戶需求需要通過查詢語句得出結果；最后，簡單介紹抽樣查詢。
　　3.1數據加載與導出
　　本節(jié)主要學習如何往表中加載數據，以及怎么導出數據。數據加載的幾種主要方式：從本地系統(tǒng)中導入數據到Hive表中、從HDFS上導入數據到Hive表中、通過查詢語句向Hive表中導入數據，以及動態(tài)分區(qū)插入數據；數據導出包括如何導出數據和導到何處。
　　3.1.1數據加載
　　1.從本地系統(tǒng)中導入數據到Hive表中
　　實例：hive>LOADDATALOCALINPATH'/home/zkpk/empmessages'INTOTABLEemp_messages;本例是把本地文件empmessages中的數據導入創(chuàng)建的Hive表emp_messages中。通過這個實例，整理出通用的語句格式是：LOADDATALOCALINPATH'/本地文件路徑'INTOTABLEtablename;注意：關鍵字LOCAL不能漏掉。如果忘記此關鍵字，則默認從HDFS上去尋找所需要的數據文件路徑。
　　2.從HDFS上導入數據到Hive表中
　　實例：\[zkpk@master~\]$hadoopfs-put/home/zkpk/empmessages/data/emp_messages;由于已創(chuàng)建的管理表就在HDFS上，所以只需要將文件put到管理表所在的目錄就可以完成數據導入。通過這個實例，整理出來通用的語句格式是：hadoopfs-put'/數據所存放的本地路徑''/創(chuàng)建表時存放表的路徑'大數據
　　離線分析
　　0第3章
　　HiveQL數據操作
　　03.通過查詢語句向Hive表中導入數據
　　通過查詢語句向一張Hive空表中導入數據的實例。hive>INSERTINTOTABLEemp_messagesSELECT�矲ROMold_emp_messages;如該例所示，首次向表中插入數據時，語句為INSERTINTOTABLEtablenameSELECT...INTO...。
　　查看此時表中的數據，驗證執(zhí)行結果。使用OVERWRITE關鍵字時，可以覆蓋目標表中原來相同partition中的所有數據，如果目標表中沒有partition，則覆蓋整個表。hive>INSERTOVERWRITETABLEemp_messagesSELECT�矲ROMold_emp_messages;查看此時表中的數據，驗證執(zhí)行結果。4.動態(tài)分區(qū)插入數據
　　所謂動態(tài)分區(qū)，也稱作動態(tài)分區(qū)插入，指的是插入目標表時僅指定分區(qū)字段，不指定分區(qū)值，分區(qū)值是從原始表中取得的。靜態(tài)分區(qū)和動態(tài)分區(qū)的區(qū)別在于導入數據時，是手動輸入分區(qū)名稱，還是通過數據來判斷數據分區(qū)。如果一次插入上百上千個分區(qū)中，只寫插入的代碼就很多,這種場景就適合使用動態(tài)分區(qū)插入功能。
　　默認情況下，Hive是支持動態(tài)分區(qū)插入的，但是并沒有開啟。開啟后，默認是以“嚴格”模式執(zhí)行：要求至少有一列分區(qū)字段是靜態(tài)的。這有助于阻止因設計錯誤導致查詢產生大量的分區(qū)。表3��1描述了動態(tài)分區(qū)相關的屬性設置。表3��1動態(tài)分區(qū)屬性
　　屬性名稱默認值描述hive.exec.dynamic.partitionfalse設置成true，表示開啟動態(tài)分區(qū)功能hive.exec.dynamic.partition.modestrict設置成nonstrict，表示允許所有分區(qū)都是動態(tài)的hive.exec.max.dynamic.partitions.pernode100每個Mapper或Reducer可以創(chuàng)建的最大動態(tài)分區(qū)個數。如果某個Mapper或Reducer嘗試創(chuàng)建大于這個值的分區(qū)，則會拋出一個致命的錯誤信息hive.exec.max.dynamic.partitions1000一個動態(tài)分區(qū)創(chuàng)建語句可以創(chuàng)建的最大動態(tài)分區(qū)個數。如果超過這個值，則會拋出一個致命錯誤信息hive.exec.max.created.files100000全局可以創(chuàng)建的最大文件個數。有一個Hadoop計數器會跟蹤記錄創(chuàng)建了多少個文件，如果超過這個值，則會拋出一個致命錯誤信息在學習動態(tài)分區(qū)插入數據前，先學習靜態(tài)分區(qū)插入數據。所謂的靜態(tài)分區(qū)插入數據就是在寫插入語句時，分區(qū)的值為一個確定的值，通過如下的例子可以加深認識。hive>INSERTOVERWRITETABLEtestparPARTITION(days='0328')
　　>SELECT�矲ROMtesttWHEREt.day='0328';接下來，查看一下插入的結果。動態(tài)分區(qū)，顧名思義，就是在分區(qū)的字段值不確定的情況下進行數據插入操作。hive>INSERTOVERWRITETABLEtestparPARTITION(days)
　　>SELECT�矲ROMtest;注意：如果分區(qū)是可以確定的，建議用靜態(tài)分區(qū)的方式。不要用動態(tài)分區(qū)，因為動態(tài)分區(qū)的值是在reduce運行階段確定的，也就是會把所有的記錄distributeby�？上攵�知，表記錄非常大的情況下，只有一個reduce處理，后果是不可想象的。然而，靜態(tài)分區(qū)在編譯階段已經確定，不需要reduce處理。
　　3.1.2數據導出
　　數據導出可以分為：導出到本地文件系統(tǒng)中；導出到HDFS文件中；從一張表導出到另一張表中。
　　1.把數據導出到本地文件系統(tǒng)中hive>INSERTOVERWRITELOCALDIRECTORY'/home/zkpk/test'
　　>SELECT�矲ROMtest;執(zhí)行完上面的語句，在本地文件系統(tǒng)中查看有沒有導出數據的文件。2.把數據導出到HDFS文件中hive>INSERTOVERWRITEDIRECTORY'/data/test_1'
　　>SELECT�矲ROMtest;查看結果如下：3.從一張表導出到另一張表中hive>INSERTINTOTABLEtest_1
　　>SELECT�矲ROMtest;查看結果如下：
　　如果數據文件恰好是用戶所需要的格式，那么只需要把數據復制到目標路徑下。hadoopfs-cp/source_path/target_path
　　3.2數據查詢
　　在本節(jié)中，通過搜狗搜索日志分析系統(tǒng)案例來介紹一些常用的數據查詢語句。
　　創(chuàng)建表：hive>CREATETABLEsougou_20111230(
　　>logdateSTRING,
　　>uidSTRING,
　　>keywordSTRING,
　　>rankINT,
　　>searchorderINT,
　　>urlSTRING)
　　>ROWFORMATDELIMITED
　　>FIELDSTERMINATEDBY'\\t'
　　>LOCATION'/data/sogou_20111230';
　　hive>CREATETABLEsougou_old_20111230(
　　>logdateSTRING,
　　>uidSTRING,
　　>keywordSTRING,
　　>rankINT,
　　>searchorderINT,
　　>urlSTRING)
　　>ROWFORMATDELIMITED
　　>FIELDSTERMINATEDBY'\\t'
　　>LOCATION'/data/sogou_old_20111230';3.2.1SELECT...FROM語句
　　SELECT...FROM語句和MySQL中的語法是一致的，SELECT是SQL中的投影算子，FROM子句標識了從哪個表、視圖或嵌套查詢中選擇記錄。
　　查詢表sougou_20111230中的所有字段信息。一張表中的字段有可能非常多，當用戶所需要查詢的字段只需要少數幾個時，把需要的字段列舉出來即可。對于集合數據類型，引用集合數據類型中的元素有以下方式。
　　(1)數組引用方式，其索引是從0開始的(和Java一樣)，語句如下：SELECT字段名\[集合數據類型中的元素的位置\]FROMtablename;注意：引用一個不存在的元素將會返回NULL。
　　(2)為了引用一個MAP元素，用戶還可以使用ARRAY\[...\]語法，但是使用的鍵值是非整數索引。語句如下：SELECT字段名\[集合數據類型中的元素內容\]FROMtablename;(3)為了引用STRUCT中的一個元素，用戶可以使用“.”符號，類似于“表的別名.列名”。SELECT字段名.集合中的某個元素FROMtablename;FROM子句在使用中還有以下用法和功能。
　　1.LIMIT語句
　　往往典型的查詢會返回多行數據，有時候不需要查詢那么多行，這時候可以使用LIMIT關鍵字來限制行數。例如，查詢表sougou_20111230中5行數據。hive>SELECT�矲ROMsougou_20111230LIMIT5;結果如下：
　　……