PREFACE前　　言為什么要寫(xiě)這本書(shū)這是一本關(guān)于中文自然語(yǔ)言處理（簡(jiǎn)稱NLP）的書(shū)，NLP是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向。它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的各種理論和方法。NLP是一門(mén)融語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、數(shù)學(xué)于一體的科學(xué)。本書(shū)偏重實(shí)戰(zhàn)，不僅系統(tǒng)介紹了NLP涉及的知識(shí)點(diǎn)，同時(shí)也教會(huì)讀者如何實(shí)際應(yīng)用與開(kāi)發(fā)。圍繞這個(gè)主題，本書(shū)從章節(jié)規(guī)劃到具體的講述方式，具有以下兩個(gè)特點(diǎn)：
第一個(gè)特點(diǎn)是本書(shū)的主要目標(biāo)讀者定位為高校相關(guān)專業(yè)的大學(xué)生（統(tǒng)計(jì)學(xué)、計(jì)算機(jī)技術(shù)）、NLP愛(ài)好者，以及不具備專業(yè)數(shù)學(xué)知識(shí)的人群。NLP是一系列學(xué)科的集合體，其中包含了語(yǔ)言學(xué)、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、大數(shù)據(jù)以及人工智能等方面，尤其依賴數(shù)學(xué)知識(shí)才能深入理解其原理。因此本書(shū)對(duì)專業(yè)知識(shí)的講述過(guò)程必須繞過(guò)復(fù)雜的數(shù)學(xué)證明，從問(wèn)題的前因后果、創(chuàng)造者思考的過(guò)程、概率或幾何解釋代替數(shù)學(xué)解釋等一系列迂回的路徑去深入模型的本源，這可能多少會(huì)犧牲一些嚴(yán)謹(jǐn)性，但是卻能換來(lái)對(duì)大多數(shù)人更為友好的閱讀體驗(yàn)。
第二個(gè)特點(diǎn)是本書(shū)是一本介紹中文自然語(yǔ)言處理的書(shū)，中文分詞相對(duì)于英文分詞來(lái)說(shuō)更為復(fù)雜，讀者將通過(guò)例子來(lái)學(xué)習(xí)，體會(huì)到能夠通過(guò)實(shí)踐驗(yàn)證自己想法的價(jià)值，我們提供了豐富的來(lái)自NLP領(lǐng)域的案例。在本書(shū)的內(nèi)容編制上，從知識(shí)點(diǎn)背景介紹到原理剖析，輔以實(shí)戰(zhàn)案例，所有的代碼會(huì)在書(shū)中詳細(xì)列出或者上傳Github方便讀者下載與調(diào)試，幫助讀者快速上手掌握知識(shí)點(diǎn)，同時(shí)可以應(yīng)用到后續(xù)實(shí)際的開(kāi)發(fā)項(xiàng)目中。在實(shí)際項(xiàng)目章節(jié)中，選取目前在NLP領(lǐng)域中比較熱門(mén)的項(xiàng)目，將之前的知識(shí)點(diǎn)進(jìn)行匯總，幫助讀者鞏固與提升。本書(shū)難度適中屬于入門(mén)和擴(kuò)展級(jí)讀物。
讀者將學(xué)到什么如何用NLP 與語(yǔ)言學(xué)的關(guān)鍵概念來(lái)描述和分析語(yǔ)言NLP 中的數(shù)據(jù)結(jié)構(gòu)和算法是怎樣的自然語(yǔ)言處理目前主流的技術(shù)與方法論信息檢索技術(shù)與大數(shù)據(jù)應(yīng)用讀者對(duì)象1）統(tǒng)計(jì)學(xué)或相關(guān)IT專業(yè)學(xué)生本書(shū)的初衷是面向相關(guān)專業(yè)的學(xué)生大量基于理論知識(shí)的認(rèn)知卻缺乏實(shí)戰(zhàn)經(jīng)驗(yàn)的人員，讓其在理論的基礎(chǔ)上深入了解。通過(guò)本書(shū)，學(xué)生可以跟隨本書(shū)的教程一起操作學(xué)習(xí)，達(dá)到對(duì)自己使用的人工智能工具、算法和技術(shù)知其然亦知其所以然的目的。
2）信息科學(xué)和計(jì)算機(jī)科學(xué)愛(ài)好者本書(shū)是一部近代科技的歷史書(shū)，也是一部科普書(shū)，還可以作為一部人工智能思想和技術(shù)的教科書(shū)去閱讀。通過(guò)本書(shū)可以了解到行業(yè)先驅(qū)們?cè)谔剿魅斯ぶ悄艿缆飞纤�做出的努力和思考，理解他們不同的觀點(diǎn)和思路，有助于開(kāi)拓自己的思維和視野。
3）人工智能相關(guān)專業(yè)的研究人員本書(shū)具體介紹了NLP相關(guān)知識(shí)。通過(guò)本書(shū)可以了解理論知識(shí)，了解哪些才是項(xiàng)目所需的內(nèi)容以及如何在項(xiàng)目中實(shí)現(xiàn)，能夠快速上手。
如何閱讀本書(shū)本書(shū)內(nèi)容針對(duì)NLP從以下幾個(gè)方面進(jìn)行闡述：
第一部分的內(nèi)容包括第1、2、11章，主要介紹了NLP所需要了解的Python科學(xué)包、正則表達(dá)式以及Solr檢索。
第二部分的內(nèi)容包括第5～10章的內(nèi)容，主要是介紹NLP相關(guān)的各個(gè)知識(shí)點(diǎn)。分別是：
第3～5章主要介紹了詞法分析層面的一些技術(shù)，這一部分是NLP技術(shù)的基礎(chǔ)，需要讀者熟練掌握。
第6章介紹了句法分析技術(shù)，該部分目前理論研究較多，工程實(shí)踐中使用門(mén)檻相對(duì)較高，且效果多是依賴結(jié)合業(yè)務(wù)知識(shí)進(jìn)行規(guī)則擴(kuò)展，因此本書(shū)未做深入探討，讀者了解即可。
第7章介紹了常用的向量化方法。這些方法常用于各種NLP任務(wù)的輸入，讀者需重點(diǎn)掌握。
第8章介紹了情感分析相關(guān)的概念、場(chǎng)景以及一般做情感分析的流程，情感分析在很多行業(yè)都有應(yīng)用，所以需要讀者熟練掌握。
第9章介紹了機(jī)器學(xué)習(xí)的一些基本概念，重點(diǎn)突出NLP常用的分類算法、聚類算法，同時(shí)還介紹了幾個(gè)案例，這章是NLP的基礎(chǔ)內(nèi)容，需要重點(diǎn)掌握。
第10章介紹了NLP中常用的深度學(xué)習(xí)算法，這些方法比較復(fù)雜，但是非常實(shí)用，需要讀者耐心學(xué)習(xí)。
除了以上內(nèi)容外，以下信息是在本書(shū)中涉及特定內(nèi)容的解釋和說(shuō)明：
內(nèi)容延伸。本書(shū)每個(gè)章節(jié)都有一定的內(nèi)容延伸章節(jié)，其內(nèi)容是對(duì)于有興趣深入研究的讀者推薦的資料或進(jìn)一步了解的知識(shí)點(diǎn)，由于每個(gè)主題都涵蓋很多內(nèi)容，因此本書(shū)僅在內(nèi)容延伸中拋磚引玉，有興趣的讀者可以加以了解和學(xué)習(xí)。
相關(guān)知識(shí)點(diǎn)。本書(shū)很多章節(jié)中都有相關(guān)知識(shí)點(diǎn)的內(nèi)容介紹，其對(duì)特定工具、知識(shí)、算法、庫(kù)等方面做了較為詳細(xì)的介紹，它們是本書(shū)的知識(shí)堡壘。
本章小結(jié)。每章的結(jié)尾都有本章小結(jié)，在小結(jié)中包含4部分內(nèi)容。
內(nèi)容小結(jié)。內(nèi)容小結(jié)是有關(guān)本章內(nèi)容的總結(jié)。
重點(diǎn)知識(shí)。重點(diǎn)知識(shí)是本章重點(diǎn)需要讀者掌握的知識(shí)和內(nèi)容。
外部參考。外部參考是本章提到過(guò)但是無(wú)法詳細(xì)介紹的內(nèi)容，都在外部參考中列出，有興趣的讀者可以基于比構(gòu)建自己的知識(shí)圖譜。
應(yīng)用實(shí)踐�；�于本章內(nèi)容推薦讀者在實(shí)踐中落地的建議。
提示。對(duì)于知識(shí)點(diǎn)的重要提示和應(yīng)用技巧，相對(duì)相關(guān)知識(shí)點(diǎn)而言，每條提示信息的內(nèi)容量較少，一般都是經(jīng)驗(yàn)類的總結(jié)。
注意。特定需要引起注意的知識(shí)，這些注意點(diǎn)是應(yīng)用過(guò)程中需要避免的大坑。
關(guān)于附件的使用方法除了第1章外，本書(shū)的每一章都有對(duì)應(yīng)源數(shù)據(jù)和完整代碼，該內(nèi)容可在本書(shū)中直接找到，有些代碼需要從Github下載，地址是https://github.com/nlpinaction/learning-nlp。需要注意的是，為了讓讀者更好地了解每行代碼的含義，筆者在注釋信息中使用了中文標(biāo)注，且每個(gè)程序文件的編碼格式都是UTF-8。
勘誤和支持由于筆者水平有限，書(shū)中難免會(huì)出現(xiàn)一些錯(cuò)誤或者不準(zhǔn)確的地方，懇請(qǐng)讀者批評(píng)指正。讀者可通過(guò)以下途徑聯(lián)系并反饋建議或意見(jiàn)：
即時(shí)通訊。添加個(gè)人微信（kennymingtu）反饋問(wèn)題。
電子郵件。發(fā)送E-mail到kenny_tm@hotmail.com。
致謝在本書(shū)的撰寫(xiě)過(guò)程中，得到了來(lái)自多方的指導(dǎo)、幫助和支持。
首先要感謝的是機(jī)械工業(yè)出版社華章公司的楊福川編輯，他在本書(shū)出版過(guò)程中給予我極大的支持和鼓勵(lì)，并為此書(shū)的撰寫(xiě)提供了方向和思路指導(dǎo)。
其次要感謝黃英和周劍老師在自然語(yǔ)言處理項(xiàng)目和工作中提供的寶貴經(jīng)驗(yàn)和支持。
再次要感謝全程參與審核、校驗(yàn)等工作的張錫鵬、孫海亮編輯以及其他背后默默支持的出版工作者，是他們的辛勤付出才讓本書(shū)得以順利面世。
最后感謝我的父母、家人和朋友，使得我有精力完成本書(shū)的編寫(xiě)。
謹(jǐn)以此書(shū)獻(xiàn)給熱愛(ài)數(shù)據(jù)工作并為之奮斗的朋友們，愿大家身體健康、生活美滿、事業(yè)有成！
涂銘2018年1月于上海書(shū)籍初成，感慨良多。
在接受邀請(qǐng)撰寫(xiě)本書(shū)時(shí)，從未想到過(guò)程如此艱辛。
感謝我的女友和家人的理解與支持，陪伴我度過(guò)寫(xiě)書(shū)的漫長(zhǎng)歲月。
感謝我的合著者涂銘和劉樹(shù)春，與他們合作輕松愉快，給予我很多的理解和包容。
感謝參與審閱、校驗(yàn)等工作的孫海亮老師等出版社工作人員，是他們?cè)谀缓蟮男燎诟冻霰ＷC了本書(shū)的出版成功。
再次感謝一路陪伴的所有人！
劉祥2018年1月于北京首先要感謝我的兩位合作者涂銘和劉祥，能夠相聚在一起寫(xiě)書(shū)是緣分。當(dāng)初聊到出版NLP入門(mén)書(shū)籍的想法時(shí)我們一拍即合，然而真正開(kāi)始執(zhí)筆才發(fā)現(xiàn)困難重重，業(yè)余時(shí)間常常被工作擠占，進(jìn)度一拖再拖，在伙伴們的支持下，克服了拖延癥，順利完成本書(shū)。
特別感謝我的愛(ài)人和家人的悉心照料和支持。
感謝孫海亮老師、張錫鵬老師等出版社工作人員，沒(méi)有他們的辛勞付出就沒(méi)有本書(shū)保質(zhì)保量的完成。
最后感謝幫我校稿的林博、謝雨飛、陳敏，謝謝他們?cè)谏�活和工作上給我的支持與幫助。
最后，祝大家學(xué)習(xí)快樂(lè)。
劉樹(shù)春2018年1月于上海