本文將討論文本預(yù)處理的基本步驟，旨在將文本信息從人類語(yǔ)言轉(zhuǎn)換為機(jī)器可讀格式以便用于后續(xù)處理。此外，本文還將進(jìn)一步討論文本預(yù)處理過(guò)程所需要的工具。

當(dāng)拿到一個(gè)文本后，首先從文本正則化（text normalization）處理開(kāi)始。常見(jiàn)的文本正則化步驟包括：

將文本中出現(xiàn)的所有字母轉(zhuǎn)換為小寫(xiě)或大寫(xiě)

將文本中的數(shù)字轉(zhuǎn)換為單詞或刪除這些數(shù)字

刪除文本中出現(xiàn)的標(biāo)點(diǎn)符號(hào)、重音符號(hào)以及其他變音符號(hào)

刪除文本中的空白區(qū)域

擴(kuò)展文本中出現(xiàn)的縮寫(xiě)

刪除文本中出現(xiàn)的終止詞、稀疏詞和特定詞

文本規(guī)范化（text canonicalization）

下面將詳細(xì)描述上述文本正則化步驟。

將文本中出現(xiàn)的字母轉(zhuǎn)化為小寫(xiě)

示例1：將字母轉(zhuǎn)化為小寫(xiě)

Python 實(shí)現(xiàn)代碼：

input_str=”The5biggestcountriesbypopulationin2017areChina,India,UnitedStates,Indonesia,andBrazil.”input_str=input_str.lower()print(input_str)

輸出：

the5biggestcountriesbypopulationin2017arechina,india,unitedstates,indonesia,andbrazil.

刪除文本中出現(xiàn)的數(shù)字

如果文本中的數(shù)字與文本分析無(wú)關(guān)的話，那就刪除這些數(shù)字。通常，正則化表達(dá)式可以幫助你實(shí)現(xiàn)這一過(guò)程。

示例2：刪除數(shù)字

Python 實(shí)現(xiàn)代碼：

importreinput_str=’BoxAcontains3redand5whiteballs,whileBoxBcontains4redand2blueballs.’result=re.sub(r’d+’,‘’,input_str)print(result)

輸出：

BoxAcontainsredandwhiteballs,whileBoxBcontainsredandblueballs.

刪除文本中出現(xiàn)的標(biāo)點(diǎn)

以下示例代碼演示如何刪除文本中的標(biāo)點(diǎn)符號(hào)，如[!”#$%&’()*+,-./:;<=>?@[]^_`{|}~] 等符號(hào)。

示例3：刪除標(biāo)點(diǎn)

Python 實(shí)現(xiàn)代碼：

importstringinput_str=“This&is[an]example?{of}string.with.?punctuation!!!!”#Samplestringresult=input_str.translate(string.maketrans(“”,””),string.punctuation)print(result)

輸出：

Thisisanexampleofstringwithpunctuation

刪除文本中出現(xiàn)的空格

可以通過(guò) strip()函數(shù)移除文本前后出現(xiàn)的空格。

示例4：刪除空格

Python 實(shí)現(xiàn)代碼：

input_str=“ astringexample “input_str=input_str.strip()input_str

輸出：

‘a(chǎn)stringexample’

符號(hào)化（Tokenization）

符號(hào)化是將給定的文本拆分成每個(gè)帶標(biāo)記的小模塊的過(guò)程，其中單詞、數(shù)字、標(biāo)點(diǎn)及其他符號(hào)等都可視為是一種標(biāo)記。在下表中（Tokenization sheet），羅列出用于實(shí)現(xiàn)符號(hào)化過(guò)程的一些常用工具。

刪除文本中出現(xiàn)的終止詞

終止詞（Stop words）指的是“a”，“a”，“on”，“is”，“all”等語(yǔ)言中最常見(jiàn)的詞。這些詞語(yǔ)沒(méi)什么特別或重要意義，通?？梢詮奈谋局袆h除。一般使用Natural Language Toolkit（NLTK）來(lái)刪除這些終止詞，這是一套專門(mén)用于符號(hào)和自然語(yǔ)言處理統(tǒng)計(jì)的開(kāi)源庫(kù)。

示例7：刪除終止詞

實(shí)現(xiàn)代碼：

input_str=“NLTKisaleadingplatformforbuildingPythonprogramstoworkwithhumanlanguagedata.”stop_words=set(stopwords.words(‘english’))fromnltk.tokenizeimportword_tokenizetokens=word_tokenize(input_str)result=[iforiintokensifnotiinstop_words]print(result)

輸出：

[‘NLTK’,‘leading’,‘platform’,‘building’,‘Python’,‘programs’,‘work’,‘human’,‘language’,‘data’,‘.’]

此外，scikit-learn也提供了一個(gè)用于處理終止詞的工具：

fromsklearn.feature_extraction.stop_wordsimportENGLISH_STOP_WORDS

同樣，spaCy也有一個(gè)類似的處理工具：

fromspacy.lang.en.stop_wordsimportSTOP_WORDS

刪除文本中出現(xiàn)的稀疏詞和特定詞

在某些情況下，有必要?jiǎng)h除文本中出現(xiàn)的一些稀疏術(shù)語(yǔ)或特定詞?？紤]到任何單詞都可以被認(rèn)為是一組終止詞，因此可以通過(guò)終止詞刪除工具來(lái)實(shí)現(xiàn)這一目標(biāo)。

詞干提取（Stemming）

詞干提取是一個(gè)將詞語(yǔ)簡(jiǎn)化為詞干、詞根或詞形的過(guò)程（如books-book，looked-look）。當(dāng)前主流的兩種算法是Porter stemming算法（刪除單詞中刪除常見(jiàn)的形態(tài)和拐點(diǎn)結(jié)尾）和Lancaster stemming算法。

示例8：使用 NLYK 實(shí)現(xiàn)詞干提取

實(shí)現(xiàn)代碼：

fromnltk.stemimportPorterStemmerfromnltk.tokenizeimportword_tokenizestemmer=PorterStemmer()input_str=”Thereareseveraltypesofstemmingalgorithms.”input_str=word_tokenize(input_str)forwordininput_str:print(stemmer.stem(word))

輸出：

Therearesevertypeofstemalgorithm.

詞形還原（Lemmatization）

詞形還原的目的，如詞干過(guò)程，是將單詞的不同形式還原到一個(gè)常見(jiàn)的基礎(chǔ)形式。與詞干提取過(guò)程相反，詞形還原并不是簡(jiǎn)單地對(duì)單詞進(jìn)行切斷或變形，而是通過(guò)使用詞匯知識(shí)庫(kù)來(lái)獲得正確的單詞形式。

當(dāng)前常用的詞形還原工具庫(kù)包括：NLTK（WordNet Lemmatizer），spaCy，TextBlob，Pattern，gensim，Stanford CoreNLP，基于內(nèi)存的淺層解析器（MBSP），Apache OpenNLP，Apache Lucene，文本工程通用架構(gòu)（GATE），Illinois Lemmatizer和DKPro Core。

示例 9：使用 NLYK 實(shí)現(xiàn)詞形還原

實(shí)現(xiàn)代碼：

fromnltk.stemimportWordNetLemmatizerfromnltk.tokenizeimportword_tokenizelemmatizer=WordNetLemmatizer()input_str=”beenhaddonelanguagescitiesmice”input_str=word_tokenize(input_str)forwordininput_str:print(lemmatizer.lemmatize(word))

輸出：

behavedolanguagecitymouse

詞性標(biāo)注（POS）

詞性標(biāo)注旨在基于詞語(yǔ)的定義和上下文意義，為給定文本中的每個(gè)單詞（如名詞、動(dòng)詞、形容詞和其他單詞）分配詞性。當(dāng)前有許多包含POS標(biāo)記器的工具，包括NLTK，spaCy，TextBlob，Pattern，Stanford CoreNLP，基于內(nèi)存的淺層分析器（MBSP），Apache OpenNLP，Apache Lucene，文本工程通用架構(gòu)（GATE），F(xiàn)reeLing，Illinois Part of Speech Tagger和DKPro Core。

示例 10：使用 TextBlob 實(shí)現(xiàn)詞性標(biāo)注

實(shí)現(xiàn)代碼：

input_str=”P(pán)artsofspeechexamples:anarticle,towrite,interesting,easily,and,of”fromtextblobimportTextBlobresult=TextBlob(input_str)print(result.tags)

輸出：

[(‘Parts’,u’NNS’),(‘of’,u’IN’),(‘speech’,u’NN’),(‘examples’,u’NNS’),(‘a(chǎn)n’,u’DT’),(‘a(chǎn)rticle’,u’NN’),(‘to’,u’TO’),(‘write’,u’VB’),(‘interesting’,u’VBG’),(‘easily’,u’RB’),(‘a(chǎn)nd’,u’CC’),(‘of’,u’IN’)]

詞語(yǔ)分塊（淺解析）

詞語(yǔ)分塊是一種識(shí)別句子中的組成部分（如名詞、動(dòng)詞、形容詞等），并將它們鏈接到具有不連續(xù)語(yǔ)法意義的高階單元（如名詞組或短語(yǔ)、動(dòng)詞組等）的自然語(yǔ)言過(guò)程。常用的詞語(yǔ)分塊工具包括：NLTK，TreeTagger chunker，Apache OpenNLP，文本工程通用架構(gòu)（GATE），F(xiàn)reeLing。

示例 11：使用 NLYK 實(shí)現(xiàn)詞語(yǔ)分塊

第一步需要確定每個(gè)單詞的詞性。

實(shí)現(xiàn)代碼：

input_str=”AblacktelevisionandawhitestovewereboughtforthenewapartmentofJohn.”fromtextblobimportTextBlobresult=TextBlob(input_str)print(result.tags)

輸出：

[(‘A’,u’DT’),(‘black’,u’JJ’),(‘television’,u’NN’),(‘a(chǎn)nd’,u’CC’),(‘a(chǎn)’,u’DT’),(‘white’,u’JJ’),(‘stove’,u’NN’),(‘were’,u’VBD’),(‘bought’,u’VBN’),(‘for’,u’IN’),(‘the’,u’DT’),(‘new’,u’JJ’),(‘a(chǎn)partment’,u’NN’),(‘of’,u’IN’),(‘John’,u’NNP’)]

第二部就是進(jìn)行詞語(yǔ)分塊

實(shí)現(xiàn)代碼：

reg_exp=“NP:{

?*}”rp=nltk.RegexpParser(reg_exp)result=rp.parse(result.tags)print(result)

輸出：

(S(NPA/DTblack/JJtelevision/NN)and/CC(NPa/DTwhite/JJstove/NN)were/VBDbought/VBNfor/IN(NPthe/DTnew/JJapartment/NN)of/INJohn/NNP)

也可以通過(guò)result.draw(）函數(shù)繪制句子樹(shù)結(jié)構(gòu)圖，如下圖所示。

命名實(shí)體識(shí)別（Named Entity Recognition）

命名實(shí)體識(shí)別（NER）旨在從文本中找到命名實(shí)體，并將它們劃分到事先預(yù)定義的類別（人員、地點(diǎn)、組織、時(shí)間等）。

常見(jiàn)的命名實(shí)體識(shí)別工具如下表所示，包括：NLTK，spaCy，文本工程通用架構(gòu)（GATE） -- ANNIE，Apache OpenNLP，Stanford CoreNLP，DKPro核心，MITIE，Watson NLP，TextRazor，F(xiàn)reeLing等。

示例12：使用TextBlob實(shí)現(xiàn)詞性標(biāo)注

實(shí)現(xiàn)代碼：

fromnltkimportword_tokenize,pos_tag,ne_chunkinput_str=“BillworksforApplesohewenttoBostonforaconference.”printne_chunk(pos_tag(word_tokenize(input_str)))

輸出：

(S(PERSONBill/NNP)works/VBZfor/INApple/NNPso/INhe/PRPwent/VBDto/TO(GPEBoston/NNP)for/INa/DTconference/NN./.)

共指解析Coreference resolution（回指分辨率anaphora resolution）

代詞和其他引用表達(dá)應(yīng)該與正確的個(gè)體聯(lián)系起來(lái)。Coreference resolution在文本中指的是引用真實(shí)世界中的同一個(gè)實(shí)體。如在句子“安德魯說(shuō)他會(huì)買車”中，代詞“他”指的是同一個(gè)人，即“安德魯”。常用的Coreference resolution工具如下表所示，包括Stanford CoreNLP，spaCy，Open Calais，Apache OpenNLP等。

搭配提取（Collocation extraction）

搭配提取過(guò)程并不是單獨(dú)、偶然發(fā)生的，它是與單詞組合一同發(fā)生的過(guò)程。該過(guò)程的示例包括“打破規(guī)則break the rules”，“空閑時(shí)間free time”，“得出結(jié)論draw a conclusion”，“記住keep in mind”，“準(zhǔn)備好get ready”等。

示例 13：使用ICE實(shí)現(xiàn)搭配提取

實(shí)現(xiàn)代碼：

input=[“heandChazzduelwithallkeysontheline.”]fromICEimportCollocationExtractorextractor=CollocationExtractor.with_collocation_pipeline(“T1”,bing_key=“Temp”,pos_check=False)print(extractor.get_collocations_of_length(input,length=3))

輸出：

[“ontheline”]

關(guān)系提取（Relationship extraction）

關(guān)系提取過(guò)程是指從非結(jié)構(gòu)化的數(shù)據(jù)源（如原始文本）獲取結(jié)構(gòu)化的文本信息。嚴(yán)格來(lái)說(shuō)，它確定了命名實(shí)體（如人、組織、地點(diǎn)的實(shí)體）之間的關(guān)系（如配偶、就業(yè)等關(guān)系）。例如，從“昨天與Mark和Emily結(jié)婚”這句話中，我們可以提取到的信息是Mark是Emily的丈夫。

總結(jié)

本文討論文本預(yù)處理及其主要步驟，包括正則化、符號(hào)化、詞干化、詞形還原、詞語(yǔ)分塊、詞性標(biāo)注、命名實(shí)體識(shí)別、共指解析、搭配提取和關(guān)系提取。還通過(guò)一些表格羅列出常見(jiàn)的文本預(yù)處理工具及所對(duì)應(yīng)的示例。在完成這些預(yù)處理工作后，得到的結(jié)果可以用于更復(fù)雜的NLP任務(wù)，如機(jī)器翻譯、自然語(yǔ)言生成等任務(wù)。