數(shù)據(jù)分析師Seth Grimes曾指出“80%的商業(yè)信息來自非結構化數(shù)據(jù)，主要是文本數(shù)據(jù)”，這一表述可能夸大了文本數(shù)據(jù)在商業(yè)數(shù)據(jù)中的占比，但是文本數(shù)據(jù)的蘊含的信息價值毋庸置疑。KDnuggets的編輯、機器學習研究者和數(shù)據(jù)科學家Matthew Mayo就在網(wǎng)站上寫了一個有關文本數(shù)據(jù)分析的文章系列。本文是該系列的第一篇，主要講述了文本數(shù)據(jù)分析的大致步驟和框架。以下是論智對原文的編譯。

雖然NLP和文本挖掘不是一回事兒，但它們?nèi)允蔷o密相關的：它們處理同樣的原始數(shù)據(jù)類型、在使用時還有很多交叉。下面我們就來描述一下這些任務的處理步驟。

如今的文本數(shù)據(jù)量非常之大，許多都是從日常生活中產(chǎn)生的，其中既有結構化的，也有半結構化甚至混亂的數(shù)據(jù)。我們對此能做什么？事實上，能做的有很多，這取決于你的目標是什么。

文本挖掘還是自然語言處理？

自然語言處理（NLP）關注的是人類的自然語言與計算機設備之間的相互關系。NLP是計算機語言學的重要方面之一，它同樣也屬于計算機科學和人工智能領域。而文本挖掘和NLP的存在領域類似，它關注的是識別文本數(shù)據(jù)中有趣并且重要的模式。

但是，這二者仍有不同。首先，這兩個概念并沒有明確的界定（就像“數(shù)據(jù)挖掘”和“數(shù)據(jù)科學”一樣），并且在不同程度上二者相互交叉，具體要看與你交談的對象是誰。我認為通過洞見級別來區(qū)分是最容易的。如果原始文本是數(shù)據(jù)，那么文本挖掘就是信息，NLP就是知識，也就是語法和語義的關系。下面的金字塔表示了這種關系：

另一種區(qū)分這兩個概念的方法是用下方的韋恩圖區(qū)分，其中也涉及其他相關概念，從而能更好地表示它們之間重疊的關系。

我們的目的并不是二者絕對或相對的定義，重要的是要認識到，這兩種任務下對數(shù)據(jù)的預處理是相同的。

努力消除歧義是文本預處理很重要的一個方面，我們希望保留原本的含義，同時消除噪音。為此，我們需要了解：

關于語言的知識

關于世界的知識

結合知識來源的方法

除此之外，下圖所示的六個因素也加大了文本數(shù)據(jù)處理的難度，包括非標準的語言表述、斷句問題、習慣用語、新興詞匯、常識以及復雜的名詞等等。

文本數(shù)據(jù)科學任務框架

我們能否為文本數(shù)據(jù)的處理制作一個高效并且通用的框架呢？我們發(fā)現(xiàn)，處理文本和處理其他非文本的任務很相似，可以查看我之前寫的KDD Process作為參考。

以下就是處理文本任務的幾大主要步驟：

1.數(shù)據(jù)收集

獲取或創(chuàng)建語料庫，來源可以是郵箱、英文維基百科文章或者公司財報，甚至是莎士比亞的作品等等任何資料。

2.數(shù)據(jù)預處理

在原始文本語料上進行預處理，為文本挖掘或NLP任務做準備

數(shù)據(jù)預處理分為好幾步，其中有些步驟可能適用于給定的任務，也可能不適用。但通常都是標記化、歸一化和替代的其中一種。

3.數(shù)據(jù)挖掘和可視化

無論我們的數(shù)據(jù)類型是什么，挖掘和可視化是探尋規(guī)律的重要步驟

常見任務可能包括可視化字數(shù)和分布，生成wordclouds并進行距離測量

4.模型搭建

這是文本挖掘和NLP任務進行的主要部分，包括訓練和測試

在適當?shù)臅r候還會進行特征選擇和工程設計

語言模型：有限狀態(tài)機、馬爾可夫模型、詞義的向量空間建模

機器學習分類器：樸素貝葉斯、邏輯回歸、決策樹、支持向量機、神經(jīng)網(wǎng)絡

序列模型：隱藏馬爾可夫模型、循環(huán)神經(jīng)網(wǎng)絡（RNN）、長短期記憶神經(jīng)網(wǎng)絡（LSTMs）

5.模型評估

模型是否達到預期？

度量標準將隨文本挖掘或NLP任務的類型而變化

即使不做聊天機器人或生成模型，某種形式的評估也是必要的

在下篇連載中，我將為大家?guī)碓谖谋緮?shù)據(jù)任務中，對數(shù)據(jù)預處理的框架的進一步探索，敬請關注。