上面就是輸出的hello 的詞嵌入，下面來(lái)解釋一下代碼。首先需要給每個(gè)單詞建立一個(gè)對(duì)應(yīng)下標(biāo)，這樣每個(gè)單詞都可以用一個(gè)數(shù)字去表示，比如需要hello 的時(shí)候，就可以用0來(lái)表示，用這種方式，訪問(wèn)每個(gè)詞會(huì)特別方便。接著是詞嵌入的定義nn.Embedding(2,5)，如上面介紹過(guò)的，表示有兩個(gè)詞，每個(gè)詞向量是5 維，也就是一個(gè)2 * 5 的矩陣，只不過(guò)矩陣中的元素是可以被學(xué)習(xí)更新的，所以如果有1000 個(gè)詞，每個(gè)詞向量希望是100 維，就可以這樣定義詞嵌入nn.Embedding(1000, 100)。訪問(wèn)每一個(gè)詞的詞向量需要將tensor 轉(zhuǎn)換成Variable，因?yàn)樵~向量也是網(wǎng)絡(luò)中更新的參數(shù)，所以在計(jì)算圖中，需要通過(guò)Variable 去訪問(wèn)。另外這里的詞向量只是初始的詞向量，并沒(méi)有經(jīng)過(guò)學(xué)習(xí)更新，需要建立神經(jīng)網(wǎng)絡(luò)優(yōu)化更新，修改詞向量里面的參數(shù)使得詞向量能夠表示不同的詞，且語(yǔ)義相近的詞能夠有更小的夾角。

以上介紹了詞嵌入在PyTorch 中是如何實(shí)現(xiàn)的，下一節(jié)將介紹詞嵌入是如何更新的，以及它如何結(jié)合N Gram 語(yǔ)言模型進(jìn)行預(yù)測(cè)。

N Gram 模型

首先介紹N Gram 模型的原理和它要解決的問(wèn)題。在一篇文章中，每一句話都是由很多單詞組成的，而且這些單詞的排列順序也是非常重要的。在一句話中，是否可以由前面幾個(gè)詞來(lái)預(yù)測(cè)這些詞后面的一個(gè)單詞？比如在“I lived in France for 10 years, I can speak _ .”這句話中，我們希望能夠預(yù)測(cè)最后這個(gè)詞是French。

知道想要解決的問(wèn)題后，就可以引出N Gram 語(yǔ)言模型了。對(duì)于一句話T，它由w1;w2;…wn 這n 個(gè)詞構(gòu)成，可以得到下面的公式：

但是這樣的一個(gè)模型存在著一些缺陷，比如參數(shù)空間過(guò)大，預(yù)測(cè)一個(gè)詞需要前面所有的詞作為條件來(lái)計(jì)算條件概率，所以在實(shí)際中沒(méi)辦法使用。為了解決這個(gè)問(wèn)題，引入了馬爾科夫假設(shè)，也就是說(shuō)這個(gè)單詞只與前面的幾個(gè)詞有關(guān)系，并不是和前面所有的詞都有關(guān)系，有了這個(gè)假設(shè)，就能夠在實(shí)際中使用N Gram 模型了。

對(duì)于這個(gè)條件概率，傳統(tǒng)的方法是統(tǒng)計(jì)語(yǔ)料中每個(gè)單詞出現(xiàn)的頻率，據(jù)此來(lái)估計(jì)這個(gè)條件概率，這里使用詞嵌入的辦法，直接在語(yǔ)料中計(jì)算這個(gè)條件概率，然后最大化條件概率從而優(yōu)化詞向量，據(jù)此進(jìn)行預(yù)測(cè)。

單詞預(yù)測(cè)的PyTorch 實(shí)現(xiàn)

首先給出一段文章作為訓(xùn)練集：

1 CONTEXT_SIZE = 2 2 EMBEDDING_DIM = 10 3 # We will use Shakespeare Sonnet 2 4 test_sentence = """When forty winters shall besiege thy brow, 5 And dig deep trenchesinthy beauty's field, 6 Thy youth's proud livery so gazed onnow, 7 Willbea totter'd weedofsmall worth held: 8 Thenbeingasked, where all thy beauty lies, 9 Where all the treasureofthy lusty days; 10 To say, within thine own deep sunken eyes, 11 Were an all-eating shame,andthriftless praise. 12 How much more praise deserv'd thy beauty's use, 13 If thou couldst answer 'This fair childofmine 14 Shall sum my count,andmake my old excuse,' 15 Proving his beautybysuccession thine! 16 This were tobenew made when thou art old, 17 And see thy blood warm when thou feel'stit cold.""".split()

CONTEXT_SIZE 表示想由前面的幾個(gè)單詞來(lái)預(yù)測(cè)這個(gè)單詞，這里設(shè)置為2，就是說(shuō)我們希望通過(guò)這個(gè)單詞的前兩個(gè)單詞來(lái)預(yù)測(cè)這一個(gè)單詞，EMBEDDING_DIM 表示詞嵌入的維數(shù)。

接著建立訓(xùn)練集，遍歷所有語(yǔ)料來(lái)創(chuàng)建，將數(shù)據(jù)整理好，需要將單詞分三個(gè)組，每個(gè)組前兩個(gè)作為傳入的數(shù)據(jù)，而最后一個(gè)作為預(yù)測(cè)的結(jié)果。

1trigram = [((test_sentence[i], test_sentence[i+1]), test_sentence[i+2])2foriinrange(len(test_sentence)-2)]

將每個(gè)單詞編碼，即用數(shù)字來(lái)表示每個(gè)單詞，只有這樣才能夠傳入nn.Embedding得到詞向量。

1vocb =set(test_sentence)# 通過(guò)set將重復(fù)的單詞去掉2word_to_idx = {word: ifori,wordinenumerate(vocb)}3idx_to_word = {word_to_idx[word]:wordforwordinword_to_idx}

然后可以定義N Gram 模型如下：

1classNgramModel(nn.Module):2def__init__(self, vocb_size, context_size, n_dim):3super(NgramModel, self).__init__()4self.n_word = vocb_size5self.embedding = nn.Embedding(self.n_word, n_dim)6self.linear1 = nn.Linear(context_size*n_dim,128)7self.linear2 = nn.Linear(128, self.n_word)89defforward(self, x):10emb = self.embedding(x)11emb = emb.view(1, -1)12out = self.linear1(emb)13out = F.relu(out)14out = self.linear2(out)15log_prob = F.log_softmax(out)16returnlog_prob