來源：互聯(lián)網(wǎng)  (轉載協(xié)議)   發(fā)布日期：2019-02-26 17:22   瀏覽：4126次 專欄投稿 值班編輯：QQ281688302

新智元報道 來源：TensorFlow 作者：Jonathan Shen 編輯：肖琴 【新智元導讀】谷歌近日開源了一個強大的NLP深度學習框架Lingvo，側重于語言相關任務的序列模型，如機器翻譯、語音識別和語音合成。過去兩年來，谷歌已經(jīng)發(fā)表了幾十篇使用Lingvo獲得SOTA結果的

贊助本站

新智元報道

來源：TensorFlow

作者：Jonathan Shen 編輯：肖琴

【新智元導讀】谷歌近日開源了一個強大的NLP深度學習框架Lingvo，側重于語言相關任務的序列模型，如機器翻譯、語音識別和語音合成。過去兩年來，谷歌已經(jīng)發(fā)表了幾十篇使用Lingvo獲得SOTA結果的論文。

近日，谷歌開源了一個內(nèi)部 NLP 的秘密武器 ——Lingvo。

這是一個強大的 NLP 框架，已經(jīng)在谷歌數(shù)十篇論文的許多任務中實現(xiàn) SOTA 性能！

Lingvo 在世界語中意為 “語言”。這個命名暗指了 Lingvo 框架的根源 ——它是使用 TensorFlow 開發(fā)的一個通用深度學習框架，側重于語言相關任務的序列模型，如機器翻譯、語音識別和語音合成。

Lingvo 框架在谷歌內(nèi)部已經(jīng)獲得青睞，使用它的研究人員數(shù)量激增。過去兩年來，谷歌已經(jīng)發(fā)表了幾十篇使用 Lingvo 獲得 SOTA 結果的論文，未來還會有更多。

包括 2016 年機器翻譯領域里程碑式的《

谷歌神經(jīng)機器翻譯系統(tǒng)

》論文 (Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation)，也是使用 Lingvo。該研究開啟了機器翻譯的新篇章，宣告機器翻譯正式從 IBM 的統(tǒng)計機器翻譯模型 (PBMT，基于短語的機器翻譯)，過渡到了神經(jīng)網(wǎng)絡機器翻譯模型。該系統(tǒng)使得機器翻譯誤差降低了 55%-85% 以上，極大地接近了普通人的翻譯水平。

除了機器翻譯之外，Lingvo 框架也被用于語音識別、語言理解、語音合成、語音 - 文本轉寫等任務。

谷歌列舉了 26 篇使用 Lingvo 框架的 NLP 論文，發(fā)表于 ACL、EMNLP、ICASSP 等領域頂會，取得多個 SOTA 結果。全部論文見文末列表。

Lingvo 支持的架構包括傳統(tǒng)的RNN 序列模型、Transformer 模型以及包含 VAE 組件的模型，等等。

谷歌表示：“為了表明我們對研究界的支持并鼓勵可重復的研究工作，我們公開了該框架的源代碼，并開始發(fā)布我們論文中使用的模型。”

此外，谷歌還發(fā)布了一篇概述 Lingvo 設計的論文，并介紹了框架的各個部分，同時提供了展示框架功能的高級特性的示例。

相關論文：

https://arxiv.org/pdf/1902.08295.pdf

摘要

Lingvo 是一個 Tensorflow 框架，為協(xié)作式深度學習研究提供了一個完整的解決方案，特別側重于 sequence-to-sequence 模型。Lingvo 模型由靈活且易于擴展的模塊化構建塊組成，實驗配置集中且高度可定制。該框架直接支持分布式訓練和量化推理，包含大量實用工具、輔助函數(shù)和最新研究思想的現(xiàn)有實現(xiàn)。論文概述了 Lingvo 的基礎設計，并介紹了框架的各個部分，同時提供了展示框架功能的高級特性的示例。

為協(xié)作研究設計、靈活、快速

Lingvo 是在考慮協(xié)作研究的基礎下構建的，它通過在不同任務之間共享公共層的實現(xiàn)來促進代碼重用。此外，所有層都實現(xiàn)相同的公共接口，并以相同的方式布局。這不僅可以生成更清晰、更易于理解的代碼，還可以非常簡單地將其他人為其他任務所做的改進應用到自己的任務中。強制實現(xiàn)這種一致性的代價是需要更多的規(guī)則和樣板，但是 Lingvo 試圖將其最小化，以確保研究期間的快速迭代時間。

協(xié)作的另一個方面是共享可重現(xiàn)的結果。Lingvo 為檢入模型超參數(shù)配置提供了一個集中的位置。這不僅可以記錄重要的實驗，還可以通過訓練相同的模型，為其他人提供一種簡單的方法來重現(xiàn)你的結果。