2018 年 9 月 6 日下午，網(wǎng)易有道在 AI 開(kāi)放日上發(fā)布了全新一代有道翻譯王 2.0 Pro。隨后在 9 月 20 日舉辦的Google開(kāi)發(fā)者大會(huì)上，有道技術(shù)總監(jiān)林會(huì)杰分享了端側(cè) AI 在智能硬件產(chǎn)品上的重要性，并且現(xiàn)場(chǎng)演示了有道翻譯王基于端側(cè) AI技術(shù)實(shí)現(xiàn)的全離線語(yǔ)音翻譯功能。與云側(cè) AI 相比，端側(cè) AI 具有無(wú)網(wǎng)絡(luò)延遲、更高的穩(wěn)定性、數(shù)據(jù)隱私性、響應(yīng)實(shí)時(shí)性， 這些特性使得端側(cè) AI 滿足超低延遲場(chǎng)景，如文檔掃描、AR 翻譯、實(shí)時(shí)語(yǔ)音翻譯等。

在這場(chǎng)發(fā)布會(huì)之前，有道技術(shù)團(tuán)隊(duì)已經(jīng)在移動(dòng)端離線 AI 技術(shù)上做了很多努力和探索。尤其是在端側(cè) AI 部分應(yīng)用了 Google 發(fā)布的 TensorFlow Lite，本文將介紹有道翻譯王的 AI 技術(shù)，以及 TensorFlowLite 在有道翻譯王上的應(yīng)用。

有道翻譯王主要用到的 AI 技術(shù)有 OCR（光學(xué)字符識(shí)別）、NMT（神經(jīng)機(jī)器翻譯）、ASR（自動(dòng)語(yǔ)音識(shí)別）、TTS（語(yǔ)音合成）。這些技術(shù)滿足了一個(gè)翻譯機(jī)的基本要求，通過(guò)在 TensorFlow Lite 框架上實(shí)現(xiàn)和加速，使得應(yīng)用效果更加優(yōu)異。

一臺(tái)有道翻譯王包括多少種 AI 技術(shù)？

OCR

光學(xué)字符識(shí)別（Optical Character Recognition，OCR）是指對(duì)文本資料的圖像文件進(jìn)行分析識(shí)別處理，獲取文字及版面信息的過(guò)程。亦即將圖像中的文字進(jìn)行識(shí)別，并以文本的形式返回。有道 OCR 主要分為兩個(gè)部分，一個(gè)是檢測(cè)部分，另一個(gè)是識(shí)別部分。檢測(cè)部分是指在一張圖片上尋找文字所在區(qū)域并框選出來(lái)，然后將標(biāo)出的區(qū)域送入識(shí)別部分從而得出結(jié)果。

NMT

近年來(lái)，深度學(xué)習(xí)技術(shù)的發(fā)展為解決上述挑戰(zhàn)提供了新的思路。將深度學(xué)習(xí)應(yīng)用于機(jī)器翻譯任務(wù)的方法大致分為兩類：

仍以統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)為框架，只是利用神經(jīng)網(wǎng)絡(luò)來(lái)改進(jìn)其中的關(guān)鍵模塊，如語(yǔ)言模型、調(diào)序模型等；

不再以統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)為框架，而是直接用神經(jīng)網(wǎng)絡(luò)將源語(yǔ)言映射到目標(biāo)語(yǔ)言，即端到端的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯（End-to-End Neural Machine Translation，End-to-End NMT），簡(jiǎn)稱為 NMT 模型。

ASR

自動(dòng)語(yǔ)音識(shí)別技術(shù) ( Automatic Speech Recognition，ASR ) 是一種將人的語(yǔ)音轉(zhuǎn)換為文本的技術(shù)。語(yǔ)音識(shí)別是一個(gè)多學(xué)科交叉的領(lǐng)域，它與聲學(xué)、語(yǔ)音學(xué)、語(yǔ)言學(xué)、數(shù)字信號(hào)處理理論、信息論、計(jì)算機(jī)科學(xué)等眾多學(xué)科緊密相連。由于語(yǔ)音信號(hào)的多樣性和復(fù)雜性，語(yǔ)音識(shí)別系統(tǒng)目前只能在一定的限制條件下獲得滿意的性能，或者說(shuō)只能應(yīng)用于某些特定的場(chǎng)合。

TTS

語(yǔ)音合成（Text To Speech，TTS）技術(shù)將文本轉(zhuǎn)化為聲音，目前廣泛應(yīng)用于語(yǔ)音助手、智能音箱、地圖導(dǎo)航等場(chǎng)景。TTS 的實(shí)現(xiàn)涉及到語(yǔ)言學(xué)、語(yǔ)音學(xué)的諸多復(fù)雜知識(shí)，因合成技術(shù)的區(qū)別，不同的 TTS 系統(tǒng)在準(zhǔn)確性、自然度、清晰度、還原度等方面也有著不一樣的表現(xiàn)。

以上這些 AI 技術(shù)會(huì)用到 CNN、RNN 等神經(jīng)網(wǎng)絡(luò)，這些網(wǎng)絡(luò)會(huì)用到較為常用的算子，如卷積層、全連接層、池化層、Relu 層。由于 TensorFlow 工作流程相對(duì)容易，API 穩(wěn)定，兼容性好，并且 TensorFlow 與 Numpy 完美結(jié)合，使其較為容易上手，所以我們?cè)谟?xùn)練模型時(shí)主要采用 TensorFlow 框架，可以大大的降低成本和節(jié)省精力。

有道首個(gè)運(yùn)用 TensorFlow Lite 技術(shù)的智能硬件設(shè)備

TensorFlow Lite 簡(jiǎn)介

TensorFlow Lite 是 TensorFlow 針對(duì)移動(dòng)和嵌入式設(shè)備的輕量級(jí)解決方案。它為設(shè)備上的機(jī)器學(xué)習(xí)預(yù)測(cè)降低了延遲，減小了二進(jìn)制大小。TensorFlow Lite 還支持硬件加速的 Android NNAPI。這樣一來(lái)，就對(duì)算法的開(kāi)發(fā)和部署有了很大的優(yōu)勢(shì)。

TensorFlow Lite 優(yōu)勢(shì)

輕量級(jí)：允許小 binarysize和快速初始化／啟動(dòng)的設(shè)備端機(jī)器學(xué)習(xí)模型進(jìn)行推斷。

跨平臺(tái)：運(yùn)行時(shí)的設(shè)計(jì)使其可以在不同的平臺(tái)上運(yùn)行，如目前支持的 Android 和 iOS。

快速：專為移動(dòng)設(shè)備進(jìn)行優(yōu)化，包括大幅提升模型加載時(shí)間，支持硬件加速。

TensorFlow Lite 集成 Android 項(xiàng)目

（1）首先添加 TensorFlowLite 庫(kù)到項(xiàng)目中：

compile ‘org.tensorflow:tensorflow-lite:+’

（2）然后導(dǎo)入 TFliteinterpreter：

import org.tensorflow.lite.Interpreter;

（3）這樣就可以創(chuàng)建一個(gè) Interpreter：

protected Interpreter tflite;

tflite = new Interpreter(loadModelFile(activity));

（4）載入模型函數(shù)示例：

/** Memory-map the model file in Assets. */

private MappedByteBuffer loadModelFile(Activity activity) throwsIOException {

AssetFileDescriptor fileDescriptor =activity.getAssets().openFd(getModelPath());

FileInputStream inputStream = newFileInputStream(fileDescriptor.getFileDescriptor());

FileChannel fileChannel = inputStream.getChannel(); long startOffset = fileDescriptor.getStartOffset();

long declaredLength = fileDescriptor.getDeclaredLength();

return fileChannel.map(FileChannel.MapMode.READ_ONLY, startOffset,declaredLength);

}

（5）執(zhí)行模型：

tflite.run(imgData, labelProbArray);

模型速度測(cè)試及比較

我們測(cè)試了常用的深度學(xué)習(xí)模型在 TensorFlow 和 TensorFlow Lite 上的運(yùn)行速度， 模型分別為 InceptionV3、MobileNetV1、MobileNetV2。

同時(shí)，在 TensorFlow Lite 平臺(tái)上，對(duì)浮點(diǎn)模型和量化模型進(jìn)行速度測(cè)試比較。

TensorFlow 和 TensorFlow Lite 具有良好的通用性，除此之外，對(duì)于專有硬件平臺(tái)，我們還對(duì)比了高通公司的SNPE ( Snapdragon Neural Processing Engine)，測(cè)試InceptionV3 模型運(yùn)行在驍龍 835 芯片的 CPU、GPU、DSP 上的速度。

測(cè)試有道 OCR Detection 模型在 TensorFlow、TensorFlow Lite 和高通 SPNE 上的運(yùn)行情況。

由此可見(jiàn)，SNPE 的 CPU 運(yùn)行速度要比 TensorFlow 的 CPU 速度慢了很多，但是在DSP 上的運(yùn)行速度明顯優(yōu)于 CPU 和 GPU。雖然各大芯片廠商積極推出了高效能的神經(jīng)網(wǎng)絡(luò)處理器（NPU），但在模型轉(zhuǎn)換和平臺(tái)集成方面不盡如人意，其通用性和便利性遠(yuǎn)遠(yuǎn)不如 TensorFlow Lite。

TensorFlow Lite + 有道翻譯王 探索更多可能性

近年來(lái)，網(wǎng)易有道在 AI 領(lǐng)域已經(jīng)做出了很多嘗試和探索，積累了很多經(jīng)驗(yàn)，同時(shí)也創(chuàng)造了很多價(jià)值。隨著深度學(xué)習(xí)的模型所需算力的增加，在移動(dòng)端流暢運(yùn)行模型則成為了一大挑戰(zhàn)，為了解決這一大問(wèn)題，各大硬件廠商推出神經(jīng)網(wǎng)絡(luò)加速芯片，軟件廠商也通過(guò)各種優(yōu)化來(lái)提高速度。Google 也為此做出了努力， 推出了 TensorFlow Lite，優(yōu)化了模型體積，提高了運(yùn)行速度，還可以通過(guò)NNAPI 實(shí)現(xiàn)硬件加速。

由于 TensorFlow Lite 具有良好的通用性，可以適應(yīng)多種不同的硬件平臺(tái)，所以在模型適配上節(jié)省了很多成本。目前 TensorFlow Lite 對(duì) LSTM 的支持在不斷完善，有道未來(lái)打算進(jìn)一步完成相關(guān)模型的遷移和適配。同時(shí)也希望 TensorFlow Lite 能通過(guò) Android NNAPI 可以集成更多的硬件平臺(tái)，包括 Google 最新發(fā)布的 Edge TPU 等， 充分利用不同硬件平臺(tái)的神經(jīng)網(wǎng)絡(luò)芯片加速，從而能夠使得更多的 AI 技術(shù)能夠更加高效率、低功耗、低延遲的運(yùn)行在各種智能硬件設(shè)備上，真正實(shí)現(xiàn)讓 AI 無(wú)處不在。