Intel 開(kāi)源 Coach，用于訓(xùn)練和評(píng)估增強(qiáng)學(xué)習(xí) Agent

2017 年 10 月，英特爾開(kāi)源增強(qiáng)學(xué)習(xí)框架 Coach。該框架利用多核 CPU 處理能力，用于訓(xùn)練和評(píng)估增強(qiáng)學(xué)習(xí) Agent。

Coach 包含許多 Agent 類型的實(shí)現(xiàn)，包括從單線程實(shí)現(xiàn)到多線程實(shí)現(xiàn)的無(wú)縫轉(zhuǎn)換。Agent 以模塊化方式實(shí)現(xiàn)，以允許重用不同的構(gòu)建塊來(lái)構(gòu)建新的和更復(fù)雜的代理。此外，Coach 可以在單個(gè)任務(wù)的基礎(chǔ)上編寫(xiě)新的 Agent，并切換到同步或異步的多任務(wù)實(shí)現(xiàn)，并進(jìn)行最少的更改。

它的主要特點(diǎn)如下：

包含一些領(lǐng)先的增強(qiáng)學(xué)習(xí)算法的多線程實(shí)現(xiàn)，適用于各種游戲和機(jī)器人環(huán)境。它能夠在臺(tái)式計(jì)算機(jī)上高效地訓(xùn)練強(qiáng)化學(xué)習(xí) Agent，而無(wú)需任何額外的硬件。

可與如 OpenAI Gym、Roboschool 和 ViZDoom 等頂級(jí)環(huán)境進(jìn)行集成，同時(shí)還提供了可視化培訓(xùn)過(guò)程和了解 Agent 的基本機(jī)制的各種技術(shù)，所有的算法都是使用英特爾優(yōu)化的 TensorFlow 來(lái)實(shí)現(xiàn)的，也可以通過(guò) Intel 的 neon框架來(lái)實(shí)現(xiàn)。

GitHub 地址：https://github.com/NervanaSystems/coach

針對(duì)移動(dòng)終端，F(xiàn)acebook Caffe2 VS 谷歌 TensorFlow Lite

2017 年 4 月，F(xiàn)acebook 開(kāi)源深度學(xué)習(xí)框架 Caffe2。根據(jù)官網(wǎng)介紹，它最大的特點(diǎn)就是輕量、模塊化和擴(kuò)展性好。Caffe2 可以方便地為手機(jī)等移動(dòng)終端設(shè)備帶來(lái) AI 加持，讓 AI 從云端走向終端。

據(jù) Caffe2 官方博客表示：

長(zhǎng)期以來(lái)，提起 AI 模型的訓(xùn)練和部署，人們通常都會(huì)聯(lián)想到大數(shù)據(jù)中心或超級(jí)計(jì)算機(jī)。之所以會(huì)出現(xiàn)這種現(xiàn)象，是因?yàn)樾⌒陀?jì)算設(shè)備在大規(guī)模圖像、視頻、文本和語(yǔ)音處理上具有明顯的短板，無(wú)論在速度還是可靠性上都遠(yuǎn)遠(yuǎn)不及大型數(shù)據(jù)中心。

因此在移動(dòng)設(shè)備上部署 AI 模型，使其能夠快速準(zhǔn)確地處理相關(guān)分析任務(wù)，一直是一項(xiàng)有待解決的難題。要解決這個(gè)難題，讓 AI 終端化，除了有賴于移動(dòng)硬件平臺(tái)的發(fā)展之外，在軟件框架層面也需要一個(gè)靈活輕便的框架支持。

而 Caffe2 正是這樣一個(gè)框架。它是在此前流行的開(kāi)源框架 Caffe 基礎(chǔ)上的重構(gòu)和升級(jí)，一方面集成了諸多新出現(xiàn)的算法和模型，另一方面在保證運(yùn)算性能和可擴(kuò)展性的基礎(chǔ)上重點(diǎn)加強(qiáng)了框架在輕量級(jí)硬件平臺(tái)的部署能力。

GitHub 地址：https://github.com/caffe2/caffe2

2017 年 11 月，谷歌發(fā)布 TensorFlow Lite 預(yù)覽版，與 Caffe2 類似，這款框架針對(duì)移動(dòng)和嵌入式設(shè)備等。TensorFlow Lite 是一種全新的設(shè)計(jì)，具備如下三點(diǎn)特性：

輕量級(jí)（Lightweight）：支持機(jī)器學(xué)習(xí)模型的推理在較小二進(jìn)制數(shù)下進(jìn)行，能快速初始化/啟動(dòng)。

跨平臺(tái)（Cross-platform）：可以在許多不同的平臺(tái)上運(yùn)行，現(xiàn)在支持 Android 和 iOS。

快速（Fast）：針對(duì)移動(dòng)設(shè)備進(jìn)行了優(yōu)化，包括大大減少了模型加載時(shí)間、支持硬件加速。

TensorFlow Lite 支持 Android 神經(jīng)網(wǎng)絡(luò) API（Android Neural Networks API），當(dāng)加速器（硬件設(shè)備）不可用時(shí)，TensorFlow Lite 會(huì)返回到 CPU 來(lái)執(zhí)行，它目前支持很多針對(duì)移動(dòng)端訓(xùn)練和優(yōu)化好的模型，如 MobileNet，Inception v3，Smart Reply。

開(kāi)發(fā)人員也表示，TensorFlow Lite 應(yīng)該被看作是 TensorFlow Mobile 的升級(jí)，它的功能有很多，目前仍處于緊鑼密鼓的開(kāi)發(fā)階段。