Facebook 聯(lián)手微軟推出 ONNX 標(biāo)準(zhǔn)，共筑開放 AI 生態(tài)

2017 年 9 月，F(xiàn)acebook 聯(lián)手微軟發(fā)布了一個全新的開源項(xiàng)目——ONNX（Open Neural Network Exchange），欲借此打造一個開放的深度學(xué)習(xí)開發(fā)工具生態(tài)系統(tǒng)，讓不同的神經(jīng)網(wǎng)絡(luò)開發(fā)框架做到互通互用。目前，CNTK，PyTorch ， Caffe2，MXNet 已宣布支持 ONNX。

為何要共同打造 ONNX 開放平臺？

目前的開發(fā)現(xiàn)狀如下：大體上，每個框架都會針對某個特定屬性進(jìn)行優(yōu)化，比如訓(xùn)練速度、對網(wǎng)絡(luò)架構(gòu)的支持、能在移動設(shè)備上推理等等。在大多數(shù)情況下，研發(fā)階段最需要的屬性和產(chǎn)品階段是不一樣的。而在任意一個框架上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，無法直接在另一個框架上用。開發(fā)者需要耗費(fèi)大量時間精力把模型從一個開發(fā)平臺移植到另一個。這導(dǎo)致效率的降低以及進(jìn)度延遲。

而借助 ONNX，開發(fā)者能實(shí)時跟蹤某個神經(jīng)網(wǎng)絡(luò)是如何在框架上生成的，接著，使用這些信息創(chuàng)建一個符合 ONNX 標(biāo)準(zhǔn)的通用計(jì)算圖。大家能更方便地在不同框架間切換，為不同任務(wù)選擇最優(yōu)工具。使用支持 ONNX 表示方式的框架，大幅簡化了切換過程，讓開發(fā)者的工具選擇更靈活。

GitHub 地址：https://github.com/onnx/onnx

微軟基于 CNTK，推出 CNTK 2

2016 年初，微軟開源 CNTK 深度學(xué)習(xí)工具包。作為語音識別領(lǐng)域聲名卓著的開發(fā)工具，CNTK 具有相當(dāng)不錯的可擴(kuò)展性、速度和精確性。

2017 年 6 月，微軟在 GitHub 上放出了 CNTK 的第一個候選（RC）版本，完成內(nèi)測。在 Blog 中，微軟表示，CNTK 是一個針對深度學(xué)習(xí)的系統(tǒng)，可以用來加速諸如語音、圖像識別以及搜索相關(guān)性（search relevance）等領(lǐng)域相關(guān)研究，并可運(yùn)行于 CPU 或英偉達(dá) GPU。此外，CNTK 既可本地運(yùn)行，也可在云端基于 Azure GPU 運(yùn)行。

在 6 月更新的這一版本中，Layers 算法庫得到了大幅升級。大量的通用「layers」已預(yù)定義，使編寫包含標(biāo)準(zhǔn)層級的簡單網(wǎng)絡(luò)變得十分容易。新的 Cognitive Toolkit 評估算法庫在易用性和性能上也得到大幅升級。

此后，在 2.0 的多個 Beta 和 RC 版本中，微軟逐步更新了 CNTK 對 Python、C++、C#、Java 等的 API 支持，對 Keras 的后端支持等新功能。在 2.1 中，cuDNN 版本升級到 6.0，支持 Universal Windows Platform。在 2.2 中，微軟又做了許多模型支持相關(guān)的改進(jìn)。

在 2017 年底的 2.3 版本中，又有如下幾個改進(jìn)：提供了對 ONNX 標(biāo)準(zhǔn)的更好支持，分布式訓(xùn)練支持切換到 NCCL2，改進(jìn)了 C# API 的支持，增加了網(wǎng)絡(luò)優(yōu)化 API，以及更快的稀疏 Adadelta。

GitHub 地址：https://github.com/Microsoft/CNTK