從 NLP 到計(jì)算機(jī)視覺(jué)都可以通過(guò) Cortex來(lái)非常方便的部署PyTorch模型。
作者：Caleb Kaiser
編譯：ronghuaiyang
首發(fā)：AI公園公眾號(hào)

Using PyTorch Models in Production with Cortex

該框架的 python 風(fēng)格，其學(xué)習(xí)曲線的溫和性，以及它對(duì)快速和簡(jiǎn)單原型的方便實(shí)現(xiàn)，使 PyTorch 明顯成為研究人員的最愛(ài)。因此，它正在推動(dòng)一些最酷的機(jī)器學(xué)習(xí)項(xiàng)目：

Transformers，Hugging Face 生成的廣泛流行的自然語(yǔ)言處理(NLP)庫(kù)，是建立在 PyTorch 上的。

Selene，生物前沿 ML 庫(kù)，建在 PyTorch 上。

CrypTen，這個(gè)熱門的、新的、關(guān)注隱私的機(jī)器學(xué)習(xí)框架是建立在 PyTorch 上的。

在 ML 的幾乎任何領(lǐng)域，從計(jì)算機(jī)視覺(jué)到 NLP 再到計(jì)算生物學(xué)，你都會(huì)發(fā)現(xiàn) PyTorch 在前沿為實(shí)驗(yàn)提供能量。

然而，最自然的問(wèn)題是如何將這些實(shí)驗(yàn)合并到軟件中。如何從“跨語(yǔ)言語(yǔ)言模型”轉(zhuǎn)換為谷歌翻譯？

在這篇博客文章中，我們將了解在生產(chǎn)環(huán)境中使用 PyTorch 模型意味著什么，然后介紹一種允許部署任何 PyTorch 模型以便在軟件中使用的方法。

在生產(chǎn)中使用 PyTorch 意味著什么？

根據(jù)生產(chǎn)環(huán)境的不同，在生產(chǎn)環(huán)境中運(yùn)行機(jī)器學(xué)習(xí)可能意味著不同的事情。一般來(lái)說(shuō)，在生產(chǎn)中有兩類機(jī)器學(xué)習(xí)的設(shè)計(jì)模式：

通過(guò)推理服務(wù)器提供一個(gè)預(yù)測(cè) API。這是在通用軟件開(kāi)發(fā)中使用的標(biāo)準(zhǔn)方法，即不是移動(dòng)軟件或獨(dú)立設(shè)備。

嵌入。將你的模型直接嵌入到你的應(yīng)用程序中。這通常用于機(jī)器人和獨(dú)立設(shè)備，有時(shí)也用于移動(dòng)應(yīng)用程序。

如果你打算直接將你的模型嵌入到你的應(yīng)用程序中，那么你應(yīng)該看看 PyTorch 的 TorchScript。使用即時(shí)編譯，PyTorch 可以將 Python 編譯成不需要 Python 解釋器就可以運(yùn)行的 TorchScript，這對(duì)于資源受限的部署目標(biāo)(比如移動(dòng)設(shè)備)非常有用。

在大多數(shù)情況下，你會(huì)使用模型服務(wù)器。今天你看到的許多 ML 應(yīng)用程序 — 從你最喜歡的流媒體服務(wù)背后的推薦引擎到在線搜索欄中的自動(dòng)完成功能—都依賴于這種部署形式，更確切地說(shuō)，依賴于實(shí)時(shí)推理。

在實(shí)時(shí)推理中，一個(gè)模型通常被部署為一個(gè)微服務(wù)(通常是一個(gè) JSON API)，通過(guò)它，一個(gè)軟件可以查詢模型并接收預(yù)測(cè)。

讓我們以 Facebook 人工智能的 RoBERTa 為例，一個(gè)領(lǐng)先的 NLP 模型。它通過(guò)分析去掉一個(gè)單詞的句子(或“屏蔽詞”)，并猜測(cè)屏蔽詞是什么，來(lái)進(jìn)行推斷。例如，如果你要使用一個(gè)預(yù)先訓(xùn)練好的 RoBERTa 模型來(lái)猜測(cè)一個(gè)句子中的下一個(gè)單詞，你要使用的 Python 方法是這樣的，非常簡(jiǎn)單：

roberta.fill_mask(input_text + " ")

事實(shí)證明，在序列中預(yù)測(cè)缺失的單詞正是 autocomplete 等功能背后的功能。要在應(yīng)用程序中實(shí)現(xiàn) autocomplete，可以將 RoBERTa 部署為 JSON API，然后在應(yīng)用程序中使用用戶的輸入在 RoBERTa 節(jié)點(diǎn)上進(jìn)行查詢。

設(shè)置 JSON API 聽(tīng)起來(lái)相當(dāng)簡(jiǎn)單，但是將模型部署為微服務(wù)實(shí)際上需要大量的基礎(chǔ)設(shè)施工作。

你需要自動(dòng)控制流量的波動(dòng)。你需要監(jiān)控你的預(yù)測(cè)。你需要處理模型更新。你需要了解日志記錄。非常多的工作。

那么，問(wèn)題是如何將 RoBERTa 部署為一個(gè) JSON API，而不需要手動(dòng)滾動(dòng)所有這些自定義基礎(chǔ)設(shè)施？

將 PyTorch 模型與 Cortex 一起投入生產(chǎn)

你可以使用 Cortex 自動(dòng)化部署 PyTorch 模型所需的大部分基礎(chǔ)設(shè)施工作，這是一個(gè)將模型作為 api 部署到 AWS 上的開(kāi)源工具。這篇文章并不是一個(gè)完整的 Cortex 使用指南，只是一個(gè)高層次的 Cortex 使用方法，你所需要的是：

提供推斷的 Python 腳本

定義你的 API 的配置文件

Cortex CLI 啟動(dòng)你的部署

這種方法并不局限于 RoBERTa。想要為你的圖像自動(dòng)生成 alt 文本，使你的網(wǎng)站更容易訪問(wèn)？你可以部署一個(gè) AlexNet 模型，使用 PyTorch 和 Cortex 來(lái)標(biāo)記圖像。

那語(yǔ)言分類器呢，比如 Chrome 用來(lái)檢測(cè)頁(yè)面不是用默認(rèn)語(yǔ)言寫的那個(gè)？fastText 是這個(gè)任務(wù)的完美模型，你可以使用 PyTorch 和 Cortex 部署它。

使用 Cortex，你可以將許多由 PyTorch 支持的 ML 特性添加到你的應(yīng)用程序中進(jìn)行實(shí)時(shí)推斷。

PyTorch 用到生產(chǎn)中

有超過(guò) 25 個(gè)研究模型儲(chǔ)存在 PyTorch Hub]，從 NLP 到計(jì)算機(jī)視覺(jué)。所有這些都可以通過(guò) Cortex 來(lái)實(shí)現(xiàn)，使用的過(guò)程和我們剛才演示的一樣。

PyTorch 團(tuán)隊(duì)無(wú)疑在他們的路線圖上有更多的以生產(chǎn)為中心的特性，但是僅僅看看到目前為止所取得的進(jìn)展，很明顯 PyTorch 不是為生產(chǎn)而構(gòu)建的框架的觀點(diǎn)已經(jīng)過(guò)時(shí)了。

關(guān)注圖像處理，自然語(yǔ)言處理，機(jī)器學(xué)習(xí)等人工智能領(lǐng)域。
歡迎關(guān)注微信公眾號(hào)

審核編輯 黃昊宇