PyTorch僅在一年時(shí)間內(nèi)，數(shù)據(jù)增長(zhǎng)近3倍，大有超越TensorFlow的趨勢(shì)?，F(xiàn)在，PyTorch已經(jīng)與谷歌TPU協(xié)同工作，谷歌不僅僅將TPU用于自己的AI開發(fā)框架，還希望盡可能獲得更多的云計(jì)算客戶和研究人員。

框架工具哪家強(qiáng)？TensorFlow的王冠可能要不保。

最近，Reddit上的一位博主簡(jiǎn)單粗暴的統(tǒng)計(jì)了一下2018年至2019年，ICRL論文中所涉及到的主流框架工具TensorFlow、PyTorch和Keras的搜索結(jié)果數(shù)，變化如下：

TensorFlow：228→266

Keras：42→56

PyTorch：87→252

從使用量來看，TensorFlow最受歡迎的，其次是PyTorch，TensorFlow依舊是當(dāng)之無愧的老大哥。但是從增長(zhǎng)趨勢(shì)來看，PyTorch僅在一年時(shí)間內(nèi)，數(shù)據(jù)增長(zhǎng)近3倍。

盡管只是統(tǒng)計(jì)了ICRL一個(gè)會(huì)議的論文，但是PyTorch的勢(shì)頭真是猛啊，會(huì)不會(huì)取代TensorFlow？

今年3月，手握 ArXiv Sanity 大數(shù)據(jù)、現(xiàn)在主管特斯拉人工智能部門的 Andrej Karpathy，也給出了精確的排名結(jié)果（過去一個(gè)月內(nèi)）。

各個(gè)框架在論文中被提到（單次計(jì)算）的比例分別是：

TensorFlow 14.3%

PyTorch 4.7％

Keras 4.0％

Caffe 3.8％

Theano 2.3％

Torch 1.5％

MXNet、Chainer 和 CNTK 均小于 1％：

也就在昨天，PyTorch剛剛發(fā)布1.0預(yù)覽版，谷歌云表示：“我們也要拿下它！”

谷歌云：熱烈歡迎PyTorch

谷歌云表示，隨著PyTorch 1.0預(yù)覽版的到來，其AI平臺(tái)和服務(wù)將支持PyTorch。

PyTorch是一個(gè)深度學(xué)習(xí)框架，旨在實(shí)現(xiàn)簡(jiǎn)單靈活的實(shí)驗(yàn)。該框架現(xiàn)在支持完全混合的Python和C / C ++前端，以及生產(chǎn)環(huán)境中的快速本機(jī)分布式執(zhí)行。

PyTorch 1.0將即時(shí)模式和圖形執(zhí)行模式融合在一起，為生產(chǎn)的研究和性能優(yōu)化提供了靈活性。更具體地說，PyTorch 1.0不是強(qiáng)制開發(fā)者重寫整個(gè)代碼以實(shí)現(xiàn)優(yōu)化或從Python遷移，而是提供了一個(gè)混合的前端，使開發(fā)者能夠在用于原型制作的即時(shí)模式和用于生產(chǎn)的圖形執(zhí)行模式之間無縫地共享大部分代碼。

Facebook CTOMike Schroepfer

此外，ONNX本身被加入到PyTorch 1.0中作為一種模型輸出格式，這使得PyTorch 1.0中的模型可與其他AI框架進(jìn)行互操作。ONNX還可用作加速運(yùn)行時(shí)間或硬件特定庫的集成接口。這使得開發(fā)人員可以完全自由地混合和匹配最佳的AI框架和工具，而無需采用資源密集型的定制工程。

再來看谷歌云。

雖然TensorFlow江湖地位沒的說，但是谷歌云的目標(biāo)是全方位支持機(jī)器學(xué)習(xí)從業(yè)者：包括新手小白學(xué)生、企業(yè)家，甚至是世界頂尖的研究和工程團(tuán)隊(duì)。ML開發(fā)人員對(duì)框架工具的選擇各有不同，谷歌云已經(jīng)將一些最流行的開源框架集成到產(chǎn)品和服務(wù)中，包括TensorFlow、PyTorch、scikit-learn和XGBoost。

在谷歌云的博客中，介紹了在以下幾方面對(duì)Pytorch1.0的支持：

深度學(xué)習(xí)VM圖像

谷歌云平臺(tái)提供了一組虛擬機(jī)(VM)映像，其中包含使用各種深度學(xué)習(xí)框架所需的所有內(nèi)容。谷歌云平臺(tái)已經(jīng)提供以社區(qū)為中心的PyTorch VM鏡像有一段時(shí)間了，但隨著PyTorch1.0預(yù)覽版的發(fā)布，“特意”提供了一個(gè)包含該版本的新VM鏡像。

這將是輕松高效使用PyTorch1.0預(yù)覽版的最快方法：谷歌云已經(jīng)設(shè)置了NVIDIA驅(qū)動(dòng)程序，甚至預(yù)裝了Jupyter Lab，并提供了示例PyTorch教程。

Kubeflow

Kubeflow是一個(gè)開源平臺(tái)，旨在使端到端ML pipeline易于部署和管理。Kubeflow目前是支持PyTorch的, 其社區(qū)已經(jīng)開發(fā)了一個(gè)PyTorch包，只需兩個(gè)命令就可以安裝在Kubeflow部署中。

此外，谷歌云還與英偉達(dá)合作，在Kubeflow中擴(kuò)展了TensorRT包，以支持提供PyTorch型號(hào)。谷歌云的目標(biāo)是讓Kubeflow成為構(gòu)建可移植的、可伸縮的和可組合的PyTorch pipeline的最簡(jiǎn)單方法。

TensorBoard集成

許多PyTorch用戶表示，希望與TensorBoard（一種流行的機(jī)器學(xué)習(xí)可視化工具套件）進(jìn)行更深入的集成。 谷歌云認(rèn)為這是一個(gè)好主意，TensorBoard和PyTorch開發(fā)人員現(xiàn)在正在合作，以便更簡(jiǎn)單地使用TensorBoard來監(jiān)控PyTorch的訓(xùn)練。

Cloud TPU中的PyTorch

在過去幾年中，機(jī)器學(xué)習(xí)的巨大進(jìn)步很大程度得益于計(jì)算機(jī)能力的急劇增長(zhǎng)，而計(jì)算機(jī)能力可以用來訓(xùn)練和運(yùn)行ML模型。

這種巨變促使谷歌開發(fā)了三代定制ASIC，稱為“Tensor Processing Units”或TPU，專門用于機(jī)器學(xué)習(xí)。谷歌云已將這些芯片的第二代和第三代作為Cloud TPU并將其引入。許多PyTorch用戶表示有興趣通過Cloud TPU加速其ML工作負(fù)載。

谷歌云表示，谷歌TPU團(tuán)隊(duì)的工程師們正在積極地與PyTorch核心開發(fā)者合作，將PyTorch連接到Cloud TPU。長(zhǎng)期目標(biāo)是讓每個(gè)人都能享受PyTorch的簡(jiǎn)單性和靈活性，同時(shí)受益于Cloud TPU的性能、可伸縮性和成本效率。

作為一個(gè)起點(diǎn)，參與的工程師已經(jīng)制作了一個(gè)原型，通過開源線性代數(shù)編譯器XLA將PyTorch連接到Cloud TPU。 這個(gè)原型已經(jīng)成功地在Cloud TPU上用PyTorch訓(xùn)練ResNet-50，谷歌云計(jì)劃開源該原型，然后與PyTorch社區(qū)合作并將其擴(kuò)展。

谷歌云表示，PyTorch1.0只是一個(gè)開始，希望能與它有更深入的合作與互動(dòng)。

谷歌云的野心：TPU加持，拿下開發(fā)者

谷歌和Facebook正在聯(lián)手，讓PyTorch與谷歌TPU協(xié)同工作，標(biāo)志著這兩家技術(shù)競(jìng)爭(zhēng)對(duì)手罕見地達(dá)成了合作。

谷歌在2016年的年度開發(fā)者大會(huì)上首次發(fā)布了TPU，并將其作為公司和研究人員推動(dòng)機(jī)器學(xué)習(xí)軟件項(xiàng)目的一種更有效的方式。這家搜索巨頭通過其云計(jì)算業(yè)務(wù)來達(dá)到銷售TPU的目的。

隨著越來越多的企業(yè)探索機(jī)器學(xué)習(xí)技術(shù)，谷歌、Facebook等公司已經(jīng)創(chuàng)建了自己的人工智能軟件框架，基本上是編碼工具，目的是讓開發(fā)人員更容易創(chuàng)建自己的機(jī)器學(xué)習(xí)驅(qū)動(dòng)軟件。這些公司還在開源模型中免費(fèi)提供了這些AI框架，以便在編碼器中推廣它們。

在過去的幾年里，谷歌一直以其所謂的Tensorflow框架作為AI項(xiàng)目的首選編碼工具來吸引開發(fā)人員，并且開發(fā)了TPU，以便更好地與Tensorflow一起工作。谷歌愿意更新其TPU以與Facebook的PyTorch軟件合作，這一事實(shí)表明，該公司希望支持的不僅僅是自己的AI框架，還可能獲得更多可能使用競(jìng)爭(zhēng)框架的云計(jì)算客戶和研究人員。

Information Services Group首席分析師Blair Hanley Frank表示，在開發(fā)智能系統(tǒng)方面，數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師有各種各樣的開源工具可供選擇。“這一合作是至關(guān)重要的一步，有助于確保更多的人能夠使用最好的硬件和軟件能力來創(chuàng)建人工智能模型?！?/p>

Frank表示，他預(yù)計(jì)“人工智能市場(chǎng)將出現(xiàn)更多這樣的合作”。

擴(kuò)展框架支持可以幫助像AWS、谷歌和微軟這樣的云提供商驅(qū)動(dòng)他們平臺(tái)的額外使用。弗蘭克說，“這意味著他們應(yīng)該支持盡可能廣泛的開發(fā)工具，盡可能多地吸引客戶。”

除了谷歌，F(xiàn)acebook還表示，亞馬遜和微軟正在“深化對(duì)PyTorch軟件的投資”。