AI改變世界不再是將來(lái)時(shí)而是正在進(jìn)行時(shí)。在新的十年開(kāi)啟之際，各行業(yè)AI頂尖人物重新審視了2019年在該領(lǐng)域取得的進(jìn)步，并展望了機(jī)器學(xué)習(xí)在2020年的發(fā)展前景。本文介紹了PyTorch的創(chuàng)建者Soumith Chintala、加利福尼亞大學(xué)教授Celeste Kidd、谷歌AI負(fù)責(zé)人Jeff Dean、英偉達(dá)機(jī)器學(xué)習(xí)研究總監(jiān)Anima Anandkumar和IBM研究總監(jiān)Dario Gil對(duì)過(guò)去一年AI發(fā)展的回顧及新的一年對(duì)其發(fā)展的期許。

PyTorch的董事、首席工程師和創(chuàng)建者Soumith Chintala

PyTorch是當(dāng)今世界上最受歡迎的機(jī)器學(xué)習(xí)框架。PyTorch是2002年引入的Torch開(kāi)源框架的衍生產(chǎn)品，于2015年開(kāi)始使用，并在擴(kuò)展和庫(kù)方面不斷穩(wěn)步增長(zhǎng)。

今年秋天，F(xiàn)acebook發(fā)布了帶有量化和TPU支持的PyTorch 1.3，以及深度學(xué)習(xí)可解釋性工具Captum和PyTorch Mobile。還有諸如PyRobot和PyTorch Hub之類(lèi)的東西，用于共享代碼并鼓勵(lì)機(jī)器學(xué)習(xí)（ML）實(shí)踐者實(shí)現(xiàn)可重復(fù)性。

Chintala曾表示，2019年他幾乎沒(méi)有看到機(jī)器學(xué)習(xí)取得什么突破性進(jìn)展。

“實(shí)際上，我認(rèn)為自Transformer模型以來(lái)，就沒(méi)有做出什么具有開(kāi)創(chuàng)性的事情。ConvNets在2012年進(jìn)入黃金時(shí)段，而Transformer則在2017年左右。這是我個(gè)人的看法，”他說(shuō)。

他繼續(xù)稱DeepMind的AlphaGo在強(qiáng)化學(xué)習(xí)方面的貢獻(xiàn)是具有開(kāi)創(chuàng)性的。但是他說(shuō)，對(duì)于現(xiàn)實(shí)世界中的實(shí)際任務(wù)而言，很難實(shí)現(xiàn)這一結(jié)果。

Chintala還認(rèn)為，機(jī)器學(xué)習(xí)框架（如PyTorch和谷歌的TensorFlow）的發(fā)展已改變了研究人員探索思想和開(kāi)展工作的方式，這些機(jī)器在當(dāng)今的ML實(shí)踐者中廣受歡迎。

今年，谷歌和Facebook的開(kāi)源框架引入了量化，以提高模型訓(xùn)練的速度。在未來(lái)的幾年中，Chintala希望PyTorch的JIT編譯器和Glow等神經(jīng)網(wǎng)絡(luò)硬件加速器的重要性和采用率呈“爆炸式增長(zhǎng)”模式。

“有了PyTorch和TensorFlow，你就已經(jīng)看到了框架的融合。量化和其他較多低級(jí)別效率的出現(xiàn)是因?yàn)橄乱粓?chǎng)戰(zhàn)爭(zhēng)將從框架的編譯器XLA、TVM和PyTorch的Glow處開(kāi)始，即將出現(xiàn)大量的創(chuàng)新，”他說(shuō)?！霸诮酉聛?lái)的幾年中，你將看到如何更智能地量化、如何更好地融合、如何更有效地使用GPU以及如何自動(dòng)為新硬件進(jìn)行編譯?！?/p>

與大多其他領(lǐng)域的AI專(zhuān)家一樣，Chintala預(yù)測(cè)2020年，AI社區(qū)將會(huì)把更多的價(jià)值放在AI模型性能上，而不僅僅是準(zhǔn)確性，并開(kāi)始將注意力轉(zhuǎn)移到其他重要因素上，比如創(chuàng)建模型所需的力量以及AI如何更好地反映人們想要建立的社會(huì)類(lèi)型。

“回顧過(guò)去的五六年，你會(huì)發(fā)現(xiàn)我們只關(guān)注準(zhǔn)確性和原始數(shù)據(jù)，例如英偉達(dá)的模型更準(zhǔn)確嗎？Facebook的模型更準(zhǔn)確嗎？我認(rèn)為2020年將是我們開(kāi)始（以更復(fù)雜的方式）進(jìn)行思考的一年，”Chintala表示。

加州大學(xué)伯克利分校的發(fā)展心理學(xué)家Celeste Kidd

Celeste Kidd是加州大學(xué)伯克利分?；聦?shí)驗(yàn)室的主任，她和她的團(tuán)隊(duì)在這里探索孩子們的學(xué)習(xí)方式。他們的見(jiàn)解可以幫助神經(jīng)網(wǎng)絡(luò)的創(chuàng)建者，這些創(chuàng)建者正在嘗試以與撫養(yǎng)孩子相似的方式來(lái)訓(xùn)練模型。

她說(shuō)：“嬰兒沒(méi)有得到標(biāo)記的數(shù)據(jù)集，但是它們管理得很好，對(duì)我們而言重要的是要了解這種情況是如何發(fā)生的。”

讓Kidd在2019年感到驚訝的一件事是，越來(lái)越多的神經(jīng)網(wǎng)絡(luò)創(chuàng)建者開(kāi)始低估自己或其他研究人員的工作，因?yàn)樗麄儫o(wú)法做嬰兒可以做的事情。

她說(shuō)，當(dāng)你對(duì)嬰兒的行為進(jìn)行平均計(jì)算時(shí)，你會(huì)看到有證據(jù)表明他們實(shí)際上了解某些事情，但他們絕對(duì)不是完美的學(xué)習(xí)者，而這種談話對(duì)嬰兒的行為描述得過(guò)于樂(lè)觀。

她說(shuō)：“嬰兒很棒，但他們會(huì)犯很多錯(cuò)誤，并且人們?cè)谂c嬰兒做對(duì)比時(shí)比較隨便，這都是為了使嬰兒行為在人口層面上理想化。我認(rèn)為你目前所知道的與下一步想要了解的信息之間的聯(lián)系將會(huì)越來(lái)越密切?！?/p>

在人工智能領(lǐng)域，“黑匣子”這個(gè)詞已經(jīng)存在多年。它曾經(jīng)被用來(lái)批評(píng)神經(jīng)網(wǎng)絡(luò)缺乏可解釋性，但Kidd認(rèn)為，2020年可能意味著結(jié)束人們對(duì)神經(jīng)網(wǎng)絡(luò)無(wú)解釋性這一認(rèn)知。

她說(shuō)：“黑匣子的論點(diǎn)是假的……大腦也是黑匣子，但我們?cè)诶斫獯竽X如何工作方面卻取得了很大進(jìn)步?！?/p>

在揭開(kāi)對(duì)神經(jīng)網(wǎng)絡(luò)認(rèn)識(shí)的神秘面紗時(shí)，Kidd著眼于MIT-IBM Watson AI Lab執(zhí)行總監(jiān)Aude Oliva等人的工作。

“我們當(dāng)時(shí)正在談?wù)撨@個(gè)問(wèn)題，我說(shuō)過(guò)該系統(tǒng)是一個(gè)黑匣子，她責(zé)備我說(shuō)他們當(dāng)然不是黑匣子。當(dāng)然，你可以將它們分解并拆開(kāi)，看看它們?nèi)绾喂ぷ鞑?duì)其進(jìn)行實(shí)驗(yàn)，就像我們?yōu)槔斫庹J(rèn)知所做的一樣，”Kidd說(shuō)。

上個(gè)月，Kidd在神經(jīng)信息處理系統(tǒng)（NeurIPS）會(huì)議上發(fā)表了開(kāi)幕式主題演講，這是世界上最大的年度AI研究會(huì)議。她的演講重點(diǎn)關(guān)注人腦如何固守頑固的信念、注意力系統(tǒng)和貝葉斯統(tǒng)計(jì)。

她說(shuō)，Goldilocks提供信息的區(qū)域介于一個(gè)人以前的興趣和理解之間，而這對(duì)他們來(lái)說(shuō)是令人驚訝的，因?yàn)槿藗兺ǔA向于較少參與過(guò)度令人驚訝的內(nèi)容。

她還提到?jīng)]有中立的技術(shù)平臺(tái)，并且她會(huì)將注意力轉(zhuǎn)向內(nèi)容推薦系統(tǒng)的創(chuàng)建者如何操縱人們的信念。追求最大參與度的系統(tǒng)可能會(huì)對(duì)人們形成信念和觀點(diǎn)的方式產(chǎn)生重大影響。

Kidd在演講的最后談到了機(jī)器學(xué)習(xí)中對(duì)男性的誤解，即與女性同事獨(dú)處會(huì)導(dǎo)致性騷擾指控并威脅到男性的職業(yè)發(fā)展。她說(shuō)，這種誤解實(shí)際上是會(huì)損害女性在該領(lǐng)域的職業(yè)發(fā)展。

因在羅切斯特大學(xué)發(fā)表過(guò)涉及性行為不端的言論，Kidd與其他女性一起被評(píng)為2017年“年度人物”。這些女性幫助實(shí)現(xiàn)了我們現(xiàn)在所說(shuō)的#MeToo運(yùn)動(dòng)，以平等對(duì)待女性。當(dāng)時(shí)，Kidd認(rèn)為此次大聲疾呼將結(jié)束她的職業(yè)生涯。

在2020年，她希望看到人們對(duì)技術(shù)工具和技術(shù)決策對(duì)現(xiàn)實(shí)生活影響的認(rèn)識(shí)有所提高，不贊同工具制造商不應(yīng)對(duì)人們?nèi)绾问褂眠@些工具負(fù)責(zé)這一說(shuō)法。

“我聽(tīng)到很多制造商說(shuō)自己不是真理的審判者，并以此來(lái)逃避責(zé)任，但是我覺(jué)得必須正視這一說(shuō)法的不誠(chéng)實(shí)性。作為社會(huì)的一員，尤其是作為從事與這些工具相關(guān)工作的人員，我們的確需要意識(shí)到隨之而來(lái)的責(zé)任，”Kidd說(shuō)。

谷歌AI總監(jiān)Jeff Dean

Dean領(lǐng)導(dǎo)谷歌AI已有近兩年時(shí)間，但他實(shí)際上已經(jīng)在谷歌工作了二十年，是該公司許多早期搜索和分布式網(wǎng)絡(luò)算法的架構(gòu)師，也是Google Brain的早期成員。

Dean上個(gè)月在NeurIPS上就ASIC半導(dǎo)體設(shè)計(jì)的機(jī)器學(xué)習(xí)以及AI社區(qū)應(yīng)對(duì)氣候變化的方式進(jìn)行了演講，他說(shuō)這是我們這個(gè)時(shí)代最重要的問(wèn)題。在關(guān)于氣候變化的討論中，Dean討論了AI可以努力成為零碳行業(yè)以及AI可以用來(lái)幫助改變?nèi)祟?lèi)行為的想法。

他預(yù)計(jì)到2020年，多模式學(xué)習(xí)領(lǐng)域?qū)⑷〉眠M(jìn)展，這是一種依靠多種媒體進(jìn)行訓(xùn)練的AI，而多任務(wù)學(xué)習(xí)則涉及旨在一次可完成多個(gè)任務(wù)的網(wǎng)絡(luò)。

毫無(wú)疑問(wèn)，2019年最大的機(jī)器學(xué)習(xí)趨勢(shì)之一是基于Transformer的自然語(yǔ)言模型的持續(xù)增長(zhǎng)和擴(kuò)散，該模型曾被稱為近年來(lái)人工智能最大的突破之一。谷歌于2018年開(kāi)源了基于Transformer的模型BERT。根據(jù)GLUE排行榜，今年發(fā)布的許多性能最高的模型（比如谷歌的XLNet、微軟的MT-DNN和Facebook的RoBERTa）都基于Transformer。相關(guān)人士表示，XLNet 2將于本月晚些時(shí)候發(fā)布。

Dean指出了已經(jīng)取得的進(jìn)展，他說(shuō)：“我認(rèn)為整個(gè)研究線程在實(shí)際產(chǎn)生機(jī)器學(xué)習(xí)模型方面成果顯著，不過(guò)盡管現(xiàn)在讓我們做的機(jī)器學(xué)習(xí)模型比過(guò)去復(fù)雜得多，但仍然有很大的進(jìn)步空間。我們?nèi)匀幌Ｍ軌驁?zhí)行更多與語(yǔ)境相關(guān)的模型。像現(xiàn)在這樣，BERT和其他模型可以很好地處理數(shù)百個(gè)單詞，但不能處理含1萬(wàn)個(gè)單詞左右的文章。因此，這是一個(gè)有趣的研究方向?！盌ean希望少?gòu)?qiáng)調(diào)一些最新技術(shù)，而傾向于創(chuàng)建更強(qiáng)大的模型。

谷歌AI還將努力推進(jìn)新的舉措，例如Everyday Robot，這是一個(gè)于2019年11月推出的內(nèi)部項(xiàng)目，旨在制造能夠在家庭和工作場(chǎng)所完成日常任務(wù)的機(jī)器人。

英偉達(dá)機(jī)器學(xué)習(xí)研究總監(jiān)Anima Anandkumar

Anandkumar在擔(dān)任AWS首席科學(xué)家后加入了GPU制造商英偉達(dá)。在英偉達(dá)，人工智能研究在多個(gè)領(lǐng)域進(jìn)行，從醫(yī)療保健的聯(lián)合學(xué)習(xí)到自動(dòng)駕駛，再到超級(jí)計(jì)算機(jī)和圖形學(xué)。

2019年，英偉達(dá)和Anandkumar在機(jī)器學(xué)習(xí)方面的研究重點(diǎn)主要是強(qiáng)化學(xué)習(xí)的仿真框架，這些框架也越來(lái)越受歡迎和成熟。

在2019年，我們看到了英偉達(dá)的Drive自動(dòng)駕駛平臺(tái)和Isaac機(jī)器人模擬器的興起，以及從模擬和生成對(duì)抗網(wǎng)絡(luò)（GAN）生成綜合數(shù)據(jù)模型的興起。

去年該公司還迎來(lái)了AI的興起，例如StyleGAN和GauGAN。上個(gè)月，StyleGAN2也已經(jīng)面世。

GAN是可以模糊現(xiàn)實(shí)界限的技術(shù)，Anandkumar認(rèn)為，它們可以幫助AI社區(qū)嘗試解決一些主要挑戰(zhàn)，例如如何抓住機(jī)器人的手和自動(dòng)駕駛。

Anandkumar還希望迭代算法、自我監(jiān)督和自主訓(xùn)練模型的方法在未來(lái)一年能取得進(jìn)展，這些模型可以通過(guò)對(duì)未標(biāo)記數(shù)據(jù)進(jìn)行自訓(xùn)練來(lái)改進(jìn)。

“我認(rèn)為各種不同的迭代算法都是未來(lái)，因?yàn)槿绻阒蛔鲆粋€(gè)前饋網(wǎng)絡(luò)，那么魯棒性就會(huì)成為問(wèn)題，”她說(shuō)?！叭绻銍L試進(jìn)行多次迭代，并且根據(jù)所需的數(shù)據(jù)類(lèi)型或精度要求來(lái)調(diào)整迭代次數(shù)，那么實(shí)現(xiàn)這一目標(biāo)的機(jī)會(huì)就更大了。”

Anandkumar看到了2020年AI社區(qū)面臨的眾多挑戰(zhàn)，例如需要與領(lǐng)域?qū)＜乙坏绖?chuàng)建專(zhuān)門(mén)針對(duì)特定行業(yè)的模型。決策者、個(gè)人和AI社區(qū)也將需要應(yīng)對(duì)具有代表性的問(wèn)題，以及確保用于訓(xùn)練模型的數(shù)據(jù)集能夠涵蓋不同的人群。

她說(shuō)：“我認(rèn)為面部識(shí)別問(wèn)題很容易掌握，但在很多其他領(lǐng)域，人們還沒(méi)有意識(shí)到使用數(shù)據(jù)據(jù)信息存在隱私問(wèn)題?！?/p>

Anandkumar說(shuō)，面部識(shí)別獲得了最大的關(guān)注，因?yàn)楹苋菀桌斫饷娌孔R(shí)別如何侵犯?jìng)€(gè)人隱私，但是2020年AI社區(qū)還面臨許多其他道德問(wèn)題?！拔覀儗⒃谌绾问占瘮?shù)據(jù)以及如何使用數(shù)據(jù)方面經(jīng)歷越來(lái)越嚴(yán)格的審查。”

在Anandkumar看來(lái)，2019年的一大驚喜是文本生成模型的發(fā)展速度?！?019年是語(yǔ)言模型之年。現(xiàn)在，我們第一次達(dá)到了在段落的長(zhǎng)度上更連貫使用文本生成，這在之前是不可能實(shí)現(xiàn)的，”Anandkumar說(shuō)。

在2019年8月，英偉達(dá)推出了Megatron自然語(yǔ)言模型。Megatron擁有80億個(gè)參數(shù)，被譽(yù)為全球最大的基于Transformer的AI模型。Anandkumar說(shuō)，她對(duì)人們開(kāi)始將模型表征為具有個(gè)性的方式感到驚訝，她期待看到更多針對(duì)特定行業(yè)的文本模型。

“我們還沒(méi)有進(jìn)入對(duì)話互動(dòng)的階段，對(duì)話可以保持跟蹤并進(jìn)行自然對(duì)話。因此，我認(rèn)為在2020年需要朝這個(gè)方向前進(jìn)，”她說(shuō)。

開(kāi)發(fā)用于控制文本生成的框架要比開(kāi)發(fā)可以訓(xùn)練以識(shí)別人或物體的圖像框架更具挑戰(zhàn)性。文本生成模型還可能面臨例如為神經(jīng)模型定義事實(shí)的挑戰(zhàn)。

最后，Anandkumar說(shuō)，她很高興看到Kidd在NeurIPS上的演講，并被機(jī)器學(xué)習(xí)社區(qū)中越來(lái)越成熟和包容的跡象所鼓舞。

她說(shuō)：“我覺(jué)得現(xiàn)在是分水嶺。一開(kāi)始要想做點(diǎn)小改動(dòng)都很困難，并且一不注意水壩就可能破裂了。但是現(xiàn)在，我希望能保持這種勢(shì)頭，并進(jìn)行更大的結(jié)構(gòu)改革，促進(jìn)行業(yè)的蓬勃發(fā)展?！?/p>

IBM Reaserch總監(jiān)Dario Gil

Gil領(lǐng)導(dǎo)的一組研究人員積極為白宮和世界各地的企業(yè)提供咨詢服務(wù)。他認(rèn)為，2019年的重大飛躍包括圍繞生成模型的進(jìn)步以及可產(chǎn)生合理語(yǔ)言不斷提高的質(zhì)量。

他預(yù)測(cè)，在降低精度的體系結(jié)構(gòu)上，更有效的訓(xùn)練將繼續(xù)取得進(jìn)展。更高效AI模型的開(kāi)發(fā)是NeurIPS的重點(diǎn)，IBM Research在此引入了具有8位精度模型的深度學(xué)習(xí)技術(shù)。

他說(shuō)：“在我們使用具有GPU架構(gòu)的現(xiàn)有硬件訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方式上，效率仍然遠(yuǎn)遠(yuǎn)不夠。因此，我們必須提高AI的計(jì)算效率，需要做更多的事情來(lái)實(shí)現(xiàn)這一目標(biāo)?！?/p>

Gil引用相關(guān)研究表明，對(duì)機(jī)器學(xué)習(xí)訓(xùn)練的需求每三個(gè)半月翻一番，這比摩爾定律所預(yù)測(cè)的增長(zhǎng)要快得多。

Gil也對(duì)AI如何幫助加速科學(xué)發(fā)現(xiàn)感到興奮，但是IBM Research將主要專(zhuān)注于機(jī)器學(xué)習(xí)的神經(jīng)符號(hào)方法。

Gil希望AI從業(yè)者和研究人員將專(zhuān)注于準(zhǔn)確性以外的指標(biāo)，以考慮生產(chǎn)中部署模型的價(jià)值。將領(lǐng)域轉(zhuǎn)移到構(gòu)建受信任的系統(tǒng)，而不是將準(zhǔn)確性放在首位，這將是繼續(xù)采用AI的中心支柱。

“社區(qū)中的某些成員可能會(huì)說(shuō)，‘不用擔(dān)心，只是提供準(zhǔn)確性。沒(méi)關(guān)系，人們會(huì)習(xí)慣這個(gè)東西有點(diǎn)黑匣子’，或者他們會(huì)提出這樣的論點(diǎn)，即人類(lèi)有時(shí)不會(huì)對(duì)我們做出的某些決定產(chǎn)生解釋。我認(rèn)為，非常重要的一點(diǎn)是，我們應(yīng)該集中社區(qū)的智慧力量，在此方面做得更好。人工智能系統(tǒng)不能成為關(guān)鍵任務(wù)應(yīng)用的黑匣子，”他說(shuō)。

Gill相信要擺脫這樣的觀念，即只有少數(shù)機(jī)器學(xué)習(xí)向?qū)Р拍茏龅紸I，以確保更多的具有數(shù)據(jù)科學(xué)和軟件工程技能的人采用AI。

他說(shuō)：“如果我們把它作為一個(gè)神話領(lǐng)域，只有從事此工作的博士才能進(jìn)入，可這并沒(méi)有真正為它的采用做出貢獻(xiàn)?！?/p>

operate a program， and models that can share the reasoning behind their decisions.

2020年，Gil對(duì)神經(jīng)符號(hào)AI特別感興趣。IBM將尋求神經(jīng)符號(hào)方法來(lái)增強(qiáng)諸如概率性編程之類(lèi)的功能，其中AI將學(xué)習(xí)如何操作程序以及可共享其決策背后原因的模型。

“通過(guò)與一種新的當(dāng)代方法混合，這些神經(jīng)符號(hào)方法將學(xué)習(xí)和推理結(jié)合在一起，其中符號(hào)維度被嵌入到學(xué)習(xí)程序中，就可以利用少量數(shù)據(jù)進(jìn)行學(xué)習(xí)，”他說(shuō)?！坝捎趯W(xué)習(xí)了程序，最終得到了一些可解釋的東西，并且由于你擁有了可解釋的東西，因此你有了更受信任的東西。”

他還提到，公平性、數(shù)據(jù)完整性和數(shù)據(jù)集選擇等問(wèn)題將繼續(xù)引起人們的廣泛關(guān)注。與生物識(shí)別技術(shù)有關(guān)的任何事情都將如此。面部識(shí)別得到了很多關(guān)注，但這僅僅是開(kāi)始。語(yǔ)音數(shù)據(jù)以及其他形式的生物識(shí)別技術(shù)將越來(lái)越具有敏感性。他繼續(xù)引用了哥倫比亞大學(xué)教授Rafael Yuste的話，他從事神經(jīng)技術(shù)研究，并正在探索提取神經(jīng)元模式的方法。

Gil說(shuō)：“我以這個(gè)例子為例是想表達(dá)，在未來(lái)與人的身份、生物特征相關(guān)的領(lǐng)域會(huì)備受關(guān)注，人工智能在分析這些方面取得的進(jìn)步將繼續(xù)處于前沿和中心位置。”

除了神經(jīng)符號(hào)和常識(shí)推理外，MIT-IBM Watson Lab的一項(xiàng)旗艦計(jì)劃以及IBM Research在新的一年還將探索AI的量子計(jì)算以及降低精度架構(gòu)之外的AI模擬硬件。

總結(jié)

機(jī)器學(xué)習(xí)正在不斷塑造著商業(yè)和社會(huì)。隨著Transformers推動(dòng)該領(lǐng)域巨大的發(fā)展，自然語(yǔ)言模型的進(jìn)步是2019年的主要成就。而在2020年，研究人員和專(zhuān)家將尋找更多基于BERT和Transformer模型的變體，并看到了一系列新的發(fā)展趨勢(shì)：

除了關(guān)注準(zhǔn)確性外，AI行業(yè)應(yīng)該尋找評(píng)估模型輸出的新方法。

諸如半監(jiān)督學(xué)習(xí)、機(jī)器學(xué)習(xí)的神經(jīng)符號(hào)方法以及多任務(wù)和多模式學(xué)習(xí)方法等子領(lǐng)域可能會(huì)在未來(lái)一年中取得進(jìn)展。

與生物統(tǒng)計(jì)數(shù)據(jù)（如語(yǔ)音記錄）相關(guān)的倫理挑戰(zhàn)可能會(huì)繼續(xù)引起爭(zhēng)議。

諸如量化之類(lèi)的編譯器和方法可能會(huì)在諸如PyTorch和TensorFlow之類(lèi)的機(jī)器學(xué)習(xí)框架中作為優(yōu)化模型性能的方式而流行起來(lái)。