最近小茹姐發(fā)現(xiàn)破解自動化機器學習的黑匣子這個話題相信很多小伙伴們都很感興趣吧，那么今天就帶大家了解下破解自動化機器學習的黑匣子的具體詳情，那么小茹姐就來給大家說說具體的一些問題吧，希望對大家有所幫助。

麻省理工學院和其他地方的研究人員已經(jīng)開發(fā)了一種交互式工具，該工具首次使用戶可以查看和控制自動化機器學習系統(tǒng)的工作方式。目的是建立對這些系統(tǒng)的信心并找到改善它們的方法。

為特定任務（例如圖像分類，疾病診斷和股票市場預測）設計機器學習模型是一個艱巨且耗時的過程。專家首先從許多不同的算法中進行選擇以構(gòu)建模型。然后，他們在模型開始訓練之前手動調(diào)整“超參數(shù)”，這些“超參數(shù)”確定了模型的整體結(jié)構(gòu)。

最近開發(fā)的自動機器學習（AutoML）系統(tǒng)反復測試和修改算法以及那些超參數(shù)，并選擇最適合的模型。但是這些系統(tǒng)就像“黑匣子”一樣運作，這意味著用戶無法選擇它們的選擇技術。因此，用戶可能不信任結(jié)果，并且會發(fā)現(xiàn)很難根據(jù)其搜索需求來定制系統(tǒng)。

麻省理工學院，香港科技大學和浙江大學的研究人員在ACM CHI計算系統(tǒng)中的人為因素大會上發(fā)表的論文中，描述了一種工具，該工具將AutoML方法的分析和控制應用到用戶的計算機中。手。該工具稱為ATMSeer，將AutoML系統(tǒng)，數(shù)據(jù)集和有關用戶任務的一些信息作為輸入。然后，它在一個用戶友好的界面中可視化搜索過程，從而提供有關模型性能的深入信息。

麻省理工學院信息與決策系統(tǒng)實驗室（LIDS）的首席研究科學家Kalyan Veeramachaneni說：“我們讓用戶選擇AutoML系統(tǒng)是如何工作的?！?“您可能只是選擇性能最高的模型，或者您可能有其他考慮因素或使用領域?qū)I(yè)知識來指導系統(tǒng)在某些模型之上尋找其他模型?！?/p>

在對作為AutoML新手的理科研究生進行的案例研究中，研究人員發(fā)現(xiàn)使用ATMSeer的參與者中約有85%對系統(tǒng)選擇的模型充滿信心。幾乎所有參與者都說，使用該工具使他們將來足以使用AutoML系統(tǒng)。

電氣工程和計算機科學系（EECS）的研究生Micah Smith說：“我們發(fā)現(xiàn)，打開黑匣子并查看并控制系統(tǒng)的運行方式，會使人們更傾向于使用AutoML?！?LIDS研究人員。

“數(shù)據(jù)可視化是一種有效的方法，可以改善人機之間的協(xié)作。ATMSeer就是這個想法的例證?！?“ ATMSeer將使受益于一定水平專業(yè)知識的機器學習從業(yè)者大為受益，無論他們來自哪個領域。它可以減輕手動選擇機器學習算法和調(diào)整超參數(shù)的麻煩?！?/p>

在論文上與史密斯，韋拉瑪卡尼尼和王一起加入的還有：科大的姚明，沉巧木，劉冬雨和曲華敏;和浙江大學的金志華。

新工具的核心是一個定制的AutoML系統(tǒng)，稱為Veeramachaneni和其他研究人員于2017年開發(fā)的“ Auto-Tuned Models ”（ATM）。與傳統(tǒng)的AutoML系統(tǒng)不同，ATM會在嘗試擬合模型時對所有搜索結(jié)果進行完全分類數(shù)據(jù)。

ATM將任何數(shù)據(jù)集和編碼的預測任務作為輸入。系統(tǒng)隨機選擇算法類別（例如神經(jīng)網(wǎng)絡，決策樹，隨機森林和邏輯回歸），以及模型的超參數(shù)，例如決策樹的大小或神經(jīng)網(wǎng)絡層數(shù)。

然后，系統(tǒng)針對數(shù)據(jù)集運行模型，迭代調(diào)整超參數(shù)，并測量性能。它使用從該模型的性能中學到的知識來選擇另一個模型，依此類推。最后，系統(tǒng)為任務輸出幾個性能最高的模型。

訣竅在于，每個模型實際上都可以視為具有幾個變量的一個數(shù)據(jù)點：算法，超參數(shù)和性能。在這項工作的基礎上，研究人員設計了一個系統(tǒng)，可以在指定的圖形和圖表上繪制數(shù)據(jù)點和變量。從那里，他們開發(fā)了一種單獨的技術，該技術還使他們可以實時重新配置該數(shù)據(jù)?！霸E竅在于，使用這些工具，您可以可視化的任何東西，也可以修改，” Smith說。