最近，麻省理工學(xué)院的研究人員發(fā)明了一種機器學(xué)習(xí)工具，該工具可以預(yù)測計算機芯片執(zhí)行來自各種應(yīng)用程序的代碼的運行速度。

為了使代碼盡可能快地運行，開發(fā)人員和編譯器將編程語言轉(zhuǎn)換為機器可讀代碼的程序，通常使用通過模擬給定芯片體系結(jié)構(gòu)運行代碼的性能模型。

編譯器使用該信息來自動優(yōu)化代碼，而開發(fā)人員使用該信息來解決將運行該代碼的微處理器的性能瓶頸。但是，機器代碼的性能模型是由相對較少的專家小組手寫的，并且未經(jīng)適當(dāng)驗證。結(jié)果，模擬的性能測量通常會偏離實際結(jié)果。

研究人員開發(fā)了一種新穎的機器學(xué)習(xí)管道，該管道可自動執(zhí)行此過程，從而使其變得更輕松、更快、更準(zhǔn)確。這項研究成果在國際機器學(xué)習(xí)大會上發(fā)表。

研究人員通過一種特殊的神經(jīng)網(wǎng)絡(luò)模型，它以“基本塊”（計算指令的基本摘要）形式訓(xùn)練標(biāo)記的數(shù)據(jù)，以自動預(yù)測其持續(xù)時間使用給定的芯片執(zhí)行以前看不見的基本塊。結(jié)果表明，這種神經(jīng)網(wǎng)絡(luò)模型的性能要比傳統(tǒng)的手動調(diào)整模型精確得多。

這個基準(zhǔn)測試套件涉及多個領(lǐng)域，包括機器學(xué)習(xí)、編譯器、密碼學(xué)和可用于驗證性能模型的圖形。研究人員將超過30萬已分析的塊合并到一個開源數(shù)據(jù)集中。在評估過程中，這種神經(jīng)網(wǎng)絡(luò)模型預(yù)測了英特爾芯片運行代碼的速度要比英特爾自身構(gòu)建的性能模型還要好。

最終，開發(fā)人員和編譯器可以使用該工具來生成代碼，這些代碼可以在越來越多的多樣化“黑匣子”芯片設(shè)計上更快、更高效地運行。現(xiàn)代計算機處理器不透明，極其復(fù)雜且難以理解。編寫對這些處理器執(zhí)行得盡可能快的計算機代碼也極具挑戰(zhàn)性，該工具是朝著對這些芯片的性能進行完全建模以提高效率的重要一步。

最近，該團隊又提出了一種自動生成編譯器優(yōu)化的新技術(shù)。具體來說，它們會自動生成一種算法，該算法將某些代碼轉(zhuǎn)換為向量，可用于并行計算。 這種算法優(yōu)于LLVM編譯器中使用的手工矢量化算法。

LLVM是業(yè)界常用的編譯器，一個自由軟件項目，它是一種編譯器基礎(chǔ)設(shè)施，以C++寫成，包含一系列模塊化的編譯器組件和工具鏈，用來開發(fā)編譯器前端和后端。它是為了任意一種編程語言而寫成的程序，利用虛擬技術(shù)創(chuàng)造出編譯時期、鏈接時期、運行時期以及“閑置時期”的最優(yōu)化。它最早以C/C++為實現(xiàn)對象，而當(dāng)前它已支持許多種程序語言。

研究人員說，手工設(shè)計性能模型可能是“一門妖術(shù)”。英特爾提供了超過3000頁的詳盡文檔，描述了其芯片的體系結(jié)構(gòu)。但是目前只有一小部分專家將構(gòu)建性能模型，以模擬這些架構(gòu)上代碼的執(zhí)行。

研究人員指出：“英特爾的文檔既沒有錯誤，也沒有完整，并且英特爾會省略某些事情，因為它是專有的?！?“但是，當(dāng)使用數(shù)據(jù)時，不需要了解文檔。如果有隱藏的內(nèi)容，可以直接從數(shù)據(jù)中學(xué)習(xí)。”

為此，研究人員記錄了給定微處理器用于計算基本塊指令的平均周期數(shù)，基本上是啟動，執(zhí)行和關(guān)閉的順序，而無需人工干預(yù)。使過程自動化可以快速分析成千上萬個塊。

在培訓(xùn)學(xué)習(xí)中，這種神經(jīng)網(wǎng)絡(luò)模型分析了數(shù)百萬個自動剖析的基本塊，以準(zhǔn)確了解不同的芯片體系結(jié)構(gòu)將如何執(zhí)行計算。重要的是，該模型將原始文本作為輸入，不需要手動向輸入數(shù)據(jù)添加功能。在測試中，可以將以前看不見的基本塊和給定的芯片提供給模型，模型將生成一個數(shù)字，指示芯片將以多快的速度執(zhí)行該代碼。

研究人員發(fā)現(xiàn)，該模型的準(zhǔn)確性降低了錯誤率，這意味著預(yù)測速度與實際速度之間的差異比傳統(tǒng)的手工模型降低了50％。此外，他們表明該模型的錯誤率為10％，而Intel性能預(yù)測模型在多個不同領(lǐng)域的各種基本塊上的錯誤率為20％。

該工具現(xiàn)在使人們可以更輕松地快速了解任何新芯片架構(gòu)的性能速度。例如，特定領(lǐng)域的體系結(jié)構(gòu)，例如Google專門用于神經(jīng)網(wǎng)絡(luò)的新型Tensor處理單元，目前正在構(gòu)建中，但并未得到廣泛理解。 如果要在某種新架構(gòu)上訓(xùn)練模型，只需從該架構(gòu)收集更多數(shù)據(jù)，通過探查器運行它，使用該信息來訓(xùn)練模型，從而就有了一個預(yù)測性能的模型。

接下來，研究人員將通過這樣的神經(jīng)網(wǎng)絡(luò)模型研究使人工智能模型可解釋的方法。人工智能機器學(xué)習(xí)在很大程度上是一個黑匣子，因此尚不清楚為什么特定的模型會做出某種預(yù)測。這樣的模型指示一個處理器要執(zhí)行一個基本塊需要10個周期，從而有可能設(shè)法找出其原因。