【新智元導讀】谷歌今天宣布推出用于邊緣計算的Edge TPU，作為Cloud TPU的補充，目前Edge TPU僅用于推理，專為在邊緣運行TensorFlow Lite ML模型而設計。除了自用，谷歌Edge TPU也將提供給其他廠商使用，進一步把開發(fā)者鎖定在谷歌生態(tài)系統(tǒng)，或對整個智能云計算市場帶來巨大沖擊!

谷歌又出重磅消息!在谷歌云年度大會的第二天，谷歌宣布Edge TPU——TPU的輕量級版本，用于邊緣計算。

這就意味著，谷歌不僅為在自己的數(shù)據(jù)中心開發(fā)人工智能芯片，還打算在將其設計的Edge TPU用在其他公司生產的產品中。

兩年前谷歌推出了第一代TPU，當時只能做推理。去年，谷歌推出了既能做訓練也能做推理的TPU 2.0，這款谷歌自研芯片當做GPU的強勁對手，威脅英偉達的市場份額。今天5月，谷歌在I/O大會上發(fā)布了TPU 3.0，性能進一步提升。無論市場情況如何，谷歌都在內部都更多地使用TPU，而不是依賴英偉達等供應商提供的硬件。

但是，谷歌曾多次表示不會對外銷售TPU，而是將TPU與谷歌云Google Cloud Platform(GCP)和TensorFlow綁定，讓使用GCP和TF的用戶享受TPU帶來的計算優(yōu)勢。

現(xiàn)在，Edge TPU則不同了。據(jù)CNBC報道，消費電子制造商LG正在一個顯示器玻璃檢測系統(tǒng)中測試谷歌Edge TPU，以更快地發(fā)現(xiàn)制造缺陷。據(jù)LG CNS集團CTO Shingyoon Hyun 表示，檢測精度從原來的約50%提高到了99.9%。

可以想見，未來谷歌Edge TPU在物聯(lián)網(wǎng)以及智能終端設備中的巨大使用空間，以及對物聯(lián)網(wǎng)芯片市場的沖擊。

將機器學習帶到邊緣，省錢!省時!

今天谷歌宣布推出兩款旨在幫助客戶大規(guī)模開發(fā)和部署智能連接設備的新產品：Edge TPU，一款新的硬件芯片，以及Cloud IoT Edge，一款將Google Cloud強大的AI功能擴展到網(wǎng)關和連接設備的軟件棧。用戶可以在云上構建和訓練ML模型，然后通過Edge TPU硬件加速器在Cloud IoT Edge設備上運行這些模型。

Edge TPU是谷歌的專用ASIC芯片，專為在邊緣運行TensorFlow Lite ML模型而設計。在設計Edge TPU時，我們非常注重在很小的占用空間內優(yōu)化“每瓦性能”和“每美元性能”。

Edge TPU的設計旨在補充谷歌云TPU，因此，你可以在云中加速ML的訓練，然后在邊緣進行快速的ML推理。你的傳感器不僅僅是數(shù)據(jù)采集——它們還能夠做出本地的、實時的、智能的決策。

Edge TPU芯片的尺寸，與一美元硬幣對比

根據(jù)谷歌博客的介紹，Edge TPU 的特點如下：

邊緣上的AI

如今，從消費者到企業(yè)應用程序，AI無處不在。隨著連接設備的爆炸式增長，再加上對隱私/機密性、低延遲和帶寬限制的需求，在云中訓練的AI模型越來越需要在邊緣上運行。Edge TPU是谷歌為在邊緣運行AI而設計的專用ASIC。它在很小的物理占用和很低功耗的限制下提供高性能，使得在邊緣部署高精度的AI成為可能。

端到端的AI基礎設施

Edge TPU是Cloud TPU和Google Cloud服務的補充，提供end-to-end、cloud-to-edge、硬件+軟件的基礎設施，以便于基于AI的解決方案的部署。

很小的物理占用和低功耗下實現(xiàn)高性能

由于其高性能、物理占用面積小、功耗低，Edge TPU可以在邊緣廣泛部署高質量的AI。

AI硬件、軟件和算法的協(xié)同設計

Edge TPU不僅僅是一個硬件解決方案，它結合了定制硬件、開放軟件和最先進的AI算法，為邊緣提供高質量、易于部署的AI解決方案。

廣泛的應用

Edge TPU有非常多的工業(yè)用例，例如預測性維護、異常檢測、機器視覺、機器人、語音識別等等。在制造業(yè)、內部部署、醫(yī)療、零售、智能空間、交通等領域有廣泛應用。

Edge TPU和Cloud TPU的對比：目前Edge僅用于推理

Edge TPU支持在邊緣部署高質量的ML推理。它增強了谷歌的Cloud TPU和Cloud IoT，以提供端到端(云到端、硬件+軟件)的基礎設施，以促進客戶基于AI的解決方案的部署。除了開放源碼的TensorFlow Lite編程環(huán)境之外，Edge TPU最初將部署多個Google AI模型，并結合谷歌在AI和硬件方面的專業(yè)知識。

Edge TPU補充了CPU、GPU和其他ASIC解決方案，用于在Edge上運行AI，這將由Cloud IoT Edge支持。

Edge TPU 和 Cloud TPU的對比

●Edge TPU可用于ML推理，不適用于訓練;Cloud TPU可用于ML訓練和推理

●軟件和服務方面，Edge TPU適用于Cloud IoT Edge和Android Things;Cloud TPU的可用軟件包括Cloud ML Engine，Kubernetes Engine，Google Compute Engine，以及Cloud IoT Core

●ML框架：Edge TPU可使用TensorFlow Lite, NN API;Cloud TPU可使用TensorFlow, scikit-learn, XGBoost, Keras

●硬件加速器：Edge TPU包括Edge TPU, GPU, CPU;Cloud TPU包括Cloud TPU, GPU 和CPU

Edge TPU的特性

Edge TPU使用戶能夠以高效的方式，在高分辨率視頻上以每秒30幀的速度，在每幀上同時執(zhí)行多個最先進的AI模型。

推出配套軟件 Cloud IoT Edge

Cloud IoT Edge是將Google Cloud強大的數(shù)據(jù)處理和機器學習功能擴展到網(wǎng)關、攝像頭和終端設備的軟件，使物聯(lián)網(wǎng)應用更智能、更安全、更可靠。它允許你在Edge TPU或基于GPU和CPU的加速器上執(zhí)行在Google Cloud中訓練了的ML模型。

Cloud IoT Edge可以在Android Things或基于Linux OS的設備上運行，其關鍵組件包括：

●網(wǎng)關類設備runtime(至少有一個CPU)，用于邊緣數(shù)據(jù)的本地存儲、轉換和處理，以及從數(shù)據(jù)中獲取智能，同時與云IoT平臺的其余部分無縫互操作。

●Edge IoT Core runtime，能更安全地將邊緣設備連接到云，支持軟件和固件更新，并通過Cloud IoT Core管理數(shù)據(jù)交換。

●基于TensorFlow Lite的Edge ML runtime，使用預先訓練過的模型執(zhí)行本地ML推理，顯著減少延遲并增加邊緣設備的多功能性。由于Edge ML運行時與TensorFlow Lite接口，因此它可以在網(wǎng)關類設備中的CPU，GPU或Edge TPU上執(zhí)行ML推理，或者在終端設備(如攝像頭)中執(zhí)行ML推理。

推出Edge TPU開發(fā)套件，進一步將開發(fā)者鎖定在谷歌生態(tài)系統(tǒng)

為了使用Edge TPU快速啟動開發(fā)和測試，我們構建了一個開發(fā)套件(Edge TPU development kit)。這個套件包括一個模塊化系統(tǒng)(SOM)，集合了谷歌的Edge TPU，一個NXP的CPU, Wi-Fi，和Microchip的安全元件。開發(fā)套件將在今年10月對開發(fā)者開放，也可以注冊申請?zhí)崆霸L問。

Edge TPU開發(fā)套件：SOM(上)和底板(下)

顛覆云計算，狙擊亞馬遜和微軟

谷歌進軍定制芯片已經被證明可行。用于谷歌數(shù)據(jù)中心的TPU本身就是一個很好的例子。

Edge TPU的計算密集度低于訓練模型，無需連接到一堆功能強大的計算機即可運行計算，因此應用程序可以更快、更可靠地運行。

如上所述，Edge TPU可以充當傳感器或網(wǎng)關設備中的標準芯片或微控制器。谷歌已經開發(fā)了一套套件，包括Edge TPU，NXP芯片和Wi-Fi連接，供開發(fā)人員試用。

今年2月份加入谷歌實習(entrepreneur in residence)的三星前CTO Injong Rhee 表示，谷歌制作Edge TPU并非為了與傳統(tǒng)的芯片商進行競爭?！斑@對所有芯片供應商和設備制造商都非常有利。” Rhee 告訴CNBC記者。

Rhee 表示，Edge TPU可能會“顛覆云計算的競爭”，因為現(xiàn)在某些計算只用發(fā)生在本地。他說，就成本和能源使用而言，谷歌芯片在某些類型的計算方面比傳統(tǒng)芯片更加高效。

至于谷歌是否會研發(fā)一款更強大，可以用于訓練的Edge TPU時，Rhee 則表示不予置評。

谷歌正在與Arm，Harting，日立數(shù)據(jù)系統(tǒng)(Hitachi Vantara)，新漢(Nexcom)，諾基亞和恩智浦等制造商合作。

谷歌將在一款類似 Raspberry Pi 的套件上推出Edge TPU，在簡化版的TensorFlow AI軟件上運行。這一操作將使得那些已經使用TensorFlow作為其主要機器學習框架的開發(fā)者，更快更高效地使用Edge TPU，提供全棧式硬件，進一步將其鎖定在谷歌云的生態(tài)系統(tǒng)中。

谷歌并不是唯一為所謂的物聯(lián)網(wǎng)提供服務的云服務提供商。今年早些時候，微軟宣布推出面向物聯(lián)網(wǎng)的芯片設計。微軟的Azure是除了亞馬遜AWS之外第二大云的服務商。

至于占據(jù)市場主要份額的亞馬遜AWS，憑借其智能音箱Echo/Alexa，已經在智能終端領域占據(jù)了不小的市場。

雖然硅谷早有傳言，但Edge TPU的推出無疑是谷歌邁進從硬件到用戶體驗一張?zhí)追盏那袑嵰徊健?/p>

就目前而言，谷歌Edge TPU或許還尚不具備顛覆硬件計算市場的能力，但谷歌將自研Edge TPU用于其他廠商設備這一舉措，顯然有一統(tǒng)生態(tài)系統(tǒng)的野心。

但無論如何，消費者的體驗將會隨著越來越強大的智能計算得到進一步提高。