Ambarella前不久展示了在其CV3-AD芯片上運(yùn)行LLM的能力。這款芯片是CV3系列中最強(qiáng)大的，專為自動(dòng)駕駛設(shè)計(jì)。

CV3-AD一年前開始出樣，使用Ambarella現(xiàn)有的AI軟件堆棧，運(yùn)行Llama2-13B模型時(shí)，可以實(shí)現(xiàn)每秒推理25個(gè)token。

Ambarella的CEO Fermi Wang表示：“當(dāng)transformer在今年早些時(shí)候變得流行時(shí)，我們開始問自己，我們擁有一個(gè)強(qiáng)大的推理引擎，我們能做到嗎？我們進(jìn)行了一些快速研究，發(fā)現(xiàn)我們確實(shí)可以。我們估計(jì)我們的性能可能接近Nvidia A100?！?

Ambarella工程師正在展示Llama2-13B在CV3-AD上的實(shí)時(shí)演示，CV3-AD是一款50W的自動(dòng)駕駛芯片。

Ambarella芯片上的CVFlow引擎包括其NVP（Neural Vector Processor）和一個(gè)GVP（General Vector Processor），演示中的LLM正在NVP上運(yùn)行。NVP采用數(shù)據(jù)流架構(gòu)，Ambarella已將諸如卷積之類的高級(jí)運(yùn)算符指令組合成圖表，描述數(shù)據(jù)如何通過處理器進(jìn)行該運(yùn)算符的處理。所有這些運(yùn)算符之間的通信都使用片上內(nèi)存完成。CV3系列使用LPDDR5（而非HBM），功耗約為50W。

Ambarella的CTO Les Kohn表示，LLM演示確實(shí)需要一些新軟件。實(shí)現(xiàn)transformer架構(gòu)核心操作的構(gòu)建模塊，目前這些操作針對(duì)的是像Llama2這樣的模型。

他說：“隨著時(shí)間的推移，我們將擴(kuò)展這些功能以覆蓋其它模型，但Llama2正在成為開源世界的事實(shí)標(biāo)準(zhǔn)。這絕對(duì)是一項(xiàng)不小的投資，但與從頭開始開發(fā)軟件相比，還差得遠(yuǎn)?！?

Edge LLM發(fā)展路線圖?????

Wang表示：“現(xiàn)在我們知道我們擁有這項(xiàng)技術(shù)，我們可以解決一些實(shí)際問題。如果你與LLM的研發(fā)人員交談，問他們最頭疼的是什么，一個(gè)顯然是價(jià)格，另一個(gè)是功耗。”

CV3-AD設(shè)計(jì)用于50W的功率范圍（包括整個(gè)芯片的功率，不僅僅是AI加速器）。因此，Wang希望Ambarella能夠以大約四分之一的功耗，為LLM提供與A100相似的性能。

他說：“這意味著對(duì)于固定的數(shù)據(jù)中心功率，我可以增加四倍的AI性能。這是巨大的價(jià)值。盡管這種想法很簡單，但我們相信我們可以為渴望使用LLM的任何人提供價(jià)值。在過去的六個(gè)月里，渴望使用LLM的人數(shù)迅速增加?！?

雖然超大規(guī)模計(jì)算中心可能是首批跟進(jìn)LLM趨勢的，但Ambarella在安防攝像頭和汽車領(lǐng)域的現(xiàn)有客戶開始考慮如何在他們的邊緣系統(tǒng)中實(shí)施LLM，以及LLM將如何實(shí)施他們的發(fā)展路線圖。

Wang說：“我們相信LLM將成為我們需要在路線圖中為當(dāng)前客戶提供的重要技術(shù)。當(dāng)前的CV3可以運(yùn)行LLM，而無需Ambarella進(jìn)行太多額外的工程投資，所以這對(duì)我們來說并非分心之事。我們當(dāng)前的市場在他們的路線圖中已經(jīng)有了LLM。” 多模態(tài)AI???? Kohn指出，在邊緣計(jì)算中，具有生成文本和圖像能力的大型多模態(tài)生成型AI潛力日益增大。

他說：“對(duì)于像機(jī)器人這樣的應(yīng)用，transformer網(wǎng)絡(luò)已經(jīng)可以用于計(jì)算機(jī)視覺處理，這比任何傳統(tǒng)計(jì)算機(jī)視覺模型都要強(qiáng)大，因?yàn)檫@種模型可以處理零樣本學(xué)習(xí)，這是小模型無法做到的?！?

零樣本學(xué)習(xí)指的是模型能夠推斷出在其訓(xùn)練數(shù)據(jù)中未出現(xiàn)的對(duì)象類別的信息。這意味著模型可以以更強(qiáng)大的方式預(yù)測和處理邊緣情況，這在自動(dòng)系統(tǒng)中尤其重要。

他補(bǔ)充說：“自動(dòng)駕駛本質(zhì)上是一種機(jī)器人應(yīng)用：如果你看看L4/L5系統(tǒng)需要什么，很明顯你需要更強(qiáng)大、更通用的AI模型，這些模型能以更類似于人類的方式理解世界，超越我們今天的水平。我們將這看作是為各種邊緣應(yīng)用獲取更強(qiáng)大的AI處理能力的一種方式?！?

LLM發(fā)展路線圖??

問及Ambarella是否會(huì)制造專門針對(duì)LLM的邊緣芯片時(shí)，Wang表示：“這可能是我們需要考慮的事情。我們需要一個(gè)具有更多AI性能的LLM路線圖。LLM本身需要大量的DRAM帶寬，這幾乎使得在芯片上集成其他功能變得不可能（因?yàn)槠渌δ芤残枰狣RAM帶寬）?！?/p>

Wang說，盡管在某些人看來，一個(gè)大型信息娛樂芯片應(yīng)該能夠同時(shí)處理其他工作負(fù)載和LLM，但目前這是不可能的。LLM所需的性能和帶寬或多或少地需要一個(gè)單獨(dú)的加速器。

Kohn補(bǔ)充說：“這取決于模型的大小。我們可能會(huì)看到目前使用的模型比較小的版本應(yīng)用于像機(jī)器人學(xué)這樣的領(lǐng)域，因?yàn)樗鼈儾恍枰幚泶笮湍Ｐ退龅乃型ㄓ檬聞?wù)。但與此同時(shí)，人們希望有更強(qiáng)大的性能。所以，我認(rèn)為最終我們將看到未來更優(yōu)化的解決方案，它們將被應(yīng)用于不同的價(jià)格/性能點(diǎn)?！?/p>

在邊緣計(jì)算之外，CV3系列也有可能在數(shù)據(jù)中心中使用。Kohn說，CV3系列有多個(gè)PCIe接口，這在多芯片系統(tǒng)中可能很有用。他還補(bǔ)充說，該公司已經(jīng)有一個(gè)可以利用的PCIe卡。

Wang表示：“對(duì)我們來說，真正的問題是，‘我們能否將當(dāng)前產(chǎn)品和未來產(chǎn)品銷售到超大規(guī)模計(jì)算中心或基于云的解決方案中？’這是一個(gè)我們還沒有回答的問題，但我們已經(jīng)確認(rèn)了技術(shù)的可行性，并且我們有一些差異化。我們知道我們可以將這種產(chǎn)品銷售到邊緣設(shè)備和邊緣服務(wù)器。我們正在制定一個(gè)計(jì)劃，希望如果我們想要進(jìn)入基于云的解決方案，我們可以證明進(jìn)一步投資是合理的。”

審核編輯：劉清