“GPU 窮人”太多了

多年以來(lái)，區(qū)塊鏈和加密貨幣一直被批評(píng)，認(rèn)為它是“為解決方案找問(wèn)題”。

現(xiàn)在，一些行業(yè)內(nèi)的企業(yè)家已經(jīng)找到了它能夠解決的問(wèn)題，那就是訓(xùn)練 AI 模型所面臨的計(jì)算能力短缺。

解決方案：無(wú)法獲得圖形處理器（GPU）的研究人員和創(chuàng)業(yè)公司可以利用基于區(qū)塊鏈的市場(chǎng)，以主要供應(yīng)商一部分的價(jià)格快速、輕松地獲取計(jì)算能力。

比特幣挖礦和其他事情刺激了對(duì) GPU 的軍備競(jìng)賽，它們需要進(jìn)行計(jì)算以保持系統(tǒng)運(yùn)行，但是去年數(shù)字貨幣市場(chǎng)崩潰后，需求出現(xiàn)了下滑。現(xiàn)在，一些 AI 公司不再簡(jiǎn)單地蠶食陷入困境的加密貨幣行業(yè)，而是依靠區(qū)塊鏈來(lái)分發(fā)這些 GPU。

哥倫比亞大學(xué)的計(jì)算機(jī)科學(xué)研究生 Ishan Dhanani 就是一個(gè)新人如何通過(guò)區(qū)塊鏈解決 GPU 短缺的范例。他想對(duì) Meta 的 LLama2 開(kāi)源 AI 模型進(jìn)行微調(diào)，以便在該模型上進(jìn)行實(shí)驗(yàn)，但是他卻遇到了巨型公司已經(jīng)吞噬了大部分計(jì)算能力的現(xiàn)實(shí)。

他無(wú)法通過(guò)市場(chǎng)領(lǐng)導(dǎo)者亞馬遜云科技（Amazon Web Services）獲得任何計(jì)算能力，而小型供應(yīng)商的計(jì)算能力總是處于售罄的狀態(tài)。通過(guò)哥倫比亞大學(xué)獲得訪問(wèn)權(quán)也是一個(gè)令人頭疼的問(wèn)題。

于是，他找到了 Akash Network，該公司是少數(shù)幾家創(chuàng)建了協(xié)議，以允許 GPU 所有者在區(qū)塊鏈上出租 GPU 的公司之一，每使用一分鐘的 GPU，都能賺錢取代幣（token）。Dhanani 通過(guò) Akash 以每小時(shí) 1.10 美元的價(jià)格租用了價(jià)值 1.5 萬(wàn)美元的 Nvidia A100。他花了大約 7 個(gè)小時(shí)完成了工作，其花費(fèi)大約是一杯啤酒的錢。

像 Akash 這樣的公司之所以能提供更便宜的接入服務(wù)，部分原因在于這些協(xié)議的建立就是為了獨(dú)立運(yùn)行，就像 Airbnb 或 Uber 的版本那樣，只不過(guò)不需要這些公司收取傭金。區(qū)塊鏈上的社區(qū)成員在代幣的激勵(lì)下，處理運(yùn)維中的具體事務(wù)。因此，成本很低，除了 GPU 的所有者之外，沒(méi)有人會(huì)從交易中獲得任何可觀的收入。

這些經(jīng)驗(yàn)促使 Dhanani 同兩位朋友在幾個(gè)月前成立了 Agora Labs，幫助他所說(shuō)的“GPU 窮人”更容易地通過(guò)區(qū)塊鏈預(yù)定 GPU 的使用時(shí)間。他說(shuō)，“不能只有 OpenAI 和 Anthropics 有能力訓(xùn)練和托管 ChatGPT 這樣的模型”。

總部位于英國(guó)的 Gensyn 最近宣布獲得了 4300 萬(wàn)美元的 A 輪融資，代表了風(fēng)險(xiǎn)資本對(duì)區(qū)塊鏈未來(lái)在促進(jìn) AI 行業(yè) GPU 使用時(shí)間銷售方面的巨大信心。

根據(jù)對(duì)該公司聯(lián)合創(chuàng)始人的采訪，Gensyn 正在構(gòu)建一個(gè)系統(tǒng)，該系統(tǒng)將大大簡(jiǎn)化 AI 訓(xùn)練的定價(jià)模式。Gensyn 會(huì)計(jì)劃訓(xùn)練作業(yè)的總體耗時(shí)和成本，然后將任務(wù)分散到世界范圍的計(jì)算機(jī)上，尋找最優(yōu)惠的價(jià)格，而不是為 GPU 的使用時(shí)間付費(fèi)。

這個(gè)策略涉及到一個(gè)很棘手的問(wèn)題，那就是計(jì)算資源越分散，訓(xùn)練就越復(fù)雜。

Gensyn 聯(lián)合創(chuàng)始人 Ben Fielding 說(shuō)，當(dāng)他獲得深度學(xué)習(xí)博士學(xué)位時(shí)，計(jì)算資源的稀缺意味著他無(wú)法完全完成 AI 模型自動(dòng)化開(kāi)發(fā)的研究。

“能做這樣的研究的只有谷歌和微軟”，他說(shuō)，“我意識(shí)到，如果我面臨這樣的處境，那么在這個(gè)世界上，有很多其他的人也會(huì)面臨這樣的處境，這意味著我們并沒(méi)有像我們所能做的那樣，快速邁入機(jī)器學(xué)習(xí)的未來(lái)?！?/p>

Fielding 說(shuō)，AI 研究是圍繞著世界上最強(qiáng)大的圖形處理器發(fā)展起來(lái)的。但他認(rèn)為，如果區(qū)塊鏈上有一個(gè)大規(guī)模的 GPU 網(wǎng)絡(luò)，那么 AI 模型的類型將會(huì)適應(yīng)它，從而可以在范圍更廣的處理器上進(jìn)行訓(xùn)練。

在 Gensyn 準(zhǔn)備其產(chǎn)品時(shí)，Akash Network 表示，他們將很快推進(jìn)使用區(qū)塊鏈上的 GPU 訓(xùn)練第一個(gè) AI 基礎(chǔ)模型。創(chuàng)業(yè)公司 Thumper AI 正在構(gòu)建一款產(chǎn)品，允許藝術(shù)家根據(jù)個(gè)人的作品創(chuàng)建自己的 AI 模型，然后出售這些模型的使用權(quán)。為此，它需要訪問(wèn) GPU 以便于使用 Stable Diffusion 技術(shù)微調(diào)其專有模型。

但 Thumper 的首席執(zhí)行官 Logan Cerkovnik 遇到了一個(gè)熟悉的問(wèn)題：AWS 無(wú)法提供訓(xùn)練模型所需的 GPU。他還考察了一些較小的供應(yīng)商和轉(zhuǎn)售 GPU 空間的公司。但他表示，區(qū)塊鏈解決方案是更有價(jià)值的。他說(shuō)，在與數(shù)據(jù)中心供應(yīng)商合作時(shí)，需要與銷售人員進(jìn)行對(duì)話、進(jìn)行價(jià)格談判和審查過(guò)程。但是，在 Akash 上，交易非?？旖莘奖?。

一些為加密貨幣提供計(jì)算能力的公司已經(jīng)開(kāi)始向 AI 行業(yè)提供這些資源，比如 Foundry。該公司重新利用了主要用來(lái)挖掘比特幣和其他加密貨幣的數(shù)據(jù)中心，并增加了 GPU 容量，以便于通過(guò)一個(gè)去中心化的平臺(tái) Bittensor 運(yùn)行 AI 模型。它還允許通過(guò) Akash 在區(qū)塊鏈上出租 GPU。他們的加速計(jì)算工程主管 Tommy Eastman 說(shuō)，“我們問(wèn)自己，‘我們還能如何支撐 Foundry 擁有的去中心化的基礎(chǔ)設(shè)施？’”

在像 Akash 這樣的協(xié)議來(lái)訓(xùn)練 AI 模型的同時(shí)，Bittensor 也被用來(lái)運(yùn)行這些模型，這個(gè)過(guò)程被稱為“推理”。在 Bittensor 上，用戶可以玩類似 ChatGPT 這樣的聊天機(jī)器人。不同之處在于，每個(gè)提示請(qǐng)求都會(huì)發(fā)送給區(qū)塊鏈上范圍廣泛的網(wǎng)絡(luò)實(shí)體，它們會(huì)根據(jù)計(jì)算需求分配提示請(qǐng)求。選中者會(huì)收到加密貨幣形式的付款。

新方案是在“變廢為寶”

在科技領(lǐng)域，構(gòu)建平臺(tái)的人往往無(wú)法想象這些平臺(tái)最終會(huì)被如何使用。Steve Jobs 可能從未想過(guò) iPhone 促生了 Uber。Mark Zuckerberg 也可能沒(méi)想到 Facebook 推進(jìn)了 Zynga 誕生。

區(qū)塊鏈背后的理念是構(gòu)建一個(gè)終結(jié)所有平臺(tái)的平臺(tái)：一個(gè)開(kāi)發(fā)新想法的終極畫布，沒(méi)有中心化的所有者，也不會(huì)被破壞和操縱。當(dāng)然，這很理想化，也可能很天真。區(qū)塊鏈吸引了很多不懷好意的人，他們看到了賺快錢的機(jī)會(huì)。

然而，我們看到了另外一個(gè)平臺(tái)，它有一個(gè)意想不到的用例，但這似乎非常有用。具有諷刺意味的是，加密貨幣行業(yè)運(yùn)行所需的大量計(jì)算資源幾乎被視為這個(gè)行業(yè)的致命弱點(diǎn)。特斯拉等公司停止接受比特幣的原因就在于，比特幣過(guò)于耗費(fèi)資源，因此會(huì)對(duì)氣候變化產(chǎn)生巨大影響。

這個(gè)致命弱點(diǎn)反而可能成為加密貨幣的救命稻草。區(qū)塊鏈在高效地將計(jì)算能力出售給報(bào)價(jià)最高者方面非常出色，而且?guī)缀鹾敛毁M(fèi)力?，F(xiàn)在，生成式 AI（generative-AI）的熱潮催生了一個(gè)比加密貨幣更耗能的新產(chǎn)業(yè)。而且，與加密貨幣不同，它不太可能在短期內(nèi)放緩發(fā)展速度。

還有一個(gè)原因能夠說(shuō)明這一點(diǎn)：這不是一個(gè)快速致富的模式。加密貨幣最大的問(wèn)題之一在于金融投機(jī)從根本上破壞了它的所有理念。人們發(fā)明了“首次代幣發(fā)行（initial coin offerings）”，但是炒高再拋售（pump-and-dump）的模式立即讓這一想法胎死腹中。不可兌換貨幣（non-fungible token，NFT）一問(wèn)世，投機(jī)者就迅速抬高了價(jià)格，以至于大多數(shù)人無(wú)法參與。

這種新模式并不是為金融投機(jī)而生。大多數(shù)獲取 GPU 時(shí)間的客戶都將以普通貨幣支付，GPU 時(shí)間的市場(chǎng)將會(huì)始終與云供應(yīng)商的收費(fèi)保持一定的掛鉤關(guān)系。代幣主要用于后端，以促進(jìn)交易并激勵(lì)人們參與系統(tǒng)維護(hù)。

這里有一些未來(lái)長(zhǎng)期發(fā)展的可能性。（抱歉，以下內(nèi)容非常極客和理想化）。如果區(qū)塊鏈能夠更好地分配計(jì)算能力，大大降低延遲，你將會(huì)看到類似去中心化云的方案。在這種情況下，我們口袋里裝的、家里放的那些功能強(qiáng)大的設(shè)備，都可以作為功能強(qiáng)大的全球計(jì)算機(jī)的一部分得到更有效的利用，所有這些設(shè)備都被整合到一個(gè)通信網(wǎng)絡(luò)中，為我們提供持續(xù)的連接。

有些人認(rèn)為，將訓(xùn)練 AI 模型的能力普及化是一種潛在的危險(xiǎn)方向。人們可能會(huì)制造出惡意行為、違反版權(quán)法的模型，甚至有可能發(fā)展成危險(xiǎn)的、失控的惡意行為者。