對于我個人來說，剛剛步入媒體圈，職業(yè)生涯就將遭遇一次非常嚴(yán)重的 AI 威脅。

因為 GPT-3 來了，而且在寫文章、編故事的能力上面比上一代更能打了。

已經(jīng)得到微軟 Azure 算力加持的 OpenAI 放出了 GPT-3 這個巨型 NLP 模型怪獸，包含 1750 億參數(shù)，比 2 月份微軟剛推出的全球最大深度學(xué)習(xí)模型 Turing NLG 大上十倍，是其前身 GPT-2 參數(shù)的 100 倍。

我們可以用一張圖表來直觀感受下 GPT-3 所處在位置，是不是有點(diǎn)高處不勝寒的感覺？

同時，GPT-3 使用的訓(xùn)練數(shù)據(jù)集也十分龐大，基于包含近 1 萬億單詞量的 CommonCrawl 數(shù)據(jù)集、網(wǎng)絡(luò)文本、數(shù)據(jù)、維基百科等數(shù)據(jù)，數(shù)據(jù)量達(dá)到了 45TB。其訓(xùn)練費(fèi)用也達(dá)到驚人的 1200 萬美元，這已經(jīng)是個人開發(fā)者和小型 AI 開發(fā)團(tuán)隊無法輕易染指的訓(xùn)練規(guī)模和成本了。

在最近大量有關(guān) GPT-3 的介紹文章里，很多人都注意到的是這個模型驚人的體量和各種各樣腦洞大開的文本生成能力，不僅是寫文章、編故事、搞翻譯，還包括多輪對話、寫代碼、做數(shù)學(xué)運(yùn)算、表情包配文、做表格、生成圖標(biāo)等等，幾乎是在文本方面為所欲為了。

有人驚呼“真正的 AI 已經(jīng)到來”、“GPT-3 可以改變世界了”，也有人說“GPT-3 是一種形象工程”、“一種赤裸裸的炫富”。

無論評價如何，人們其實都并未過多注意到 OpenAI 現(xiàn)在發(fā)布 GPT-3 的 API 接口的一大原因是推動這一技術(shù)的商業(yè)化?，F(xiàn)在，GPT-3 模型已經(jīng)廣泛應(yīng)用的領(lǐng)域當(dāng)中，有哪些領(lǐng)域更好地進(jìn)行商業(yè)化嘗試，又有哪些領(lǐng)域仍然差強(qiáng)人意，這些也許是更值得我們?nèi)ヌ接懙牡胤健?/p>

GPT-3 到底有多厲害？

相較于之前的 GPT-2，這次 GPT-3 有哪些明顯的進(jìn)步呢？

從訓(xùn)練方式來說，與之前版本并沒有什么不同，GPT-3 依舊延續(xù)之前的單向語言模型訓(xùn)練方式，只不過就是訓(xùn)練數(shù)據(jù)和參數(shù)有了幾個數(shù)量級的提升。但從實際的效果來看，GPT-3 的嘗試至少驗證了一點(diǎn)，就是將一個深度神經(jīng)網(wǎng)絡(luò)不斷增大，它確實可以變得更加的聰明。

相較于當(dāng)前的 BERT 模型，GPT-3 主要能夠解決兩個問題，一個是避免對各領(lǐng)域內(nèi)的標(biāo)注數(shù)據(jù)的過分依賴，一個是避免對各領(lǐng)域數(shù)據(jù)分布的過度擬合，從而調(diào)教出一個更通用、更泛化的 NLP 模型。GPT-3 的主要目標(biāo)是用更少的領(lǐng)域數(shù)據(jù)，還有去掉微調(diào)步驟去解決問題。

（圖源：李宏毅《深度學(xué)習(xí)人類語言處理》）

直觀來理解就是如圖所示，GPT-3 就是要拿掉 Fine-tune（微調(diào)）這個環(huán)節(jié)，也拿到 Task-Specific 的示例資料，來直接對特殊的領(lǐng)域問題進(jìn)行回答。

基于此，研究者們使用 GPT-3 在不同形式下進(jìn)行了推理效果的測試，包括 Zero-shot、One-shot、Few-shot 三種，但是這三種形式都是不需要經(jīng)過 Fine-tuning 的。因為 GPT-3 選擇的是單向 transformer，所以它在預(yù)測新的 token 時，會對之前的 examples 進(jìn)行編碼。

那么，測試結(jié)果如何呢？

從各領(lǐng)域的 42 項基準(zhǔn)測試中的平均表現(xiàn)來看，隨著參數(shù)量的不斷加大，其正確率在不斷提升（當(dāng)然有人會質(zhì)疑，模型提升了 10 倍參數(shù)量，正確率才提升不到 1 倍），其中 Few Shot 的表現(xiàn)是最好的。

而在封閉式的 Trivia QA 問答中，GPT-3 的 Few-Shot 的表現(xiàn)已經(jīng)可以好過經(jīng)過 Fine-tuned SOTA 的成績。此外在 SuperGLUE 測試上面也能達(dá)到超過當(dāng)前 SOTA 的表現(xiàn)，以及生成非常逼真的文章，甚至能達(dá)到人類難以分辨是機(jī)器還是人類協(xié)作的程度。

那么，在當(dāng)前人們調(diào)用 OpenAI 開放的 API 接口之后，我們已經(jīng)可以看到 GPT-3 的一系列的有趣案例了。

GPT-3 現(xiàn)在能夠出色地完成翻譯、問答和完形填空任務(wù)，能夠很好執(zhí)行兩位、三位的數(shù)學(xué)加減運(yùn)算。還可以基于文本的描述生成代碼、網(wǎng)站。

（GPT-3 將自然語言生成了代碼和圖形按鈕）

可以為文本轉(zhuǎn)換不同文體樣式，比如把口語化變?yōu)闀嬲Z，把日常語言變?yōu)榉晌臅??；蛘甙逊睒s的法律語言變成日常語言，比如那些長長的“用戶協(xié)議”。

（GPT-3 將日常語言轉(zhuǎn)換為法律文書）

當(dāng)然，GPT-3 的主業(yè)更在于生成文本內(nèi)容，比如段子、新聞、小說，甚至給出主題和關(guān)鍵詞，都可以有模有樣地編出一篇完整的論文。

（僅給出標(biāo)題和開頭，GPT-3 就完成了論文）

在和人類的多輪對話中，GPT-3 表現(xiàn)也相當(dāng)出色。比如下面這個名為 Kosmopol 的程序員和 GPT-3 展開了一段關(guān)于人類、AI 與神的存在關(guān)系的“神秘”討論。

（聊到最后程序員表示，“我現(xiàn)在已經(jīng)沒有任何疑問”）

從現(xiàn)在網(wǎng)絡(luò)上所發(fā)布出來的 GPT-3 的各項表現(xiàn)來看，GPT-3 似乎在任何文本生成相關(guān)的領(lǐng)域都能發(fā)揮作用了。

那么 GPT-3 在商業(yè)化方面的前途如何呢？

GPT-3 有哪些商業(yè)化前景？

我們記得，在 GPT-2 發(fā)布時，OpenAI 還不愿意一下子把 GPT2 的模型完整地放出來，而是選擇擠牙膏似的一點(diǎn)點(diǎn)公布完整版本，當(dāng)時的理由是認(rèn)為 GPT-2 太過危險，會被人用來制造假新聞，用來做郵件詐騙等壞事。當(dāng)然，可怕的后果并沒有發(fā)生，也許是壞人的技術(shù)能力不夠，更主要可能是應(yīng)用的成本門檻太高。

這一次，OpenAI 選擇了發(fā)布 API 接口邀請測試，而非直接開源模型的方式，同樣也有這方面的考慮。如果模型開源，一旦有人在此基礎(chǔ)上開發(fā)帶有危險性的應(yīng)用程序，官方將很難制止。通過 API 方式就可以很好應(yīng)對人們對技術(shù)的濫用。

與此同時，由于 GPT-3 如此龐大體量的基礎(chǔ)模型，除了少數(shù)大公司之外，很少有機(jī)構(gòu)和個人能夠?qū)ζ溥M(jìn)行開發(fā)和部署，運(yùn)行費(fèi)用也將極其昂貴。

其實更重要一點(diǎn)則是，OpenAI 希望通過 API 方式來推動 GPT-3 的技術(shù)商業(yè)化，未來在安全可靠、政策合規(guī)的基礎(chǔ)上進(jìn)行相關(guān) AI 產(chǎn)品的開發(fā)，并實現(xiàn)商業(yè)化的盈利。

據(jù)目前 OpenAI 透露，在提供 API 之前，就已經(jīng)與十幾家公司展開了初步的商用測試。具體開放功能話，GPT-3 可以在語義搜索、聊天機(jī)器人、生產(chǎn)力工具、文本生成、內(nèi)容理解、機(jī)器翻譯等方面進(jìn)行商業(yè)化應(yīng)用。

比如，一家初創(chuàng)搜索公司 Algolia 正在使用 GPT-3 來進(jìn)行自然語言的復(fù)雜搜索，具體表現(xiàn)在能夠?qū)㈩A(yù)測時間縮短到 100 毫秒左右，并以比 BERT 快 4 倍的速度準(zhǔn)確地回答復(fù)雜的自然語言問題。

在生產(chǎn)力工具方面，GPT-3 的 API 可以提供更多元化的功能，比如將文本分解為圖表、表格、電子郵件匯總，可以從項目要點(diǎn)進(jìn)行內(nèi)容擴(kuò)展。對于編程工作來說，程序員可以通過自然語言來與計算機(jī)進(jìn)行對話，不必記住各種復(fù)雜命令，也能獲得自己想要的基礎(chǔ)代碼。

此外，像在文檔寫作中的拼寫建議、語法糾錯，以及像法律機(jī)構(gòu)、律所相關(guān)工作中的判例索引，法律研究，模式化的訴訟申請撰寫，教育教學(xué)機(jī)構(gòu)的教學(xué)材料輔助查找和示例，在線客服的聊天機(jī)器人等方面，都可以實現(xiàn)商業(yè)化應(yīng)用。

這樣一看，好像 GPT-3 的橫空出世，不僅是讓媒體編輯（不久前微軟就開掉了一批人工編輯）直接遭遇職業(yè)危機(jī)，甚至看來很多機(jī)構(gòu)的基礎(chǔ)文員、在線客服，甚至程序員也有下崗再就業(yè)的危險了？

不過，從目前 GPT-3 所公開展示的示例來看，這種擔(dān)憂還是有些大可不必。直接來講，GPT-3 作為企業(yè)的生產(chǎn)力工具，更多會起到輔助性提升效率工具的作用。在任何需要進(jìn)行文本的生成、資料檢索和需要啟發(fā)性的內(nèi)容生產(chǎn)方面，都可以使用 GPT-3 來作為輔助工具。

比如，作家可以使用關(guān)鍵詞來獲得 GPT-3 提供的創(chuàng)意思路，來獲取靈感。公司職員和機(jī)構(gòu)的文員可以用會議紀(jì)要來生成相應(yīng)專業(yè)性的報告、郵件和專業(yè)文書。

在這一過程中，我們不可能說完全去掉人類的審查和訂正就直接使用和發(fā)布。顯然，無論哪個機(jī)構(gòu)或個人都不會讓 AI 模型來承擔(dān)其發(fā)布內(nèi)容的責(zé)任。當(dāng)然，當(dāng)一些人能夠更好地與 GPT-3 這樣的人工智能工具進(jìn)行高效協(xié)作，提升企業(yè)組織的生產(chǎn)效率，隨之而來的是企業(yè)對基礎(chǔ)職位人數(shù)需求的減少。從這個意義上，GPT-3 作為職位大殺器的作用會間接顯現(xiàn)。

不過，現(xiàn)在的 GPT-3 已經(jīng)能堪當(dāng)大任嗎？從一些開發(fā)者測試后的反饋和一些專家的評論來看，GPT-3 距離真正的商業(yè)化還有一定的距離，其中一些問題必須要解決。

GPT-3 的商業(yè)化難題

當(dāng)外界對于 GPT-3 的能力表現(xiàn)發(fā)出更多贊譽(yù)的時候，OpenAI 聯(lián)合創(chuàng)始人 Sam Altman 則在 Twitter 站出來表示，“GPT-3 被吹捧得太過了”。

實際上，這一表態(tài)確實很實事求是。目前 GPT-3 在常識問答、事實性的文本生產(chǎn)問題上表現(xiàn)尚佳，但是一旦處在反事實的或者矛盾問題的問答上面，GPT-3 就會表現(xiàn)出一種“不懂裝懂”的幼稚化傾向。

比如，在上面這些反事實提問或者無意義的語言重復(fù)下，GPT-3 就開啟了“尬聊”模式。用紐約大學(xué)副教授 Julian Togelius 的話來說就是，“GPT-3 常常表現(xiàn)的像一個沒有完成閱讀的聰明學(xué)生，在考試中胡言亂語試圖蒙混過關(guān)。一些眾所周知的事實，一些半真半假的事，還有一些直接的謊言，串在一起乍一看像是流暢的敘事?！?/p>

GPT-3 在一些輸出上也會犯一些帶有偏向性的低級錯誤。比如有人在通過 GPT-3 與虛擬的喬布斯談話中，在問到喬幫主現(xiàn)在身處何處，GPT-3 給出的答案是“蘋果總部”，并且還報了地名。不過，大家都知道這個答案并不正確，回答說喬幫主現(xiàn)在活在我們心中，都比上面檢索來的答案更靠譜。

此外，OpenAI 對 GPT-3 帶有偏見內(nèi)容的輸出上更為小心謹(jǐn)慎，因為 GPT-2 就有先例，在生成一篇文章中，就有冒犯黑人女性的歧視性描述。這可能源自于訓(xùn)練數(shù)據(jù)中本身含有的各類歧視內(nèi)容。但如果考慮到在整理數(shù)據(jù)中剔除這些內(nèi)容，需要大量的人力成本，實際上既沒有操作性，也無必要性。最終只能在輸出端，對 GPT-3 的這類結(jié)果進(jìn)行優(yōu)化改進(jìn)。

這些低級的、誤導(dǎo)性、偏見性的錯誤，仍然會讓企業(yè)的商業(yè)應(yīng)用顧慮重重。如果一旦全權(quán)交給 AI 來行使工作溝通、客服等工作，難免會造成企業(yè)的利益損失，或者增加諸如審核之類的經(jīng)營成本。

GPT-3 商業(yè)化更重要的一個難關(guān)是在性價比上面。如果 GPT-3 可以實現(xiàn)的一些自動化文本生成任務(wù)可以由更便宜、但專業(yè)性更好的 AI 軟件也可以辦到，那么 GPT-3 的商業(yè)價值將大打折扣。也就是，如果人們嘗試用 GPT-3 來替代谷歌的關(guān)鍵詞搜索，但總是無法得到更全面的信息，那人們?yōu)楹尾挥没孛赓M(fèi)的谷歌和維基百科呢？

雖然 GPT-3 在通用性上面的能力表現(xiàn)出“大力出奇跡”的良好特性，但其如何能夠更有效地發(fā)揮商業(yè)價值，OPenAI 還任重道遠(yuǎn)，這需要在此后的模型優(yōu)化中“慢工出細(xì)活”。

現(xiàn)在，在接受微軟的 10 億美元的投資之后，OpenAI 的商業(yè)化進(jìn)程已經(jīng)提升比較急迫的日程了。依托巨大算力資源才能跑起來的 AI 模型必須推進(jìn)商業(yè)化的腳步。

所以，GPT-3 首當(dāng)其沖。

總體來說，GPT-3 的商業(yè)化開放有著非常積極的意義。由于這樣巨型的模型訓(xùn)練是一般小企業(yè)和個人用戶根本無力承擔(dān)的，那么 API 的開放可以使得這些用戶用比較少的成本付費(fèi)使用 AI 的功能。不過從另一個角度來看，AI 領(lǐng)域的科研壟斷也正在形成。當(dāng)年在操作系統(tǒng)、搜索引擎等領(lǐng)域形成壟斷的巨頭，如今又通過算力霸權(quán)占據(jù)了 AI 領(lǐng)域的數(shù)據(jù)富礦的基礎(chǔ)開采權(quán)。

我們看到，GPT-3 一開始的商業(yè)化過程并不會那么順利。但是這樣的基礎(chǔ)性工程，無論本身的結(jié)果如何，其在完成項目的過程中，OpenAI 所取得的技術(shù)經(jīng)驗和技術(shù)能力，其實是更重要的一筆財富。關(guān)鍵是 GPT-3 仍然是目前 AI 正確的前進(jìn)方向。

當(dāng)年，美國在阿波羅登月計劃的時候，也耗費(fèi)了無數(shù)的人力和財富，其結(jié)果不過是在與當(dāng)時蘇聯(lián)的“星球大戰(zhàn)”中贏得一個頭籌而已。不過這些浩大工程的一些副產(chǎn)品，諸如空間通信、材料科學(xué)、自動控制、集成電路、計算機(jī)科學(xué)方面，至今讓美國的科技和商業(yè)受益匪淺。

編輯：hfy