去年年底開始和chatGPT聊天，生成測試用例、自動化腳本、代碼等，這兩天我用bing生成自己想要的海報，這比較直觀地呈現(xiàn)了人工智能（AI）所發(fā)生的變化。

要全面了解AI發(fā)生的具體變化，值得好好閱讀由Nathan Benaich等人完成的這份報告。

因為這么多內(nèi)容，無法詳細解讀，自己根據(jù)需要，選擇性地閱讀相關(guān)內(nèi)容。該報告的總結(jié)，給出了一些有價值的結(jié)論，供大家參考。

1. 研究（research）

1）GPT-4目前是無所不知的大師，無論是在經(jīng)典基準測試還是在評估人類的考試中擊敗了所有其他LLM，驗證了專有架構(gòu)和通過人類反饋進行強化學習的強大力量。

2）人們開始努力用更小的模型、更好的數(shù)據(jù)集、更長的上下文來克隆或超越專有模型的性能。..由LLaMa-1/2提供支持，在人類生成的數(shù)據(jù)可能只能維持人工智能擴展趨勢幾年之后，這些努力可能變得更加緊迫。

3）目前尚不清楚人工生成的數(shù)據(jù)能夠支撐AI擴展趨勢的時間有多長（一些人估計到2025年LLMs將用盡數(shù)據(jù)），以及添加合成數(shù)據(jù)的影響。企業(yè)中的視頻和數(shù)據(jù)可能是下一個問題。

4）LLMs和擴散模型繼續(xù)推動現(xiàn)實世界的突破，尤其是在生命科學領(lǐng)域，在分子生物學和藥物發(fā)現(xiàn)方面取得了有意義的進展。

5）多模態(tài)成為新的前沿，對各種類型的代理人的興奮度大大增加。

6）被引用的AI論文的70%作者來自美國大學、研究機構(gòu)。

2. 行業(yè)（industry）

1）計算力是新的石油，NVIDIA憑借其GPU在國家、初創(chuàng)企業(yè)、大型科技公司和研究人員中的巨大需求，成功進入了1萬億美元市值俱樂部。

2）出口管制限制了向中國的先進芯片銷售，但主要芯片供應商NVIDIA、英特爾和AMD推出了無法受到出口管制限制的替代產(chǎn)品，開始大規(guī)模銷售符合出口管制的芯片

3）在科技估值低迷的情況下，GenAI挽救了風險投資界。在ChatGPT的帶領(lǐng)下，GenAI應用在圖像、視頻、編碼、語音等方面取得了突破性進展，推動了180億美元的風險投資和企業(yè)投資。

3. 政治（politics）

1）全球已經(jīng)分為明確的監(jiān)管陣營，但全球治理進展較慢。最大的AI實驗室正在填補這一空白。

2）芯片戰(zhàn)爭仍在繼續(xù)，美國正在動員其盟友參與芯片戰(zhàn)爭，加強對中國的貿(mào)易限制。

3）預計AI將影響選舉和就業(yè)等一系列敏感領(lǐng)域，但我們尚未看到明顯的影響。

4. 安全性（Safety）

1）安全辯論已經(jīng)成為主流，引發(fā)了全球政府和監(jiān)管機構(gòu)的行動。然而，這股活動的浪潮掩蓋了人工智能社區(qū)內(nèi)的深刻分歧和全球治理方面的實質(zhì)性進展不足，因為世界各國政府追求著相互沖突的方法。

2）許多高性能模型很容易被“越獄”。為了解決RLHF挑戰(zhàn)，研究人員正在探索替代方案，例如自我對齊和基于人類偏好的預訓練。

3）在評估最先進模型的過程中面臨的挑戰(zhàn)日益增加，標準LLM往往難以保持穩(wěn)健性。隨著能力的提升，評估SOTA模型變得越來越困難。僅憑直覺是不夠的。

5. 并附上大家關(guān)心的幾個領(lǐng)域

1）代碼語言模型的現(xiàn)狀

在編碼能力方面，毫不意外的是GPT-4是領(lǐng)先者，其代碼解釋器、高級數(shù)據(jù)分析功能令用戶驚嘆不已。像WizardLM的WizardCoder-34B和Unnatural CodeLLaMa這樣的開放替代品在編碼基準測試中與ChatGPT持平，但它們在實際生產(chǎn)中的性能仍有待確定。

Unnatural CodeLLaMa和WizardCoder都不僅在大型預訓練編碼數(shù)據(jù)集上進行訓練，還使用了適用于代碼數(shù)據(jù)的額外LM生成的指令微調(diào)技術(shù)。Meta使用了他們的Unnatural Instructions，而WizardLM使用了他們的EvolInstruct。值得注意的是，CodeLLaMa的訓練方式使模型能夠進行補充填充，并且所有的CodeLLaMa模型都已發(fā)布，除了Unnatural CodeLLaMa。

在代碼完成任務中的性能表現(xiàn)。它們對邊緣推理的支持（例如，在Apple Silicon上的ggml）較小的代碼語言模型（包括replit-code-v1-3b和StarCoder 3B）既具有低延遲又具有良好的代碼完成能力，這促使了對隱私意識的替代品的開發(fā)，以應對GitHub Copilot。

2）機器人：從視覺-語言模型到低層次的機器人控制

From vision-language models to low-level robot control： RT-2、RoboCat

RoboCat是一個用于機器人操作的基礎(chǔ)代理，可以在零樣本或少樣本（100-1000個示例）情況下適應新任務和新機器人。在各種平臺上表現(xiàn)出令人印象深刻的實時性能。它是基于DeepMind的多模態(tài)、多任務和多體現(xiàn)Gato構(gòu)建的。它使用了在各種視覺和控制數(shù)據(jù)集上訓練、凍結(jié)VQ-GAN分詞器。雖然Gato只預測動作，但RoboCat還額外預測未來的VQ-GAN標記。

在策略學習方面，論文只提到了行為克隆。RoboCat通過少量示范（通過遠程操作）進行微調(diào)，并重新部署以生成給定任務的新數(shù)據(jù)，在后續(xù)訓練迭代中自我改進。

RobotCat可以以令人印象深刻的速度（20Hz）在253個任務上操作36個具有不同動作規(guī)范的真實機器人，涉及134個真實物體。

機器人在競技體育中已經(jīng)取得勝利。Swift是一個自主系統(tǒng)，可以使用僅依靠機載傳感器和計算，在與人類世界冠軍的比賽中駕駛四旋翼無人機。它在與三位冠軍的比賽中贏得了幾場比賽，并創(chuàng)下了最快的時間紀錄。

3）今天AIGC有太多的生成方式

6. 未來一年十大預測

一部好萊塢級的制作利用AIGC完成其視覺效果。

一家AIGC媒體公司因在2024年美國選舉期間的濫用行為而受到調(diào)查。

自我進化的AI代理在復雜環(huán)境中會擊敗最先進技術(shù)（例如AAA游戲、工具使用、科學）。

科技IPO市場解凍，我們將看到至少有一家以AI為重點的公司（例如Databricks）進行重大上市。

GenAI的擴展熱潮導致一組人花費超過10億美元來訓練一個大模型。

美國的聯(lián)邦貿(mào)易委員會（FTC）或英國的競爭與市場管理局（CMA）因競爭原因調(diào)查微軟/OpenAI的交易。

在全球AI治理方面，除了高層次的自愿承諾外，我們看到的進展有限。

金融機構(gòu)推出GPU債務基金，以取代風險投資股權(quán)資金用于計算資金。

一首由AIGC生成的歌曲進入Billboard Hot 100 前十名或2024年Spotify熱門歌曲榜。

隨著推理工作負載和成本的顯著增長，一家大型AI公司（如OpenAI）收購了一家專注于推理的AI芯片公司。