亚洲熟妇av一区二区三区仙游,欧美XXXX新一区,日本一级直播

AI 簡(jiǎn)報(bào) 20230616 期

1. AMD硬剛英偉達(dá)，推出Instinct MI300，單芯片可運(yùn)行800億參數(shù)

原文：https://mp.weixin.qq.com/s/NeSIBtjZ71evn09NPEAc2Q

美國(guó)時(shí)間本周二，AMD舉行了重磅發(fā)布會(huì)，推出了一款全新的人工智能 GPU Instinct MI300，并表示這款處理器將于今年晚些時(shí)候開(kāi)始向部分客戶(hù)發(fā)貨。自英偉達(dá)發(fā)布了AI芯片后，便徹底帶動(dòng)了市場(chǎng)的投資熱情，也推動(dòng)英偉達(dá)登上萬(wàn)億美元市值的高峰。此次AMD發(fā)布重磅AI芯片，有望對(duì)英偉達(dá)當(dāng)前的市場(chǎng)地位形成一定沖擊。AMD推出高性能AI芯片在這次AMD的新品發(fā)布會(huì)中，核心產(chǎn)品無(wú)疑是用于訓(xùn)練大模型的GPU Instinct MI300。早在今年初，AMD便已經(jīng)宣布了新一代Instinct MI300，是全球首款同時(shí)集成CPU、GPU的數(shù)據(jù)中心APU。如今，這款芯片的名字變成了Instinct MI300A，而純GPU產(chǎn)品則命名為Instinct MI300X。據(jù)AMD的CEO蘇姿豐透露，MI300A是全球首個(gè)為AI和HPC（高性能計(jì)算）打造的APU加速卡，擁有13個(gè)小芯片，總共包含1460億個(gè)晶體管，24個(gè)Zen 4 CPU核心，1個(gè)CDNA 3圖形引擎和128GB HBM3內(nèi)存。相比前代MI250，MI300的性能提高八倍，效率提高五倍。AMD在發(fā)布會(huì)稍早介紹，新的Zen 4c內(nèi)核比標(biāo)準(zhǔn)的Zen 4內(nèi)核密度更高，比標(biāo)準(zhǔn)Zen 4的內(nèi)核小35%，同時(shí)保持100%的軟件兼容性。而GPU MI300X更是本次發(fā)布會(huì)的重點(diǎn)，這款芯片是AMD針對(duì)大語(yǔ)言模型優(yōu)化的版本，該產(chǎn)品的晶體管數(shù)量達(dá)到1530億個(gè)，內(nèi)存達(dá)到了192GB，內(nèi)存帶寬為5.2TB/s，Infinity Fabric帶寬為896GB/s。對(duì)比英偉達(dá)的H100，MI300X提供的HBM（高帶寬內(nèi)存）密度約為H100的2.4倍，HBM帶寬是1.6倍。這意味著AMD的這款產(chǎn)品可以運(yùn)行比英偉達(dá)H100更大的模型，在現(xiàn)場(chǎng)AMD演示了MI300X運(yùn)行400億參數(shù)的Falcon模型，而OpenAI的GPT-3模型有1750億個(gè)參數(shù)。蘇姿豐還用Hugging Face基于MI300X的大模型寫(xiě)了一首關(guān)于活動(dòng)舉辦地舊金山的詩(shī)。這也是全球首次在單個(gè)GPU上運(yùn)行這么大的模型，據(jù)AMD介紹，單個(gè)MI300X可以運(yùn)行一個(gè)參數(shù)多達(dá)800億的模型。而在未來(lái)隨著AI模型越來(lái)越大，意味著需要更多GPU來(lái)運(yùn)行最新的大模型，而AMD芯片上內(nèi)存的增加，意味著開(kāi)發(fā)人員不需要那么多GPU，可以為用戶(hù)節(jié)省大量成本。蘇姿豐表示，MI300X將于今年第三季度向一些客戶(hù)提供樣品，并于第四季度量產(chǎn)。同時(shí)AMD還發(fā)布了AMD Instinct Platform，集合了8個(gè)MI300X，可提供總計(jì)1.5TB的HBM3內(nèi)存。對(duì)標(biāo)英偉達(dá)的CUDA，AMD也介紹了自身的芯片軟件ROCm，AMD總裁Victor Peng稱(chēng)，在構(gòu)建強(qiáng)大的軟件堆棧方面，AMD取得了真正的巨大進(jìn)步，ROCm軟件?？膳c模型、庫(kù)、框架和工具的開(kāi)放生態(tài)系統(tǒng)配合使用。之所以將重心放在AI芯片，也是因?yàn)锳MD非常看好未來(lái)的AI市場(chǎng)。蘇姿豐認(rèn)為，數(shù)據(jù)中心人工智能加速器的潛在市場(chǎng)總額將從今年的300億美元增長(zhǎng)到2027年的1500億美元以上。硬剛英偉達(dá)，但尚未透露大客戶(hù)從AMD所介紹的產(chǎn)品性能來(lái)看，將成為當(dāng)下AI市場(chǎng)的有力競(jìng)爭(zhēng)者，尤其在ChatGPT等生成式AI的帶動(dòng)下，市場(chǎng)對(duì)高性能GPU需求旺盛。不過(guò)當(dāng)前市場(chǎng)中，英偉達(dá)處于絕對(duì)優(yōu)勢(shì)，占據(jù)80%的市場(chǎng)。而AMD并沒(méi)有公布這款GPU的具體價(jià)格，但是對(duì)比英偉達(dá)H100價(jià)格大多在3萬(wàn)美元以上，如果MI300X價(jià)格能夠更加實(shí)惠，將顯著的對(duì)英偉達(dá)產(chǎn)品造成沖擊，并有助于降低生成式AI的研發(fā)成本。有意思的是，在如此強(qiáng)勁的性能面前，市場(chǎng)卻似乎并不買(mǎi)單。截至當(dāng)日收盤(pán)，AMD股價(jià)反而下降了3.61%，市值來(lái)到2000億元關(guān)口。而英偉達(dá)股價(jià)則拉升了3.9%，總市值達(dá)到1.01萬(wàn)億美元，是AMD的五倍。此次AMD并未透露哪些公司會(huì)采用MI300X或簡(jiǎn)配版MI300A，而在此前的發(fā)布會(huì)中，AMD都會(huì)披露新產(chǎn)品的大客戶(hù)。這可能讓市場(chǎng)認(rèn)為，目前并沒(méi)有大客戶(hù)為這款芯片買(mǎi)單。另一方面，AMD并沒(méi)有透露新款A(yù)I芯片的具體售價(jià)，但想要有顯著的成本優(yōu)勢(shì)可能不太現(xiàn)實(shí)，因?yàn)楦呙芏鹊腍BM價(jià)格昂貴。即便MI300X的內(nèi)存達(dá)到了192GB，但這也不是顯著優(yōu)勢(shì)，因?yàn)橛ミ_(dá)也擁有相同內(nèi)存規(guī)格的產(chǎn)品。更重要的原因在于，MI300并不具備H100所擁有的Transformer Engine。Transformer Engine能夠用于加速Transformer模型，以在AI的訓(xùn)練和推理中以較低的內(nèi)存利用率提供更好的性能。有分析師認(rèn)為，如果訓(xùn)練一個(gè)新的模型，需要投入數(shù)千個(gè)GPU，并耗費(fèi)一年的時(shí)間，那么幾乎不會(huì)有人會(huì)浪費(fèi)2-3年或者投入3倍數(shù)量的GPU。而Transformer Engine能夠讓大模型實(shí)現(xiàn)三倍的性能表達(dá)。盡管市場(chǎng)中認(rèn)為，AMD的MI300芯片應(yīng)該是除了谷歌的TPU之外，能與英偉達(dá)在AI訓(xùn)練端上匹敵的產(chǎn)品。成為當(dāng)前大企業(yè)在訓(xùn)練AI大模型時(shí)，除了英偉達(dá)之外的另一個(gè)重要選擇。但想要在短時(shí)間內(nèi)挑戰(zhàn)英偉達(dá)，顯然還是比較困難的。就如AMD總裁VictorPeng說(shuō)的那樣，“盡管這是一個(gè)過(guò)程，但我們?cè)跇?gòu)建強(qiáng)大的軟件堆棧方面取得了很大進(jìn)展，該軟件堆棧與開(kāi)放的模型、庫(kù)、框架和工具生態(tài)系統(tǒng)兼容?！?/span>無(wú)論如何需要市場(chǎng)中有大客戶(hù)切實(shí)的使用AMD新款芯片。小結(jié)AMD此次重磅發(fā)布的MI300系列芯片，無(wú)疑為AI市場(chǎng)注入了一劑強(qiáng)心針，不僅預(yù)示著AMD在持續(xù)看好未來(lái)的AI市場(chǎng)，也將表明AMD將在這一市場(chǎng)中與英偉達(dá)正面競(jìng)爭(zhēng)。至少對(duì)于相關(guān)企業(yè)及用戶(hù)而言，有更多的選擇是一件好事。

2. 價(jià)格最高降75%、API函數(shù)調(diào)用上線(xiàn)、上下文長(zhǎng)度提高4倍，OpenAI凌晨再給ChatGPT、GPT-4加碼！

原文：https://mp.weixin.qq.com/s/GcsAk_qqqWfwck4KSdvJew

就在今天凌晨，OpenAI 馬不停蹄地又雙叒叕更新啦！這一次，不僅重磅升級(jí)了 ChatGPT 背后的 GPT-3.5-turbo 模型、以及最先進(jìn)的 GPT-4 文本生成模型，而且大幅降低了價(jià)格，另外還為 gpt-3.5-turbo 提供 16000 個(gè) Token 的語(yǔ)境窗口（Context Window）上下文選項(xiàng)。更新速覽詳細(xì)來(lái)看，在今天的更新中，OpenAI 主要聚焦在下面幾個(gè)維度：

全新的 16k 上下文 GPT-3.5-Turbo 模型版本（今天向所有人提供）
升級(jí)版的 GPT-4 和 GPT-3.5-Turbo 模型
Chat Completions API 中的新函數(shù)調(diào)用功能
最先進(jìn)的 V2 嵌入模型降價(jià) 75%
gpt-3.5-turbo 的輸入 Token 成本降低 25%
宣布 gpt-3.5-turbo-0301 和 gpt-4-0314 模型的淘汰時(shí)間表
GPT-4 的 API 權(quán)限將開(kāi)放給更多的人

值得一提的是，OpenAI 再次重申，所有這些模型都具備 OpenAI 在 3 月 1 日推出的數(shù)據(jù)隱私和安全保證--用戶(hù)從他們的請(qǐng)求中產(chǎn)生的所有輸出，以及 API 數(shù)據(jù)都不會(huì)被用于訓(xùn)練。GPT-4 更新，gpt-4-0613 出爐據(jù) OpenAI 公告顯示，最新的 gpt-4-0613 版本包括一個(gè)帶函數(shù)調(diào)用的更新和改進(jìn)的模型。gpt-4-32k-0613 包括與 gpt-4-0613 相同的改進(jìn)，同時(shí)擴(kuò)展了上下文長(zhǎng)度，以便更好地理解更大的文本。有了這些更新，在未來(lái)幾周內(nèi)，OpenAI 表示將會(huì)邀請(qǐng)更多候補(bǔ)名單上的人試用 GPT-4，目的是通過(guò)這個(gè)模型完全取消等待名單。GPT-3.5-turbo-16k 大更新事實(shí)上，在大型語(yǔ)言模型（LLMs）中，"語(yǔ)境窗口"(Context Window)就像一個(gè)短期存儲(chǔ)器，存儲(chǔ)著提示輸入的內(nèi)容，或者在聊天機(jī)器人的情況下，存儲(chǔ)著正在進(jìn)行的對(duì)話(huà)的全部?jī)?nèi)容。在語(yǔ)言模型中，增加語(yǔ)境大小已經(jīng)成為一場(chǎng)技術(shù)競(jìng)賽，Anthropic 最近宣布為其 Claude 語(yǔ)言模型提供 75000 個(gè)語(yǔ)境窗口選項(xiàng)。此外，OpenAI 已經(jīng)開(kāi)發(fā)了一個(gè) 32,000 個(gè) Token 的 GPT-4 版本，但它還沒(méi)有公開(kāi)提供。在今天的最新更新中，OpenAI 推出了 gpt-3.5-turbo 的新的 16000 個(gè)上下文語(yǔ)境窗口版本，官方名稱(chēng)叫做：gpt-3.5-turbo-16k，允許一個(gè)提示的長(zhǎng)度達(dá)到 16000 個(gè) Token。

由于它提供了 4 倍于 gpt-3.5-turbo 的上下文長(zhǎng)度，這意味著 gpt-3.5-turbo-16k 模型現(xiàn)在可以在一次請(qǐng)求中支持 20 頁(yè)的文本。這對(duì)于需要模型處理和生成較大塊文本響應(yīng)的開(kāi)發(fā)者來(lái)說(shuō)是一個(gè)相當(dāng)大的提升。不過(guò)，想要廣泛使用還需要再等一等。

再者，gpt-3.5-turbo-0613 版本與 GPT-4 一樣有著函數(shù)調(diào)用功能，以及通過(guò)系統(tǒng)消息提供的更可靠的可引導(dǎo)性，這兩個(gè)特性使開(kāi)發(fā)者能夠更有效地引導(dǎo)模型的響應(yīng)。函數(shù)調(diào)用支持新版 GPT-4 和 GPT-3.5要論最最最為重磅的更新，便是開(kāi)發(fā)者現(xiàn)在可以向 gpt-4-0613 和 gpt-3.5-turbo-0613 描述函數(shù)，并讓模型智能地選擇輸出一個(gè)包含參數(shù)的 JSON 對(duì)象來(lái)調(diào)用這些函數(shù)。這是一種全新的方式，開(kāi)發(fā)者可以更可靠地將 GPT 的能力與外部工具和 API 連接起來(lái)。簡(jiǎn)單來(lái)看，OpenAI 聯(lián)合創(chuàng)始人Greg Brockman 解釋道，這是插件的底層機(jī)制，允許開(kāi)發(fā)者與自己的工具集成起來(lái)：那該具體怎么用？OpenAI 舉了三個(gè)例子，其表示，這些模型已經(jīng)過(guò)微調(diào)，既可以檢測(cè)到何時(shí)需要調(diào)用一個(gè)函數(shù)（取決于用戶(hù)的輸入），又可以用符合函數(shù)簽名的 JSON 來(lái)響應(yīng)。函數(shù)調(diào)用允許開(kāi)發(fā)人員更可靠地從模型中獲得結(jié)構(gòu)化的數(shù)據(jù)。例如，開(kāi)發(fā)人員可以：

創(chuàng)建聊天機(jī)器人，通過(guò)調(diào)用外部工具（例如，像 ChatGPT 插件）來(lái)回答問(wèn)題

將諸如 "給 Anya 發(fā)郵件，看她下周五是否想喝咖啡 "這樣的查詢(xún)轉(zhuǎn)換為send_email(to: string, body: string)這樣的函數(shù)調(diào)用。或者將 "波士頓的天氣如何？"轉(zhuǎn)換為 get_current_weather(location: string, unit: 'celsius' | 'fahrenheit')。

將自然語(yǔ)言轉(zhuǎn)換為 API 調(diào)用或數(shù)據(jù)庫(kù)查詢(xún)

將 "誰(shuí)是我這個(gè)月的十大客戶(hù)？"轉(zhuǎn)換為內(nèi)部 API 調(diào)用，如 get_customers_by_revenue(start_date: string, end_date: string, limit: int)。或?qū)?"Acme, Inc.上個(gè)月有多少訂單？"轉(zhuǎn)換成 SQL 查詢(xún)，使用sql_query(query: string)。

從文本中提取結(jié)構(gòu)化數(shù)據(jù)

定義一個(gè)名為 extract_people_data(people: [{name: string, birthday: string, location: string}] 的函數(shù)，以提取維基百科文章中提到的所有人物。這些用例是由 OpenAI 的 /v1/chat/completions 端點(diǎn)中的新 API 參數(shù) functions 和 function_call 促成的，它允許開(kāi)發(fā)者通過(guò) JSON Schema 向模型描述功能，并可選擇要求它調(diào)用一個(gè)特定的功能。

如果，現(xiàn)在你有 GPT-4 訪(fǎng)問(wèn)權(quán)限，那么這些模型可以用函數(shù)調(diào)用功能。

舊模型即將廢棄今天，OpenAI 將開(kāi)始對(duì) 3 月份宣布的 gpt-4 和 gpt-3.5-turbo 的初始版本進(jìn)行升級(jí)和廢棄處理。使用穩(wěn)定模型名稱(chēng)（gpt-3.5-turbo、gpt-4 和 gpt-4-32k）的應(yīng)用程序?qū)⒃?6 月 27 日自動(dòng)升級(jí)到上面列出的新模型。為了比較不同版本的模型性能，OpenAI 還提供開(kāi)源的 Evals 庫(kù)（https://github.com/openai/evals）支持公共和私人評(píng)估 LLM，幫助開(kāi)發(fā)者評(píng)測(cè)模型的變化將如何影響你的用例。當(dāng)然，對(duì)于需要更多時(shí)間過(guò)渡的開(kāi)發(fā)者，OpenAI 也表示，可以繼續(xù)使用舊的模型。這些舊型號(hào)將在 9 月 13 日之后，徹底棄用。加量不加價(jià)，即日起生效除了以上功能更新之外，OpenAI 宣布下調(diào)價(jià)格，即日起生效。首先，對(duì)于 OpenAI 最受歡迎的嵌入模型——text-embedding-ada-002，OpenAI 將成本降低 75%，至每 1K Token 是 0.0001 美元。其次，對(duì)于最受歡迎的聊天模型——GPT-3.5 Turbo，OpenAI 將輸入 Token 的成本直降 25%，現(xiàn)在每 1K 輸入 Token 只需 0.0015 美元，每 1K 輸出 token 只需 0.002 美元，這相當(dāng)于 1 美元大約有 700 頁(yè)的文本。再者，最新推出的 gpt-3.5-turbo-16k 的價(jià)格是每 1K 輸入 token 是 0.003 美元，每 1K 輸出 Token 為 0.004 美元。OpenAI 表示，降低成本是通過(guò)提高其系統(tǒng)的效率來(lái)實(shí)現(xiàn)的。毫無(wú)疑問(wèn)，這是初創(chuàng)公司關(guān)注的關(guān)鍵領(lǐng)域，因?yàn)樗谘邪l(fā)和基礎(chǔ)設(shè)施上花費(fèi)了數(shù)億美元。

3. Altman、Hinton 中國(guó)首秀：GPT 終將過(guò)時(shí)，AI 是當(dāng)今世界最迫切的問(wèn)題！

原文：https://mp.weixin.qq.com/s/TsjS-2b-UEE7zsWLA2f7AA

OpenAI、DeepMind 和 Stability AI 的科學(xué)家科普 AI 治理，Google、Meta 和微軟的領(lǐng)航人物共論開(kāi)源未來(lái)，圖靈獎(jiǎng)得主與斯坦福、UC Berkeley、MIT 的教授展開(kāi)學(xué)術(shù)辯論——這描述的并不是遠(yuǎn)在大洋彼岸的 NeurIPS 或 ACL 會(huì)議，而是由中國(guó)智源研究院主辦的年度盛會(huì)：北京智源大會(huì)。今年的北京智源大會(huì)于 6 月 9-10 日召開(kāi)，20 場(chǎng)論壇、100 場(chǎng)報(bào)告、頂尖的專(zhuān)家、頂尖的觀(guān)眾，匯聚了 AI 領(lǐng)域純粹、專(zhuān)業(yè)的前沿思想。OpenAI 創(chuàng)始人 Sam Altman 以及“深度學(xué)習(xí)三巨頭”中的兩位 Yann LeCun 與 Geoffrey Hinton 現(xiàn)身于分論壇視頻連線(xiàn)的大熒幕上，Max Tegmark 與 Stuart Russell 等來(lái)自頂尖學(xué)府的教授親赴現(xiàn)場(chǎng)。CSDN 在現(xiàn)場(chǎng)參加了這場(chǎng)為時(shí)兩天的 AI 盛會(huì)。科技大咖智聚京城，共論當(dāng)前 AI 領(lǐng)域最前沿的爭(zhēng)議焦點(diǎn)：

對(duì) AI 保持樂(lè)觀(guān)主義的 Yann LeCun，認(rèn)為 AI 還遠(yuǎn)遠(yuǎn)未發(fā)展到還需要操心的程度。GPT 終將過(guò)時(shí)，未來(lái)的 AI 會(huì)面臨三大挑戰(zhàn)，解決后將能訓(xùn)練出「世界模型」（World Model）。
曾用一份“暫停 6 個(gè)月 AI 研究”的公開(kāi)信震驚業(yè)界的 Max Tegmark 教授則表示，罔顧 AI 的最壞結(jié)果將會(huì)是人類(lèi)滅絕。對(duì)齊問(wèn)題將是學(xué)術(shù)界接下來(lái)的一大難題：如此龐大而復(fù)雜的智能模型，要怎樣才能保持和人類(lèi)同一水準(zhǔn)的價(jià)值觀(guān)和道德觀(guān)？
一亮相便轟動(dòng)北京會(huì)場(chǎng)的 Sam Altman，則發(fā)表了一份真誠(chéng)的呼吁：國(guó)際科技界需要團(tuán)結(jié)一心，攜手促進(jìn) AGI 安全的透明化，為未來(lái)十年內(nèi)誕生的“超級(jí)智能”做好準(zhǔn)備。
學(xué)術(shù)界還有一部分人，對(duì)這些圍繞 GPT 的話(huà)題并不買(mǎi)賬，而是關(guān)心更深遠(yuǎn)的 AI 話(huà)題。Stuart Russell 教授直言，目前的大語(yǔ)言模型缺乏「內(nèi)部目標(biāo)」，而人類(lèi)也不理解它們的“黑匣子”里都發(fā)生了什么。
Geoffrey Hinton 則帶來(lái)了一場(chǎng)精彩絕倫的謝幕演講：“超級(jí)智能”已成雛形，但人類(lèi)尚未給它建立道德準(zhǔn)則——現(xiàn)在為時(shí)不晚。

團(tuán)結(jié)全世界的人才治理未來(lái)的“超級(jí) AI”！“我最近在做全球巡回的訪(fǎng)問(wèn)，期間穿越五大洲將近 20 個(gè)國(guó)家。我接觸了諸多的學(xué)生、開(kāi)發(fā)者，這趟出行令人振奮，我們見(jiàn)證了全球各地的人們利用 OpenAI 的新技術(shù)來(lái)改變生活方式，我們也獲得了非常寶貴的意見(jiàn)，以便于讓我們的工具優(yōu)化得更好。”這是 OpenAI 創(chuàng)始人 Sam Altman 的開(kāi)場(chǎng)白，也是現(xiàn)場(chǎng)觀(guān)眾反應(yīng)最激烈的一刻。Altman 首次在中國(guó)發(fā)表演講，強(qiáng)調(diào)了對(duì)人工智能（AI）發(fā)展的負(fù)責(zé)任態(tài)度和國(guó)際合作的重要性，特別關(guān)注全球 AI 安全對(duì)齊和監(jiān)管。他提出管理風(fēng)險(xiǎn)、推進(jìn)超級(jí)智能的安全和治理的方案，并展望了 AI 的潛力和未來(lái)。同時(shí)，他呼吁全球研究人員的合作，應(yīng)對(duì)技術(shù)挑戰(zhàn)，利用 AI 解決全球問(wèn)題。Altman 借用《道德經(jīng)》中的名句“千里之行，始于足下”，呼吁全球開(kāi)發(fā)者共同協(xié)作。他還預(yù)測(cè)，未來(lái) 10 年內(nèi)“AGI 將會(huì)超過(guò) 90 年代初人類(lèi)所具備的專(zhuān)業(yè)水平，這些 AI 系統(tǒng)最終可能超過(guò)人類(lèi)最大體量公司的總體生產(chǎn)力，其潛在收益是巨大的?！?/span>OpenAI 花了八個(gè)月的時(shí)間來(lái)研究如何前置預(yù)判風(fēng)險(xiǎn)并制定相應(yīng)的對(duì)策，而 Altman 篤定他們處于正確的道路上前進(jìn)，因?yàn)?GPT-4 的對(duì)齊程度超過(guò)了當(dāng)前所有的代碼水平。然而，對(duì)于更高級(jí)的系統(tǒng)，對(duì)齊仍然是一個(gè)未解決的問(wèn)題。Altman 重點(diǎn)指出，未來(lái)需要新的技術(shù)方法和加強(qiáng)治理監(jiān)督，特別是考慮到 AGI 可能將是一個(gè)龐大的二進(jìn)制代碼系統(tǒng)，實(shí)現(xiàn)對(duì)齊會(huì)是一場(chǎng)挑戰(zhàn)。此外，Altman 積極評(píng)價(jià)了中國(guó)在人工智能安全對(duì)齊方面的重要作用。他認(rèn)為中國(guó)擁有全球頂尖的人才，解決人工智能系統(tǒng)對(duì)齊的困難需要來(lái)自世界各地的人才共同努力。Altman 表示：“我們看到了美國(guó)、中國(guó)和世界各地的研究人員合作實(shí)現(xiàn) AI 目標(biāo)的巨大潛力，大家都致力于解決通用 AI 技術(shù)挑戰(zhàn)。我相信我們將能夠利用通用 AI 來(lái)解決世界上最重要的問(wèn)題，并顯著改善人類(lèi)的生活質(zhì)量。”演講結(jié)束的問(wèn)答環(huán)節(jié)中，智源研究院理事長(zhǎng)張宏江詢(xún)問(wèn)了 Sam Altman 關(guān)于 AI 的發(fā)展近況和全球合作的進(jìn)展，并對(duì) OpenAI 在 AGI 方面的未來(lái)計(jì)劃進(jìn)行了提問(wèn)。Sam Altman 的觀(guān)點(diǎn)如下：

AGI 可能很快會(huì)出現(xiàn)，超級(jí)智能在未來(lái)十年內(nèi)可能會(huì)成為現(xiàn)實(shí)。
目前已經(jīng)取得了一些全球合作的突破，但全球合作仍然面臨困難。
AI 安全性的研究是一個(gè)復(fù)雜的問(wèn)題，需要考慮多個(gè)因素，并需要大量的投入，希望中國(guó)和美國(guó)的研究人員能做出貢獻(xiàn)。
當(dāng)被問(wèn)及是否打算重新開(kāi)放 GPT 的源代碼時(shí)，Altman 表示已經(jīng)作出了一定的努力，未來(lái)將會(huì)有許多開(kāi)源大模型誕生。但開(kāi)源模型在 AI 發(fā)展中起了重要作用，當(dāng)模型變得更大時(shí)，就更需要謹(jǐn)慎安全問(wèn)題。

GPT 終將過(guò)時(shí)，世界模型可以成就真正的 AGI2018 年，ACM 公布了圖靈獎(jiǎng)得主——Geoffrey Hinton、Yann LeCun和Yoshua Bengio。這三大巨頭同時(shí)享譽(yù)著深度學(xué)習(xí)之父的稱(chēng)號(hào)，去年的北京智源大會(huì)，就邀請(qǐng)了其中的 Yoshua Bengio。今年，智源邀請(qǐng)了剩下兩位。楊立昆原本人在美國(guó)時(shí)就答應(yīng)了現(xiàn)場(chǎng)參會(huì)演講，但由于臨時(shí)有事，他不得不前往法國(guó)。大會(huì)當(dāng)天上午，楊立昆拒絕了錄制視頻，而是在凌晨四點(diǎn)的法國(guó)熬夜，堅(jiān)持與大家實(shí)時(shí)交流。楊立昆的演講題目是《Towards Machines that can Learn, Reason, and Plan》——我們要怎么打造一個(gè)能夠?qū)W習(xí)、推理和規(guī)劃的機(jī)器？楊立昆單刀直入，表示 GPT 肯定不行。當(dāng)前主流的自我監(jiān)督學(xué)習(xí)路線(xiàn)存在許多局限，包括缺乏規(guī)劃和不合理的輸出等問(wèn)題。如果想創(chuàng)造一個(gè)真正理解世界、理解人類(lèi)的人工智能，那么就需要另辟蹊徑。“那么，我們要如何讓機(jī)器像動(dòng)物和人類(lèi)一樣，理解世界的運(yùn)作并預(yù)測(cè)其行為的后果呢？”在這句話(huà)之后，楊立昆提出了「世界模型」的概念。世界模型曾被發(fā)表于楊立昆一年前的論文《A path towards autonomous machine intelligence》，該模型要先學(xué)習(xí)世界的表征和預(yù)測(cè)模型，然后學(xué)習(xí)推理，最終實(shí)現(xiàn)真正的理解、預(yù)測(cè)和規(guī)劃能力。然而，目前還沒(méi)有深度學(xué)習(xí)方法能夠有效地訓(xùn)練這樣的世界模型。因此，楊立昆介紹了聯(lián)合嵌入預(yù)測(cè)架構(gòu)（JEPA），系統(tǒng)性地介紹了這一實(shí)現(xiàn)推理和規(guī)劃的關(guān)鍵。演講結(jié)束的問(wèn)答環(huán)節(jié)中，清華大學(xué)教授、智源首席科學(xué)家朱軍詢(xún)問(wèn)了楊立昆關(guān)于 AGI 的看法，問(wèn)答的要點(diǎn)如下：

楊立昆即將參加一個(gè)辯論，與 Joshua Bengio、Max Tegmark 和 Melanie Mitchell 討論人工智能是否會(huì)威脅人類(lèi)生存。
Max Tegmark 和 Joshua Bengio 認(rèn)為強(qiáng)大的人工智能系統(tǒng)可能對(duì)人類(lèi)構(gòu)成風(fēng)險(xiǎn)，而楊立昆和 Melanie Mitchell 則持相反觀(guān)點(diǎn)。
楊立昆指出，他并不是想說(shuō)“AI 完全不存在風(fēng)險(xiǎn)”，而是認(rèn)為“目前的 AI 風(fēng)險(xiǎn)可以被謹(jǐn)慎的工程設(shè)計(jì)減輕或抑制”。
楊立昆表示自己不能預(yù)測(cè)超級(jí)智能在未來(lái)能造成多大的影響，因?yàn)槌?jí)智能尚未問(wèn)世。他舉了一個(gè)例子：如果你去問(wèn)一個(gè) 1930 年的航空工程師，“我該如何確保渦輪噴氣發(fā)動(dòng)機(jī)的安全可靠性？”那他肯定答不出來(lái)，因?yàn)闇u輪噴氣發(fā)動(dòng)機(jī)在 1930 年還沒(méi)被發(fā)明出來(lái)。

4. CVPR23｜清華大學(xué)提出LiVT：用視覺(jué)Transformer學(xué)習(xí)長(zhǎng)尾數(shù)據(jù)，解決不平衡標(biāo)注數(shù)據(jù)不在話(huà)下

原文：https://mp.weixin.qq.com/s/1MfOWcE9x7Vk7tP2n1V4bg

背景在機(jī)器學(xué)習(xí)領(lǐng)域中，學(xué)習(xí)不平衡的標(biāo)注數(shù)據(jù)一直是一個(gè)常見(jiàn)而具有挑戰(zhàn)性的任務(wù)。近年來(lái)，視覺(jué) Transformer 作為一種強(qiáng)大的模型，在多個(gè)視覺(jué)任務(wù)上展現(xiàn)出令人滿(mǎn)意的效果。然而，視覺(jué) Transformer 處理長(zhǎng)尾分布數(shù)據(jù)的能力和特性，還有待進(jìn)一步挖掘。目前，已有的長(zhǎng)尾識(shí)別模型很少直接利用長(zhǎng)尾數(shù)據(jù)對(duì)視覺(jué) Transformer（ViT）進(jìn)行訓(xùn)練?；诂F(xiàn)成的預(yù)訓(xùn)練權(quán)重進(jìn)行研究可能會(huì)導(dǎo)致不公平的比較結(jié)果，因此有必要對(duì)視覺(jué) Transformer 在長(zhǎng)尾數(shù)據(jù)下的表現(xiàn)進(jìn)行系統(tǒng)性的分析和總結(jié)。

論文鏈接：https://arxiv.org/abs/2212.02015代碼鏈接：https://github.com/XuZhengzhuo/LiVT

本文旨在填補(bǔ)這一研究空白，詳細(xì)探討了視覺(jué) Transformer 在處理長(zhǎng)尾數(shù)據(jù)時(shí)的優(yōu)勢(shì)和不足之處。本文將重點(diǎn)關(guān)注如何有效利用長(zhǎng)尾數(shù)據(jù)來(lái)提升視覺(jué) Transformer 的性能，并探索解決數(shù)據(jù)不平衡問(wèn)題的新方法。通過(guò)本文的研究和總結(jié)，研究團(tuán)隊(duì)有望為進(jìn)一步改進(jìn)視覺(jué) Transformer 模型在長(zhǎng)尾數(shù)據(jù)任務(wù)中的表現(xiàn)提供有益的指導(dǎo)和啟示。這將為解決現(xiàn)實(shí)世界中存在的數(shù)據(jù)不平衡問(wèn)題提供新的思路和解決方案。文章通過(guò)一系列實(shí)驗(yàn)發(fā)現(xiàn)，在有監(jiān)督范式下，視覺(jué) Transformer 在處理不平衡數(shù)據(jù)時(shí)會(huì)出現(xiàn)嚴(yán)重的性能衰退，而使用平衡分布的標(biāo)注數(shù)據(jù)訓(xùn)練出的視覺(jué) Transformer 呈現(xiàn)出明顯的性能優(yōu)勢(shì)。相比于卷積網(wǎng)絡(luò)，這一特點(diǎn)在視覺(jué) Transformer 上體現(xiàn)的更為明顯。另一方面，無(wú)監(jiān)督的預(yù)訓(xùn)練方法無(wú)需標(biāo)簽分布，因此在相同的訓(xùn)練數(shù)據(jù)量下，視覺(jué) Transformer 可以展現(xiàn)出類(lèi)似的特征提取和重建能力。基于以上觀(guān)察和發(fā)現(xiàn)，研究提出了一種新的學(xué)習(xí)不平衡數(shù)據(jù)的范式，旨在讓視覺(jué) Transformer 模型更好地適應(yīng)長(zhǎng)尾數(shù)據(jù)。通過(guò)這種范式的引入，研究團(tuán)隊(duì)希望能夠充分利用長(zhǎng)尾數(shù)據(jù)的信息，提高視覺(jué) Transformer 模型在處理不平衡標(biāo)注數(shù)據(jù)時(shí)的性能和泛化能力。文章貢獻(xiàn)本文是第一個(gè)系統(tǒng)性的研究用長(zhǎng)尾數(shù)據(jù)訓(xùn)練視覺(jué) Transformer 的工作，在此過(guò)程中，做出了以下主要貢獻(xiàn)：首先，本文深入分析了傳統(tǒng)有監(jiān)督訓(xùn)練方式對(duì)視覺(jué) Transformer 學(xué)習(xí)不均衡數(shù)據(jù)的限制因素，并基于此提出了雙階段訓(xùn)練流程，將視覺(jué) Transformer 模型內(nèi)在的歸納偏置和標(biāo)簽分布的統(tǒng)計(jì)偏置分階段學(xué)習(xí)，以降低學(xué)習(xí)長(zhǎng)尾數(shù)據(jù)的難度。其中第一階段采用了流行的掩碼重建預(yù)訓(xùn)練，第二階段采用了平衡的損失進(jìn)行微調(diào)監(jiān)督。

其次，本文提出了平衡的二進(jìn)制交叉熵?fù)p失函數(shù)，并給出了嚴(yán)格的理論推導(dǎo)。平衡的二進(jìn)制交叉熵?fù)p失的形式如下：

與之前的平衡交叉熵?fù)p失相比，本文的損失函數(shù)在視覺(jué) Transformer 模型上展現(xiàn)出更好的性能，并且具有更快的收斂速度。研究中的理論推導(dǎo)為損失函數(shù)的合理性提供了嚴(yán)密的解釋?zhuān)M(jìn)一步加強(qiáng)了我們方法的可靠性和有效性。

基于以上貢獻(xiàn)，文章提出了一個(gè)全新的學(xué)習(xí)范式 LiVT，充分發(fā)揮視覺(jué) Transformer 模型在長(zhǎng)尾數(shù)據(jù)上的學(xué)習(xí)能力，顯著提升模型在多個(gè)數(shù)據(jù)集上的性能。該方案在多個(gè)數(shù)據(jù)集上取得了遠(yuǎn)好于視覺(jué) Transformer 基線(xiàn)的性能表現(xiàn)。

不同參數(shù)量下在 ImageNet-LT 上的準(zhǔn)確性。

同時(shí)，本文還驗(yàn)證了在相同的訓(xùn)練數(shù)據(jù)規(guī)模的情況下，使用ImageNet的長(zhǎng)尾分布子集（LT）和平衡分布子集（BAL）訓(xùn)練的 ViT-B 模型展現(xiàn)出相近的重建能力。如 LT-Large-1600 列所示，在 ImageNet-LT 數(shù)據(jù)集中，可以通過(guò)更大的模型和 MGP epoch 獲得更好的重建結(jié)果。總結(jié)本文提供了一種新的基于視覺(jué) Transformer 處理不平衡數(shù)據(jù)的方法 LiVT。LiVT 利用掩碼建模和平衡微調(diào)兩個(gè)階段的訓(xùn)練策略，使得視覺(jué) Transformer 能夠更好地適應(yīng)長(zhǎng)尾數(shù)據(jù)分布并學(xué)習(xí)到更通用的特征表示。該方法不僅在實(shí)驗(yàn)中取得了顯著的性能提升，而且無(wú)需額外的數(shù)據(jù)，具有實(shí)際應(yīng)用的可行性。

5. LeCun世界模型首項(xiàng)研究來(lái)了：自監(jiān)督視覺(jué)，像人一樣學(xué)習(xí)和推理，已開(kāi)源

原文：https://mp.weixin.qq.com/s/A_MmOIOQ08SzWntpd6VYGg

去年初，Meta 首席 AI 科學(xué)家 Yann LeCun 針對(duì)「如何才能打造出接近人類(lèi)水平的 AI」提出了全新的思路。他勾勒出了構(gòu)建人類(lèi)水平 AI 的另一種愿景，指出學(xué)習(xí)世界模型（即世界如何運(yùn)作的內(nèi)部模型）的能力或許是關(guān)鍵。這種學(xué)到世界運(yùn)作方式內(nèi)部模型的機(jī)器可以更快地學(xué)習(xí)、規(guī)劃完成復(fù)雜的任務(wù)，并輕松適應(yīng)不熟悉的情況。LeCun 認(rèn)為，構(gòu)造自主 AI 需要預(yù)測(cè)世界模型，而世界模型必須能夠執(zhí)行多模態(tài)預(yù)測(cè)，對(duì)應(yīng)的解決方案是一種叫做分層 JEPA（聯(lián)合嵌入預(yù)測(cè)架構(gòu)）的架構(gòu)。該架構(gòu)可以通過(guò)堆疊的方式進(jìn)行更抽象、更長(zhǎng)期的預(yù)測(cè)。6 月 9 日，在 2023 北京智源大會(huì)開(kāi)幕式的 keynote 演講中，LeCun 又再次講解了世界模型的概念，他認(rèn)為基于自監(jiān)督的語(yǔ)言模型無(wú)法獲得關(guān)于真實(shí)世界的知識(shí)，這些模型在本質(zhì)上是不可控的。今日，Meta 推出了首個(gè)基于 LeCun 世界模型概念的 AI 模型。該模型名為圖像聯(lián)合嵌入預(yù)測(cè)架構(gòu)（Image Joint Embedding Predictive Architecture, I-JEPA），它通過(guò)創(chuàng)建外部世界的內(nèi)部模型來(lái)學(xué)習(xí)，比較圖像的抽象表示（而不是比較像素本身）。I-JEPA 在多項(xiàng)計(jì)算機(jī)視覺(jué)任務(wù)上取得非常不錯(cuò)的效果，并且計(jì)算效率遠(yuǎn)高于其他廣泛使用的計(jì)算機(jī)視覺(jué)模型。此外 I-JEPA 學(xué)得的表示也可以用于很多不同的應(yīng)用，無(wú)需進(jìn)行大量微調(diào)。

舉個(gè)例子，Meta 在 72 小時(shí)內(nèi)使用 16 塊 A100 GPU 訓(xùn)練了一個(gè) 632M 參數(shù)的視覺(jué) transformer 模型，還在 ImageNet 上實(shí)現(xiàn)了 low-shot 分類(lèi)的 SOTA 性能，其中每個(gè)類(lèi)只有 12 個(gè)標(biāo)簽樣本。其他方法通常需要 2 到 10 倍的 GPU 小時(shí)數(shù)，并在使用相同數(shù)據(jù)量訓(xùn)練時(shí)誤差率更高。相關(guān)的論文《Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture》已被 CVPR 2023 接收。當(dāng)然，所有的訓(xùn)練代碼和模型檢查點(diǎn)都將開(kāi)源。

論文地址：https://arxiv.org/pdf/2301.08243.pdf

GitHub 地址：https://t.co/DgS9XiwnMz

通過(guò)自監(jiān)督學(xué)習(xí)獲取常識(shí)型知識(shí)I-JEPA 基于一個(gè)事實(shí)，即人類(lèi)僅通過(guò)被動(dòng)觀(guān)察就可以了解關(guān)于世界的大量背景知識(shí)，這些常識(shí)信息被認(rèn)為是實(shí)現(xiàn)智能行為的關(guān)鍵。通常，AI 研究人員會(huì)設(shè)計(jì)學(xué)習(xí)算法來(lái)捕獲現(xiàn)實(shí)世界的常識(shí)，并將其編碼為算法可訪(fǎng)問(wèn)的數(shù)字表征。為了高效，這些表征需要以自監(jiān)督的方式來(lái)學(xué)習(xí)，即直接從圖像或聲音等未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)，而不是從手動(dòng)標(biāo)記的數(shù)據(jù)集中學(xué)習(xí)。在高層級(jí)上，JEPA 的一個(gè)輸入中某個(gè)部分的表征是根據(jù)其他部分的表征來(lái)預(yù)測(cè)的。同時(shí)，通過(guò)在高抽象層次上預(yù)測(cè)表征而不是直接預(yù)測(cè)像素值，JEPA 能夠直接學(xué)習(xí)有用的表征，同時(shí)避免了生成模型的局限性。相比之下，生成模型會(huì)通過(guò)刪除或扭曲模型輸入的部分內(nèi)容來(lái)學(xué)習(xí)。然而，生成模型的一個(gè)顯著缺點(diǎn)是模型試圖填補(bǔ)每一點(diǎn)缺失的信息，即使現(xiàn)實(shí)世界本質(zhì)上是不可預(yù)測(cè)的。因此，生成模型過(guò)于關(guān)注不相關(guān)的細(xì)節(jié)，而不是捕捉高級(jí)可預(yù)測(cè)的概念。

自監(jiān)督學(xué)習(xí)的通用架構(gòu)，其中系統(tǒng)學(xué)習(xí)捕獲其輸入之間的關(guān)系。邁向能力廣泛的 JEPA 的第一步I-JEPA 的核心思路是以更類(lèi)似于人類(lèi)理解的抽象表征來(lái)預(yù)測(cè)缺失信息。與在像素 /token 空間中進(jìn)行預(yù)測(cè)的生成方法相比，I-JEPA 使用抽象的預(yù)測(cè)目標(biāo)，潛在地消除了不必要的像素級(jí)細(xì)節(jié)，從而使模型學(xué)習(xí)更多語(yǔ)義特征。另一個(gè)引導(dǎo) I-JEPA 產(chǎn)生語(yǔ)義表征的核心設(shè)計(jì)是多塊掩碼策略。該研究使用信息豐富的上下文來(lái)預(yù)測(cè)包含語(yǔ)義信息的塊，并表明這是非常必要的。

I-JEPA 使用單個(gè)上下文塊來(lái)預(yù)測(cè)源自同一圖像的各種目標(biāo)塊的表征。I-JEPA 中的預(yù)測(cè)器可以看作是一個(gè)原始的（和受限的）世界模型，它能夠從部分可觀(guān)察的上下文中模擬靜態(tài)圖像中的空間不確定性。更重要的是，這個(gè)世界模型是語(yǔ)義級(jí)的，因?yàn)樗A(yù)測(cè)圖像中不可見(jiàn)區(qū)域的高級(jí)信息，而不是像素級(jí)細(xì)節(jié)。預(yù)測(cè)器如何學(xué)習(xí)建模世界的語(yǔ)義。對(duì)于每張圖像，藍(lán)框外的部分被編碼并作為上下文提供給預(yù)測(cè)器。然后預(yù)測(cè)器輸出它期望在藍(lán)框內(nèi)區(qū)域的表示。為了可視化預(yù)測(cè)，Meta 訓(xùn)練了一個(gè)生成模型，它生成了由預(yù)測(cè)輸出表示的內(nèi)容草圖，并在藍(lán)框內(nèi)顯示樣本輸出。很明顯，預(yù)測(cè)器識(shí)別出了應(yīng)該填充哪些部分的語(yǔ)義（如狗的頭部、鳥(niǎo)的腿、狼的前肢、建筑物的另一側(cè)）。為了理解模型捕獲的內(nèi)容，Meta 訓(xùn)練了一個(gè)隨機(jī)解碼器，將 I-JEPA 預(yù)測(cè)的表示映射回像素空間，這展示出了探針操作后在藍(lán)框中進(jìn)行預(yù)測(cè)時(shí)的模型輸出。這種定性評(píng)估表明，I-JEPA 正確捕獲了位置不確定性，并生成了具有正確姿態(tài)的高級(jí)對(duì)象部分（如狗的頭部、狼的前肢）。簡(jiǎn)而言之，I-JEPA 能夠?qū)W習(xí)對(duì)象部分的高級(jí)表示，而不會(huì)丟棄它們?cè)趫D像中的局部位置信息。高效率、強(qiáng)性能I-JEPA 預(yù)訓(xùn)練在計(jì)算上也很高效，在使用更多計(jì)算密集型數(shù)據(jù)增強(qiáng)來(lái)生成多個(gè)視圖時(shí)不會(huì)產(chǎn)生任何開(kāi)銷(xiāo)。目標(biāo)編碼器只需要處理圖像的一個(gè)視圖，上下文編碼器只需要處理上下文塊。實(shí)驗(yàn)發(fā)現(xiàn)，I-JEPA 在不使用手動(dòng)視圖增強(qiáng)的情況下學(xué)習(xí)了強(qiáng)大的現(xiàn)成語(yǔ)義表示，具體可見(jiàn)下圖。此外 I-JEPA 還在 ImageNet-1K 線(xiàn)性探針和半監(jiān)督評(píng)估上優(yōu)于像素和 token 重建方法。

I-JEPA 還能與以往在語(yǔ)義任務(wù)上依賴(lài)手動(dòng)數(shù)據(jù)增強(qiáng)的方法競(jìng)爭(zhēng)。相比之下，I-JEPA 在對(duì)象計(jì)數(shù)和深度預(yù)測(cè)等低級(jí)視覺(jué)任務(wù)上取得了更好的性能。通過(guò)使用較小剛性歸納偏置的更簡(jiǎn)單模型，I-JEPA 適用于更廣泛的任務(wù)集合。

low shot 分類(lèi)準(zhǔn)確性：使用 1% 標(biāo)簽時(shí) ImageNet-1k 上的半監(jiān)督評(píng)估結(jié)果（每類(lèi)只有 12 張標(biāo)簽圖像）。AI 智能向人類(lèi)水平更近了一步I-JEPA 展示了無(wú)需通過(guò)手動(dòng)圖像變換來(lái)編碼額外知識(shí)時(shí)，學(xué)習(xí)有競(jìng)爭(zhēng)力的現(xiàn)成圖像表示的潛力。繼續(xù)推進(jìn) JEPA 以從更豐富模態(tài)中學(xué)習(xí)更通用世界模型將變得特別有趣，比如人們從一個(gè)短上下文中對(duì)視頻中的將來(lái)事件做出長(zhǎng)期空間和時(shí)間預(yù)測(cè)，并利用音頻或文本 prompt 對(duì)這些預(yù)測(cè)進(jìn)行調(diào)整。Meta 希望將 JEPA 方法擴(kuò)展到其他領(lǐng)域，比如圖像 - 文本配對(duì)數(shù)據(jù)和視頻數(shù)據(jù)。未來(lái)，JEPA 模型可以在視頻理解等任務(wù)中得到應(yīng)用。這是應(yīng)用和擴(kuò)展自監(jiān)督方法來(lái)學(xué)習(xí)更通用世界模型的重要一步。

6. 視頻版Midjourney免費(fèi)開(kāi)放，一句話(huà)拍大片！網(wǎng)友：上一次這么激動(dòng)還是上次了

https://mp.weixin.qq.com/s/Eeuea9l_iQ87eMghCIHpMQ

家人們，現(xiàn)在做個(gè)影視級(jí)視頻，也就是一句話(huà)的事了！例如只需簡(jiǎn)單輸入“叢林（Jungle）”，大片鏡頭便可立刻呈現(xiàn)：而且圍繞著“叢林”變換幾個(gè)搭配的詞語(yǔ)，比如“河流”、“瀑布”、“黃昏”、“白天”等，這個(gè)AI也能秒懂你的意思。還有下面這些自然美景、宇宙奇觀(guān)、微觀(guān)細(xì)胞等高清視頻，統(tǒng)統(tǒng)只需一句話(huà)。這就是Stable Diffusion和《瞬息全宇宙》背后技術(shù)公司Runway，出品的AI視頻編輯工具Gen2。而且就在最近，一個(gè)好消息突然襲來(lái)——Gen2可以免費(fèi)試用了！這可把網(wǎng)友們開(kāi)心壞了，紛紛開(kāi)始嘗鮮了起來(lái)。體驗(yàn)Gen2實(shí)錄如此好玩的技術(shù)，我們當(dāng)然也要親手體驗(yàn)上一番。例如我們給Gen2投喂了一句中文：

上海外灘夜景，影視風(fēng)格。

一個(gè)航拍視角的視頻片段便立即被做了出來(lái)。如果想讓視頻的風(fēng)格變換一下，也可以上傳一張圖片，例如我們用的是一張賽博朋克風(fēng)格的城市照片。

目前Runway官網(wǎng)可免費(fèi)體驗(yàn)Gen2的功能是文生視頻（Text to Video），但Gen1也開(kāi)放了視頻生視頻（Video to Video）的功能。例如一個(gè)國(guó)外小哥可能受《瞬息全宇宙》的啟發(fā)，憑借Gen1也玩了一把更刺激的穿越。他先是在家錄了一段打響指的視頻，然后“啪的一下”，瞬間讓自己步入歐洲皇室貴族的“片場(chǎng)”：

更多內(nèi)容請(qǐng)查閱源文檔。

7. 分割一切模型(SAM)的全面綜述調(diào)研

https://mp.weixin.qq.com/s/39imonlyIdSHYW9VnQhOjw

人工智能（AI）正在向 AGI 方向發(fā)展，這是指人工智能系統(tǒng)能夠執(zhí)行廣泛的任務(wù)，并可以表現(xiàn)出類(lèi)似于人類(lèi)的智能水平，狹義上的 AI 就與之形成了對(duì)比，因?yàn)閷?zhuān)業(yè)化的 AI 旨在高效執(zhí)行特定任務(wù)?？梢?jiàn)，設(shè)計(jì)通用的基礎(chǔ)模型迫在眉睫?；A(chǔ)模型在廣泛的數(shù)據(jù)上訓(xùn)練，因而能夠適應(yīng)各種下游任務(wù)。最近 Meta 提出的分割一切模型（Segment Anything Model，SAM）突破了分割界限，極大地促進(jìn)了計(jì)算機(jī)視覺(jué)基礎(chǔ)模型的發(fā)展。SAM 是一個(gè)提示型模型，其在 1100 萬(wàn)張圖像上訓(xùn)練了超過(guò) 10 億個(gè)掩碼，實(shí)現(xiàn)了強(qiáng)大的零樣本泛化。許多研究人員認(rèn)為「這是 CV 的 GPT-3 時(shí)刻，因?yàn)?SAM 已經(jīng)學(xué)會(huì)了物體是什么的一般概念，甚至是未知的物體、不熟悉的場(chǎng)景（如水下、細(xì)胞顯微鏡）和模糊的情況」，并展示了作為 CV 基本模型的巨大潛力。為了充分了解 SAM，來(lái)自香港科技大學(xué)（廣州）、上海交大等機(jī)構(gòu)的研究者對(duì)其進(jìn)行了深入研究并聯(lián)合發(fā)表論文《 A Comprehensive Survey on Segment Anything Model for Vision and Beyond 》。

論文鏈接：https://arxiv.org/abs/2305.08196

作為首個(gè)全面介紹基于 SAM 基礎(chǔ)模型進(jìn)展的研究，該論文聚焦于 SAM 在各種任務(wù)和數(shù)據(jù)類(lèi)型上的應(yīng)用，并討論了其歷史發(fā)展、近期進(jìn)展，以及對(duì)廣泛應(yīng)用的深遠(yuǎn)影響。本文首先介紹了包括 SAM 在內(nèi)的基礎(chǔ)模型的背景和術(shù)語(yǔ)，以及對(duì)分割任務(wù)有重要意義的最新方法；然后，該研究分析并總結(jié)了 SAM 在各種圖像處理應(yīng)用中的優(yōu)勢(shì)和限制，包括軟件場(chǎng)景、真實(shí)世界場(chǎng)景和復(fù)雜場(chǎng)景，重要的是，該研究得出了一些洞察，以指導(dǎo)未來(lái)的研究發(fā)展更多用途廣泛的基礎(chǔ)模型并改進(jìn) SAM 的架構(gòu)；最后該研究還總結(jié)了 SAM 在視覺(jué)及其他領(lǐng)域的應(yīng)用。下面我們看看論文具體內(nèi)容。SAM 模型概覽SAM 源自于 2023 年 Meta 的 Segment Anything (SA) 項(xiàng)目。該項(xiàng)目發(fā)現(xiàn)在 NLP 和 CV 領(lǐng)域中出現(xiàn)的基礎(chǔ)模型表現(xiàn)出較強(qiáng)的性能，研究人員試圖建立一個(gè)類(lèi)似的模型來(lái)統(tǒng)一整個(gè)圖像分割任務(wù)。然而，在分割領(lǐng)域的可用數(shù)據(jù)較為缺乏，這與他們的設(shè)計(jì)目的不同。因此，如圖 1 所示，研究者將路徑分為任務(wù)、模型和數(shù)據(jù)三個(gè)步驟。

SAM 架構(gòu)如下所示，主要包含三個(gè)部分：圖像編碼器；提示編碼器；以及掩碼解碼器。

在對(duì) SAM 有了初步認(rèn)知后，接下來(lái)該研究介紹了 SAM 用于圖像處理。SAM 用于圖像處理這部分主要分場(chǎng)景進(jìn)行介紹，包括：軟件場(chǎng)景、真實(shí)場(chǎng)景以及復(fù)雜場(chǎng)景。軟件場(chǎng)景軟件場(chǎng)景需要對(duì)圖像編輯和修復(fù)進(jìn)行操作，例如移除對(duì)象、填充對(duì)象和替換對(duì)象。然而，現(xiàn)有的修復(fù)工作，如 [99]、[100]、[101]、[102]，需要對(duì)每個(gè)掩碼進(jìn)行精細(xì)的注釋以達(dá)到良好的性能，這是一項(xiàng)勞動(dòng)密集型的工作。SAM [20] 可以通過(guò)簡(jiǎn)單的提示如點(diǎn)或框來(lái)生成準(zhǔn)確的掩碼，可以幫助輔助圖像編輯場(chǎng)景。Inpaint Anything (IA) [39] 設(shè)計(jì)了一個(gè)流程，通過(guò)結(jié)合 SAM 的優(yōu)勢(shì)、最先進(jìn)的圖像修復(fù)器 [99]，以及 AI 生成的內(nèi)容模型 [103]，來(lái)解決與修復(fù)相關(guān)的問(wèn)題。這個(gè)流程如圖 3 所示。對(duì)于對(duì)象移除，該流程由 SAM 和最先進(jìn)的修復(fù)器組成，如 LaMa [99]。用戶(hù)的點(diǎn)擊操作被用作 SAM 的提示，以生成對(duì)象區(qū)域的掩碼，然后 LaMa 使用 corrosion 和 dilation 操作進(jìn)行填充。對(duì)于對(duì)象的填充和替換，第二步使用像 Stable Diffusion (SD) [103] 這樣的 AI 生成的內(nèi)容模型，通過(guò)文本提示用新生成的對(duì)象填充選定的對(duì)象。

一個(gè)類(lèi)似的想法也可以在 Edit Everything [40] 中看到，如圖 4 所示，該方法允許用戶(hù)使用簡(jiǎn)單的文本指令編輯圖像。

真實(shí)場(chǎng)景研究者表示 SAM 具有協(xié)助處理許多真實(shí)世界場(chǎng)景的能力，例如真實(shí)世界的物體檢測(cè)、物體計(jì)數(shù)以及移動(dòng)物體檢測(cè)場(chǎng)景。最近，[108] 對(duì) SAM 在多種真實(shí)世界分割場(chǎng)景（例如，自然圖像、農(nóng)業(yè)、制造業(yè)、遙感和醫(yī)療健康場(chǎng)景）中的性能進(jìn)行了評(píng)估。該論文發(fā)現(xiàn)，在像自然圖像這樣的常見(jiàn)場(chǎng)景中，它具有優(yōu)秀的泛化能力，而在低對(duì)比度的場(chǎng)景中，它的效果較差，而且在復(fù)雜場(chǎng)景中需要強(qiáng)大的先驗(yàn)知識(shí)。例如，在民用基礎(chǔ)設(shè)施缺陷評(píng)估的應(yīng)用中，[42] 利用 SAM 來(lái)檢測(cè)混凝土結(jié)構(gòu)中的裂縫，并將其性能與基線(xiàn) U-Net [109] 進(jìn)行比較。裂縫檢測(cè)過(guò)程如圖 6 所示。結(jié)果顯示，SAM 在檢測(cè)縱向裂縫方面表現(xiàn)優(yōu)于 UNet，這些裂縫更可能在正常場(chǎng)景中找到類(lèi)似的訓(xùn)練圖像，而在不常見(jiàn)的場(chǎng)景，即剝落裂縫方面，SAM 的表現(xiàn)不如 U-Net。

與裂縫檢測(cè)中的復(fù)雜圖像案例不同，由于隕石坑的形狀主要集中在圓形或橢圓形，所以使用 SAM 作為檢測(cè)工具來(lái)進(jìn)行隕石坑檢測(cè)更為合適。隕石坑是行星探索中最重要的形態(tài)特征之一，檢測(cè)和計(jì)數(shù)它們是行星科學(xué)中一個(gè)重要但耗時(shí)的任務(wù)。盡管現(xiàn)有的機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)工作成功地解決了隕石坑檢測(cè)中的一些特定問(wèn)題，但它們依賴(lài)于特定類(lèi)型的數(shù)據(jù)，因此在不同的數(shù)據(jù)源中無(wú)法很好地工作。在 [110] 中，研究者提出了一種使用 SAM 對(duì)不熟悉對(duì)象進(jìn)行零樣本泛化的通用隕石坑檢測(cè)方案。這個(gè)流程使用 SAM 來(lái)分割輸入圖像，對(duì)數(shù)據(jù)類(lèi)型和分辨率沒(méi)有限制。然后，它使用圓形 - 橢圓形指數(shù)來(lái)過(guò)濾不是圓形 - 橢圓形的分割掩碼。最后，使用一個(gè)后處理過(guò)濾器來(lái)去除重復(fù)的、人為的和假陽(yáng)性的部分。這個(gè)流程在當(dāng)前領(lǐng)域顯示出其作為通用工具的巨大潛力，并且作者還討論了只能識(shí)別特定形狀的缺點(diǎn)。復(fù)雜場(chǎng)景除了上述的常規(guī)場(chǎng)景，SAM 是否能解決復(fù)雜場(chǎng)景（如低對(duì)比度場(chǎng)景）中的分割問(wèn)題，也是一個(gè)有意義的問(wèn)題，可以擴(kuò)大其應(yīng)用范圍。為了探索 SAM 在更復(fù)雜場(chǎng)景中的泛化能力，Ji 等人 [22] 在三種場(chǎng)景，即偽裝動(dòng)物、工業(yè)缺陷和醫(yī)學(xué)病變中，定量地將其與尖端模型進(jìn)行比較。他們?cè)谌齻€(gè)偽裝物體分割（COS）數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，即擁有 250 個(gè)樣本的 CAMO [116]，擁有 2026 個(gè)樣本的 COD10K [117]，以及擁有 4121 個(gè)樣本的 NC4K [118]。并將其與基于 Transformer 的模型 CamoFormer-P/S [119] 和 HitNet [120] 進(jìn)行比較。結(jié)果表明，SAM 在隱蔽場(chǎng)景中的技巧不足，并指出，潛在的解決方案可能依賴(lài)于在特定領(lǐng)域的先驗(yàn)知識(shí)的支持。在 [29] 中也可以得出同樣的結(jié)論，作者在上述同樣的三個(gè)數(shù)據(jù)集上，將 SAM 與 22 個(gè)最先進(jìn)的方法在偽裝物體檢測(cè)上進(jìn)行比較。Cao 等人 [115] 提出了一個(gè)新的框架，名為 Segment Any Anomaly + (SAA+)，用于零樣本異常分割，如圖 7 所示。該框架利用混合提示規(guī)范化來(lái)提高現(xiàn)代基礎(chǔ)模型的適應(yīng)性，從而無(wú)需領(lǐng)域特定的微調(diào)就能進(jìn)行更精確的異常分割。作者在四個(gè)異常分割基準(zhǔn)上進(jìn)行了詳細(xì)的實(shí)驗(yàn)，即 VisA [122]，MVTecAD [123]，MTD [124] 和 KSDD2 [125]，并取得了最先進(jìn)的性能。

He 等人 [126] 提出了第一種方法（WSSAM），利用 SAM 進(jìn)行弱監(jiān)督隱蔽物體分割，解決了使用稀疏注釋數(shù)據(jù)分割與周?chē)h(huán)境融為一體的物體的挑戰(zhàn)（參見(jiàn)圖 8）。所提出的 WSSAM 包括基于 SAM 的偽標(biāo)記和多尺度特征分組，以提高模型學(xué)習(xí)和區(qū)分隱蔽物體和背景。作者發(fā)現(xiàn)，僅使用 scribble 監(jiān)督 [127]，SAM 就可以生成足夠好的分割掩碼，以訓(xùn)練分割器。

更多模型和應(yīng)用：視覺(jué)及其他視覺(jué)相關(guān)首先是醫(yī)療成像。醫(yī)療圖像分割的目的是展示相應(yīng)組織的解剖或病理結(jié)構(gòu)，可以用于計(jì)算機(jī)輔助診斷和智能臨床手術(shù)。下圖 10 為醫(yī)療圖像 SAM 概覽，包括了計(jì)算機(jī)斷層掃描（CT）圖像、磁共振成像（MRI）圖像、結(jié)腸鏡檢查圖像、多格式圖像、H&E 染色組織切片圖像等。

其次是視頻。在計(jì)算機(jī)視覺(jué)領(lǐng)域，視頻目標(biāo)跟蹤（VOT）和視頻分割被認(rèn)為是至關(guān)重要且不可或缺的任務(wù)。VOT 涉及在視頻幀中定位特定目標(biāo)，然后在整個(gè)視頻的其余部分對(duì)其進(jìn)行跟蹤。因此，VOT 具有各種實(shí)際應(yīng)用，例如監(jiān)視和機(jī)器人技術(shù)。SAM 在 VOT 領(lǐng)域做出了杰出貢獻(xiàn)。參考文獻(xiàn) [46] 中引入了跟蹤一切模型（Track Anything Model, TAM），高效地在視頻中實(shí)現(xiàn)了出色的交互式跟蹤和分割。下圖 11 為 TAM pipeline。結(jié)語(yǔ)本文首次全面回顧了計(jì)算機(jī)視覺(jué)及其他領(lǐng)域 SAM 基礎(chǔ)模型的研究進(jìn)展。首先總結(jié)了基礎(chǔ)模型（大語(yǔ)言模型、大型視覺(jué)模型和多模態(tài)大模型）的發(fā)展歷史以及 SAM 的基本術(shù)語(yǔ)，并著重于 SAM 在各種任務(wù)和數(shù)據(jù)類(lèi)型中的應(yīng)用，總結(jié)和比較了 SAM 的并行工作及其后續(xù)工作。研究者還討論 SAM 在廣泛的圖像處理應(yīng)用中的巨大潛力，包括軟件場(chǎng)景、真實(shí)世界場(chǎng)景和復(fù)雜場(chǎng)景。此外，研究者分析和總結(jié)了 SAM 在各種應(yīng)用程序中的優(yōu)點(diǎn)和局限性。這些觀(guān)察結(jié)果可以為未來(lái)開(kāi)發(fā)更強(qiáng)大的基礎(chǔ)模型和進(jìn)一步提升 SAM 的穩(wěn)健性和泛化性提供一些洞見(jiàn)。文章最后總結(jié)了 SAM 在視覺(jué)和其他領(lǐng)域的大量其他令人驚嘆的應(yīng)用。

———————End———————

RT-Thread線(xiàn)下入門(mén)培訓(xùn)

7月 - 上海，南京

1.免費(fèi)2.動(dòng)手實(shí)驗(yàn)+理論3.主辦方免費(fèi)提供開(kāi)發(fā)板4.自行攜帶電腦，及插線(xiàn)板用于筆記本電腦充電5.參與者需要有C語(yǔ)言、單片機(jī)（ARM Cortex-M核）基礎(chǔ)，請(qǐng)?zhí)崆鞍惭b好RT-Thread Studio 開(kāi)發(fā)環(huán)境

報(bào)名通道

立即掃碼報(bào)名

（報(bào)名成功即可參加）

掃碼添加rtthread2020可參加活動(dòng)可加微信拉進(jìn)活動(dòng)現(xiàn)場(chǎng)微信群

主辦單位

報(bào)名鏈接：https://jinshuju.net/f/UYxS2k

點(diǎn)擊閱讀原文，進(jìn)入RT-Thread 官網(wǎng)

原文標(biāo)題：【AI簡(jiǎn)報(bào)20230616】英偉達(dá)推出Instinct MI300、OpenAI凌晨再給ChatGPT、GPT-4加碼！

文章出處：【微信公眾號(hào)：RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀(guān)點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴

RT-Thread

RT-Thread

+關(guān)注

關(guān)注
32

文章
1409

瀏覽量
41958

原文標(biāo)題：【AI簡(jiǎn)報(bào)20230616】英偉達(dá)推出Instinct MI300、OpenAI凌晨再給ChatGPT、GPT-4加碼！

文章出處：【微信號(hào)：RTThread，微信公眾號(hào)：RTThread物聯(lián)網(wǎng)操作系統(tǒng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛兴趣闲谈,欧美亚洲精品 8区,国产精品久久久久精品免费

搜索歷史

【AI簡(jiǎn)報(bào)20230616】英偉達(dá)推出Instinct MI300、OpenAI凌晨再給ChatGPT、GPT-4加碼！

1. AMD硬剛英偉達(dá)，推出Instinct MI300，單芯片可運(yùn)行800億參數(shù)

2. 價(jià)格最高降75%、API函數(shù)調(diào)用上線(xiàn)、上下文長(zhǎng)度提高4倍，OpenAI凌晨再給ChatGPT、GPT-4加碼！

3. Altman、Hinton 中國(guó)首秀：GPT 終將過(guò)時(shí)，AI 是當(dāng)今世界最迫切的問(wèn)題！

4. CVPR23｜清華大學(xué)提出LiVT：用視覺(jué)Transformer學(xué)習(xí)長(zhǎng)尾數(shù)據(jù)，解決不平衡標(biāo)注數(shù)據(jù)不在話(huà)下

5. LeCun世界模型首項(xiàng)研究來(lái)了：自監(jiān)督視覺(jué)，像人一樣學(xué)習(xí)和推理，已開(kāi)源

6. 視頻版Midjourney免費(fèi)開(kāi)放，一句話(huà)拍大片！網(wǎng)友：上一次這么激動(dòng)還是上次了

7. 分割一切模型(SAM)的全面綜述調(diào)研

評(píng)論

搜索歷史

【AI簡(jiǎn)報(bào)20230616】英偉達(dá)推出Instinct MI300、OpenAI凌晨再給ChatGPT、GPT-4加碼！

1. AMD硬剛英偉達(dá)，推出Instinct MI300，單芯片可運(yùn)行800億參數(shù)

2. 價(jià)格最高降75%、API函數(shù)調(diào)用上線(xiàn)、上下文長(zhǎng)度提高4倍，OpenAI凌晨再給ChatGPT、GPT-4加碼！

3. Altman、Hinton 中國(guó)首秀：GPT 終將過(guò)時(shí)，AI 是當(dāng)今世界最迫切的問(wèn)題！

4. CVPR23｜清華大學(xué)提出LiVT：用視覺(jué)Transformer學(xué)習(xí)長(zhǎng)尾數(shù)據(jù)，解決不平衡標(biāo)注數(shù)據(jù)不在話(huà)下

5. LeCun世界模型首項(xiàng)研究來(lái)了：自監(jiān)督視覺(jué)，像人一樣學(xué)習(xí)和推理，已開(kāi)源

6. 視頻版Midjourney免費(fèi)開(kāi)放，一句話(huà)拍大片！網(wǎng)友：上一次這么激動(dòng)還是上次了

7. 分割一切模型(SAM)的全面綜述調(diào)研

評(píng)論

【AI簡(jiǎn)報(bào)20230616】英偉達(dá)推出Instinct MI300、OpenAI凌晨再給ChatGPT、GPT-4加碼！

1. AMD硬剛英偉達(dá)，推出Instinct MI300，單芯片可運(yùn)行800億參數(shù)

2. 價(jià)格最高降75%、API函數(shù)調(diào)用上線(xiàn)、上下文長(zhǎng)度提高4倍，OpenAI凌晨再給ChatGPT、GPT-4加碼！

3. Altman、Hinton 中國(guó)首秀：GPT 終將過(guò)時(shí)，AI 是當(dāng)今世界最迫切的問(wèn)題！

4. CVPR23｜清華大學(xué)提出LiVT：用視覺(jué)Transformer學(xué)習(xí)長(zhǎng)尾數(shù)據(jù)，解決不平衡標(biāo)注數(shù)據(jù)不在話(huà)下

5. LeCun世界模型首項(xiàng)研究來(lái)了：自監(jiān)督視覺(jué)，像人一樣學(xué)習(xí)和推理，已開(kāi)源

6. 視頻版Midjourney免費(fèi)開(kāi)放，一句話(huà)拍大片！網(wǎng)友：上一次這么激動(dòng)還是上次了