Sora炸裂了的地方，在于它能理解自然語言，知道那個畫面該是怎么樣的，它學(xué)習(xí)很多視頻內(nèi)容（大力出奇跡，需要很多算力），而且一上來就是能制作60s的視頻，剛好是短視頻的需求，之前的AI視頻生成的時間都很短（幾秒鐘).

就說Sora有多火吧，生成的視頻上線一個，瘋傳一個。

明顯能看出來Sora生成的視頻中的各項細節(jié)都讓人驚嘆，一如去年的ChatGPT，Sora被認為是AGI（通用人工智能）的又一個里程碑時刻。

一.sora的出現(xiàn)可以如何看待:

對于許多行業(yè)來說，都應(yīng)該關(guān)注Open AI和sora這些人工智能相關(guān)的產(chǎn)品。

尤其是對設(shè)計領(lǐng)域來說，比如以前做logo、做海報、宣傳冊、做操作視頻剪輯、拍攝等等相關(guān)的行業(yè)。

其一是思考，面對這些新技術(shù)、新工具，對自己有哪些挑戰(zhàn)，應(yīng)對策略是什么。

其二是結(jié)合，基于自己當前的業(yè)務(wù)，哪些可以利用這些技術(shù)進行結(jié)合，從而提升自己的效率和業(yè)務(wù)場景。

比如美圖秀秀、稿定設(shè)計、剪映等產(chǎn)品，就基于AI立馬推出了相關(guān)的產(chǎn)品。

（PS：目前 openai 官方還未開放 sora 灰度，不過根據(jù)文生圖模型 DALL·E 案例，一定是先給 ChatGPT Plus 付費用戶使用，需要注冊或者升級 GPT Plus 可以看這個教程:升級 ChatGPT Plus 的教程，一分鐘完成升級)

二. 以終為始地看，AI爆發(fā)的大趨勢下，普通人真正該學(xué)的是什么？

我覺得有三點：講故事的能力、結(jié)構(gòu)化思考力和內(nèi)容專業(yè)力。

1. 講故事的能力

以文生視頻為例，先不說Sora，很多人連Pika、Runway都用不利索。

用文字描述一件事、一個觀點、一個訴求并不難，但描述一段畫面、一個場景、一則完整故事，對絕大多數(shù)人是極高的門檻。

Sora不會讓影視行業(yè)失業(yè)，正相反，如果視頻生成的AI技術(shù)持續(xù)普及，會讓真正會寫故事的人發(fā)揮才能，而不是受限于影視行業(yè)的潛規(guī)則而灰心放棄。

2. 結(jié)構(gòu)化思考力

很多寫Sora的文章，都在講它在模型算法、算力涌現(xiàn)、物理模擬上的創(chuàng)新。對我而言，會更驚訝它在訓(xùn)練視頻數(shù)據(jù)時，以一種結(jié)構(gòu)化提示詞方法，解決了視頻標注問題：

“We first train a highly descriptive captioner model and then use it to produce text captions for all videos in our training set”

本質(zhì)上看，無論是B端訓(xùn)練數(shù)據(jù)，還是C端和大模型對話，都用到了結(jié)構(gòu)化表達能力。包括那些所謂“Sora培訓(xùn)”，其實教你的也是怎么寫好提示詞。舉個例子，對這樣的場景：

該怎么描述呢？一個在沉思的老爺爺？一個戴眼鏡的老爺爺？一個在咖啡廳發(fā)呆的老爺爺？可能大部分人想到這兒就結(jié)束了。但更加結(jié)構(gòu)化的描述可以是：

主體人物：：一位 60 多歲留著胡須的白發(fā)老人

鏡頭景別：臉部特寫

背景環(huán)境：巴黎的一家咖啡館

人物狀態(tài)：注視著窗外行走的人們，一動不動陷入沉思，后又抿嘴微微一笑

人物細節(jié)：穿著一件羊毛大衣和一件紐扣襯衫、頭戴棕色貝雷帽，戴著眼鏡，像是個教授

環(huán)境細節(jié)：金色的燈光和背景中的巴黎街道和城市

鏡頭技術(shù)：景深、35 毫米電影膠片，有電影感

具備寫出上述提示詞的能力，才能真正發(fā)揮多模態(tài)技術(shù)的價值。這背后蘊含著的，就是結(jié)構(gòu)化總結(jié)和思考能力。

有句話很形象，寫提示詞就像客戶講brief，能把需求說清楚，就離正確答案不遠了。

3. 內(nèi)容專業(yè)力

這點又說回到創(chuàng)作者本身，我比較喜歡楊遠騁老師（「躺島」和「新世相」聯(lián)合創(chuàng)始人）的一個觀點：

最大的影響會是出現(xiàn)新的創(chuàng)作者，會出現(xiàn)完全不在人們視野里的新的內(nèi)容偶像，他們有非常好的品位、思維方式和世界觀，但受限于表達技術(shù)，在過去卻連基本的視頻制作能力都不具備。

Koji，公眾號：十字路口CrossingSora 喧囂過后，理性浮現(xiàn) | 我問出了這 5 位頂級創(chuàng)作者的真實想法

是的，除了上文提到的講故事能力。如果你具備對“好內(nèi)容”的理解力，懂得怎樣更合理地設(shè)計腳本、做分鏡、上特效、畫故事板、運鏡、調(diào)度、選角、布景、調(diào)光、配音、后期等等，AI就是你發(fā)揮想象力最好的幫手。能用好 AI 的人，一定能做出更好作品、獲得更多收入。

因此我堅定地認為，這波AI趨勢，對高潛力的作家、畫手、設(shè)計師、編劇等創(chuàng)作者，是絕對的利好。如果你也想從中獲益，先把“創(chuàng)作一部好內(nèi)容”作為目標學(xué)起來吧。

總的來講，我認為圍著Sora去追新聞沒啥必要。能跳出對Sora本身鋪天蓋地的宣傳，去思考這背后該真正掌握的技能是什么。用結(jié)構(gòu)化思維去訓(xùn)練講故事的能力，成為一名優(yōu)秀創(chuàng)作者，才是值得為此付出時間的。

三、sora原理常見問題及解答:

Q：訓(xùn)練數(shù)據(jù)的一個 clip 中如果有場景/鏡頭的切換，那 casual 3D CNN 還是會和過往的幀都有關(guān)系嗎？

A：訓(xùn)練數(shù)據(jù)中大概率是有：一個 clip 有鏡頭/場景的切換。如果有切換，那么使用 casual 3D CNN 可能會帶來問題：在切換前后的內(nèi)容是不同的，不僅會增加模型訓(xùn)練難度，也會帶來瑕疵。這個可能就直接訓(xùn)練了，通過相應(yīng)數(shù)據(jù)的訓(xùn)練就能解決。

Q：訓(xùn)練數(shù)據(jù)的來源？

A：大家猜測有 1）youtube 的視頻。2）Shutterstock，之前有公告：Shutterstock 擴大與 OpenAI 的合作伙伴關(guān)系，簽署新的六年協(xié)議以提供高質(zhì)量的訓(xùn)練數(shù)據(jù)：渲染引擎的數(shù)據(jù)，這個網(wǎng)絡(luò)上大家貼出了一些間接證據(jù)。渲染引擎的數(shù)據(jù)能夠針對性地模擬出很多符合 3D 一致性、物理一致性的數(shù)據(jù)，對于模型的訓(xùn)練應(yīng)該有很好的幫助。

Q：輸出變長的長度、分辨率和長寬比是如何做到的？

A：1. diffusion 過程中，輸入的 noise tokens 就添加 factorized positional embedding。比如最直接的實現(xiàn)方式，每個 token 對應(yīng)有三個數(shù)字（t, h, w）分別表示時間、長和寬，然后添加相應(yīng)的 position embedding 去區(qū)分。

訓(xùn)練的時候也采用了變長的長度、分辨率和長寬比。這些 examples 模型在訓(xùn)練的時候見過。

這樣，可以做到技術(shù)報告中提到的：At inference time, we can control the size of generated videos by arranging randomly-initialized patches in an appropriately-sized grid。

審核編輯 黃宇