自從大模型出現(xiàn)以來，很多行業(yè)領袖和專家都曾表達過像“考慮使用大模型重新構建所有行業(yè)和產(chǎn)品”這樣的觀點。具體來說，對于各個行業(yè)來說，我們需要關注和了解哪些問題可以通過大模型的能力來解決，以及在實際應用時可能面臨的挑戰(zhàn)。在本期"極客有約"節(jié)目中，魚哲和崔世杰深入探討了廣告創(chuàng)意領域中 AIGC 的實際應用情況。

原視頻網(wǎng)址：

https://www.infoq.cn/video/p56ceAHvdxwtkZN9d7ct

亮點：

要創(chuàng)建一個成功的 AIGC 應用，一個關鍵的先決條件是擁有垂直領域的高質量數(shù)據(jù)。

AIGC 正在改變廣告創(chuàng)意領域。

隨著 AI 能力的提升，人們需要深入使用并掌握它。像 fine-tuning、LangChain 等我不會推薦，我會鼓勵周圍的人去深入使用 AIGC，重點在于使用，好的 AGI 只需要被編譯一次。

建議使用國內(nèi)模型并在中國境內(nèi)部署。

這個領域非?？焖侔l(fā)展，所以你應該保持好奇心，不斷嘗試新事物，不斷挑戰(zhàn)自己。

嘉賓簡介：

魚哲，Lepton AI 創(chuàng)始團隊成員，產(chǎn)品負責人。

崔世杰，廣推科技 AIGC 商業(yè)化負責人，資深開發(fā)，《微信小程序底層框架實現(xiàn)原理》掘金小冊作者。擁有多年全平臺一線研發(fā)經(jīng)驗，多年團隊管理經(jīng)驗，擅長 Web、跨端、AIGC 技術，熟悉多種編程語言。負責過多個領域的項目開發(fā)，涉及的項目包括智慧醫(yī)療、智慧城市、直播等多個領域。

大模型是如何被應用到廣告創(chuàng)意中的

魚哲：首先，世杰老師可以給我們科普下“廣告創(chuàng)意”是什么？

崔世杰：很高興能與大家分享 AIGC 在廣告領域的應用情況。我使用一個比較正式的定義來解釋一下。廣告創(chuàng)意是一種以營銷傳播為目的的多媒體內(nèi)容，其主要目標是吸引目標用戶，讓用戶完成行為轉化，通常是與產(chǎn)品或服務相關的互動。廣告是我們生活中常見的東西，幾乎無處不在。

然而，我所負責的廣告形式與傳統(tǒng)的品牌廣告有所不同。品牌廣告通常涉及明星代言的產(chǎn)品推廣。而我們主要關注信息流廣告，也被稱為原生廣告，這是大家最常接觸到的廣告形式。信息流廣告包括各種類型的宣傳，如產(chǎn)品促銷、電商促銷和打折產(chǎn)品推廣。此外，它還覆蓋了視頻廣告，例如實時熱點內(nèi)容、小說類內(nèi)容等。

魚哲：在廣告行業(yè)的運作過程中，廣告創(chuàng)意的生成和傳播牽涉到多個角色，從生產(chǎn)方到消費方分別是什么樣的人？

崔世杰：生產(chǎn)側主要是各大廣告主，他們具有特定的推廣目標，旨在推廣自己的產(chǎn)品或促使用戶執(zhí)行特定行為。這些行動可以非常具體。例如，假設要運營一款新興的應用程序，希望吸引更多用戶使用，增加日活躍用戶數(shù)，或者實現(xiàn)其他行為轉化目標。對于電商來說，一種典型的轉化目標是用戶在應用中下單購買產(chǎn)品。還有其他類型目標，例如提高現(xiàn)有用戶的日活躍度，這也可以被視為一種轉化。

消費側就是我們的普羅大眾，每個人都可能做出消費行為。

魚哲：在 AIGC 出現(xiàn)之前，傳統(tǒng)的廣告創(chuàng)意是如何制作的？

崔世杰：信息流廣告通常需要標配的是廣告優(yōu)化師和剪輯師的團隊協(xié)作。一般情況下，一個廣告優(yōu)化師會搭配兩名剪輯師。這個團隊的配置會根據(jù)廣告要投放的媒介以及廣告內(nèi)容的主題方向來調整。例如，如果廣告與小說相關，就需要選擇小說方向的內(nèi)容，而對于電商廣告，則需要選擇電商相關的素材。

在傳統(tǒng)的工作方式中，廣告優(yōu)化師通常會提供一些關鍵詞或指導，然后剪輯師會根據(jù)這些信息進行創(chuàng)作。創(chuàng)作完成后，這些素材將被交給投放師進行進一步的處理。這可能是一種自由創(chuàng)作的方式，也可能有一些固定的輸入輸出模板，這取決于具體的廣告項目和團隊的工作流程。

創(chuàng)意方向通常是基于廣告優(yōu)化師的過往經(jīng)驗來確定，然后傳達給剪輯師。然而，團隊成員之間也可以進行相互討論和合作，因為創(chuàng)意是非常重要的。有時，集體智慧可以帶來新的創(chuàng)意思路，盡管大部分情況下，創(chuàng)意方向仍然受廣告優(yōu)化師個人經(jīng)驗的指導。

魚哲：我理解，廣告主可以看作是甲方，他們提出需求，例如，他們想要推廣一種礦泉水。然后，廣告優(yōu)化師會根據(jù)自己的經(jīng)驗提出一些廣告構思，然后與兩名剪輯師合作，共同討論和制定廣告的具體內(nèi)容，包括可能的看板廣告、視頻內(nèi)容，以及圖文素材等等。那廣告做出來之后是直接投放還是要經(jīng)過甲方審核？

崔世杰：在信息流廣告領域，我們主要關注的是最終的數(shù)據(jù)消耗。因為信息流廣告的創(chuàng)意形式多種多樣，它可能包括了品牌廣告等不同類型。這種創(chuàng)意類型更多地取決于廣告主的需求，而我們則以數(shù)據(jù)為基礎來提供反饋。

AIGC 為廣告創(chuàng)意帶來了哪些改變？

魚哲：AIGC 為廣告創(chuàng)意帶來了哪些改變？我了解廣推在這一塊用了非常多的技術，而且效果非常好。

崔世杰：廣告創(chuàng)意具有一些獨特的特點。相比于社交，廣告通常受到非常嚴格的審核要求，因為廣告創(chuàng)意本身具有傳播屬性，它的初衷是為了傳達給更多人看，因此審核要求非常高。舉個例子，如果廣告涉及一個商品，旁邊需要有一個真人模特。審核可能會要求這位模特的著裝不能露肩、不能露腰、不能露肚臍、不能露膝蓋，甚至站姿也可能有具體的要求，比如不可以是“S 型”。

目前面臨的一個重要挑戰(zhàn)是云計算服務提供商提供的審核服務的范圍非常有限。這意味著像我剛才提到的那些嚴格的審核要求往往無法被滿足，因此這是一個挑戰(zhàn)。此外，版權問題也是一個挑戰(zhàn)。在我們收集原始資源時，需要非常注重版權問題，這會限制我們原始資源的獲取。此外，嚴格的法規(guī)也是一個挑戰(zhàn)。每年 315 廣告法都會進行修改和更新，要求變得越來越嚴格。

另一個關鍵特點是廣告創(chuàng)意是可耗盡的。如果你看到一個核潛艇廣告并決定購買，完成了一次轉化，但如果我再次向你展示相同的廣告，你可能不會再次進行轉化。這就強調了創(chuàng)意的異質性要求，創(chuàng)意不能完全一樣，也不能太相似。如果創(chuàng)意過于相似，會對數(shù)據(jù)表現(xiàn)和賬戶產(chǎn)生影響。

最后一個特點是廣告創(chuàng)意的數(shù)量要求很大。因為廣告創(chuàng)意是可耗盡的，如果一批創(chuàng)意的表現(xiàn)不佳，我們需要更換廣告創(chuàng)意，重新探索人群，這意味著我們需要大量的廣告創(chuàng)意。

總結一下，首先，合規(guī)性至關重要，因為廣告必須符合法規(guī)。其次，它是一種可耗盡的產(chǎn)品，一般只會被用戶看到一次或很少幾次。第三，廣告的體量和消耗量非常龐大。在這方面，AIGC 填補了一些空白，帶來了一些重要的改變。

魚哲：這些問題是客觀存在的，AIGC 或大型模型并不能像魔法一樣立刻解決這些問題。更多的是，我們需要思考如何利用這些工具來應對這些問題。這意味著我們需要采用一種與以往不同的解決問題的思路。你可以這個展開來講一講，AIGC 面對這些問題的是怎么解決的嗎？

崔世杰：舉個例子，比如我剛才提到廣告優(yōu)化師和剪輯師之間的配合問題。如果我們要推廣小說類廣告和視頻類廣告。視頻類廣告有其特點，通常需要涵蓋實時熱點，因為數(shù)據(jù)反饋表明實時熱點可以更好地吸引用戶的轉化行為。如何收集和篩選實時熱點以前都是人工工作，但現(xiàn)在我們將這些任務交給大型語言模型，比如 GPT。例如，我這邊有一份當天熱門榜單的標題，首先需要進行篩選，因為其中可能存在風險問題。然后，我們需要對標題進行擴寫，因為有些標題不適合直接用于廣告創(chuàng)意的圖片或視頻中，它們可能不夠吸引人。文案方面，也可以通過 GPT 來擴展或修改，使之更具吸引力。這些工作之前都是由人工完成的。

此外，正如我之前提到的，我們一直面臨著原始資源的不足問題，特別是在涉及音視頻和圖文素材的版權問題上。在資源收集方面，以前我們需要耗費大量的人力和時間，因為不同的廣告場景需要不同類型的素材。舉個例子，如果我們要為一個外賣平臺，比如餓了么，制作廣告，那么需要提供大量的下沉式圖片和視頻，展示美食、夜市燒烤、炸雞，等等。但這些商業(yè)資源通常是有限的，如果需要成千上萬張素材，收集起來需要很長時間。有了 AIGC 的幫助，我們能夠更容易地解決資源收集的問題，包括音頻資源，因為它們可以通過 AIGC 來滿足需求。這種方法有助于解決原始資源的短缺問題。

魚哲：您提到了兩個非常重要的問題，這些問題在使用 AIGC 進行擴寫和改寫時確實需要考慮。首先，對于 AIGC 輸出的結果進行評估非常關鍵，因為結果可能是好的，也可能不符合我們的預期。在這方面，你們采取了哪些管理和質量控制措施呢？

崔世杰：我們的一個特點是尋找吸引人的標題，這在大型模型中可能會帶來一些挑戰(zhàn)。然而，我們的精度要求并不是非常高，因此不需要進行深度的定制改造，通過 Prompt Engineering 提示工程就可以完成。

魚哲：在素材數(shù)量方面，無論是使用 ChatGPT 還是自己托管模型，我們通常會有要求來確定每天需要生成多少素材，或者我們會先生成一定數(shù)量的素材并儲存，然后在需要的時候直接提取使用。我們的素材策略是什么樣的？

崔世杰：我們通常會定時按需生成廣告創(chuàng)意，以滿足不同的需求。在這個過程中，我們會進行余量分析和監(jiān)控，以確保資源充足。有些存儲方案會自動進行補充，以滿足高消耗情況。

此外，根據(jù)廣告主的不同需求，我們會探索多個方向。舉例來說，不同品類的廣告，比如小說類廣告，可能需要不同的畫面質量、色彩搭配和視覺效果，這些都可能涉及到不同的數(shù)據(jù)。因此，在這些情況下，需要測試組進行手動生成和方向選擇，以便滿足不同廣告主的特定要求。

在不同的業(yè)務流程中，AIGC 是如何發(fā)揮作用的

魚哲：你的意思是我們當前在信息流廣告生成領域的做法是將話題引入，然后利用 GPT 或其他自然語言處理模型進行文本的改寫或擴寫，然后再與生成類模型一起用于圖像生成，或者使用其他模型生成音視頻，是這樣嗎？

崔世杰：視頻類應用只是一個載體，不同的載體可能會有一些不同的流程。

魚哲：再講一個非視頻應用類載體的廣告流程吧。

崔世杰：以小說為例，它有著獨特的特點，因為小說涵蓋了多種類型。例如，如果你需要制作古裝小說的廣告，選題方向將完全根據(jù)小說內(nèi)容來確定。在這種情況下，我們會使用大型語言模型的總結功能，來提取吸引人的標題。

然而，這其中也存在一些挑戰(zhàn)。生成標題后，我們需要考慮如何將它們與 Stable Diffusion 或其他工具結合使用。這之后，還需要經(jīng)過一個過程，將標題與分鏡擴寫相匹配，這個過程中，還需要考慮小說的內(nèi)容以及小說的類型。

魚哲：對于小說的情況，當使用文生圖進行圖像生成時，是使用原生的 Stable Diffusion，然后根據(jù)具體需求，自行進行微調？例如，中國的古裝風格具有特殊的畫風，可能需要進行微調以確保生成的圖像與特定畫風相匹配。是否會參考類似 Swift AI 上的資源，以幫助微調模型以滿足特定需求嗎？

崔世杰：通常，我們處理數(shù)據(jù)反饋時使用通用的提示。不過，有時也會遇到一些非常特殊的情景，比如“小兒書”風格插畫，可能社區(qū)中的模型并沒有涵蓋這種風格。這時，我們會自行訓練適合這種風格的 Lora 模型，然后將其用于生成。這個過程可能需要一些微調。

魚哲：在訓練“小人書”風格插畫模型時，我們通常需要準備大約多少數(shù)據(jù)呢？另外，我注意到你提到模型效果方面，你之前進行了大量的 fine-tuning，尤其是針對 Llama 和 Llama 2 的 7B 和 13B 模型。你們是否發(fā)現(xiàn)使用諸如 QLoRA 這樣的快速訓練方式，雖然訓練速度很快，但最終效果可能并不理想，導致你們最終還需要進行全量的 fine-tuning？

崔世杰：在這個過程中，我們的方法相當簡單，沒有進行深度的調試。那時，我們使用了一些開源的解決方案，包括 Stable Diffusion 的插件，然后使用了大約 100 張圖像來訓練 Lora 模型。關鍵是，我們很幸運地收集到了一系列高質量的小兒書風格圖像作為初始資源。

魚哲：還有其他特殊類型的廣告可以和我們分享的嗎？

崔世杰：我們曾嘗試過在不同領域進行廣告創(chuàng)意，比如食品類。因為不同領域的廣告創(chuàng)意在畫面質量和風格上都有不同要求，我們考慮過以二次元動漫風格來呈現(xiàn)食品廣告，尤其在 Stable Diffusion 還不太成熟的早期。盡管這個嘗試效果不如真實場景的廣告，但最終我們還是以數(shù)據(jù)驅動為主導。我們還進行了很多其他嘗試，這些創(chuàng)意都是通過團隊的共同討論和富有想象力的合作而產(chǎn)生的。同時，我們還曾在視頻類廣告中嘗試了食物廣告。

魚哲:我們有位觀眾問到關于劇情式廣告的生成，你們是否在這一領域進行過嘗試，或者你們是如何看待這個問題的？首先，我想了解一下，你們對于劇情式廣告的理解是什么。

崔世杰:當他提到這個問題時，我基本明白他的意思。我們確實在這個領域進行了測試。但是要注意，目前 AIGC 技術還無法實現(xiàn)將文本直接轉化為非常接近真實視頻質量的廣告創(chuàng)意?，F(xiàn)在的形式更像那些在抖音上看到的解說小說或漫畫的視頻，通過配音和幻燈片等形式呈現(xiàn)，它們包含劇情元素，就像小說中的情節(jié)一樣。我們已經(jīng)嘗試過這種小說類型的廣告創(chuàng)意，但需要指出生成的難度是相當大的。舉個例子，如果你要生成一個 10 分鐘的小說文本，可能需要配以 30 多張 Stable Diffusion 或 MidJourney 的圖像，然后這些圖像需要剪輯、混合，并與配音和字幕配合，同時還需要考慮視頻剪輯的方式，例如雙音軌等等。目前自動化技術已經(jīng)開始廣泛應用，我們的平臺可以處理這種類型的視頻。

魚哲：我看到有十幾張像 PPT 幻燈片講完一個故事的視頻，你們有嘗試過嗎？效果如何？

崔世杰:我們曾嘗試過這種類型的廣告創(chuàng)意，但最終效果并不理想。這可能與廣告的內(nèi)容和目標受眾有關。例如，我們可能用這種形式來宣傳小說，但這種方式的效果可能并不好，而其他類型的廣告可能表現(xiàn)得更出色。因此，我們通常以數(shù)據(jù)為依據(jù)，根據(jù)數(shù)據(jù)的表現(xiàn)來調整廣告的方向。此外，除了蒙太奇式的剪輯視頻，目前我們也廣泛使用過渡效果和動態(tài)效果來制作廣告創(chuàng)意。這些方法的使用更加多樣化。

魚哲：所以，關于那個“三年之期已到，龍王請回歸”這種類型的廣告，目前看來還是有些遠未達到的。

崔世杰:這種高端廣告創(chuàng)意需要更高的成本，它通常涉及將一張圖片通過景深處理轉化為具有 3D 動態(tài)效果的視頻。此外，還有一種方法是使用數(shù)字人物在視頻中展示產(chǎn)品，這也是一種趨勢。

魚哲：在硅谷，有一家名叫 PIKA LABS 的公司，他們提供的服務是，提供一個提示，然后生成一張圖片，并為這張圖片添加一個兩三秒的動畫效果。然后你可以使用這個帶有動畫的圖片來參加科幻小說的競賽，你需要為這個圖片配上一些文字，創(chuàng)作一個故事。這有點類似于 YouTube 上的剪輯視頻，但它只為你提供一個靜態(tài)圖片，然后加上短暫的動畫效果。例如，你的提示可能是“一只鯨魚從海平面跳出，太陽從背后落下”。你可以為這個動畫配上一個故事，比如描述 100 年后人類已經(jīng)消失，只剩下鯨魚在這個世界上。目前，我們還沒有實現(xiàn)這種類型的劇情廣告創(chuàng)意。

廣告投放效果管理

魚哲：既然你們涉及了多個品類的廣告自動生成并最終進行投放，我想了解一下，是不是你們內(nèi)部建立了一個應用平臺來進行這些內(nèi)容的生成，或者你們采用了其他什么方式來管理？

崔世杰：我們建立了一個程序化創(chuàng)意平臺，但前提是要有足夠充足的高質量原始資源。

魚哲：原始資源指的是什么？是指計算資源、數(shù)據(jù)，還是人力資源？

崔世杰：原始資源是指那些在創(chuàng)意生成之前的圖像、文本、音頻和視頻素材，我們需要足夠的高質量數(shù)據(jù)資源。因為這些廣告可能需要滿足一些審核要求，同時需要添加差異化的圖層、廣告標識以及文案。要建立一個自動化的平臺和流程，首要條件就是需要有足夠充足的原始資源。比如，如果我要創(chuàng)作了一個廣告，可能需要輸入 1000 張圖像，然后生成 1000 張不同的廣告創(chuàng)意圖片，這就需要足夠豐富的原始資源。

魚哲：那這個平臺的用戶主要是誰呢？是廣告生成過程中的投放師，還是剪輯師？

崔世杰：目前來看，這個平臺同時為兩者提供服務。我之前提到了模板的概念，我們會將那些在廣告搭配中成功的、獲得良好數(shù)據(jù)反饋的模板存儲在這個平臺上，以備后續(xù)使用。廣告創(chuàng)意是一種消耗品，但它有自身的生命周期。比如說今年的中秋節(jié)，月餅相關的電商廣告創(chuàng)意可能表現(xiàn)出色。但是一旦中秋節(jié)過去，這些相關模板和廣告創(chuàng)意就不再適用了。明年的中秋節(jié)，它們可能再次派上用場，所以我們會將這些模板存儲下來。此外，廣告優(yōu)化師也會使用這個平臺，他們可以根據(jù)自身的經(jīng)驗選擇要驗證的點。

大模型訓練數(shù)據(jù)

魚哲：有觀眾提問：“從哪里獲取需要用于模型訓練的高質量數(shù)據(jù)?！蔽矣X得數(shù)據(jù)越來越成為每家公司在競爭中非常具有競爭力的資源，通常需要依賴現(xiàn)有業(yè)務的數(shù)據(jù)存量。你對此有何看法？”

崔世杰:數(shù)據(jù)一直以來在國內(nèi)都是一個關鍵問題。我參加過很多 AIGC 相關的峰會，發(fā)現(xiàn)數(shù)據(jù)在國內(nèi)一直是最關鍵的問題。我還看到了一些新興的公司，它們專門提供高質量的數(shù)據(jù)治理服務，為那些訓練大型模型的公司提供支持。此外，許多國內(nèi)大型模型的訓練數(shù)據(jù)都存在不足的問題，尤其是在通用領域，高質量中文數(shù)據(jù)相對較少。

魚哲：實際上，不論是企業(yè)、個人還是團隊，要創(chuàng)建一個成功的 AIGC 應用，一個關鍵的先決條件是擁有垂直領域的高質量數(shù)據(jù)，對吧？

AIGC 是否對廣告行業(yè)造成沖擊

魚哲：讓我們回到之前討論的話題，就是你們的應用平臺，剪輯師如何使用它。我想談談一個在美國經(jīng)常被提出的問題，即許多藝術家和藝人反對生成式技術，認為它會奪走他們的工作，導致失業(yè)。我想問一下，在你們團隊中，你們的剪輯師是否對使用這些技術存在抵觸情緒？他們是如何看待這個問題的？

崔世杰:實際上抵抗是存在的，特別是在一些其他行業(yè)中，抵抗力更大一些。例如，一些內(nèi)容創(chuàng)作者、內(nèi)容號運營者可能受到?jīng)_擊，他們通常有自己的團隊，包括剪輯師。就像我之前提到的，我們有很多剪輯師，他們使用自動化剪輯工具與 AIGC 協(xié)作，這在很大程度上替代了一部分他們的工作。此外，還有一些原畫師。例如在一個團隊中，通常會有一個優(yōu)化師搭配兩個剪輯師，但如果使用我們的方案，目前只需要三到四個剪輯師即可。這就顯示了自動化和 AIGC 對工作分工和效率的影響。

魚哲：我覺得這個現(xiàn)象非常有趣，因為我們可以看到兩種極端的態(tài)度。一方面，有人強烈反對，拒絕使用這些技術，而另一方面有人欣然接受并擁抱這些新的產(chǎn)業(yè)和技術。例如，一些流行的音樂人，如孫燕姿等，已經(jīng)采用了 AIDC 技術。他們使用這些技術來生成專輯封面、聲音或其他創(chuàng)作，這顯示出了人們對新技術持不同態(tài)度的現(xiàn)象。

魚哲：我們前面提到的，有些人愿意擁抱這些新技術，而有些人對它們有一些抵觸情緒。在你看來，AIGC 對廣告行業(yè)會帶來巨大沖擊還是使原本高效的工作更高效？

崔世杰:目前來看，AIGC 還沒有對廣告造成巨大沖擊，但對內(nèi)容生產(chǎn)者的沖擊更大。舉個例子，剛才提到資源收集，采集原始資源，像我們用于商業(yè)用途的圖像、文本和音視頻，通常需要通過一些渠道購買。這對這些渠道的影響會非常大。具體來說，像下沉市場的外賣廣告，它們需要一些特定類型的素材，例如燒烤的視頻或吃炸雞的照片，這通常需要專業(yè)團隊拍攝，而拍攝成本非常高，可能每個素材的成本都要幾十塊錢。在廣告行業(yè)，這個成本通常是難以承受的。引入 AIGC 后，原始資源不再需要考慮商業(yè)化或版權問題，也不必擔心數(shù)量的問題。

魚哲：接下來這個問題可能有點敏感，觀眾想了解在廣告市場中，生成式 AI 給廣告市場帶來了哪些變化？我的看法是，生成式 AI 主要帶來了廣告生產(chǎn)效率的提升。但對于搜索廣告，尤其是生成廣告，雖然它可以顯著提高制作廣告的效率，但對廣告的召回率和點擊率提升影響可能不會太大。你如何看待這個問題呢？

崔世杰:就廣告市場帶來的變化而言，生成式 AI 并沒有在廣告市場的基本原則上帶來很大的改變。這是因為在廣告投放過程中，每當用戶看到一條廣告時，背后通常有數(shù)十家廣告公司的廣告在競爭展示，用戶最終看到的廣告僅僅是競爭過程中的一個結果。即使使用生成式 AI 創(chuàng)建的廣告創(chuàng)意被用戶看到，實際上只是在競爭中擊敗了其他廣告公司的廣告創(chuàng)意。沒有生成式 AI 的情況下，用戶仍然會看到廣告，因為他們的行為一直存在。例如，當用戶在瀏覽一篇文章時，可能會在文章中間看到廣告。因此，生成式 AI 并沒有改變廣告市場的基本規(guī)則和數(shù)據(jù)，但目前已經(jīng)解決了廣告生產(chǎn)效率、審核風險、版權問題和廣告數(shù)量等方面的挑戰(zhàn)。

魚哲：還有一個問題，AIGC 對廣告行業(yè)是否帶來新的商業(yè)模式改變。

崔世杰:這確實是一個重要的趨勢。我認為，AIGC 正在改變我們整個廣告流程。我一直在強調數(shù)據(jù)的重要性。我一直在強調 AIGC 可以在我們的平臺上進行自動或手動生成，但生成的過程與最終的數(shù)據(jù)是相關聯(lián)的。這使整個過程中產(chǎn)生的數(shù)據(jù)變得非常寶貴。

這兩個方面都有價值。一方面是廣告的數(shù)據(jù)投放，另一方面是生成過程中的數(shù)據(jù)。當這些數(shù)據(jù)積累起來后，我們可以利用它們來訓練預測模型。然后，我們可以不斷地通過這些數(shù)據(jù)來自動調整生成方向，包括色彩搭配、畫面沖擊力以及創(chuàng)意方向。這樣的干預將使我們更好地滿足廣告創(chuàng)意的目標受眾需求，從而形成一個正向循環(huán)。這也是我們未來計劃發(fā)展的一個關鍵領域，我相信這也是所有廣告公司都將積極探索的方向。

提示工程與大模型安全問題

魚哲：回到技術方面，你提到我們進行了大量的提示工程。在進行提示詞工程時，你們通常會使用中文還是英文？

崔世杰:我們采用的方案是將中文內(nèi)容翻譯成英文。然而，這個翻譯過程并不是直接進行的，而是通過 ChatGPT 進行翻譯。與直接翻譯相比，這個方法能夠獲得更好的效果。

魚哲：最終，我們將這些內(nèi)容嵌入到模型中之前，實際上是將它們轉化為英文。即使用戶輸入可能是中文，我們會使用 GPT 進行一次翻譯，對嗎？

崔世杰:對，就像用戶輸入，就像我之前提到的小說標題的生成，我們首先總結出一些標題，然后將它們翻譯成英文。此外，在整個過程中，例如在處理 Stable Diffusion 和它的提示的語法時，ChatGPT 本身是不知道的，需要依賴提示工程來告訴 ChatGPT 如何創(chuàng)建 Stable Diffusion Prompt。

魚哲：這實際上是一個非常有趣的問題，因為機器翻譯，包括語音和文本翻譯，一直都是傳統(tǒng)的機器學習或深度學習領域的典型問題。你當時決定為什么使用 GPT 來做？

崔世杰:我們當時的方案集成了多個小模型，每個模型在特定任務上表現(xiàn)出色，然后將它們整合到一個程序化平臺中。同時，我們也使用了傳統(tǒng)的直接翻譯模型。我自己在機器翻譯領域也有一些研究，發(fā)現(xiàn) GPT 翻譯的原理與傳統(tǒng)翻譯原理完全不同，效果更符合自然語言處理的原理。

魚哲：有觀眾提問關于大型模型的安全問題，你們是如何處理的？例如，安全方面的優(yōu)先級，如防止指令注入，你們關注哪些安全問題？我先分享我的觀點，然后你可以分享你的看法。我認為，考慮到你之前提到的使用場景，主要用于內(nèi)部使用而不是外部使用，安全可能不是最高優(yōu)先級的問題。世杰你的看法呢？

崔世杰:安全問題確實很重要。首先，我們有自己的安全措施。在廣告創(chuàng)意正式投放之前，我們會進行預審流程。但是，如果模型用于外部，需要考慮各種因素。正如我之前提到的，考慮到當前的云計算服務，內(nèi)容審核并不十分嚴格，AIGC 生成的內(nèi)容無法有效地風控。因此，我首先建議使用國內(nèi)訓練的模型。首先因為它們更適合中文；其次，它們可以滿足國內(nèi)審計相關的要求。因此，我更傾向于使用國內(nèi)模型。如果你選擇外國的開源模型，你需要實施自己的安全策略。因此，我建議使用國內(nèi)模型并在中國境內(nèi)部署。

大模型時代下的個人成長

魚哲：我想了解一下，是什么因素或機會，或者說是什么樣的動力，激勵你不斷嘗試新的方向？

崔世杰:從一個工程師的角度來看，剛入行時，他可能只涉及業(yè)務的一小部分，處于一線狀態(tài)。然而，隨著他在業(yè)務方面的發(fā)展，他會逐漸了解業(yè)務的全貌，發(fā)現(xiàn)業(yè)務的成長以及如何不斷突破增長點，而這些增長點大多是由技術創(chuàng)新帶來的。舉例來說，當時我在智慧城市領域工作時，云計算已經(jīng)可以為城市級別的風險控制和賦能，業(yè)務方向就隨之出現(xiàn)，新的機遇出現(xiàn)時，老板們都會追隨這些機遇，因此，你會一直處于一線狀態(tài)，這是一個相互成就的過程。

對于 AIGC，當它首次出現(xiàn)時，技術人員可能只是嘗試一下，但公司的領導意識到了它的潛力，主動擁抱了這項技術。公司進行了一些基礎建設和調研工作，早早地意識到 AIGC 的潛力，將其引入廣告行業(yè)。因此，一直跟隨這項技術突破，公司一直處于業(yè)務的前沿。

魚哲：不斷學習新事物，追求突破，似乎讓人一直保持在充滿活力的狀態(tài)，你喜歡這種狀態(tài)嗎？

崔世杰:如果要我一直做同樣的事情，我會感到挺痛苦的。我更喜歡追求各種新奇感受，特別是在技術迅猛發(fā)展的時代，總是有新東西值得學習，有時候感覺都來不及跟上。

魚哲：在當前情況下，你認為所有人是否都需要理解什么是 AIGC 以及它的工作原理？如果他們需要理解，那需要理解到哪個層面？有時候我嘗試向非技術領域的同學解釋嵌入、Transformer 模型以及自然語言如何轉化，但我覺得這些細節(jié)對他們來說可能不夠重要。你認為那些不從事技術方向的人，比如老板，需要理解 AIGC 或生成式 AI 的哪些方面？

崔世杰:我對 AI 技術也很感興趣。但在實際商業(yè)應用時，你會發(fā)現(xiàn)與學術研究是不同的。在實際應用中更注重一些實際指標，如成本效益等。所以現(xiàn)在最關注的是成本效率和公司規(guī)模的承受程度等實際問題。如果我推薦給周圍的人使用，我會建議他們深入了解并使用。微軟的首席技術官在一次演講中提到，隨著 AI 能力的不斷增強，人們需要站在主駕駛的位置，因此提出了“副駕駛”概念。隨著 AI 能力的提升，人們需要深入使用并掌握它。像 fine-tuning、LangChain 等我不會推薦，我會鼓勵周圍的人去深入使用 AIGC，重點在于使用。為什么呢？因為在國內(nèi)已經(jīng)有很多垂直領域的應用模型，但好的模型只需要訓練一次。比如 ChatGPT，如果它能夠在第 5 代時解決所有垂直領域的問題，那么其他模型就變得多余了。所以重要的是學會如何使用。

魚哲：我個人的感覺是，首先，因為我的技術背景，我會首先關注這項技術的細節(jié)。然后，我會盡早開始使用它，而后，我會盡力尋找潛在問題。也許這是我作為產(chǎn)品經(jīng)理的職業(yè)特點，總是尋找問題，找出在哪些情況下它無法使用，或者可能出現(xiàn)問題。通過找出“壞案例”，然后評估這項技術在哪些情況下適用，哪些情況下不適用。

崔世杰:是的，早期時，當生成式 AI 剛剛嶄露頭角時，我也曾沉迷其中。因為那時很多解決方案尚不成熟，當我們嘗試將尚未成熟的方案應用到實際中時，我可能會花上半個月來計劃，但接下來的一周內(nèi)，技術圈突然冒出了一個成熟的方案?，F(xiàn)在已經(jīng)過了一段時間，每天早上打開手機時，還會看到大量我無法完全了解的 AI 技術方案。技術的增長速度非常迅猛。

魚哲：有觀眾問入門 AI 的 Roadmap，我這里分享一些指導性的建議。

首先，你需要理解 AI 模型的數(shù)學原理，包括嵌入（embedding）、標記化（tokenization）以及前處理（pre-processing）和后處理（post-processing）等內(nèi)容。這些原理是非?；A的，但對于建立堅實的基礎知識體系非常重要。其次，你需要深入了解計算機科學和計算機工程領域，包括了解 CPU 和 GPU 的不同功能，以及數(shù)據(jù)如何從 CPU 傳輸?shù)?GPU，如何進行計算等等。這些知識是與硬件和性能相關的，隨著時間的推移，它們?nèi)匀环浅Ｓ袃r值。最后，我認為最重要的一點是不要讓自己陷入重復的工作中。這是因為這個領域非?？焖侔l(fā)展，所以你應該保持好奇心，不斷嘗試新事物，不斷挑戰(zhàn)自己。雖然這可能會有一些折騰，但它將有助于拓寬你的視野，讓你更好地理解技術和產(chǎn)品，并保持前進的動力。所以，要在 AI 領域成功，不僅需要學習基礎知識，還需要保持靈活性和開放性，不斷追求創(chuàng)新和變化。這就是我對于新人入門 AI 領域的建議。