作者：京東零售 馮偉

WWW2025: CTR-Driven Advertising Image Generation with Multimodal Large Language Models

論文鏈接：https://arxiv.org/pdf/2502.06823?

代碼鏈接：https://github.com/Chenguoz/CAIG?

摘要：在電商平臺中，廣告圖片對于吸引用戶注意力和提高廣告效果至關(guān)重要。大多數(shù)現(xiàn)有的方法在為商品生成背景時主要關(guān)注美學質(zhì)量，這可能無法實現(xiàn)令人滿意的在線表現(xiàn)。為了解決這一局限性，我們探索使用多模態(tài)大型語言模型（MLLMs）來生成廣告圖片，并將優(yōu)化點擊率（CTR）作為主要目標。首先，我們構(gòu)建了針對性的預訓練任務，并利用大規(guī)模的電商多模態(tài)數(shù)據(jù)集，為MLLMs提供廣告圖片生成任務的初始能力。為了進一步提高生成圖片的CTR，我們提出了一種新穎的獎勵模型，通過強化學習（RL）對預訓練的MLLMs進行微調(diào)，該模型能夠聯(lián)合利用多模態(tài)特征并準確反映用戶的點擊偏好。同時，我們開發(fā)了一種以商品為中心的偏好優(yōu)化策略，以確保微調(diào)后生成的背景內(nèi)容與商品特征一致，從而增強廣告圖片的整體相關(guān)性和效果。大量實驗表明，我們的方法在在線和離線指標上均達到了最先進的性能。

?

一、背景及現(xiàn)狀

隨著圖像生成技術(shù)的發(fā)展，為商品生成和諧且逼真的背景成為可能。然而，大多數(shù)現(xiàn)有的廣告圖像生成方法主要關(guān)注離線指標，如圖像質(zhì)量或語義一致性，而沒有充分考慮視覺內(nèi)容與場域目標（如點擊率）之間的重要聯(lián)系。這導致生成的廣告圖像與符合實際用戶偏好的理想圖像之間存在顯著差異。

受最近RLHF方法的啟發(fā)，我們可以訓練一個獎勵模型（RM），再使用強化學習（RL）算法來微調(diào)生成模型，由RM提供獎勵以指導優(yōu)化過程。這個流程的一個關(guān)鍵方面是RM能夠準確反映用戶對圖像的點擊偏好。然而，先前結(jié)合視覺內(nèi)容進行點擊率（CTR）預測的方法圖像理解能力有限，且難以融合多模態(tài)特征（如下圖所示）。

此外，廣告圖像生成中考慮背景與商品之間的相關(guān)性至關(guān)重要?，F(xiàn)有的強化學習算法僅專注于優(yōu)化獎勵值，忽視了視覺吸引力和背景相關(guān)性之間的平衡。這種疏忽可能導致背景與商品不協(xié)調(diào)，誤導用戶并導致糟糕的購物體驗。如下圖所示，雖然動態(tài)、運動風格的背景可能會提高運動鞋的點擊率，但模型可能錯誤地將類似的背景應用于化妝品等無關(guān)商品，從而破壞視覺和諧性和商品相關(guān)性。

?

二、整體方案

在本文中，我們提出了一種點擊率驅(qū)動廣告圖像生成（CAIG）的新方法，旨在生成能夠吸引用戶興趣的引人注目的廣告圖像，如下圖所示。首先，我們在大規(guī)模多模態(tài)電商數(shù)據(jù)集上預訓練多模態(tài)大語言模型（MLLM），將領(lǐng)域特定知識注入模型中。這為我們的提示模型（PM）和獎勵模型（RM）奠定了基礎(chǔ)。然后，我們從預訓練的MLLM初始化RM，并在大量多模態(tài)在線用戶點擊數(shù)據(jù)上進一步訓練RM，使RM能夠模擬人類反饋。最后，我們引入了一個點擊率驅(qū)動的偏好優(yōu)化階段，該階段采用以商品為中心的偏好優(yōu)化（PCPO）作為核心策略。該階段利用RM的反饋對PM進行微調(diào)，最終生成既具吸引力又與商品相關(guān)的廣告圖像。

三、電商知識預訓練

為了應對高效且可擴展的廣告創(chuàng)意生成的挑戰(zhàn)，我們通過在大規(guī)模多模態(tài)電商數(shù)據(jù)集上進行預訓練，在多模態(tài)大語言模型（MLLMs）強大功能的基礎(chǔ)上，注入了特定于電商領(lǐng)域的知識。該數(shù)據(jù)集包含來自京東電商平臺的120萬個樣本，如下表所示。具體來說，預訓練任務包括三個主要任務：

(1) 圖像理解：根據(jù)商品圖像描述商品或背景。

(2) 多模態(tài)內(nèi)容理解：根據(jù)多模態(tài)商品信息（例如標題、類別、標簽）描述商品背景或生成商品標題。

(3) 提示詞生成：根據(jù)多模態(tài)商品信息生成或重寫提示詞。

四、基于MLLM的reward model

為了減輕不同商品類別之間CTR絕對值變化的影響，我們將CTR預測任務重新定義為圖像對之間的相對比較任務。具體來說，我們從用戶點擊數(shù)據(jù)中構(gòu)建成對的訓練樣本，每對樣本包含同一商品的兩張廣告圖像及其對應的CTR。對于共享商品屬性的圖片對（I1,I2），我們首先將商品屬性與RM特定的問題模板Q_RM結(jié)合，使用提示工程函數(shù)f_instruct生成一個指令提示C_RM。然后將兩張圖像的視覺表征與文本表征連接起來，形成多模態(tài)輸入。

接下來，我們使用大語言模型（LLM）處理多模態(tài)輸入，生成隱藏狀態(tài)H。按照使用LLM進行序列分類的常規(guī)做法，我們利用H的最后一個token作為判別性表示，捕捉整個輸入序列的上下文信息。最后我們使用一個分類頭FC_cls，將最后一個token 映射到一個二維概率分布p上。此外，為了使模型能夠在復合圖像中對左圖和右圖的CTR進行精細的預測，我們引入了一個點級別的損失函數(shù)，通過一個獨立的CTR回歸分支來實現(xiàn)。最終，RM的損失函數(shù)是二元交叉熵損失和點級別損失的組合：

?

五、CTR驅(qū)動優(yōu)化

為了生成高CTR廣告圖像的，我們將該任務形式化為一個偏好選擇問題，鼓勵生成模型選擇更具吸引力的廣告圖像， 并拒絕吸引力較低的廣告圖像。這一過程包含兩個關(guān)鍵步驟：(1) 生成圖像對并使用RM比較它們的CTR，(2) 根據(jù)RM的反饋對生成模型進行微調(diào)，如下算法所示。

為了生成廣告圖像，我們將PM生成的背景描述詞輸入Stable Diffusion，并使用ControlNet的inpaint操作來為商品生成背景?？紤]到收集真實CTR反饋耗時且資源需求大，我們利用RM實時區(qū)分更具吸引力的和吸引力較低的圖像，以微調(diào)生成流程。這里我們采用直接偏好優(yōu)化（DPO） 作為基本策略，該過程可表示為：

其中I_o和C表示商品的原始圖形和對應的指令。

值得注意的是，在DPO訓練過程中過度關(guān)注CTR優(yōu)化可能會忽略偏好數(shù)據(jù)中的商品信息，導致生成圖像中前景和背景不匹配。因此，我們引入了以商品為中心的偏好優(yōu)化（PCPO）。PCPO的核心機制是在訓練過程中將商品信息作為唯一變量，并構(gòu)建額外的偏好數(shù)據(jù)對，從而鼓勵模型生成與商品特征相匹配的背景描述。具體來說，給定一個商品圖像I_o和指令C，我們構(gòu)建偏好數(shù)據(jù)對 (I_o, y^+, y^-) ，其中y^+是與商品特征更匹配的背景描述，而y^-則是匹配度較低的背景描述。通過這種方式，我們確保生成的背景描述不僅吸引人，而且與商品信息一致。PCPO的目標可寫作：

最終，DPO和PCPO損失被用于聯(lián)合優(yōu)化模型。

?

六、實驗結(jié)果

（1）Reward Model性能

我們在商業(yè)和公開數(shù)據(jù)集上進行了廣泛的實驗，將我們的方法與各種基于多模態(tài)大語言模型（MLLM）的開源和閉源模型進行了比較。如下圖所示，現(xiàn)有的閉源模型（如GLM4V、Claude3.5 Sonnet、GPT4o和GPT4V）在比較廣告圖像CTR方面表現(xiàn)不佳，準確率接近隨機水平（約50%的配對準確率），這表明這些模型盡管在通用任務上表現(xiàn)出色，但在廣告CTR任務中并未得到專門優(yōu)化。開源模型如VAM和CG4CTR雖然有所改進，但由于其視覺表示能力較弱且無法有效整合多模態(tài)信息，表現(xiàn)仍然有限。相比之下，我們提出的方法在商業(yè)和公開數(shù)據(jù)集上均取得了最先進的性能。

（2）商品-背景相關(guān)性

為了確保公平比較，我們在CTR驅(qū)動優(yōu)化過程中使用相同的RM進行CTR反饋，并且訓練輪數(shù)相同，來評估PCPO與標準DPO的性能。下圖展示了兩種方法在訓練過程中的表現(xiàn)。值得注意的是，標準DPO在訓練5個epoch后，匹配率顯著下降，從0.842降至0.597。而我們的PCPO則表現(xiàn)出更為平緩的下降趨勢，在第5個epoch時保持了0.798的匹配率，這比標準DPO在同一階段的表現(xiàn)高出33.7%。

下圖為我們的方案與DPO方案對比的定性分析：

（3）線上實驗

為了驗證我們提出的CAIG方法在提高生成廣告圖像CTR方面的有效性，我們在推薦廣告上進行了一周的在線實驗。我們?yōu)?4個類目的商品生成了兩張圖像，這些類目幾乎涵蓋了所有常見的商品，遠超之前方法僅覆蓋的五個類目。我們在下表中報告了不同方法在所有類目和五個常見類目中的結(jié)果，其中CTR的提升是相對于直接使用預訓練的MLLM而言的。我們的RM在所有類目和五個常見類目中均優(yōu)于之前的方法，證明了更準確的CTR預測能夠驅(qū)動生成模型產(chǎn)生CTR更高的圖像。我們還比較了僅使用DPO作為優(yōu)化算法的效果，結(jié)果表明使用我們的PCPO可以使生成模型更加關(guān)注商品特征，從而提高CTR。

?審核編輯 黃宇