過去一年并不平凡。從去年11月至今，LLM大型語言模型持續(xù)破圈、始終盤踞熱點(diǎn)話題之列。根據(jù)Adobe Analytics的最新在線購(gòu)物預(yù)測(cè)，感恩節(jié)本土市場(chǎng)假日季的在線收入，或?qū)⒂型麆?chuàng)達(dá)2218億美元。年度機(jī)遇近在眼前，跨境出海企業(yè)如何抓住機(jī)遇、突破銷售記錄？

對(duì)此，LLM或許能夠給出答案。微軟首席執(zhí)行官薩提亞·納德拉在剛剛結(jié)束的全球Ignite技術(shù)大會(huì)上曾表示，“生成式AI模型的參數(shù)范圍很廣，從需要 Azure 中最強(qiáng)大 GPU 的數(shù)萬億參數(shù)的 LLM，到數(shù)十億參數(shù)的特定任務(wù)SLM(小語言模型)。我們都提供了最佳的前沿模型選擇，用戶、客戶及合作伙伴可以使用這些模型構(gòu)建自己的AI應(yīng)用，并滿足對(duì)成本、延遲和性能的特定需求。”

關(guān)于“黑五”的創(chuàng)意圖 Getty

無疑，以LLM為代表的AI新浪潮正在為廣告營(yíng)銷行業(yè)帶來巨大變革與飛躍。本月起，“微軟全球營(yíng)銷”將通過一系列專欄文章，為讀者進(jìn)行前沿技術(shù)解讀。今天為大家奉上的是對(duì)LLM大型語言模型的技術(shù)原理詳解及科研視角前瞻。

專欄導(dǎo)讀

“由大型語言模型驅(qū)動(dòng)的 AI 系統(tǒng)，正加速改變著每個(gè)人的工作與生活。作為全球領(lǐng)先的科技企業(yè)，微軟始終致力于推動(dòng)前沿技術(shù)創(chuàng)新、應(yīng)用與普及，為世界賦能。我們以豐富的 AI 經(jīng)驗(yàn)和資源，秉承責(zé)任、可靠、可信原則，將 AI 融入微軟現(xiàn)有生態(tài)，從提供 AI 工具到構(gòu)筑 AI 平臺(tái)，與合作伙伴全方位攜手、擁抱技術(shù)潮流，予力用戶、惠及行業(yè)、創(chuàng)造社會(huì)價(jià)值?！?/p>

張祺

微軟全球資深副總裁

LLM的技術(shù)原理

圖注：LLM訓(xùn)練全景圖

LLM 作為一種具有強(qiáng)大功能的模型，研究人員通過預(yù)訓(xùn)練、微調(diào)、提示工程和插件等技術(shù)手段，使其備了理解自然語言并進(jìn)行推理的能力。

預(yù)練習(xí)（Pre-training）

談到LLM的預(yù)訓(xùn)練，我們指的是一種訓(xùn)練方法。預(yù)訓(xùn)練時(shí)，LLM學(xué)習(xí)大規(guī)模數(shù)據(jù)，從中提取出盡可能多的共性特征，從而減輕模型對(duì)特定任務(wù)的學(xué)習(xí)負(fù)擔(dān)。預(yù)訓(xùn)練模型的發(fā)展經(jīng)歷了從BERT雙向變換器模型，到GPT 自回歸變換器模型的轉(zhuǎn)變。其中的典型代表即 OpenAI 的 GPT 系列。今年11月，OpenAI正式推出最新的GPT-4 Turbo。主要提升包括：上下文對(duì)話長(zhǎng)度達(dá)到128k，采用全新模型控制技術(shù)優(yōu)化輸出，以及GPT-4 Turbo的知識(shí)庫更新到2023年4月等。

關(guān)于 ChatGPT 的創(chuàng)意圖 Getty

此外，Meta 創(chuàng)建的開源模型 LLaMA，也備受外界關(guān)注。今年7月，Meta在微軟的Inspire合作伙伴大會(huì)上宣布，與微軟合作推出LLaMA2，并獲得Azure 和 Windows的支持。10月，LLaMA2的延伸版本LLaMA Long 上線，上下文長(zhǎng)度達(dá)到32k。

Meta 開源模型 LLaMA 創(chuàng)意圖 Getty

微調(diào)（Fine-tuning）

微調(diào)，是在已有的預(yù)訓(xùn)練基礎(chǔ)上，通過少量的數(shù)據(jù)對(duì)LLM進(jìn)行訓(xùn)練，按要求實(shí)現(xiàn)修改和優(yōu)化，使之在特定任務(wù)上表現(xiàn)出更優(yōu)性能。微調(diào)減少了訓(xùn)練新模型所需的時(shí)間和資源，同時(shí)減輕了標(biāo)注數(shù)據(jù)的壓力，是一種快速遷移學(xué)習(xí)的方法。

關(guān)于信息數(shù)據(jù)的創(chuàng)意圖 Getty

最新的GPT-4 Turbo又一大升級(jí)，就是允許開發(fā)人員定制化微調(diào)，例如修改模型訓(xùn)練過程，進(jìn)行額外的特定領(lǐng)域預(yù)訓(xùn)練、運(yùn)行自定義強(qiáng)化學(xué)習(xí)后訓(xùn)練過程等。

提示工程（Prompt Engineering）

提示工程是指設(shè)計(jì)和構(gòu)造適合LLM輸入的提示文本，以引導(dǎo)其產(chǎn)生特定類型的輸出。通過設(shè)計(jì)合適的提示詞，可以引導(dǎo)LLM在特定領(lǐng)域或任務(wù)上表現(xiàn)出更好的性能。LLM 在生成文本時(shí)具有一定的創(chuàng)造力和自由度。有人也把它稱為思維鏈（Tree-of-Thought），類似人類解決問題的思維方式，通過試錯(cuò)的方式在解決空間中進(jìn)行樹狀搜索，并在必要時(shí)進(jìn)行回溯。思維鏈主要包括頭腦風(fēng)暴（brainstorming）、評(píng)估（evaluation）、擴(kuò)展（expansion）和決策（decision）四個(gè)階段構(gòu)成，形成的一整套鏈路，使得 LLM 能夠生成多個(gè)潛在的解決方案，評(píng)估并改進(jìn)它們，最終給出用戶最佳的解決方案。

關(guān)于 LLM 的創(chuàng)意圖 Getty

插件和擴(kuò)展（Plugin & Extension）

研究人員還會(huì)通過添加額外模塊或插件，來實(shí)現(xiàn)對(duì)LLM的功能擴(kuò)展，增強(qiáng)其在特定任務(wù)上的能力。例如，Auto-GPT 和 JARVIS 是LLM功能擴(kuò)展的典型代表。其中，Auto-GPT 是一種基于GPT 的自動(dòng)化工具，它可以利用 GPT-4 的強(qiáng)大功能自動(dòng)完成復(fù)雜任務(wù)。用戶給定一個(gè)目標(biāo)，它就會(huì)將其分解為子任務(wù)，并利用互聯(lián)網(wǎng)和其他工具自動(dòng)實(shí)現(xiàn)。

圖為 Auto-GPT 的官網(wǎng)首頁截圖

JARVIS 是一個(gè)框架，它利用ChatGPT 來規(guī)劃任務(wù)流程，根據(jù) Hugging Face 的功能介紹來選擇適合的模型，執(zhí)行各個(gè)子任務(wù)，并根據(jù)執(zhí)行結(jié)果生成反饋。JARVIS 可以實(shí)現(xiàn)多領(lǐng)域、多模態(tài)的復(fù)雜AI 任務(wù)，在語言、視覺、語音等方面都取得了令人印象深刻的結(jié)果。

LLM如何賦能廣告

在解析了 LLM 的技術(shù)原理后，跨境出海企業(yè)最想了解的就是究竟如何將LLM應(yīng)用到廣告之中。對(duì)此，今年9月，微軟全球資深副總裁張祺博士在《聚焦AI大航海時(shí)代新契機(jī)、新模式、新動(dòng)能》一文中曾給出過答案——搜索引擎的商業(yè)模式，如 AdWords和競(jìng)價(jià)排名等，會(huì)隨技術(shù)的進(jìn)步、體驗(yàn)的迭代而不斷推陳出新。

目前，微軟廣告（Microsoft Advertising）正在通過 LLM 賦能實(shí)現(xiàn)垂直創(chuàng)新，為出海企業(yè)帶來嶄新機(jī)遇。

以 LLM 為基礎(chǔ)，以生成式人工智能（AIGC）技術(shù)為突破口融入了人工智能副駕 Copilot。Copilot為用戶提供了全新的搜索方式，也為廣告主及合作伙伴創(chuàng)造了接觸消費(fèi)者的新機(jī)會(huì)和新可能。借助生成式AI，我們創(chuàng)造出效果出眾體感沉浸 、深度融合的廣告內(nèi)容，逐步將一眾廣受歡迎的搜索廣告形式（如文字廣告、購(gòu)物廣告、多媒體廣告等）及類別（如酒店廣告、旅游廣告、郵輪廣告、信用卡廣告、汽車廣告等）引入必應(yīng)聊天，讓用戶在會(huì)話廣告中精準(zhǔn)獲取商品信息，在對(duì)比廣告中做出智慧決策。

圖注：用戶可以通過Copilot在聊天中進(jìn)行商品對(duì)比。比如用戶想購(gòu)買一輛新車，就會(huì)去對(duì)比不同制造商和型號(hào)的車輛數(shù)據(jù)。以此情境為例，對(duì)比廣告會(huì)將各型號(hào)汽車的數(shù)據(jù)整理到一份統(tǒng)一報(bào)告中，便于用戶對(duì)比各項(xiàng)指標(biāo)。隨著搜索+聊天的全新模式日漸風(fēng)靡，會(huì)話廣告將愈發(fā)普及、并適用于多個(gè)場(chǎng)景——比如定制某個(gè)城市之旅，再比如購(gòu)買特定顏色和風(fēng)格的家具建議等。

專為廣告主設(shè)計(jì)的微軟廣告平臺(tái)智能副駕（Microsoft Advertising Platform Copilot），貼心的聊天機(jī)器人將在線聊天指導(dǎo)您洞悉趨勢(shì)、制定策略、完成創(chuàng)建，最終幫您實(shí)現(xiàn)廣告目標(biāo)。您只需描述需求，之后的工作全部交給Copilot, 它將基于流程整體協(xié)助交付：從素材提煉產(chǎn)品賣點(diǎn)，到結(jié)合微軟搜索趨勢(shì)，再到提交完整廣告圖文方案。借助微軟廣告平臺(tái)智能副駕，只需依據(jù)品牌及營(yíng)銷目標(biāo)，即可定制獨(dú)一無二的專屬方案，幾分鐘內(nèi)實(shí)現(xiàn)個(gè)性化精彩廣告。

展望未來

在LLM顛覆式技術(shù)創(chuàng)新大潮下，微軟廣告致力于為全體消費(fèi)者提供更便捷、更高效的個(gè)性化創(chuàng)意廣告體驗(yàn)，助力垂直創(chuàng)新。我們期待幫助廣告主及合作伙伴洞察行業(yè)先機(jī)，通過打造本土創(chuàng)新產(chǎn)品及服務(wù)，助力消費(fèi)增長(zhǎng)、推動(dòng)本地品牌走向全球，在AI的黃金時(shí)代實(shí)現(xiàn)業(yè)務(wù)的垂直增長(zhǎng)！

LLM專欄作者：耿秀波

微軟（亞洲）互聯(lián)網(wǎng)工程院

首席應(yīng)用科學(xué)家

關(guān)于微軟廣告

微軟廣告（Microsoft Advertising）致力于為國(guó)內(nèi)廣告主提供動(dòng)態(tài)廣告解決方案，與合作伙伴一道，共同發(fā)掘全球商機(jī)、開拓多元市場(chǎng)，現(xiàn)已覆蓋187個(gè)國(guó)家和地區(qū)、35種語言，觸達(dá)全球超14億受眾，并且擁有持續(xù)增長(zhǎng)的高價(jià)值用戶。

在領(lǐng)先的AI技術(shù)、生產(chǎn)力工具和創(chuàng)新模式驅(qū)動(dòng)下，本地行業(yè)與市場(chǎng)都將煥發(fā)新生。微軟將通過創(chuàng)新產(chǎn)品和服務(wù)，助力本土品牌走向全球，實(shí)現(xiàn)高速增長(zhǎng)。

本文為《技術(shù)賦能》專欄系列文章之一

專欄介紹：AI大航海時(shí)代，前沿技術(shù)無疑為行業(yè)革新、企業(yè)增長(zhǎng)與創(chuàng)意變現(xiàn)提供了新機(jī)遇，一場(chǎng)創(chuàng)新模式的革命已如箭在弦，這正是我們策劃此專欄系列文章的初衷。在此，來自微軟（亞洲）互聯(lián)網(wǎng)工程院的首席應(yīng)用科學(xué)家以及高級(jí)、資深研究員們，將在系列專欄文章中分享他們對(duì)人工智能、大語言模型及其應(yīng)用領(lǐng)域如何實(shí)現(xiàn)技術(shù)賦能的洞察及前瞻。更多專欄內(nèi)容，敬請(qǐng)期待！