鑒于最近看到以及收集到的問(wèn)題多半是“大模型能否做XXX問(wèn)題”、“XXX問(wèn)題為什么大模型做的會(huì)這么差”之類的，為了讓大家對(duì)大模型的邊界有更加清楚的認(rèn)識(shí)，本文對(duì)自己的理解進(jìn)行梳理，也為大家對(duì)大模型樹立一個(gè)預(yù)期，避免非理性的方案選型。

沒(méi)有萬(wàn)能藥

開始聊之前，還是想跟大家強(qiáng)調(diào)，沒(méi)有什么方法是萬(wàn)能的，我們需要因地制宜地，針對(duì)性的為問(wèn)題提供合適的解決方案。

一方面，大模型給我們帶來(lái)了很多驚喜，也在很多問(wèn)題上得到了“看起來(lái)不錯(cuò)”的效果，另一方面，因?yàn)樗麚碛薪咏暗厍虬倏啤奔?jí)別的知識(shí)，所以在解決很多問(wèn)題時(shí)體現(xiàn)出很強(qiáng)的“無(wú)監(jiān)督”性，從而給大家?guī)?lái)了很高的預(yù)期，但凡出現(xiàn)問(wèn)題都想嘗試用大模型來(lái)試試看，然而實(shí)際上仍舊因?yàn)楹芏嘣?，大模型在這些問(wèn)題的表現(xiàn)卻又并不如我們預(yù)想的那么優(yōu)秀。

我們應(yīng)該把大模型當(dāng)做一個(gè)有些強(qiáng)的工具，而并非萬(wàn)能的神器，在方案篩選的時(shí)候可以放入當(dāng)做備選項(xiàng)，而不能夠當(dāng)做唯一解。

請(qǐng)嚴(yán)肅反思，你現(xiàn)在掌握的，應(yīng)該不會(huì)只有這一個(gè)方法吧，不會(huì)吧不會(huì)吧。

大模型的優(yōu)劣勢(shì)

大家對(duì)大模型的目前的優(yōu)勢(shì)看的還是比較多的，我總結(jié)下來(lái)，主要是這幾點(diǎn)：

海量開放域知識(shí)支撐，不需要再進(jìn)行針對(duì)性學(xué)習(xí)。

部分具體簡(jiǎn)單問(wèn)題的無(wú)監(jiān)督性，簡(jiǎn)單的分類、提取等，只要足夠明確，模型能做到比較高的下限。

通用良好的生成能力，語(yǔ)言回復(fù)基本能通順。

指令執(zhí)行能力，即在輸入中提供指令，常用指令在模型層面能夠識(shí)別和體現(xiàn)。

技術(shù)影響力。

除此之外，還會(huì)有些缺點(diǎn)，想必只要多次嘗試，并進(jìn)行過(guò)詳細(xì)分析的大家應(yīng)該能感受到：

不可識(shí)別判斷以及修正的幻覺(jué)問(wèn)題。

專業(yè)性知識(shí)的缺失導(dǎo)致特定領(lǐng)域內(nèi)的回復(fù)不穩(wěn)定。

多輪對(duì)話策略的定制困難。

性能、耗時(shí)、成本問(wèn)題。

大模型選型的判斷

因此，要判斷用不用大模型，可以從下面幾個(gè)角度來(lái)考慮：

首先，是否具備使用大模型的條件，這是一票否決的，如果不具備，根本不要談使用大模型了。

需求對(duì)任務(wù)的時(shí)延要求很低，例如十來(lái)毫秒。

私有化部署的缺設(shè)備，缺顯卡，想買服務(wù)但是預(yù)算給不到。

其次，任務(wù)的復(fù)雜性，一般而言，越復(fù)雜的任務(wù)，越充裕的資源，應(yīng)該是各自用更加專業(yè)的方案來(lái)做各自的上限才會(huì)比較高，大模型能提供的，是一個(gè)基礎(chǔ)的、快速的、zero shot或者few shot的baseline方案，他的通用性和海量知識(shí)的支撐讓他對(duì)簡(jiǎn)單的東西能快速反應(yīng)并且做對(duì)，但是復(fù)雜的，到達(dá)邊緣瓶頸的問(wèn)題，他解決的肯定是不好的，再者微調(diào)和微調(diào)后的部署，都存在很大的風(fēng)險(xiǎn)和成本困難。

第三，基礎(chǔ)工作的支撐。當(dāng)我們都把目光聚焦在大模型本身，甚至是訓(xùn)練的時(shí)候，我們通常忽略了圍繞大模型所需要的大量基礎(chǔ)工作，這些工作是支撐大模型運(yùn)行的關(guān)鍵，例如外掛知識(shí)庫(kù)所需要的檢索模塊，大模型性能提升的加速引擎、多級(jí)多卡能力，模型的推理部署，有利于任務(wù)執(zhí)行的prompt等等（這里需要強(qiáng)調(diào)，基礎(chǔ)工作也非常關(guān)鍵，圍繞大模型有很多基礎(chǔ)工作需要做，甚至是某些定制的內(nèi)容，這個(gè)我應(yīng)該會(huì)專門寫文章來(lái)講）。

案例思考

給個(gè)例子大家看看，為了更加清晰地讓大家明白，選型時(shí)需要考慮的問(wèn)題以及角度，不見(jiàn)得是不能用，也不見(jiàn)得是萬(wàn)能，這些思路我自己感覺(jué)才是相比于技術(shù)本身來(lái)的更加重要。

搜索意圖識(shí)別

搜索意圖識(shí)別應(yīng)該是我最擅長(zhǎng)的任務(wù)了，最近聽(tīng)不少人來(lái)問(wèn)我有沒(méi)有必要嘗試下大模型來(lái)做?？紤]還是因地制宜吧，意圖識(shí)別表面上就是個(gè)因地制宜問(wèn)題，但領(lǐng)域和意圖的劃分規(guī)則非常多樣，而且劃分很多時(shí)候不是主觀的，有很多客觀因素存在，我列舉一下我可能會(huì)考慮到的地方：

是否有用模型的必要，有些規(guī)則或者詞典就能輕松做到的，別說(shuō)大模型，模型都沒(méi)必要，而且甚至還沒(méi)規(guī)則詞典做的好。

泛化能力的需求是用模型的門檻，有泛化需求才有用模型的必要。

邊界是否能比較簡(jiǎn)單地陳述。畢竟大模型的分類依賴指令和few-shot樣本，如果不好描述，其實(shí)很難做好這種分類，例如“百科”、“客服”、“投訴”這些，語(yǔ)言其實(shí)很難描述他們的邊界，此時(shí)大模型做起來(lái)其實(shí)也會(huì)比較吃力。

是否有足夠的訓(xùn)練數(shù)據(jù)。訓(xùn)練數(shù)據(jù)越充裕，小模型的優(yōu)勢(shì)越會(huì)體現(xiàn)。

數(shù)據(jù)不足的時(shí)候，few-shot（自己編幾個(gè)），in-context learning可能也可以取得不錯(cuò)的效果，就看別的因素了，隨著數(shù)據(jù)量增加，結(jié)合向量召回找到合適的樣本再用in-context learning，也會(huì)有不錯(cuò)的效果。

性能，性能，還是性能。尤其是意圖識(shí)別本身只是搜索中的小部分，耗時(shí)還是要給召回、排序讓更多的。

若非找資源充足且性能要求不高，或者有技術(shù)影響力之類的壓力，一般不會(huì)直接用大模型直接做意圖識(shí)別，更多可能的思路：

大模型做baseline快速預(yù)測(cè)，構(gòu)造標(biāo)簽樣本。

直接生成泛化樣本供小模型訓(xùn)練使用。

所以在這種小的、比較經(jīng)典的NLP任務(wù)下，大模型的發(fā)揮空間其實(shí)不那么大，殺雞焉用牛刀。而且在實(shí)用過(guò)程中，我也有些體驗(yàn)：

簡(jiǎn)單任務(wù)，大模型確實(shí)能得到更高的下限，但是后續(xù)要調(diào)優(yōu)，肯定是分離出來(lái)用小模型專項(xiàng)優(yōu)化，提升會(huì)更多。

復(fù)雜任務(wù)，大模型需要復(fù)雜指令，同時(shí)也要fewshot起步，否則模型壓根不知道怎么分，這也合理，畢竟邊界模糊真的不好講述，用樣本來(lái)描述邊界會(huì)更加明顯，這個(gè)時(shí)候大模型就體現(xiàn)不出優(yōu)勢(shì)了。

編輯：黃飛

?