鑒于最近看到以及收集到的問題多半是“大模型能否做XXX問題”、“XXX問題為什么大模型做的會這么差”之類的，為了讓大家對大模型的邊界有更加清楚的認識，本文對自己的理解進行梳理，也為大家對大模型樹立一個預期，避免非理性的方案選型。

沒有萬能藥

開始聊之前，還是想跟大家強調(diào)，沒有什么方法是萬能的，我們需要因地制宜地，針對性的為問題提供合適的解決方案。

一方面，大模型給我們帶來了很多驚喜，也在很多問題上得到了“看起來不錯”的效果，另一方面，因為他擁有接近“地球百科”級別的知識，所以在解決很多問題時體現(xiàn)出很強的“無監(jiān)督”性，從而給大家?guī)砹撕芨叩念A期，但凡出現(xiàn)問題都想嘗試用大模型來試試看，然而實際上仍舊因為很多原因，大模型在這些問題的表現(xiàn)卻又并不如我們預想的那么優(yōu)秀。

我們應該把大模型當做一個有些強的工具，而并非萬能的神器，在方案篩選的時候可以放入當做備選項，而不能夠當做唯一解。

請嚴肅反思，你現(xiàn)在掌握的，應該不會只有這一個方法吧，不會吧不會吧。

大模型的優(yōu)劣勢

大家對大模型的目前的優(yōu)勢看的還是比較多的，我總結(jié)下來，主要是這幾點：

海量開放域知識支撐，不需要再進行針對性學習。

部分具體簡單問題的無監(jiān)督性，簡單的分類、提取等，只要足夠明確，模型能做到比較高的下限。

通用良好的生成能力，語言回復基本能通順。

指令執(zhí)行能力，即在輸入中提供指令，常用指令在模型層面能夠識別和體現(xiàn)。

技術(shù)影響力。

除此之外，還會有些缺點，想必只要多次嘗試，并進行過詳細分析的大家應該能感受到：

不可識別判斷以及修正的幻覺問題。

專業(yè)性知識的缺失導致特定領域內(nèi)的回復不穩(wěn)定。

多輪對話策略的定制困難。

性能、耗時、成本問題。

大模型選型的判斷

因此，要判斷用不用大模型，可以從下面幾個角度來考慮：

首先，是否具備使用大模型的條件，這是一票否決的，如果不具備，根本不要談使用大模型了。

需求對任務的時延要求很低，例如十來毫秒。

私有化部署的缺設備，缺顯卡，想買服務但是預算給不到。

其次，任務的復雜性，一般而言，越復雜的任務，越充裕的資源，應該是各自用更加專業(yè)的方案來做各自的上限才會比較高，大模型能提供的，是一個基礎的、快速的、zero shot或者few shot的baseline方案，他的通用性和海量知識的支撐讓他對簡單的東西能快速反應并且做對，但是復雜的，到達邊緣瓶頸的問題，他解決的肯定是不好的，再者微調(diào)和微調(diào)后的部署，都存在很大的風險和成本困難。

第三，基礎工作的支撐。當我們都把目光聚焦在大模型本身，甚至是訓練的時候，我們通常忽略了圍繞大模型所需要的大量基礎工作，這些工作是支撐大模型運行的關(guān)鍵，例如外掛知識庫所需要的檢索模塊，大模型性能提升的加速引擎、多級多卡能力，模型的推理部署，有利于任務執(zhí)行的prompt等等（這里需要強調(diào)，基礎工作也非常關(guān)鍵，圍繞大模型有很多基礎工作需要做，甚至是某些定制的內(nèi)容，這個我應該會專門寫文章來講）。

案例思考

給個例子大家看看，為了更加清晰地讓大家明白，選型時需要考慮的問題以及角度，不見得是不能用，也不見得是萬能，這些思路我自己感覺才是相比于技術(shù)本身來的更加重要。

搜索意圖識別

搜索意圖識別應該是我最擅長的任務了，最近聽不少人來問我有沒有必要嘗試下大模型來做。考慮還是因地制宜吧，意圖識別表面上就是個因地制宜問題，但領域和意圖的劃分規(guī)則非常多樣，而且劃分很多時候不是主觀的，有很多客觀因素存在，我列舉一下我可能會考慮到的地方：

是否有用模型的必要，有些規(guī)則或者詞典就能輕松做到的，別說大模型，模型都沒必要，而且甚至還沒規(guī)則詞典做的好。

泛化能力的需求是用模型的門檻，有泛化需求才有用模型的必要。

邊界是否能比較簡單地陳述。畢竟大模型的分類依賴指令和few-shot樣本，如果不好描述，其實很難做好這種分類，例如“百科”、“客服”、“投訴”這些，語言其實很難描述他們的邊界，此時大模型做起來其實也會比較吃力。

是否有足夠的訓練數(shù)據(jù)。訓練數(shù)據(jù)越充裕，小模型的優(yōu)勢越會體現(xiàn)。

數(shù)據(jù)不足的時候，few-shot（自己編幾個），in-context learning可能也可以取得不錯的效果，就看別的因素了，隨著數(shù)據(jù)量增加，結(jié)合向量召回找到合適的樣本再用in-context learning，也會有不錯的效果。

性能，性能，還是性能。尤其是意圖識別本身只是搜索中的小部分，耗時還是要給召回、排序讓更多的。

若非找資源充足且性能要求不高，或者有技術(shù)影響力之類的壓力，一般不會直接用大模型直接做意圖識別，更多可能的思路：

大模型做baseline快速預測，構(gòu)造標簽樣本。

直接生成泛化樣本供小模型訓練使用。

所以在這種小的、比較經(jīng)典的NLP任務下，大模型的發(fā)揮空間其實不那么大，殺雞焉用牛刀。而且在實用過程中，我也有些體驗：

簡單任務，大模型確實能得到更高的下限，但是后續(xù)要調(diào)優(yōu)，肯定是分離出來用小模型專項優(yōu)化，提升會更多。

復雜任務，大模型需要復雜指令，同時也要fewshot起步，否則模型壓根不知道怎么分，這也合理，畢竟邊界模糊真的不好講述，用樣本來描述邊界會更加明顯，這個時候大模型就體現(xiàn)不出優(yōu)勢了。

編輯：黃飛

?