當(dāng)前，以人工智能為代表的前沿技術(shù)正推動一場新的范式革命，傳統(tǒng)的學(xué)科壁壘不斷被打破，跨學(xué)科融合與邊界突破為復(fù)雜問題提供了新的解決方案。

近日，2025世界頂尖科學(xué)家論壇之國際工程智能大會成功召開，大會以“工程智能：面向未來工業(yè)體系的智能變革”為主題，全球頂尖學(xué)者與產(chǎn)業(yè)專家齊聚，共同勾勒由人工智能深度驅(qū)動的未來工業(yè)新圖景。

上海交通大學(xué)特聘教授、思必馳聯(lián)合創(chuàng)始人、首席科學(xué)家俞凱應(yīng)邀出席，發(fā)表了《Towards Reliable Task-oriented LLM Agents》主題演講，深刻剖析了當(dāng)前大語言模型智能體的核心痛點——“幻覺”問題，創(chuàng)新性的提出了“不確定性感知的可靠性對齊”新范式，為構(gòu)建真正可靠、可用的人工智能指明了方向。

從“輸出錯誤”到“行為意外”：

智能體時代的幻覺新挑戰(zhàn)

演講伊始，俞凱首先厘清了“智能體”幻覺與傳統(tǒng)大語言模型幻覺的本質(zhì)區(qū)別。他指出，傳統(tǒng)大語言模型的幻覺主要表現(xiàn)為“事實性錯誤”，而當(dāng)大語言模型進(jìn)化成能夠主動執(zhí)行、調(diào)用工具/與環(huán)境交互的“智能體”時，其幻覺則升維為“與人類合理預(yù)期不一致的行為”。

“例如，當(dāng)你讓智能體‘9點提醒我一下’，它可能并未理解你的意圖是設(shè)定一個‘提醒’，而是機械地設(shè)定了晚上9點的鬧鐘，甚至回答‘我不能設(shè)定鬧鐘’你可以嘗試......”。俞凱表示，這種行為上的偏差，在任務(wù)執(zhí)行中可能帶來比事實錯誤更嚴(yán)重的后果。

他進(jìn)一步指出，幻覺的根源在于模型內(nèi)外的“不確定性”。外部不確定性源于訓(xùn)練數(shù)據(jù)的噪聲、缺失或過時信息；內(nèi)部不確定性則源于神經(jīng)網(wǎng)絡(luò)模型的概率生成特性。為解決這些不確定性造成的幻覺問題，產(chǎn)業(yè)界形成了兩種主流范式：一是通過引入搜索、數(shù)學(xué)/代碼、數(shù)據(jù)庫等工具增強的方式來擴展知識邊界；二是通過評估模型輸出的置信度，并設(shè)定閾值來拒絕低置信度的回答。

然而，這兩種范式均面臨嚴(yán)峻挑戰(zhàn)：工具增強的方式雖擴展了知識，卻引發(fā)了“工具幻覺”——包括工具的種類、調(diào)用時機、格式、內(nèi)容等幻覺。即使增加訓(xùn)練數(shù)據(jù)能提升任務(wù)成功率，也無法消除“工具幻覺”的發(fā)生；而“置信度評估”范式則遭遇了更為棘手的“妄想”問題，即模型在輸出完全錯誤答案時，卻表現(xiàn)出極高的置信度，這使得基于閾值的拒答機制近乎失效。

范式轉(zhuǎn)變：

從“消除不確定性”到“管理與利用不確定性”

在深入分析現(xiàn)有范式的局限后，俞凱帶領(lǐng)與會者進(jìn)行了一場認(rèn)知層面的思辨。他提出，不確定性并非純粹的缺陷，而是人類認(rèn)知和交互中的本質(zhì)屬性，有時甚至是高效率溝通的必要條件。

“我們的目標(biāo)不應(yīng)是試圖徹底消除不確定性，而是要像人類一樣，學(xué)會識別、管理并利用它。”俞凱強調(diào)，“可靠性”的定義需要從單純的“正確性”轉(zhuǎn)變?yōu)榫C合考量“交互代價”與“有用性”的性價效用平衡。基于這一理念，他提出了第三種范式，即“基于不確定性感知的可靠性對齊”。這一范式的核心在于，將智能體從傳統(tǒng)的“回答”或“拒答”擴展為包含“澄清”、“詢問”、“切換工具”等在內(nèi)的“非決定性行動”。

俞凱表示，智能體的可靠性不應(yīng)片面追求絕對正確率，而應(yīng)構(gòu)建一個兼顧“有用性”與“負(fù)責(zé)度”的框架，讓系統(tǒng)學(xué)會在不確定中做出合理決策與擔(dān)當(dāng)。

實踐路徑：

單智能體與多智能體的可靠性解決方案

會上，俞凱介紹了在實踐中落實新范式的情況。在單智能體可靠性方面，團(tuán)隊通過“顯式知識邊界感知建?！钡姆绞剑瑏碛?xùn)練智能體明確區(qū)分“確定”、“不確定”和“拒答”區(qū)域。通過基于知識反饋的強化學(xué)習(xí)等技術(shù)，讓智能體學(xué)會在信息不足時主動向用戶澄清，而非強行執(zhí)行或直接放棄。例如，當(dāng)用戶查詢“請幫我查一下去北京的票價”時，可靠的智能體會主動詢問“您從哪個城市出發(fā)？”，從而避免因信息缺失而產(chǎn)生的工具調(diào)用幻覺。實踐證明，該方法顯著降低了知識幻覺和工具幻覺，在數(shù)值推理和工具調(diào)用任務(wù)中的幻覺率甚至低于頂尖商業(yè)模型。

針對更為復(fù)雜的多輪交互場景，則引入“慢思考”精煉機制。對于智能體標(biāo)記為“不確定”的響應(yīng)，由一個獨立的“精煉模型”進(jìn)行深度推理和優(yōu)化，形成“快速思維”負(fù)責(zé)高精度輸出、“慢速思維”處理模糊地帶的協(xié)同系統(tǒng)，有效解決了多輪對話中不確定性的傳播與放大問題。

在多智能體可靠性方面，俞凱提出了“分布式路由選擇”架構(gòu)。不同規(guī)模和能力的模型組成一個模型池，面對用戶查詢，成本較低的小型模型首先進(jìn)行自我評估，若勝任則直接回答，若不勝任則“路由”給更強大的模型。“這實現(xiàn)了一種既可靠又高效的資源配置，在保證性能的同時，盡可能控制計算成本?！?/p>

演講的最后，俞凱表示，基于“不確定性感知的可靠性對齊”框架能夠?qū)⑷斯ぶ悄軓囊慌_追求絕對正確的“答題機器”，轉(zhuǎn)變?yōu)橐粋€能夠感知邊界、主動溝通、協(xié)同決策的“可靠伙伴”。

作為思必馳首席科學(xué)家，俞凱帶領(lǐng)團(tuán)隊研發(fā)的“1+N”分布式大模型智能體系統(tǒng)，也是基于“不確定性感知的可靠性對齊”范式構(gòu)建?！?”即一個中樞大模型，負(fù)責(zé)基礎(chǔ)語言處理與通用知識整合；“N”即N個垂域模型，針對具體行業(yè)場景進(jìn)行優(yōu)化，形成可柔性定制的行業(yè)語言大模型。現(xiàn)已廣泛用于智能汽車、智慧物聯(lián)、會議辦公等領(lǐng)域，成本與響應(yīng)速度優(yōu)勢顯著。

這一創(chuàng)新范式并非一蹴而就，而是建立在俞凱與團(tuán)隊長期的學(xué)術(shù)研究與產(chǎn)業(yè)實踐基礎(chǔ)上。在今年8月召開的第二十四屆中國計算語言學(xué)大會（CCL2025）和10月舉行的2025年第二十屆全國人機語音通訊學(xué)術(shù)會議（NCMMSC2025）現(xiàn)場，俞凱已就相關(guān)研究方向進(jìn)行了分享，在行業(yè)內(nèi)形成了持續(xù)討論。

“不確定性感知的可靠性對齊”范式切中了AI工程化應(yīng)用時所遇到問題的要害，引發(fā)了在場頂尖科學(xué)家與產(chǎn)業(yè)專家的共鳴與深入討論。隨著任務(wù)型大語言模型智能體在各個行業(yè)場景的深度融合，對“可靠性”的重新定義與技術(shù)攻堅，已成為推動人工智能縱深發(fā)展的關(guān)鍵引擎，并將催生以高質(zhì)量、高可靠性為特征的新質(zhì)生產(chǎn)力。