許多企業(yè)（OpenAI、AI21、CoHere 等）正在提供 LLM 作為服務(wù)，因為它們在商業(yè)、科學和金融環(huán)境中具有誘人的潛力。雖然 GPT-4 和其他 LLM 在諸如問答等任務(wù)上展示了破紀錄的性能，但它們在高吞吐量應(yīng)用程序中的使用可能會非常昂貴。例如，使用 GPT-4 協(xié)助客戶服務(wù)可能會使小型企業(yè)每月花費超過 21,000 美元，而 ChatGPT 預計每天花費超過 700,000 美元。使用最大的 LLM 需要付出高昂的貨幣代價，并對環(huán)境和社會產(chǎn)生嚴重的負面影響。

研究表明，許多 LLM 可以通過 API 以各種定價獲得。使用 LLM API 的成本通常分為三個部分：

提示成本（與提示的持續(xù)時間成比例）
生成成本（與生成長度成比例）
每個問題的固定費用。
鑒于價格和質(zhì)量的廣泛差異，從業(yè)者可能很難決定如何最好地使用所有可用的 LLM 工具。此外，如果服務(wù)中斷，則依賴單個 API 提供者是不可靠的，這可能發(fā)生在意外高需求的情況下。

上傳失敗，網(wǎng)絡(luò)異常。

重試

當前模型級聯(lián)和 FrugalML 等模型集成范例未考慮 LLM 的局限性，這些范例是為具有固定標簽集的預測任務(wù)開發(fā)的。

斯坦福大學最近的研究提出了一個名為 FrugalGPT 的預算友好型框架的概念，它利用 LLM API 來處理自然語言查詢。

及時適應(yīng)、LLM 近似和 LLM 級聯(lián)是降低成本的三種主要方法。為了節(jié)省開支，提示適應(yīng)調(diào)查了確定哪些提示最有效的方法。通過近似復雜且昂貴的 LLM，可以開發(fā)更簡單且更具成本效益的替代方案，其性能與原始方案一樣好。 LLM 級聯(lián)的關(guān)鍵思想是為各種查詢動態(tài)選擇合適的 LLM API。

實施并評估了基于 LLM 級聯(lián)構(gòu)建的 FrugalGPT 基本版本，以展示這些想法的潛力。對于每個數(shù)據(jù)集和任務(wù)，F(xiàn)rugalGPT 學習如何自適應(yīng)地將數(shù)據(jù)集中的問題分類到 LLM 的各種組合，例如 ChatGPT、GPT-3 和 GPT-4。與最好的單個 LLM API 相比，F(xiàn)rugalGPT 節(jié)省了高達 98% 的推理成本，同時在下游任務(wù)上保持相同的性能。另一方面，F(xiàn)rugalGPT 可以以相同的價格實現(xiàn)高達 4% 的性能提升。

FrugalGPT 的 LLM 級聯(lián)技術(shù)需要對標記示例進行訓練。此外，為了使級聯(lián)有效，訓練和測試示例應(yīng)該具有相同或相似的分布。此外，掌握LLM級聯(lián)也需要時間和精力。

FrugalGPT 尋求性能和成本之間的平衡，但其他因素，包括延遲、公平性、隱私和環(huán)境影響，在實踐中更為重要。該團隊認為，未來的研究應(yīng)側(cè)重于在不犧牲性能或成本效益的情況下將這些功能納入優(yōu)化方法。 LLM 生成的結(jié)果的不確定性也需要仔細量化以用于風險關(guān)鍵型應(yīng)用。