原文鏈接：https://www.letta.com/blog/ai-agents-stack

一，理解AI智能體

盡管市面上有許多關(guān)于智能體堆棧和市場的分類，但我們認為這些分類并不總能準確反映開發(fā)者實際使用的工具和技術(shù)。隨著內(nèi)存、工具使用、安全執(zhí)行和部署方面的進步，我們決定分享基于我們一年多的開源AI工作和7年以上的AI研究經(jīng)驗的“智能體堆棧”。

2024年末的AI智能體堆棧，被組織成三個關(guān)鍵層：

智能體托管/服務

智能體框架

LLM模型與存儲

二，從LLM到LLM智能體

2022年和2023年見證了LLM框架和SDK的興起，以及通過API消費LLM和自部署LLM推理的平臺的建立。2024年，我們看到了對AI“智能體”的興趣急劇轉(zhuǎn)變，智能體通常指被賦予輸出動作（工具調(diào)用）并在自治環(huán)境中運行的LLM。

三，智能體堆棧的獨特之處

智能體比基本的LLM聊天機器人是一個更復雜的工程挑戰(zhàn)，因為它們需要狀態(tài)管理（保留消息/事件歷史，存儲長期記憶，執(zhí)行多個LLM調(diào)用在智能體循環(huán)中）和工具執(zhí)行（安全執(zhí)行LLM輸出的動作并返回結(jié)果）。

因此，AI智能體堆棧與標準的LLM堆棧看起來非常不同。讓我們從模型服務層開始，分解今天的AI智能體堆棧：

1，模型服務

LLM是AI智能體的核心，需要通過推理引擎提供服務，通常運行在付費API服務后面。OpenAI和Anthropic在封閉API模型推理提供商中領(lǐng)先，而Together.AI、Fireworks和Groq等提供開放權(quán)重模型服務。vLLM在本地模型推理提供商中領(lǐng)先。

2，存儲

存儲是智能體的基本構(gòu)建塊，智能體需要持久狀態(tài)，如對話歷史、記憶和外部數(shù)據(jù)源。向量數(shù)據(jù)庫如Chroma、Weaviate等流行于存儲智能體的“外部記憶”。Postgres通過pgvector擴展支持向量搜索。

3，工具和庫

智能體與AI聊天機器人的主要區(qū)別在于智能體能夠調(diào)用“工具”。LLM生成結(jié)構(gòu)化輸出指定要調(diào)用的函數(shù)和參數(shù)。智能體服務必須使用沙箱以確保安全執(zhí)行。智能體通過OpenAI定義的JSON模式調(diào)用工具，這意味著智能體和工具可以跨不同框架兼容。

4，智能體框架

智能體框架協(xié)調(diào)LLM調(diào)用和管理智能體狀態(tài)，不同框架在狀態(tài)管理、上下文窗口結(jié)構(gòu)、跨智能體通信和內(nèi)存方法上有不同的設計。智能體框架的選擇取決于應用程序的需求。

5，智能體托管和智能體服務

大多數(shù)智能體框架設計為智能體僅存在于編寫的腳本或筆記本中。我們認為智能體的未來是作為服務部署到本地或云基礎設施，通過REST API訪問。部署智能體作為服務比部署LLM更復雜，涉及狀態(tài)管理和安全工具執(zhí)行。

四，總結(jié)

智能體堆棧仍處于早期階段，我們期待看到生態(tài)系統(tǒng)的擴展和演變。有興趣的讀者可以查看Letta OSS項目和注冊Letta Cloud的早期訪問。

看了以上內(nèi)容，你的看法是？歡迎評論區(qū)留言討論！

審核編輯 黃宇