大模型時代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護欄”，可以輕松的為基于 LLM 的對話系統(tǒng)添加可編程護欄，來避免大語言模型輸出違法違規(guī)內(nèi)容，并通過自定義方式響應(yīng)用戶特定請求，按照預(yù)定義的對話路徑進行操作，以及使用特定的語言風(fēng)格進行回答。

那如何在 Azure 中搭建 NeMo Guardrails 環(huán)境，將 NeMo Guardrails 與 Azure OpenAI 結(jié)合使用，構(gòu)建更加安全可靠的 LLM 對話引擎？本期【比特熊充電?！縉VIDIA 企業(yè)級開發(fā)者社區(qū)經(jīng)理李奕澎，將為大家解讀 NeMo Guardrails 中的 Colang 語言，以及進行將 NeMo Guardrails 與 Azure OpenAI 結(jié)合使用的代碼實戰(zhàn)，見證安全 LLM 對話引擎的構(gòu)建。

李奕澎

NVIDIA 企業(yè)級開發(fā)者社區(qū)經(jīng)理

NLP，Conversational-AI，LLM

Colang 語言

定義 LLM 對話引擎

NeMo Guardrails 中的 Colang 語言，是一種用于對話式人工智能的建模語言，能夠定義護欄。它的目標(biāo)是為用戶提供一個可讀可擴展的，使用自然語言定義或控制對話機器人的行為的語言。

Colang 語言已經(jīng)作為 NeMo Guardrails 的內(nèi)核來使用。Colang 語言像電影的編劇，用戶和機器人是演員，通過 Colang 語言，可以定義用戶的信息、機器人信息和 Flow，把機器話語和用戶話語進行對話邏輯上的連接。

Colang 語言中常用的關(guān)鍵詞包括 bot, break, continue, create, define 等，能夠幫助開發(fā)快速上手使用，降低對話式 AI 領(lǐng)域的學(xué)習(xí)門檻。

NeMo Guardrails 與 Azure OpenAl 的結(jié)合使用

搭建 LLM 對話引擎

在上一期【比特熊充電?！恐校呀?jīng)詳細解讀了在 Azure 中搭建 NeMo Guardrails 環(huán)境的步驟，包括申請 Azure 賬號，開通 Azure Machine Learning 服務(wù)，安裝 OpenAI、NeMo Guardrails，開通 Azure OpenAI 服務(wù)等。搭建完成后，才能將 NeMo Guardrails 與 Azure OpenAl 結(jié)合使用。

NeMo Guardrails 與 AzureOpenAl 結(jié)合使用，構(gòu)建更加安全可靠的LLM對話引擎，還需要通過以下步驟進行操作：

?導(dǎo)入 NeMo Guardrails 大模型護欄及 RailsConfig 護欄配置文件工具類；

?從 langchain 中導(dǎo)入 Azure Chat OpenAI 工具類；

?傳入 Azure OpenAI 的 API-KEY、endpoint、deployment_name、對應(yīng)的版本信息等關(guān)鍵參數(shù)，就可以實例化一個大模型；

?調(diào)用 NeMo Guardrails 大模型中的 from_content 變量，讀取 Colang_Config2 文件和 Yaml_Config 配置文件，就可以實例一個安全的聊天機器人 App；

?調(diào)用 App 中的 generate_async 函數(shù)，輸入用戶的問題語句，機器人就會給出對應(yīng)的回答。

NeMo Guardrails

自定義 LLM 對話引擎應(yīng)用

NeMo Guardrails 除了支持 Azure OpenAI 外，還支持很多對話引擎大模型，包括 AI21labs、Cohere、Hugging Face、GPT4All 等。調(diào)用對話引擎大模型，首先要自定義一個大語言模型的 class：從 langchain 中導(dǎo)入 BaseLanguageModel，從 NeMo Guardrails 中導(dǎo)入 register_llm_provider，自定義大語言模型的 class 并注冊。

以 Hugging Face 為例，調(diào)用對話引擎大模型的步驟如下：

?創(chuàng)建并初始化一個構(gòu)造函數(shù)，調(diào)用父類的構(gòu)造函數(shù)來初始化這個類的實例；

?然后指定大模型的 ID，調(diào)用 HuggingFacePipeline class 中的 from_model_id 函數(shù)，輸入對應(yīng)大模型 id，定義 device、task 和模型參數(shù)；

?然后定義返回、自定義函數(shù)，以字符串的形式返回大語言模型的類型，在 langchain 中分別同步調(diào)用和異步調(diào)用自定義 LLM。