隨著智能化的深入發(fā)展，大模型的時代已經(jīng)到來?，F(xiàn)在，大模型如雨后春筍般層出不窮，微軟 Azure OpenAI 等新服務(wù)的推出，不斷開創(chuàng)著人機交互的新形態(tài)，也在助力每一位開發(fā)者把握技術(shù)變革帶來的創(chuàng)新機遇，構(gòu)建更多創(chuàng)新應用，釋放數(shù)據(jù)價值，加速降本增效。

但在大模型實際應用的過程中，還面臨著海量的知識庫數(shù)據(jù)難梳理、難理解，大語言模型 LLM 應用安全性等挑戰(zhàn)。智能技術(shù)如何助力企業(yè)化解大模型應用中的種種挑戰(zhàn)和難題？

本期【比特熊充電棧】聯(lián)名系列，特邀凱捷咨詢(中國)有限公司工程師王勝楊和 NVIDIA 企業(yè)級開發(fā)者社區(qū)經(jīng)理李奕澎，解讀 Microsoft Build 中國黑客松挑戰(zhàn)賽 AOAI 企業(yè)解決方案，及 NVIDIA NeMo Guardrails，化解應用挑戰(zhàn)，加速應用智能化更新。

王勝楊

凱捷咨詢(中國)有限公司工程師

云原生，DevOps，Azure

李奕澎

NVIDIA 企業(yè)級開發(fā)者社區(qū)經(jīng)理

NLP，Conversational-AI，LLM

海量醫(yī)療文獻數(shù)據(jù)難研究？

基于 Azure OpenAI 搭建論文研究助手

生命科學行業(yè)，在基因組單細胞和空間轉(zhuǎn)錄的醫(yī)學應用中，主題知識庫不可或缺。但現(xiàn)有知識庫的建設(shè)，需要大量人工去校正和審核，導致新知識共享非常緩慢。想要構(gòu)建生命科學行業(yè)全新知識庫，加速科學研究與醫(yī)學應用，輔助藥物研發(fā)或臨床決策，還面臨三大難點：

?快：如何從海量文獻提取醫(yī)學專業(yè)的實體信息？

?準：專業(yè)要求高，如何能理解醫(yī)學專業(yè)文獻，理解文獻的總思路？

?狠：如何總結(jié)文獻關(guān)鍵信息，提升科研工作效率與成功的可能性？

智能技術(shù)如何促進生命科學行業(yè)轉(zhuǎn)型升級？借助大語言模型的自然語言理解能力及自然語言生成能力，能從海量數(shù)據(jù)中快速提取出有效信息，并理解專業(yè)醫(yī)學文獻的關(guān)鍵信息。

凱捷咨詢基于 Azure OpenAI 搭建論文研究助手，使用 Azure OpenAI 對用戶問題意圖進行意圖判斷；利用 Azure OpenAI NLU 和 NLG 功能，加速業(yè)務(wù)人員對專業(yè)論文的概括、總結(jié)、實體提取等；集成 Lang chain 和自定義 Tool，構(gòu)建針對 DOI 的論文下載管道；文件上傳至 Embedding 管道，方便日后重復對某篇論文進行進一步研究；集成 LangSmith，實現(xiàn)對 GPT 調(diào)用的的監(jiān)視。

?知識圖譜功能：通過角色扮演的方式，讓 GPT 作為基因領(lǐng)域的專家，為不熟悉醫(yī)學專業(yè)名詞的技術(shù)人員提供關(guān)鍵詞，通過 Azure Search，對文章進行關(guān)鍵詞提取，以此來構(gòu)建知識圖譜。

?論文研究 Copilot：當不想閱讀或遇到不熟悉的關(guān)鍵詞時，選中文章就能進行段落實時總結(jié)、名詞解釋、段落概括和翻譯。

大模型安全難掌控？

基于 Azure 結(jié)合 NeMo Guardrails 構(gòu)建 LLM 可編程護欄

大語言模型 LLM 是功能強大的工具，企業(yè)和開發(fā)者都在探索 LLM 的落地應用，但在實際使用過程中也存在著大量的風險。用戶可能會接觸到 LLM 生成的不當、有害和有偏見的內(nèi)容，甚至是危險信息，存在安全隱患。

智能技術(shù)如何為 LLM 應用戴上安全“護欄”？NVIDIA NeMo Guardrails 是一個開源工具庫，致力于使 LLM 大語言模型的使用更加合法合規(guī)。它可以輕松將可編程護欄添加到基于 LLM 的對話系統(tǒng)中，控制大型語言模型輸出的特定方式，例如不談?wù)撨`規(guī)內(nèi)客、以特定方式響應特定用戶請求、遵循預定義的對話路徑、使用特定語言風格、提取結(jié)構(gòu)化數(shù)據(jù)等。NeMo Guardrails 的核心價值是能夠編寫防護圍欄來指導對話，定義 LLM 驅(qū)動的機器人在某些主題上的行為，構(gòu)建值得信賴、安全可靠的 LLM 對話系統(tǒng)。

? 話題限定護欄 (topical guardrails)：防止大模型“跑題”；

?對話安全護欄 (safety guardrails)：避免大模型輸出時“胡言亂語”；

?攻擊防御護欄 (security guardrails)：防止 AI 平臺收到惡意攻擊。

基于 Azure 云平臺將 NeMo Guardrails 與 Azure OpenAI 相結(jié)合，能快速為 Azure OpenAI 中的 ChatGPT 大模型添加 LLM 可編程護欄系統(tǒng)，避免潛在風險。構(gòu)建 LLM 可編程護欄的步驟如下：

? 申請 Azure 賬號；

? 開通 Azure Machine Learning 服務(wù)（注意選擇計算資源）；

?打開終端執(zhí)行：安裝 OpenAI、NeMo Guardrails；

?開通 Azure OpenAI 服務(wù)，導入 NeMo Guardrails 大模型護欄及護欄配置文件工具類/從 langchain 中導入 Azure Chat OpenAI 工具類，傳入 Azure OpenAI 的 API-KEY、endpoint、deployment_name 等關(guān)鍵參數(shù)；

?在Azure Machine Learning中，把NeMo Guardrails 與 Azure OpenAI 結(jié)合使用，讀取配置文件和 Colang 文件，進行人機交互對話邏輯的設(shè)計，構(gòu)建更加安全可靠的 LLM 對話引擎。

想了解更多 NeMo Guardrails 與 Azure OpenAI 的結(jié)合使用的操作指南和干貨知識，點擊文末“閱讀原文”，就可以回看【比特熊充電?！繉W習實踐。

掃描比特熊個熊微信二維碼

加入【比特熊粉絲后援會】

與開發(fā)者一起嗨聊，期待成為你的好友~