精品日韩视频一区二区,黃色AV,上海三对夫妇会所互换视频

近日，星策開源社區(qū) LLMOps meetup V3直播活動順利舉行，由星策開源和CSDN等多個平臺同時播出，共吸引來14000+觀眾觀看。中軟國際AIGC研究院執(zhí)行院長、解放號副總裁韓鵬受邀參加并分享當前業(yè)界最為關(guān)注的大模型在企業(yè)場景中實際落地的案例和實踐，還演示了基于JointPilot平臺構(gòu)建AIGC企業(yè)應(yīng)用的典型模式、方法、工具和關(guān)鍵技術(shù)，小編整理了一下，為廣大開發(fā)者帶來超實用的AIGC應(yīng)用落地干貨。

企業(yè)級AIGC應(yīng)用導(dǎo)入LLM的典型落地模式和技術(shù)路線

大模型落地的技術(shù)路線有六種，企業(yè)要綜合考慮門檻高低、訓練周期長短、算力數(shù)據(jù)成本要求等問題。經(jīng)過多方研究和驗證測試后，中軟國際AIGC研究院最終選擇了“意圖模型+DKG+Plugin”作為企業(yè)級AIGC應(yīng)用導(dǎo)入LLM的典型落地模式和技術(shù)路線。這種模式有了能夠本地部署的意圖理解模型做為應(yīng)用調(diào)度的中樞，通過DKG做模型的前后約束，并集成Plugin的能力，更適合于面向?qū)?shù)據(jù)安全、業(yè)務(wù)邏輯規(guī)則要求比較嚴格的政企行業(yè)應(yīng)用場景。

一起來看看大模型賦能應(yīng)用的運轉(zhuǎn)機制是怎樣的？

韓鵬以銷售助手為例介紹了大模型賦能應(yīng)用的運轉(zhuǎn)機制。在傳統(tǒng)工作場景下，銷售在拜訪客戶前需要進行客戶背調(diào)、項目收集及談資等準備工作，在拜訪客戶后還需要詳細整理內(nèi)容形成拜訪記錄和工作總結(jié)，工作繁雜且耗時耗力。

銷售助手AI應(yīng)用通過大語言模型賦能之后，生成一套運轉(zhuǎn)的流程和機制，用大語言模型去完成意圖理解，理解了用戶的意圖之后對用戶指令進行任務(wù)拆分，分別調(diào)用不同的微應(yīng)用去執(zhí)行任務(wù)。最后輸出時，銷售助手也做了安全性的矯正，保障輸出的結(jié)果是準確合規(guī)的。

在思維鏈加持下大模型可以進行意圖識別和任務(wù)拆解，通過長思維鏈的技術(shù)方式增強大模型的規(guī)劃和推理能力，根據(jù)任務(wù)調(diào)微應(yīng)用執(zhí)行，同時使用內(nèi)部沉淀及外部抓取的數(shù)據(jù)，集成各類通用及定制的能力，共同構(gòu)建了以問答為基本交互形式的銷售助手。銷售助手幫助銷售人員完成了客戶拜訪前的談資和話術(shù)準備，讓工作更高效精準。

怎么利用JointPilot Studio編排一個AI應(yīng)用呢？

JointPilot平臺在應(yīng)用開發(fā)方面提供一款新型增強的開發(fā)工具Studio和一種全新的應(yīng)用組裝方法。一個普通的業(yè)務(wù)人員可以使用開發(fā)者工具進行微應(yīng)用編排。

平臺支持多種非結(jié)構(gòu)化數(shù)據(jù)接入，支持各類文檔導(dǎo)入，比如上傳文檔，通過向量數(shù)據(jù)庫和大模型進行知識重構(gòu)，構(gòu)建采購政策、項目方案知識庫；還可以調(diào)用模型的能力自動生成問答對在平臺上預(yù)置，便于開發(fā)者快速調(diào)??；也支持行業(yè)專用詞典的知識接入，幫助大模型理解專用術(shù)語。

當然，在實際場景還會有一些結(jié)構(gòu)化的數(shù)據(jù)需要接入到知識庫，比如CRM系統(tǒng)的客戶拜訪記錄數(shù)據(jù)，本地數(shù)據(jù)集、數(shù)據(jù)表的導(dǎo)入，各種Excel文件導(dǎo)入等等，這些結(jié)構(gòu)化數(shù)據(jù)讓大模型能夠更懂企業(yè)場景私有的領(lǐng)域知識。大家可以使用JointPilot平臺自動化的工具，快速實現(xiàn)百萬級條目數(shù)據(jù)導(dǎo)入，大大減輕了手工導(dǎo)入數(shù)據(jù)和知識費時費力的煩惱。

在微應(yīng)用編排過程中，大模型需要訪問各類數(shù)據(jù)庫，包括關(guān)系數(shù)據(jù)庫查詢、數(shù)據(jù)集查詢、文檔知識庫查詢等，比如查詢客戶歷史拜訪記錄，平臺提供NL2SQL生成器等工具，方便用戶通過Prompt工程讓大模型生成SQL查詢語句。

同時還要讓大模型會用工具，通過自動化配置請求鏈接、接口參數(shù)等輕松實現(xiàn)API的調(diào)用，從而大幅降低用戶應(yīng)用生成的門檻。

在對話場景中，我們需要通過角色設(shè)定來讓大模型能夠更好的理解特定身份的任務(wù)，比如銷售助手中大模型在拜訪前輔助銷售人員進行準備工作梳理并提供鼓勵，可以通過配置好的Prompt模板，來實現(xiàn)角色扮演的任務(wù)。

那么，大模型是怎樣像人一樣會用大腦去思考用戶提出的問題，怎樣自動分發(fā)應(yīng)用，自動化編排、自動化組裝？這就需要訓練出一個意圖識別大模型作為應(yīng)用調(diào)度的中樞，通過大模型來識別提取需求要素，作為數(shù)據(jù)服務(wù)參數(shù)，傳遞給要調(diào)取的應(yīng)用。

揭秘怎樣“煉制”更符合企業(yè)場景需要的模型

想要“煉制”更符合企業(yè)場景需要的模型，首先要選擇一個基座模型，要準備數(shù)據(jù)集，還要有一套合適的訓練方案。目前用的比較多的是SFT監(jiān)督微調(diào)、LoRA 微調(diào)、P-tuning v2 微調(diào)方法。最后要對模型優(yōu)化效果進行評估。整個訓練過程會使用工具把很多腳本執(zhí)行的碎片化過程，通過可視化界面實現(xiàn)全過程管理。數(shù)據(jù)集的選取、封裝，以及具體參數(shù)的調(diào)整，都通過工具來完成。

解放號總結(jié)出了一套訓練大模型的心得，分享給各位開發(fā)者：

1、鑒于每個模型的表現(xiàn)不太一樣，選擇一個合適的基座模型最重要。訓練command模型最終選用百川大模型，它的優(yōu)勢是基于LLAMA做中文訓練，在中文的表現(xiàn)很好。大模型尺寸選擇會影響模型推理能力。

2、數(shù)據(jù)集質(zhì)量特別關(guān)鍵。尤其是在企業(yè)場景里，需要跟大量業(yè)務(wù)部門和業(yè)務(wù)人員一起做監(jiān)督學習和數(shù)據(jù)標注，也可借用大模型來擴展增強數(shù)據(jù)集，使用instruction、input、output方式來整理。如果模型泛化能力弱，就需要增強訓練數(shù)據(jù)多樣性。

3、精調(diào)的方案選擇和場景相關(guān)度非常高。建議通過做多種方案對比測試看實際效果?？梢杂?%-20%的數(shù)據(jù)集作為測試數(shù)據(jù)來測試精調(diào)的任務(wù)，建議測試數(shù)據(jù)和訓練數(shù)據(jù)要分開用，通過測試后再去跑全量的數(shù)據(jù)。當訓練結(jié)果大量返回重復(fù)字符時，就需要調(diào)整數(shù)據(jù)集和訓練參數(shù)，再重新做訓練。

4、盡可能訓練小尺寸模型，這對部署成本控制非常關(guān)鍵。一般情況4-8個節(jié)點才能滿足真正生產(chǎn)環(huán)境中使用的要求，所以在部署前盡可能做量化壓縮優(yōu)化，確保不損失太多性能的技術(shù)上降低資源的需求。

這一期干貨分享就到這了，相信小伙伴們還會有很多的問題想要交流，敬請繼續(xù)關(guān)注我們。中軟國際解放號將在JointPilot平臺的加持下，攜手廣大開發(fā)者，加速應(yīng)用創(chuàng)新，共贏企業(yè)級AIGC應(yīng)用未來！

原文標題：開學咯！跟著解小放一起來學習企業(yè)級AIGC應(yīng)用如何落地

文章出處：【微信公眾號：中軟國際】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴