本地化ChatGPT？Firefly推出基于BM1684X的大語言模型本地部署方案

自ChatGPT發(fā)布以來，生成式AI在全球引起了新的浪潮，它影響著各行各業(yè)，為世界帶來智能化的發(fā)展。然而，類ChatGPT的大語言模型極度依賴算力巨大的服務(wù)器，導(dǎo)致目前大部分應(yīng)用只能通過集中調(diào)用API的方式來應(yīng)用，很難本地化部署。

隨著大模型適用領(lǐng)域的擴(kuò)展，大模型登陸邊緣設(shè)備的需求凸顯，越來越多的行業(yè)需要把大語言模型應(yīng)用在專業(yè)的領(lǐng)域上。在這個背景下，F(xiàn)irefly推出了基于BM1684X平臺的大語言模型本地部署的方案，讓邊緣設(shè)備可配置上一顆真正的“智慧”大腦，應(yīng)用于各行各業(yè)。

本地化的ChatGLM-6B大語言模型

（1）具有 62 億參數(shù)

采用了由清華大學(xué)的ChatGLM-6B大語言模型，基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)，使用了和 ChatGPT 相似的先進(jìn)技術(shù)，以達(dá)到優(yōu)質(zhì)的效果。

（2）優(yōu)化中文對話

支持中英雙語的對話語言模型，并且針對中文問答和對話進(jìn)行了優(yōu)化，其開源的訓(xùn)練數(shù)據(jù)量達(dá)到1萬億字符的模型。

AI邊緣計算主機(jī)EC-A1684XJD4

ChatGLM-6B可部署在Firefly旗下產(chǎn)品AI嵌入式主機(jī)EC-A1684XJD4中，主機(jī)配置了16GB大內(nèi)存，適用于部分大模型的量化部署，可運行Ubuntu20.04操作系統(tǒng)，并集成最新的SOPHONSDK 3.0.0，可充分發(fā)揮BM1684X集成TPU的AI加速能力。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴