先劃重點(diǎn)：中文醫(yī)學(xué)知識(shí)，不是「中醫(yī)」。

自從 Meta（原 Facebook）的 LLaMA 大語(yǔ)言模型發(fā)布以來，相信大家看到了許多以“駝?lì)悇?dòng)物”命名的 LLM。比如斯坦福用了 Alpaca，伯克利用了 Vicuna，Joseph Cheung 等開發(fā)者團(tuán)隊(duì)用了 Guanaco。

據(jù)說南美洲的無(wú)峰駝?lì)悇?dòng)物一共就是上圖列出的 4 種 —— 已經(jīng)被各家的大模型命名使用。

不得不承認(rèn)這些以“駝?lì)悇?dòng)物”命名的 LLM 都很厲害，但如果，我是說如果，我拿出下面這個(gè) LLM，閣下又當(dāng)如何應(yīng)對(duì)？

沒錯(cuò)，正是「華駝」。

見名知意，華駝肯定跟醫(yī)學(xué)有關(guān)——這是一個(gè)基于中文醫(yī)學(xué)知識(shí)的LLaMA 微調(diào)模型。

說到這，這個(gè) LLM 的命名很難不讓人拍案叫絕，將神醫(yī)華佗與基于“羊駝”的大語(yǔ)言模型巧妙地結(jié)合在一起。

此項(xiàng)目開源了經(jīng)過中文醫(yī)學(xué)指令精調(diào) / 指令微調(diào) （Instruct-tuning） 的 LLaMA-7B 模型。

通過醫(yī)學(xué)知識(shí)圖譜和 GPT 3.5 API 構(gòu)建了中文醫(yī)學(xué)指令數(shù)據(jù)集，并在此基礎(chǔ)上對(duì) LLaMA 進(jìn)行了指令微調(diào)，提高了 LLaMA 在醫(yī)療領(lǐng)域的問答效果。

據(jù)介紹，醫(yī)學(xué)知識(shí)庫(kù)圍繞疾病、藥物、檢查指標(biāo)等構(gòu)建，字段包括并發(fā)癥，高危因素，組織學(xué)檢查，臨床癥狀，藥物治療，輔助治療等。知識(shí)庫(kù)示例如下：

{“中心詞”： “偏頭痛”， “相關(guān)疾病”： ［“妊娠合并偏頭痛”， “惡寒發(fā)熱”］， “相關(guān)癥狀”： ［“皮膚變硬”， “頭部及眼后部疼痛并能聽到連續(xù)不斷的隆隆聲”， “晨起頭痛加重”］， “所屬科室”： ［“中西醫(yī)結(jié)合科”， “內(nèi)科”］， “發(fā)病部位”： ［“頭部”］}

然后利用 GPT3.5 接口圍繞醫(yī)學(xué)知識(shí)庫(kù)構(gòu)建問答數(shù)據(jù)，并設(shè)置了多種 Prompt 形式來充分利用知識(shí)。指令微調(diào)的訓(xùn)練集數(shù)據(jù)示例如下：

“問題：一位年輕男性長(zhǎng)期使用可卡因，突然出現(xiàn)胸痛、嘔吐、出汗等癥狀，經(jīng)檢查發(fā)現(xiàn)心電圖反映心肌急性損傷，請(qǐng)問可能患的是什么疾??？治療方式是什么？” 回答： 可能患的是心肌梗塞，需要進(jìn)行維拉帕米、依普利酮、硝酸甘油、?阻滯劑、嗎啡等藥物治療，并進(jìn)行溶栓治療、低分子量肝素、鈣通道阻滯劑等輔助治療。此外需要及時(shí)停用可卡因等藥物，以防止病情加重?！?/p>

該項(xiàng)目提供模型的訓(xùn)練數(shù)據(jù)集共計(jì)八千余條，需要注意的是，雖然訓(xùn)練集的構(gòu)建融入了知識(shí)，但是仍存在錯(cuò)誤和不完善的地方。

基于相同的數(shù)據(jù)，項(xiàng)目團(tuán)隊(duì)還訓(xùn)練了醫(yī)療版本的 ChatGLM 模型：ChatGLM-6B-Med。

這些模型在醫(yī)療領(lǐng)域的問答效果得到了顯著提升，下面是不同模型的效果對(duì)比：

由此可見，指令微調(diào)在醫(yī)療領(lǐng)域具有很大的應(yīng)用潛力。

同時(shí)，該項(xiàng)目還嘗試將醫(yī)學(xué)文獻(xiàn)的【結(jié)論】融入多輪對(duì)話，在此基礎(chǔ)上對(duì) LLaMA 進(jìn)行指令微調(diào)，以進(jìn)一步提高模型的實(shí)用性。

目前，項(xiàng)目團(tuán)隊(duì)只開放針對(duì)”肝癌“單個(gè)疾病訓(xùn)練的模型參數(shù)。未來計(jì)劃發(fā)布融入文獻(xiàn)結(jié)論的醫(yī)學(xué)對(duì)話數(shù)據(jù)集，并且會(huì)針對(duì)“肝膽胰”相關(guān) 16 種疾病訓(xùn)練模型。這將有助于廣泛應(yīng)用于更多疾病的診斷和治療建議。

下面是訓(xùn)練樣本的示例：

華駝項(xiàng)目團(tuán)隊(duì)稱下一個(gè)發(fā)布的新模型會(huì)被命名為扁鵲 （PienChueh）。

審核編輯 ：李倩