引言：近期，大型語(yǔ)言模型在各種任務(wù)上展現(xiàn)出優(yōu)異的性能，展示了廣闊的應(yīng)用前景。然而，在醫(yī)學(xué)領(lǐng)域，現(xiàn)有的模型主要是單一任務(wù)系統(tǒng)，缺乏足夠的表達(dá)能力和交互能力。因此，目前的模型與實(shí)際臨床工作流程中對(duì)它們的期望之間存在差距。雖然大型語(yǔ)言模型的出現(xiàn)和發(fā)展為交互式醫(yī)學(xué)系統(tǒng)帶來(lái)了希望，但由于其可能生成錯(cuò)誤的輸出和產(chǎn)生幻覺(jué)等問(wèn)題，不能直接應(yīng)用于實(shí)際場(chǎng)景。目前關(guān)于大模型在醫(yī)學(xué)領(lǐng)域的研究主要集中在評(píng)估現(xiàn)有模型性能、構(gòu)建適用的數(shù)據(jù)集以及指令微調(diào)等方面。

Large Language Models Encode Clinical Knowledge

http://arxiv.org/abs/2212.13138

本文的主要工作包括benchmark構(gòu)建、LLM評(píng)測(cè)和指令微調(diào)。

提出一個(gè)涵蓋醫(yī)學(xué)檢查、醫(yī)學(xué)研究和消費(fèi)者醫(yī)療問(wèn)題的醫(yī)學(xué)問(wèn)答benchmark：MultiMedQA。這是一個(gè)由七個(gè)醫(yī)學(xué)問(wèn)答數(shù)據(jù)集組成的基準(zhǔn)，包括六個(gè)現(xiàn)有數(shù)據(jù)集和新引入的一個(gè)數(shù)據(jù)集。這是一個(gè)評(píng)估LLM臨床知識(shí)和問(wèn)答能力的多樣化基準(zhǔn)，包括多項(xiàng)選擇題、需要對(duì)醫(yī)療專業(yè)人員的問(wèn)題進(jìn)行較長(zhǎng)格式回答的數(shù)據(jù)集，以及需要對(duì)非專業(yè)人員可能提出的問(wèn)題進(jìn)行較長(zhǎng)格式回答的數(shù)據(jù)集。本文還提出了一個(gè)醫(yī)生和非專業(yè)用戶評(píng)估框架，從多個(gè)維度來(lái)評(píng)估LLM性能。

本文在MultiMedQA上評(píng)估了PaLM及Flan-PaLM。通過(guò)結(jié)合各種提示策略（few-shot, chain-of-thought and self-consistency prompting），F(xiàn)lan-PaLM在MedQA（USMLE），MedMCQA，PubMedQA和MMLU臨床主題上超過(guò)了SOTA性能。特別是，它比之前的MedQA上的SOTA（USMLE）提高了17%以上。

由于在生成長(zhǎng)文本的數(shù)據(jù)集上，F(xiàn)lan-PaLM和臨床醫(yī)生的結(jié)果顯示出一定gap。本文提出了使用Instruction Prompt Tuning對(duì)Flan-PaLM進(jìn)行微調(diào)。使用soft prompt作為在多個(gè)醫(yī)學(xué)數(shù)據(jù)集之間共享的初始前綴，然后是相關(guān)的特定于任務(wù)的prompt（由instructions和/或few-shot示例組成，可能是CoT）以及實(shí)際問(wèn)題和上下文。通過(guò)隨計(jì)選取和人工評(píng)估過(guò)濾，最終使用40個(gè)來(lái)自HealthSearchQA，MedicineQA和LiveQA的例子用于Instruction Prompt Tuning訓(xùn)練，得到Med-PaLM模型。

Towards Expert-Level Medical Question Answering with Large Language Models

http://arxiv.org/abs/2305.09617

本文提出了Med-PaLM 2，是上面Med-PaLM工作的改進(jìn)，它通過(guò)結(jié)合PaLM 2、醫(yī)學(xué)領(lǐng)域微調(diào)和提示策略（包括一種新穎的ensemble refinement策略）來(lái)提升性能。Med-PaLM 2 在 MedQA 數(shù)據(jù)集上的得分高達(dá) 86.5%，比 Med-PaLM 提高了19%。

在CoT和self-consistency的基礎(chǔ)上，本文提出了一個(gè)新的提示策略：ensemble refinement (ER)。ER涉及兩個(gè)階段：首先，給定一個(gè)prompt和一個(gè)問(wèn)題，模型輸出多個(gè)解釋和答案。然后，以原始prompt、問(wèn)題和上一步的生成輸出為條件進(jìn)行提示，模型會(huì)生成更加精細(xì)的解釋和答案。這可以理解為self-consistency的泛化，LLM匯總第一階段的答案而不是簡(jiǎn)單的投票，使LLM能夠考慮其生成的解釋的優(yōu)點(diǎn)和缺點(diǎn)。在這里，為了提高性能而多次執(zhí)行第二階段，然后最后對(duì)這些生成的答案進(jìn)行多數(shù)投票以確定最終答案。

下表展示了Med-PaLM 2 在不同的提示策略下的性能?？梢钥闯鰁nsemble refinement改進(jìn)了CoT和SC，從而促使策略在這些基準(zhǔn)測(cè)試中獲得了更好的結(jié)果。

本文還引入了兩個(gè)對(duì)抗性問(wèn)題數(shù)據(jù)集來(lái)探索這些模型的安全性和局限性。

ChatDoctor: A Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge

http://arxiv.org/abs/2303.14070

ChatDoctor是一個(gè)主要在LLaMA上微調(diào)的醫(yī)學(xué)領(lǐng)域的大語(yǔ)言模型。

收集對(duì)話數(shù)據(jù)集：出于真實(shí)性的考慮，本文從在線醫(yī)療咨詢網(wǎng)站“HealthCareMagic”收集了約10萬(wàn)條真實(shí)的醫(yī)患對(duì)話，并對(duì)這些數(shù)據(jù)進(jìn)行了人工和自動(dòng)過(guò)濾等預(yù)處理，并命名為 HealthCareMagic-100k。此外，從在線醫(yī)療咨詢網(wǎng)站 iCliniq2 收集了大約1萬(wàn)條醫(yī)患對(duì)話用于以評(píng)估模型的性能。

外部知識(shí)大腦：如果模型能夠根據(jù)給定的權(quán)威可靠知識(shí)進(jìn)行回答，那么模型的準(zhǔn)確性將大大提高。對(duì)于醫(yī)療場(chǎng)景中的問(wèn)答，本文收集并編譯了一個(gè)數(shù)據(jù)庫(kù)，其中包括大約 700 種疾病及其相關(guān)癥狀、進(jìn)一步的醫(yī)學(xué)測(cè)試或措施以及推薦的藥物治療。該數(shù)據(jù)庫(kù)可以隨時(shí)更新，無(wú)需重新訓(xùn)練模型。除了疾病數(shù)據(jù)庫(kù)，一些權(quán)威的信息源也可以作為外部知識(shí)大腦，例如維基百科。

ChatDoctor可以檢索相應(yīng)的知識(shí)和可靠的來(lái)源，以更準(zhǔn)確地回答患者的詢問(wèn)。構(gòu)建完外部知識(shí)大腦后，通過(guò)構(gòu)造適當(dāng)?shù)膒rompt讓ChatDoctor自主檢索其所需要的知識(shí)。

本文先通過(guò)Stanford Alpaca的數(shù)據(jù)微調(diào)以獲得對(duì)話的能力，然后在收集的醫(yī)學(xué)對(duì)話數(shù)據(jù)集上微調(diào)。為了測(cè)試基于知識(shí)大腦的ChatDoctor模型的能力，向該模型詢問(wèn)了一些最近的醫(yī)學(xué)問(wèn)題，例如上圖中的Mpox（monkeypox，猴痘），由于這是一個(gè)新術(shù)語(yǔ)，ChatGPT 完全無(wú)法回答它，而 ChatDoctor 可以自主檢索 Mpox 的維基百科內(nèi)容并給出準(zhǔn)確的答案。

BenTsao: Tuning LLaMA Model With Chinese Medical Instructions

http://arxiv.org/abs/2304.06975

本文提出了本草模型（原叫“華駝“），一個(gè)生物醫(yī)學(xué)領(lǐng)域的中文LLM。BenTsao建立在開(kāi)源LLaMa-7B模型的基礎(chǔ)上，整合了來(lái)自中國(guó)醫(yī)學(xué)知識(shí)圖譜（CMeKG）的結(jié)構(gòu)化和非結(jié)構(gòu)化醫(yī)學(xué)知識(shí)，并采用基于知識(shí)的指令數(shù)據(jù)進(jìn)行微調(diào)。

數(shù)據(jù)集：醫(yī)學(xué)知識(shí)有各種類型，一般包括結(jié)構(gòu)化的醫(yī)學(xué)知識(shí)，如醫(yī)學(xué)知識(shí)圖譜，和非結(jié)構(gòu)化的醫(yī)學(xué)知識(shí)，如醫(yī)學(xué)指南等。本文利用了中國(guó)醫(yī)學(xué)知識(shí)圖譜CMeKG，該圖譜提供了有關(guān)疾病、藥物、癥狀等的醫(yī)學(xué)知識(shí)，并借助ChatGPT構(gòu)造了8000 多個(gè)指令數(shù)據(jù)形成指令數(shù)據(jù)集，用于監(jiān)督微調(diào)。

指標(biāo)：對(duì)于醫(yī)學(xué)問(wèn)答任務(wù)，本文引入了一個(gè)新的評(píng)估指標(biāo) SUS。SUS 指標(biāo)由三個(gè)維度組成：安全性 Safety，可用性Usability和流暢性 Smoothness。Safety 評(píng)估生成的響應(yīng)是否有可能誤導(dǎo)用戶并對(duì)他們的健康構(gòu)成威脅，Usability 評(píng)估生成的響應(yīng)反映醫(yī)學(xué)專業(yè)知識(shí)的程度，Smoothness 衡量生成的流暢度。

本文構(gòu)建了一組中文對(duì)話場(chǎng)景測(cè)試集，同時(shí)為了評(píng)估模型性能招募了五名具有醫(yī)學(xué)背景的注釋員通過(guò)SUS維度進(jìn)行評(píng)分。平均SUS分?jǐn)?shù)如下表所示。盡管LLaMA獲得了最高的安全分?jǐn)?shù)，但其回答中信息含量較低。本文的華拓模型顯著提高了知識(shí)的可用性。

Galactica: A Large Language Model for Science

http://arxiv.org/abs/2211.09085

本文指出，計(jì)算的最初希望是解決科學(xué)中的信息過(guò)載問(wèn)題。本文訓(xùn)練了一個(gè)大語(yǔ)言模型Galactica，能夠更好的自動(dòng)組織科學(xué)知識(shí)。Galactica是在人類科學(xué)知識(shí)的大型語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練的，語(yǔ)料庫(kù)包括4800 萬(wàn)篇論文、教科書和講義、數(shù)百萬(wàn)種化合物和蛋白質(zhì)、科學(xué)網(wǎng)站、百科全書等。

本文提出了一組專門的tokenization用于不同的輸入模態(tài)。對(duì)于引用、氨基酸序列、DNA序列等輸入，使用[START_{ }]和[END_{ }]來(lái)包裝文本。比如，對(duì)于引用，使用[START_REF] 和 [END_REF]來(lái)包裝。本文還引入 token來(lái)表示逐步推理，模仿內(nèi)部工作記憶上下文，同時(shí)還構(gòu)造提示數(shù)據(jù)集將分步推理包裝在中。下圖展示了使用 token來(lái)調(diào)用外部工具（python）并實(shí)現(xiàn)逐步計(jì)算的過(guò)程。

本文將prompts與通用語(yǔ)料庫(kù)一起包含在預(yù)訓(xùn)練中，并對(duì)Galactica各種科學(xué)任務(wù)上進(jìn)行了測(cè)試。在醫(yī)學(xué)問(wèn)答數(shù)據(jù)集 PubMedQA 上結(jié)果為77.6%，在MedMCQA上結(jié)果為52.9%，均在當(dāng)時(shí)達(dá)到最高水平。

Are Large Language Models Ready for Healthcare? A Comparative Study on Clinical Language Understanding

http://arxiv.org/abs/2304.05368

本文在臨床語(yǔ)言理解任務(wù)上對(duì)GPT-3.5、GPT-4 和 Bard 進(jìn)行了全面評(píng)估。任務(wù)包括命名實(shí)體識(shí)別、關(guān)系提取、自然語(yǔ)言推理、語(yǔ)義文本相似性、文檔分類和問(wèn)答，并在此過(guò)程中提出了一種新穎的提示策略，self-questioning prompting（SQP）。SQP旨在通過(guò)鼓勵(lì)模型更加了解自己的思維過(guò)程來(lái)提高模型性能，使他們能夠更好地理解相關(guān)概念從而達(dá)到更深入的理解。下圖是 SQP 的一般構(gòu)建過(guò)程：

下表將提出的SQP與現(xiàn)有的提示方法進(jìn)行了比較，突出顯示了各自的指導(dǎo)方針和目的。

下面展示了六個(gè)任務(wù)的SQP模板，每個(gè)模板中突出顯示了核心的自我提問(wèn)過(guò)程。這些帶下劃線和粗體的部分說(shuō)明了 SQP 如何生成與任務(wù)相關(guān)的目標(biāo)問(wèn)題和答案，從而指導(dǎo)模型的推理。

本文的評(píng)估強(qiáng)調(diào)了采用特定任務(wù)學(xué)習(xí)策略和提示技術(shù)（如 SQP）的重要性，以最大限度地提高 LLM 在醫(yī)療保健相關(guān)任務(wù)中的有效性。實(shí)驗(yàn)結(jié)果顯示 GPT-4 的整體性能更好，5-shot SQP 提示策略更好。

CAN LARGE LANGUAGE MODELS REASON ABOUT MEDICAL QUESTIONS?

http://arxiv.org/abs/2207.08143

本文主要測(cè)試 GPT-3.5（Codex 和 InstructGPT）是否可用于回答和推理基于現(xiàn)實(shí)世界的困難問(wèn)題，即醫(yī)學(xué)問(wèn)題。主使用兩個(gè)多項(xiàng)選擇的醫(yī)學(xué)考試問(wèn)題和一個(gè)醫(yī)學(xué)閱讀理解數(shù)據(jù)集進(jìn)行測(cè)試。本文研究了多種提示場(chǎng)景：CoT、zero- and few-shot和retrieval augmentation。

Retrieval augmentation探究了將模型與額外的上下文聯(lián)系起來(lái)是否可以提高回答的準(zhǔn)確性，使用BM25檢索器和維基百科作為知識(shí)庫(kù)。給定一個(gè)問(wèn)題 、一個(gè)答案選項(xiàng)，對(duì)文章進(jìn)行檢索：

DoctorGLM: Fine-tuning your Chinese Doctor is not a Herculean Task

http://arxiv.org/abs/2304.01097

本文在ChatGLM的基礎(chǔ)上構(gòu)造中文的醫(yī)學(xué)模型。

數(shù)據(jù)集構(gòu)建：通過(guò)翻譯 ChatDoctor的數(shù)據(jù)集來(lái)利用英文的高質(zhì)量數(shù)據(jù)集?？紤]到專業(yè)的大規(guī)模翻譯代價(jià)較高，這里作者通過(guò)利用 ChatGPT 來(lái)采用一種簡(jiǎn)單且低成本的方法進(jìn)行大規(guī)模翻譯。首先構(gòu)建高質(zhì)量數(shù)據(jù)集：通過(guò)ChatGPT翻譯選取的示例；然后使用這部分?jǐn)?shù)據(jù)配對(duì)的中英文數(shù)據(jù)微調(diào)一個(gè)語(yǔ)言模型（如BART-based model），該語(yǔ)言模型就能獲得專家級(jí)的知識(shí)并作為大語(yǔ)言模型的一個(gè)替代從而降低大規(guī)模翻譯成本。對(duì)于疾病數(shù)據(jù)庫(kù)里的知識(shí)，作者也利用 ChatGPT來(lái)構(gòu)造指令數(shù)據(jù)。

Prompt Designer：為了得到更加可靠的模型輸出，本文利用Prompt Designer來(lái)預(yù)處理用戶輸入。Prompt Designer首先從輸入中提取相關(guān)關(guān)鍵字，如疾病名稱或癥狀，然后使用疾病名稱作為標(biāo)簽并根據(jù)疾病知識(shí)庫(kù)生成簡(jiǎn)短描述。Prompt Designer的輸出包括有關(guān)疾病癥狀、診斷、治療方案和預(yù)防措施的信息。然后將這部分輸出作為DoctorGLM輸入的Info {...}部分。通過(guò)提供專業(yè)生成的提示，提示設(shè)計(jì)者擴(kuò)展了DoctorGLM針對(duì)特定疾病的專業(yè)知識(shí)和可靠性。

Visual Med-Alpaca: A Parameter-Efficient Biomedical LLM with Visual Capabilities

本文提出Visual Med-Alpaca，是一個(gè)開(kāi)源的、參數(shù)高效的生物醫(yī)學(xué)基礎(chǔ)模型，可以與醫(yī)學(xué)“視覺(jué)專家”集成以進(jìn)行多模態(tài)生物醫(yī)學(xué)任務(wù)。該模型建立在LLaMa-7B架構(gòu)上，使用由GPT-3.5-Turbo和人類專家協(xié)作策劃的指令集進(jìn)行訓(xùn)練。利用幾個(gè)小時(shí)的指令調(diào)整和即插即用的視覺(jué)模塊，Visual Med-Alpaca 可以執(zhí)行各種醫(yī)學(xué)任務(wù)。

數(shù)據(jù)集構(gòu)建：從 BigBIO 存儲(chǔ)庫(kù)中的各種醫(yī)學(xué)數(shù)據(jù)集中提取醫(yī)學(xué)問(wèn)題，然后提示 GPT-3.5-Turbo 合成這些問(wèn)題的答案，之后執(zhí)行多輪人工過(guò)濾和編輯來(lái)優(yōu)化問(wèn)答對(duì)，從而產(chǎn)生包含 54k 指令的高質(zhì)量指令集。

視覺(jué)模態(tài)：Visual Med-Alpaca 支持兩個(gè)不同的視覺(jué)expert：Med-GIT 和 DePlot。Med-GIT 是一個(gè)用于圖像到文本生成的模型，這里使用 ROCO 數(shù)據(jù)集進(jìn)行微調(diào)，以促進(jìn)專門的放射學(xué)圖像字幕生成。DePlot可以將圖形或圖表的圖像轉(zhuǎn)換為表格，其輸出可以直接用于提示預(yù)訓(xùn)練的大型語(yǔ)言模型。

由于基礎(chǔ)模型提供了一個(gè)模塊化且適應(yīng)性強(qiáng)的框架用于整合各種視覺(jué)模塊，在此框架內(nèi)，任何多模態(tài)的任務(wù)都可可以分為兩個(gè)基本階段：圖像到文本的轉(zhuǎn)換和基于文本的推理。在本文中，視覺(jué)專家（即視覺(jué)基礎(chǔ)模型）將醫(yī)學(xué)圖像轉(zhuǎn)換為中間文本表示，然后將轉(zhuǎn)換后的數(shù)據(jù)用于提示預(yù)訓(xùn)練的 LLM，利用 LLM 固有的推理能力來(lái)生成適當(dāng)?shù)捻憫?yīng)。

Visual Med-Alpaca 通過(guò)提示增強(qiáng)方法連接了文本和視覺(jué)模態(tài)。首先，圖像輸入被送入類型分類器，選擇對(duì)應(yīng)的視覺(jué)模型后得到文本輸出，然后將其附加到文本輸入以用于后續(xù)推理過(guò)程。然后，prompt manager將從圖像和文本輸入中提取的文本信息合并到 Med-Alpaca 的prompt中，之后再進(jìn)行文本的推理產(chǎn)生輸出。

XrayGLM: The first Chinese Medical Multimodal Model that Chest Radiographs Summarization

最近，大型通用語(yǔ)言模型取得了顯著的成功，能夠遵循指令并生成與人類類似的回應(yīng)。這種成功在一定程度上推動(dòng)了多模態(tài)大模型的研究和發(fā)展，例如MiniGPT-4等。然而，這些多模態(tài)模型在醫(yī)學(xué)領(lǐng)域的研究中很少見(jiàn)，雖然visual-med-alpaca在醫(yī)學(xué)多模態(tài)模型方面取得了一些有成效的工作，但其數(shù)據(jù)僅限于英文診斷報(bào)告，對(duì)于推動(dòng)中文醫(yī)學(xué)多模態(tài)模型的研究和發(fā)展并不利。因此，為了解決這個(gè)問(wèn)題，本文開(kāi)發(fā)了XrayGLM模型。

本文借助ChatGPT和公開(kāi)的胸片圖文對(duì)數(shù)據(jù)集，構(gòu)造了中文的X光片-診斷報(bào)告數(shù)據(jù)集，并使用該數(shù)據(jù)集在 VisualGLM-6B上進(jìn)行微調(diào)訓(xùn)練。

總結(jié)：現(xiàn)有的大語(yǔ)言模型在醫(yī)學(xué)方面的工作集中在評(píng)測(cè)、微調(diào)、多語(yǔ)言、多模態(tài)、數(shù)據(jù)集構(gòu)建等方面，仍然處于探索和初步階段，醫(yī)學(xué)領(lǐng)域的安全性問(wèn)題更加重要，交互式醫(yī)學(xué)系統(tǒng)還需要進(jìn)一步發(fā)展和完善。