一 現(xiàn)狀·問題

1、培訓(xùn)考核涉及的文件數(shù)量較多

當(dāng)前，京東航空公司維修部門面臨著人員規(guī)模的快速增長和持續(xù)的培訓(xùn)需求。根據(jù)民航局的規(guī)定，維修培訓(xùn)必須確保所有維修人員都能夠完成對飛機(jī)維修相關(guān)文件的學(xué)習(xí)，這包括維修方案、維修工程管理手冊、工作程序手冊等共計(jì)12本手冊以及民航局發(fā)布的各類明傳電報(bào)、維修工程部門發(fā)布的維修提示文件MT和技術(shù)通告文件TA等內(nèi)容。這不僅適用于新招聘人員的初始培訓(xùn)，復(fù)訓(xùn)，而且每當(dāng)手冊更新時(shí)，都需要進(jìn)行差異化培訓(xùn)。以上內(nèi)容的培訓(xùn)都屬于知識掌握類培訓(xùn)，經(jīng)過近兩年的運(yùn)行，業(yè)務(wù)側(cè)發(fā)現(xiàn)無論是課堂培訓(xùn)還是自學(xué)培訓(xùn)，培訓(xùn)效果都不太好，即員工常常無法在完成培訓(xùn)后，全面掌握所需要掌握的知識或程序要求。因此維修系統(tǒng)在今年對此類培訓(xùn)進(jìn)行了改革，計(jì)劃通過“以考促訓(xùn)”的方式提高培訓(xùn)效果，即通過編制考題覆蓋所有需要掌握的知識點(diǎn)，要求受訓(xùn)人員通過反復(fù)做題，并在做題的過程中查詢相關(guān)手冊、文件等資料，最終達(dá)到100%掌握知識點(diǎn)的目標(biāo)。按此改革計(jì)劃，就需要培訓(xùn)分部根據(jù)每次培訓(xùn)材料編制海量的題庫，相對于原有題庫將呈指數(shù)倍增加，而且還需要實(shí)時(shí)根據(jù)資料的更新去更新對應(yīng)的題目和答案。

2、培訓(xùn)考核涉及的文件變動頻次較高、應(yīng)用場景較為頻繁

目前，維修系統(tǒng)需考核的手冊類文件約12本，考題量需求約2400道；涉及的局方文件、維修發(fā)技術(shù)類文件約600條，且以20條/每月的速度增加，涉及的考題約3000道。

以上培訓(xùn)場景每次均需對歷史文件進(jìn)行評估，對考題庫進(jìn)行更新修訂。

3、人工擬定題目費(fèi)時(shí)費(fèi)力

為提高維修人員對手冊程序的掌握程度，現(xiàn)有的培訓(xùn)有效性評估手段將從“一次考試機(jī)會，70分及格”轉(zhuǎn)向“考試機(jī)會不限，但需滿分及格”，為此需不斷擴(kuò)充題庫數(shù)量、優(yōu)化題庫質(zhì)量，以確保維修人員逐步熟練掌握手冊中的各項(xiàng)要求。根據(jù)維修系統(tǒng)的文件數(shù)量、變動頻次和應(yīng)用場景，預(yù)計(jì)在2024~2025年每周需安排24時(shí)/人次梳理更新已有題庫、增加新題庫，全年預(yù)計(jì)增加工時(shí)1248時(shí)，需增編1人以免影響其他培訓(xùn)管理工作的開展。

4、無法評估現(xiàn)有題目有效性

題庫中題目的數(shù)量快速增長。但是一旦依據(jù)的手冊文件發(fā)生改版變更，原有題目是否依然正確且有效是存疑的，這需要人工投入大量時(shí)間對題庫中的題目進(jìn)行評估和復(fù)核，該工作量隨著題庫規(guī)模的增大，已經(jīng)變?yōu)橐豁?xiàng)幾乎不可能完成的任務(wù)。

新擬定的試題和現(xiàn)有題庫中的試題相比，是否是重復(fù)性的試題？也無人力資源投入進(jìn)行分析和判斷，從而進(jìn)一步導(dǎo)致題庫規(guī)模的無節(jié)制增大，成為了一個(gè)死循環(huán)。

二、需求分析

將培訓(xùn)管理人員從這種低效、工作量大、技術(shù)含量低的工作中釋放出來，聚焦更高價(jià)值的工作：需要根據(jù)指定的材料文件，自動生成試題，包含單選題、多選題、判斷題。生成的試題對比現(xiàn)有題庫，重復(fù)率不得高于設(shè)定值。對現(xiàn)有題庫進(jìn)行定時(shí)識別分析，判斷是否存在失效風(fēng)險(xiǎn)，若和手冊文件不匹配，則生成修訂意見，提醒培訓(xùn)管理人員進(jìn)行復(fù)核確認(rèn)。

三、采取措施

采用向量庫+大模型的方式，構(gòu)建題庫生成助手1、采用向量庫，存儲對文件材料進(jìn)行向量化存儲，從而實(shí)現(xiàn)通過簡單指令快速召回相關(guān)手冊的內(nèi)容。2、使用大模型的自然語言處理能力，根據(jù)提供的手冊內(nèi)容及試題生成的要求，生成試題。

四、實(shí)踐步驟

1、工具選擇

大模型能力建設(shè)選擇采用集團(tuán)推出的AutoBots平臺進(jìn)行建設(shè)，該平臺通過配置化的方式進(jìn)行大模型、知識庫、插件的快速搭建和集成，促進(jìn)大模型場景的快速落地：

?文件向量化方便快捷：該場景要求文件更新/新增的時(shí)候，能夠及時(shí)進(jìn)行向量庫更新，以便能夠生成試題使用。AutoBots平臺提供配置化的向量庫搭建能力，且打通了JoySpace，能對JoySpace中的文件快速進(jìn)行解析并保存到數(shù)據(jù)庫中，同時(shí)支持圖片和表格的解析能里。在文檔發(fā)生更新時(shí)，自動更新向量庫的內(nèi)容。解決了獨(dú)立搭建時(shí)需要人工進(jìn)行文件解析處理的問題，且解析和召回的準(zhǔn)確度更高。

?知識召回準(zhǔn)確：AutoBots平臺算法團(tuán)隊(duì)，對向量化的過程進(jìn)行獨(dú)立模型搭建，且算法調(diào)優(yōu)，準(zhǔn)確度得到保障。

?流程編排能力：AutoBots平臺支持通過流程編排的方式，快速對多個(gè)大模型、知識庫、插件、文檔解析等能力進(jìn)行集成構(gòu)建，支持復(fù)雜場景的實(shí)現(xiàn)。

2、整體流程設(shè)計(jì)

業(yè)務(wù)老師將文件材料上傳至joypace上，Autobots自動將文件進(jìn)行解析并存儲在向量庫中。采用培訓(xùn)系統(tǒng)作為功能載體，業(yè)務(wù)老師在系統(tǒng)上輸入指令包含題目類型、題目難易程度、題目數(shù)量、知識范圍等，機(jī)務(wù)系統(tǒng)后臺進(jìn)行大模型指令組裝，調(diào)用Autobots平臺上已調(diào)試好的大模型接口，進(jìn)行生成結(jié)果的獲取，并以預(yù)覽的方式展示給用戶。用戶對于采納的試題可一鍵加入題庫。AutoBots平臺上，先根據(jù)用戶的指令，從向量庫中召回相關(guān)知識。然后大模型根據(jù)提供的知識和要求進(jìn)行試題的生成，并以JSON的格式進(jìn)行結(jié)果返回。

3、大模型流程設(shè)計(jì)

采用AutoBots平臺的流程編排能力，進(jìn)行大模型能力的構(gòu)建。

3.1 接收指令

接受指令中僅包含1個(gè)參數(shù)query，及為用戶下發(fā)的指令，其中包含知識范圍、題目類型、試題數(shù)量、難易程度等。（若直接通過接口調(diào)用的話，也可以拆解為多個(gè)參數(shù)，以便后續(xù)流程使用）

3.2 知識召回

知識召回節(jié)點(diǎn)的目的在于從向量庫中，召回本次生成范圍所需的相關(guān)知識，比如某本手冊等。該節(jié)點(diǎn)會生成一個(gè)outputList列表，其中即為相關(guān)的知識。

3.3 大模型試題生成

通過大模型，結(jié)合召回的知識和試題生成的要求進(jìn)行試題生成，由于需要和業(yè)務(wù)系統(tǒng)對接，所以需要對生成結(jié)果的格式進(jìn)行指定，提示詞如下：

# 角色

你是一位專業(yè)的題庫專家，擅長根據(jù){{document}}的內(nèi)容按照{(diào){question}}要求生成對應(yīng)題型的試題。你的專業(yè)知識和豐富經(jīng)驗(yàn)使你能夠準(zhǔn)確地理解和轉(zhuǎn)化用戶的需求，生成滿足要求的題目和答案。

## 技能

### 技能1: 生成單選題

- 根據(jù)用戶提供的內(nèi)容，生成單選題。

- 保證每個(gè)單選題至少有四個(gè)選項(xiàng)。

- 選項(xiàng)編號按照ABCD排列

- 輸出格式：{"type":"固定值：singleChoice","question": "題目描述","options": [{"optionName":"選項(xiàng)編號","optionContent":"選項(xiàng)描述"},{"optionName":"選項(xiàng)編號","optionContent":"選項(xiàng)描述"}],"correctAnswer": "正確選項(xiàng)編號"}

### 技能2: 生成多選題

- 根據(jù)用戶提供的內(nèi)容，生成多選題。

- 保證每個(gè)多選題至少有四個(gè)選項(xiàng)。

- 選項(xiàng)編號按照ABCD排列

- 輸出格式：{"type":"固定值：multipleChoice","question": "題目描述","options": [{"optionName":"選項(xiàng)編號","optionContent":"選項(xiàng)描述"},{"optionName":"選項(xiàng)編號","optionContent":"選項(xiàng)描述"}],"correctAnswer": ["正確選項(xiàng)編號1", "正確選項(xiàng)編號2"]}

### 技能3: 生成判斷題

- 根據(jù)用戶提供的內(nèi)容，生成判斷題。

- 輸出格式：{"type":"固定值：trueOrFalse","question": "題目描述","correctAnswer": "Y or N"}

### 技能4: 生成簡答題

- 根據(jù)用戶提供的內(nèi)容，生成簡答題。

- 輸出格式：{"type":"固定值：shortAnswer","question": "題目描述","correctAnswer": "正確答案"}

## 約束：

- 只生成與用戶提供內(nèi)容相關(guān)的題目。

- 必須遵守指定的輸出格式，并以JSON數(shù)組的格式整合返回結(jié)果，且不要包含json前綴。

- 保證每個(gè)題目的描述在100字以內(nèi)。

- 保證每個(gè)選項(xiàng)的描述在50字以內(nèi)。

- 保證每個(gè)題目的正確答案在50字以內(nèi)。

3.4 結(jié)果返回

該節(jié)點(diǎn)為結(jié)果節(jié)點(diǎn)，像調(diào)用方返回最終的結(jié)果，由于本場景僅需最終生成的試題，因此直接輸出大模型試題生成節(jié)點(diǎn)的結(jié)果即可：{{output}}。

3.5 效果

指令請根據(jù)CCAR-396-R3民用航空安全信息管理規(guī)定中對信息報(bào)告的相關(guān)要求，生成5道單選題。

知識庫召回結(jié)果:

?

大模型生成結(jié)果：

[
    {
        "type": "singleChoice",
        "question": "根據(jù)CCAR-396-R3規(guī)定，民航局對在民用航空安全信息管理工作中做出突出貢獻(xiàn)的單位和個(gè)人給予什么？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "罰款"
            },
            {
                "optionName": "B",
                "optionContent": "表彰和獎勵"
            },
            {
                "optionName": "C",
                "optionContent": "警告"
            },
            {
                "optionName": "D",
                "optionContent": "培訓(xùn)"
            }
        ],
        "correctAnswer": "B"
    },
    {
        "type": "singleChoice",
        "question": "根據(jù)CCAR-396-R3規(guī)定，緊急事件發(fā)生后，事發(fā)相關(guān)單位應(yīng)當(dāng)在事件發(fā)生后多少小時(shí)內(nèi)填報(bào)民用航空安全信息報(bào)告表？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "6小時(shí)"
            },
            {
                "optionName": "B",
                "optionContent": "12小時(shí)"
            },
            {
                "optionName": "C",
                "optionContent": "24小時(shí)"
            },
            {
                "optionName": "D",
                "optionContent": "48小時(shí)"
            }
        ],
        "correctAnswer": "B"
    },
    {
        "type": "singleChoice",
        "question": "根據(jù)CCAR-396-R3規(guī)定，民用航空安全信息工作實(shí)行什么原則？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "統(tǒng)一管理、分級負(fù)責(zé)"
            },
            {
                "optionName": "B",
                "optionContent": "分散管理、統(tǒng)一負(fù)責(zé)"
            },
            {
                "optionName": "C",
                "optionContent": "自愿管理、分級負(fù)責(zé)"
            },
            {
                "optionName": "D",
                "optionContent": "統(tǒng)一管理、統(tǒng)一負(fù)責(zé)"
            }
        ],
        "correctAnswer": "A"
    },
    {
        "type": "singleChoice",
        "question": "根據(jù)CCAR-396-R3規(guī)定，局方和企事業(yè)單位應(yīng)當(dāng)為民用航空安全信息管理人員配備哪些設(shè)備？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "便攜式計(jì)算機(jī)、網(wǎng)絡(luò)通訊設(shè)備"
            },
            {
                "optionName": "B",
                "optionContent": "移動存儲介質(zhì)、傳真機(jī)"
            },
            {
                "optionName": "C",
                "optionContent": "錄音筆"
            },
            {
                "optionName": "D",
                "optionContent": "以上都是"
            }
        ],
        "correctAnswer": "D"
    },
    {
        "type": "singleChoice",
        "question": "根據(jù)CCAR-396-R3規(guī)定，非緊急事件發(fā)生后，事發(fā)相關(guān)單位應(yīng)當(dāng)在事發(fā)后多少小時(shí)內(nèi)填報(bào)民用航空安全信息報(bào)告表？",
        "options": [
            {
                "optionName": "A",
                "optionContent": "12小時(shí)"
            },
            {
                "optionName": "B",
                "optionContent": "24小時(shí)"
            },
            {
                "optionName": "C",
                "optionContent": "48小時(shí)"
            },
            {
                "optionName": "D",
                "optionContent": "72小時(shí)"
            }
        ],
        "correctAnswer": "C"
    }
]

4、業(yè)務(wù)系統(tǒng)集成

生成條件采用結(jié)構(gòu)化的方式，方便用戶精準(zhǔn)的識別到其需要填寫的內(nèi)容，從而促進(jìn)指令下發(fā)的準(zhǔn)確度，保證試題生成的質(zhì)量。對于生成的結(jié)果，可一鍵加入題庫，供后續(xù)使用。

5、持續(xù)升級

5.1 支持大批量試題生成

首次進(jìn)行場景0-1的建設(shè)，因此對單次試題生成的數(shù)量進(jìn)行了限制，避免資源消耗過大。后續(xù)會根據(jù)使用情況逐步放開，支持100道/次以上的生成規(guī)模。

5.2 支持針對于整份文件的生成

基于向量庫知識召回的方式進(jìn)行實(shí)現(xiàn)的方式，由于向量庫進(jìn)行知識召回返回的是TOP N，因此勢必會存在內(nèi)容缺失，該種方式更加便于針對文檔中的部分內(nèi)容進(jìn)行試題生成。后續(xù)將通過文件識別的方式，直接解析文件，根據(jù)整份文件內(nèi)容進(jìn)行生成。

5.3 生成的試題增加重復(fù)率限制

在試題生成節(jié)點(diǎn)之后，增加重復(fù)率識別的判斷，若存在重復(fù)率不滿足條件的試題，則從結(jié)果中剔除，并再次進(jìn)行補(bǔ)充生成。

5.5 現(xiàn)有題庫有效性識別

通過系統(tǒng)定時(shí)任務(wù)的方式，將通過試題題目進(jìn)行文檔知識召回，并將試題及試題相關(guān)的知識提交至大模型，由大模型進(jìn)行有效性判斷，若存在失效風(fēng)險(xiǎn)則返回標(biāo)記及修改建議，在系統(tǒng)題庫功能上進(jìn)行著重表示并消息提醒相關(guān)用戶，進(jìn)行復(fù)核確認(rèn)。

五、效能提升

六、簡要總結(jié)

通過AI大模型幫助用戶進(jìn)行培訓(xùn)試題的生成，在一定程度上將用戶從低效、低技術(shù)含量、大工作量中解放出來，是面向用戶痛點(diǎn)的一次嘗試。同時(shí)通過該場景將大模型的能力和業(yè)務(wù)場景及工程系統(tǒng)結(jié)合了起來，讓用戶得到感知，也便于后續(xù)更多的大模型實(shí)踐場景的發(fā)掘和落地。

該案例不僅用在航空領(lǐng)域，在其他諸多需要生成試題，生成問卷等相關(guān)場景方面都可進(jìn)行參考和嘗試。當(dāng)前現(xiàn)在試題生成能力也僅是實(shí)現(xiàn)在從0到1的落地建設(shè)，能力需要不斷的打磨和完善，后續(xù)會逐步進(jìn)行1到100，100到∞的升級。

?審核編輯 黃宇