摘要

技術(shù)背景：Text2SQL 是將自然語言查詢轉(zhuǎn)為 SQL 的任務(wù)，經(jīng)歷了基于規(guī)則、神經(jīng)網(wǎng)絡(luò)、預(yù)訓(xùn)練語言模型、大語言模型四個(gè)階段。當(dāng)前面臨提示優(yōu)化、模型訓(xùn)練、推理時(shí)增強(qiáng)三大難題，研究基于 BIRD 數(shù)據(jù)集展開。

方法：提出 J-Schema 呈現(xiàn)數(shù)據(jù)庫結(jié)構(gòu)并合理提供示例值，結(jié)合思維鏈引導(dǎo)模型推理。采用 Iterative DPO 迭代訓(xùn)練，多輪迭代提升性能。用自洽性方法，通過硬 / 軟投票從多個(gè)候選答案中選最優(yōu)，軟投票更優(yōu)。

結(jié)果：解決 Text2SQL 性能提升的三大難題，將模型在 BIRD 數(shù)據(jù)集上的執(zhí)行準(zhǔn)確率從 56.6% 提升至 69.2%。

一、Text2SQL挑戰(zhàn)

自然語言到 SQL（Text-to-SQL），也稱為 NL2SQL，是將自然語言查詢轉(zhuǎn)換為可在關(guān)系數(shù)據(jù)庫上執(zhí)行的相應(yīng)SQL查詢的任務(wù)。具體來說，給定一個(gè)自然語言和一個(gè)關(guān)系數(shù)據(jù)庫，Text-to-SQL 的目標(biāo)是生成一個(gè)SQL，該SQL能夠準(zhǔn)確反映用戶的意圖，并在數(shù)據(jù)庫上執(zhí)行時(shí)返回適當(dāng)?shù)慕Y(jié)果。通過將自然語言查詢轉(zhuǎn)換為結(jié)構(gòu)化查詢語言的能力，使復(fù)雜數(shù)據(jù)集更易于訪問。它極大地促進(jìn)了非專業(yè)用戶和高級用戶從大量數(shù)據(jù)存儲中提取價(jià)值信息。

Text-to-SQL 解決方案的演進(jìn)，經(jīng)歷了四個(gè)不同階段：

1. 基于規(guī)則階段：早期的Text2SQL方法主要依賴于基于規(guī)則的統(tǒng)計(jì)語言模型，主要聚焦于單表查詢，理解能力僅限于詞元階段；

2. 基于神經(jīng)網(wǎng)絡(luò)階段：神經(jīng)網(wǎng)絡(luò)模型（序列模型、圖神經(jīng)模型），提升了同義詞處理和意圖理解能力，使研究從單表擴(kuò)展到多表場景。但其泛化能力仍受模型規(guī)模和訓(xùn)練數(shù)據(jù)量限制；

3. 預(yù)訓(xùn)練語言模型階段：預(yù)訓(xùn)練語言模型（如BERT和T5）的引入顯著提升了性能，極大增強(qiáng)了自然語言理解能力；

4. 大語言模型階段：LLM憑借強(qiáng)大的涌現(xiàn)能力，成為當(dāng)前Text2SQL領(lǐng)域的主流方案。研究重心轉(zhuǎn)向優(yōu)化提示工程和微調(diào)LLM。

?

??

?

Text2SQL性能的提升，面臨著以下三個(gè)難題。

提示優(yōu)化：怎么引導(dǎo)大模型給出明確的推理過程？數(shù)據(jù)庫的Schema要怎么設(shè)計(jì)，才能讓大模型更容易理解？

模型訓(xùn)練：如何通過訓(xùn)練方法提升模型的基礎(chǔ)能力？

推理時(shí)增強(qiáng)：大模型生成答案時(shí)好時(shí)壞，有什么辦法能讓輸出更加穩(wěn)定可靠？

我們從這三個(gè)維度，分別給出了我們的答案。在本文中使用的數(shù)據(jù)集來自BIRD（BIg Bench for LaRge-scale Database Grounded Text-to-SQL Evaluation）。BIRD考察了大規(guī)模數(shù)據(jù)庫內(nèi)容對文本到 SQL 解析的影響。BIRD 包含超過12,751個(gè)獨(dú)特的[問題-SQL]對，95 個(gè)大型數(shù)據(jù)庫，還涵蓋了超過 37 個(gè)專業(yè)領(lǐng)域，例如區(qū)塊鏈、冰球、醫(yī)療保健和教育等。

??

二、Prompt & J-Schema

要讓 LLM 理解數(shù)據(jù)庫結(jié)構(gòu)，需在提示中提供數(shù)據(jù)庫模式。為此，我們提出一種名為 J-Schema 的新型數(shù)據(jù)庫表達(dá)方式。J-Schema 以完全結(jié)構(gòu)化的格式呈現(xiàn)數(shù)據(jù)、表與列之間的層次關(guān)系，并采用特殊標(biāo)記進(jìn)行識別：用 “#DB_ID” 標(biāo)記數(shù)據(jù)庫，“#Table” 表示表，“#Foreign keys” 表示外鍵。對于每個(gè)表，會(huì)給出表名；列信息則通過 “basic_info” 標(biāo)識，其中包含列名、列描述、主鍵標(biāo)識符，且為每個(gè)列提供示例值。

?

??

?

對于單一模型而言，在無法執(zhí)行值檢索的情況下，提供盡可能豐富的示例值有助于模型深化對列的理解。然而，示例值過多會(huì)受限于上下文長度。為平衡示例值數(shù)量與上下文長度之間的關(guān)系，我們?yōu)橹到⒘诵碌娘@示規(guī)則。

1.“DATE”、“TIME”、“DATETIME”、“TIMESTAMP”等表示時(shí)間的數(shù)據(jù)類型，只保留一個(gè)示例；

2.“REAL”浮點(diǎn)數(shù)據(jù)類型，保留兩位小數(shù)一個(gè)示例；

3.針對“INTEGER”整型，保留一個(gè)示例；

4.針對“TEXT”文本類型，根據(jù)分詞長度保留。小于10 token保留多個(gè)示例。

在這套規(guī)則背后，包含了我們對大量錯(cuò)誤樣本的分析。對于日期、浮點(diǎn)數(shù)、整數(shù)這些數(shù)據(jù)類型，大模型往往是根據(jù)問題中的日期、時(shí)間要求來取值，因此增加這些數(shù)據(jù)類型的示例對最終的結(jié)果影響不大。而針對文本數(shù)據(jù)類型，往往涉及到用戶查詢和數(shù)據(jù)庫中值格式不統(tǒng)一問題。例如問題詢問的關(guān)鍵字是大寫的“North Bohemia”，而數(shù)據(jù)庫中的值為小寫的“north Bohemia”，若給出的示例中包含“north Bohemia”，則可以正確檢索。實(shí)驗(yàn)驗(yàn)證J-Schema在多個(gè)模型上均有執(zhí)行準(zhǔn)確率較大提升。

?

?

思維鏈（Chain of Thought, CoT）是一種提升大語言模型復(fù)雜推理能力的提示工程技術(shù)，核心是引導(dǎo)模型在輸出最終答案前，先生成連貫的中間推理步驟，模擬人類逐步思考的過程。在我們的提示中首先給出完整的數(shù)據(jù)庫信息，然后添加用戶查詢和外部知識，并給出引導(dǎo)大模型分步進(jìn)行推理的提示，將推理過程輸出在和標(biāo)記內(nèi)，將最終的SQL答案輸出在和標(biāo)記內(nèi)。

?

三、訓(xùn)練方法

Iterative DPO

偏好優(yōu)化已被證明，在將預(yù)訓(xùn)練語言模型與人類需求對齊時(shí)，相較于單獨(dú)的監(jiān)督微調(diào)能帶來巨大的收益。DPO等離線方法因其簡單性和效率而越來越受歡迎。最近的研究結(jié)果表明，迭代應(yīng)用這種離線流程是有益的，其中更新后的模型被用來構(gòu)建更具有信息量的新偏好關(guān)系，從而進(jìn)一步改善結(jié)果。為了提高模型的基礎(chǔ)能力，我們采用迭代式的DPO訓(xùn)練方法。

具體而言，在每次迭代中，我們從訓(xùn)練提示中采樣多個(gè)思維鏈推理步驟和最終答案，通過驗(yàn)證最終答案，構(gòu)建正例池和負(fù)例池，在正、負(fù)例池根據(jù)距離挑選來構(gòu)建偏好對，然后進(jìn)行DPO訓(xùn)練。在訓(xùn)練新模型后，我們通過生成新偏好對并重新訓(xùn)練來迭代該過程。我們發(fā)現(xiàn)推理性能在多次迭代后逐漸提高，最終達(dá)到飽和。

?

??

?

每一輪迭代中Text2SQL準(zhǔn)確率提升如下表所示。在第三輪迭代中執(zhí)行準(zhǔn)確率達(dá)到最高，并飽和，繼續(xù)迭代執(zhí)行準(zhǔn)確率下降。并且隨著迭代輪次的增加，思維鏈的長度也在不斷增加。

?

超參數(shù)掃描

我們通過DPO方法進(jìn)行訓(xùn)練， beta是DPO Loss中的權(quán)重系數(shù)，數(shù)值越小越忽略參考模型，通常取0.1～0.5。因?yàn)槲覀冇^察到DPO對齊算法對這一參數(shù)特別敏感。我們設(shè)置了beta從0.1、0.2 、...、0.6變化。所有實(shí)驗(yàn)均訓(xùn)練兩個(gè) epoch。每次運(yùn)行時(shí)，其他超參數(shù)保持不變，包括隨機(jī)種子。不同beta值對應(yīng)的執(zhí)行準(zhǔn)確率如下圖所示。當(dāng)beta取0.5時(shí)，達(dá)到最高的執(zhí)行準(zhǔn)確率，后續(xù)的DPO迭代中我們都延續(xù)使用該beta值。

?

四、自洽性（Self-consistency）

自一致性的核心思想是：讓模型對同一問題生成多個(gè)候選答案，然后通過投票機(jī)制選擇最優(yōu)解，而不是只依賴單次生成結(jié)果。在單訓(xùn)練模型賽道自洽性是被允許的，因?yàn)樗从沉四Ｐ妥陨淼男阅堋?/p>

在實(shí)現(xiàn)自洽性的過程中，我們使用了硬投票和軟投票兩種方式。硬投票直接根據(jù)模型生成結(jié)果的最終表現(xiàn)（如執(zhí)行結(jié)果是否正確，二元判斷）進(jìn)行投票，不考慮結(jié)果之間的相似程度。軟投票的決策依據(jù)是根據(jù)結(jié)果之間的相似程度（連續(xù)值）。如下圖所示。

?

??

?

在某些場景下，硬投票可能過于嚴(yán)格：

?語義等價(jià)但結(jié)果有細(xì)微差異：例如 SQL 查詢結(jié)果的順序不同，但邏輯上是等價(jià)的。

?近似正確的結(jié)果：例如模型生成了一個(gè)接近正確答案的解，但存在小誤差。軟投票通過相似度計(jì)算，可以將這些 “近似正確” 的結(jié)果納入考慮，從而提高最終答案的可靠性。

不同的checkpoint模型使用自洽性均獲得了1%以上的執(zhí)行準(zhǔn)確率提升，其中軟投票方法要優(yōu)于硬投票方法。

五、未來探索

1.數(shù)據(jù)構(gòu)造

SynSQL-2.5M是百萬規(guī)模的文本到 SQL 數(shù)據(jù)集，包含超過250萬份多樣且高質(zhì)量的數(shù)據(jù)樣本，涵蓋來自不同領(lǐng)域的 16000 多個(gè)數(shù)據(jù)庫。如何從250萬份樣本中篩選出對于BIRD有益的數(shù)據(jù)將會(huì)是未來的重點(diǎn)嘗試方向。

2. 其他訓(xùn)練方法

?GRPO通過組內(nèi)相對獎(jiǎng)勵(lì)來優(yōu)化策略模型，在Text2SQL任務(wù)中，只需要定義獎(jiǎng)勵(lì)函數(shù)（例如執(zhí)行正確獎(jiǎng)勵(lì)為1，執(zhí)行錯(cuò)誤獎(jiǎng)勵(lì)為0），而不需要預(yù)先構(gòu)建偏好數(shù)據(jù)對。9N LLM的新鏡像中提供了提交GRPO的訓(xùn)練任務(wù)可作嘗試。在目前的嘗試中，GRPO的訓(xùn)練時(shí)長主要受到reward驗(yàn)證的影響，采樣n次時(shí)，每一個(gè)SQL樣本都需要連接數(shù)據(jù)庫執(zhí)行驗(yàn)證來獲取獎(jiǎng)勵(lì)。為了縮短訓(xùn)練時(shí)間，可以事先刪除執(zhí)行時(shí)長過長的樣本。

?在BIRD訓(xùn)練集中，針對多輪DPO后的模型，進(jìn)行多次采樣時(shí)，仍然全錯(cuò)的樣本，經(jīng)過檢查有很大部分是自身標(biāo)簽錯(cuò)誤，使用LLM-as-Judge訓(xùn)練方法，使模型能夠具備判斷正負(fù)樣本的能力，并且進(jìn)一步刪除標(biāo)簽錯(cuò)誤的樣本，保留正確樣本。

3. 增加測試該優(yōu)化方法的數(shù)據(jù)集和真實(shí)場景

用多個(gè)測試數(shù)據(jù)集有助于魯棒性，能夠更加全面的檢驗(yàn)?zāi)Ｐ偷男阅?。其?a target="_blank">知名的數(shù)據(jù)集還有SPIDER、ScienceBenchmark、EHRSQL等。我們將在這些測試集驗(yàn)證我們的優(yōu)化方案。并且我們會(huì)逐步推廣到DataAgent的真實(shí)應(yīng)用中。對于企業(yè)級的大型數(shù)據(jù)庫來說，還會(huì)有哪些新的挑戰(zhàn)？我們會(huì)持續(xù)關(guān)注，不斷探索和改進(jìn)！

審核編輯 黃宇