本文來自于第八屆中國機(jī)器人峰會上張東曉院士題為《科學(xué)機(jī)器學(xué)習(xí)中的知識嵌入與知識發(fā)現(xiàn)》的報告，通過錄音整理而成。

▍1、數(shù)據(jù)驅(qū)動模型 1.1 人工智能的發(fā)展

? “人工智能”自1956年被提出后，其發(fā)展過程可以分為三個階段（圖1）。第一代人工智能主要是知識驅(qū)動，需要定義明確且完備的規(guī)則。這雖然符合人類理解的邏輯，但是無法應(yīng)對規(guī)則之外的復(fù)雜狀況（如日常對話）。第二代人工智能主要是數(shù)據(jù)驅(qū)動，需要大數(shù)據(jù)、大模型、大算力。例如AlphaGo、Chat GPT，它們依賴大量高質(zhì)量的訓(xùn)練數(shù)據(jù)進(jìn)行自行學(xué)習(xí)，對于數(shù)據(jù)的要求高，且容易被攻擊或誤導(dǎo)且決策過程不清晰。對于第三代人工智能的發(fā)展，筆者認(rèn)為應(yīng)該是知識與數(shù)據(jù)的雙驅(qū)動模型，某種意義上是第一代和第二代的結(jié)合。 ?

? 圖1 人工智能的發(fā)展 ? 1.2 模型驅(qū)動方法 ? 模型驅(qū)動方法（圖2）的本質(zhì)是在給定“輸入”的條件下，通過施加一定“條件（或算法）”，得到最終的“輸出”。這些算法可以是確定性的，也可以是隨機(jī)的，而問題的關(guān)鍵是如何獲得模型（方程或公式），即輸入和輸出之間的映射關(guān)系或者模式，進(jìn)而構(gòu)造求解方程的復(fù)雜算法，同時還需要觀測值、反問題建模、數(shù)據(jù)同化等模型參數(shù)。 ?

? 圖2 模型驅(qū)動方法 ? 1.3 數(shù)據(jù)驅(qū)動方法 ? 數(shù)據(jù)驅(qū)動意味著在數(shù)據(jù)和模型的天平上側(cè)重于數(shù)據(jù)，例如大數(shù)據(jù)分析、數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)等。數(shù)據(jù)驅(qū)動方法（圖3）的本質(zhì)是在沒有對應(yīng)模式的情況下，通過數(shù)據(jù)進(jìn)行映射的學(xué)習(xí)，建立輸入和輸出之間的映射關(guān)系，現(xiàn)在的人工智能大多都是依靠數(shù)據(jù)驅(qū)動。 ?

? 圖3 數(shù)據(jù)驅(qū)動方法 ? 目前，常用的機(jī)器學(xué)習(xí)模型包括人工神經(jīng)網(wǎng)絡(luò)（ANN）、支持向量機(jī)（SVM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等，通過利用大量歷史數(shù)據(jù)，尋找并確認(rèn)多元輸入變量與目標(biāo)變量之間復(fù)雜的映射關(guān)系，構(gòu)造模型并基于該模型對未來的目標(biāo)變量進(jìn)行預(yù)測。 ? 以人工神經(jīng)網(wǎng)絡(luò)為例，依靠人工神經(jīng)網(wǎng)絡(luò)預(yù)測模型能夠?qū)ξ磥砉夥l(fā)電值進(jìn)行預(yù)測（圖4）。結(jié)合歷史發(fā)電量和歷史天氣狀況（地表光照輻射量、溫度、濕度等），通過大數(shù)據(jù)、人工智能的機(jī)器學(xué)習(xí)辦法建立一種映射關(guān)系，基于此映射關(guān)系和天氣預(yù)報數(shù)據(jù)，預(yù)測未來光伏發(fā)電值。 ?

? 圖4 基于人工神經(jīng)網(wǎng)絡(luò)預(yù)測未來光伏發(fā)電值 ? 此外，筆者基于兩個獨(dú)立的光伏發(fā)電站獲取的數(shù)據(jù)進(jìn)行試驗，將17個與光伏發(fā)電相關(guān)的天氣變量（地表光照輻射量、溫度、濕度、云層量、大氣壓強(qiáng)等）作為輸入的變量，采用最大最小歸一化（min-max normalization）方法，將數(shù)據(jù)限制在01之間，根據(jù)730天的訓(xùn)練數(shù)據(jù)集與91天的測試數(shù)據(jù)集的天氣數(shù)據(jù)和對應(yīng)光伏發(fā)電量數(shù)據(jù)進(jìn)行交叉驗證設(shè)置，最終得到預(yù)測模型并實現(xiàn)光伏發(fā)電預(yù)測，預(yù)測的準(zhǔn)確率高達(dá)97%。（圖5） ?

? 圖5 基于不同預(yù)測模型的光伏發(fā)電預(yù)測結(jié)果舉例（預(yù)測時間長度：7天） ? 1.4 研究背景與意義——數(shù)據(jù)驅(qū)動（連接主義AI）的局限性 ? 1.4.1 現(xiàn)實場景數(shù)據(jù)極度稀缺 ? 在現(xiàn)實應(yīng)用場景中建立深度學(xué)習(xí)網(wǎng)絡(luò)，待訓(xùn)練參數(shù)量往往上萬甚至上百萬。以Chat GPT3為例，它有96層的神經(jīng)網(wǎng)絡(luò)，12288個隱層維度，1750億個參數(shù)，如此大的模型就需要大算力進(jìn)行工作。在許多工業(yè)場景中，數(shù)據(jù)不僅有限，而且昂貴，以農(nóng)業(yè)領(lǐng)域為例，對于地下資源勘探與開發(fā)重要的側(cè)井曲線，打一口井進(jìn)行測量需要好幾千萬元；做一組吸附解析的實驗要花很長的時間，很難獲得足夠的數(shù)據(jù)基于數(shù)據(jù)驅(qū)動方法對此類問題建模。 ?

1.4.2均方誤差等指標(biāo)的局限性

? 數(shù)據(jù)驅(qū)動模型中，均方誤差（Mean Squared Error，MSE）等指標(biāo)帶來的局限性同樣不容忽視，MSE對誤差的物理過程是沒有區(qū)分的，比如一個系統(tǒng)無論是熵增還是熵減，對于MSE來講都是一樣的，但對于一個物理系統(tǒng)來講是不同的?；跀?shù)據(jù)平均意義上的指標(biāo)往往會忽略物理過程，例如對于污染擴(kuò)散的預(yù)測，一個區(qū)域的污染濃度增加，另一區(qū)域的污染濃度減少，平均的污染濃度可以不變，但事實并非如此。 ? ? 1.4.3 易被攻擊與誤導(dǎo) ? 許多數(shù)據(jù)驅(qū)動的模型是不具備常識、缺少知識的。例如在對抗樣本的問題中，圖片本來是一個熊貓，加上一點(diǎn)輕微的噪音以后，機(jī)器可能會認(rèn)為它是一個長臂猿，但這種識別錯誤不會發(fā)生在人的身上（圖6）。 ?

? 圖6 數(shù)據(jù)驅(qū)動模型的局限性 ? 早期的人工智能模型都是知識驅(qū)動的，例如DENDRAL系統(tǒng)對于有機(jī)化學(xué)結(jié)構(gòu)的分析、MYCIN系統(tǒng)對于血液傳染病的診斷、Deep Blue戰(zhàn)勝國際象棋世界冠軍，但它們都是按照規(guī)則研制而成，只能解決規(guī)則范圍內(nèi)的問題，難以處理復(fù)雜的現(xiàn)實問題。這也是基于數(shù)據(jù)驅(qū)動的人工智能模型被廣泛推廣的原因之一。 ? 如今，數(shù)據(jù)驅(qū)動方法尚且存在許多的不足，僅以能源行業(yè)為例，行業(yè)面臨著對模型的魯棒性和解釋性要求高、數(shù)據(jù)采集費(fèi)時且成本高昂等問題，只有構(gòu)建知識與數(shù)據(jù)的雙驅(qū)動模型——既有人工智能技術(shù)，也有相關(guān)領(lǐng)域知識，還有觀測數(shù)據(jù)，相互的融合才能實現(xiàn)一個智慧能源系統(tǒng)（圖7），提升模型精度和魯棒性，降低對數(shù)據(jù)的需求。而智慧能源系統(tǒng)作為知識與數(shù)據(jù)的雙驅(qū)動模型，一方面，需要通過理論指導(dǎo)的數(shù)據(jù)驅(qū)動模型（知識嵌入），從而構(gòu)建具有物理常識的AI模型；另一方面，利用人工智能進(jìn)行數(shù)據(jù)驅(qū)動的模型挖掘（知識發(fā)現(xiàn)），從觀測數(shù)據(jù)中提煉物理知識。當(dāng)知識嵌入和知識發(fā)現(xiàn)可以形成一個閉環(huán)，實現(xiàn)知識和數(shù)據(jù)的融合，能夠很好地解決仿真模擬，反問題，可解釋性等問題。 ?

? 圖7 智慧能源系統(tǒng) ? ▍2、理論指導(dǎo)的數(shù)據(jù)驅(qū)動模型（知識嵌入） ? 理論指導(dǎo)的數(shù)據(jù)驅(qū)動模型是指在建模全流程中進(jìn)行知識嵌入，構(gòu)建具有物理常識的AI模型。圖8所示為機(jī)器學(xué)習(xí)建模全流程的知識嵌入方法。一方面借助機(jī)器學(xué)習(xí)的強(qiáng)擬合能力，描述變量間高維復(fù)雜映射關(guān)系，另一方面利用能源領(lǐng)域內(nèi)的先驗知識，保證預(yù)測結(jié)果符合物理機(jī)理，構(gòu)建物理上合理、數(shù)學(xué)上準(zhǔn)確、計算上穩(wěn)定高效的模型。因此，知識嵌入的核心問題在于四個方面，一是復(fù)雜形式控制方程的嵌入方法；二是控制方程以外的通用知識的嵌入方法；三是不規(guī)則物理場的知識嵌入方法；四是損失函數(shù)中正則項權(quán)重的自動調(diào)整策略。 ? ? 以智慧能源系統(tǒng)為例，在建模過程的多個環(huán)節(jié)都可以進(jìn)行知識嵌入，在數(shù)據(jù)預(yù)處理環(huán)節(jié)，可以嵌入物理約束和人類的領(lǐng)域知識和先驗經(jīng)驗；在模型結(jié)構(gòu)設(shè)計環(huán)節(jié)，可以基于領(lǐng)域知識調(diào)整模型的網(wǎng)絡(luò)結(jié)構(gòu)或者拓?fù)浣Y(jié)構(gòu)；在模型效果評估環(huán)節(jié)，可以構(gòu)建特殊設(shè)計的損失函數(shù)。 ?

? 圖8 機(jī)器學(xué)習(xí)建模全流程的知識嵌入方法示意圖 ? 2.1 在數(shù)據(jù)預(yù)處理環(huán)節(jié)嵌入領(lǐng)域知識 ? 在電網(wǎng)負(fù)荷預(yù)測模型（圖9）的研究中，電力系統(tǒng)基于機(jī)器學(xué)習(xí)模型中的集合神經(jīng)網(wǎng)絡(luò)（ENN）和長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM），在數(shù)據(jù)預(yù)處理環(huán)節(jié)引入電力負(fù)荷比值分解的方法來嵌入知識，把電力負(fù)荷數(shù)據(jù)分解成一個大的趨勢和局部擾動，大的趨勢反映了預(yù)測區(qū)域的內(nèi)在模式，比如能源結(jié)構(gòu)、產(chǎn)業(yè)結(jié)構(gòu)、人口密度等，是根據(jù)歷史數(shù)據(jù)和專家經(jīng)驗來確定的。局部擾動則是系統(tǒng)受到天氣等外驅(qū)力影響下所產(chǎn)生的變化，通過數(shù)據(jù)驅(qū)動模型來預(yù)測。最終，將大的趨勢和小的擾動結(jié)合。 ?

? 圖9 電網(wǎng)負(fù)荷預(yù)測模型 ? 使用上述方法，基于北京12個區(qū)歷史1362天小時級別的真實電力負(fù)荷數(shù)據(jù)進(jìn)行試驗驗證，預(yù)測北京市豐臺區(qū)電力負(fù)荷（圖10），其中紅色為預(yù)測值，黑色為真實值，灰色為置信區(qū)間，即使沒有利用預(yù)測區(qū)域的數(shù)據(jù)，僅使用周邊區(qū)域的數(shù)據(jù)進(jìn)行訓(xùn)練，模型也能夠非常準(zhǔn)確地進(jìn)行電力負(fù)荷預(yù)測。 ?

? 圖10 北京市豐臺區(qū)電力負(fù)荷預(yù)測結(jié)果 ? 2.2?在模型效果評估階段嵌入領(lǐng)域知識 ? 2.2.1 將概率分布信息作為約束嵌入AI模型 ? 與光伏類似，風(fēng)力發(fā)電也具有強(qiáng)烈的隨機(jī)性和波動性，風(fēng)功率的準(zhǔn)確預(yù)測有助于提高電網(wǎng)運(yùn)行的穩(wěn)定性，能夠有效地幫助電網(wǎng)調(diào)度部門做好各類電源的調(diào)度計劃。對此，筆者及其團(tuán)隊成員研發(fā)了融合領(lǐng)域知識的風(fēng)功率預(yù)測模型（圖11），根據(jù)風(fēng)電區(qū)域的風(fēng)向、風(fēng)機(jī)轉(zhuǎn)速、槳距角和實際風(fēng)功率等數(shù)據(jù)建立精準(zhǔn)風(fēng)功率預(yù)測模型，并嵌入風(fēng)功率曲線這一物理知識以提高預(yù)測準(zhǔn)確度。由于實際工況復(fù)雜，風(fēng)功率曲線并非一個一對一的映射，而是需要用描述風(fēng)速和發(fā)電功率之間關(guān)系的概率分布函數(shù)來表征。從歷史數(shù)據(jù)得到先驗的風(fēng)功率曲線，然后通過改造損失函數(shù)，將其嵌入到模型的訓(xùn)練過程中，最終結(jié)合天氣預(yù)報與氣象觀測站，形成一套軟硬結(jié)合的物理與數(shù)據(jù)雙驅(qū)動的風(fēng)力發(fā)電功率預(yù)測產(chǎn)品。 ? ?

? 圖11 嵌入概率分布信息的風(fēng)力發(fā)電功率預(yù)測模型 ? 通過這種方法建立的人工智能模型不僅具有數(shù)據(jù)驅(qū)動的優(yōu)勢，還能保證輸出結(jié)果符合先驗的概率分布。將基于氣象數(shù)據(jù)和風(fēng)功率曲線的風(fēng)功率預(yù)測結(jié)果與真實值進(jìn)行對比（圖12），預(yù)測準(zhǔn)確率高于90%。 ?

? 圖12 數(shù)據(jù)對比圖 ? 2.2.2 將控制方程作為約束嵌入AI模型 ? 在模型效果評估階段嵌入領(lǐng)域知識的方法，主要是基于改進(jìn)損失函數(shù)的方法將控制方程作為約束嵌入到人工智能的模型中，這對于大數(shù)據(jù)量的求解非常有幫助，并且能減小預(yù)測的誤差。 ?

基于理論指導(dǎo)神經(jīng)網(wǎng)路（Theory-guided Neural Network，TgNN）的替代模型（圖13）具有理論指導(dǎo)的深度學(xué)習(xí)模型框架，將物理規(guī)律、工程控制、專家經(jīng)驗等先驗信息融合到深度學(xué)習(xí)模型的訓(xùn)練中，實現(xiàn)更高的預(yù)測準(zhǔn)確性、更好的可解釋性、更強(qiáng)的魯棒性。在理論指導(dǎo)下，TgNN替代模型可以在較少的訓(xùn)練數(shù)據(jù)的情況下進(jìn)行構(gòu)建，減小對數(shù)據(jù)量的依賴，例如，用基于TgNN/物理信息神經(jīng)網(wǎng)絡(luò)（Physics-informed Nerual Network，PINN）替代模型進(jìn)行不同滲透率場實現(xiàn)的解的預(yù)測（圖14），訓(xùn)練過程中僅使用30個現(xiàn)實提供的訓(xùn)練數(shù)據(jù)就達(dá)到了足夠的精度。

? 圖13 基于TgNN的替代模型 ?

? 圖14 TgNN/PINN替代模型準(zhǔn)確性評估——預(yù)測不同滲透率場實現(xiàn)的解 ? 此外，將TgNN替代模型應(yīng)用于工程問題中的不確定性量化（圖15），能夠大大提升不確定性量化任務(wù)的效率。以蒙特卡羅方法（MC）作為參考值，使用KL展開生成10000個實現(xiàn)，使用MODFLOW求解，所需時間約為1.74h；使用TgNN替代模型預(yù)測求解，因為神經(jīng)網(wǎng)絡(luò)的預(yù)測速度很快，因此只需要大約9min，TgNN替代模型顯著提高了不確定性量化的效率。 ?

? 圖15 基于TgNN/PINN替代模型的不確定性量化 ? 面對復(fù)雜問題，例如兩相流（油—水、油—?dú)猓﹩栴}——同時預(yù)測壓力和飽和度（圖16、17），在兩個方程組的情況下，利用控制方程也能進(jìn)行高效預(yù)測。 ?

? 圖16 兩相流（油—水、油—?dú)猓﹩栴} ?

? 圖17 兩相流（油—水、油—?dú)猓﹩栴}預(yù)測結(jié)果 ? 2.3 在模型結(jié)構(gòu)設(shè)計和效果評估階段嵌入領(lǐng)域知識 ? 利用軟約束嵌入控制方程雖然易于實現(xiàn)但只能產(chǎn)生平均意義上符合物理約束的預(yù)測結(jié)果，相比之下，硬約束能通過映射的方式（圖18），利用投影矩陣，將模型輸出值映射到嚴(yán)格符合物理機(jī)理的值域，保證局部嚴(yán)格滿足物理約束，具有更高的收斂速度和更低的數(shù)據(jù)需求。 ?

? 圖18 利用硬約束嵌入控制方程求解地下滲流場的硬約束映射 ? ?

? 圖19 利用硬約束嵌入控制方程求解地下滲流場投影矩陣構(gòu)建 ? ?

? 圖20 利用硬約束嵌入控制方程求解地下滲流場的效果評估 ? ? 在實際嵌入知識的過程中存在大量難點(diǎn)，尤其是嵌入復(fù)雜方程，如具有分式結(jié)構(gòu)或者復(fù)合函數(shù)的方程，難以直接利用神經(jīng)網(wǎng)絡(luò)的自動微分機(jī)制求梯度，因此也難以直接嵌入到人工智能模型中，因此，筆者在研究的過程中開發(fā)了自動化知識嵌入框架及工具包（圖21、22）。 ?

? 圖21 自動化知識嵌入框架及工具包（1） ? ?

? 圖22 自動化知識嵌入框架及工具包（2） ? ▍3、數(shù)據(jù)驅(qū)動的模型挖掘（知識發(fā)現(xiàn)） ? 知識發(fā)現(xiàn)是指從觀測數(shù)據(jù)中提煉物理知識，借助人工智能自動探索物理原理，推進(jìn)人類認(rèn)知前沿，同時迭代利用發(fā)現(xiàn)的知識，即結(jié)合知識嵌入，形成知識和數(shù)據(jù)的閉環(huán)系統(tǒng)。其核心問題在于五個方面：一是控制方程的靈活表示方法以及優(yōu)化算法；二是復(fù)雜結(jié)構(gòu)控制方程的挖掘方法；三是復(fù)雜系數(shù)控制方程的挖掘方法；四是針對稀缺且嘈雜的數(shù)據(jù)的挖掘方法；五是從實驗數(shù)據(jù)中挖掘全新的控制方程。 ? 3.1 從行星運(yùn)動三大定律的提出看控制方程的挖掘 ? 第谷耗時38年觀測火星軌跡數(shù)據(jù)，但是他沒有找到規(guī)律；第谷的學(xué)生開普勒耗時17年研究數(shù)據(jù)，最后總結(jié)出行星運(yùn)動三大定律；在此基礎(chǔ)上，牛頓發(fā)現(xiàn)了萬有引力定律。而AI技術(shù)的發(fā)展將大大加快這一進(jìn)程，根據(jù)數(shù)據(jù)找出內(nèi)在規(guī)律，這一過程需要發(fā)揮機(jī)器學(xué)習(xí)算法描述高維非線性映射的優(yōu)勢，從實驗數(shù)據(jù)中直接挖掘新的知識，加深對物理本質(zhì)的理解。 ? 3.2 從人工智能的發(fā)展看控制方程的挖掘 ? 神經(jīng)網(wǎng)絡(luò)作為傳統(tǒng)的機(jī)器學(xué)習(xí)的研究方向，實際上是一種黑盒模式（圖23），其可解釋性差，但隨著人工智能的發(fā)展，通過模型挖掘顯式表達(dá)出神經(jīng)網(wǎng)絡(luò)的內(nèi)部邏輯（控制方程），能夠提高可解釋性。 ? ?

? 圖23 神經(jīng)網(wǎng)絡(luò) ? ? 3.3 數(shù)據(jù)驅(qū)動的偏微分方程挖掘

利用機(jī)器學(xué)習(xí)方法從數(shù)據(jù)中直接發(fā)現(xiàn)潛在的物理過程及其控制方程。

3.3.1 封閉候選集方法：稀疏回歸 ? 在具備數(shù)據(jù)的情況下就可以得到它的梯度和各階導(dǎo)數(shù)。理論上系統(tǒng)中可能存在許多項，但是實際的方程是稀疏的，它只有其中的幾項，其他的項的系數(shù)都是0，所以那些項是不存在的。這樣問題就轉(zhuǎn)化成，在一個系統(tǒng)中如何找到稀疏的向量，而且它的系數(shù)也能同時找出來。利用稀疏回歸進(jìn)行偏微分方程的挖掘（圖24），能夠從數(shù)據(jù)中識別出時間導(dǎo)數(shù)、潛在偏微分方程的項以及稀疏的系數(shù)向量。 ?

? 圖24 稀疏回歸挖掘偏微分方程 ? 3.3.2 半開放候選集方法：遺傳算法 ? 稀疏回歸的前提是項（候選集）的存在，在項不完全存在的情況下，則需要通過遺傳算法（Genetic Algorithm，GA）挖掘控制方程。遺傳算法是一種最基本的進(jìn)化算法，它是模擬達(dá)爾文生物進(jìn)化理論的一種優(yōu)化模型，最早由J.Holland教授于1975年提出。遺傳算法中種群中的每個個體都是解空間上的一個可行解，通過模擬生物的進(jìn)化過程，進(jìn)行遺傳、變異、交叉、復(fù)制從而在解空間內(nèi)搜索最優(yōu)解。 ? 在KdV方程的挖掘（圖25）中，遺傳算法比稀疏回歸更為有效，這是因為對于更大的備選集，DL-PDE中使用稀疏回歸時將需要更大的稀疏性，這會增加挖掘難度。DLGA-PDE可以在非完全備選集的情況下挖掘PDE，并且待挖掘的PDE項可以通過基因組的變異和交叉產(chǎn)生，可以避免出現(xiàn)DL-PDE中遇到的備選集大小問題。 ?

? 圖25 基于深度學(xué)習(xí)的模型挖掘——KdV方程 ? 3.3.3 開放候選集方法：符號數(shù)學(xué) ? 在一個自變量、一個因變量的情況下，定義一些運(yùn)算符、運(yùn)算法則，那么方程的每一項都是一個樹的結(jié)構(gòu)，再通過一次次變異去改變樹的結(jié)構(gòu)，就可以挖掘出控制方程（圖26），即使是比較復(fù)雜的方程也能被挖掘，這只需要自變量和因變量。

? 圖26 候選集復(fù)雜度及方程項表示方法 ? 3.4 基于知識發(fā)現(xiàn)和符號數(shù)學(xué)實現(xiàn)控制方程自挖掘（生產(chǎn)知識） ? 找到最適合數(shù)據(jù)的偏微分方程的關(guān)鍵在于解決兩個問題，一是如何通過符號數(shù)學(xué)表示任何給定的復(fù)雜開放式偏微分方程，二是如何使用機(jī)器學(xué)習(xí)算法從偏微分方程的無限可行域中挖掘正確的方程。 ? 引入符號回歸中樹結(jié)構(gòu)的概念，在開放空間中挖掘方程形式，每一項都可以變成一個樹的結(jié)構(gòu)，這個樹由節(jié)點(diǎn)構(gòu)成，父節(jié)點(diǎn)為運(yùn)算符（包括偏微分算符），子節(jié)點(diǎn)為系數(shù)、變量或函數(shù)，對樹結(jié)構(gòu)的深度和廣度都可以調(diào)整，表明樹或者說方程的項的復(fù)雜程度（圖27）。如此一來，任何方程都是一片森林，森林里的樹代表不同的方程項，通過遺傳算法、符號數(shù)學(xué)等方式能夠挖掘出自由形式的方程，即使方程的形式非常的復(fù)雜。（圖28） ?

? 圖27 基于樹結(jié)構(gòu)挖掘自由形式的方程 ?

? 圖28 基于知識發(fā)現(xiàn)和符號數(shù)學(xué)實現(xiàn)控制方程自挖掘 ? 3.4.1 挖掘“分式結(jié)構(gòu)方程” ? ? 在分式結(jié)構(gòu)方程的挖掘過程中，初始有一個自變量、因變量，在第一代迭代后可能找出了這些簡單的項，但這些項是不正確的，再經(jīng)過幾十代的迭代，不斷地交叉、變異、進(jìn)化，最后挖掘出正確的方程（圖29、30），即使這是一個極其復(fù)雜的方程。 ?

? 圖29 挖掘“分式結(jié)構(gòu)方程”（1） ? ?

? 圖30 挖掘分式結(jié)構(gòu)方程（2） ? 3.4.2 從細(xì)觀模擬數(shù)據(jù)中挖掘粘性重力流的宏觀控制方程 ? 知識發(fā)現(xiàn)也可以用來解決實際的問題，比如粘性重力流問題，通過控制方程的自挖掘，最終也能成功驗證其數(shù)學(xué)上的合理性、物理上的預(yù)測性。粘性重力流的短期行為尚不存在控制方程，在這種情況下，通過精細(xì)的微觀數(shù)據(jù)模擬得到數(shù)據(jù)，并利用這些數(shù)據(jù)進(jìn)行學(xué)習(xí)，挖掘宏觀控制方程（圖31、32、33、34）。 ? 為了從數(shù)據(jù)空間中的原始仿真數(shù)據(jù)挖掘出語義空間中的可解釋的物理定律（PDE），需要以下三個步驟：數(shù)據(jù)重構(gòu)，基于深度神經(jīng)網(wǎng)絡(luò)（DNN）的替代模型訓(xùn)練；構(gòu)造語義片段，計算空間導(dǎo)數(shù)和積分通量；語義整合，基于遺傳算法挖掘出的簡約偏微分方程。 ?

? 圖31 從細(xì)觀模擬數(shù)據(jù)中挖掘粘性重力流的宏觀控制方程 ?

? 圖32 基于深度學(xué)習(xí)的偏微分方程挖掘 ?

? 圖33 長期行為的控制方程 ?

? 圖34 短期行為的控制方程

? ▍4、結(jié)束語

綜上所述，筆者認(rèn)為，機(jī)器學(xué)習(xí)算法可以有效地解決具有復(fù)雜非線性映射關(guān)系的問題。但數(shù)據(jù)是其基礎(chǔ)，在社會不斷向著信息化、數(shù)字化、智能化方向發(fā)展的過程中，從數(shù)據(jù)大要走向大數(shù)據(jù)，光有數(shù)據(jù)已然不夠，大數(shù)據(jù)技術(shù)將更具價值。其次，通過引入行業(yè)知識，可以有效提升機(jī)器學(xué)習(xí)模型的效果，可以在數(shù)據(jù)預(yù)處理、機(jī)器學(xué)習(xí)模型結(jié)構(gòu)以及模型效果評估環(huán)節(jié)嵌入領(lǐng)域知識，提升精度和魯棒性，同時還能在一定程度上降低數(shù)據(jù)需求。在“行業(yè)+AI”的未來，數(shù)據(jù)驅(qū)動（機(jī)器學(xué)習(xí)）與模型驅(qū)動（傳統(tǒng)模型）要得到有機(jī)結(jié)合（圖35），而核心就在于知識的嵌入和知識的發(fā)現(xiàn)，只有當(dāng)二者形成一個閉環(huán)，才能大大提高人工智能解決實際問題的能力。

? 圖35 數(shù)據(jù)驅(qū)動與模型驅(qū)動的融合

? 編輯：黃飛

?