在近日舉行的“第十六屆CCF全過(guò)高性能計(jì)算學(xué)術(shù)年會(huì)”上，中國(guó)工程院副院長(zhǎng)、中國(guó)科協(xié)副主席、中國(guó)工程院院士陳左寧發(fā)表了題為《人工智能進(jìn)展對(duì)算力需求分析》的演講。在演講中，她闡述了人工智能模型和算法的七大發(fā)展趨勢(shì)。

陳左寧表示，經(jīng)典的HPC的算力環(huán)境可支持現(xiàn)有人工智能的模型算法，但性能功耗比和性?xún)r(jià)比都較低，并非最適合的，需要?jiǎng)?chuàng)新體系結(jié)構(gòu)和軟件架構(gòu)。

據(jù)介紹，人工智能的發(fā)展經(jīng)歷了三個(gè)歷程。從符合主義到連接主義再到行為主義。符號(hào)主義主要是用公理和邏輯體系搭建一套人工智能系統(tǒng)。連接主義源于仿生學(xué)，主張模仿人類(lèi)的神經(jīng)元，用神經(jīng)網(wǎng)絡(luò)的連接機(jī)制連接人工智能。行為主義控制論意為假設(shè)智能取決于感知和行動(dòng)。

陳左寧稱(chēng)，三大流派日趨融合，協(xié)同發(fā)展，人工智能的核心特征之一是“關(guān)系”。

據(jù)介紹，“關(guān)系”計(jì)算的表現(xiàn)形式有三種。一是連接關(guān)系，神經(jīng)網(wǎng)絡(luò)中神經(jīng)網(wǎng)元間的連接。反向傳播算法中的梯度傳播；進(jìn)化算法中的變異。二是邏輯關(guān)系。RNN中的循環(huán)連接以及知識(shí)圖譜中的關(guān)聯(lián)關(guān)系。三是因果關(guān)系，貝葉斯、決策樹(shù)以及強(qiáng)化學(xué)習(xí)中的控制連接。

在演講中，陳左寧詳細(xì)介紹了人工智能模型和算法發(fā)展的七大趨勢(shì)。

趨勢(shì)一、向無(wú)監(jiān)督的方向發(fā)展。主要表現(xiàn)為：適應(yīng)“小數(shù)據(jù)”，減少標(biāo)注需求，減少計(jì)算開(kāi)銷(xiāo)。要向無(wú)監(jiān)督方向發(fā)展要經(jīng)歷幾個(gè)階段。人工智能主動(dòng)學(xué)習(xí)階段，算法主動(dòng)提出標(biāo)注請(qǐng)求，將一些經(jīng)過(guò)篩選的數(shù)據(jù)提交給專(zhuān)家標(biāo)注。遷移學(xué)習(xí)階段，增強(qiáng)訓(xùn)練好的模型，解決目標(biāo)領(lǐng)域中僅有的少量有標(biāo)簽樣本數(shù)據(jù)的問(wèn)題。強(qiáng)化學(xué)習(xí)階段，用agents構(gòu)成系統(tǒng)來(lái)描述行為并給予評(píng)價(jià)和反饋學(xué)習(xí)。

趨勢(shì)二、可解釋?zhuān)╔AI）越來(lái)越重要。深度學(xué)習(xí)如何進(jìn)一步設(shè)計(jì)算法和參數(shù)，提高泛化能力，需要模型算法可解釋。對(duì)抗樣本導(dǎo)致模型失效，訓(xùn)練數(shù)據(jù)不可理的被局部放大。模型愈加復(fù)雜，失去了可調(diào)式性和透明度。

“此時(shí)，對(duì)于技術(shù)的需求就是將可解釋技術(shù)融入軟件環(huán)境中去。有兩個(gè)方法。第一為現(xiàn)有軟件框架增加可解釋技術(shù)接口。提供事后解釋的基本技術(shù)，比如可視化能力，局部數(shù)據(jù)分析，特征關(guān)聯(lián)等?，F(xiàn)有的軟件原生支持多種可解釋算法。提供算法或指標(biāo)評(píng)估模型的可解釋能力。第二是“人—AI”系統(tǒng)結(jié)合。以人為中心，由決策理論驅(qū)動(dòng)的XAI的概念框架?！?陳左寧表示。

趨勢(shì)三、人工智能的自學(xué)習(xí)、自演化。這個(gè)過(guò)程有三個(gè)階段。一是自動(dòng)化機(jī)器學(xué)習(xí)，主要是利用數(shù)據(jù)驅(qū)動(dòng)方式來(lái)做決策。而是限制約束條件的AutoML。三是不舍初始條件，搜索空間極大豐富的自演化AutoML。這一趨勢(shì)對(duì)于技術(shù)的需求有計(jì)算框架支撐、大算力支撐以及輔助設(shè)備支撐。

趨勢(shì)四、多種算法、模型的有機(jī)結(jié)合。單一的算法或模型難以解決實(shí)際問(wèn)題。比如問(wèn)題分解和多種模型有機(jī)組合。人工智能模型的發(fā)展希望融入多種技術(shù)來(lái)解決已有問(wèn)題。比如，通過(guò)貝葉斯技術(shù)增強(qiáng)因果關(guān)系分析；通過(guò)數(shù)據(jù)生成技術(shù)減少標(biāo)注數(shù)據(jù)需求；通過(guò)AutoML技術(shù)提高搜索和挖掘能力。與此同時(shí)，人工智能的應(yīng)用流程也越來(lái)越復(fù)雜，如，不同流程設(shè)計(jì)的設(shè)備以及環(huán)境多樣；需要不同的算法和模型組合。多種算法、模型的有機(jī)組合的需求是計(jì)算存儲(chǔ)等可拓展能力。基礎(chǔ)軟件能力提升，支持復(fù)雜模型，不同類(lèi)型軟件的協(xié)同和交互。

趨勢(shì)五、人工智能應(yīng)用需求需要關(guān)注全生命周期。全周期不同人物具有不同時(shí)間，空間和計(jì)算需求。全生命周期都要考慮可解釋、公平等需求。

趨勢(shì)六、分布式、分散式的需求越來(lái)越突出。首先，大型、復(fù)雜模型，海量數(shù)據(jù)需要并行，分布式計(jì)算。其次，聯(lián)邦學(xué)習(xí)等分散場(chǎng)景需要分布式ML原生算法。使多個(gè)參與者可以在不共享數(shù)據(jù)的情況下構(gòu)建通用的，健壯的機(jī)器學(xué)習(xí)模型，從而解決關(guān)鍵問(wèn)題。不同節(jié)點(diǎn)上的數(shù)據(jù)集異構(gòu)（分布不相同），大小可跨越幾個(gè)數(shù)量級(jí)。節(jié)點(diǎn)可能不可靠，節(jié)點(diǎn)之間的互聯(lián)可能不穩(wěn)定。類(lèi)別優(yōu)集中式、分散式以及迭代式。這一趨勢(shì)對(duì)安全性、架構(gòu)、提升效率和效用、健壯性有需求。

趨勢(shì)七，深度推理。從計(jì)算到感知再到認(rèn)知和意識(shí)，人工智能模型和算法的發(fā)展趨勢(shì)七是認(rèn)知理論的進(jìn)一步突破。這一趨勢(shì)的需求有效應(yīng)對(duì)多種形式的不確定性。其中概率計(jì)算根據(jù)不同精度計(jì)算需求設(shè)計(jì)硬件。根據(jù)數(shù)據(jù)和計(jì)算的稀疏分布設(shè)計(jì)。另外，這一趨勢(shì)的需求還有類(lèi)腦、仿腦體系結(jié)構(gòu)以及模擬計(jì)算。

陳左寧總結(jié)說(shuō)，總體來(lái)說(shuō)，AI趨勢(shì)對(duì)算力的需求主要是對(duì)軟件棧的需求。從AI發(fā)展趨勢(shì)的特點(diǎn)來(lái)看，關(guān)系、概率、近似計(jì)算更突出；不要求高精度、高容錯(cuò)；節(jié)點(diǎn)上計(jì)算簡(jiǎn)單；人在環(huán)路中需求明顯。因此，對(duì)軟件棧的需求更加多樣，比如復(fù)雜、動(dòng)態(tài)、分布式和分散；支撐新場(chǎng)景以及架構(gòu)創(chuàng)新。目前AI算法仍在基本計(jì)算模式中。

陳左寧坦言：“未來(lái)的復(fù)雜問(wèn)題可能會(huì)超越此模式，目前的模型和算法主要是低精度張量計(jì)算?！?/p>

責(zé)任編輯：gt