現(xiàn)有的大多數(shù)人工智能模型和方法仍屬于窄人工智能，也被稱為弱人工智能（weak artificial intelligence）。相對而言，強人工智能（strong artificial intelligence）期望機器能像人一樣思考、推理，能處理各種任務(wù)，比肩人類的智能水平（human-like or human-level intelligence）。與強人工智能相比，現(xiàn)有通用人工智能更加強調(diào)機器的“泛 化”能力，包括場景泛化（即模型從單一場景泛化 至多個場景）、模態(tài)泛化（即一個模型適用于多種 模態(tài)的任務(wù)）、任務(wù)泛化（即一個模型可以處理多種類型的任務(wù)）等。

通用人工智能目前仍然處于發(fā)展初期，是對現(xiàn)有窄/弱人工智能的反思、補充和改進(jìn)，也是通往強人工智能道路上的重要路線。通用人工智能所研究的是一個智能系統(tǒng)應(yīng)該具備哪些能力，并且運用這些能力解決各式各樣的復(fù)雜問題。

通用人工智能的多模態(tài)通用技術(shù)

現(xiàn)實生活中，人類接收的信息模態(tài)多種多樣，如視覺、聲音、文字、嗅覺、觸覺等。人類可以綜合運用多種模態(tài)的信息對事物進(jìn)行理解和推理。多模態(tài)學(xué)習(xí)是通用智能需要解決的關(guān)鍵問題之一，其任務(wù)可以歸結(jié)為兩個基本類：多模態(tài)表征學(xué)習(xí)和模態(tài)轉(zhuǎn)換。需要指出的是，這兩個問題并非不相關(guān)，比如表征可以用來做模態(tài)轉(zhuǎn)換。下面介紹幾種典型的多模態(tài)學(xué)習(xí)任務(wù)。

多模態(tài)表征學(xué)習(xí)和融合

多模態(tài)表征學(xué)習(xí)指的是學(xué)習(xí)包含多個模態(tài)的樣本表征，比如視頻里可能包含的視覺信息、聲音信息等，使得表征能夠反映所包含的多個模態(tài)信息，以幫助理解識別等任務(wù)。最直接的方法是分別處理各個模態(tài)，得到每個模態(tài)的表征，再將其直接拼接起來作為最后的表征；也可以最終只產(chǎn)生一個表征，把不同模態(tài)的表征融合成一個表征；也可以繼續(xù)把融合的表征做進(jìn)一步處理，以生成更強的表征；還可以在產(chǎn)生表征的過程中，不停地進(jìn)行模態(tài)之間的信息交互或者融合，以增強每個模態(tài)的表征。

多模態(tài)協(xié)同學(xué)習(xí)

多模態(tài)協(xié)同學(xué)習(xí)指的是利用模態(tài)之間的關(guān)聯(lián)，借助其他一個或者多個模態(tài)，來幫助某一模態(tài)或者多個模態(tài)建模和學(xué)習(xí)。模態(tài)之間的關(guān)聯(lián)信息非常常見，比如人在說話的時候，既有聲音模態(tài)，也有視覺（唇語）模態(tài)，如人臉表情或者行為動作；比如互聯(lián)網(wǎng)上的圖片，通常有文件名等；比如在視頻中，視頻幀可能有相應(yīng)的聲音（語音或者音樂），也可能有文字腳本。人類對單一模態(tài)的理解，也是通過聯(lián)合其他模態(tài)信息進(jìn)行分析的。多模態(tài)協(xié)同學(xué)習(xí)的要領(lǐng)在于把關(guān)聯(lián)轉(zhuǎn)換成合適的約束，以及從各個模態(tài)獲取合適的信息形成約束。例如圖像和文本（比如圖像及其文件名）有一一對應(yīng)關(guān)系。

借助于物體的屬性描述來幫助圖像識別建模，在某種意義上也是多模態(tài)協(xié)同學(xué)習(xí)。例如，對狗的識別，我們都清楚地了解狗是由哪些部分組成的，具有怎樣的屬性特征，比如它有4條腿、尾巴、毛發(fā)等。但是在目前主流的物體識別中，這種信息沒有被加進(jìn)去，“狗”只是作為一個標(biāo)簽。而人類從圖像里識別狗的時候，頭腦中有很多狗的圖像認(rèn)知信息，同時也從別的渠道獲得狗的其他知識，如組成方式等。所以，建模時需要把關(guān)于狗的額外知識信息加進(jìn)去，來提升建模識別性能，也會提升模型的魯棒性。

多模態(tài)統(tǒng)一表征學(xué)習(xí)

多模態(tài)統(tǒng)一表征學(xué)習(xí)指的是把不同模態(tài)映射到 同一個特征空間，使得不同模態(tài)在這個特征空間里可以直接比較（比如歐氏距離），比較的時候不用 區(qū)分特征來自什么模態(tài)。多模態(tài)任務(wù)可以是把一幅圖片轉(zhuǎn)變成一段文字或者一首詩，或者將文字轉(zhuǎn)化成一幅圖像；以及在文字、圖片或者視頻搜索中，如果圖像和文本的特征都轉(zhuǎn)換到同一個空間中，那我們就可以進(jìn)行統(tǒng)一的搜索，而不再區(qū)分不同的模態(tài)。

人類具有在不同模態(tài)之間快速映射的能力，比如看到一個場景，我們的頭腦會快速“搜索”到應(yīng)景的一首歌、一段文字或者一首詩。多模態(tài)統(tǒng)一表示是模擬人類這個能力的一種實現(xiàn)方法。多模態(tài)統(tǒng)一表征問題的主要研究點在于如何定義關(guān)系保持和尋找合適的映射，以及對大規(guī)模數(shù)據(jù)和實際問題的探索。目前已經(jīng)有了實際系統(tǒng)的探索，如“小冰寫詩”。

責(zé)任編輯：YYX