社會(huì)媒體的重要性眾所周知。全球人口中，一半人是網(wǎng)民，網(wǎng)民中的三分之二是社會(huì)媒體用戶。常見社會(huì)媒體包括Facebook，twitter，國內(nèi)的微信和微博也是常用的社會(huì)媒體。我們?cè)谏鐣?huì)媒體能夠做各種各樣的事情，包括和親友交流溝通、獲取信息，分享或者表達(dá)我們的觀點(diǎn)。

從事社會(huì)媒體研究開發(fā)具有商業(yè)價(jià)值和社會(huì)價(jià)值。以各種媒體的廣告份額為例，電視媒體廣告的份額只有社會(huì)媒體廣告份額的一小部分，更何況是報(bào)紙和廣播等傳統(tǒng)媒體。因此從商業(yè)價(jià)值上社會(huì)媒體就是一個(gè)很值得我們研究的對(duì)象。這里我們可以用一個(gè)例子來展示：一個(gè)新浪微博用戶在頭天晚上晚上九點(diǎn)多發(fā)了條微博，表示想采購一款筆記本電腦，隔天早晨9點(diǎn)多就有促銷商要給他推銷產(chǎn)品了，可見從社會(huì)媒體上可以挖掘很多有價(jià)值的商業(yè)信息。統(tǒng)計(jì)結(jié)果表明，在社交媒體上的購買意向，最終轉(zhuǎn)化率超過了一半以上。社會(huì)媒體的社會(huì)價(jià)值更是毋庸置疑，以學(xué)術(shù)微博為例，學(xué)術(shù)研究人員可以在微博上推廣自己、結(jié)交朋友和獲取信息，政務(wù)微博的社會(huì)價(jià)值也是顯而易見。

下面從建模角度介紹如何對(duì)社會(huì)媒體進(jìn)行描述。社會(huì)媒體可用一個(gè)異構(gòu)網(wǎng)絡(luò)表示，異構(gòu)網(wǎng)絡(luò)存在著兩種節(jié)點(diǎn)，一類是信息節(jié)點(diǎn)，實(shí)際上就是我們所發(fā)布的內(nèi)容，比如文字、圖片、視頻、音頻；另一類節(jié)點(diǎn)是用戶節(jié)點(diǎn)，也就是發(fā)表信息的人，從普通的用戶、網(wǎng)紅一直到更權(quán)威的媒體和機(jī)構(gòu)。同時(shí)網(wǎng)絡(luò)中存在著三種異構(gòu)的邊：信息之間是有關(guān)聯(lián)的，一條微博后面跟著很多評(píng)論，這是信息間的關(guān)系。用戶間存在社會(huì)關(guān)系，例如粉絲關(guān)系。人和信息之間也存在關(guān)系，一條信息可以艾特給特定用戶，用戶也可以發(fā)布微博，這樣就構(gòu)成一個(gè)非常復(fù)雜的異構(gòu)網(wǎng)絡(luò)，也就是計(jì)算機(jī)所處理的對(duì)象。

我們實(shí)驗(yàn)室做的研究工作主要集中在社會(huì)媒體用戶行為理解和預(yù)測(cè)方面，我們?cè)诿襟w上試圖給用戶建模，理解用戶行為，預(yù)測(cè)接下來會(huì)有什么樣的行為模式。

社交媒體上的用戶行為非常復(fù)雜，以歌手和影星林志穎為例，他的微博經(jīng)常發(fā)布使用蘋果手機(jī)的體驗(yàn)。如何理解他的行為呢？最表層的行為是，他在使用蘋果手機(jī)，往深里看，他是蘋果手機(jī)的粉絲，再往深看，他很可能是蘋果手機(jī)的代言人。所以我們要看用戶真正表達(dá)什么樣的內(nèi)容。

用戶行為受到四個(gè)因素影響，第一是用戶發(fā)表內(nèi)容，第二是用戶是處在什么樣的社交關(guān)系之間，第三是當(dāng)前時(shí)刻有哪些熱點(diǎn)事件，第四是用戶發(fā)布這條微博處在什么時(shí)空環(huán)境。社會(huì)媒體用戶的建模和預(yù)測(cè)需要聽其言和觀其行。所謂聽其言，就是利用各種技術(shù)分析用戶發(fā)布的數(shù)據(jù)，主要是自然語言處理技術(shù)，也包括語音識(shí)別、圖像視頻處理等。所謂觀其行，就是要分析結(jié)構(gòu)，利用社區(qū)分析技術(shù)，定位人物所在的社交圈；利用關(guān)系分析技術(shù)，分析人物的朋友圈及其疏密度，利用信息傳播分析技術(shù)，分析人物的社會(huì)影響力。

社會(huì)媒體上的行為非常豐富，具體則取決于不同媒體，但也大同小異，例如在facebook上可以發(fā)表帖子，可以表示喜歡，可以評(píng)論，可以分享；在Twitter上可以表示轉(zhuǎn)發(fā)，可以點(diǎn)贊。過去幾年我跟復(fù)旦大學(xué)的同事張奇、博士生丁卓冶、宮葉云、桂韜，碩士生黃浩然、馬仁峰，朱亮，在社會(huì)媒體挖掘方面做了一些工作，主要是用戶行為建模和預(yù)測(cè)，包括微博標(biāo)簽推薦、艾特用戶(公司)推薦、轉(zhuǎn)發(fā)行為預(yù)測(cè)、用戶話題參與預(yù)測(cè)，以及如何在社會(huì)媒體挖掘中融入多模態(tài)信息。在研究方法上，早期主要采用主題模型和機(jī)器學(xué)習(xí)的方法，這幾年逐漸轉(zhuǎn)到深度學(xué)習(xí)之上。

我們做的第一塊工作是微博標(biāo)簽推薦。新浪微博的標(biāo)簽是用兩個(gè)#符號(hào)標(biāo)記的詞語或者短語，可以認(rèn)為就是微博的關(guān)鍵詞，用來對(duì)微博的上下文內(nèi)容做出提示，便于我們?cè)诙虝r(shí)間了解微博的內(nèi)容。微博標(biāo)簽推薦任務(wù)就是為每一條微博去推薦少許關(guān)鍵詞。統(tǒng)計(jì)結(jié)果表明只有15%的微博包含關(guān)鍵詞，因此這樣一塊工作是有一定意義的。接下來介紹我們?cè)趺礃幼鑫⒉?biāo)簽推薦這件工作，主要介紹我們的研究思路，而不是具體的實(shí)現(xiàn)細(xì)節(jié)。給定一條微博，我們先要判斷這條微博中哪些詞有可能成為微博的關(guān)鍵詞，這種詞叫觸發(fā)詞。觸發(fā)詞的識(shí)別比較簡(jiǎn)單，首先抓取大量微博，其中出現(xiàn)在微博標(biāo)簽的詞語就是候選詞，也就是觸發(fā)詞。如何判斷微博中的哪些觸發(fā)詞可以推薦為微博標(biāo)簽，還需要看觸發(fā)詞出現(xiàn)在微博的具體位置。同時(shí)考慮觸發(fā)詞和觸發(fā)詞的上下文，我們提出了一個(gè)雙通道的深度學(xué)習(xí)模型，一個(gè)通道抽取觸發(fā)詞特征，另一個(gè)通道抽取全局特征，然后結(jié)合兩部分特征，對(duì)標(biāo)簽進(jìn)行推薦。

眾所周知，深度學(xué)習(xí)在過去幾年是非常熱門的研究方法，所謂的深度學(xué)習(xí)，實(shí)際上就是多層的神經(jīng)網(wǎng)絡(luò)，從06年開始被廣泛應(yīng)用于計(jì)算機(jī)視覺，之后在語音識(shí)別中取得了長(zhǎng)足的進(jìn)步，從13、14年開始在自然語言處理領(lǐng)域得到廣泛運(yùn)用。自然語言處理中的深度學(xué)習(xí)主要有兩類工作，第一類是表示學(xué)習(xí)，給定句子、篇章、微博，如何用一個(gè)低維稠密的向量去表達(dá)它，怎么從字詞表示通過組合方式得到整個(gè)微博的表示。另一類工作是如何利用語言文字天生具有的序列信息完成各種語言處理任務(wù)。

怎樣用深度學(xué)習(xí)來進(jìn)行標(biāo)簽推薦呢？我們?cè)谖⒉┲袑ふ矣|發(fā)詞，在局部通道中通過注意力機(jī)制判斷這些觸發(fā)詞是不是重要的詞語，通過全局通道得到微博的全局表示，利用卷積神經(jīng)網(wǎng)絡(luò)融合局部和全部?jī)蓚€(gè)通道的信息。為了評(píng)價(jià)標(biāo)簽推薦的效果，我們使用精度、召回率和F值作為評(píng)價(jià)指標(biāo)。精度就用來表示算法推薦的標(biāo)簽中有多少是微博原作者給定的標(biāo)簽，召回率表示微博原作者給定的標(biāo)簽有多少比例被算法推薦，F(xiàn)值則是精度和召回率的調(diào)和平均。我們選取了11萬條帶有標(biāo)簽的微博數(shù)據(jù)，隨機(jī)選取其中的1萬條作為測(cè)試。實(shí)驗(yàn)結(jié)果表明雙通道模型的F值達(dá)到了40%，這是相當(dāng)不錯(cuò)的結(jié)果。

微博用戶行為建模僅僅考慮微博本身內(nèi)容是不夠充分的，之前關(guān)于標(biāo)簽推薦的研究工作主要只利用了微博本身的信息，未充分考慮微博作者的興趣特點(diǎn)。一個(gè)作者的興趣點(diǎn)是有限的，發(fā)文范圍也是有限的。標(biāo)簽也是用戶的興趣體現(xiàn)，所以兩者也是緊密相關(guān)的。用戶興趣點(diǎn)可以從用戶歷史微博挖掘。我們采用記憶神經(jīng)網(wǎng)絡(luò)存儲(chǔ)用戶的歷史微博。記憶神經(jīng)網(wǎng)絡(luò)通過引入一個(gè)外部?jī)?chǔ)存器來對(duì)數(shù)據(jù)進(jìn)行長(zhǎng)時(shí)儲(chǔ)存、檢索與更新，已經(jīng)被成功應(yīng)用到不同的自然語言處理任務(wù)中。我們提出的層次記憶網(wǎng)絡(luò)模型將用戶歷史發(fā)文儲(chǔ)存在外部記憶儲(chǔ)存單元，利用層次化注意力機(jī)制構(gòu)建用戶歷史興趣，輔助標(biāo)簽推薦。記憶的查找過程中采用層次式的方式，首先考慮詞級(jí)別的相似程度，然后考慮句子級(jí)別的相似程度，之后獲得用戶興趣的表示，再和當(dāng)前這條微博的表示進(jìn)行匹配，從中可以發(fā)現(xiàn)當(dāng)前微博中哪些詞適合表征用戶的興趣和微博的內(nèi)容，并選擇作為標(biāo)簽。實(shí)驗(yàn)結(jié)果表明，記憶神經(jīng)網(wǎng)絡(luò)獲得的精度和召回率都比僅考慮內(nèi)容的模型有所提高。

接下來考慮艾特用戶推薦。在一些社交媒體，如Twitter、Facebook或微博中，用戶會(huì)發(fā)表推文并“@”他們的朋友或者名人，借以宣傳產(chǎn)品, 參與話題討論, 吸引注意力, 求助等。如何在發(fā)布微博的時(shí)候推薦合適的用戶？我們也采用神經(jīng)網(wǎng)絡(luò)方法，綜合微博內(nèi)容、歷史、作者、興趣等信息，在記憶模塊記錄用戶興趣和潛在可艾特的用戶。在推薦艾特用戶的時(shí)候，要考慮到用戶發(fā)帖的歷史，因此我們把用戶發(fā)布的微博歷史存于記憶網(wǎng)絡(luò)。同時(shí)用另外一個(gè)記憶模型存儲(chǔ)艾特用戶的發(fā)帖歷史，表明他們對(duì)什么事件關(guān)注。如果用戶發(fā)布的微博和艾特用戶發(fā)布的微博類似，說明他們可能關(guān)心同一個(gè)領(lǐng)域或事件，艾特給這樣的用戶就有可能得到正面的反饋。實(shí)驗(yàn)結(jié)果表明，艾特用戶的推薦能夠達(dá)到80%以上的精度，推薦結(jié)果比微博標(biāo)簽的結(jié)果高很多。這里的原因也是顯而易見的，因?yàn)橛脩魧懳⒉┑臅r(shí)候，選擇哪些關(guān)鍵詞是一個(gè)開放集合，甚至是微博原文中沒出現(xiàn)的詞語，不太好做非常精確的判斷；當(dāng)艾特用戶的時(shí)候，潛在的對(duì)象是個(gè)有限集，至少必須擁有微博賬號(hào)，所以就相對(duì)精確些。

接下來介紹如何預(yù)測(cè)用戶的轉(zhuǎn)發(fā)行為。普通用戶，即使以信息檢索領(lǐng)域國際專家酒井為例，他發(fā)布的帖子經(jīng)常只有幾人轉(zhuǎn)發(fā)。另一位用戶，發(fā)了個(gè)帖子，只有一句話“給一起長(zhǎng)大的你們”，就被轉(zhuǎn)發(fā)一百多萬次，原因是因?yàn)樗敲餍锹龟?。所以微博是否?huì)被轉(zhuǎn)發(fā)不僅取決于微博本身的內(nèi)容是否精彩，是否會(huì)引起別人興趣，也取決于發(fā)布微博的用戶是誰。為了預(yù)測(cè)用戶轉(zhuǎn)發(fā)行為，我們選擇200個(gè)用戶作為第一層種子節(jié)點(diǎn)，轉(zhuǎn)發(fā)帖子的8萬個(gè)用戶作為第二層節(jié)點(diǎn)，構(gòu)建了含有8千多萬條微博的數(shù)據(jù)集。我們采取的方法也還是雙通道神經(jīng)網(wǎng)絡(luò)方法，通過基于注意力的神經(jīng)網(wǎng)絡(luò)對(duì)用戶歷史微博進(jìn)行建模，通過神經(jīng)網(wǎng)絡(luò)計(jì)算用戶興趣點(diǎn)以及待預(yù)測(cè)的目標(biāo)微博之間的相似度。結(jié)合用戶、用戶歷史興趣點(diǎn)、興趣點(diǎn)與微博內(nèi)容的相似度、待預(yù)測(cè)的微博內(nèi)容、待預(yù)測(cè)微博的作者等信息對(duì)轉(zhuǎn)發(fā)行為進(jìn)行預(yù)測(cè)。根據(jù)這樣的一個(gè)模型，我們?cè)诰?、召回率和F值都達(dá)到70%以上性能，相當(dāng)不錯(cuò)。我們還注意到，偶爾轉(zhuǎn)發(fā)微博的用戶不太愿意轉(zhuǎn)發(fā)，但是對(duì)于經(jīng)常轉(zhuǎn)發(fā)微博的用戶，我們能夠做出更加精確的估計(jì)。

下面一塊工作關(guān)注于用戶話題預(yù)測(cè)問題的研究。我們想要預(yù)測(cè)在一些社交媒體，如Twitter、Facebook或微博中，哪一些話題是一個(gè)用戶會(huì)去參與的。和別的一些微博推薦任務(wù)、熱點(diǎn)檢測(cè)任務(wù)不同的是，在這個(gè)任務(wù)中，我們關(guān)注的是預(yù)測(cè)用戶和話題之間的關(guān)系。因此，我們將其轉(zhuǎn)換成了匹配問題，并提出了一種匹配模型去解決它。我們提出了一個(gè)高效的基于卷積神經(jīng)網(wǎng)的網(wǎng)絡(luò)模型，并且在模型中引入了記憶儲(chǔ)存器，利用注意力機(jī)制進(jìn)行更好的匹配建模。在這個(gè)框架中，用戶發(fā)文興趣、用戶話題參與歷史兩種信息被充分利用，分別和話題相關(guān)的文本等信息進(jìn)行興趣匹配建模。為了訓(xùn)練與評(píng)估我們的模型，我們利用Twitter構(gòu)建了一個(gè)超過一千四百萬條tweets的數(shù)據(jù)集，并對(duì)比了多種推薦方法，實(shí)驗(yàn)結(jié)果表明我們的模型在該任務(wù)上都比之前的方法取得了很大的提升。

除了以上的推薦任務(wù)，我們還關(guān)注對(duì)于多模態(tài)推文的推薦。如一個(gè)用戶發(fā)布了關(guān)于mac的微博，如果只看作者的推文，我們可能誤以為作者買了一臺(tái)MAC電腦，但結(jié)合了圖片的信息，我們可以知道，作者其實(shí)是買了一個(gè)MAC化妝品牌的口紅。為了處理多模態(tài)信息，我們將其轉(zhuǎn)換成了匹配問題，并提出了一種匹配模型去解決。我們?cè)谀Ｐ椭幸肓擞洃泝?chǔ)存器，利用注意力機(jī)制進(jìn)行更好的匹配建模。在匹配框架中利用了用戶多模態(tài)歷史發(fā)文和作者多模態(tài)歷史發(fā)文兩種信息，分別和待進(jìn)行艾特推薦的多模態(tài)推文進(jìn)行興趣匹配建模。實(shí)驗(yàn)結(jié)果表明多模態(tài)信息能更好地提高艾特推薦的效率，并且我們的模型在該任務(wù)上都比之前的方法取得了很大的提升。

我們還可以綜合利用推文中文字跟圖片信息去判斷某個(gè)用戶是不是有抑郁傾向。比如某個(gè)用戶發(fā)了條微博，文字內(nèi)容是“每個(gè)人這么快樂，看上去很快樂”，但她配了張很抑郁的圖片。我們?cè)谧鲆钟魴z測(cè)的時(shí)候，不僅要看用戶說了什么，還要看她發(fā)了什么樣的圖片。我們所提出的模型也是考慮到多模態(tài)信息，一個(gè)通道是文字信息，另一個(gè)通道是圖片信息，結(jié)合文字跟圖片，取得了較為滿意的預(yù)測(cè)精度。

經(jīng)常有人跟我探討，女性是不是適合做人工智能，是不是適合做深度學(xué)習(xí)。實(shí)際上有些女性對(duì)于研究深度學(xué)習(xí)有一定壓力，因?yàn)橛泻芏鄶?shù)學(xué)公示要推導(dǎo)，需要寫很多代碼。但實(shí)際上我們有很多開源工具可以使用，對(duì)于編程能力要求并不是非常高，數(shù)學(xué)方面，像梯度計(jì)算、優(yōu)化計(jì)算都可以用開源工具來做。所以我們女性不要有太大壓力。另一方面，我們也有自己的優(yōu)點(diǎn)。女性非常細(xì)致和敏感，會(huì)很細(xì)致地去發(fā)現(xiàn)和分析問題，會(huì)很細(xì)致地研究實(shí)驗(yàn)結(jié)果，然后去看這個(gè)結(jié)果中間有什么是我們所不滿意的，分析錯(cuò)誤可能來源于什么地方。女性的語文文字能力和表達(dá)也有優(yōu)勢(shì)。也因此，在人工智能領(lǐng)域，活躍著許多女科學(xué)工作者，也有了咱們今天的人工智能女科技工作者專題論壇。