編者按：上個(gè)月，李飛飛曾推薦斯坦福學(xué)者發(fā)表在Nature上的一則短文，文章指出現(xiàn)在人工智能使用的數(shù)據(jù)集多存在性別歧視和種族主義：“醫(yī)生”是男性，“護(hù)士”是女性，維基百科人物詞條中只有18%是女性，而這些女性的事跡會(huì)被頻繁鏈接到男性事跡中。這個(gè)問題的解決辦法有兩個(gè)，一是規(guī)范數(shù)據(jù)集制作，二是開發(fā)納入約束機(jī)制的算法。本文介紹的Quicksilver就是其中的第一種方法。

生成示例：Andrej Karpathy

是的，你沒看錯(cuò)，作為計(jì)算機(jī)視覺和深度學(xué)習(xí)領(lǐng)域的頂級(jí)專家之一，特斯拉人工智能與自動(dòng)駕駛視覺總監(jiān)，李飛飛高徒，維基百科沒有收錄Andrej Karpathy本人的詞條。

以下是Quicksilver為它編寫的詞條內(nèi)容（英語直譯）：

Andrej Karpathy是特斯拉研究員1,2，人工智能和深度學(xué)習(xí)領(lǐng)域的專家3,4。

Andrej Karpathy是加利福尼亞州斯坦福大學(xué)的計(jì)算機(jī)科學(xué)博士生，研究方向是用于語言建模的自然語言處理（NLP）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）5。他主要在學(xué)術(shù)界工作，但去年9月，他作為研究科學(xué)家加入了特斯拉的人工智能部門OpenAI6。Karpathy的大部分研究都圍繞圖像識(shí)別和圖像理解7。他的Reddit用戶名badmephisto，同樣也是他的YouTube賬號(hào)名，來自他致力于解決的問題——魔方7。

事跡

如何實(shí)現(xiàn)完美自拍，基于200萬張圖像的研究——2015年10月30日 這些是Karpathy在研究中挑選出的頂級(jí)自拍圖像，原圖來自網(wǎng)絡(luò)。斯坦福大學(xué)計(jì)算機(jī)科學(xué)畢業(yè)生Andrej Karpathy使用來自網(wǎng)絡(luò)的200萬張自拍圖像，訓(xùn)練了一個(gè)人工神經(jīng)網(wǎng)絡(luò)，用來區(qū)分哪些是好自拍，哪些是差自拍。他的神經(jīng)網(wǎng)絡(luò)包含1.4億個(gè)不同的參數(shù)，可以為輸入的數(shù)百萬張圖像輸出結(jié)果。他得出的結(jié)論是：自拍的好壞很大程度上取決于圖像風(fēng)格，而不僅僅是人的外貌。10

特斯拉聘請(qǐng)深度學(xué)習(xí)專家Andrej Karpathy領(lǐng)導(dǎo)Autopilot——2017年6月21日 ……（略）

上任兩年后，特斯拉的Autopilot首席執(zhí)行官辭職——2018年4月26日 ……（略）

引用

A.I. Researchers Leave Elon Musk Lab to Begin Robotics Start-UpNew York Times,2017-11-07

A.I. Researchers Are Making More Than $1 Million, Even at a NonprofitNew York Times,2018-04-19 ……

維基百科的問題

每當(dāng)我們?cè)贕oogle上搜索著名人物時(shí)，維基百科通常是第一個(gè)彈出來的頁面?，F(xiàn)如今，從查找作業(yè)資料的學(xué)生，到搜集資料的編輯記者，這個(gè)免費(fèi)的數(shù)字百科全書已經(jīng)成為各個(gè)年齡段的首選工具。但近期人們卻發(fā)現(xiàn)，維基百科也出現(xiàn)了令人不安的趨勢(shì)。

不少人指出，維基百科正顯示出性別歧視，簡(jiǎn)而言之，即很多著名女性人物沒有她們的專屬頁面。以Mirian Adelson為例，她是一名多才多藝的醫(yī)生，一生發(fā)表過上百篇關(guān)于生理成癮和治療的研究論文，她在拉斯維加斯經(jīng)營(yíng)著一家備受矚目的藥物濫用診所，她也是以色列最大報(bào)紙的出版商、著名慈善家。但維基百科并沒有收錄她的詞條（8月4日更新后新增了）。

擁有相同遭遇的還有MIT MechE的部門的新負(fù)責(zé)人Evelyn Wang，她致力于為沙漠地區(qū)居民研究生成飲用水的設(shè)備。如果說維基百科在收錄女性詞條上更苛刻，但它其實(shí)對(duì)看似被“優(yōu)待”的男性也不完全友好。研究人員統(tǒng)計(jì)了30000名計(jì)算機(jī)科學(xué)家，發(fā)現(xiàn)維基百科只收錄了其中的15%。

換言之，面對(duì)不斷更新的信息，維基百科在時(shí)效性和完備性上仍面對(duì)重大挑戰(zhàn)。

事實(shí)上，除了以上提及的缺漏現(xiàn)象，維基百科在現(xiàn)有詞條維護(hù)上也有些力不從心，以華盛頓大學(xué)校長(zhǎng)Ana Mari Cauce為例。自從特朗普政府宣布啟動(dòng)延遲兒童入境行動(dòng)（DACA）以來，Cauce多次聲明華盛頓大學(xué)會(huì)繼續(xù)向移民學(xué)生提供各項(xiàng)福利，這在美國(guó)產(chǎn)生極大影響，但他的詞條內(nèi)容卻遲遲沒有更新。

維基百科是學(xué)界重要的語料來源之一，但它卻展示出非常嚴(yán)重的滯后性和偏見，可想而知，我們不能指望用它來構(gòu)建合理模型。

Quicksilver如何運(yùn)作

從自然語言處理角度看，用模型自動(dòng)生成維基百科風(fēng)格詞條是可能的。對(duì)于這類問題，現(xiàn)在采取的普遍方法是多本文摘要：給定一組包含有關(guān)實(shí)體信息的參考文檔，生成實(shí)體的摘要。

前人的研究

其實(shí)早在十年前，Biadsy等人就已經(jīng)嘗試過生成類似人物介紹，他們提出的算法是對(duì)源文本中的相關(guān)句子進(jìn)行排序和剪切，然后再拼湊成最終文本。這樣做的優(yōu)點(diǎn)是語句十分連貫，因?yàn)樗鼈兌加扇祟惥帉?。但它的局限也很大，就是機(jī)器只能組合人類寫過的內(nèi)容，無法自己創(chuàng)作。

近年來，研究人員開始由上述提取式生成轉(zhuǎn)向抽象概括，這種技術(shù)使用神經(jīng)語言模型來動(dòng)態(tài)生成文本，缺點(diǎn)是模型為了“連貫性”會(huì)生成不少無意義內(nèi)容。對(duì)此，斯坦福大學(xué)的See等人提出指針生成器網(wǎng)絡(luò)，它可以為抽象模型提供一個(gè)信息提取回退的選項(xiàng)，有機(jī)結(jié)合了提取式和抽象概括式兩種方法。

為了避免從源文本中引用重復(fù)內(nèi)容，See等人提出的指針生成器網(wǎng)絡(luò)可以通過指向復(fù)制單詞，從固定詞匯表生成單詞，從而糾正提取式摘要的表述

基于上述研究，今年Google AI的Peter Liu團(tuán)隊(duì)在ICLR上展示了一篇論文：Generating WIKIPEDIA by Summarizing Long Sequences。他們先把提取式摘要作為約束輸入文本的第一步，再對(duì)輸出文本進(jìn)行抽樣概括，這樣做形成的文本非常驚艷，它們既保留了人類編寫的流暢性，也出現(xiàn)了大量模型“自創(chuàng)”的表述。

Quicksilver

Quicksilver是美國(guó)創(chuàng)業(yè)公司Primer開發(fā)的一款軟件，它沿用了Google AI的基礎(chǔ)架構(gòu)，但目的更加簡(jiǎn)單實(shí)在，就是開發(fā)一個(gè)可用于構(gòu)建和維護(hù)維基百科等知識(shí)庫(kù)的系統(tǒng)，而不是將維基百科作為文本摘要算法的學(xué)術(shù)測(cè)試平臺(tái)。除了生成連貫文本，Quicksilver還需要能追蹤數(shù)據(jù)來源，以便最終輸出的任何語句都能指示其引用來源。

簡(jiǎn)單來看，它的基本思路就是通過交叉引用維基百科詞條和從學(xué)術(shù)搜索引擎（文中稱為語義學(xué)者）中抽取的作者列表，來檢測(cè)其中和詞條人物有關(guān)的信息。提取這些信息并進(jìn)行組合，最后用只包含一個(gè)解碼器的抽象概括模塊使輸出文本更連貫。

為了追求時(shí)效性，研究人員基于維基數(shù)據(jù)，制作了一個(gè)和seq2seq模型相結(jié)合的知識(shí)庫(kù)。對(duì)于了解科學(xué)家的生平事跡，使用維基數(shù)據(jù)的結(jié)構(gòu)數(shù)據(jù)是一個(gè)關(guān)鍵突破，它既做到了映射新聞文檔，又可以通過添加遠(yuǎn)程監(jiān)督機(jī)制，讓知識(shí)庫(kù)實(shí)現(xiàn)自我更新。

以下是Quicksilver的具體流程：

目前，Quicksilver已經(jīng)在3萬份科學(xué)家數(shù)據(jù)中經(jīng)過訓(xùn)練，并生成了40000余份維基百科風(fēng)格的人物簡(jiǎn)介，其中有多篇已被維基百科收錄。它也重點(diǎn)關(guān)照了女性詞條缺失的現(xiàn)象，在2小時(shí)內(nèi)為70名女科學(xué)家更新了她們的詞條。

小結(jié)

維基百科的受歡迎程度和它對(duì)社會(huì)造成的影響息息相關(guān)，學(xué)界呼吁一個(gè)更具代表性的數(shù)據(jù)集，我們也期望一本剔除了不平等思維的百科全書。Quicksilver讓我們看到了用機(jī)器學(xué)習(xí)技術(shù)糾正偏見思維的可能性，這項(xiàng)研究不僅有助于把代表性不足的科學(xué)家群體置于燈光下，它也成了后期ML研究的一個(gè)光輝榜樣。

Quicksilver背后的算法不難理解，但它的設(shè)計(jì)依然非常復(fù)雜。除了學(xué)術(shù)上的啟示，從工業(yè)角度看，這種技術(shù)在中文維基百科和國(guó)內(nèi)其他百科的維護(hù)上都有用武之地，值得進(jìn)行嘗試。