計算機視覺的應(yīng)用可以用來幫助盲人，無論是改善視力缺陷還是打破社交障礙。例如TapTapSee和CamFind等物體識別工具可以讓人們拍攝圖像，并識別目標(biāo)物體是什么，以及哪里能買到。另外，F(xiàn)acebook和Twitter推出的新功能可以識別和標(biāo)記圖片中的好友，讓人們與朋友保持聯(lián)系。計算機視覺應(yīng)用的下一個理想目標(biāo)是讓有視力障礙的人更自然地接收到關(guān)于周圍世界的信息。這一目標(biāo)的出現(xiàn)引起了人們對通用視覺問題解答（visual question answering）的興趣，該問題旨在準(zhǔn)確地回答任何有關(guān)圖像的問題。

在過去三年里，計算機視覺領(lǐng)域已經(jīng)涌現(xiàn)出了14種VQA數(shù)據(jù)集，但他們都是人工創(chuàng)建設(shè)置的，并且沒有一個數(shù)據(jù)集的圖片是來自盲人的或服務(wù)于盲人的。然而，可以這么說，盲人能夠產(chǎn)生訓(xùn)練算法所需的大量數(shù)據(jù)。近十年來，盲人群體通過拍照詢問他們拍的是什么，并且盲人通常是計算機視覺技術(shù)早期的使用者，這項技術(shù)將為他們的生活帶來極大的便利。

中國科學(xué)技術(shù)大學(xué)和美國卡內(nèi)基梅隆大學(xué)等高校的研究人員共同提出了第一個由盲人產(chǎn)生的視覺數(shù)據(jù)庫“VizWiz”，他們通過數(shù)據(jù)庫創(chuàng)建了一個手機程序，可以讓盲人通過拍照和詢問得到超過七萬個問題的答案。數(shù)據(jù)集剛開始構(gòu)建時嚴(yán)格對內(nèi)容進行過濾，消除有可能侵犯個人隱私的視覺問題。之后通過眾包獲取圖像的答案來訓(xùn)練和評估算法，接著通過實驗對圖像進行特征分類、問題回答，最終發(fā)現(xiàn)了VizWiz與其他現(xiàn)有VQA數(shù)據(jù)集不同的地方。

VizWiz介紹

該VQA數(shù)據(jù)集由盲人提出的視覺問題組成，在四年時間里積累了72205個問題。表一總結(jié)了VizWiz收集數(shù)據(jù)的過程與其他數(shù)據(jù)庫的不同，其中明顯的區(qū)別是VizWiz包含來自盲人攝影師的圖像，并且提問方式是口頭而非文字。

表一

這種圖像質(zhì)量帶來了一般數(shù)據(jù)集中沒有的挑戰(zhàn)，例如會有大量的模糊、光線不足、圖像內(nèi)容缺失等。另外，因為“提問者”也是“拍攝者”，所以有時問題可能與圖像無關(guān)，如圖所示。

在對數(shù)據(jù)集的圖像進行篩選時，研究人員將可能會泄露隱私的圖片分成以下幾類：

暴露個人信息，例如人臉、財務(wù)狀況、藥品處方。

某個地點，例如郵箱地址、商業(yè)地點。

不雅內(nèi)容，例如***、褻瀆。

可疑的復(fù)雜場景，審查人員懷疑其中可能包括個人信息，但沒有找到明確的地方。

可疑的低質(zhì)量圖像，審查人員懷疑增強圖像質(zhì)量可能會暴露個人信息。

最終，研究人員通過IQ引擎、Facebook、Twitter或電子郵件公開接收圖像的答案。

VizWiz數(shù)據(jù)庫分析

接著，研究人員將對VizWiz中的問題和答案進行可視化，他們分析了自然語言問題的類型、圖像都有哪幾類、答案分為哪幾類以及視覺問題無法回答的情況。

首先，問題的類別如下圖所示：

表中統(tǒng)計了所有問題的前六個字母。最內(nèi)環(huán)代表第一個字母，以此類推?？梢钥闯?，“這是什么？（What is this）”這個問題是最常見的。

然后，我們來分析數(shù)據(jù)庫中的圖像多樣性。尤其值得關(guān)注的是，我們的數(shù)據(jù)集中高質(zhì)量的圖像可以顯示單個標(biāo)志性的對象，因為在收集時過濾掉了可疑圖像。在之前工作的基礎(chǔ)上，我們首先計算了VizWiz中所有圖像的平均圖像。如下圖所示：

接著，我們來分析答案的多樣性。我們首先用詞匯地圖將不同答案進行可視化，如下圖所示：

文字越大，答案出現(xiàn)的頻率就越高。

VizWiz評估結(jié)果

研究人員用現(xiàn)有算法測試了VizWiz數(shù)據(jù)集的難度。首先是用現(xiàn)代VQA算法預(yù)測VizWiz數(shù)據(jù)集中視覺問題的答案，結(jié)果如下表所示：

可以看出前兩行的表現(xiàn)非常糟糕，而VizWiz的表現(xiàn)還是不錯的。

接著他們測試了算法是夠能區(qū)分某一問題是否可答的精確度，結(jié)果如下圖所示：

結(jié)果可見，研究人員提出的方法比現(xiàn)有方法的精確度提高了至少25%。

結(jié)語

在這篇論文中，研究人員介紹了一種VQA數(shù)據(jù)集——VizWiz，與一般數(shù)據(jù)集不同的是，其中的內(nèi)容都來自盲人拍攝的圖片，并由盲人對內(nèi)容進行提問。通過對數(shù)據(jù)集的分析，研究人員對計算機視覺以及自然語言處理又有了新的認(rèn)識。更重要的一點是，VizWiz的出現(xiàn)能讓更多人關(guān)注針對盲人的技術(shù)需求，為開發(fā)專門的技術(shù)提供了新機會。