關(guān)系識(shí)別（Relationship Detection）是繼物體識(shí)別（Object Detection）之后的一個(gè)重要方向。使用視覺(jué)關(guān)系構(gòu)建的場(chǎng)景圖（Scene Graph）可以為很多下游任務(wù)提供更豐富的語(yǔ)義信息。這篇文章我們討論目前常規(guī)模型遇到的兩個(gè)普遍問(wèn)題，并提出三種loss解決，同時(shí)我們也設(shè)計(jì)了一個(gè)高效的end-to-end網(wǎng)絡(luò)搭配我們的loss來(lái)構(gòu)建場(chǎng)景圖。我們的模型在三個(gè)數(shù)據(jù)集（OpenImage， Visual Genome， VRD）上都達(dá)到了目前最優(yōu)結(jié)果。

張?bào)K，羅格斯大學(xué)在讀博士生，曾在Facebook AI Research （FAIR），Nvidia Research實(shí)習(xí)參與計(jì)算機(jī)視覺(jué)領(lǐng)域研究項(xiàng)目，在CVPR，AAAI，ACCV等會(huì)議均有論文發(fā)表，并在2018年Kaggle上舉辦的Google OpenImage Visual Relationship Detection Challenge比賽上獲得第一名。這篇文章是參賽模型的一個(gè)改進(jìn)版本。

論文鏈接：https://arxiv.org/abs/1903.02728

代碼鏈接：https://github.com/NVIDIA/ContrastiveLosses4VRD

近兩年來(lái)，場(chǎng)景圖解析任務(wù)（Scene Graph Parsing，也稱(chēng)Scene Graph Generation）開(kāi)始獲得越來(lái)越多的關(guān)注。這個(gè)任務(wù)的定義是針對(duì)輸入圖片構(gòu)建一個(gè)描述該圖片的圖（graph），該圖中的節(jié)點(diǎn)是物體，邊是物體之間的關(guān)系。下圖是一個(gè)例子：

圖片來(lái)源：J. Zhang， et al.， AAAI2019［1］

眾所周知，物體識(shí)別是一個(gè)相對(duì)成熟的領(lǐng)域，目前很多state-of-the-art方法在非常challenging的數(shù)據(jù)集上（MSCOCO， OpenImages）也能得到不錯(cuò)的結(jié)果。這意味著，在構(gòu)建場(chǎng)景圖的過(guò)程中，把節(jié)點(diǎn)（也就是物體）探測(cè)出來(lái)不是一個(gè)難點(diǎn)，真正的難點(diǎn)在于構(gòu)建圖中的邊，也就是物體之間的視覺(jué)關(guān)系（visual relationship）。

自2016年ECCV第一篇視覺(jué)關(guān)系識(shí)別的文章［2］出現(xiàn)以來(lái)，已經(jīng)有很多工作關(guān)注于如何通過(guò)給物體兩兩配對(duì)并且融合物體特征來(lái)得到它們之間關(guān)系的特征，進(jìn)而準(zhǔn)確探測(cè)出關(guān)系的類(lèi)別［3， 4， 5， 6， 7， 8， 9］。但這些工作的一個(gè)共同問(wèn)題在于，場(chǎng)景圖中每一條邊的處理都是獨(dú)立的，也就是說(shuō)，模型在預(yù)測(cè)一對(duì)物體有什么關(guān)系的時(shí)候不會(huì)考慮另一對(duì)物體，但實(shí)際情況是，如果有兩條邊共享同一個(gè)物體，那么這兩條邊常常會(huì)有某種客觀存在的聯(lián)系，這種聯(lián)系會(huì)顯著影響預(yù)測(cè)的結(jié)果，因而在預(yù)測(cè)兩條邊中任何一條的時(shí)候應(yīng)該同時(shí)考慮兩條邊。

這篇文章正是觀察到了邊之間存在兩種重要的聯(lián)系，進(jìn)而針對(duì)性地提出三種損失函數(shù)來(lái)協(xié)同地預(yù)測(cè)視覺(jué)關(guān)系。更具體地說(shuō)，這篇文章觀察到了兩個(gè)客觀存在的常見(jiàn)問(wèn)題，這兩個(gè)問(wèn)題在前人的工作中并沒(méi)有被顯式地解決：

問(wèn)題一：客體實(shí)例混淆

客體實(shí)例混淆的定義是，一個(gè)物體只和相鄰的很多同類(lèi)別的物體中的一個(gè)存在關(guān)系時(shí)，模型不能正確識(shí)別出它和這些同類(lèi)別物體中的哪一個(gè)有關(guān)系。換言之，很多視覺(jué)關(guān)系是有排它性的。一個(gè)人如果在騎馬，那么即便他周?chē)幸话倨ヱR，他也只可能在騎其中一匹。下圖是一個(gè)文章中給出的例子。圖中的人面前有若干酒杯，該人只拿著其中一只杯子，但傳統(tǒng)模型由于缺乏顯式的區(qū)分機(jī)制，它錯(cuò)誤地認(rèn)為桌上那個(gè)酒杯在被人拿著。

問(wèn)題2：鄰近關(guān)系模糊這個(gè)現(xiàn)象是說(shuō)，當(dāng)兩對(duì)物體靠的很近，同時(shí)它們之間的關(guān)系類(lèi)別一樣的時(shí)候，模型很難作出正確的匹配。下圖是這個(gè)現(xiàn)象的一個(gè)例子。圖中有兩個(gè)“man play guitar”，和一個(gè)“man play drum”。由于三個(gè)人靠的很近且都在演奏樂(lè)器，視覺(jué)上很容易把人和他對(duì)應(yīng)的樂(lè)器混淆，在這張圖片中，傳統(tǒng)的scene graph parsing模型就把右邊人錯(cuò)誤地認(rèn)為是在打中間的鼓。

這兩個(gè)問(wèn)題的根本原因都在于，決定物體之間關(guān)系的視覺(jué)特征往往非常微妙，而且當(dāng)需要判別出物體之間有無(wú)關(guān)聯(lián)時(shí)，觀察者往往需要將注意力集中到鄰近的多個(gè)物體并進(jìn)行對(duì)比，這樣才能避免混淆，準(zhǔn)確區(qū)分出誰(shuí)和誰(shuí)是相關(guān)的。這正是本文提出的解決方案的動(dòng)機(jī)。 解決方案

針對(duì)這兩個(gè)問(wèn)題，本文提出三種損失函數(shù)來(lái)解決。總的來(lái)說(shuō)這三種損失函數(shù)的思想是，訓(xùn)練過(guò)程中對(duì)于每個(gè)節(jié)點(diǎn)（即物體），篩選出當(dāng)前模型認(rèn)為與之匹配，但置信度最小的那個(gè)正樣本，同時(shí)選出當(dāng)前模型認(rèn)為與之不匹配但置信度也最小的那個(gè)負(fù)樣本，再計(jì)算這兩個(gè)樣本的置信度的差異，然后把這個(gè)差異作為額外的損失值反饋給模型。根據(jù)這種思想，本文進(jìn)一步設(shè)計(jì)了三種類(lèi)型的損失函數(shù)形式：

1. 類(lèi)別無(wú)關(guān)損失（Class AgnosticLoss）

該函數(shù)的計(jì)算分成兩步，第一步計(jì)算正負(fù)樣本的置信度差異：

其中是當(dāng)物體i作為主語(yǔ)（subject）的時(shí)候它所有可能對(duì)應(yīng)的賓語(yǔ)中正負(fù)樣本置信度差異的最小值。這里“正負(fù)”的含義是某物體作為賓語(yǔ)與這個(gè)主語(yǔ)是否存在視覺(jué)關(guān)系。這里代表物體i當(dāng)前被作為主語(yǔ)考慮，j和k分別用來(lái)索引與主語(yǔ)存在關(guān)系的正樣本賓語(yǔ)和不存在關(guān)系的負(fù)樣本賓語(yǔ)。和分別代表與主語(yǔ)存在關(guān)系的所有賓語(yǔ)（即正樣本）的集合，和與主語(yǔ)不存在關(guān)系的所有賓語(yǔ)（即負(fù)樣本）的集合。與之相似地，的定義是物體作為賓語(yǔ)時(shí)它所有可能對(duì)應(yīng)的主語(yǔ)中正負(fù)樣本置信度差異的最小值。公式中符號(hào)的含義與之類(lèi)似，這里不再贅述。

第二步是利用第一步的兩個(gè)差異值來(lái)計(jì)算一個(gè)基于邊界的損失：

其中是預(yù)先設(shè)定的邊界值，N是當(dāng)前的batch size。這個(gè)損失的作用是使得上述第一步中的差異值大于預(yù)定的，只有滿(mǎn)足這個(gè)條件的時(shí)候才為0，也就是說(shuō)我們希望差異值至少是。 熟悉contrastiveloss和triplet loss的朋友應(yīng)該發(fā)現(xiàn)，這個(gè)loss的形式和它們很類(lèi)似。的確，這里的對(duì)比形式參考了triplet loss，但不同點(diǎn)在于這個(gè)loss受限于圖模型的結(jié)構(gòu)，即每一個(gè)節(jié)點(diǎn)的正負(fù)樣本都只來(lái)自于和當(dāng)前主語(yǔ)或賓語(yǔ)可能存在關(guān)系的節(jié)點(diǎn)，而不是像一般triplet loss那樣直接在所有節(jié)點(diǎn)中搜索正負(fù)樣本。

另一個(gè)不同點(diǎn)是triplet loss一般的應(yīng)用場(chǎng)景是用于訓(xùn)練節(jié)點(diǎn)的嵌入（embedding），因此它的輸入通常是正負(fù)樣本的嵌入向量，但這個(gè)loss的輸入就是原始模型的輸出，即每一個(gè)視覺(jué)關(guān)系的置信度，它的目的是通過(guò)對(duì)比正負(fù)樣本的置信度把當(dāng)前視覺(jué)關(guān)系的最重要的上下文環(huán)境反饋給原始模型，從而讓原始模型去學(xué)習(xí)那些能夠區(qū)分混淆因素的視覺(jué)特征。

2. 物體類(lèi)別相關(guān)損失（Entity Class Aware Loss）

該函數(shù)與類(lèi)別無(wú)關(guān)損失形式類(lèi)似，唯一的不同在于這個(gè)loss在選擇正負(fù)樣本時(shí)，樣本中物體的類(lèi)別必須一樣：

這一步與上一個(gè)loss的第一步的唯一區(qū)別就是加入了一個(gè)額外輸入c，它的作用是規(guī)定在計(jì)算正負(fù)樣本差異時(shí)，所有考慮到的物體必須同屬于類(lèi)別c。這個(gè)額外限制迫使模型去注意那些同一個(gè)類(lèi)別的不同物體實(shí)例，比如上圖中的多個(gè)酒杯，并在學(xué)習(xí)過(guò)程中逐漸區(qū)分存在視覺(jué)關(guān)系和不存在視覺(jué)關(guān)系的實(shí)例的特征，因此這個(gè)loss是專(zhuān)門(mén)設(shè)計(jì)用來(lái)解決上文提出的第一個(gè)問(wèn)題的，即客體實(shí)例混淆。

3. 謂語(yǔ)類(lèi)別相關(guān)損失（Predicate Class Aware Loss）

該函數(shù)與類(lèi)別無(wú)關(guān)損失形式也類(lèi)似，唯一的不同在于這個(gè)loss在選擇正負(fù)樣本時(shí)，樣本中謂語(yǔ)的類(lèi)別必須一樣：

這里加入了一個(gè)額外輸入e，它代表的是目前考慮的謂語(yǔ)類(lèi)別。它的作用是規(guī)定在計(jì)算正負(fù)樣本差異時(shí)，所有考慮到的樣本的視覺(jué)關(guān)系必須都以謂語(yǔ)連接。這個(gè)額外限制迫使模型去注意那些具有同樣視覺(jué)關(guān)系的物體對(duì)，比如上圖中同樣在“play”樂(lè)器的三個(gè)人，然后在訓(xùn)練過(guò)程中學(xué)會(huì)識(shí)別正確的主客體匹配。很顯然這個(gè)loss是專(zhuān)門(mén)用來(lái)解決上述的第二個(gè)問(wèn)題，即鄰近關(guān)系模糊。

關(guān)系檢測(cè)網(wǎng)絡(luò)（RelDN）

本文同時(shí)也提出了一個(gè)高效的關(guān)系識(shí)別網(wǎng)絡(luò)，結(jié)構(gòu)圖如下：

該網(wǎng)絡(luò)首先用事先訓(xùn)練好的物體識(shí)別器識(shí)別出所有物體，然后對(duì)每一對(duì)物體，從圖片中提取它們的視覺(jué)特征，空間特征以及語(yǔ)義特征。其中空間特征是bounding box的相對(duì)坐標(biāo)，語(yǔ)義特征是兩個(gè)物體的類(lèi)別。這三個(gè)特征分別被輸入進(jìn)三個(gè)獨(dú)立的分支，并給出三個(gè)預(yù)測(cè)值，最后網(wǎng)絡(luò)把三個(gè)預(yù)測(cè)值加總并用softmax歸一化得到謂語(yǔ)的分布。

值得注意的是，中間這個(gè)Semantic Module在前人的工作中也叫Frequency Bias或者Language Bias，它意味著當(dāng)我們知道主客體的類(lèi)別時(shí)，我們即便不看圖片也能“猜”出它們之間的謂語(yǔ)是什么。這個(gè)現(xiàn)象其實(shí)是符合客觀規(guī)律的。試想有一張圖片里有一個(gè)人和一匹馬，現(xiàn)在我們不看圖片去猜這個(gè)人和這匹馬有什么關(guān)系，我們一般最容易想到“騎”，其次是“拍”或者“牽著”之類(lèi)的動(dòng)作，但幾乎不可能是“站在”或者“躺在”，因?yàn)檫@與客觀常識(shí)不符。

如果要構(gòu)建符合真實(shí)世界分布的場(chǎng)景圖，那么符合客觀規(guī)律的常識(shí)就不能忽略，因此這個(gè)Language Bias不可或缺。

實(shí)驗(yàn)結(jié)果

1. 成分分析

這張表是ablation study，以一步步添加子模塊的方式證明三個(gè)損失函數(shù)都是有效的是傳統(tǒng)方法通用的multi-class cross entropy loss，簡(jiǎn)言之就是softmax層后面接的分類(lèi)loss，分別是類(lèi)別無(wú)關(guān)損失（Class Agnostic Loss），物體類(lèi)別相關(guān)損失（Entity Class Aware Loss）和謂語(yǔ)類(lèi)別相關(guān)損失（Predicate ClassAware Loss）。

這張表對(duì)應(yīng)的實(shí)驗(yàn)是，人工隨機(jī)地挑選出100張圖片，這些圖片里面廣泛地存在著本文開(kāi)頭提到的兩個(gè)問(wèn)題，然后分別用不帶本文提出的losses的模型和帶這些losses的模型去跑這100張圖片然后對(duì)比結(jié)果。很明顯，帶losses的模型幾乎在所有類(lèi)別上優(yōu)于不帶losses。這個(gè)實(shí)驗(yàn)直接證明了添加本文提出的losses能夠很大程度上解決客體實(shí)例混淆和鄰近關(guān)系模糊這兩個(gè)問(wèn)題，從而顯著提高模型整體精確度。 除了使用Table2量化地證明losses的有效性，本文同時(shí)對(duì)模型學(xué)到的中間層特征進(jìn)行了可視化，示例如下：

上圖是從驗(yàn)證集（validation set）里挑選的兩張圖，每張圖分別用不帶losses和帶losses的模型跑一下，然后把最后一個(gè)CNN層的特征提出來(lái)并畫(huà)成上圖所示的heatmap?？梢园l(fā)現(xiàn)，在左邊這張圖中不帶losses的模型并沒(méi)有把正確的酒杯凸顯出來(lái)，而帶losses的模型很清晰地突出了被人握著的那個(gè)酒杯；在右邊這張圖中，不帶losses的模型突出的位置所對(duì)應(yīng)的物體（鼓）并沒(méi)有和任何人存在關(guān)系，而被人握在手里的話(huà)筒卻并沒(méi)有被突出出來(lái)。相比之下，帶losses的模型則學(xué)到了正確的特征。

2. 與最新方法的比較

本文在三個(gè)數(shù)據(jù)集上都做到了state-of-the-art，三個(gè)數(shù)據(jù)集是OpenImages （OI）， VisualGenome （VG）， Visual Relation Detection （VRD）：

OpenImages（OI）由于數(shù)據(jù)集較新，之前沒(méi)有論文做過(guò)，所以本文直接和Google在2018年舉辦的OpenImages Visual Relationship Detection Challenge的前8名進(jìn)行了比較，結(jié)果比冠軍高出兩個(gè)百分點(diǎn)。

在VisualGenome（VG）上，使用和前人相同的settings，本文提出的模型也顯著地超過(guò)了前人的最好成績(jī)。值得注意的是，這里加和不加losses的區(qū)別沒(méi)有OpenImages上那么大，很大程度上是因?yàn)閂isual Genome的標(biāo)注不夠完整，也就是說(shuō)圖片中很多存在的視覺(jué)關(guān)系并沒(méi)有被標(biāo)出來(lái)，這樣導(dǎo)致模型誤認(rèn)為沒(méi)有標(biāo)注的物體之間不存在視覺(jué)關(guān)系，進(jìn)而把它們認(rèn)定為負(fù)樣本。

在VRD數(shù)據(jù)集上我們看到帶losses和不帶losses的差別相比VG明顯了很多，這是因?yàn)閂RD的標(biāo)注相對(duì)較完整，整體標(biāo)注質(zhì)量也相對(duì)較好。

作者有話(huà)說(shuō)。。.

最后是我在這個(gè)領(lǐng)域做了兩年多之后的一些關(guān)于視覺(jué)關(guān)系識(shí)別場(chǎng)景圖構(gòu)建的經(jīng)驗(yàn)和思考，和本文無(wú)直接關(guān)聯(lián)，但希望能和大家分享。

1. 前文提到的Language Bias是符合客觀世界分布的。如果你希望在你的任務(wù)中使用場(chǎng)景圖來(lái)提取更豐富的信息，而且你的數(shù)據(jù)集是從真實(shí)世界中無(wú)偏差地采樣出來(lái)的自然圖片，那么Language Bias應(yīng)該是有幫助的，但如果你的數(shù)據(jù)集有偏差，或者是合成數(shù)據(jù)集（比如CLEVR），那么Language Bias可能不起作用，或者會(huì)起到反作用。

2. 在實(shí)際應(yīng)用中，一個(gè)可能更好的構(gòu)建場(chǎng)景圖的方式是把所有謂語(yǔ)分成若干大類(lèi)，然后每個(gè)大類(lèi)分別用一個(gè)模型去學(xué)，比如可以把謂語(yǔ)分成空間謂語(yǔ)（例如“to the left of， to the right of”），互動(dòng)謂語(yǔ)（例如“ride，kick， sit on”）和其它謂語(yǔ)（例如“part of”）。

這么做的原因在于不同類(lèi)型的謂語(yǔ)表達(dá)的語(yǔ)義是非常不同的，它們對(duì)應(yīng)的視覺(jué)特征的分布也很不同，因此使用獨(dú)立的若干模型分別去學(xué)習(xí)這些語(yǔ)義一般會(huì)比用一個(gè)模型去學(xué)習(xí)所有語(yǔ)義要好。

3. 在上述的不同類(lèi)型的關(guān)系當(dāng)中，空間關(guān)系是最難識(shí)別的一類(lèi)，因?yàn)橄啾榷裕粋€(gè)空間關(guān)系所對(duì)應(yīng)的視覺(jué)分布要復(fù)雜很多。

比如，“人騎馬”的圖片可能看上去都十分相似，但“人在馬的右邊”的圖片卻有很多種可能的布局。如果人和馬都是背對(duì)鏡頭，那么人會(huì)在整個(gè)圖片的右側(cè)，而如果人和馬是面對(duì)鏡頭，那么人會(huì)在左側(cè)，而如果人和馬是側(cè)對(duì)鏡頭，那么人在圖片中會(huì)在馬的前方或者后方。歸根結(jié)底，這種空間分布的多元性是由于

1）用2D圖片平面去描述3D世界的真實(shí)布局具有局限性；

2）Language Bias在空間關(guān)系中作用相對(duì)小很多，因?yàn)榭臻g布局的多樣性相對(duì)很廣，在不看圖片的情況下更難“猜”出空間關(guān)系是什么。

總而言之，目前空間關(guān)系是關(guān)系識(shí)別和場(chǎng)景圖構(gòu)建的短板，我認(rèn)為后面工作可以在這個(gè)子問(wèn)題上多加關(guān)注。