論文探討了將連續(xù)學(xué)習(xí)用在視覺定位問題中，從而以增量方式在場景中訓(xùn)練模型。一般的將深度學(xué)習(xí)方法與視覺定位相結(jié)合，比如利用深度神經(jīng)網(wǎng)絡(luò)從輸入圖像直接回歸相機(jī)姿態(tài)或者3D場景坐標(biāo)，這些方法都假設(shè)在訓(xùn)練期間可以獲得所有場景的靜態(tài)數(shù)據(jù)分布，因?yàn)槿绻褂梅瞧椒€(wěn)數(shù)據(jù)在視覺定位的深度網(wǎng)絡(luò)中會導(dǎo)致災(zāi)難性遺忘，為了解決這個(gè)問題，論文提出了一種基于從固定緩沖區(qū)存儲和回放圖像的強(qiáng)基線，此外提出了一種新的基于覆蓋分?jǐn)?shù)的采樣方法（Buff-CS），該方法將緩沖過程中的現(xiàn)有采樣策略用于視覺定位問題，實(shí)驗(yàn)結(jié)果表明，在具有挑戰(zhàn)性的數(shù)據(jù)集（7Scenes、12 Scenes、19 Scenes）上，通過結(jié)合前一場景，標(biāo)準(zhǔn)緩沖方法得到了改進(jìn)。

為什么使用連續(xù)學(xué)習(xí)，它與一般的深度學(xué)習(xí)聯(lián)合訓(xùn)練所有場景數(shù)據(jù)有何不同？連續(xù)學(xué)習(xí)是不斷從傳入的數(shù)據(jù)流中學(xué)習(xí)，在這種設(shè)置下，所有場景是依次遇到的，如圖1所示。

與對所有任務(wù)進(jìn)行聯(lián)合訓(xùn)練相比，以連續(xù)方式學(xué)習(xí)任務(wù)在樣本和記憶效率方面有幾個(gè)好處： 1）在聯(lián)合訓(xùn)練環(huán)境中，每次場景發(fā)生變化時(shí)模型都需要在數(shù)據(jù)庫中的所有場景上進(jìn)行重新訓(xùn)練，即使是沒有發(fā)生任何變化的場景。向數(shù)據(jù)庫中添加新場景還需要模型重新訓(xùn)練，這會影響可伸縮性，需要將完整的數(shù)據(jù)集存儲在內(nèi)存中。 2）連續(xù)學(xué)習(xí)旨在通過僅在改變或新場景和存儲在小緩沖區(qū)中的先前場景的圖像上微調(diào)模型來降低計(jì)算成本，由于僅需要將當(dāng)前場景的數(shù)據(jù)與來自先前場景的圖像的小緩沖區(qū)一起存儲在存儲器中，因此也降低了存儲器成本。這對于存儲容量受設(shè)備限制的移動應(yīng)用程序更友好。Contributions：1）介紹了視覺定位背景下的連續(xù)學(xué)習(xí)問題。 2）在多個(gè)室內(nèi)數(shù)據(jù)集上，利用現(xiàn)有的基于緩沖方法創(chuàng)建了一個(gè)經(jīng)驗(yàn)回放基線。 3）根據(jù)場景的3D幾何結(jié)構(gòu)提出一種新的緩沖策略.連續(xù)學(xué)習(xí)：

Buffering：為了防止在訓(xùn)練時(shí)發(fā)生災(zāi)難性遺忘，少量先前的數(shù)據(jù)存儲在固定大小為B的緩沖區(qū)中。當(dāng)前任務(wù)或類的輸入圖像和相應(yīng)的標(biāo)簽存儲在緩沖區(qū)中，將這個(gè)在緩沖區(qū)中存儲圖像的過程稱為Img-buff，除了圖像之外還存儲了提供更好的流形結(jié)構(gòu)的中間表示，例如存儲預(yù)softmax層邏輯提供了類概率的分布，該類概率對類間語義關(guān)系進(jìn)行編碼。緩沖區(qū)存儲中間表示為Rep-buff。Replay：回放是在學(xué)習(xí)當(dāng)前任務(wù)的同時(shí)對緩沖區(qū)中存儲的過去場景的樣本進(jìn)行重新迭代的過程。當(dāng)前任務(wù)樣本和緩沖區(qū)B中的任務(wù)樣本的最終損失計(jì)算如下：

存儲在B中的中間表示可以通過知識蒸餾的過程用作偽標(biāo)簽。例如來自當(dāng)前網(wǎng)絡(luò)狀態(tài)的邏輯被約束為與存儲在緩沖存儲器B中的相應(yīng)邏輯相似

緩沖算法：緩沖算法決定當(dāng)前任務(wù)中的哪些樣本將被存儲以供將來回放以及緩沖區(qū)中存儲的哪些樣本要被替換，算法有兩個(gè)階段，第一階段包括填充緩沖區(qū)，直到其充滿，然后第二階段決定額外傳入實(shí)例的緩沖概率。將連續(xù)學(xué)習(xí)用在視覺定位：本文基于之前提出的一種基于學(xué)習(xí)的方法，HSC-Net，其在一組參數(shù)化的分層網(wǎng)絡(luò)層中保持場景的隱式表示，這些分層網(wǎng)絡(luò)層預(yù)測每個(gè)2D像素位置的3D場景坐標(biāo)，然后使用PnP，2D-3D對應(yīng)關(guān)系用于獲得最終查詢相機(jī)姿態(tài)估計(jì)。在連續(xù)學(xué)習(xí)設(shè)置中，場景按順序呈現(xiàn)，對于Img buff，僅將輸入圖像和相應(yīng)的3D場景坐標(biāo)y存儲在B中，此外Rep buff存儲了中間聚類級別預(yù)測（此為HSCNet中的東西），與分類問題不同，視覺定位在場景或類上是多樣的，并且是獨(dú)立的，在特定子場景的圖像上學(xué)習(xí)定位不會使場景的其他部分通用化，為了在給定場景的所有子場景上保持定位性能，緩沖區(qū)需要保持最大化場景覆蓋率的圖像，此論文提出了一種方法去采樣圖像從而提供更好的場景覆蓋率，稱為Buff-CS，即如果與緩沖圖像觀察到的實(shí)例相比，傳入的新實(shí)例提供了新的場景觀察，則將緩沖概率增加到1，

實(shí)驗(yàn)：數(shù)據(jù)集為7Scenes、12Scenes，為了以順序的方式評估連續(xù)學(xué)習(xí)方法，論文將單獨(dú)的七個(gè)場景和十二個(gè)場景集成到單個(gè)坐標(biāo)系。 采用了兩種緩沖方法作為基線，即Reservoir和Class-balance。Reservoir旨在從未知大小的輸入流中采樣k個(gè)數(shù)據(jù)實(shí)例，其中k是預(yù)定義的樣本大小，這種方法保證了單個(gè)幀被選擇到緩沖區(qū)的概率相同。Class-balance旨在進(jìn)一步解決在連續(xù)學(xué)習(xí)中的類不平衡問題。此方法使類盡可能保持平衡，同時(shí)保留每個(gè)類/場景的分布。 在視覺定位的連續(xù)學(xué)習(xí)任務(wù)中，單個(gè)場景以增量方式被饋送到訓(xùn)練網(wǎng)絡(luò)，也就是說第一場景中的數(shù)據(jù)被訓(xùn)練以估計(jì)場景坐標(biāo)，然后訓(xùn)練權(quán)重被用作第二場景的初始化，為了在連續(xù)學(xué)習(xí)設(shè)置中訓(xùn)練HSCNet，在相應(yīng)場景的訓(xùn)練完成后，對每個(gè)場景的訓(xùn)練數(shù)據(jù)進(jìn)行采樣并存儲在緩沖器中，如前所述，僅緩沖輸入圖像和相應(yīng)標(biāo)簽被稱為Img-buff，另外緩沖中間表示被稱為Rep-buff，對于Img-buff將RGB圖像、深度圖和地面真實(shí)姿態(tài)存儲到緩沖區(qū)。對于Rep-buff還存儲了預(yù)softmax層邏輯和預(yù)測的場景坐標(biāo)。 表1報(bào)告了訓(xùn)練完成后在所有場景上平均的姿勢準(zhǔn)確度和覆蓋得分方面的表現(xiàn)

表3中的平均精度評估了三種方法在完成新任務(wù)后對先前任務(wù)的性能。表3顯示了平均精度

總結(jié)：在多個(gè)室內(nèi)定位數(shù)據(jù)集上對所提出的方法進(jìn)行了評估，這些數(shù)據(jù)集在不同設(shè)置下相對于基線表現(xiàn)出更好的或有競爭力的性能。 論文實(shí)驗(yàn)部分可以說是論文的亮點(diǎn)，有時(shí)間還是去讀一下論文實(shí)驗(yàn)部分，其有更好的分析。

審核八年級：郭婷