文章地址：https://arxiv.org/pdf/2211.12110.pdf

01

概述

在今天分享中，研究者首先強(qiáng)調(diào)了擁擠問題的兩個主要影響：1）IoU置信度相關(guān)干擾（ICD）和2）混淆重復(fù)數(shù)據(jù)消除（CDD）。然后，研究者從數(shù)據(jù)擴(kuò)充的角度探索破解這些。

首先，針對擁擠的場景提出了一種特殊的復(fù)制粘貼方案?；诖瞬僮?，研究者首先設(shè)計(jì)了一種“共識學(xué)習(xí)”策略，以進(jìn)一步抵抗ICD問題，然后發(fā)現(xiàn)粘貼過程自然地揭示了場景中目標(biāo)的偽“深度”，這可能用于緩解CDD困境。這兩種方法都源自對復(fù)制粘貼的神奇使用，無需額外的處理。

實(shí)驗(yàn)表明，在典型的擁擠檢測任務(wù)中，新提出方法可以輕松地將最先進(jìn)的檢測器提高2%以上。此外，這項(xiàng)工作可以在擁擠場景中勝過現(xiàn)有的數(shù)據(jù)增強(qiáng)策略。

02

背景

目標(biāo)檢測的任務(wù)已經(jīng)被仔細(xì)研究了相當(dāng)長的時間。在深度學(xué)習(xí)時代，近年來，已經(jīng)提出了許多精心設(shè)計(jì)的方法，并將檢測性能提高到了令人驚訝的高水平。盡管如此，仍然存在許多根本性問題沒有得到根本解決。其中之一是“擁擠問題”，這通常表示屬于同一類別的目標(biāo)高度重疊在一起的現(xiàn)象。在幾何方式中，基本困難源于2D空間的語義歧義。如下圖所示，在我們的3D世界中，每個體素都有其“獨(dú)特的語義”，并位于“特定目標(biāo)”上。然而，投影到2D平面后，一個像素可能落在幾個碰撞的對象上。在將概念從“像素”演變?yōu)椤翱颉敝?，擁擠場景中的語義模糊導(dǎo)致了重疊的概念。

為了探究這個問題的影響，研究者現(xiàn)在深入到檢測范式的本質(zhì)。通常，目標(biāo)檢測器讀取圖像并輸出一組邊界框，每個邊界框與置信度分?jǐn)?shù)相關(guān)。對于理想執(zhí)行的檢測器，得分值應(yīng)反映預(yù)測框與GT的重疊程度。換句話說，這兩個框之間的交集（IoU）應(yīng)與置信度得分呈正相關(guān)。在下圖中可視化了與IoU相關(guān)的得分的平均值和標(biāo)準(zhǔn)差后，結(jié)果表明，即使是像（Mask r-cnn）這樣的現(xiàn)成檢測器，這種正相關(guān)也會逐漸受到擁擠度增加的干擾。

這項(xiàng)實(shí)驗(yàn)研究清楚地表明了當(dāng)前檢測算法在面對超重重疊時的困難。我們將這種效應(yīng)體現(xiàn)為IoU置信度相關(guān)干擾（ICD）。另一方面，典型的檢測管道通常以重復(fù)數(shù)據(jù)消除模塊結(jié)束，例如，廣泛采用的非極大抑制（NMS）。由于前面提到的2D語義模糊，這些模塊經(jīng)常被嚴(yán)重重疊的預(yù)測所混淆，這導(dǎo)致在人群中嚴(yán)重缺失。我們將這種效果稱為混亂的重復(fù)數(shù)據(jù)消除（CDD）。

03

新框架

Copy-Paste Augmentation：

Copy-Paste增強(qiáng)技術(shù)于2017年首次提出。通過從源圖像中剪切目標(biāo)塊并粘貼到目標(biāo)圖像，可以輕松獲取組合數(shù)量的合成訓(xùn)練數(shù)據(jù)，并顯著提高檢測/分割性能。這一驚人的魔力隨后被后續(xù)作品所驗(yàn)證，并通過上下文改編進(jìn)一步完善了該方法。Ghiasi等人聲稱只要訓(xùn)練足夠，簡單的Copy-Paste可以帶來相當(dāng)大的改進(jìn)。他們的實(shí)驗(yàn)進(jìn)一步表明了這種增強(qiáng)策略在實(shí)例級圖像理解上的潛力。需要注意的是Copy-Paste的最初動機(jī)是使樣本空間多樣化，特別是對于稀有類別或緩解復(fù)雜的掩模標(biāo)簽。然而，研究者利用這種操作來精確地解決擁擠問題。盡管在以前的工作中有過簡單的實(shí)踐，但從未系統(tǒng)地設(shè)計(jì)和研究過這種策略在處理擁擠場景方面的實(shí)際效果。

Consensus Learning：

通過Copy-Paste工具包，使用專門的策略來抵抗ICD問題，從而增強(qiáng)檢測器訓(xùn)練?？紤]到上圖所示的觀察結(jié)果，預(yù)測分?jǐn)?shù)的不穩(wěn)定性來源于擁擠，一種新的解決方案是將擁擠環(huán)境中的一個目標(biāo)的分?jǐn)?shù)（被其他目標(biāo)覆蓋）與未覆蓋時的分?jǐn)?shù)對齊。由于Copy-Paste方法可以很容易地生成這種類型的目標(biāo)對，其中兩個相同的目標(biāo)位于不同的環(huán)境中。下圖說明了研究者的想法。

在前面的數(shù)據(jù)擴(kuò)充之后，研究者選擇了一組由其他目標(biāo)覆蓋的目標(biāo)。然后，將與中的目標(biāo)patch相同的目標(biāo)patch重新粘貼到圖像上，而不進(jìn)行覆蓋，從而構(gòu)建另一組。在訓(xùn)練期間，強(qiáng)制執(zhí)行每個目標(biāo)的預(yù)測分?jǐn)?shù)分布與其對應(yīng)的保持一致。將這一過程稱為共識學(xué)習(xí)，通過對每一對中的“達(dá)成共識”進(jìn)行類比。具體來說，具體來說，讓是與匹配的建議集，是匹配的建議集，首先計(jì)算每個目標(biāo)得分的平均值和標(biāo)準(zhǔn)差：

Analyze the IoU-Confidence Disturbances：

現(xiàn)在，分析了方法在減輕上述ICD問題上的有效性。為了重新審視提出的原始動機(jī)，在下圖中繪制了分?jǐn)?shù)的標(biāo)準(zhǔn)差（STD）。

清楚地表明，用提出的Crowdedness-oriented Copy-Paste（CCP）訓(xùn)練的模型的 STDs明顯低于基線模型（BL），并且通過提高擁擠程度（從圖(a)到(d)）。其次，雖然CCP和CCP+CL的曲線似乎沒有明顯的區(qū)別，但通過計(jì)算它們的平均std（圖中的4個直方圖），研究者發(fā)現(xiàn)后者的值實(shí)際上低于前者。

Alleviate the Confused De-Duplications：

增強(qiáng)策略有一個自然的副產(chǎn)品：對于粘貼的這些重疊目標(biāo)，相對的“深度順序”是先驗(yàn)的。換句話說，我們知道哪個在前面，哪個在后面。

基本上，2D空間中的歧義是由真實(shí)（3D）世界中缺少一維造成的。從這個角度來看，深度順序可以被視為額外第三維度的一些薄弱知識，這有助于減輕模糊性。作為一種可行的實(shí)踐，在這項(xiàng)工作中利用深度順序信息來解決混淆的重復(fù)數(shù)據(jù)消除（CDD）問題。

引入一個名為“overlay depth”（OD）的變量，該變量描述了目標(biāo)在視覺上被其他目標(biāo)覆蓋的程度。上圖顯示了計(jì)算OD的過程。首先假設(shè)一個目標(biāo)的覆蓋深度等于1.0，如果沒有其他目標(biāo)覆蓋它。設(shè)是由目標(biāo)覆蓋的目標(biāo)的區(qū)域，表示區(qū)域的大小。

04

實(shí)驗(yàn)及可視化

OD prediction可視化