目標(biāo)檢測(cè)中，點(diǎn)特征使用方便，但可能缺乏精確定位的明確邊界信息。 

1 簡(jiǎn)述

密集物體檢測(cè)器依賴于滑動(dòng)窗口范式，可以在規(guī)則的圖像網(wǎng)格上預(yù)測(cè)物體。同時(shí)，采用網(wǎng)格點(diǎn)上的特征圖來(lái)生成邊界框預(yù)測(cè)。點(diǎn)特征使用方便，但可能缺乏精確定位的明確邊界信息。 

在今天分享中，有研究者提出了一種簡(jiǎn)單高效的算子，稱為 Border-Align，從邊界的極值點(diǎn)提取“邊界特征”以增強(qiáng)點(diǎn)特征?；贐orderAlign，研究者設(shè)計(jì)了一種稱為BorderDet的新型檢測(cè)架構(gòu)，它明確利用邊界信息進(jìn)行更強(qiáng)的分類和更準(zhǔn)確的定位。

2 背景

Sliding Window

滑窗法作為一種經(jīng)典的物體檢測(cè)方法，個(gè)人認(rèn)為不同大小的窗口在圖像上進(jìn)行滑動(dòng)時(shí)候，進(jìn)行卷積運(yùn)算后的結(jié)果與已經(jīng)訓(xùn)練好的分類器判別存在物體的概率。選擇性搜索(Selective Search)是主要運(yùn)用圖像分割技術(shù)來(lái)進(jìn)行物體檢測(cè)。

通過(guò)滑窗法流程圖可以很清晰理解其主要思路：首先對(duì)輸入圖像進(jìn)行不同窗口大小的滑窗進(jìn)行從左往右、從上到下的滑動(dòng)。每次滑動(dòng)時(shí)候?qū)Ξ?dāng)前窗口執(zhí)行分類器(分類器是事先訓(xùn)練好的)。如果當(dāng)前窗口得到較高的分類概率，則認(rèn)為檢測(cè)到了物體。對(duì)每個(gè)不同窗口大小的滑窗都進(jìn)行檢測(cè)后，會(huì)得到不同窗口檢測(cè)到的物體標(biāo)記，這些窗口大小會(huì)存在重復(fù)較高的部分，最后采用非極大值抑制(Non-Maximum Suppression, NMS)的方法進(jìn)行篩選。最終，經(jīng)過(guò)NMS篩選后獲得檢測(cè)到的物體。

3 新框架分析

滑動(dòng)窗口目標(biāo)檢測(cè)器通常在密集的、規(guī)則的特征圖網(wǎng)格上生成邊界框預(yù)測(cè)。如上圖所示，網(wǎng)格每個(gè)點(diǎn)上的特征一般用于預(yù)測(cè)目標(biāo)的類別和位置。這種基于點(diǎn)的特征表示很難包含有效的邊界特征，并且可能會(huì)限制目標(biāo)檢測(cè)器的定位能力。對(duì)于兩階段目標(biāo)檢測(cè)器，目標(biāo)由從整個(gè)邊界框中提取的區(qū)域特征來(lái)描述，如上圖(b)所示。這種基于區(qū)域的特征表示能夠?yàn)槟繕?biāo)分類和定位提供比基于點(diǎn)的特征表示更豐富的特征。

在上表中，研究者對(duì)邊界框的特征表示進(jìn)行了更深入的分析。首先，采用一個(gè)簡(jiǎn)單的密集目標(biāo)檢測(cè)器（FCOS）作為新框架的基線來(lái)生成粗邊界框預(yù)測(cè)。

Border Align

受R-FCN的啟發(fā)，新框架的BorderAlign以具有(4 + 1)C通道的邊界敏感特征圖I作為輸入。特征圖的4C通道對(duì)應(yīng)四個(gè)邊界（左、上、右、下）。

border-sensitive特征圖可視化

邊界上的橙色圓圈表示極值點(diǎn)。'Single Point', 'Left Border', 'Top Border', 'Right Border' 和 'Bottom Border'的特征圖是邊界敏感特征圖的每個(gè) C 通道的最大特征值。

新方法也可以作為典型的兩級(jí)檢測(cè)器的更好的候選生成器。 研究者將邊界對(duì)齊模塊添加到RPN并將新結(jié)構(gòu)表示為BorderRPN。BorderRPN的架構(gòu)如上圖所示。保留RPN中的回歸分支來(lái)預(yù)測(cè)粗邊界框位置。RPN中的第一個(gè)3 × 3卷積被替換為3 × 3空洞卷積以增加有效感受野。

4 實(shí)驗(yàn)

在NVIDIA 2080Ti GPU上的測(cè)試結(jié)果

在某種程度上，可證明BorderAlign確實(shí)在提取邊界極限的特征，且邊界極限點(diǎn)的特征對(duì)物體的精準(zhǔn)定位確實(shí)有一些幫助。