目標檢測中，點特征使用方便，但可能缺乏精確定位的明確邊界信息。 

1 簡述

密集物體檢測器依賴于滑動窗口范式，可以在規(guī)則的圖像網格上預測物體。同時，采用網格點上的特征圖來生成邊界框預測。點特征使用方便，但可能缺乏精確定位的明確邊界信息。 

在今天分享中，有研究者提出了一種簡單高效的算子，稱為 Border-Align，從邊界的極值點提取“邊界特征”以增強點特征。基于BorderAlign，研究者設計了一種稱為BorderDet的新型檢測架構，它明確利用邊界信息進行更強的分類和更準確的定位。

2 背景

Sliding Window

滑窗法作為一種經典的物體檢測方法，個人認為不同大小的窗口在圖像上進行滑動時候，進行卷積運算后的結果與已經訓練好的分類器判別存在物體的概率。選擇性搜索(Selective Search)是主要運用圖像分割技術來進行物體檢測。

通過滑窗法流程圖可以很清晰理解其主要思路：首先對輸入圖像進行不同窗口大小的滑窗進行從左往右、從上到下的滑動。每次滑動時候對當前窗口執(zhí)行分類器(分類器是事先訓練好的)。如果當前窗口得到較高的分類概率，則認為檢測到了物體。對每個不同窗口大小的滑窗都進行檢測后，會得到不同窗口檢測到的物體標記，這些窗口大小會存在重復較高的部分，最后采用非極大值抑制(Non-Maximum Suppression, NMS)的方法進行篩選。最終，經過NMS篩選后獲得檢測到的物體。

3 新框架分析

滑動窗口目標檢測器通常在密集的、規(guī)則的特征圖網格上生成邊界框預測。如上圖所示，網格每個點上的特征一般用于預測目標的類別和位置。這種基于點的特征表示很難包含有效的邊界特征，并且可能會限制目標檢測器的定位能力。對于兩階段目標檢測器，目標由從整個邊界框中提取的區(qū)域特征來描述，如上圖(b)所示。這種基于區(qū)域的特征表示能夠為目標分類和定位提供比基于點的特征表示更豐富的特征。

在上表中，研究者對邊界框的特征表示進行了更深入的分析。首先，采用一個簡單的密集目標檢測器（FCOS）作為新框架的基線來生成粗邊界框預測。

Border Align

受R-FCN的啟發(fā)，新框架的BorderAlign以具有(4 + 1)C通道的邊界敏感特征圖I作為輸入。特征圖的4C通道對應四個邊界（左、上、右、下）。

border-sensitive特征圖可視化

邊界上的橙色圓圈表示極值點。'Single Point', 'Left Border', 'Top Border', 'Right Border' 和 'Bottom Border'的特征圖是邊界敏感特征圖的每個 C 通道的最大特征值。

新方法也可以作為典型的兩級檢測器的更好的候選生成器。 研究者將邊界對齊模塊添加到RPN并將新結構表示為BorderRPN。BorderRPN的架構如上圖所示。保留RPN中的回歸分支來預測粗邊界框位置。RPN中的第一個3 × 3卷積被替換為3 × 3空洞卷積以增加有效感受野。

4 實驗

在NVIDIA 2080Ti GPU上的測試結果

在某種程度上，可證明BorderAlign確實在提取邊界極限的特征，且邊界極限點的特征對物體的精準定位確實有一些幫助。