下圖展示了這篇文章所構建的因子圖，這篇文章針對場景中需要構建的各個不同種類的路標各自建立了不同的參數(shù)模型，并通過圖優(yōu)化的方式對各個路標進行狀態(tài)更新。

Initialization of ground and pole objects:

下面介紹上述的5個參數(shù)模型的初始化方法：

1.當GNSS-VIO軌跡給定時，通過三角化特征點的方式獲取位姿估計。

2.我們使用它們所包含的deep points在XOY平面上進行二維線擬合。

3.之后，如果沒有檢測到地面初始化的地面標志，我們就使用每一幀中檢測到的車道凸包內的傳統(tǒng)特征點，并應用RANSAC三維平面擬合策略來去除移動車輛上的關鍵點。

Inilization of splines:

Offline mapping case

在這些變量被初始化后，我們根據常見的視覺-慣性測距約束推導出一個因子圖優(yōu)化，為了數(shù)值穩(wěn)定，在上述因子上添加了Cauchy損失函數(shù)，并將第一幀的位姿固定。所有的關鍵幀和檢測到的實例都參與到最后的BA調整中，以共同解決位姿和位置問題。

Online localization case

在在線定位過程中，我們從語義地圖中反序列化固定的語義地標，即spline的控制點和常規(guī)的三維點，并將它們固定在公式4和5中，以增加對攝像機和地圖坐標之間的相對位置的約束。在這個階段，不再需要像公式6那樣的共面約束。我們將在第II-I節(jié)中進一步介紹這些因素是如何通過提議的地圖查詢策略構建的。

Re-Identification and Feature Merging

我們進行3D-3D關聯(lián)來重新識別語義對象，而不是進行框架式的詞包查詢。原因是重復對象的密度（幾十米）相對于測繪過程中GNSS-VIO測距的定位不確定性要稀疏一些，而且這些標準化的道路元素之間的視覺外觀過于相似，無法區(qū)分。在實例化的物體和車道關聯(lián)過程中，我們將其中心點之間的距離小于5.0米（或車道為0.5米）的三角形物體視為相同的物體，然后以匈牙利策略逐級合并其包含的深層點和經典點的觀測結果。深層點的語義類型被用于拒絕不匹配。而對于每個伴隨的GFTT點，我們使用它們在多幀中的FREAK描述符進行投****。我們使用union-find算法來合并它們的觀察結果，并進行另一輪全局狀態(tài)優(yōu)化。

Data Structure of Semantic Maps

對于每個觀測c，我們在全局坐標TC中存儲其估計姿態(tài)，以及用于在線GPS查詢的最近的GNSS測量。對于每個分層語義地標，我們存儲語義標簽和所包含的深度和GFTT點的三維位置。在我們的語義地圖中，既不存儲FREAK描述符，也不存儲框架性描述符。

Localization Based on Semantic Maps

我們使用上圖所示的狀態(tài)機來評估在線定位的位姿質量，并相應地執(zhí)行不同的策略。從地圖未初始化的狀態(tài)開始，在這個狀態(tài)下，從地圖坐標到當前全局坐標TM的全局變換是未知的，我們使用粗略的GPS測量來檢索相應的地圖分區(qū)，以獲得相應的觀測。

在局部搜索模式下，我們可以獲得地標子集LM=G(OM)，用于通過索引的深層物體關鍵點建立二維三維PnP-Ransac關聯(lián)。要接受這樣一個估計的PnP姿態(tài)是有效的，至少需要來自5個不同實例的12個傳入點，以切換到兩個跟蹤狀態(tài)并初始化TM。

我們使用兩個階段的跟蹤狀態(tài)，根據其位姿質量應用不同的閾值。在這兩種跟蹤狀態(tài)下，重建的關聯(lián)將通過公式4和5被添加到滑動窗口優(yōu)化中，其中幀到全局變換的原始TC被幀到地圖變換的TCM取代，而TM被視為優(yōu)化過程中的一個額外的可優(yōu)化變量。

在這樣的兩種跟蹤模式中，我們將所有的地圖實例投射到在線檢測的幀c上，并使用以下標準，通過匈牙利式匹配接受投影關聯(lián)，如。

Experimental Evaluation

Datasets

本文所構建的系統(tǒng)在KAIST數(shù)據集以及作者自己錄制的兩個數(shù)據集上進行了測試。

Performance

結果顯示了我們訓練的深度模型在KAIST數(shù)據集上的表現(xiàn)，由于它們在圖像上的不同表現(xiàn)，盒子里的物體被分為三個有代表性的子類型（電線桿、交通標志和地面標志）。我們在測試集上分別評估這些任務，得出它們的分類精度、檢測召回率，另外，表中的提取像素誤差，下圖為像素誤差的分布直方圖。

Evaluations on Localization and Mapping

在這個測試中，我們對每個序列運行兩次，分別進行測繪和地圖輔助定位。圖7列出了測試序列的結果。我們提出的方法所產生的語義圖需要的文件大小要少得多，同時提供了有競爭力的定位性能。例如，KAIST-38的語義地圖占據了1.54MB的磁盤空間來達到0.46米的定位精度，而傳統(tǒng)的地圖在設置K=8時需要7.60MB來達到0.75米。對杭州序列的測試也反映了同樣的趨勢。總的來說，我們提出的方法中的語義圖要比那些設定的覆蓋點特征圖小近5倍，才能達到類似的定位性能。

Cross-Relocalization

下表顯示了這種對等的交叉定位結果?？梢钥闯?，我們提出的含有方框物體和道路車道的語義地圖的方法在所有交叉驗證測試中都完成了成功的定位。對于傳統(tǒng)地圖，我們用包括全尺寸地圖在內的多種設置進行測試。不幸的是，由于在不同季節(jié)和時間段捕獲的視覺特征的嚴重變化，在28序列的地圖上運行KAIST-38序列的定位始終失敗。因此，集合覆蓋稀疏化需要應用更大的K值來進行交叉重定位，以保持足夠可靠的特征。對于Maplab來說，由于保留的信息量大的三維點通常與更多的局部視覺描述符有關，因此結果的地圖大小比預期的要大。相比之下，我們提出的方法依賴于從標準化和持久化的道路元素中提取的深層特征?？傊?，這種語義替換在交叉定位上比傳統(tǒng)地圖和Maplab都有更大的優(yōu)勢，對杭州序列的實驗也反映了同樣的趨勢，這表明在緊湊性和定位精度上都有優(yōu)勢。

Modular and Efficiency Analysis

下表表示我們的定位所涉及的兩種跟蹤狀態(tài)的統(tǒng)計數(shù)據。在大多數(shù)情況下，我們的方法在緊密跟蹤模式下運行，這反映了更好的定位精度。

下表顯示了來自不同語義實例的平均用點數(shù)量。由于相機可以觀察和檢測到比地面物體相對較遠的有效的電線桿和標志物，這些物體對定位的貢獻最大。

我們還分析了不同定位模式下語義對象關聯(lián)的時間消耗。在在線定位期間，感知和地圖查詢模塊都在一個獨立的線程中運行。在感知模塊中，如果單獨檢測，車道需要17.6毫秒/693MB，車道線檢測需要7.5毫秒/422MB，其他物體和關鍵點檢測需要17.3毫秒/1177MB。在地圖查詢模塊中，本地搜索模式的平均時間消耗約為300毫秒，而對于占主導地位的松耦合跟蹤或緊耦合跟蹤模式，它減少到不到1毫秒?？傮w時間消耗低于我們設計的定位查詢頻率（1Hz）。

Stability of Semantic Mapping

下表顯示了經典和語義建圖方法中的建圖誤差。這表明引入語義對象并不明顯影響建圖的質量

Conclusion

本文提出了一個語義建圖和定位流程。包括電桿、標志和公路車道在內的實例被檢測到并被參數(shù)化，以形成一個緊湊的語義圖，從而實現(xiàn)高效和準確的定位。