SLAM與AI的強強聯合

本文默認大家已經熟知SLAM、導航、常見AI算法（比如深度學習、強化學習、卷積神經網絡、監督學習）等基本概念，不熟的小伙伴可以從我已經出版的書籍《機器人SLAM導航核心技術與實戰》中進行系統性的學習。AI與SLAM的結合大致分為3個思路：

• 思路1：用AI實現SLAM的所有功能
• 思路2：用AI改進SLAM的部分功能
• 思路3：介于思路1和思路2之間

第1種思路就是簡單粗暴地用AI直接實現SLAM，也就是所謂的端到端方法（End-to-End），下面即將介紹的UnDeepVO和NeuralRecon就是典型代表。第2中思路是用AI改進SLAM中的個別功能模塊，比如基于AI方法的特征匹配、重定位、深度估計、語義理解等，比如CNN-SLAM就是典型代表。當然更多的是介于思路1和思路2之間的方法，所以很多算法其實很難對其進行分類。為了方便討論，下面僅從解決具體問題的角度介紹一些比較有代表性的AI+SLAM方法，包括：端到端視覺里程計、端到端建圖、端到端定位導航、特征匹配、重定位、深度估計、語義理解、語義SLAM。

• 點這里觀看視頻講解：《機器人SLAM導航核心技術與實戰》書籍配套教學視頻

一、端到端視覺里程計

1.基于無監督深度學習的單目視覺里程計：

關鍵詞：單目相機實時位姿估計、單目圖像深度信息重建

論文：UnDeepVO: Monocular Visual Odometry through Unsupervised Deep Learning

源碼：-

年份：2018

2.基于自監督學習的運動估計：

關鍵詞：自監督學習、位姿估計、深度重建

論文：Beyond Photometric Loss for Self-Supervised Ego-Motion Estimation

源碼：https://github.com/hlzz/DeepMatchVO

年份：2019

二、端到端建圖

1.單目相機實時連續三維建圖：

關鍵詞：單目相機、神經網絡、TSDF、三維建圖

論文：NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular Video

源碼：https://github.com/zju3dv/NeuralRecon

年份：2021

2.半監督單目稠密重建：

關鍵詞：半監督、稠密重建、單目

論文：MonoRec：Semi-Supervised Dense Reconstruction in Dynamic Environments from a Single Moving Camera

源碼：https://github.com/Brummi/MonoRec

年份：2021

三、端到端定位導航

1.可變端到端定位與導航：

關鍵詞：端到端、定位、導航

論文：Variational End-to-End Navigation and Localization

源碼：-

年份：2019

四、特征匹配

1.基于深度學習特征提取的路標特征匹配：

關鍵詞：深度學習、特征提取、特征匹配

論文：Improving Keypoint Matching Using a Landmark-Based Image Representation

源碼：https://github.com/Hansry/Keypoint-Matching-Based-on-Landmark-Representation

年份：2019

2.基于深度學習的2D圖像到3D點云的特征匹配：

關鍵詞：深度學習、2D圖像、3D點云、特征匹配

論文：2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud

源碼：-

年份：2019

五、重定位

1.基于深度學習視覺位置識別的重定位：

關鍵詞：卷積神經網絡、路標定位網絡、視覺位置識別

論文：Localizing Discriminative Visual Landmarks for Place Recognition

源碼：-

年份：2019

2.基于遷移學習的視覺位置識別：

關鍵詞：遷移學習、視覺位置識別

論文：A Multi-Domain Feature Learning Method for Visual Place Recognition

源碼：

年份：2019

六、深度估計

1.基于深度學習的深度估計：

關鍵詞：深度估計、深度學習

論文：Geo-Supervised Visual Depth Prediction

源碼：https://github.com/feixh/GeoSup

年份：2019

七、語義理解

1.自動駕駛的實時語義推理：

關鍵詞：街道分類、車輛識別、道路分割

論文：MultiNet: Real-time Joint Semantic Reasoning for Autonomous Driving

源碼：https://github.com/MarvinTeichmann/MultiNet

年份：2018

2.實時語義分割網絡：

關鍵詞：跳躍結構、UNet、擴張前端

論文：SHUFFLESEG: REAL-TIME SEMANTIC SEGMENTATION NETWORK

源碼：https://github.com/MSiam/TFSegmentation

年份：2018

3.基于自組織網絡的點云語義解析：

關鍵詞：自組織網絡、點云特征提取、點云語義解析

論文：SO-Net: Self-Organizing Network for Point Cloud Analysis

源碼：https://github.com/lijx10/SO-Net

年份：2018

八、語義SLAM

1.基于卷積神經網絡的稠密三維語義建圖：

關鍵詞：語義建圖、三維稠密、卷積神經網絡

論文：SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks

源碼：https://github.com/seaun163/semanticfusion

年份：2016

2.基于CNN語義融合的SLAM：

關鍵詞：CNN、SLAM、語義融合

論文：CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction

源碼：https://github.com/iitmcvg/CNN_SLAM

年份：2017

參考文獻

[1] 張虎，機器人SLAM導航核心技術與實戰[M]. 機械工業出版社，2022.

 

 

 

序

前言

編程基礎篇

第1章 ROS入門必備知識

1.1 ROS簡介 2

1.1.1 ROS的性能特色 2

1.1.2 ROS的發行版本 3

1.1.3 ROS的學習方法 3

1.2 ROS開發環境的搭建 3

1.2.1 ROS的安裝 4

1.2.2 ROS文件的組織方式 4

1.2.3 ROS網絡通信配置 5

1.2.4 集成開發工具 5

1.3 ROS系統架構 5

1.3.1 從計算圖視角理解ROS架構 6

1.3.2 從文件系統視角理解ROS架構 7

1.3.3 從開源社區視角理解ROS架構 8

1.4 ROS調試工具 8

1.4.1 命令行工具 9

1.4.2 可視化工具 9

1.5 ROS節點通信 10

1.5.1 話題通信方式 12

1.5.2 服務通信方式 15

1.5.3 動作通信方式 19

1.6 ROS的其他重要概念 25

1.7 ROS 2.0展望 28

1.8 本章小結 28

第2章 C++編程范式

2.1 C++工程的組織結構 29

2.1.1 C++工程的一般組織結構 29

2.1.2 C++工程在機器人中的組織結構 29

2.2 C++代碼的編譯方法 30

2.2.1 使用g++編譯代碼 31

2.2.2 使用make編譯代碼 32

2.2.3 使用CMake編譯代碼 32

2.3 C++編程風格指南 33

2.4 本章小結 34

第3章 OpenCV圖像處理

3.1 認識圖像數據 35

3.1.1 獲取圖像數據 35

3.1.2 訪問圖像數據 36

3.2 圖像濾波 37

3.2.1 線性濾波 37

3.2.2 非線性濾波 38

3.2.3 形態學濾波 39

3.3 圖像變換 40

3.3.1 射影變換 40

3.3.2 霍夫變換 42

3.3.3 邊緣檢測 42

3.3.4 直方圖均衡 43

3.4 圖像特征點提取 44

3.4.1 SIFT特征點 44

3.4.2 SURF特征點 50

3.4.3 ORB特征點 52

3.5 本章小結 54

硬件基礎篇

第4章 機器人傳感器

4.1 慣性測量單元 56

4.1.1 工作原理 56

4.1.2 原始數據采集 60

4.1.3 參數標定 65

4.1.4 數據濾波 73

4.1.5 姿態融合 75

4.2 激光雷達 91

4.2.1 工作原理 92

4.2.2 性能參數 94

4.2.3 數據處理 96

4.3 相機 100

4.3.1 單目相機 101

4.3.2 雙目相機 107

4.3.3 RGB-D相機 109

4.4 帶編碼器的減速電機 111

4.4.1 電機 111

4.4.2 電機驅動電路 112

4.4.3 電機控制主板 113

4.4.4 輪式里程計 117

4.5 本章小結 118

第5章 機器人主機

5.1 X86與ARM主機對比 119

5.2 ARM主機樹莓派3B+ 120

5.2.1 安裝Ubuntu MATE 18.04 120

5.2.2 安裝ROS melodic 122

5.2.3 裝機軟件與系統設置 122

5.3 ARM主機RK3399 127

5.4 ARM主機Jetson-tx2 128

5.5 分布式架構主機 129

5.5.1 ROS網絡通信 130

5.5.2 機器人程序的遠程開發 130

5.6 本章小結 131

第6章 機器人底盤

6.1 底盤運動學模型 132

6.1.1 兩輪差速模型 132

6.1.2 四輪差速模型 136

6.1.3 阿克曼模型 140

6.1.4 全向模型 144

6.1.5 其他模型 148

6.2 底盤性能指標 148

6.2.1 載重能力 148

6.2.2 動力性能 148

6.2.3 控制精度 150

6.2.4 里程計精度 150

6.3 典型機器人底盤搭建 151

6.3.1 底盤運動學模型選擇 152

6.3.2 傳感器選擇 152

6.3.3 主機選擇 153

6.4 本章小結 155

SLAM篇

第7章 SLAM中的數學基礎

7.1 SLAM發展簡史 158

7.1.1 數據關聯、收斂和一致性 160

7.1.2 SLAM的基本理論 161

7.2 SLAM中的概率理論 163

7.2.1 狀態估計問題 164

7.2.2 概率運動模型 166

7.2.3 概率觀測模型 171

7.2.4 概率圖模型 173

7.3 估計理論 182

7.3.1 估計量的性質 182

7.3.2 估計量的構建 183

7.3.3 各估計量對比 190

7.4 基于貝葉斯網絡的狀態估計 193

7.4.1 貝葉斯估計 194

7.4.2 參數化實現 196

7.4.3 非參數化實現 202

7.5 基于因子圖的狀態估計 206

7.5.1 非線性最小二乘估計 206

7.5.2 直接求解方法 206

7.5.3 優化方法 208

7.5.4 各優化方法對比 218

7.5.5 常用優化工具 219

7.6 典型SLAM算法 221

7.7 本章小結 221

第8章 激光SLAM系統

8.1 Gmapping算法 223

8.1.1 原理分析 223

8.1.2 源碼解讀 228

8.1.3 安裝與運行 233

8.2 Cartographer算法 240

8.2.1 原理分析 240

8.2.2 源碼解讀 247

8.2.3 安裝與運行 258

8.3 LOAM算法 266

8.3.1 原理分析 266

8.3.2 源碼解讀 267

8.3.3 安裝與運行 270

8.4 本章小結 270

第9章 視覺SLAM系統

9.1 ORB-SLAM2算法 274

9.1.1 原理分析 274

9.1.2 源碼解讀 310

9.1.3 安裝與運行 319

9.1.4 拓展 327

9.2 LSD-SLAM算法 329

9.2.1 原理分析 329

9.2.2 源碼解讀 334

9.2.3 安裝與運行 337

9.3 SVO算法 338

9.3.1 原理分析 338

9.3.2 源碼解讀 341

9.4 本章小結 341

第10章 其他SLAM系統

10.1 RTABMAP算法 344

10.1.1 原理分析 344

10.1.2 源碼解讀 351

10.1.3 安裝與運行 357

10.2 VINS算法 362

10.2.1 原理分析 364

10.2.2 源碼解讀 373

10.2.3 安裝與運行 376

10.3 機器學習與SLAM 379

10.3.1 機器學習 379

10.3.2 CNN-SLAM算法 411

10.3.3 DeepVO算法 413

10.4 本章小結 414

自主導航篇

第11章 自主導航中的數學基礎

11.1 自主導航 418

11.2 環境感知 420

11.2.1 實時定位 420

11.2.2 環境建模 421

11.2.3 語義理解 422

11.3 路徑規劃 422

11.3.1 常見的路徑規劃算法 423

11.3.2 帶約束的路徑規劃算法 430

11.3.3 覆蓋的路徑規劃算法 434

11.4 運動控制 435

11.4.1 基于PID的運動控制 437

11.4.2 基于MPC的運動控制 438

11.4.3 基于強化學習的運動控制 441

11.5 強化學習與自主導航 442

11.5.1 強化學習 443

11.5.2 基于強化學習的自主導航 465

11.6 本章小結 467

第12章 典型自主導航系統

12.1 ros-navigation導航系統 470

12.1.1 原理分析 470

12.1.2 源碼解讀 475

12.1.3 安裝與運行 479

12.1.4 路徑規劃改進 492

12.1.5 環境探索 496

12.2 riskrrt導航系統 498

12.3 autoware導航系統 499

12.4 導航系統面臨的一些挑戰 500

12.5 本章小結 500

第13章 機器人SLAM導航綜合實戰

13.1 運行機器人上的傳感器 502

13.1.1 運行底盤的ROS驅動 503

13.1.2 運行激光雷達的ROS驅動 503

13.1.3 運行IMU的ROS驅動 504

13.1.4 運行相機的ROS驅動 504

13.1.5 運行底盤的urdf模型 505

13.1.6 傳感器一鍵啟動 506

13.2 運行SLAM建圖功能 506

13.2.1 運行激光SLAM建圖功能 507

13.2.2 運行視覺SLAM建圖功能 508

13.2.3 運行激光與視覺聯合建圖功能 508

13.3 運行自主導航 509

13.4 基于自主導航的應用 510

13.5 本章小結 511

附錄A Linux與SLAM性能優化的探討

附錄B 習題