# k! u. o7 t/ j: u* I3 e 原标题:汇总教程 | 视觉/激光/多传感器融合SLAM,三维重建,运动规划,从入门到进阶!
, Z0 r9 M2 B6 x) r0 q
7 A# U8 N8 j6 a J+ v 计算机视觉life”,选择“星标”
: F% k& W! y, }1 r7 l 快速获得最新干货 " t3 F5 h s$ A+ R7 o, d
背景介绍 # D0 {/ j# P5 G2 k+ {3 H
这两年 自动驾驶领域非常火热,发生了一轮又一轮的融资, 图森未来在美股上市,被称为“全球自动驾驶第一股”。 大疆创新正式推出旗下智能驾驶业务品牌“大疆车载”,华为、小米也纷纷下场。近日,自动驾驶干线物流企业千挂科技完成2亿元Pre-A轮融资,MINIEYE完成D轮累计8亿融资。。。 , [6 I% [3 j/ o. Z# w6 `
在 增强现实(AR)领域, Facebook已经从社交网络公司改名为元宇宙公司Meta,字节跳动重金收购AR/VR头显公司Pico,腾讯、阿里也纷纷入场,连罗永浩也告别了社交平台,将在AR领域再次创业,不知道是AR领域的明灯还是Ming灯。。。 & L/ {$ U7 F+ q( e: ^
在 机器人领域, 扫地机器人公司 石头科技上市, 物流机器人极智嘉在筹备IPO, 清洁机器人公司 高仙完成B+轮1亿美元融资。。。 ( F/ ~3 P( f( k* d" K9 W
在自动驾驶、无人机、增强现实、机器人导航等领域的技术栈中,即时 定位和建图(SLAM)是其中的核心技术之一。 SLAM中所涉及到的传感器有 相机、激光雷达、IMU、GPS、轮速计等,面对不同的平台和传感器配置,如何选择适合自己的技术方案呢? " a- V& Q8 `0 n1 f8 ^9 ?
视觉SLAM基础 " p3 ~. P1 F; W( j, ]- k
ORB-SLAM2是业内最知名、应用最广泛的视觉SLAM开源代码之一。它有如下优点: % y2 N3 N k7 q" _; L% u6 X* X. p2 K* a
/ F; A) O) q1 H* `. {8 X# }
支持 单目,双目和RGB-D相机的完整开源SLAM方案,能够实现 地图重用、回环检测和重新定位的功能。 ; t: B: G0 F1 D
支持轻量级定位模式,可以达到零漂移,此时不使用局部建图和回环检测的线程,可以用视觉里程计来跟踪未建图区域。 0 D0 A" K k8 }" h& y6 L& {
采用ORB特征,具有旋转不变性、光照不变性、尺度不变性,匹配速度快,适合实时应用。无论是在 室内的小型手持设备,还是到 工厂环境的无人机和城市里驾驶的汽车,ORB-SLAM2都能够在CPU上进行实时工作。 3 G- z [+ P/ q) n9 J6 y
跟踪、局部地图、闭环、重定位等所有的任务都采用相同的ORB特征,使得系统内数据交互更高效、稳定可靠。
- E6 q. Z0 c+ N! X: d 单目初始化和应用场景解耦,不管是平面还是非平面场景,都可以自动 初始化,无需人工干预。 3 ?* L; B& \6 J/ N7 G0 T
地图点和关键帧创建比较宽松,但后续会进行严格筛选,剔除冗余关键帧和误差大的地图点,增加建图过程的弹性,在 大旋转、快速运动、纹理不足等恶劣情况下可以提高跟踪的鲁棒性。
6 b" ^# J: ~6 d# A/ | 采用共视图,使得跟踪和建图控制在局部共视区域,与全局地图大小无关,可以 在大场景下运行。
0 B0 E1 V$ D3 f" k3 N 使用本质图(Essential Graph)来优化位姿实现回环检测,耗时少精度高 。
( v9 n& U" k8 w. q# K; u 相比于直接法,可以用于宽基线特征匹配,更适合于 对深度精度要求较高的场景,比如三维重建。 + R! a& T5 k+ ~* H: o% I
定位精度高,可达厘米级,是特征点法SLAM的经典代表作品。
. w+ y5 O5 ^: u' p0 B* @0 m 代码可读性强,包含很多工程化技巧,非常实用。 ! d+ }! O7 F( O# s/ D
% i$ }7 h: c6 ~2 O3 b' _
ORB-SLAM2 用于室内三维重建 # Z$ ?) ~! N/ k
ORB-SLAM2详细注释的代码持续更新,网址:
1 p. A1 U5 @1 y https://github.com/electech6/ORB_SLAM2_detailed_comments 3 O" \1 v( A E) ]
视觉惯性SLAM技术
& E! d& Y; b% z' K9 U, ^ ORB-SLAM3是在ORB-SLAM2的基础上开发的视觉惯性SLAM技术,于2020年7月发布。它在定位精度和效果上几乎碾压了同类的开源算法,受到极大关注。
7 T, S+ }7 f4 p$ l1 F0 P& a 它有如下特点:
1 I" n$ d6 \4 L8 l* [$ ?" m& T 1、 第一个可以运行视觉、视觉惯性和多地图,支持单目、双目和RGB-D相机,且支持针孔和鱼眼镜头模型的SLAM系统。
7 o0 ]" P$ Z: ?- a' W' N: S3 V% T 2、该算法可以在不同大小,室内和室外环境中鲁棒、实时的运行,精度上相比于以前的方法提升了2~5倍。
$ u& M, T- ^1 \4 r3 ?. h 3、 多地图系统可以让系统在视觉信息缺乏的场景下长时间运行。比如当跟踪丢失的时候,它会重新建立新的地图,并在重新访问之前的地图时,无缝地与之前的地图合并。 7 t( v- J7 h2 r' g( P+ d* P
4、实验结果证明,双目惯性模式下,该算法在无人机数据集EuRoC上可以达到平均3.6cm的定位精度,在手持设备快速移动的室内数据集TUM-VI上达到了9mm的定位精度。 & O! y& ]; j; f, K7 `# i$ B
从室内到室外,丝滑闭环 4 d, z% s5 ]. H& H# a6 W0 M" G) T" c
全网最详细ORB-SLAM3代码注释地址: $ j$ L2 G& J# \0 V* g
https://github.com/electech6/ORB_SLAM3_detailed_comments
5 ?7 W4 h3 c9 P2 e) m6 I VINS-Mono/Fusion 系统教程
0 v, ]7 D1 B3 x8 y4 d8 s9 F VINS即Visual-Inertial navigation Systems,是视觉惯性导航系统的统称,不过我们平时所说的一般是指VINS-Mono/Fusion。 香港科技大学飞行机器人实验室(沈邵劼团队)在2018年开源了VINS-Mono算法。第一作者秦通(2019华为天才少年),该论文获2018年机器人顶级期刊IEEE Transactions on Robotics最佳论文奖。它用一个单目相机+惯性测量单元(Inertial Measurement Unit,简称IMU)实现了紧耦合的视觉和惯性联合状态估计,在保证高精度里程计效果的同时,还可以同时估计出传感器外参,IMU零偏以及传感器时延。2019年该团队开源了VINS-Mono的升级版VINS-Fusion,它支持多种视觉惯性传感器类型,包括单目+IMU,双目+IMU,以及纯双目。VINS-Mono和VINS-Fusion在当年一骑绝尘, 是非常经典且优秀的VIO框架。
, }6 E3 L, k3 _0 g+ Z4 W 以下是VINS-Fusion在汽车SLAM上的效果:
& z0 W: \# C R# ? 以下是讲师详细注释的 代码地址: 4 W4 i* n" X3 |6 N
https://github.com/xieqi1/VINS-Mono-noted
! G* N4 q% N. h# w y https://github.com/xieqi1/VINS-Fusion-noted
- w7 ^, P: L7 ?5 @ 基于LiDAR的多传感器融合技术 ( g6 U+ y7 R" o
多传感器融合SLAM是自动驾驶、智能机器人中的核心技术。 目前工业界用的主流多传感器融合SLAM框架包括LOAM/A-LOAM、LeGO-LOAM、LIO-SAM等。
6 h# a; r) ?: E% ]
! n5 }$ ?% ?) @" h) }$ L LOAM是Ji Zhang早期开源的多线LiDAR SLAM算法。该代码可读性很差,作者后来将其闭源。
, H9 `) P3 ^2 n4 q. I; V5 X4 M A-LOAM是港科大秦通博士(VINS-Mono一作)在LOAM原有代码基础上,使用Ceres-solver和Eigen库对其进行重构和优化,在保持原有算法原理的基础上,使其可读性大大增加,作为入门多线激光slam最好选择。
/ y# s1 G" F$ S) l; }" h0 S* A1 V LeGO-LOAM 是Tixiao Shan在原有LOAM基础上,做了一些改进包括:1、对前端里程计的前量化改造,提取地面点更适配水平安装的LiDAR; 2、使用SLAM中的Keyframe概念以及回环检测位姿图优化的方式对后端进行重构。 + i' \; r* U% x) \1 j( @. }1 G
1 b" g. W. @/ U- F4 d+ @ @+ @% D& V& V0 L( c( k) Y
LIO-SAM 是Tixiao Shan在LeGO-LOAM的扩展,添加了IMU预积分因子和GPS因子:前端使用紧耦合的IMU融合方式,替代原有的帧间里程计,使得前端更轻量;后端沿用LeGO-LOAM,在此基础上融入了GPS观测。同时前端后端相互耦合,提高系统精度。
: u5 V. U$ P/ ~9 _
* Y& v0 \0 [8 i. F+ O: c4 m LIO-SAM 的效果 ( H& i0 e# S; J+ d% N4 V
2 J% k$ t2 B/ Q6 }0 y! s/ y( @7 } LVI-SAM是Tixiao Shan 2021年最新的开源工作,他将LIO-SAM和VINS-Mono进行了结合,是一个通过平滑和建图实现激光雷达-视觉-惯性里程计的紧耦合框架,由两个紧耦合子系统组成:一个视觉惯性系统VIS和一个激光雷达惯性系统LIS。当两个子系统中的一个发生故障时,系统也可以发挥作用,这增加了它在无纹理和无特征环境中的鲁棒性 9 d! u4 t6 h) R8 P+ Q
/ q- g: G' A4 k# d
独家注释代码 4 S: O2 v+ D1 v+ E& ? I- z
https://github.com/xieqi1/a-loam-noted
" r' ?1 F; B2 l' ?# a https://github.com/xieqi1/lio-sam-noted
) l1 E" y% S/ g! }& V5 k* j https://github.com/electech6/LVI-SAM_detailed_comments
; n! j& y) I# A/ `* u 激光SLAM技术
( D9 e- ]3 o6 {9 f Cartographer是Google推出的一套基于图优化的激光SLAM算法,它同时支持2D和3D激光SLAM,可以跨平台使用,支持Laser、IMU、Odemetry、GPS等多种传感器配置。该算法可以实现实时定位和建图。
' q% G7 Y- a. D5 X" L4 e9 q Cartographer建图过程 3 x4 _% N5 X$ z( S( D
Cartographer建立的栅格地图可以达到5cm的精度,该算法广泛应用于服务机器人、扫地机器人、仓储机器人、自动驾驶等领域,是最优秀的激光SLAM框架之一。
$ y0 @) C9 C; v% l, G Cartographer做了超详细源码注释 ' J0 Z* ^4 ^. V& B, _% o
https://github.com/xiangli0608/cartographer_detailed_comments_ws - K1 @ S% a% p; V
机器人运动规划
2 x; u& \! i% E$ w 运动规划和SLAM什么关系?
/ F O$ Z8 h2 |3 f5 y! `; `! U3 y% r 其实在企业里,SLAM算法工程师、运动规划工程师通常是 相对独立的岗位,SLAM技术通常可以得到稀疏的定位地图,结合后处理可以得到稠密的三维点云地图。此时我们需要用一定的规则将其转化为 栅格化地图,机器人在这个 地图的基础上进行运动规划(导航)。SLAM和运动规划是自主机器人的两个核心技术。 $ k. q% @5 l7 t! h0 D0 k" ]$ F
简单来说,解决机器人导航问题一般被称为运动规划,就是让机器人可以自主根据传感器获取外部环境信息,在当前环境中找到一条适合机器人行走的最佳路径。这不是一个简单的工作,因为地图可能发生变化,其他运动的物体也是必须要绕过的障碍物,所以常常需要更改自己的规划,如何在这种复杂的环境下高效率地实现最佳路径,就是运动规划的使命。
$ ]0 R% I8 |9 @# g 运动规划在移动机器人的应用
8 v& H: I. t$ e0 @+ h8 E2 X; C 独家注释代码
% {$ Y; N, Q. u4 d- A https://github.com/felderstehost/ros-navigation-noetic
5 `9 J, X* ?+ }' ?3 i: C 视觉几何三维重建技术
H0 m6 s- w! i3 [4 d6 @2 x9 D" U/ F# B5 T: p& e, N
三维重建是指用相机拍摄真实世界的物体、场景,并通过计算机视觉技术进行处理,从而得到物体的三维模型。英文术语:3D Reconstruction。
5 ?; j, ~# ~$ x 涉及的主要技术有:多视图立体几何、深度图估计、点云处理、网格重建和优化、纹理贴图、马尔科夫随机场、图割等。
! n6 S& _% D6 I4 ^ 是增强现实(AR)、混合现实(MR)、机器人导航、自动驾驶等领域的核心技术之一。 三维重建结果" y9 K) f& R r! t6 ]6 m
9 I) c' f( D( U- _ T+ q5 X
全网最详细的代码注释地址: / F" t; [2 K6 Y
https://github.com/electech6/openMVS_comments ' V7 [+ A' p; J' U0 `
深度学习三维重建技术框架 3 Y+ k( I1 W7 Q @/ ]
传统的重建方法是使用光度一致性等来计算稠密的三维信息。虽然这些方法在理想的Lambertian场景下,精度已经很高。但也有一些常见的局限性,例如 弱纹理,高反光和重复纹理等,使得 重建困难或重建的结果不完整。因此,传统三维重建方法在重建的完整性等方面仍有很大的改进空间。 " I6 k% Y( h$ _2 W
近年来深度学习在三维重建上取得了很大的成功。基于学习的方法可以引入比如 镜面先验和反射先验等全局语义信息,使匹配更加鲁棒,从而解决传统方法无法克服的难题。因此掌握基于深度学习的三维重建前沿算法非常重要。另外,在这个大数据时代,深度学习已经是大家必须掌握的技能,传统视觉算法已经很难有新的突破,各个领域都在朝深度学习方向研究,近几年各大视觉会议论文都是基于深度学习来实现三维重建,各个大厂招聘也越来越看重深度学习三维重建方法。
5 d$ ~. s, b. s6 S+ B C++编程入门到进阶 ; Z" O& a q: ^) `' M
很多初学SLAM的小伙伴都有个疑问:号称宇宙第一语言的Python,简单好用,包又多,功能又强大,为啥SLAM算法里很少使用呢?
( F1 w% m% v2 W0 h" N" o8 W2 m SLAM知识星球嘉宾刘国庆在知乎做了回答 3 B. N, R& f' C$ a+ N% ~ b7 q, V
这里再补充几点: * Y/ ` o6 ]. B6 o9 D: `+ E4 D4 O
! {8 L. ?' f; T7 l" @/ v C++具有 极高的性能和运行效率,很多语言都是在C/C++基础上封装的,比如Python。就这一点足以秒杀众多的高级语言。
/ d; K$ L1 r7 |5 M/ o$ _1 C C++发展了三十多年一直是编程常青树,一直使用,一直在发展,C++岗位需求会 越来越旺盛,只增不减。
h% ?% P9 B% K C++能够 操控底层,非常适合 和硬件打交道。 6 j7 r$ I" ~$ m3 l, Y: L; Q+ Y
( K$ n1 s4 Y8 R2 G" V3 a 很多小伙伴都是机械、自动化、通信等非计算机专业,也没有经历过系统的C++训练,而在具体的项目中,比如SLAM算法框架中,通常的代码并不是我们在书上看到的那样简单直白。很多同学在学习SLAM的过程中感觉C++是一座难以跨越的大山, 学习过程漫长而痛苦,项目开发遇到bug也不会调试,书看完了代码还是不会写,代码一改就错,一错就懵。
- v1 O: N0 y+ i7 i5 C, N# ^) O 相机标定技术框架 0 T6 U5 y0 K9 _( u: j# u
+ W! m1 D- c( O) O+ F1 c. l0 a
相机标定是指借助专用的标志物(如棋盘格)来估计相机的图像传感器参数(内参、外参)和镜头参数(畸变系数)。
6 _' E! v6 S5 ?* `% c% ?7 m' `+ o 它是一种计算相机二维图像和三维世界相对映射关系的一种方法。标定相机过程涉及相机成像模型、多视图几何、非线性优化等知识。 # i, F2 }( k. N" Q9 c2 C
相机标定是三维视觉的基础。
- V6 q* t; `2 F3 }. Y3 t: a1 g. h! G& N
毫不夸张的说, 相机标定是一切三维视觉的基础。它广泛应用于 双目视觉、手眼机械臂、机器人定位建图、图像拼接、三维重建等场景。 . L3 Y0 |4 _8 J u9 |
全国最大的SLAM开发者社区
( h+ l% g+ o- g' Y SLAM社区:一个人啃SLAM,难受到自闭,硬顶还是放弃? 3 t: }/ g0 s' q' d" z9 c6 S
在我们的SLAM和3D视觉知识星球里,很多刚入门的同学问的最多的问题我总结了一下,主要有:
, j4 h& @2 v6 a# A: f1 O! g% Q& K; }) e$ t- l1 j+ {6 S
机械/自动化/数学等非计算机专业能否转SLAM?5 g: j0 ~# |4 J; j4 `
导师不懂,但要我做SLAM方向,怎么入门?8 b4 R1 \0 ?& V" X
编程基础差,数学不好,能否学习SLAM?
/ D9 Q+ y. A# b1 d, j9 |: w4 Q* X 看完十四讲,下面怎么学习?0 D( z/ s: v4 \
需要学哪些开源框架?怎么学习呢?! e& r* n0 B; n3 q, k- c
编译遇到很多问题,怎么解决?
, k9 Z2 l! p+ A; L5 A 只有自己一个人学SLAM,没人讨论好痛苦,怎么办?
! L" E3 \7 T* r6 a 想要和小伙伴组队系统的学习,有资源吗?& u& e' B4 w( Z7 y0 p1 t/ V
0 C# b, M6 {" G* @" E1 i& G2 \ 我们建立了全 国最棒的SLAM和三维视觉交流社区,包括 小白入门图文/视频教程、学习过程疑难点解答、每日最新论文/开源代码/数据集分享、在线学习小组、笔试面试题、实习/校招/社招岗位推荐、星主直播交流等。 0 f7 B- O' \$ H! {% I) K
, ]3 Y" D9 e$ h
2018年创立、 3500+会员、 6100+主题分享、 9500+问答评论、 130+教学视频 * ^1 w$ E @! D3 Y. Y; B
教程:图文视频教程、涉及 代码调试/OpenCV/PCL/G2O/Ceres/视觉SLAM十四讲/LVISAM/R3LIVE C/ x& a; R3 i
资讯:每日论文分享、行业资讯汇总、每周汇总、精华汇总 4 j2 @( z/ ]! j; E& }. f
直播:每月至少3次,涵盖学习经验/求职面试/实习历程/行业介绍
; x4 m% g: {8 X( J1 q: q 活动:学习小组、行业资源对接、会员激励、有偿招募助教/兼职 . M6 _; t7 V) x4 [; j- V* `/ W5 ~
求职:内推职位、SLAM面试题、笔试练习 - Z8 z/ g7 x2 u% X5 F
…… " l8 E. M# I* R# \7 t8 I& v* [$ A
5 U- Y* r& L, o
6 G4 x6 @7 l. G6 S3 g {5 \
独家重磅课程官网:cvlife.net
n7 h% ]6 F7 w$ |2 q. v( K' m 1、SLAM社区: 一个人啃SLAM,难受到自闭,硬顶还是放弃?
4 E/ [! h! X2 K0 H 2、C++实战: 为啥SLAM代码都用C++不用Python? ! h) A) Q9 b; J# B% h$ @. R
3、多传感器融合SLAM 激光雷达-视觉-IMU多传感器融合方案! 6 G% ?; u9 b5 }4 Z, U7 n1 H
4、VIO灭霸:VIO天花板ORB-SLAM3第2期上线!(单/双目/RGBD+鱼眼+IMU+多地图+闭环)
2 ^; \: C9 f- b7 y 5、视觉SLAM基础: 刚看完《视觉SLAM十四讲》,下一步该硬扛哪个SLAM框架 ?
/ R, e) @! R' e" g3 d2 B% L 6、机器人导航运动规划: 机器人核心技术运动规划:让机器人想去哪就去哪! + J* @- z' t) T3 `+ a7 K
7、详解Cartographer: 谷歌开源的激光SLAM算法Cartographer为什么这么牛X?
g; f! F9 x- x2 A, n) D 8、深度学习三维重建 总共60讲全部上线!详解深度学习三维重建网络 ' y2 M& S* R0 w( L, _
9、三维视觉基础 详解视觉深度估计算法(单/双目/RGB-D+特征匹配+极线矫正+代码实战)
2 i+ ~+ ^4 Z# G% z( o: [ 10、 VINS:Mono+Fusion SLAM面试官:看你简历上写精通VINS,麻烦现场手推一下预积分!
X# e( |/ x/ j 11、图像三维重建课程:视觉几何三维重建教程(第2期):稠密重建,曲面重建,点云融合,纹理贴图
3 l0 g; m1 [5 H/ v 12、系统全面的相机标定课程:单目/鱼眼/双目/阵列 相机标定:原理与实战 返回搜狐,查看更多
# e( R0 e; R) V' ^- ]/ C7 j
8 z# \: z9 u4 G- d 责任编辑:
. |8 y4 p# ?. f: Y {8 Y: |$ j$ `! e# O; Y
+ |& h) P" Q4 p: H1 L' _7 k
6 q l& y6 O+ M' x4 C. r; }! M* _( |# x/ S5 H# b
|