汇总教程 | 视觉/激光/多传感器融合SLAM,三维重建,运动规划,从入门到进阶!

[复制链接]
% b! t& S- W. T4 k& O- g

原标题:汇总教程 | 视觉/激光/多传感器融合SLAM,三维重建,运动规划,从入门到进阶!

, i5 D' o9 ^, o w. k) R' S - V; t% B) k2 s

计算机视觉life”,选择“星标”

" y* N) G A" u

快速获得最新干货

9 o# Y- v) }6 j; H1 c: K; R: J

背景介绍

' v3 w" i* d2 l2 N. ?8 B$ C: K

这两年 自动驾驶领域非常火热,发生了一轮又一轮的融资, 图森未来在美股上市,被称为“全球自动驾驶第一股”大疆创新正式推出旗下智能驾驶业务品牌“大疆车载”,华为、小米也纷纷下场。近日,自动驾驶干线物流企业千挂科技完成2亿元Pre-A轮融资,MINIEYE完成D轮累计8亿融资。。。

" x* Z/ L- Z& e) _ \" s w4 a

增强现实(AR)领域, Facebook已经从社交网络公司改名为元宇宙公司Meta字节跳动重金收购AR/VR头显公司Pico,腾讯、阿里也纷纷入场,连罗永浩也告别了社交平台,将在AR领域再次创业,不知道是AR领域的明灯还是Ming灯。。。

6 |2 G; d+ g. h& N% N! G6 R

机器人领域, 扫地机器人公司 石头科技上市, 物流机器人极智嘉在筹备IPO, 清洁机器人公司 高仙完成B+轮1亿美元融资。。。

8 o0 V5 D8 P& ?% w2 k4 K

在自动驾驶、无人机、增强现实、机器人导航等领域的技术栈中,即时 定位和建图(SLAM)是其中的核心技术之一。 SLAM中所涉及到的传感器有 相机、激光雷达、IMU、GPS、轮速计等,面对不同的平台和传感器配置,如何选择适合自己的技术方案呢?

$ d9 O) c4 p. ]- O

视觉SLAM基础

3 F" X3 q, R2 p: N

ORB-SLAM2是业内最知名、应用最广泛的视觉SLAM开源代码之一。它有如下优点:

' U9 D" s$ d- d3 o , w! }, M$ n) M7 O- L2 h# O* N* h

支持 单目,双目和RGB-D相机的完整开源SLAM方案,能够实现 地图重用、回环检测和重新定位的功能。

' D* ]+ _1 H7 l

支持轻量级定位模式,可以达到零漂移,此时不使用局部建图和回环检测的线程,可以用视觉里程计来跟踪未建图区域。

( z$ P, K$ y5 ]4 @8 [8 X

采用ORB特征,具有旋转不变性、光照不变性、尺度不变性,匹配速度快,适合实时应用。无论是在 室内的小型手持设备,还是到 工厂环境的无人机和城市里驾驶的汽车,ORB-SLAM2都能够在CPU上进行实时工作。

3 I* _5 j0 q: A% u$ x! H

跟踪、局部地图、闭环、重定位等所有的任务都采用相同的ORB特征,使得系统内数据交互更高效、稳定可靠。

2 G$ z6 |: P1 W" {8 P0 B

单目初始化和应用场景解耦,不管是平面还是非平面场景,都可以自动 初始化,无需人工干预

" o6 i3 W; N) e9 Y- l

地图点和关键帧创建比较宽松,但后续会进行严格筛选,剔除冗余关键帧和误差大的地图点,增加建图过程的弹性,在 大旋转、快速运动、纹理不足等恶劣情况下可以提高跟踪的鲁棒性

0 \. Y2 _3 O" J2 A p

采用共视图,使得跟踪和建图控制在局部共视区域,与全局地图大小无关,可以 在大场景下运行

8 U% h4 n7 q* @4 q9 O8 v) u7 g, s1 c

使用本质图(Essential Graph)来优化位姿实现回环检测,耗时少精度高 。

# R# e0 Q2 V. P

相比于直接法,可以用于宽基线特征匹配,更适合于 对深度精度要求较高的场景,比如三维重建。

7 I- e: k( Q3 i

定位精度高,可达厘米级,是特征点法SLAM的经典代表作品。

' \5 b+ |/ w: D/ ^8 C( \

代码可读性强,包含很多工程化技巧,非常实用。

- j0 h/ d- p" ?5 J4 c ; `4 s" x$ g6 i; X" ~6 G- x

ORB-SLAM2 用于室内三维重建

1 t" [6 l+ V0 A8 J( M3 [

ORB-SLAM2详细注释的代码持续更新,网址:

7 z; A" L" G& _3 n

https://github.com/electech6/ORB_SLAM2_detailed_comments

# h% ~/ ~% k* z$ G( t

视觉惯性SLAM技术

9 h" E% a$ `# r% P% [% w0 W

ORB-SLAM3是在ORB-SLAM2的基础上开发的视觉惯性SLAM技术,于2020年7月发布。它在定位精度和效果上几乎碾压了同类的开源算法,受到极大关注。

: y% E4 K# n. @6 e' r# H* L

它有如下特点:

' A( [* Q, f0 {, i$ o6 U

1、 第一个可以运行视觉、视觉惯性和多地图,支持单目、双目和RGB-D相机,且支持针孔和鱼眼镜头模型的SLAM系统。

+ Y% B& ]- e2 k. V/ ^

2、该算法可以在不同大小,室内和室外环境中鲁棒、实时的运行,精度上相比于以前的方法提升了2~5倍。

. t7 _/ g h1 \. M

3、 多地图系统可以让系统在视觉信息缺乏的场景下长时间运行。比如当跟踪丢失的时候,它会重新建立新的地图,并在重新访问之前的地图时,无缝地与之前的地图合并。

, v5 S. H! f0 G2 F1 E

4、实验结果证明,双目惯性模式下,该算法在无人机数据集EuRoC上可以达到平均3.6cm的定位精度,在手持设备快速移动的室内数据集TUM-VI上达到了9mm的定位精度。

$ ?5 k1 G& d4 D! N$ ~" v2 O

从室内到室外,丝滑闭环

- [( s6 n/ Q, u# V

全网最详细ORB-SLAM3代码注释地址:

' C v- T. Y3 n. d/ M

https://github.com/electech6/ORB_SLAM3_detailed_comments

! G, G$ A) N" G; \

VINS-Mono/Fusion 系统教程

1 i7 p; R4 h0 [

VINS即Visual-Inertial navigation Systems,是视觉惯性导航系统的统称,不过我们平时所说的一般是指VINS-Mono/Fusion香港科技大学飞行机器人实验室(沈邵劼团队)在2018年开源了VINS-Mono算法。第一作者秦通(2019华为天才少年),该论文获2018年机器人顶级期刊IEEE Transactions on Robotics最佳论文奖。它用一个单目相机+惯性测量单元(Inertial Measurement Unit,简称IMU)实现了紧耦合的视觉和惯性联合状态估计,在保证高精度里程计效果的同时,还可以同时估计出传感器外参,IMU零偏以及传感器时延。2019年该团队开源了VINS-Mono的升级版VINS-Fusion,它支持多种视觉惯性传感器类型,包括单目+IMU,双目+IMU,以及纯双目。VINS-Mono和VINS-Fusion在当年一骑绝尘, 是非常经典且优秀的VIO框架。

- v9 D$ L0 i: [9 f4 T' Z5 D% \

以下是VINS-Fusion在汽车SLAM上的效果:

) W; x3 K3 f$ ^6 z1 D1 l

以下是讲师详细注释的 代码地址:

$ x, W" I5 t6 j5 K8 x$ M

https://github.com/xieqi1/VINS-Mono-noted

% T# \; U) j! G2 ]6 V

https://github.com/xieqi1/VINS-Fusion-noted

$ v. ^' P( I3 O, v8 k& F, ^- A

基于LiDAR的多传感器融合技术

$ ~% X' P, a7 Q0 Y! n

多传感器融合SLAM是自动驾驶、智能机器人中的核心技术。 目前工业界用的主流多传感器融合SLAM框架包括LOAM/A-LOAM、LeGO-LOAM、LIO-SAM等。

5 }1 H5 Q* | P! p3 n6 c# L ! p; _) V. }) w5 t1 E

LOAM是Ji Zhang早期开源的多线LiDAR SLAM算法。该代码可读性很差,作者后来将其闭源。

$ X( O: L- q% z9 X# x7 F# E

A-LOAM是港科大秦通博士(VINS-Mono一作)在LOAM原有代码基础上,使用Ceres-solver和Eigen库对其进行重构和优化,在保持原有算法原理的基础上,使其可读性大大增加,作为入门多线激光slam最好选择。

9 X: Z. @; d; Y Q+ _( X/ }" Y

LeGO-LOAM 是Tixiao Shan在原有LOAM基础上,做了一些改进包括:1、对前端里程计的前量化改造,提取地面点更适配水平安装的LiDAR; 2、使用SLAM中的Keyframe概念以及回环检测位姿图优化的方式对后端进行重构。

# c G$ C- Z4 Z- r# b# Y+ D 0 _5 N- r) [$ ? 5 V5 J" Q3 P2 Q p5 Y8 l* G x, B

LIO-SAM 是Tixiao Shan在LeGO-LOAM的扩展,添加了IMU预积分因子和GPS因子:前端使用紧耦合的IMU融合方式,替代原有的帧间里程计,使得前端更轻量;后端沿用LeGO-LOAM,在此基础上融入了GPS观测。同时前端后端相互耦合,提高系统精度。

8 i+ l- A; w8 c 9 Z) w0 C+ G/ b" ~& n

LIO-SAM 的效果

' O2 ~; ^* o3 e# \2 M6 O. n . R7 c9 o& b' D

LVI-SAM是Tixiao Shan 2021年最新的开源工作,他将LIO-SAM和VINS-Mono进行了结合,是一个通过平滑和建图实现激光雷达-视觉-惯性里程计的紧耦合框架,由两个紧耦合子系统组成:一个视觉惯性系统VIS和一个激光雷达惯性系统LIS。当两个子系统中的一个发生故障时,系统也可以发挥作用,这增加了它在无纹理和无特征环境中的鲁棒性

9 P& E0 `" V; J1 z% ~3 ` 1 D" E% c! _, L; ?7 y; ~7 I$ R, J3 f

独家注释代码

% S$ R8 q. h6 X

https://github.com/xieqi1/a-loam-noted

^+ K3 H, |5 e$ Q3 y

https://github.com/xieqi1/lio-sam-noted

- k' {+ E0 F+ v. q1 z

https://github.com/electech6/LVI-SAM_detailed_comments

N+ O* c9 G7 i. N( a& V% k# O: M* s

激光SLAM技术

$ K7 j( n( }- S" U7 F9 z9 I

Cartographer是Google推出的一套基于图优化的激光SLAM算法,它同时支持2D和3D激光SLAM,可以跨平台使用,支持Laser、IMU、Odemetry、GPS等多种传感器配置。该算法可以实现实时定位和建图。

& e. p- ~& c* W* Y- ^' i

Cartographer建图过程

* f/ t+ D; k) U5 O! q( F7 A

Cartographer建立的栅格地图可以达到5cm的精度,该算法广泛应用于服务机器人、扫地机器人、仓储机器人、自动驾驶等领域,是最优秀的激光SLAM框架之一。

5 G p$ j& ^% H, J2 }

Cartographer做了超详细源码注释

# a3 d& ?$ {4 p) Q5 R

https://github.com/xiangli0608/cartographer_detailed_comments_ws

/ K4 p* f' H/ g f- p6 i

机器人运动规划

/ _7 {8 U, r: u* O9 }! ^4 p$ Q

运动规划和SLAM什么关系?

: S5 w5 G+ e1 F; }0 w

其实在企业里,SLAM算法工程师、运动规划工程师通常是 相对独立的岗位,SLAM技术通常可以得到稀疏的定位地图,结合后处理可以得到稠密的三维点云地图。此时我们需要用一定的规则将其转化为 栅格化地图,机器人在这个 地图的基础上进行运动规划(导航)。SLAM和运动规划是自主机器人的两个核心技术。

* X" C T, n. N% C% Q7 m

简单来说,解决机器人导航问题一般被称为运动规划,就是让机器人可以自主根据传感器获取外部环境信息,在当前环境中找到一条适合机器人行走的最佳路径。这不是一个简单的工作,因为地图可能发生变化,其他运动的物体也是必须要绕过的障碍物,所以常常需要更改自己的规划,如何在这种复杂的环境下高效率地实现最佳路径,就是运动规划的使命。

- d2 n; w" r' T: G, E

运动规划在移动机器人的应用

; P/ Q9 {5 R8 L7 C8 j

独家注释代码

$ b+ \* x4 N& \# D. P7 q

https://github.com/felderstehost/ros-navigation-noetic

3 X7 Y6 k6 G$ F+ \" B, ~! _

视觉几何三维重建技术

. z) W& B0 m. } d2 B% v+ A # }/ ]2 r" O+ W) M" T) I8 O

三维重建是指用相机拍摄真实世界的物体、场景,并通过计算机视觉技术进行处理,从而得到物体的三维模型。英文术语:3D Reconstruction。

$ o% v3 d" b) z, Y( n3 p

涉及的主要技术有:多视图立体几何、深度图估计、点云处理、网格重建和优化、纹理贴图、马尔科夫随机场、图割等。

0 y' P& m0 R9 ?/ H7 \ 是增强现实(AR)、混合现实(MR)、机器人导航、自动驾驶等领域的核心技术之一。 三维重建结果' `% z% g9 F: t& G 8 Y0 z8 {* ?, e; Z3 P3 t3 H

全网最详细的代码注释地址:

% O3 z8 ~' c$ {- q# Y, R" L& F

https://github.com/electech6/openMVS_comments

0 i+ G! d: ]& {' x0 q

深度学习三维重建技术框架

, Q4 l) p( Y( k) y ]$ U9 i4 [( X; {

传统的重建方法是使用光度一致性等来计算稠密的三维信息。虽然这些方法在理想的Lambertian场景下,精度已经很高。但也有一些常见的局限性,例如 弱纹理,高反光和重复纹理等,使得 重建困难或重建的结果不完整。因此,传统三维重建方法在重建的完整性等方面仍有很大的改进空间。

K# q% D/ K9 N' y9 [+ i9 ^

近年来深度学习在三维重建上取得了很大的成功。基于学习的方法可以引入比如 镜面先验和反射先验等全局语义信息,使匹配更加鲁棒,从而解决传统方法无法克服的难题。因此掌握基于深度学习的三维重建前沿算法非常重要。另外,在这个大数据时代,深度学习已经是大家必须掌握的技能,传统视觉算法已经很难有新的突破,各个领域都在朝深度学习方向研究,近几年各大视觉会议论文都是基于深度学习来实现三维重建,各个大厂招聘也越来越看重深度学习三维重建方法。

% V+ w9 j8 X2 s0 J( X2 e; @

C++编程入门到进阶

/ V. u2 [- y( h

很多初学SLAM的小伙伴都有个疑问:号称宇宙第一语言的Python,简单好用,包又多,功能又强大,为啥SLAM算法里很少使用呢?

1 T Q9 A4 W6 k/ u7 L

SLAM知识星球嘉宾刘国庆在知乎做了回答

1 E) a8 I9 [1 e8 {) c8 S T

这里再补充几点:

% Z% _/ \* |+ A. x0 m: S q / ?. \5 i: M. V g

C++具有 极高的性能和运行效率,很多语言都是在C/C++基础上封装的,比如Python。就这一点足以秒杀众多的高级语言。

' t- p1 N% h6 Y, O6 B& Q

C++发展了三十多年一直是编程常青树,一直使用,一直在发展,C++岗位需求会 越来越旺盛,只增不减

5 Y! N; g/ {7 i) ~: s( x6 w9 Y8 `

C++能够 操控底层,非常适合 和硬件打交道

( I) J& l) l! n( @. h3 ^4 ?( i 0 [7 `9 L0 o0 ~9 N/ c

很多小伙伴都是机械、自动化、通信等非计算机专业,也没有经历过系统的C++训练,而在具体的项目中,比如SLAM算法框架中,通常的代码并不是我们在书上看到的那样简单直白。很多同学在学习SLAM的过程中感觉C++是一座难以跨越的大山, 学习过程漫长而痛苦,项目开发遇到bug也不会调试,书看完了代码还是不会写,代码一改就错,一错就懵

5 b4 q2 B: D v' b* d* i9 e# L. k$ K

相机标定技术框架

8 c4 b" t2 M- o1 h; a% R 6 C8 q; b7 B! n: g3 \

相机标定是指借助专用的标志物(如棋盘格)来估计相机的图像传感器参数(内参、外参)和镜头参数(畸变系数)。

% [) |3 r7 l3 a6 ^7 B' r- H

它是一种计算相机二维图像和三维世界相对映射关系的一种方法。标定相机过程涉及相机成像模型、多视图几何、非线性优化等知识。

Q9 J, n/ e* U. u1 y: B

相机标定是三维视觉的基础。

+ P2 p1 K1 a$ t2 P( D0 h - g. J1 T: X/ a( r) N) T5 T2 E2 y

毫不夸张的说, 相机标定是一切三维视觉的基础。它广泛应用于 双目视觉、手眼机械臂、机器人定位建图、图像拼接、三维重建等场景。

4 E& x4 M' g5 ]2 P# ?' I

全国最大的SLAM开发者社区

2 Y" ~& b" y$ @1 W( V

SLAM社区:一个人啃SLAM,难受到自闭,硬顶还是放弃?

& L# D0 z/ C4 V- N

在我们的SLAM和3D视觉知识星球里,很多刚入门的同学问的最多的问题我总结了一下,主要有:

% q) t1 f# b& ?" D: R4 `3 D$ x+ _ 5 x/ M2 B. q' S6 n$ v 机械/自动化/数学等非计算机专业能否转SLAM?7 q! o% e4 y( B1 `0 \ 导师不懂,但要我做SLAM方向,怎么入门? ) m5 _* L$ x. k2 S 编程基础差,数学不好,能否学习SLAM?- {6 ?9 y- ?' ]0 \" U; [" d t4 C 看完十四讲,下面怎么学习? 8 w* L9 m# [" N! J 需要学哪些开源框架?怎么学习呢? 7 T: O! x* z# i, S9 ~# M7 e: G' J+ S' I 编译遇到很多问题,怎么解决? 1 a* I% e. C. X" b5 s U 只有自己一个人学SLAM,没人讨论好痛苦,怎么办? 3 w/ A' R% g5 O8 K* b* V5 P" j4 ] 想要和小伙伴组队系统的学习,有资源吗?6 ]1 @% a1 S2 Z) q8 U# S , m8 \3 s" z7 G; g; E

我们建立了全 国最棒的SLAM和三维视觉交流社区,包括 小白入门图文/视频教程、学习过程疑难点解答、每日最新论文/开源代码/数据集分享、在线学习小组、笔试面试题、实习/校招/社招岗位推荐、星主直播交流等。

, p! k: q3 P W8 Y/ n' N! {* K! J1 f0 R/ v& T( c- X: G

2018年创立、 3500+会员、 6100+主题分享、 9500+问答评论、 130+教学视频

7 C+ j8 c$ h1 m2 g1 |+ m% k

教程:图文视频教程、涉及 代码调试/OpenCV/PCL/G2O/Ceres/视觉SLAM十四讲/LVISAM/R3LIVE

# f4 B" |* \. [' l$ Q

资讯:每日论文分享、行业资讯汇总、每周汇总、精华汇总

: K$ {7 F- q. l5 b

直播:每月至少3次,涵盖学习经验/求职面试/实习历程/行业介绍

$ s2 a3 J" C! o# J

活动:学习小组、行业资源对接、会员激励、有偿招募助教/兼职

9 D1 [2 R# R8 ]. V- Y8 b

求职:内推职位、SLAM面试题、笔试练习

" g% H, @6 G+ @% z& A( f3 V2 Z, z* X

……

' \. {# e0 l( c) U& x0 Q6 u; W 4 m9 B# N; T8 S$ z

4 a1 y% \0 v4 M; u' r! i

独家重磅课程官网:cvlife.net

: V7 r5 f4 j% G# f) Y) m6 @0 S

1、SLAM社区: 一个人啃SLAM,难受到自闭,硬顶还是放弃?

5 A0 |8 g1 k, a6 ^5 j( f

2、C++实战: 为啥SLAM代码都用C++不用Python?

8 y# t4 x) R) B/ b4 U1 _

3、多传感器融合SLAM 激光雷达-视觉-IMU多传感器融合方案!

9 _2 M) a' x9 X9 i/ L1 N; U

4、VIO灭霸:VIO天花板ORB-SLAM3第2期上线!(单/双目/RGBD+鱼眼+IMU+多地图+闭环)

5 {' a+ e3 S+ I: O$ A5 o% a" h

5、视觉SLAM基础: 刚看完《视觉SLAM十四讲》,下一步该硬扛哪个SLAM框架 ?

! K( z3 j2 \' U+ E$ v

6、机器人导航运动规划: 机器人核心技术运动规划:让机器人想去哪就去哪!

" w: a% ^& r* v0 c

7、详解Cartographer: 谷歌开源的激光SLAM算法Cartographer为什么这么牛X?

1 I/ ^. g y) g) r/ ]% P3 ?

8、深度学习三维重建 总共60讲全部上线!详解深度学习三维重建网络

* o( H/ L$ Y- u. y, K; f

9、三维视觉基础 详解视觉深度估计算法(单/双目/RGB-D+特征匹配+极线矫正+代码实战)

+ P, V( v: D* S5 F2 t# a: W

10、 VINS:Mono+Fusion SLAM面试官:看你简历上写精通VINS,麻烦现场手推一下预积分!

: Y* d% L- A* b* `

11、图像三维重建课程:视觉几何三维重建教程(第2期):稠密重建,曲面重建,点云融合,纹理贴图

1 t9 h6 W7 G, N( \# f

12、系统全面的相机标定课程:单目/鱼眼/双目/阵列 相机标定:原理与实战 返回搜狐,查看更多

" ^# ^, K/ m2 z3 a0 ~ x" f5 ^& V) j! F# f

责任编辑:

0 {8 z0 ~: O$ `& ` 5 M! b/ S* m1 _: R+ c+ }& Q % \$ }; F" a6 J4 R( Q# I# c! } 0 p7 o) \( H; i V4 I4 J+ ?. V$ U! K8 c' L: }9 w" @
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
尖叫的土豆
活跃在2024-12-1
快速回复 返回顶部 返回列表