【SLAM】kalibr工具IMU和双目相机标定

推荐看一下博客,评论内容也很丰富 ,很多问题都能在评论中找到答案:
https://blog.csdn.net/u011178262/article/details/83316968#_images__imu__201

标定记录

标定IMU参数 使用工具

https://github.com/gaowenliang/imu_utils

遇见的问题记录

  1. sudo apt-get install libdw-dev
  2. 下载依赖git clone https://github.com/gaowenliang/code_utils.git,catkin_make编译,这时会遇到头文件错误fatal error: backward.hpp: No such file or directory,将CMakeLists.txt中的include_directories("include")改为include_directories(include include/code_utils),再重新编译即可
  3. 下载imu_utils到同一工作空间,git clone https://github.com/gaowenliang/imu_utils.git,catkin_make编译即可

launch文件设置

运行程序前修改launch的 topic 等参数
launch文件中, <param name="max_time_min" type="int" value= "80"> <param name="max_cluster" type="int" value= "100"> 这两个参数的意义是什么?应该怎么设置呢?

max_time_min:采集IMU数据的时间,越长越好,单位分钟;
max_cluster:Allan方差的cluster,imu_utils中的launch文件中都是100,我一般也设置100

IMU标定结果

运行命令

//collect the data while the IMU is Stationary, with a two hours duration;
// (or) play rosbag dataset;
  rosbag play -r 200 imu_A3.bag
//roslaunch the rosnode;
  roslaunch imu_utils A3.launch

[ INFO] [1573104067.597104680]: Loaded imu_topic: /imu0
[ INFO] [1573104067.598861941]: Loaded imu_name: indemind
[ INFO] [1573104067.600515058]: Loaded data_save_path: /home/indemind/ROS_ws/IMU_calibrate_ws/src/imu_utils/data/indemind
[ INFO] [1573104067.602486512]: Loaded max_time_min: 140
[ INFO] [1573104067.604383907]: Loaded max_cluster: 100
gyr x  num of Cluster 100
gyr y  num of Cluster 100
gyr z  num of Cluster 100
acc x  num of Cluster 100
acc y  num of Cluster 100
acc z  num of Cluster 100
wait for imu data.

gyr x  numData 2497765
gyr x  start_t 1e+09
gyr x  end_t 1.00001e+09
gyr x dt 
-------------8400.35 s
-------------140.006 min
-------------2.33343 h
gyr x  freq 297.341
gyr x  period 0.00336315
gyr y  numData 2497765
gyr y  start_t 1e+09
gyr y  end_t 1.00001e+09
gyr y dt 
-------------8400.35 s
-------------140.006 min
-------------2.33343 h
gyr y  freq 297.341
gyr y  period 0.00336315
gyr z  numData 2497765
gyr z  start_t 1e+09
gyr z  end_t 1.00001e+09
gyr z dt 
-------------8400.35 s
-------------140.006 min
-------------2.33343 h
gyr z  freq 297.341
gyr z  period 0.00336315
Gyro X 
C    -1.07758     27.3194     -5.1739    0.600027 -0.00143079
 Bias Instability 1.35067e-05 rad/s
 Bias Instability 1.71993e-05 rad/s, at 92.5101 s
 White Noise 6.36661 rad/s
 White Noise 0.00177533 rad/s
  bias -0.463813 degree/s
-------------------
Gyro y 
C   -0.958403       28.88    -1.64238    0.635078 0.000132588
 Bias Instability 2.92378e-05 rad/s
 Bias Instability 3.48089e-05 rad/s, at 45.9339 s
 White Noise 8.41519 rad/s
 White Noise 0.00236201 rad/s
  bias 0.150195 degree/s
-------------------
Gyro z 
C   -0.93111    23.7995   -4.12769   0.669833 -0.0105608
 Bias Instability 2.81749e-05 rad/s
 Bias Instability 2.03788e-05 rad/s, at 246.536 s
 White Noise 5.54092 rad/s
 White Noise 0.0015733 rad/s
  bias 0.228696 degree/s
-------------------
==============================================
==============================================
acc x  numData 2497765
acc x  start_t 1e+09
acc x  end_t 1.00001e+09
acc x dt 
-------------8400.35 s
-------------140.006 min
-------------2.33343 h
acc x  freq 297.341
acc x  period 0.00336315
acc y  numData 2497765
acc y  start_t 1e+09
acc y  end_t 1.00001e+09
acc y dt 
-------------8400.35 s
-------------140.006 min
-------------2.33343 h
acc y  freq 297.341
acc y  period 0.00336315
acc z  numData 2497765
acc z  start_t 1e+09
acc z  end_t 1.00001e+09
acc z dt 
-------------8400.35 s
-------------140.006 min
-------------2.33343 h
acc z  freq 297.341
acc z  period 0.00336315
acc X 
C -3.78414e-05   0.00158756 -0.000117149  2.70013e-05 -4.53868e-07
 Bias Instability 0.000212839 m/s^2
 White Noise 0.0255478 m/s^2
-------------------
acc y 
C -6.05155e-05    0.0017489 -0.000223642  2.41808e-05 -3.24484e-07
 Bias Instability 0.000210185 m/s^2
 White Noise 0.0261898 m/s^2
-------------------
acc z 
C  -0.00010449   0.00319079    -0.001436   0.00011517 -1.01769e-06
 Bias Instability 0.000243757 m/s^2
 White Noise 0.025948 m/s^2
-------------------

准备标定文件

source ~/kalibr_workspace/devel/setup.bash

注意要在dataset-dir后加上/.,在根目录运行这个命令即可(在文件目录下输出会生成一个很小的bag文件),输出的bag文件就在根目录下。
制作bag包

kalibr_bagcreater \
  --folder ~/kalibr_workspace/data/dataset/dataset-dir/. --output-bag awsome.bag

运行标定命令

运行标定命令

kalibr_calibrate_imu_camera –target xx/target.yaml –cam xx/camchain.yaml –imu xx/imu.yaml –bag xx/xx.bag –bag-from-to 5 45
//标定相机
kalibr_calibrate_cameras \
    --target ~/ROS_ws/kalibr_workspace/data/target.yaml \
    --bag /home/indemind/ROS_ws/kalibr_workspace/data/dataset/2019-11-06_11_02_ModuleData_CAM/awsome.bag \
    --bag-from-to 5 30 \
    --models omni-radtan omni-radtan \
    --topics /cam0/image_raw /cam1/image_raw
    --show-extraction
//标定相机和IMU
kalibr_calibrate_imu_camera \
  --target ~/kalibr_workspace/data/target.yaml \
  --cam ~/kalibr_workspace/data/camchain.yaml \
   --imu ~/kalibr_workspace/data/imu.yaml \
  --bag ~/kalibr_workspace/data/awsome.bag \
  --bag-from-to 5 45 \
  --show-extraction

The --show-extraction argument can be used with the calibration tools to visualize the calibration target extraction process. This might help to find problems with the target configuration and extraction.

优化失败问题

打开--show-extraction选项在标定过程中可以可视化角点检测情况是否良好
发现角点重投影出现严重错误
角点重投影是为了显示一下用计算出来的相机矩阵对角点进行重投影得到的理论位置。
也是为了显示,理论得到的角点与实际角点之间的差别。
重投影误差最小化通常作为相机标定中的一个目标函数来用的。
然后使用lakibr的相机标定重新标定了一下模组,得到的结果重投影比较准确
注意要选择合适的相机模型和畸变模型
相机模型和畸变模型:https://blog.csdn.net/okasy/article/details/90665534#t7

标定结果分析 重投影误差

重投影误差在 0.1~0.2 以内,标定结果较好。 我对相机标定完,发现右边的图范围在1~~1之间, 这样是不是标定的效果很差? 怎么解决呢?
误差范围接近1的话效果应该很差
博主,请问标定误差大 一般出现的原因是什么?

  • a. 标定板pattern尽量选择apriltag,尽量不要用纸质的;
  • b. 选择合适的相机模型;根据经验吧,小FOV(小于90度)的用pinhole+radtan模型,广角的用pinhole+equidistance模型,然后还有全向镜头的模型
  • c. 标定手法看看TUM的 https://vision.in.tum.de/data/datasets/visual-inertial-dataset中的CALIBRATION SEQUENCES,看一下他的视频

去除畸变与外参标定先后关系

dymymao9个月前#4楼博主你好,请问一般使用双目会去做双目极线对齐 cv::stereoRectify,这时是把双目矫正后的图像和imu放入kalibr标定Tic,还是先标定Tic',再去双目极线矫正调整Ric=Ric'Rl;这两种做法哪个更好?收起回复
白巧克力亦唯心回复 dymymao
两种都可以,但是要注意使用方式。通常大家都是用没有去畸变的图像和 imu 一起标定外参数,这时候标定的外参数是不能用来和rectify后的图像一起做vio的。因为rectify的图像是在畸变图像上还会加一个微小的旋转,即畸变图像和imu之间的外参数 和 rectify 图像跟imu之间的外参数是不一样的。
dymymao回复 白巧克力亦唯心
如果是畸变图像和imu做的标定得到Tic',双目矫正的左目旋转为Rcc'->Tcc',则双目VIO的Tic=Tic'
Tcc'^T。我理解的对吗? 此外,双目参数的标定 用kalibr的Multiple camera calibration相比直接用opencv接口stereoCalibrate会好很多吗?
白巧克力亦唯心回复 dymymao
可以这么认为,Tcc' 只是一个旋转矩阵,平移为0. 以前我用过opencv 和kalibra两种方式标定摄像头。在我标定过程中,kalibra标定的结果确实更好,当然这可能跟我采集数据的方式有关。无论如何,kalibra 相对于opencv标定的优点更多,比如 kalibra 使用apriltag 标定板,使得每个标定格子是带 id 的,这样就使得标定过程相机可以只捕捉部分标定板就能完成标定,相机运动可以更任意,更便捷。

参考链接

IMU噪声模型:从零开始的 IMU 状态模型推导
IMU校正IMU校正以及姿态融合 - shenshikexmu的博客 - CSDN博客

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,214评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,307评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,543评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,221评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,224评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,007评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,313评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,956评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,441评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,925评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,018评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,685评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,234评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,240评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,464评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,467评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,762评论 2 345

推荐阅读更多精彩内容

  • 题目:单目视觉-惯性融合自动导航 摘要 自主微型飞行器(MAV)具有成本和机动性优势,使其成为航空摄影,监视和搜索...
    陌上尘离阅读 2,778评论 0 1
  • 一、为什么要相机标定? 在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之...
    He_Yu阅读 879评论 0 0
  • 相机基础及标定 1.学习目标 这堂课,我们主要学习相机的工作原理,光源,相机参数与标定等 能够理解相机和镜头的关系...
    送分童子笑嘻嘻阅读 1,164评论 0 0
  • 今天早晨突然想起故乡的云,就心里唱起天边飘过故乡云的歌曲,不一会儿居然看到天边点点的白云,不多见。上午带孩子上广场...
    红糖二姐阅读 266评论 2 2
  • 今天终于把奥巴马夫人的传记读完了,深有感触。不仅因为这位杰出的优秀女性的伟大精神鼓舞了我,更因为她生动细...
    赤色风铃66阅读 80评论 0 0