物体路径规划项目笔记

1.文献解析

相关论文：前往下载

论文代码：arclab-hku/fast-dodging: dodging fast small moving objects with RGBD sensor (github.com)

Chatpaper

Basic Information:

  • Title: Perception and Avoidance of Multiple Small Fast Moving Objects for Quadrotors With Only Low-Cost RGBD Camera (基于低成本RGBD相机的四旋翼机器人对多个小型快速移动物体的感知和避障)
  • Authors: Minghao Lu, Han Chen, and Peng Lu
  • Affiliation: Department of Mechanical Engineering, The University of Hong Kong, Hong Kong, SAR, China (Minghao Lu and Peng Lu); Department of Aeronautical and Aviation Engineering, The Hong Kong Polytechnic University, Hong Kong, SAR, China (Han Chen)
  • Keywords: Aerial systems, collision avoidance, motion and path planning, perception and autonomy
  • URLs: Paper, GitHub

论文简要 :

  • 本文提出了一种基于低成本RGBD相机的四旋翼机器人感知和避障系统，能够快速准确地感知和避开小型动态障碍物，实现在复杂环境中的导航。

背景信息:

  • 论文背景: 随着机器人技术的发展，人们希望机器人能够帮助人类完成一些繁重和危险的工作，如探索危险和未知的环境。无人机，特别是微型无人机，由于其在空间中的灵活性，已成为探索未知环境的最佳选择。
  • 过去方案: 过去的研究已经实现了无人机在静态未知环境中的自主飞行，但是环境中的快速移动物体仍然对无人机构成严重威胁。现有的研究主要基于事件相机来避免快速移动物体，但是事件相机的分辨率较低，对于小型快速移动物体的定位误差较大。此外，现有的方法在感知和避障方面仍存在一些挑战，如多目标跟踪和动态障碍物避免。
  • 论文的Motivation: 鉴于现有方法的局限性，本文旨在提出一种基于低成本RGBD相机的系统，实现对小型快速移动物体的感知和避障。与现有研究相比，本文使用了低成本的RGBD相机，并考虑了多个物体，从而引入了更多的挑战。本文的目标是实现四旋翼机器人对小型快速移动物体的感知和避障，为无人机在复杂环境中的自主导航提供解决方案。

方法:

  • a. 理论背景:
    • 本文提出了一种使用低成本RGBD相机进行四旋翼机器人感知和避障的系统。该系统使用Yolo-Fastest算法在RGB帧中检测移动物体，从深度图像中获取3D信息，并使用3D-SORT算法跟踪物体。它还生成优化的平滑轨迹以避开静态和动态障碍物。该系统在仿真和实际实验中进行了测试。
  • b. 技术路线:
    • 本文使用低成本深度相机来感知和避免小型快速移动物体的挑战。系统使用3D-SORT算法进行物体跟踪，并使用轨迹优化进行动态避障。

结果:

  • a. 详细的实验设置:
    • 本文未提及实验设置。
  • b. 详细的实验结果:
    • 该自主无人机系统成功避开了从不同方向投掷的四个球。无人机与球之间的距离约为5米，球投掷后的速度约为5米/秒。该系统使用价格较低的传感器实现了令人满意的感知精度，相比使用事件相机的其他工作。运动规划方法在时间和能量成本方面表现出更好的安全性和最优性，同时仍能执行导航任务。然而，与相机的视野相关的一些故障情况存在。如果球飞出相机的视野，跟踪将失败。尽管如此，由于球在视野之外，它没有与无人机发生碰撞。未来的工作可以通过增加更多相机来扩大视野，并增强在不同光照条件下的感知鲁棒性。

2.名词解析

  • RGB-D(RGB+Depth)相机

    • 1、深度图(Depth Texture)定义

      深度图就是从图像采集器到场景中各点的距离（深度）作为像素值的图像。
      下图右侧两栏图像就是我们说的深度图。

    • 2、RGB-D定义

      RGB-D=RGB+D(Depth Map)
      如果我们严格的定义深度图，那么应该是纯深度的图。但好多地方都把深度图和RGB-D感念当作同一个了

    • 3、深度图相机和RGBD相机的区别

      深度相机就是能够直接输出深度的相机，或者是能够通过软件间接计算出深度，或者通过物理方法直接测量深度。
      RGBD相机就是特指通过物理方式测距的。得到的是RGB图+深度图。

      深度相机的分类：

      • 单目结构光：有一个发射器，一个接收器
      • 双目结构光：一个发射器，两个接收器，得到是两个红外图

      RGBD相机的分类：

      • 一类是结构光法，比如Kinect v1、Iphone X；

        结构光法是为了解决双目匹配问题产生的，解决对环境光照敏感问题，是红外光，晚上也可以用，不依赖光照和纹理。
        其中Kinect v1是最早的结构光法，是以色列的PrimeSense公司，后来被苹果收购了，用于Iphone X，人脸解锁非常稳定。在空间上的分辨率是3mm，深度上的分辨率是1cm。（2m距离）

      • 一类是飞行时间（ToF）法，比如Kinect v2、Phab 2 Pro。
        飞行时间法就是发射一束光脉冲（一般为不可见光），然后经过物体反射回去，再接收到光脉冲。通过探测飞行的这段时间来计算被测物体离相机的距离。
        TOF的测量精度不会随着测量距离的增大而降低，而且抗干扰能力比较强，适合测量距离要求比较远的场合，比如无人驾驶、AR等等。但是他的功耗比较大，分辨率较低、深度图的质量较差。

    • 4、RGB-D相机的问题

      深黑色物体的影响：

      白光中存在光的互补，即：黄光和蓝光经过一定比例进行混合会得到白光。而物体对光的选择性吸收决定了物体本身的颜色。比如一束白光经过一个溶液，溶液吸收掉黄光，那么透出溶液的就是蓝光，溶液表现的颜色也就是蓝色。深黑色物体可以吸收大量的红外光所以会导致测量不准，这就使接收到的红外光很少。

      表面光滑物体的影响：

      漫反射是多个角度清晰成像的基础
      镜面反射容易发生过曝光和欠曝光，比如金属表面、反光表面等

      image-20230628223356768

      （半）透明物体的影响：

      半透明物体会经过两次反射，如果是透明物体，就会直接穿过了，导致深度测量不准。

      image-20230628223551597

      玻璃透射导致接收不到红外光。

      视差的影响：

      结构光深度相机的红外发射端和接收端有一定的距离，因此在物体的边缘有明显视差。

      总结：

      • 不适合室外使用
      • 受到深黑色物体、半透明物体、镜面反射物体、视差的影响
      • 功耗大
      • 分辨率比较低
      • 深度图质量和硬件关系密切
      • 成本较高，比双目相机贵

      改进：

      使用球体对rgb-d相机进行实用且准确的校准

  • Yolo-Fast

介绍：

基于Yolo的低功耗，超轻量级通用目标检测算法，参数仅为250k，智能手机移动终端的速度可以达到300fps

实现：

(72条消息) 全网最最最轻量级检测网络 yolo-fastest 快速上手_Lebhoryi的博客-CSDN博客

对比：

NetworkmAPval 0.5mAPval 0.5:0.95ResolutionRun Time(4xCore)Run Time(1xCore)Params(M)
yolov5s56.8%37.4%640X640395.31ms1139.16ms7.2M
yolov6n-30.8%416X416109.24ms445.44ms4.3M
yolox-nano-25.8%416X41676.31ms191.16ms0.91M
nanodet_m-20.6%320X32049.24ms160.35ms0.95M
yolo-fastestv1.124.40%-320X32026.60ms75.74ms0.35M
yolo-fastestv224.10%-352X35223.8ms68.9ms0.25M
FastestDet25.3%13.0%352X35223.51ms70.62ms0.24M

开源地址：
dog-qiuqiu/Yolo-Fastest: :zap: (github.com)

dog-qiuqiu/Yolo-FastestV2: (github.com)

dog-qiuqiu/FastestDet: :zap:(github.com)

3.演示视频

4.卡尔曼滤波和粒子滤波

理解：

(70条消息) SLAM–卡尔曼滤波、粒子滤波_卡尔曼滤波和粒子滤波_机器人学渣的博客-CSDN博客

(70条消息) 关于卡尔曼滤波和粒子滤波最直白的解释_粒子滤波和卡尔曼滤波区别_karen99的博客-CSDN博客

(70条消息) 从卡尔曼滤波到粒子滤波 很详细，很明了。。_kalman 滤波_learn deep learning的博客-CSDN博客

SLAM算法工程师之路：运动状态估计之卡尔曼滤波详解 - 知乎 (zhihu.com)

实现：

(70条消息) 卡尔曼滤波原理_【机器人位置估计】卡尔曼滤波的原理与实现_weixin_39561673的博客-CSDN博客

参考博客：

(61条消息) RGBD相机的介绍和使用_骑驴去学习的博客-CSDN博客

深度/RGB-D相机简介_哔哩哔哩_bilibili

Yolo-FastestV2:更快，更轻，移动端可达300FPS，参数量仅250k - 知乎 (zhihu.com)

参考代码：

论文代码：arclab-hku/fast-dodging: dodging fast small moving objects with RGBD sensor (github.com)

yolo-ros实现：leggedrobotics/darknet_ros: YOLO ROS: Real-Time Object Detection for ROS (github.com)

yolo-fast2升级版：dog-qiuqiu/FastestDet: :zap:(github.com)

5.环境

带补充