Computer Vision (Optical Flow, MoCap, VIO, Avoidance)

计算机视觉 技术使计算机能够使用视觉数据来理解他们的环境。

PX4 使用计算机视觉系统(主要在机载计算机上运行)以支持以下功能:

  • 光流提供 2D 速度估计(使用向下的相机和向下的距离传感器)。
  • 运动捕捉使用载具外部的视觉系统进行3D姿态估计。 它主要用于室内导航。
  • 视觉惯性测距法使用机载视觉系统和IMU提供3D姿势和速度估计 当 GPS 不存在或不可靠时,它用于导航。
  • Obstacle Avoidance provides full navigation around obstacles when flying a planned path (currently missions are supported). 这依赖机载电脑上运行的 PX4/avoidance
  • Collision Prevention is used to stop vehicles before they can crash into an obstacle (primarily when flying in manual modes).

The PX4 Vision Autonomy Development Kit (Holybro) is a robust and inexpensive kit for developers working with computer vision on PX4. It comes with PX4 avoidance software pre-installed, and can be used as the base for your own algorithms.

运动捕捉

运动捕捉(MoCap)是一种使用载具外部的定位机构来估计飞机的3D 姿势(位置和姿势)的技术。 MoCap系统最常使用红外摄像机检测运动,但也可以使用其他类型的摄像机,激光雷达或Ultra Wideband (UWB)。

MoCap 通常用于在 GPS 不存在(例如室内)的情况下导航飞机,并提供相对于本地坐标系统的位置。

有关MoCap的信息,请参阅:

视觉惯性测距法

Visual Inertial Odometry (VIO) is used for estimating the 3D pose (position and orientation) and velocity of a moving vehicle relative to a local starting position. 它通常用于在GPS不存在(例如室内)或不可靠的情况下(例如在桥下飞行时)导航载具。

VIO使用视觉测距来从视觉信息估计车辆姿势,结合来自IMU的惯性测量(以校正与载具快速移动导致不良的图像捕获)。

VIO 和 MoCap 之间的区别在于 VIO 摄像机、IMU 是基于飞机本身的,并提供速度信息。

For information about configuring VIO on PX4 see:

光流

Optical Flow provides 2D velocity estimation (using a downward facing camera and a downward facing distance sensor).

有关光流的信息,请参阅:

External Resources

  • XTDrone - ROS + PX4 simulation environment for computer vision. The XTDrone Manual has everything you need to get started!

results matching ""

    No results matching ""