This page has moved to

Click here if you are not redirected.

Computer Vision (Optical Flow, MoCap, VIO, Avoidance)

计算机视觉 技术使计算机能够使用视觉数据来理解他们的环境。

PX4 使用计算机视觉系统(主要在机载计算机上运行)以支持以下功能:

  • 光流提供 2D 速度估计(使用向下的相机和向下的距离传感器)。
  • 运动捕捉使用载具外部的视觉系统进行3D姿态估计。 它主要用于室内导航。
  • 视觉惯性测距法使用机载视觉系统和IMU提供3D姿势和速度估计 当 GPS 不存在或不可靠时,它用于导航。
  • Obstacle Avoidance provides full navigation around obstacles when flying a planned path (currently missions are supported). 这依赖机载电脑上运行的 PX4/avoidance
  • Collision Prevention is used to stop vehicles before they can crash into an obstacle (primarily when flying in manual modes).

The PX4 Vision Autonomy Development Kit (Holybro) is a robust and inexpensive kit for developers working with computer vision on PX4. It comes with PX4 avoidance software pre-installed, and can be used as the base for your own algorithms.


运动捕捉(MoCap)是一种使用载具外部的定位机构来估计飞机的3D 姿势(位置和姿势)的技术。 MoCap系统最常使用红外摄像机检测运动,但也可以使用其他类型的摄像机,激光雷达或Ultra Wideband (UWB)。

MoCap 通常用于在 GPS 不存在(例如室内)的情况下导航飞机,并提供相对于本地坐标系统的位置。



Visual Inertial Odometry (VIO) is used for estimating the 3D pose (position and orientation) and velocity of a moving vehicle relative to a local starting position. 它通常用于在GPS不存在(例如室内)或不可靠的情况下(例如在桥下飞行时)导航载具。


VIO 和 MoCap 之间的区别在于 VIO 摄像机、IMU 是基于飞机本身的,并提供速度信息。

For information about configuring VIO on PX4 see:


Optical Flow provides 2D velocity estimation (using a downward facing camera and a downward facing distance sensor).


External Resources

  • XTDrone - ROS + PX4 simulation environment for computer vision. The XTDrone Manual has everything you need to get started!

results matching ""

    No results matching ""