光学流是用来估计视频中连续两个帧之间的运动的技术. 光学流的精确计算对于各种应用,包括视频稳定,物体跟踪,场景理解,都是必不可少的,本文概述了动态场景中光学流的计算方法和最佳做法.

理解光学流

光学流表示物体,表面,边缘在视觉场景中的明显运动,一般表现为矢量场,每个矢量表示像素从一个帧到另一个帧的移动. 精确的光学流计算需要处理复杂的运动,隐蔽,以及不同的照明条件.

计算光学流的方法

几种算法用于计算光学流,每种都有优点和局限性,主要分为差异方法和基于特征的方法两类.

不同方法

这些方法分析帧之间的强度变化来估计运动. Lucas-Kanade方法是一个常见的例子,假设运动小而亮度坚韧,在场景中效果良好,动作平滑,但与大迁移相搏.

基于特征的方法

基于特性的方法跟踪跨帧的特定点或特征. Kanade-Lucas- Tomasi(KLT) 跟踪器等技术识别特征并跟踪其运动,这些方法在具有明显特征的场景中有效,但在低纹理区域可能失败.

准确计算的最佳做法

为了提高动态场景中光学流的精度,考虑以下做法: 光学流流:

  • 预处理:应用降噪和对比增强来改进特征检测.
  • 多尺度分析: 使用金字塔式方法有效处理大动作.
  • 排除处理: 纳入检测和管理隔离的方法,以防止错误。
  • 校验: 交叉验证流估计,在有多种算法或地面真伪数据时使用.