- 视频目标跟踪仍存在具有挑战性的问题亟待解决
- 跟踪目标自身的姿势变化、尺度变化和形变等内在因素；
- 跟踪过程出现亮度变化、部分遮挡和背景复杂等外在因素．
- 第１阶段，固定外观模型的跟踪算法
- 跟踪研究提前设定目标运动状态和场景条件
- 主要围绕精确定位方法和优化匹配策略等问题，在短期跟踪和可控场景情况下取得好的效果
- 然而，实际中跟踪目标的运动状态往往会随时间的变化呈现很强的不确定性，为此转入了第 2 阶段
- 第２阶段，自适应目标和场景变化的外观模型方法
- 依据模型设计机制的不同跟踪方法可以分为
- 产生式（Generative）外观模型学习跟踪方法
- 通过学习目标在视频中的各种运动变化，建立自适应性外观模型实现跟踪
- 判别式（Discriminative）外观模型学习跟踪方法
- 将跟踪问题转换成二分类问题，依据目标和背景的分离边界建立自适应性外观模型实现跟踪
- 混合产生－判别式外观模型学习跟踪方法
- 结合了产生式模型能够描述广义变化和判别式模型能够描述差异性变化的优点建立自适应性外观模型实现跟踪
- 产生式（Generative）外观模型学习跟踪方法
- 依据模型设计机制的不同跟踪方法可以分为
- 目标特征描述
- 单一特征
- 混合特征
- 外观模型的建模方式
- 产生式
- 判别式
- 混合式
- 外观模型的学习方式
- 模型参数学习
- 子空间学习
- 度量学习
- 流形学习
- 分类学习
- 固定外观模型的跟踪方法
- 通过离线训练或从第１帧选取特征建立外观模型，跟踪过程中不再变化
- 模型无法适应目标外观的变化，跟踪局限性很强
- 外观模型学习的跟踪方法
- 对当前模型进行更新以获得新的外观模型
- 这才是本文要综述的对象
- 实际中，目标模型的表现形式一般采用矩形框或椭圆来描述，这会导致背景像素混入目标模型中，故获得的目标模型并不是真实的目标近似
- 外观模型设计的主要任务就是能够将因混入背景像素带来的误差对跟踪效果的影响最小化．
- 这只是一方面吧，应该还有抵抗外界和自身变化
- 目标外观特征描述是对同一目标在不同时刻呈现的运动变化形式进行刻画和分析
- 机器学习的角色就在于如何通过学习来描述目标外观特征
- 颜色特征通常以直方图的形式描述目标
- 优点：
- 对姿态和旋转不敏感
- 选取方便、计算简单，
- 缺点
- 模型不能体现目标的空间特性
- 容易受到外界光照变化的影响，当出现颜色相似的目标或背景时模型表征能力会下降
- 以区域统计的形式描述目标
- 代表性：SIFT，SURF，HOG
- 优点：
- 对目标尺度、亮度和旋转等具有不变性
- 特征稳定、鲁棒
- 缺点：
- 不能描述目标外观精确的尺寸、方向和姿态等信息
- 对噪声干扰比较敏感
- 目标空间信息表征能力较弱．
- 以像素变化和区域变化两种形式描述目标
- 灰度值作为外观模型的方式
- 最直观，也最简单
- 但其特征表征能力较弱、易受干扰故使用较少
- 区域特征 Haar-Like
- 设计简单，对边缘、水平和垂直方向细节敏感，而且计算效率较高
- 以区域表面微观变化方式描述目标，是对目标光滑程度和规则程度的量化
- 代表：灰度共生矩阵、LBP
- 缺点：
- 不能描述目标的本质属性，难以适应目标出现影子、表面反光或周期性外观变化的跟踪环境
- 依赖于目标的分辨率变化．
- 视频目标的外观变化在复杂的跟踪环境中往往呈现出不确定性
- 单一的特征描述方式无法表征目标可能出现的多种变化形式
- 为了能够使外观模型区分能力增强，多特征融合的方式得到重视
- 直接特征融合方式
- 多个特征直接采用不同的形式进行组合建立外观模型
- 例如
- 文献 [35] 采用联合相似度方式将颜色和纹理特征进行融合
- 文献 [36] 采用线性加权方式将纹理、颜色和边缘特征进行融合
- 文献 [37] 直接将颜色、边缘和运动特征进行融合
- 这直接是有多直接？归一化后合成一个向量？直接相加、相乘？
- 算子特征融合方式
- 目标是获取维数较少、计算简单的融合特征
- 提炼特征融合方式
- 依据目标表征方式不同可以分为
- 混合产生式学习
- 子空间产生式学习
- 将目标外观模型通过具有不同时空特性的多个模型分量混合形成，能够逼近视频序列中目标的多种变化．
- 再对各个分量的模型参数进行在线更新，最终综合决策外观模型的更新形式，从而实现跟踪算法的自适应性
- 依据模型分量数目确定方式的不同可以分为：
- 固定分量混合模型
- 自适应分量混合模型
- 指在跟踪执行前分量的数目已经确定，在跟踪过程中对模型参数进行更新以适应目标外观的不同变化形式
- 缺点：
- 目标在视 频中的外观变化无法提前获知，预先定义的分量数目很难完全描述目标的所有外观变化形式
- 为此才要研究 自适应分量混合模型
- 模型分量数目会以能够最优逼近目标外观变化而自适应确定，模型学习能力得到增强
- 固定式和自适应式的混合模型的前提条件：
- 目标运动和外观变化的连续性
- 随着目标外观变化程度的增强，混合分量的数目和模型参数的调节变得十分困难．
- 混合产生式模型直接对图像信息进行外观建模，常常会面临图像维数较高、特征描述困难和图像间冗余信息较多等问题
- 利用基模板函
$(e_1,e_2,\cdots,e_n)$ 将兴趣目标$A$ 映射到子空间，外观模型可以描述为$A = c_1e_1 + c_2e_2 + \cdots c_ne_n$ ，其中$(c_1,c_2,\cdots,c_n)$ 是目标映射变换下的系数矩阵，在低维子空间下对特征基进行更新保持外观模型的学习能力，从而实现自适应跟踪．- 啊，是用投影系数来啊
- 产生式模型能够描述目标的全局性特征，模型通用性好，但没有考虑跟踪场景背景变化因素
- 分量混合模型设计简单，但对外观变化的约束比较严格
- 如何设计简单高效且鲁棒的特征融合方式
-
外观模型学习跟踪过程中会面临跟踪精确性与鲁棒性的矛盾问题
- 如果要求跟踪精确度较高就会对模型设计约束苛刻，因而导致算法鲁棒性降低；
- 相反，如果要求鲁棒性较高，那么外观模型的弹性能力就会增大，影响了跟踪的精确度
- 如何平衡这一组矛盾问题将是一个研究方向．
- 哈哈，其实小目标里面也存在这个问题，如果模型越是刻画的精细，比如 RIPT，其实对不同图片的鲁棒性越差
-
产生式跟踪方法侧重目标自身建模和学习，当目标运动过快时，相似干扰和复杂背景出现时跟踪效果会下降
- 小目标里同样侧重刻画目标的 HVS 也存在同样性质的问题，rare structure effect
-
判别式模型跟踪中无论是 SVM 方法、判别式分析还是 Boosting 分类方法中，均面临一个如何正确选择训练样本更新分类器的问题
@article{Zhang2015VideoTR,
title={基于外观模型学习的视频目标跟踪方法综述},
author={张焕龙 and 胡士强 and 杨国胜},
journal={计算机研究与发展},
volume={52},
number={1},
pages={177--190},
year={2015}
}