YimianDai

认识 Attention

任何一篇做 Attention 的论文都应该回答一个问题，就是这个指导 Attention Module 该关注、抑制什么的信息来自于什么？为什么可以指导有效？

不需要啊，就是最后网络的全局损失函数，比如 SENet，就是希望建模通道之间的相互依赖关系，通过网络的全局损失函数自适应的重新矫正通道之间的特征相应强度。

如果要学好 attention， 就必须要有一个比较好的初始化， 不然容易陷入到一个糟糕的点。

最近读过的 Attention 的文章：

YimianDai

A Computational Perspective on Visual Attention

Preface

Attention 竟然也会有 起落：70 年代中期的时候，由于计算资源极其有限，Attention 作为一个可以聚焦、节省资源的方式得到了很大的关注；但到了 80 年代，Attention 变得很冷了，因为人们不相信 Attention。现在 Attention 变得更受关注了。本书出版于 2011 年，作者肯定想不到在深度学习统治的现在，Attention 更火了。

这帮认知、AI 交叉的人感兴趣的都是 develop models and systems that are biologically plausible

attention 通常要么被认为是 **selection of a region of interest to guide eye movements **要么被认为是 single-neuron modulation，看作者的意思是这两者是相关的，会有一个 overarching theory of attention 将两者统一起来。

YimianDai

Deep convolutional Gaussian processes

杂记

高斯过程我觉得问题主要有两个, 一是不适合刻画不平滑的分布, 二是仍然解决不了 N^3 的复杂度的问题. 除此以外 data efficiency 这种优点简直完美. 第一个问题我觉得可以通过 kernel 尽量解决，至于第二问题就是硬伤了，没有办法了。所以现在 GP 方面的大神都在研究这个如何快速实现 GP。 N^3 的复杂度可以用 zoubin 提出的 sparseGP 来变成 M^2N，M 是 inducing points,M<<N，跟 SVM 的 support vector 类似 对，这就是我最近在研究的 variational inference

YimianDai

Pattern Recognition and Machine Learning

1. Introduction

• 为何 generalization is a central goal in pattern recognition
  • 因为 the training data can comprise only a tiny fraction of all possible input vectors
• pre-processing stage （有时又叫作 feature extraction）的作用
  • greatly reduces the variability within each class （减小空间）
  • speed up computation
• Learning 的 3 大类型

YimianDai

2014 - 自动化学报 - 引入视觉注意机制的目标跟踪方法综述

摘要

在目标跟踪中引入视觉注意机制的 motivation

• 由于目标外观和环境的变化, 以及背景干扰等因素的存在, 使得复杂场景下的鲁棒实时的目标跟踪成为一项极具挑战性的任务.
• 视觉注意是人类视觉信息处理过程中的一项重要的心理调节机制, 在视觉注意的引导下, 人类能够从众多的视觉信息中快速地选择那些最重要、最有用、与当前行为最相关的感兴趣的视觉信息,
  • 看中的就是 HVS 快速的筛选性
• 特别地, 人类能够快速指向感兴趣的目标, 从而可以轻松地实现对目标的稳定跟踪.

YimianDai

arXiv - 2015 - An experimental survey on correlation filter-based tracking

1. Introduction

跟踪有哪些难点：

• illumination variations
• occlusions
• deformations
• rotations

YimianDai

TCSVT-2015-Background Prior-Based Salient Object Detection via Deep Reconstruction Residual

Abstract

原先方法的 assumption

• Based on the assumption that foreground salient regions are distinctive within a certain context, most conventional approaches rely on a number of hand-designed features and their distinctiveness is measured using local or global contrast.
• 小目标也是这样，target assumption 是 distinctive within a certain context
• 不管是 local contrast measure 还是 IPI model 都是 hand-designed features

YimianDai

2015 - 电子学报 - 面向目标检测的稀疏表示方法研究进展

摘要

本文内容

• 综述了稀疏表示方法在目标检测领域的下列应用：
  • 目标特征学习
  • 目标分类器
• 多源信息融合目标检测

YimianDai

2015 - 计算机研究与发展 - 基于外观模型学习的视频目标跟踪方法综述

引言

• 视频目标跟踪仍存在具有挑战性的问题亟待解决
  • 跟踪目标自身的姿势变化、尺度变化和形变等内在因素；
  • 跟踪过程出现亮度变化、部分遮挡和背景复杂等外在因素．

视频跟踪研究与机器学习理论结合的发展阶段

YimianDai

2016 - GRSL - Infrared Target Tracking Based on Robust Low-Rank Sparse Learning

Abstract

最近很流行的 low-rank sparse tracker

• Assumption：
  • exploiting low-rank constraints to capture the underlying structure of candidate particles.
    • 注意哦，是用 low-rank constraints 刻画 candidate particles
• uses simple sparse error to account for occlusion and noise measured by the L1-norm， which is assumed to be following the Laplacian distribution