您现在的位置:首页 >> 技术文章 >> 图像语音处理 >> 内容

Kanade-Lucas-Tomasi(KLT)进行目标跟踪

时间:2019-7-15 13:31:50 点击:

  核心提示:近来在研究跟踪,跟踪的方法其实有很多,如粒子滤波(pf)、meanshift跟踪,以及KLT跟踪或叫Lucas光流法,这些方法各自有各自的有点,对于粒子滤波而言,它能够比较好的在全局搜索到最优解,但其...
近来在研究跟踪,跟踪的方法其实有很多,如粒子滤波(pf)、meanshift跟踪,以及KLT跟踪或叫Lucas光流法,这些方法各自有各自的有点,对于粒子滤波而言,它能够比较好的在全局搜索到最优解,但其求解速度相对较慢,由于其是基于颜色直方图的计算,所以对相同颜色东西不太能够区别,meanshift方法很容易陷入局部最优,但速度还是挺快,所以现在很有一些人是将meanshift跟pf结合做跟踪,恰好在很多方面能够互补。

  Kanade-Lucas-Tomasi方法,在跟踪方面表现的也不错,尤其在实时计算速度上,用它来得到的,是很多点的轨迹“trajectory”,并且还有一些发生了漂移的点,所以,得到跟踪点之后要进行一些后期的处理,说到Kanade-Lucas-Tomasi方法,首先要追溯到Kanade-Lucas两人在上世纪80年代发表的paper:An Iterative Image Registration Technique with an Application to Stereo Vision,这里讲的是一种图像点定位的方法,即图像的局部匹配,将图像匹配问题,从传统的滑动窗口搜索方法变为一个求解偏移量d的过程,后来Jianbo Shi和Carlo Tomasi两人发表了一篇CVPR(94')的文章Good Features To Track,这篇文章,主要就是讲,在求解d的过程中,哪些情况下可以保证一定能够得到d的解,这些情况的点有什么特点(后来会发现,很多时候都是寻找的角点)。

  PS: 其实我很奇怪这个算法为什么叫做KLT算法,而不加上Jianbo Shi的名字~

  好吧,前戏就这么多,接下来进入正题,KLT是如何实现跟踪的?

先说KLT算法的几个前提假设:
   1)亮度恒定
   2)时间连续或者是运动是“小运动”
     3)空间一致,临近点有相似运动,保持相邻

  这几个为什么要这么假设,我在后面来解释,很直观的讲,如果判断一个视频的相邻两帧I、J在某局部窗口w上是一样的,则在窗口w内有:I(x, y, t) = J(x', y', t+τ),亮度恒定的假设(假设1)即为了保证其等号成立不受亮度的影响,假设2是为了保证KLT能够找到点,假设3则为以下原因假设(即对于同一个窗口中,所有点的偏移量都相等):

  在窗口w上,所有(x, y)都往一个方向移动了(dx,  dy),从而得到(x', y'),即t时刻的(x, y)点在t+τ时刻为(x+dx, y+dy),所以寻求匹配的问题可化为对以下的式子寻求最小值,或叫做最小化以下式子:

用积分来表示上述式子,以上式子可等效为:
 这个式子的含义,即找到两副图像中,在W窗口中,I、J的差异,其中I以x-d/2为中心,J以x+d/2为中心,w/2为半径的一个矩形窗口间的差异,好吧,结合我们微积分的知识,函数ε(d)要取得最小值,这个极值点的导数一定为0,即
 的值为0,由泰勒展开的性质:
 可以得到:
 
 于是,问题转化为:

 

其中:

 

从而,问题即为:

 

 

即其等式可看作为:

 

其中,Z为一个2*2的矩阵,e为一个2*1的向量,

 

 

为了要使d能够得到解,则Z需要满足条件,即Z*Z'矩阵可逆,其中Z'为Z矩阵的转置(ZT),在一般情况下,角点具有这样的特点。

在OpenCV里面,找角点的函数可用

 void cvGoodFeaturesToTrack(
   const CvArr* image
   CvArr* eigImage, CvArr* tempImage
   CvPoint2D32f* corners
   int* cornerCount
   double qualityLevel
   double minDistance
   const CvArr* mask=NULL
   int blockSize=3
   int useHarris=0 //一般采用Harris角点
   double k=0.04 );

然后可以通过函数cvCalcOpticalFlowPyrLK进行跟踪(好像OpenCV里面调用LK的函数不止这一个,这个是金字塔计算):

void cvCalcOpticalFlowPyrLK(      const CvArr* prev,      const CvArr* curr,      CvArr* prevPyr,      CvArr* currPyr,      const CvPoint2D32f* prevFeatures,      CvPoint2D32f* currFeatures,      int count,      CvSize winSize,      int level,      char* status,      float* track error,      CvTermCriteria criteria,      int flags );
 OK,KLT算法的原理基本就这样,其实其跟踪效果并非太准,后来有很多提出的校正的方法,其中我目前看到比较实用的就是TLD算法的作者Zdenek Kalal在他2010年ICPR上的文章Forward-Backward Error: Automatic Detection of Tracking Failures提出的方法看起来非常不错,我正动手实现之。

作者:网络 来源:网络
  • 您是如何找到本站的?
  • 百度搜索
  • Google搜索
  • 查阅资料过程中
  • 论坛发现
  • 百度贴吧发现
  • 朋友介绍
本站最新成功开发工程项目案例
  • 上一篇:图像数字化
  • 下一篇:半监督学习
  • 相关文章
    • 没有相关文章
    相关评论
    发表我的评论
    • 大名:
    • 内容:
  • matlab代做|matlab专业代做|matlab淘宝代做(www.hslogic.com) © 2019 版权所有 All Rights Reserved.
  • Email:highspeed_logic@163.com 站长QQ: 1224848052

    专业代做/代写/承接、MATLAB、SIMULINK、FPGA项目、博士/硕士/本科毕业设计、课题设计、论文,毕业论文,Coursework、Eassy、Assignment