對象跟蹤方法和裝置的制造方法
【技術領域】
[0001] 本發(fā)明涉及圖像處理，更具體地涉及計算機視覺技術中的對象跟蹤方法和裝置。
【背景技術】
[0002] 目前，在計算機視覺技術領域，對象跟蹤是很多應用非常重要，例如，人機交互控 制系統(tǒng)，用戶監(jiān)視系統(tǒng)，車輛輔助駕駛系統(tǒng)等，這里涉及到手勢跟蹤、行人跟蹤、車輛跟蹤 等。
[0003] 以手勢跟蹤為例，手勢控制系統(tǒng)對用戶來說，尤其方便。一個有效的手勢識別系統(tǒng) 將能提供自然且有效的交互方式。而在手勢識別系統(tǒng)中，非常重要且關鍵的一部分就是手 的跟蹤。
[0004] 為了方便用戶操作，手跟蹤系統(tǒng)不應該要求用戶穿戴任何特殊的設備，如特殊手 套，彩色標志物等。同時，手是非剛性物體，具有運動快、易變形、自遮擋等特點，因此手跟蹤 技術是一項非常具有挑戰(zhàn)性的工作。。
[0005] 目前，手跟蹤技術主要采用顏色特征進行跟蹤。眾所周知，顏色信息容易受到光照 變化和背景顏色的影響，從而降低跟蹤系統(tǒng)的魯棒性。另外，跟蹤系統(tǒng)還容易因受到部分遮 擋或跟蹤物體形態(tài)變化的影響而造成跟蹤性能下降。為了提高跟蹤系統(tǒng)的魯棒性，目前已 有很多專利和文章針對這方面進行了研究改進。
[0006] 美國專利申請公開US20110211754A1公開了一種跟蹤方法，該跟蹤方法通過結合 彩色圖像和深度圖像進行物體跟蹤。在該發(fā)明中，分別在彩色圖像和深度圖像上進行物體 跟蹤，最終跟蹤結果由彩色圖像和深度圖像上的跟蹤結果共同決定。跟蹤過程中所用的特 征主要有深度信息，顏色信息和顏色運動信息，跟蹤核則是融合多種特征形成，其中包括a) 形狀模型，如采用橢圓模型代表手的形狀；b)根據(jù)手的最新位置生成相應的顏色直方圖； c)采用平均深度值信息對跟蹤手當前的深度值進行預測；d)更新背景模型。在該技術，由 于彩色圖像上的跟蹤結果仍然容易受到光照條件的影響，因此在光照條件較差的情況下， 跟蹤結果主要取決于深度圖像上的跟蹤，另外，深度圖上的跟蹤結果主要依靠深度閾值進 行判定，魯棒性可能較差。
[0007] 在作者為QIAOBing,LIZhicheng,HUPeng的、發(fā)表于期刊informationand control的標題為"ObjectTrackingAlgorithmBasedonCamshiftwithDualROIand VelocityInformationFusion"的文章中，提出了一種技術，其中為了防止跟蹤物體受周 圍背景色的影響而導致跟蹤失敗，將單個ROI區(qū)域劃分為兩個ROI子區(qū)域，一個區(qū)域作為主 要跟蹤區(qū)域，而另一個區(qū)域作為附加跟蹤區(qū)域。在該文章中，兩個camshift跟蹤器分別進 行跟蹤。該文章當跟蹤物體與周圍背景顏色完全相似時，該跟蹤方法可能出現(xiàn)錯誤。

【發(fā)明內容】

[0008] 根據(jù)本發(fā)明的一個方面，提供了一種對象跟蹤方法，可以包括：獲得灰度圖像序列 和獲得相關聯(lián)的深度圖像序列；在當前灰度圖像和深度圖像的至少一個中預測被跟蹤對象 的候選目標區(qū)域；確定候選目標區(qū)域的深度加權圖，該深度加權圖包括各個像素的深度加 權信息，每個像素的深度加權信息表示基于該像素的深度信息、該像素屬于被跟蹤對象的 概率；獲得目標模板，其中目標模板用特征的概率密度分布表示；對位置在候選目標區(qū)域 中滑動的候選目標，用特征的概率密度分布表示，其中，在估計候選目標的特征的概率密度 過程中，對各個像素既基于像素的顏色空間信息加權也基于像素的深度加權信息加權；基 于目標模板的概率密度表示和候選目標的概率密度表示，計算目標模板和候選目標之間的 相似度，從而得到候選目標區(qū)域的置信度圖；基于候選目標區(qū)域的置信度圖，定位被跟蹤對 象在當前圖像中的位置。
[0009] 根據(jù)本發(fā)明的另一方面，提供了一種對象跟蹤裝置，可以包括：圖像獲得部件，獲 得灰度圖像序列和獲得相關聯(lián)的深度圖像序列；候選目標區(qū)域預測部件，在當前灰度圖像 和深度圖像的至少一個中預測被跟蹤對象的候選目標區(qū)域；深度加權確定部件，確定候選 目標區(qū)域的深度加權圖，該深度加權圖包括各個像素的深度加權信息，每個像素的深度加 權信息表示基于該像素的深度信息、該像素屬于被跟蹤對象的概率；目標模板獲得部件，用 于獲得部件模板，其中目標模板用特征的概率密度表示；候選目標表示部件，對位置在候選 目標區(qū)域中滑動的候選目標，用特征的概率密度來表示，其中，在估計候選目標的特征的概 率密度過程中，對各個像素既基于像素的顏色空間信息加權也基于像素的深度加權信息加 權；置信度圖獲得部件，基于目標模板和候選目標的概率密度表示，計算目標模板和候選目 標之間的相似度，從而得到候選目標區(qū)域的置信度圖；以及對象定位部件，基于候選目標區(qū) 域的置信度圖，定位被跟蹤對象在當前圖像中的位置。
[0010] 利用根據(jù)本發(fā)明實施例的對象跟蹤方法和對象跟蹤裝置，在估計候選目標的各個 特征的概率密度過程中，對各個像素既基于像素的顏色空間信息加權也基于像素的深度加 權信息加權，與現(xiàn)有技術中分離地單獨考慮深度信息或僅僅將深度信息用作閾值來進行不 適當目標候選的過濾相比，能夠在整個跟蹤過程中自然地而且緊密地將深度信息結合到對 象跟蹤中，從而提1?彳目息的利用率，提1?跟蹤的準確性。
【附圖說明】
[0011] 從下面結合附圖對本發(fā)明實施例的詳細描述中，本發(fā)明的這些和/或其它方面和 優(yōu)點將變得更加清楚并更容易理解，其中：
[0012] 圖1示意性地示出了根據(jù)本發(fā)明一個實施例的手跟蹤技術用于人機交互的情景 的示意圖。
[0013] 圖2示出了根據(jù)本發(fā)明實施例的對象跟蹤裝置100的配置框圖。
[0014] 圖3示出了根據(jù)本發(fā)明一個實施例的對象跟蹤方法200的總體流程圖。
[0015] 圖4示意性示出了針對候選目標空間區(qū)域計算得到的深度加權圖的示意圖。
[0016] 圖5 (a)和（b)示意性示出了對于為分塊示例圖，如何根據(jù)跟蹤子模板對候選跟蹤 區(qū)域進行劃分。
[0017] 圖6(a)_(g)示意性地示出了基于分塊和深度加權的對象跟蹤方法的示意圖。
[0018] 圖7(a)示意地示出了目標模板的劃分以及目標模板與子目標模板之間的關系， 圖7(b)示意性地示出了子目標模板的獨立更新。
[0019] 圖8示出了適于用來實現(xiàn)本發(fā)明實施方式的示例性計算系統(tǒng)600的框圖。
【具體實施方式】
[0020] 為了使本領域技術人員更好地理解本發(fā)明，下面結合附圖和【具體實施方式】對本發(fā) 明作進一步詳細說明。
[0021] 將以下述順序進行描述
[0022] 1、應用情景示例
[0023] 2、對象跟蹤裝置配置示例
[0024] 3、對象跟蹤方法的第一實施例
[0025] 4、對象跟蹤方法的第二實施例
[0026] 5、對象跟蹤方法的第三實施例
[0027]6、用于進行對象跟蹤的計算系統(tǒng)
[0028] 在下面的描述中，以跟蹤對象為手進行說明，不過這僅為示例，實際上，本發(fā)明可 以應用于跟蹤任何對象。
[0029] 1、應用情景示例
[0030] 圖1示意性地示出了根據(jù)本發(fā)明一個實施例的手跟蹤技術用于人機交互的情景 的示意圖。如圖1所示，一部攝像機放置于計算機上方，用戶站立于攝像機范圍內。當用戶 在攝像機范圍內移動他/她的手時，計算機能計算出手的真實位置信息，以達到對手實時 跟蹤的目的，手在不同時刻的位置點如圖1中的圓點所示。
[0031] 優(yōu)選地，該攝像機能進行彩色圖和深度圖的采集，例如為雙目相機。如本領域人員 公知的，深度圖像（Depthimage)是圖像中的像素點的值為深度的圖像。相比于灰度圖像， 深度圖像具有物體的深度(距離)信息，因此特別適合于需要立體信息的各種應用。另外，如 公知的，一個像素點的深度值和視差值之間具有簡單的換算關系，因此本發(fā)明的深度信息 的含義是廣義的，包括視差信息。
[0032] 需要說明的是，圖1只是一個示意性示例，用于跟蹤手的設備不限于計算機，可以 是例如游戲機，投影儀，電視機等等。
[0033] 2、對象跟蹤裝置配置示例
[0034] 下面參考圖2描述根據(jù)本發(fā)明實施例的對象跟蹤裝置的配置示例。
[0035] 圖2示出了根據(jù)本發(fā)明實施例的對象跟蹤裝置100的配置框圖。
[0036] 如圖2所示，對象跟蹤裝置100可以包括圖像獲得部件110、候選目標區(qū)域預測部 件120、深度加權確定部件130、目標模板獲得部件140、候選目標表示部件150、置信度圖獲 得部件160、對象定位部件170。
[0037] 圖像獲得部件110用于獲得灰度圖像序列和獲得相關聯(lián)的深度圖像序列，例如接 收來自雙目相機的彩色圖像和深度圖像。
[0038] 候選目標區(qū)域預測部件120用于在當前灰度圖像和深度圖像的至少一個中預測 被跟蹤對象的候選目標區(qū)域。
[0039] 深度加權確定部件130用于確定候選目標區(qū)域的深度加權圖，該深度加權圖包括 各個像素的深度加權信息，每個像素的深度加權信息表示基于該像素的深度信息、該像素 屬于被跟蹤對象的概率。
[0040] 目標模板獲得部件140用于獲得目標模板，其中目標模板是用特征的概率密度表 示的。
[0041] 候選目標表示部件150用于對位置在候選目標區(qū)域中滑動的候選目標，用特征的 概率密度來表示，其中，在估計候選目標的特征的概率密度過程中，對各個像素既基于像素 的顏色空間信息加權也基于像素的深度加權信息加權。
[0042] 置信度圖獲得部件160用于基于目標模板和候選目標的概率密度表示，計算目標 模板和候選目標之間的相似度，從而得到候選目標區(qū)域的置信度圖。
[0043] 對象定位部件170用于基于候選目標區(qū)域的置信度圖，定位被跟蹤對象在當前圖 像中的位置。
[0044] 可選地而非必需地，對象跟蹤裝置100還可以包括目標模板更新部件，用于評估 對象定位部件170的跟蹤結果，并在適當時進行目標模板更新。
[0045] 需要說明的是，上述對象跟蹤裝置100的部件可以用軟件程序來實現(xiàn)，例如通過 通用計算機中的CPU結合RAM和ROM等以及其中運行的軟件代碼來實現(xiàn)。軟件程序可以 存儲在諸如閃存、軟盤、硬盤、光盤等存儲介質上，在運行時加載到諸如隨機訪問存儲器RAM 上來由CPU執(zhí)行。另外，除了通用計算機上，還可以通過專用集成電路和軟件之間的合作來 實現(xiàn)。所述集成電路包括通過例如MPU(微處理單元)、DSP(數(shù)字信號處理器)、FPGA(現(xiàn)場 可編程門陣列)、ASIC(專用集成電路）等中的至少一個來實現(xiàn)。這樣的通用計算機或者專 用集成電路等例如可以與成像設備例如照相機來通信，以便對照相機拍攝獲得的彩色圖像 和/或立體圖像進行處理來得到對象跟蹤結果，以及可選地還可以根據(jù)對象跟蹤結果對所 運行的