目標跟蹤方法和裝置的制造方法
【專利摘要】本發(fā)明提供一種目標跟蹤方法和裝置。該方法包括：獲取被跟蹤目標的模型，被跟蹤目標的模型包括初級預(yù)測模型和驗證模型；獲取當(dāng)前幀視頻圖像并根據(jù)被跟蹤目標最近一次被更新的狀態(tài)，確定在當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運動限制區(qū)域；在跟蹤感興趣區(qū)域內(nèi)根據(jù)初級預(yù)測模型預(yù)測被跟蹤目標在當(dāng)前幀中的狀態(tài)；根據(jù)被跟蹤目標在當(dāng)前幀中的狀態(tài)確定被跟蹤目標所在的目標圖像；根據(jù)第二描述方式在目標圖像中提取被跟蹤目標的高級特征，并判斷該高級特征與驗證模型的匹配度是否大于等于預(yù)設(shè)的相似度閾值，以及判斷在目標圖像上被跟蹤目標的當(dāng)前位置是否位于運動限制區(qū)域內(nèi)；若是，則確定被跟蹤目標跟蹤成功。本發(fā)明的方法提高了跟蹤的效率和魯棒性。
【專利說明】
目標跟3示方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及跟蹤技術(shù)，尤其涉及一種目標跟蹤方法和裝置。
【背景技術(shù)】
[0002]視頻監(jiān)控是企事業(yè)單位、商業(yè)場所、公園等重點部門或重要場所進行實時監(jiān)控的物理基礎(chǔ)，管理部門可通過視頻監(jiān)控獲得有效數(shù)據(jù)、圖像或聲音信息。隨著當(dāng)前計算機應(yīng)用的迅速發(fā)展和推廣，視頻監(jiān)控的原理也被廣泛應(yīng)用到單目標手勢跟蹤系統(tǒng)中，通過該單目標手勢跟蹤系統(tǒng)可以對用戶的目標手勢進行跟蹤識別，從而可以根據(jù)所識別到的手勢進行相應(yīng)的控制。
[0003]但是，當(dāng)前的單目標手勢跟蹤系統(tǒng)在跟蹤目標手勢的過程中，在手勢發(fā)生變化時，容易因與人手表觀相類似物體的干擾出現(xiàn)跟蹤漂移或者跟蹤丟失的情況，故，當(dāng)前的單目標跟蹤手勢跟蹤系統(tǒng)跟蹤效率較低，魯棒性較差。
【發(fā)明內(nèi)容】
[0004]本發(fā)明提供的目標跟蹤方法和裝置，用以解決現(xiàn)有技術(shù)中的單目標跟蹤系統(tǒng)跟蹤效率較低，魯棒性較差的技術(shù)問題。
[0005]第一方面，本發(fā)明提供一種目標跟蹤方法，包括:
[0006]獲取被跟蹤目標的模型，所述被跟蹤目標的模型包括初級預(yù)測模型和驗證模型；其中，所述初級預(yù)測模型包括采用第一描述方式提取的所述被跟蹤目標的低級特征，所述驗證模型包括采用第二描述方式提取的所述被跟蹤目標的高級特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度；
[0007]獲取當(dāng)前幀視頻圖像，并根據(jù)所述被跟蹤目標最近一次被更新的狀態(tài)，確定在所述當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運動限制區(qū)域;其中，所述跟蹤感興趣區(qū)域隨著所述被跟蹤目標的移動進行移動；
[0008]在所述跟蹤感興趣區(qū)域內(nèi)，根據(jù)所述初級預(yù)測模型預(yù)測所述被跟蹤目標在所述當(dāng)前幀中的狀態(tài)；
[0009]根據(jù)所述被跟蹤目標在所述當(dāng)前幀中的狀態(tài)，確定所述被跟蹤目標所在的目標圖像；
[0010]根據(jù)所述第二描述方式在所述目標圖像中提取所述被跟蹤目標的高級特征，并判斷在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度是否大于或者等于預(yù)設(shè)的相似度閾值，以及判斷在所述目標圖像上所述被跟蹤目標的當(dāng)前位置是否位于所述運動限制區(qū)域內(nèi)；
[0011 ]若所述在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置位于所述運動限制區(qū)域內(nèi)，則確定所述被跟蹤目標跟蹤成功。
[0012]進一步地，所述方法還包括:
[0013]在所述跟蹤感興趣區(qū)域內(nèi)檢測是否存在除所述被跟蹤目標之外的其他預(yù)定義目標，獲得檢測結(jié)果；
[0014]根據(jù)所述檢測結(jié)果確定是否重新初始化所述被跟蹤目標的模型。
[0015]更進一步地，所述根據(jù)所述檢測結(jié)果確定是否重新初始化所述被跟蹤目標的模型，具體包括:
[0016]若所述檢測結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在所述其他預(yù)定義目標，則根據(jù)所述其他預(yù)定義目標重新初始化所述被跟蹤目標的模型；
[0017]若所述檢測結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他被跟蹤目標，且所述被跟蹤目標在所述當(dāng)前幀跟蹤失敗，則不對所述被跟蹤目標的模型進行更新；
[0018]若所述檢測結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他預(yù)定義目標，且所述被跟蹤目標在所述當(dāng)前幀跟蹤成功，則對所述被跟蹤目標的模型中進行參數(shù)修正。
[0019]更進一步地，所述方法還包括:
[0020]將所述被跟蹤目標在所述當(dāng)前幀中的跟蹤狀態(tài)和所述檢測結(jié)果進行顯示。
[0021]更進一步地，所述方法還包括:
[0022]判斷是否檢測到預(yù)設(shè)的用戶行為；
[0023]若是，則停止跟蹤。
[0024]更進一步地，若所述在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置沒有位于所述運動限制區(qū)域內(nèi)，所述方法還包括:
[0025]步驟A:根據(jù)被跟蹤目標最近一次被更新的狀態(tài)，確定所述被跟蹤目標在下一幀的跟蹤感興趣區(qū)域；
[0026]步驟B:根據(jù)所述被跟蹤目標在下一幀的跟蹤感興趣區(qū)域、所述運動限制區(qū)域、所述初級預(yù)測模型和所述驗證模型，確定在下一幀所述被跟蹤目標是否跟蹤成功；
[0027]步驟C:若跟蹤失敗，則返回步驟A，若跟蹤失敗的次數(shù)達到預(yù)設(shè)次數(shù)時，確定所述被跟蹤目標為永久丟失狀態(tài)，停止跟蹤。
[0028]更進一步地，所述被跟蹤目標為手勢。
[0029]第二方面，本發(fā)明提供一種目標跟蹤裝置，包括:
[0030]第一獲取模塊，用于獲取被跟蹤目標的模型，所述被跟蹤目標的模型包括初級預(yù)測模型和驗證模型；其中，所述初級預(yù)測模型包括采用第一描述方式提取的所述被跟蹤目標的低級特征，所述驗證模型包括采用第二描述方式提取的所述被跟蹤目標的高級特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度；
[0031 ]第二獲取模塊，用于獲取當(dāng)前幀視頻圖像，并根據(jù)所述被跟蹤目標最近一次被更新的狀態(tài)，確定在所述當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運動限制區(qū)域;其中，所述跟蹤感興趣區(qū)域隨著所述被跟蹤目標的移動進行移動；
[0032]預(yù)測模塊，用于在所述跟蹤感興趣區(qū)域內(nèi)，根據(jù)所述初級預(yù)測模型預(yù)測所述被跟蹤目標在所述當(dāng)前幀中的狀態(tài)；
[0033]驗證模塊，用于根據(jù)所述被跟蹤目標在所述當(dāng)前幀中的狀態(tài)，確定所述被跟蹤目標所在的目標圖像，并根據(jù)所述第二描述方式在所述目標圖像中提取所述被跟蹤目標的高級特征，并判斷在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度是否大于或者等于預(yù)設(shè)的相似度閾值，以及判斷在所述目標圖像上所述被跟蹤目標的當(dāng)前位置是否位于所述運動限制區(qū)域內(nèi)；
[0034]確定模塊，用于在所述驗證模塊確定在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置位于所述運動限制區(qū)域內(nèi)時，確定所述被跟蹤目標跟蹤成功。
[0035]進一步地，所述裝置還包括:
[0036]檢測模塊，用于在所述跟蹤感興趣區(qū)域內(nèi)檢測是否存在除所述被跟蹤目標之外的其他預(yù)定義目標，獲得檢測結(jié)果；
[0037]處理模塊，用于根據(jù)所述檢測結(jié)果確定是否重新初始化所述被跟蹤目標的模型。
[0038]更進一步地，所述處理模塊，包括:
[0039]第一處理單元，用于在所述檢測結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在所述其他預(yù)定義目標時，根據(jù)所述其他預(yù)定義目標重新初始化所述被跟蹤目標的模型；
[0040]第二處理單元，用于在所述檢測結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他被跟蹤目標，且所述被跟蹤目標在所述當(dāng)前幀跟蹤失敗時，不對所述被跟蹤目標的模型進行更新；
[0041]第三處理單元，用于在所述檢測結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他預(yù)定義目標，且所述被跟蹤目標在所述當(dāng)前幀跟蹤成功時，對所述被跟蹤目標的模型中進行參數(shù)修正。
[0042]更進一步地，所述裝置還包括:
[0043]顯示模塊，用于將所述被跟蹤目標在所述當(dāng)前幀中的跟蹤狀態(tài)和所述檢測結(jié)果進行顯示。
[0044]更進一步地，所述裝置還包括:
[0045]判斷模塊，用于判斷是否檢測到預(yù)設(shè)的用戶行為，并在判斷檢測到預(yù)設(shè)的用戶行為時，指示所述裝置停止跟蹤。
[0046]更進一步地，若所述在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置沒有位于所述運動限制區(qū)域內(nèi)，則
[0047]所述第二獲取模塊，還用于根據(jù)被跟蹤目標最近一次被更新的狀態(tài)，確定所述被跟蹤目標在下一幀的跟蹤感興趣區(qū)域；
[0048]所述確定模塊，還用于根據(jù)所述被跟蹤目標在下一幀的跟蹤感興趣區(qū)域、所述運動限制區(qū)域、所述初級預(yù)測模型和所述驗證模型，確定在下一幀所述被跟蹤目標是否跟蹤成功，并且還用于在確定跟蹤失敗時，重新指示所述第二獲取模塊繼續(xù)根據(jù)被跟蹤目標最近一次被更新的狀態(tài)，確定所述被跟蹤目標在下下一幀的跟蹤感興趣區(qū)域，直至跟蹤失敗的次數(shù)達到預(yù)設(shè)次數(shù)時，則確定所述被跟蹤目標為永久丟失狀態(tài)，指示所述裝置停止跟蹤。
[0049]更進一步地，所述被跟蹤目標為手勢。
[0050]本發(fā)明提供的目標跟蹤方法和裝置，通過獲取初級預(yù)測模型和驗證模型，并根據(jù)被跟蹤目標最近一次被更新的狀態(tài)，確定被跟蹤目標在當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運動限制區(qū)域，進而在該跟蹤感興趣區(qū)域內(nèi)結(jié)合被跟蹤目標最近一次被更新的狀態(tài)和初級預(yù)測模型預(yù)測被跟蹤目標在當(dāng)前幀的狀態(tài)，并采用驗證模型和運動限制區(qū)域?qū)λA(yù)測的被跟蹤目標在當(dāng)前幀的狀態(tài)進行驗證，確定跟蹤的準確性，由于初級預(yù)測模型中的第一描述方式較為簡單，因此提高了跟蹤預(yù)測的效率，從而也就提高了跟蹤的效率，另外，由于驗證模型中的第二描述方式的復(fù)雜度優(yōu)于第一描述方式，使得其在目標圖像中對被跟蹤目標的特征提起更加詳盡，確保了預(yù)測驗證的有效性，進一步提高了跟蹤結(jié)果的魯棒性。進一步地，由于上述跟蹤感興趣區(qū)域和運動限制區(qū)域的設(shè)定，不僅大大減小了搜索的區(qū)域，提高了跟蹤的效率，而且由于避免了在不必要位置的匹配，因此有利于抑制在跟蹤過程中的跟蹤漂移和錯誤匹配。
【附圖說明】
[0051]為了更清楚地說明本發(fā)明實施例現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0052]圖1為本發(fā)明提供的目標跟蹤方法實施例一的流程示意圖；
[0053]圖2為本發(fā)明提供的目標跟蹤方法實施例二的流程示意圖；
[0054]圖3為本發(fā)明提供的目標跟蹤方法實施例三的流程示意圖；
[0055]圖4為本發(fā)明提供的跟蹤感興趣和運動限制區(qū)域示意圖；
[0056]圖5為本發(fā)明提供的目標跟蹤方法實施例四的流程示意圖；
[0057]圖6為本發(fā)明提供的反復(fù)性揮手動作的檢測示意圖；
[0058]圖7為本發(fā)明提供的目標跟蹤裝置實施例一的結(jié)構(gòu)示意圖；
[0059]圖8為本發(fā)明提供的目標跟蹤裝置實施例二的結(jié)構(gòu)示意圖；
[0060]圖9為本發(fā)明提供的目標跟蹤裝置實施例三的結(jié)構(gòu)示意圖。
【具體實施方式】
[0061 ]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明中的附圖，對本發(fā)明中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0062]本發(fā)明所涉及的目標跟蹤方法，可以適用于不同的目標的跟蹤，該被跟蹤目標可以是人臉、腳、手勢等，具體的，以被跟蹤目標為手勢為例，該目標跟蹤方法可以集合到動態(tài)手勢識別系統(tǒng)中，通過跟蹤和識別用戶的手勢，實現(xiàn)相應(yīng)的操作控制，例如，用于家電控制(例如通過手勢控制電視機的開關(guān)、換臺、調(diào)音，或者通過手勢控制空調(diào)溫度、風(fēng)向，或者通過手勢控制電磁爐操作選項、時間，等等)、鼠標操作(即用手勢代替鼠標操作電腦)、空中手書(對用戶空中書寫進行字體識別，了解用戶操作意圖)。
[0063]以被跟蹤目標為用戶的手勢為例，下述方法實施例的執(zhí)行主體可以為目標跟蹤裝置，該目標跟蹤裝置可以是單獨的單目標手勢跟蹤系統(tǒng)，還可以是集成在單目標手勢跟蹤系統(tǒng)中的裝置。該目標跟蹤裝置可以通過軟件、硬件或者軟硬結(jié)合的方式實現(xiàn)。
[0064]本發(fā)明提供的目標跟蹤方法，旨在解決現(xiàn)有技術(shù)中的單目標跟蹤系統(tǒng)，在跟蹤目標手勢的過程中，在手勢發(fā)生變化時，容易因與人手表觀相類似物體的干擾出現(xiàn)跟蹤漂移或者跟蹤丟失的情況，即，本發(fā)明所涉及的方法可以克服當(dāng)前的單目標跟蹤手勢跟蹤系統(tǒng)跟蹤效率較低，魯棒性較差的技術(shù)問題。
[0065]下面以具體地實施例對本發(fā)明的技術(shù)方案進行詳細說明。下面這幾個具體的實施例可以相互結(jié)合，對于相同或相似的概念或過程可能在某些實施例中不再贅述。
[0066]圖1為本發(fā)明提供的目標跟蹤方法實施例一的流程示意圖。本實施例涉及的是根據(jù)初級預(yù)測模型對被跟蹤目標在當(dāng)前幀中的狀態(tài)進行預(yù)測，并利用驗證模型對所預(yù)測的被跟蹤目標的狀態(tài)進行驗證，確定跟蹤是否成功的具體過程。如圖1所示，該方法包括如下步驟:
[0067]SlOl:獲取被跟蹤目標的模型，所述被跟蹤目標的模型包括初級預(yù)測模型和驗證模型;其中，所述初級預(yù)測模型包括采用第一描述方式提取的所述被跟蹤目標的低級特征，所述驗證模型包括采用第二描述方式提取的所述被跟蹤目標的高級特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度。
[0068]具體的，當(dāng)單目標跟蹤系統(tǒng)(與被跟蹤目標為手勢為例，該單目標跟蹤系統(tǒng)為單目標手勢跟蹤系統(tǒng))不在執(zhí)行跟蹤任務(wù)的時候(比如剛剛啟動或者某個跟蹤任務(wù)終止之后)，就會執(zhí)行手勢檢測，以獲取下次執(zhí)行跟蹤任務(wù)時所需要的被跟蹤目標的模型。該被跟蹤目標的模型是目標跟蹤的依據(jù)，它記錄了對被跟蹤目標屬性的刻畫，該被跟蹤目標的模型包括初級預(yù)測模型和驗證模型；其中，初級預(yù)測模型包括采用第一描述方式提取的所述被跟蹤目標的低級特征，驗證模型包括采用第二描述方式提取的所述被跟蹤目標的高級特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度。無論是初級預(yù)測模型還是驗證模型，其中所包含的信息均是對被跟蹤目標的屬性特征的刻畫，這些屬性特征數(shù)據(jù)一方面用于跟蹤時相似度測量的標準，另一方面，用于對預(yù)測結(jié)果做驗證時的基準。上述初級預(yù)測模型用于預(yù)測被跟蹤目標在當(dāng)前幀中的狀態(tài)，該預(yù)測的狀態(tài)可以包括被跟蹤目標的位置信息、被跟蹤目標的大小(縮放尺度信息)、被跟蹤目標的形變信息、被跟蹤目標的方向信息等;上述驗證模型主要用于驗證所預(yù)測的被跟蹤目標在當(dāng)前幀的狀態(tài)是否準確。
[0069]此處列舉手勢跟蹤中常用的目標圖像的描述方式:(a)基于幾何特征的描述，比如區(qū)域特征、輪廓、曲率、凹凸性等；(b)基于直方圖的描述，比如顏色直方圖、紋理直方圖、梯度方向直方圖；(C)基于膚色隸屬度圖像的描述；(d)基于像素/超像素對比度的描述，比如點對特征、、Haar/Haar-like特征等。一般情況下，用于預(yù)測驗證的描述方式不同于用于預(yù)測的描述方式，也就是說，上述驗證模型中的高級特征的描述方式與初級預(yù)測模型中的低級特征的描述方式不同，可以記初級預(yù)測模型中的低級特征的第一描述方式的集合為Ωρ，驗證模型中的高級特征的第二描述方式的集合為Ω V，Ωρ中的第一描述方式的復(fù)雜度小于Ω V中的第二描述方式的復(fù)雜度。可選的，該Ω P中的第一描述方式可以是二值mask圖像塊的描述方式、可以是二值mask直方圖的描述方式、還可以是膚色檢測得到的概率圖的描述方式、還可以是顏色直方圖的描述方式等；可選的，該Ω V中的第二描述方式可以是局部二值模式(Local Binary Pattern，簡稱LBP)直方圖的描述方式、還可以是camshift的描述方式等?？傊?，Ωρ中的第一描述方式的復(fù)雜度小于Ω V中的第二描述方式的復(fù)雜度，這樣可以保證在預(yù)測被跟蹤目標在當(dāng)前幀中的狀態(tài)時的快速高效。
[0070]上述獲取被跟蹤目標的模型的具體過程實際上是跟蹤初始化的過程，以被跟蹤目標為手勢為例，該跟蹤初始化是通過手勢檢測來實現(xiàn)的，當(dāng)檢測到預(yù)設(shè)的被跟蹤目標(即預(yù)設(shè)的手勢)時，從視頻圖像中提取特征對該被跟蹤目標的屬性進行描述(采用第一描述方式和第二描述方式分別提取)，獲得被跟蹤目標的模型，即獲取初始預(yù)測模型和驗證模型，用于以后跟蹤階段匹配預(yù)測和預(yù)測驗證的依據(jù)。
[0071]此階段的手勢檢測可以是在整幅圖像中進行也可以是在圖像的某個局部區(qū)域中進行，優(yōu)選的可以是在視頻圖像的特定區(qū)域做檢測來實現(xiàn)初始化，比如特定區(qū)域可以設(shè)置在視頻圖像的正中間1/4部分，設(shè)置該特定區(qū)域可以對系統(tǒng)有如下幫助:
[0072](a)符合操作的習(xí)慣，用戶操作時，一般都是先將手抬起到某個舒適的位置P，然后才開始某個手勢，所以用戶意識中的跟蹤開始位置是P，而不是在人手抬起過程中的某個位置。因此，設(shè)置在特定區(qū)域內(nèi)做檢測，有利于在實現(xiàn)正確的初始化，有利于后續(xù)的動態(tài)手勢識別。
[0073](b)增強檢測的魯棒性，減少錯誤檢測，即可以減小搜索的區(qū)域，從而有效抑制復(fù)雜背景、動態(tài)背景的干擾，便利主體用戶的操作，抑制非主體用戶的干擾，抑制無意識手勢的干擾；
[0074](c)增強后續(xù)跟蹤的質(zhì)量，如果跟蹤初始化發(fā)生在人手抬起的過程中，由于急速運動造成的運動模糊，可能導(dǎo)致被初始化目標模型準確性下降，影響后續(xù)的跟蹤質(zhì)量，而在特定區(qū)域內(nèi)檢測，可以有效抑制這種情況。
[0075](d)減小搜索的區(qū)域，提高檢測的效率；
[0076]初始化階段可以是對某幾個預(yù)定義手勢做檢測，還可以是對某一個特定手勢做檢測，優(yōu)選的，本實施例中的跟蹤初始化階段可以對閉合手掌做檢測，這樣可以抑制檢測錯誤，同時大幅度地提高檢測效率。
[0077]關(guān)于跟蹤初始化檢測所用的方法，可以結(jié)合運行信息、膚色信息或者手勢的紋理信息等等，此處列舉常用的幾種快速檢測方法:
[0078](a)依據(jù)被跟蹤目標(即預(yù)設(shè)的手勢)的幾何信息進行手勢檢測或者手勢識別，比如通過背景減除法或者膚色分割法，分割出手勢的區(qū)域，通過對分割區(qū)域的形狀分析進行手勢識別；
[0079](b)使用被跟蹤目標(即預(yù)設(shè)的手勢)的表觀信息進行手勢檢測或者手勢識別，比如紋理、局部亮度統(tǒng)計等，此類方法可以包括haar特征+adaboost檢測法、點對特征+隨機樹檢測法、LBP直方圖特征+支持向量機檢測法等等。
[0080]S102:獲取當(dāng)前幀視頻圖像，并根據(jù)所述被跟蹤目標最近一次被更新的狀態(tài)，確定在所述當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運動限制區(qū)域;其中，所述跟蹤感興趣區(qū)域隨著所述被跟蹤目標的移動進行移動。
[0081]具體的，在單目標跟蹤系統(tǒng)獲取了被跟蹤目標的模型之后，可以通過攝像頭獲取當(dāng)前幀視頻圖像，并結(jié)合該被跟蹤目標最近一次被更新的狀態(tài)確定被跟蹤目標在當(dāng)前幀的跟蹤感興趣區(qū)域和運動限制區(qū)域?？蛇x的，這里的被跟蹤目標最近一次被更新的狀態(tài)可以是被跟蹤目標在前一幀視頻圖像上的狀態(tài)，還可以是被跟蹤目標在前幾幀視頻圖像上的狀態(tài)，例如，假設(shè)當(dāng)前幀視頻圖像對應(yīng)是t5時刻，前一幀視頻圖像對應(yīng)t4時刻，前兩幀視頻圖像對應(yīng)t4時刻，前三幀視頻圖像對應(yīng)t3時刻，則被跟蹤目標最近一次被更新的狀態(tài)可以是在t4時刻對應(yīng)的幀的視頻圖像上的狀態(tài)，還可以是在t3時刻對應(yīng)的幀的視頻圖像上的狀態(tài)(這種情況是前一幀和前兩幀被跟蹤目標均跟蹤失敗，被跟蹤目標的狀態(tài)仍然是在前三幀上時的狀態(tài))。
[0082]上述的運動限制區(qū)域，是在被跟蹤目標的模型被初始化的同時，根據(jù)手勢最初被檢測到時的狀態(tài)(手勢的位置信息，尺寸信息，偏斜角度等)所設(shè)置的一個限制區(qū)域，這是因為初始的手勢位置一般都是用戶舉起手來感覺最舒服最輕松的位置，受制于身體關(guān)節(jié)之間的鏈接關(guān)系，人手在此位置附近運動比較輕松自如，一旦偏離過遠，一則容易發(fā)生疲勞，二則手的姿態(tài)容易發(fā)生大的變化從而導(dǎo)致跟蹤失敗，該運動限制區(qū)域是保持不變的。
[0083]上述的跟蹤感興趣區(qū)域，是根據(jù)被跟蹤目標運動的連續(xù)性特點，根據(jù)被跟蹤目標在前一幀或者前幾幀時的狀態(tài)(即被跟蹤目標最近一次被更新的狀態(tài))，估計被跟蹤目標在當(dāng)前幀可能出現(xiàn)的區(qū)域，然后僅僅局限在該區(qū)域中尋找與被跟蹤目標的模型的最佳匹配(即尋找被跟蹤目標)，跟蹤感興趣區(qū)域隨著所述被跟蹤目標的移動進行移動，例如，在當(dāng)前幀跟蹤感興趣區(qū)域可能位于圖像中間位置，在下一幀圖像中因為人手的移動，在下一幀中的跟蹤感興趣區(qū)域就有可能位于下一幀圖像中的其他位置，但是，上述運動限制區(qū)域在當(dāng)前幀圖像和下一幀圖像中的位置是相同的。而事實上，正常情況下，被跟蹤目標的位置都會在該跟蹤感興趣區(qū)域之內(nèi)?；诖朔N辦法，不僅大大減小了搜索的區(qū)域，提高了跟蹤的效率，而且由于避免了在不必要位置的匹配，因此有利于抑制在跟蹤過程中的跟蹤漂移和錯誤匹配，另外，該跟蹤感興趣區(qū)域的限制，也潛在地提醒用戶手勢運動不宜過快，抑制快速運動中形成運動模糊從而降低跟蹤質(zhì)量的情況，有效抑制跟蹤過程中在人臉、脖子、胳膊等膚色區(qū)域的錯誤匹配。
[0084]S103:在所述跟蹤感興趣區(qū)域內(nèi)，根據(jù)所述初級預(yù)測模型預(yù)測所述被跟蹤目標在所述當(dāng)前幀中的狀態(tài)。
[0085]具體的，在單目標跟蹤系統(tǒng)獲取了當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運動限制區(qū)域之后，在跟蹤感興趣區(qū)域之內(nèi)根據(jù)被跟蹤目標最近一次被更新的狀態(tài)預(yù)測被跟蹤目標在當(dāng)前幀中的狀態(tài)，該預(yù)測的狀態(tài)可以包括被跟蹤目標的位置信息、被跟蹤目標的大小(縮放尺度信息)、被跟蹤目標的形變信息、被跟蹤目標的方向信息等;此處列舉幾項比較實用的快速跟蹤預(yù)測方法:
[0086](a)用顏色直方圖表達被跟蹤目標像素值的分布，基于該顏色直方圖計算源圖像的反向傳播圖像P，根據(jù)P進行camshif t跟蹤；
[0087](b)根據(jù)膚色模型計算膚色隸屬度圖P，P在某點的像素值代表該點是膚色點的概率，根據(jù)P進行camshift跟蹤；
[0088](c)以源圖像/分塊、LBP直方圖/分塊、梯度方向直方圖、Haar特征等作為圖像描述，結(jié)合粒子濾波的方法進行跟蹤；
[0089](d)在圖像上選取隨機點，或者均勻剖分形成的網(wǎng)格點、或者檢測出如Harris角點、尺度不變特征變換(Scale-1nvariant feature transform，簡稱SIFT)/加速穩(wěn)健特征(Speeded Up Robust Features，簡稱SURF)特征點，對這些點基于光流法做跟蹤，對跟蹤的結(jié)果做綜合分析得到目標的狀態(tài)。
[0090]上述跟蹤預(yù)測方法從根本上說，都是在某區(qū)域范圍所包含的被跟蹤目標的所有候選狀態(tài)中(被跟蹤目標在圖像中的不同位置、不同的尺度信息，即被跟蹤目標在當(dāng)前幀視頻圖像中有很多的可能取值)，尋找與初始預(yù)測模型匹配度最高者，或者說通過某種方法從該區(qū)域中產(chǎn)生一系列候選狀態(tài)，并從中選取最佳匹配者S。但是這個最佳匹配者S不一定就是真實的被跟蹤目標的狀態(tài)，因此需要對其進行驗證。參見下述S104和S105的過程。
[0091 ] S104:根據(jù)所述被跟蹤目標在所述當(dāng)前幀中的狀態(tài)，確定所述被跟蹤目標所在的目標圖像。
[0092]S105:根據(jù)所述第二描述方式在所述目標圖像中提取所述被跟蹤目標的高級特征，并判斷在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度是否大于或者等于預(yù)設(shè)的相似度閾值，以及判斷在所述目標圖像上所述被跟蹤目標的當(dāng)前位置是否位于所述運動限制區(qū)域內(nèi)。
[0093]具體的，在預(yù)測了被跟蹤目標在當(dāng)前幀中的狀態(tài)后，單目標跟蹤系統(tǒng)根據(jù)上述被跟蹤目標在當(dāng)前幀中的狀態(tài)，確定被跟蹤目標所在的目標圖像，該目標圖像可以是當(dāng)前幀中的彩色圖像。由于上述預(yù)測的被跟蹤目標在當(dāng)前幀的狀態(tài)不一定精準，因此，采用驗證模型對所預(yù)測的狀態(tài)進行驗證。即，根據(jù)驗證模型中的用于驗證的第二描述方式，從狀態(tài)S所對應(yīng)的目標圖像中，提取被跟蹤目標的高級特征，并與驗證模型中的高級特征作對比，判斷在上述目標圖像中提取的被跟蹤目標的高級特征與驗證模型的匹配度是否大于預(yù)設(shè)的相似度閾值，并判斷在上述目標圖像上所述被跟蹤目標的當(dāng)前位置是否位于運動限制區(qū)域內(nèi)。
[0094]S106:若所述在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度大于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置位于所述運動限制區(qū)域內(nèi)，則確定所述被跟蹤目標跟蹤成功。
[0095]具體的，如果在上述目標圖像中提取的被跟蹤目標的高級特征與驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，在上述目標圖像上所述被跟蹤目標的當(dāng)前位置位于運動限制區(qū)域內(nèi)，則確定跟蹤成功，否則認為跟蹤失敗或者無效。這里導(dǎo)致跟蹤失敗或者無效的原因可能有如下:
[0096](a)按照Ω V中所述第二描述方式在目標圖像中提取的被跟蹤目標的高級特征，與驗證模型的匹配度小于預(yù)設(shè)的相似度閾值，匹配失敗；
[0097](b)在上述目標圖像上所述被跟蹤目標的當(dāng)前位置超出了上述運動限制區(qū)域。
[0098]可選的，在本發(fā)明實施例中，所對應(yīng)的初級預(yù)測模型的預(yù)測方案可以是顏色直方圖+camshift，則上述驗證模型所采用的用于預(yù)測驗證的第二描述方式可以包括:分塊LBP紋理直方圖以及輪廓方向梯度(Histogram of Oriented Gradients，簡稱HOG)直方圖。
[0099]本發(fā)明提供的目標跟蹤方法，通過獲取初級預(yù)測模型和驗證模型，并根據(jù)被跟蹤目標最近一次被更新的狀態(tài)，確定被跟蹤目標在當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運動限制區(qū)域，進而在該跟蹤感興趣區(qū)域內(nèi)結(jié)合被跟蹤目標最近一次被更新的狀態(tài)和初級預(yù)測模型預(yù)測被跟蹤目標在當(dāng)前幀的狀態(tài)，并采用驗證模型和運動限制區(qū)域?qū)λA(yù)測的被跟蹤目標在當(dāng)前幀的狀態(tài)進行驗證，確定跟蹤的準確性，由于初級預(yù)測模型中的第一描述方式較為簡單，因此提高了跟蹤預(yù)測的效率，從而也就提高了跟蹤的效率，另外，由于驗證模型中的第二描述方式的復(fù)雜度優(yōu)于第一描述方式，使得其在目標圖像中對被跟蹤目標的特征提起更加詳盡，確保了預(yù)測驗證的有效性，進一步提高了跟蹤結(jié)果的魯棒性。進一步地，由于上述跟蹤感興趣區(qū)域和運動限制區(qū)域的設(shè)定，不僅大大減小了搜索的區(qū)域，提高了跟蹤的效率，而且由于避免了在不必要位置的匹配，因此有利于抑制在跟蹤過程中的跟蹤漂移和錯誤匹配。
[0100]圖2為本發(fā)明提供的目標跟蹤方法實施例二的流程示意圖。本實施例涉及的是在當(dāng)前幀視頻圖像的跟蹤感興趣區(qū)域內(nèi)進行局部檢測，以確定是否更新當(dāng)前的被跟蹤目標的模型的具體過程。在上述實施例的基礎(chǔ)上，進一步地，上述方法還可以包括:
[0101]S201:在所述跟蹤感興趣區(qū)域內(nèi)檢測是否存在除所述被跟蹤目標之外的其他預(yù)定義目標，獲得檢測結(jié)果。
[0102]具體的，以被跟蹤目標為手勢為例，在手勢識別中，不僅需要通過跟蹤獲得運動的人手的軌跡，而且需要識別該過程中每一幀圖像中人手的姿態(tài)，即靜態(tài)手勢的類型。許多系統(tǒng)是通過對上述預(yù)測狀態(tài)S所對應(yīng)的目標圖像做識別來實現(xiàn)跟蹤中的靜態(tài)手勢的識別，但是這存在如下兩方面的問題，其一，當(dāng)跟蹤逐漸發(fā)生漂移的時候，預(yù)測狀態(tài)S所對應(yīng)的目標圖像并不完全與真正的手勢區(qū)域吻合，比如可能是以手腕為心的人手和手勢的一部分，此時對該區(qū)域做識別，識別結(jié)果就會不準確;其二，即便是在正確跟蹤的情況，僅僅對預(yù)測狀態(tài)S所對應(yīng)的目標圖像做一次性識別，識別錯誤的概率也是比較大的。鑒于此，本發(fā)明實施例提出在上述的跟蹤感興趣區(qū)域內(nèi)，使用多尺度滑動窗口檢測的方案，對被跟蹤手勢(即被跟蹤目標)之外的其他預(yù)定義手勢(即其他預(yù)定義目標)進行檢測，其中的窗口尺度會根據(jù)被跟蹤目標在當(dāng)前幀的當(dāng)前狀態(tài)來設(shè)置。對每一類手勢檢測到的目標窗口進行聚類，得到若干個簇，在所有手勢對應(yīng)的窗口簇中選擇出一個置信度最高者，計算其對應(yīng)在當(dāng)前幀視頻圖像中的手勢位置和手勢類型，則檢測結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在其他預(yù)定義手勢，且所述其他預(yù)定義手勢在當(dāng)前幀視頻圖像中的位置和手勢類型。如果任何一類都沒有檢測到目標窗口(即在跟蹤感興趣區(qū)域內(nèi)沒有檢測到除所述被跟蹤手勢之外的其他預(yù)定義手勢)，或者經(jīng)過聚類沒有符合預(yù)設(shè)要求的簇，則檢測結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)不存在其他預(yù)定義手勢。
[0103]S202:根據(jù)所述檢測結(jié)果確定是否重新初始化所述被跟蹤目標的模型。
[0104]具體的，繼續(xù)以被跟蹤目標為手勢為例，若上述檢測結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在其他預(yù)定義手勢，該檢測結(jié)果包含了所述其他預(yù)定義手勢在當(dāng)前幀視頻圖像中的位置和手勢類型，則認為跟蹤中有手勢姿態(tài)的變化，即在跟蹤過程中手勢發(fā)生了形變，則單目標跟蹤系統(tǒng)會根據(jù)所檢測到的其他預(yù)定義手勢重新初始化上述被跟蹤目標的模型。
[0105]若上述檢測結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)不存在其他預(yù)定義手勢，且所述被跟蹤手勢在所述當(dāng)前幀跟蹤失敗，則不對上述被跟蹤目標的模型進行更新，即上述對當(dāng)前幀手勢姿態(tài)的分類結(jié)果即為被跟蹤目標的模型中所記錄的手勢姿態(tài)。
[0106]若上述檢測結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)不存在其他預(yù)定義手勢，且所述被跟蹤手勢在所述當(dāng)前幀跟蹤成功，則對上述被跟蹤目標的模型中進行參數(shù)修正(參數(shù)修正不等于上述的重新初始化)，例如，修正被跟蹤手勢的位置、尺度等。在跟蹤驗證成功的情況下，為了讓被跟蹤目標的模型能夠適應(yīng)運動中被跟蹤目標表觀的緩慢變化，需要對被跟蹤目標的模型做漸進式更新(即參數(shù)修正)，更新算法需要依據(jù)被跟蹤目標的模型中具體所用的特征、以及預(yù)測方法和驗證方法來定。下面列舉幾種描述方式及其相應(yīng)的可用更新方法:
[0107](a)若被跟蹤目標的模型采用的是基于顏色直方圖+cam-shift的描述方式，則在進行被跟蹤目標的參數(shù)修正(漸進式更新)時可以采用顏色直方圖更新方式H(i)=aH(i) +(l-a)Ht(i)，其中H(i)代表直方圖的第i個元素，Ht代表當(dāng)前預(yù)測狀態(tài)S所對應(yīng)的目標圖像的顏色直方圖。
[0108](b)若被跟蹤目標的模型采用的是基于尺寸歸一化的源圖像+粒子濾波的描述方式，目標表觀所有圖像所張成的子空間作為模型表示;則在進行被跟蹤目標的參數(shù)修正(漸進式更新)時，可以通過計算粒子與子空間的距離來計算粒子權(quán)重，每隔一定的視頻幀，積累一定的正樣本數(shù)量，可以通過增量式PCA分解來來對子空間做更新。
[0?09] (c)若被跟蹤目標的模型采用的是基于圖像特征點(Harris/Aff inr Harris/SIFT/SURF等等)+粒子濾波的描述方式，使用特征點所構(gòu)成的碼書或者字典來進行模型表示，使用粒子圖像的特征點與碼書或者字典的匹配度作為粒子的權(quán)重；則在進行被跟蹤目標的參數(shù)修正(漸進式更新)時，通過新狀態(tài)中的目標圖像的特征對碼書/字典進行更新。
[0110]上述使用滑動窗口檢測結(jié)果做分類來提高分類準確度，是基于這一過程中會產(chǎn)生大量包含有被跟蹤手勢的窗口，采用多次分類的置信度比單一次的置信度要高。該方法可以提高跟蹤當(dāng)中對靜態(tài)手勢分類的精度，并且解決了手勢突變，而被跟蹤目標的模型來不及學(xué)習(xí)所導(dǎo)致的跟蹤失敗(因為通常在手勢從一種變?yōu)榱硪环N的時候，中間會發(fā)生漂移，已經(jīng)導(dǎo)致了跟蹤上的錯誤)，并且不容易發(fā)生誤檢率。
[0111]本發(fā)明提供的目標跟蹤方法，不僅提高了跟蹤預(yù)測的效率和魯棒性，并且，由于上述跟蹤感興趣區(qū)域和運動限制區(qū)域的設(shè)定，大大減小了搜索的區(qū)域，提高了跟蹤的效率，而且由于避免了在不必要位置的匹配，因此有利于抑制在跟蹤過程中的跟蹤漂移和錯誤匹配。同時，通過在當(dāng)前幀視頻圖像的跟蹤感興趣區(qū)域內(nèi)檢測是否存在除被跟蹤目標之外的其他預(yù)定義目標，獲得檢測結(jié)果，并通過結(jié)合檢測結(jié)果和跟蹤結(jié)果(跟蹤失敗或者成功)，來確?？梢约皶r重新初始化被跟蹤目標的模型，解決了因手勢突變而被跟蹤目標的模型來不及學(xué)習(xí)所導(dǎo)致的跟蹤失敗的問題，并且，采用多尺度滑動窗口檢測的方法，提高了跟蹤當(dāng)中對靜態(tài)手勢識別的精度。
[0112]圖3為本發(fā)明提供的目標跟蹤方法實施例三的流程示意圖。本實施例涉及的是在上述目標圖像中提取的被跟蹤目標的高級特征與驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置沒有位于所述運動限制區(qū)域內(nèi)時，上述單目標跟蹤系統(tǒng)確定被跟蹤目標是永久丟失還是短暫性丟失，以進一步確定是否是真正的跟蹤失敗的具體過程。在上述實施例的基礎(chǔ)上，進一步地，該方法還可以包括:
[0113]步驟A:根據(jù)被跟蹤目標最近一次被更新的狀態(tài)，確定所述被跟蹤目標在下一幀的跟蹤感興趣區(qū)域。
[0114]具體的，在上述目標圖像中提取的被跟蹤目標的高級特征與驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置沒有位于所述運動限制區(qū)域內(nèi)時，說明被跟蹤目標跟蹤失敗，則單目標跟蹤系統(tǒng)根據(jù)被跟蹤目標最近一次被更新的狀態(tài)(最近一次被更新的狀態(tài)可以參見上述實施例一的描述)，確定該被跟蹤目標在當(dāng)前幀的下一幀的跟蹤感興趣區(qū)域。
[0115]步驟B:根據(jù)所述被跟蹤目標在下一幀的跟蹤感興趣區(qū)域、所述運動限制區(qū)域、所述初級預(yù)測模型和所述驗證模型，確定在下一幀所述被跟蹤目標是否跟蹤成功。
[0116]具體的，當(dāng)上述系統(tǒng)確定被跟蹤目標在下一幀的跟蹤感興趣區(qū)域(設(shè)為A)之后，系統(tǒng)在該區(qū)域內(nèi)采用上述初級預(yù)測模型預(yù)測被跟蹤目標在下一幀中的狀態(tài)，并確定被跟蹤目標在下一幀中的狀態(tài)對應(yīng)的目標圖像(設(shè)為P)，然后在該目標圖像上提取被跟蹤目標的高級特征，從而判斷該高級特征與上述驗證模型的匹配度是否大于或者等于上述相似度閾值，并判斷被跟蹤目標在目標圖像P中的位置是否位于運動限制區(qū)域(運動限制區(qū)域的位置是不變的)內(nèi)，以確定在下一幀被跟蹤目標是否跟蹤成功。該步驟B的具體過程可以參照上述實施例一中的S102-S106的具體描述，僅將其中的當(dāng)前幀更改為下一幀即可。
[0117]步驟C:若跟蹤失敗，則返回步驟A，若跟蹤失敗的次數(shù)達到預(yù)設(shè)次數(shù)時，確定所述被跟蹤目標為永久丟失狀態(tài)，停止跟蹤。
[0118]具體的，當(dāng)確定被跟蹤目標在下一幀跟蹤失敗時，則單目標跟蹤系統(tǒng)再次根據(jù)被跟蹤目標最近一次被更新的狀態(tài)確定被跟蹤目標在當(dāng)前幀的下下一幀的跟蹤感興趣區(qū)域，然后再次根據(jù)被跟蹤目標在下下一幀的跟蹤感興趣區(qū)域、所述運動限制區(qū)域、所述初級預(yù)測模型和所述驗證模型，確定在下下一幀所述被跟蹤目標是否跟蹤成功，以此類推。若跟蹤失敗的次數(shù)達到預(yù)設(shè)次數(shù)時，則確定被跟蹤目標為永久丟失狀態(tài)，停止跟蹤，若跟蹤失敗的次數(shù)還沒有預(yù)設(shè)次數(shù)就已經(jīng)跟蹤成功，則確定被跟蹤目標為短暫丟失狀態(tài)。
[0119]例如，參見圖4所示的跟蹤感興趣和運動限制區(qū)域示意圖，M矩形框代表被跟蹤手勢區(qū)域，N矩形框所圍的為跟蹤感興趣區(qū)域，O矩形框所圍區(qū)域為根據(jù)手勢的初始位置所確定的運動限制區(qū)域。
[0120]在圖4中的t0時刻檢測到“拳頭”手勢，tl?t7為該檢測所啟動的跟蹤進程中按照時間先后順序所選取的若干幀;運動限制區(qū)域由to時刻的手勢狀態(tài)所確定，在本次跟蹤進程中該運動限制區(qū)域保持不變;跟蹤感興趣區(qū)域隨著手勢的移動得到動態(tài)調(diào)整，如t6和t7時刻跟蹤狀態(tài)所示，此時跟蹤的結(jié)果表明人手已經(jīng)移動出了運動限制區(qū)域，此時被跟蹤手勢會被聲明為短暫丟失狀態(tài)，根據(jù)被跟蹤目標最近一次被更新的狀態(tài)(即被成功跟蹤的狀態(tài))來確定新的跟蹤感興趣區(qū)域，在此區(qū)域內(nèi)繼續(xù)進行跟蹤，直到重新在運動限制區(qū)域內(nèi)檢測到被跟蹤手勢(即跟蹤失敗的次數(shù)還沒有預(yù)設(shè)次數(shù)就已經(jīng)跟蹤成功)，或者被跟蹤目標的狀態(tài)由暫時性丟失轉(zhuǎn)化為永久丟失(即跟蹤失敗的次數(shù)達到預(yù)設(shè)次數(shù))時停止跟蹤進程。[0121 ]本發(fā)明提供的目標跟蹤方法，在被跟蹤目標丟失之后，仍然在丟失區(qū)域附近進行數(shù)幀檢測，抑制由于目標短暫丟失所造成的跟蹤中斷問題，進一步提高了跟蹤的魯棒性。
[0122]圖5為本發(fā)明提供的目標跟蹤方法實施例四的流程示意圖。本實施例涉及的是將被跟蹤目標在當(dāng)前幀中的跟蹤狀態(tài)和上述檢測結(jié)果進行顯示，用戶觀測到該跟蹤狀態(tài)和檢測結(jié)果后，若發(fā)現(xiàn)跟蹤失敗或者無效，可以觸發(fā)單目標跟蹤系統(tǒng)及時停止跟蹤進程的具體過程。在上述實施例的基礎(chǔ)上，進一步地，上述方法還可以包括:
[0123]S401:將所述被跟蹤目標在所述當(dāng)前幀中的跟蹤狀態(tài)和所述檢測結(jié)果進行顯示。
[0124]具體的，本實施例中，被跟蹤目標為手勢。當(dāng)單目標跟蹤系統(tǒng)確定了最終被跟蹤目標的跟蹤結(jié)果后(無論是跟蹤成功還是失敗)，均將該被跟蹤目標在每一幀的處理結(jié)果(檢測結(jié)果和跟蹤狀態(tài))在每一幀的視頻圖像里面做標記，可以讓用戶觀察到系統(tǒng)當(dāng)前的處理結(jié)果，從而讓用戶直觀的看到當(dāng)前是否發(fā)生了跟蹤漂移或者跟蹤丟失的問題，尤其是漂移到錯誤的背景上的時候，單目標跟蹤系統(tǒng)可能因處于跟蹤階段，從而無法啟動新的手勢識別進程。而這種錯誤一旦發(fā)生，由于在線學(xué)習(xí)的原因，反而更加難以得到糾正。但是本實施例中通過將被跟蹤目標在所述當(dāng)前幀中的跟蹤狀態(tài)和檢測結(jié)果進行顯示，用戶可以觀察到這種錯誤，因此可以確定是否采取主動措施終止跟蹤進程。
[0125]本實施例中，可選的，單目標跟蹤系統(tǒng)可以在智能電視硬件支持下的android平臺進行測試，硬件配置可以為處理器主頻為700MHz，系統(tǒng)內(nèi)存可以為200M，通過USB借口連接的普通WEB攝像頭進行視頻捕捉，若跟蹤進程啟動，被跟蹤目標在當(dāng)前幀中的跟蹤狀態(tài)和檢測結(jié)果可以在電視的屏幕上進行顯示。該單目標跟蹤系統(tǒng)的設(shè)備成本低，除了作為載體的智能設(shè)備之外，只需要一個普通攝像頭，即可實現(xiàn)對人手的跟蹤，而無需額外的穿戴式設(shè)備。
[0126]S402:判斷是否檢測到預(yù)設(shè)的用戶行為。
[0127]S403:若是，則停止跟蹤。
[0128]具體的，當(dāng)用戶觀察到當(dāng)前的跟蹤進程出現(xiàn)了跟蹤漂移或者其他跟蹤錯誤，用戶可以向單目標跟蹤系統(tǒng)輸入預(yù)設(shè)的用戶行為，單目標跟蹤系統(tǒng)可以通過攝像頭獲得用戶的行為，當(dāng)判斷用戶的行為為預(yù)設(shè)的用戶行為時，則單目標跟蹤系統(tǒng)確定當(dāng)前跟蹤進程出現(xiàn)問題，及時停止跟蹤。
[0129]可選的，該預(yù)設(shè)的用戶行為可以為反復(fù)性揮手操作。反復(fù)性的揮手操作指的是，以某點為心，在周圍區(qū)域讓手勢做上下左右反復(fù)運動。在跟蹤過程中，對于每一幀在運動限制區(qū)域內(nèi)對該行為做檢測。對此行為的檢測可以通過運動積分圖像來檢測揮手行為，如圖6所示，在任意連續(xù)的兩幀之間計算絕對差分圖像Dt，通過公式Mt+i = (l_a)Mt+aDt來計算t+Ι時刻的運動積分圖像，然后對該運行幾分圖像進行二值化(a代表更新率，a越大更新速度越快)，對mask圖像進行聯(lián)通域分析，如果在運動限制區(qū)域內(nèi)存在大塊的mask聯(lián)通區(qū)域，則認為異常，如果在連續(xù)數(shù)幀中有半數(shù)以上的圖像幀有異常，則認為有“揮手”行為發(fā)生，此時應(yīng)該停止跟蹤。上述反復(fù)性揮手動作可以通過以下方式來影響和技術(shù)錯誤的跟蹤:(a)在被跟蹤目標區(qū)域進行快速揮手動作，被跟蹤目標因為遮擋而發(fā)生丟失，從而導(dǎo)致跟蹤終止；(b)反復(fù)性的快速揮手操作，可能因運動模糊造成圖像質(zhì)量下降導(dǎo)致跟蹤失敗，從而導(dǎo)致跟蹤終止；(C)跟蹤中會在運動限制區(qū)域進行揮手行為檢測，一旦檢測到該行為，就認為是用戶在提示有跟蹤錯誤發(fā)生，據(jù)此系統(tǒng)可以終止當(dāng)前的跟蹤。
[0130]本發(fā)明提供的目標跟蹤方法，通過將被跟蹤目標的跟蹤狀態(tài)和檢測結(jié)果進行可視化，使得用戶能夠發(fā)揮主觀能動性參與跟蹤進程的監(jiān)督，并能主動進行糾錯，從而及時結(jié)束錯誤的跟蹤，增強了跟蹤的流暢性的方案。
[0131]本領(lǐng)域普通技術(shù)人員可以理解:實現(xiàn)上述各方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成。前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中。該程序在執(zhí)行時，執(zhí)行包括上述各方法實施例的步驟;而前述的存儲介質(zhì)包括:R0M、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
[0132]圖7為本發(fā)明提供的目標跟蹤裝置實施例一的結(jié)構(gòu)示意圖。如圖7所示，該裝置可以包括:第一獲取模塊10、第二獲取模塊11、預(yù)測模塊12、驗證模塊13和確定模塊14。
[0133]第一獲取模塊10，用于獲取被跟蹤目標的模型，所述被跟蹤目標的模型包括初級預(yù)測模型和驗證模型；其中，所述初級預(yù)測模型包括采用第一描述方式提取的所述被跟蹤目標的低級特征，所述驗證模型包括采用第二描述方式提取的所述被跟蹤目標的高級特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度；
[0134]第二獲取模塊11，用于獲取當(dāng)前幀視頻圖像，并根據(jù)所述被跟蹤目標最近一次被更新的狀態(tài)，確定在所述當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運動限制區(qū)域;其中，所述跟蹤感興趣區(qū)域隨著所述被跟蹤目標的移動進行移動；
[0135]預(yù)測模塊12，用于在所述跟蹤感興趣區(qū)域內(nèi)，根據(jù)所述初級預(yù)測模型預(yù)測所述被跟蹤目標在所述當(dāng)前幀中的狀態(tài)；
[0136]驗證模塊13，用于根據(jù)所述被跟蹤目標在所述當(dāng)前幀中的狀態(tài)，確定所述被跟蹤目標所在的目標圖像，并根據(jù)所述第二描述方式在所述目標圖像中提取所述被跟蹤目標的高級特征，并判斷在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度是否大于或者等于預(yù)設(shè)的相似度閾值，以及判斷在所述目標圖像上所述被跟蹤目標的當(dāng)前位置是否位于所述運動限制區(qū)域內(nèi)；
[0137]確定模塊14，用于在所述驗證模塊13確定在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置位于所述運動限制區(qū)域內(nèi)時，確定所述被跟蹤目標跟蹤成功。
[0138]本發(fā)明提供的目標跟蹤裝置，可以執(zhí)行上述方法實施例，其實現(xiàn)原理和技術(shù)效果類似，在此不再贅述。
[0139]進一步地，繼續(xù)參見圖7，若所述在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置沒有位于所述運動限制區(qū)域內(nèi)，則所述第二獲取模塊U，還用于根據(jù)被跟蹤目標最近一次被更新的狀態(tài)，確定所述被跟蹤目標在下一幀的跟蹤感興趣區(qū)域；
[0140]所述確定模塊14，還用于根據(jù)所述被跟蹤目標在下一幀的跟蹤感興趣區(qū)域、所述運動限制區(qū)域、所述初級預(yù)測模型和所述驗證模型，確定在下一幀所述被跟蹤目標是否跟蹤成功，并且還用于在確定跟蹤失敗時，重新指示所述第二獲取模塊11繼續(xù)根據(jù)被跟蹤目標最近一次被更新的狀態(tài)，確定所述被跟蹤目標在下下一幀的跟蹤感興趣區(qū)域，直至跟蹤失敗的次數(shù)達到預(yù)設(shè)次數(shù)時，則確定所述被跟蹤目標為永久丟失狀態(tài)，指示所述裝置停止跟蹤。
[0141]圖8為本發(fā)明提供的目標跟蹤裝置實施例二的結(jié)構(gòu)示意圖。在上述圖7所示實施例的基礎(chǔ)上，進一步地，如圖8所示，上述裝置還可以包括:
[0142]檢測模塊15，用于在所述跟蹤感興趣區(qū)域內(nèi)檢測是否存在除所述被跟蹤目標之外的其他預(yù)定義目標，獲得檢測結(jié)果；
[0143]處理模塊16，用于根據(jù)所述檢測結(jié)果確定是否重新初始化所述被跟蹤目標的模型。
[0144]進一步地，繼續(xù)參見圖8，所述處理模塊16，包括:
[0145]第一處理單元161，用于在所述檢測結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在所述其他預(yù)定義目標時，根據(jù)所述其他預(yù)定義目標重新初始化所述被跟蹤目標的模型；
[0146]第二處理單元162，用于在所述檢測結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他被跟蹤目標，且所述被跟蹤目標在所述當(dāng)前幀跟蹤失敗時，不對所述被跟蹤目標的模型進行更新；
[0147]第三處理單元163，用于在所述檢測結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他預(yù)定義目標，且所述被跟蹤目標在所述當(dāng)前幀跟蹤成功時，對所述被跟蹤目標的模型中進行參數(shù)修正。
[0148]本發(fā)明提供的目標跟蹤裝置，可以執(zhí)行上述方法實施例，其實現(xiàn)原理和技術(shù)效果類似，在此不再贅述。
[0149]圖9為本發(fā)明提供的目標跟蹤裝置實施例三的結(jié)構(gòu)示意圖。在上述圖8所示實施例的基礎(chǔ)上，進一步地，如圖9所示，上述裝置還可以包括:顯示模塊17，用于將所述被跟蹤目標在所述當(dāng)前幀中的跟蹤狀態(tài)和所述檢測結(jié)果進行顯示。進一步地，還可以包括判斷模塊18，用于判斷是否檢測到預(yù)設(shè)的用戶行為，并在判斷檢測到預(yù)設(shè)的用戶行為時，指示所述裝置停止跟蹤。
[0150]進一步地，所述被跟蹤目標為手勢。
[0151]本發(fā)明提供的目標跟蹤裝置，可以執(zhí)行上述方法實施例，其實現(xiàn)原理和技術(shù)效果類似，在此不再贅述。
[0152]最后應(yīng)說明的是:以上各實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制;盡管參照前述各實施例對本發(fā)明進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分或者全部技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的范圍。
【主權(quán)項】
1.一種目標跟蹤方法，其特征在于，包括: 獲取被跟蹤目標的模型，所述被跟蹤目標的模型包括初級預(yù)測模型和驗證模型;其中，所述初級預(yù)測模型包括采用第一描述方式提取的所述被跟蹤目標的低級特征，所述驗證模型包括采用第二描述方式提取的所述被跟蹤目標的高級特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度； 獲取當(dāng)前幀視頻圖像，并根據(jù)所述被跟蹤目標最近一次被更新的狀態(tài)，確定在所述當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運動限制區(qū)域;其中，所述跟蹤感興趣區(qū)域隨著所述被跟蹤目標的移動進行移動； 在所述跟蹤感興趣區(qū)域內(nèi)，根據(jù)所述初級預(yù)測模型預(yù)測所述被跟蹤目標在所述當(dāng)前幀中的狀態(tài)； 根據(jù)所述被跟蹤目標在所述當(dāng)前幀中的狀態(tài)，確定所述被跟蹤目標所在的目標圖像； 根據(jù)所述第二描述方式在所述目標圖像中提取所述被跟蹤目標的高級特征，并判斷在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度是否大于或者等于預(yù)設(shè)的相似度閾值，以及判斷在所述目標圖像上所述被跟蹤目標的當(dāng)前位置是否位于所述運動限制區(qū)域內(nèi)； 若所述在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置位于所述運動限制區(qū)域內(nèi)，則確定所述被跟蹤目標跟蹤成功。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括: 在所述跟蹤感興趣區(qū)域內(nèi)檢測是否存在除所述被跟蹤目標之外的其他預(yù)定義目標，獲得檢測結(jié)果； 根據(jù)所述檢測結(jié)果確定是否重新初始化所述被跟蹤目標的模型。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述檢測結(jié)果確定是否重新初始化所述被跟蹤目標的模型，具體包括: 若所述檢測結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在所述其他預(yù)定義目標，則根據(jù)所述其他預(yù)定義目標重新初始化所述被跟蹤目標的模型； 若所述檢測結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他被跟蹤目標，且所述被跟蹤目標在所述當(dāng)前幀跟蹤失敗，則不對所述被跟蹤目標的模型進行更新； 若所述檢測結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他預(yù)定義目標，且所述被跟蹤目標在所述當(dāng)前幀跟蹤成功，則對所述被跟蹤目標的模型中進行參數(shù)修正。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括: 將所述被跟蹤目標在所述當(dāng)前幀中的跟蹤狀態(tài)和所述檢測結(jié)果進行顯示。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括: 判斷是否檢測到預(yù)設(shè)的用戶行為； 若是，則停止跟蹤。6.根據(jù)權(quán)利要求1-5任一項所述的方法，其特征在于，若所述在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置沒有位于所述運動限制區(qū)域內(nèi)，所述方法還包括: 步驟A:根據(jù)被跟蹤目標最近一次被更新的狀態(tài)，確定所述被跟蹤目標在下一幀的跟蹤感興趣區(qū)域； 步驟B:根據(jù)所述被跟蹤目標在下一幀的跟蹤感興趣區(qū)域、所述運動限制區(qū)域、所述初級預(yù)測模型和所述驗證模型，確定在下一幀所述被跟蹤目標是否跟蹤成功； 步驟C:若跟蹤失敗，則返回步驟A，若跟蹤失敗的次數(shù)達到預(yù)設(shè)次數(shù)時，確定所述被跟蹤目標為永久丟失狀態(tài)，停止跟蹤。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述被跟蹤目標為手勢。8.—種目標跟蹤裝置，其特征在于，包括: 第一獲取模塊，用于獲取被跟蹤目標的模型，所述被跟蹤目標的模型包括初級預(yù)測模型和驗證模型；其中，所述初級預(yù)測模型包括采用第一描述方式提取的所述被跟蹤目標的低級特征，所述驗證模型包括采用第二描述方式提取的所述被跟蹤目標的高級特征，所述第一描述方式的復(fù)雜度小于所述第二描述方式的復(fù)雜度； 第二獲取模塊，用于獲取當(dāng)前幀視頻圖像，并根據(jù)所述被跟蹤目標最近一次被更新的狀態(tài)，確定在所述當(dāng)前幀視頻圖像上的跟蹤感興趣區(qū)域和運動限制區(qū)域;其中，所述跟蹤感興趣區(qū)域隨著所述被跟蹤目標的移動進行移動； 預(yù)測模塊，用于在所述跟蹤感興趣區(qū)域內(nèi)，根據(jù)所述初級預(yù)測模型預(yù)測所述被跟蹤目標在所述當(dāng)前幀中的狀態(tài)； 驗證模塊，用于根據(jù)所述被跟蹤目標在所述當(dāng)前幀中的狀態(tài)，確定所述被跟蹤目標所在的目標圖像，并根據(jù)所述第二描述方式在所述目標圖像中提取所述被跟蹤目標的高級特征，并判斷在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度是否大于或者等于預(yù)設(shè)的相似度閾值，以及判斷在所述目標圖像上所述被跟蹤目標的當(dāng)前位置是否位于所述運動限制區(qū)域內(nèi)； 確定模塊，用于在所述驗證模塊確定在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置位于所述運動限制區(qū)域內(nèi)時，確定所述被跟蹤目標跟蹤成功。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述裝置還包括: 檢測模塊，用于在所述跟蹤感興趣區(qū)域內(nèi)檢測是否存在除所述被跟蹤目標之外的其他預(yù)定義目標，獲得檢測結(jié)果； 處理模塊，用于根據(jù)所述檢測結(jié)果確定是否重新初始化所述被跟蹤目標的模型。10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述處理模塊，包括: 第一處理單元，用于在所述檢測結(jié)果為在所述跟蹤感興趣區(qū)域內(nèi)存在所述其他預(yù)定義目標時，根據(jù)所述其他預(yù)定義目標重新初始化所述被跟蹤目標的模型；第二處理單元，用于在所述檢測結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他被跟蹤目標，且所述被跟蹤目標在所述當(dāng)前幀跟蹤失敗時，不對所述被跟蹤目標的模型進行更新；第三處理單元，用于在所述檢測結(jié)果為所述跟蹤感興趣區(qū)域內(nèi)不存在所述其他預(yù)定義目標，且所述被跟蹤目標在所述當(dāng)前幀跟蹤成功時，對所述被跟蹤目標的模型中進行參數(shù)修正。11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述裝置還包括: 顯示模塊，用于將所述被跟蹤目標在所述當(dāng)前幀中的跟蹤狀態(tài)和所述檢測結(jié)果進行顯 不O12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述裝置還包括: 判斷模塊，用于判斷是否檢測到預(yù)設(shè)的用戶行為，并在判斷檢測到預(yù)設(shè)的用戶行為時，指示所述裝置停止跟蹤。13.根據(jù)權(quán)利要求8-12任一項所述的裝置，其特征在于，若所述在所述目標圖像中提取的被跟蹤目標的高級特征與所述驗證模型的匹配度大于或者等于預(yù)設(shè)的相似度閾值，且在所述目標圖像上所述被跟蹤目標的當(dāng)前位置沒有位于所述運動限制區(qū)域內(nèi)，則 所述第二獲取模塊，還用于根據(jù)被跟蹤目標最近一次被更新的狀態(tài)，確定所述被跟蹤目標在下一幀的跟蹤感興趣區(qū)域； 所述確定模塊，還用于根據(jù)所述被跟蹤目標在下一幀的跟蹤感興趣區(qū)域、所述運動限制區(qū)域、所述初級預(yù)測模型和所述驗證模型，確定在下一幀所述被跟蹤目標是否跟蹤成功，并且還用于在確定跟蹤失敗時，重新指示所述第二獲取模塊繼續(xù)根據(jù)被跟蹤目標最近一次被更新的狀態(tài)，確定所述被跟蹤目標在下下一幀的跟蹤感興趣區(qū)域，直至跟蹤失敗的次數(shù)達到預(yù)設(shè)次數(shù)時，則確定所述被跟蹤目標為永久丟失狀態(tài)，指示所述裝置停止跟蹤。14.根據(jù)權(quán)利要求13所述的裝置，其特征在于，所述被跟蹤目標為手勢。
【文檔編號】G06T7/20GK105825524SQ201610137587
【公開日】2016年8月3日
【申請日】2016年3月10日
【發(fā)明人】趙顏果, 沈錦祥
【申請人】浙江生輝照明有限公司