檢測(cè)對(duì)象的特定部位的方法及圖像處理設(shè)備的制作方法
【專利摘要】本發(fā)明公開了一種檢測(cè)對(duì)象的特定部位的方法和圖像處理設(shè)備。所述方法包括：接收所捕獲的至少一幅深度圖像和至少一幅彩色圖像；從所述深度圖像檢測(cè)一對(duì)象；基于深度圖像中檢測(cè)到的對(duì)象確定感興趣區(qū)域；利用所述感興趣區(qū)域從彩色圖像中檢測(cè)所述對(duì)象的特定部位。利用上述方案，提高了檢測(cè)和跟蹤對(duì)象的特定部位(例如人臉或人眼)的可靠性和速度。
【專利說(shuō)明】檢測(cè)對(duì)象的特定部位的方法及圖像處理設(shè)備
【技術(shù)領(lǐng)域】
[0001]本申請(qǐng)的實(shí)施例涉及圖像處理和模式識(shí)別，具體涉及一種檢測(cè)、跟蹤對(duì)象的特定部位的方法和相應(yīng)的圖像處理設(shè)備。
【背景技術(shù)】
[0002]近年來(lái)，圖像處理和模式識(shí)別技術(shù)已經(jīng)得到了廣泛的應(yīng)用。例如，利用圖像處理技術(shù)對(duì)捕獲的行人的人臉進(jìn)行識(shí)別，從而確定要跟蹤的對(duì)象?；蛘撸冒惭b在戶外廣告牌上的攝像頭對(duì)行人的人臉或人眼進(jìn)行識(shí)別和跟蹤，來(lái)計(jì)算人們對(duì)廣告的關(guān)注度。
[0003]專利文獻(xiàn)I (CN101216885A)披露了一種基于視頻的行人人臉檢測(cè)與跟蹤算法。該專利文獻(xiàn)提出一種利用運(yùn)動(dòng)物體檢測(cè)和運(yùn)動(dòng)物體跟蹤的算法進(jìn)行視頻分析的行人人臉檢測(cè)與跟蹤的方法。這種算法首先利用運(yùn)動(dòng)分析的方法檢測(cè)行人，然后計(jì)算人體重心并根據(jù)人體重心確定人臉區(qū)域，最后利用膚色模型和模板匹配的方法在人臉區(qū)域中檢測(cè)人臉。
[0004]專利文獻(xiàn)2(CN101477616A)披露了一種人臉檢測(cè)與追蹤方法。該專利文獻(xiàn)通過(guò)計(jì)算機(jī)或具計(jì)算能力的微處理器執(zhí)行人臉檢測(cè)與追蹤，以識(shí)別圖像畫面中的人臉及其所在位置。該方法首先進(jìn)行人臉檢測(cè)，以找出圖像畫面中的人臉；接著，在每幀畫面進(jìn)行人臉追蹤，以追蹤找到的人臉在此幀畫面中的位置，并記錄這些人臉?biāo)幍奈恢?；在間隔數(shù)幀畫面后，在略過(guò)已發(fā)現(xiàn)的人臉?biāo)谖恢玫那闆r下，再次對(duì)圖像畫面進(jìn)行一次人臉檢測(cè)，以便能快速地檢測(cè)到其他可能新加入的人臉。
[0005]專利文獻(xiàn)3(CN102147855A)披露了一種戶外廣告收視率統(tǒng)計(jì)的方法和裝置。此該專利文獻(xiàn)介紹了一種通過(guò)一個(gè)以上的設(shè)置在戶外廣告上的攝像機(jī)或攝像頭來(lái)獲取戶外廣告前觀眾的圖像、從而確定收視率統(tǒng)計(jì)的方法。該方法中的圖像分析模塊分析并計(jì)算攝像機(jī)或攝像頭所攝取的有效觀眾人數(shù)，傳輸模塊負(fù)責(zé)將所獲取的有效觀眾人數(shù)輸出。通過(guò)在戶外廣告(如多媒體屏幕等)周圍安裝至少一個(gè)攝像頭，利用此攝像頭不停拍照或攝影并將所拍得的照片或所攝取的影像發(fā)送至圖像分析模塊(圖像處理器)進(jìn)行處理；圖像分析模塊對(duì)所接收數(shù)據(jù)進(jìn)行分析，并定位人臉和人眼，接著判斷出其中哪些人在看屏幕，最后統(tǒng)計(jì)觀看屏幕的人數(shù)并輸出。
[0006]但是，上述的圖像處理方法都存在檢測(cè)對(duì)象的特定部位(例如人臉或人眼)可靠性不高并且速度慢的問(wèn)題。

【發(fā)明內(nèi)容】

[0007]考慮到現(xiàn)有技術(shù)的一個(gè)或多個(gè)問(wèn)題，提出了一種檢測(cè)和/或跟蹤對(duì)象的特定部位的方法和相應(yīng)的圖像處理設(shè)備。
[0008]根據(jù)本申請(qǐng)的實(shí)施例，提供了一種檢測(cè)對(duì)象的特定部位的方法，該方法包括:接收所捕獲的至少一幅深度圖像和至少一幅彩色圖像；從所述深度圖像檢測(cè)一對(duì)象；基于深度圖像中檢測(cè)到的對(duì)象確定感興趣區(qū)域；利用所述感興趣區(qū)域從彩色圖像中檢測(cè)所述對(duì)象的特定部位。[0009]根據(jù)本申請(qǐng)的實(shí)施例，提供了一種基于環(huán)形緩沖器跟蹤對(duì)象的特定部位的方法， 包括步驟:在深度圖像中跟蹤一對(duì)象以便基于深度圖像中跟蹤的對(duì)象來(lái)確定感興趣區(qū)域； 將所述感興趣區(qū)域和所捕獲的彩色圖像存儲(chǔ)到環(huán)形緩沖器中；利用所述感興趣區(qū)域從環(huán)形 緩沖器存儲(chǔ)的最新彩色圖像中檢測(cè)該對(duì)象的特定部位，并且將檢測(cè)到的特定部位存儲(chǔ)在環(huán) 形緩沖器中；用所檢測(cè)到的特定部位和所述感興趣區(qū)域從環(huán)形緩沖器中最早的彩色圖像中 跟蹤所述對(duì)象的特定部位，從而獲得跟蹤的特定部位。[0010]根據(jù)本申請(qǐng)的實(shí)施例，提供了一種圖像處理設(shè)備，包括:對(duì)象檢測(cè)單元，從所捕獲 的至少一幅深度圖像檢測(cè)一對(duì)象；感興趣區(qū)域確定單元，基于深度圖像中檢測(cè)到的對(duì)象確 定感興趣區(qū)域；部位檢測(cè)單元，利用所述感興趣區(qū)域從彩色圖像中檢測(cè)所述特定部位。[0011]利用上述方案，提高了在檢測(cè)對(duì)象的特定部位(例如人臉或人眼)時(shí)的可靠性和 速度。【專利附圖】

【附圖說(shuō)明】[0012]從下面結(jié)合附圖的詳細(xì)描述中，本發(fā)明的上述特征和優(yōu)點(diǎn)將更明顯，其中:[0013]圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu)示意圖；[0014]圖2是根據(jù)本發(fā)明的實(shí)施例中的圖像處理設(shè)備中所使用的攝像機(jī)的結(jié)構(gòu)示意圖；[0015]圖3A是描述根據(jù)本發(fā)明的實(shí)施例中的圖像處理設(shè)備從深度圖像中檢測(cè)或者跟蹤 的ROI的一個(gè)例子；[0016]圖3B是描述根據(jù)本發(fā)明的實(shí)施例中的圖像處理設(shè)備從深度圖像中檢測(cè)或跟蹤的 ROI的另一例子；[0017]圖4是描述根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像處理設(shè)備的操作過(guò)程的流程圖；[0018]圖5是根據(jù)本發(fā)明的實(shí)施例的另一圖像處理設(shè)備的結(jié)構(gòu)示意圖；[0019]圖6是描述根據(jù)本發(fā)明的另一實(shí)施例的圖像處理設(shè)備的操作過(guò)程的流程圖；以及[0020]圖7示出了根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備基于循環(huán)緩沖器實(shí)現(xiàn)對(duì)象特定部 位的跟蹤的一個(gè)例子。【具體實(shí)施方式】[0021]下面，參考附圖詳細(xì)說(shuō)明本發(fā)明的優(yōu)選實(shí)施方式。在附圖中，雖然示于不同的附圖 中，但相同的附圖標(biāo)記用于表示相同的或相似的組件。為了清楚和簡(jiǎn)明，包含在這里的已知 的功能和結(jié)構(gòu)的詳細(xì)描述將被省略，否則它們將使本發(fā)明的主題不清楚。[0022]根據(jù)本發(fā)明的一些實(shí)施例，可以針對(duì)一幅或者若干幅圖像對(duì)象的特定部位(例如 人臉、人眼或手等)進(jìn)行檢測(cè)，輸出檢測(cè)的結(jié)果。根據(jù)本發(fā)明的另一些實(shí)施例，還可以在檢 測(cè)的基礎(chǔ)上進(jìn)行對(duì)象或者特定部位的跟蹤，從而實(shí)現(xiàn)對(duì)特定部位的連續(xù)監(jiān)測(cè)或數(shù)據(jù)統(tǒng)計(jì)。[0023]根據(jù)本發(fā)明的一些實(shí)施例的圖像處理設(shè)備，對(duì)象檢測(cè)單元從所捕獲的至少一幅深 度圖像檢測(cè)一對(duì)象。感興趣區(qū)域確定單元基于深度圖像中檢測(cè)的對(duì)象確定感興趣區(qū)域。然 后，部位檢測(cè)單元利用該感興趣區(qū)域從彩色圖像中檢測(cè)所述特定部位。[0024]圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像處理設(shè)備100的結(jié)構(gòu)示意圖。如圖1所示的 圖像處理設(shè)備包括可以同時(shí)捕獲某個(gè)對(duì)象(例如人)的至少一幅深度圖像和至少一幅彩色 圖像的攝像機(jī)110、從所述深度圖像檢測(cè)所述對(duì)象的對(duì)象檢測(cè)單元120、基于深度圖像中檢測(cè)到的對(duì)象確定感興趣區(qū)域ROI的ROI確定單元130、利用感興趣區(qū)域從彩色圖像中檢測(cè)所 述特定部位(例如人臉或者人眼或者其他某個(gè)部位)的部位檢測(cè)單元140和輸出檢測(cè)或跟 蹤結(jié)果的顯示設(shè)備150。[0025]圖2示出了根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備中使用的攝像機(jī)的結(jié)構(gòu)示意圖。如 圖2所示，攝像機(jī)110包括捕獲深度圖像用的透鏡和捕獲彩色圖像用的透鏡。這樣，當(dāng)啟動(dòng) 攝像機(jī)針對(duì)某個(gè)場(chǎng)景進(jìn)行圖像采集時(shí)，攝像機(jī)110就能夠同時(shí)捕獲深度圖像序列(視頻) 和彩色圖像序列(視頻)。[0026]根據(jù)本發(fā)明的實(shí)施例，對(duì)象檢測(cè)單元110和對(duì)象跟蹤單元120可以利用對(duì)象的變 化的深度信息來(lái)從深度圖像中檢測(cè)/跟蹤諸如人體這樣的對(duì)象。利用深度信息來(lái)檢測(cè)/跟 蹤運(yùn)動(dòng)對(duì)象，可以不受光照以及對(duì)象本身的不同顏色等條件的影響，具有較強(qiáng)的應(yīng)用性和 可靠性。ROI確定單元130根據(jù)特定部位與對(duì)象之間的預(yù)定關(guān)系(例如，人頭部在人體中的 大致位置或者人眼在人體中的大致位置或人手在人體中的大致位置等)從跟蹤的對(duì)象中 確定感興趣區(qū)域。[0027]圖3A是描述根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備從深度圖像中檢測(cè)或者跟蹤的 ROI的例子。以人臉檢測(cè)和跟蹤為例，圖3A示出了在跟蹤的人體圖像中確定ROI的過(guò)程。 根據(jù)跟蹤的人體圖像可以得到頭部點(diǎn)Ph和頸部點(diǎn)pn。令頭部點(diǎn)Ph和頸部點(diǎn)Pn之間的距離 為dto,圖3A中的距離(Itl表示為a Xdhn, dl表示為β Xdhn, α和β為根據(jù)不同的需要確 定的參數(shù)。這樣，根據(jù)特定部位和人體之間的預(yù)定關(guān)系可以確定包含特定部位的ROI。[0028]圖3Β是描述根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備從深度圖像中檢測(cè)或跟蹤的ROI 的另一例子。如圖3Β所示，根據(jù)跟蹤人體圖像可以更精確地確定ROI (頭部區(qū)域)。例如將 人體區(qū)域中頸部點(diǎn)Pn以上區(qū)域確定為頭部區(qū)域。再如，由于頸部點(diǎn)Pn的精確度不高，重新 計(jì)算頸部點(diǎn)Ρη，，Ρη，為人體區(qū)域中Pn以上具有相同高度的點(diǎn)組成的線中最短的一條的中心 點(diǎn)，則人體區(qū)域中頸部點(diǎn)Pn,以上區(qū)域?yàn)轭^部區(qū)域。[0029]根據(jù)本發(fā)明的實(shí)施例，部位檢測(cè)單元140基于從深度圖像確定的感興趣區(qū)域(例 如頭部區(qū)域)在彩色圖像中檢測(cè)特定部位(例如人臉或者人眼)。例如，部位檢測(cè)單元140 可以根據(jù)事先訓(xùn)練的人臉模型從彩色圖像上由ROI限定的區(qū)域中檢測(cè)人臉。該人臉模型的 參數(shù)可以從存儲(chǔ)器中讀出，也可以由用戶從外部輸入。[0030]檢測(cè)到特定部位后，顯示設(shè)備150顯示彩色圖像并且在彩色圖像中指示所檢測(cè)的 部位(例如人臉)，或者在檢測(cè)到正面人臉的情況下進(jìn)行計(jì)數(shù)，這樣可以用于例如戶外廣告 統(tǒng)計(jì)等方面。根據(jù)本發(fā)明的另一實(shí)施例，也可以在檢測(cè)到人臉或者人眼后，根據(jù)人臉的表情 或者姿態(tài)控制對(duì)象所關(guān)注的廣告牌的內(nèi)容的顯示?；蛘弋?dāng)攝像機(jī)安裝在計(jì)算機(jī)屏幕或者電 視屏幕上的情況下，根據(jù)檢測(cè)到的人臉的表情或者人眼的姿態(tài)控制屏幕顯示內(nèi)容，例如翻 頁(yè)，滾動(dòng)，關(guān)閉當(dāng)前窗口等操作。[0031]根據(jù)本發(fā)明的實(shí)施例，攝像機(jī)不是圖像處理設(shè)備所必須的一部分。圖像處理設(shè)備 接收到捕獲的深度圖像和彩色圖像就可以進(jìn)行后續(xù)的圖像處理和識(shí)別過(guò)程。另外，如上所 述，檢測(cè)到的部位不一定要顯不出來(lái)，也可以用其他的方式輸出，例如聲音或者光信號(hào)的方 式表示檢測(cè)到了特定的部位。[0032]根據(jù)本發(fā)明的一些實(shí)施例，在檢測(cè)諸如人臉之類的特定部位的方法中，接收針對(duì) 一對(duì)象所捕獲的至少一幅深度圖像和至少一幅彩色圖像。然后從所述深度圖像檢測(cè)所述對(duì)象?；谏疃葓D像中檢測(cè)的對(duì)象確定感興趣區(qū)域。利用感興趣區(qū)域從彩色圖像中檢測(cè)所述特定部位。
[0033]圖4是描述根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像處理設(shè)備的操作過(guò)程的流程圖400。
[0034]在步驟S410，圖像處理設(shè)備接收針對(duì)同一對(duì)象捕獲的深度圖像序列和彩色圖像序列。
[0035]在步驟S420，圖像處理設(shè)備在深度圖像中檢測(cè)對(duì)象，例如人體或者其他的運(yùn)動(dòng)目標(biāo)，如車輛等。
[0036]在步驟S430，基于深度圖像中檢測(cè)的對(duì)象確定感興趣區(qū)域。例如，根據(jù)特定部位與對(duì)象之間的預(yù)定關(guān)系,從檢測(cè)的對(duì)象中確定R0I，該ROI可能包含了特定部位。
[0037]在步驟S440，圖像處理設(shè)備在彩色圖像中由該ROI確定的區(qū)域中檢測(cè)特定部位，例如人臉，人手或者人眼等。例如，利用事先訓(xùn)練的特定部位模型來(lái)從彩色圖像中由所述感興趣區(qū)域限定的區(qū)域中檢測(cè)所述特定部位。
[0038]在步驟S450，顯示彩色圖像并且在彩色圖像中指示檢測(cè)的特定部位。
[0039]在多幅圖像或者視頻的情況下，還可以對(duì)對(duì)象和該特定部位進(jìn)行跟蹤，輸出跟蹤結(jié)果。例如，在多幅深度圖像中跟蹤該對(duì)象，從而跟蹤該感興趣區(qū)域。然后，基于對(duì)該感興趣區(qū)域的跟蹤結(jié)果在彩色圖像中跟蹤該特定部位(例如人臉，人眼或者人手)。例如，可以利用檢測(cè)的特定部位的圖像創(chuàng)建跟蹤器來(lái)在彩色圖像中跟蹤該特定部位。
[0040]根據(jù)本發(fā)明的實(shí)施例，利用感興趣區(qū)域在最新捕獲的彩色圖像中檢測(cè)該特定部位。
[0041]圖5是根據(jù)本發(fā)明實(shí)施例的另一圖像處理設(shè)備500的結(jié)構(gòu)示意圖。在該圖像處理設(shè)備中，不但進(jìn)行對(duì)象和特定部位的檢測(cè)，而且基于對(duì)象的深度視頻和彩色視頻進(jìn)行跟蹤和監(jiān)測(cè)。
[0042]如圖5所示，圖像處理設(shè)備500包括可以同時(shí)捕獲某個(gè)對(duì)象(例如人)的至少一幅深度圖像和至少一幅彩色圖像的攝像機(jī)510、從所述深度圖像檢測(cè)所述對(duì)象的對(duì)象檢測(cè)單元520、基于深度圖像中檢測(cè)的對(duì)象確定感興趣區(qū)域ROI的ROI確定單元530、利用感興趣區(qū)域從彩色圖像中檢測(cè)所述特定部位(例如人臉或者人眼或者其他某個(gè)部位)的部位檢測(cè)單元540、基于檢測(cè)的ROI在深度圖像中跟蹤ROI的ROI跟蹤單元560、利用跟蹤的ROI和檢測(cè)的特定部位在彩色視頻中跟蹤該特定部位的部位跟蹤單元570、和輸出檢測(cè)或跟蹤結(jié)果的顯示設(shè)備550。由于上述的攝像機(jī)510、對(duì)象檢測(cè)單元520、ROI確定單元530、部位檢測(cè)單元540與圖1所示的圖像處理設(shè)備中的攝像機(jī)110、對(duì)象檢測(cè)單元120、ROI確定單元130和部位檢測(cè)單元140基本上相同，因此這里不再詳細(xì)描述，具體參見圖1的實(shí)施例。
[0043]在視頻跟蹤的情況下，ROI跟蹤單元根據(jù)ROI確定單元從對(duì)象檢測(cè)單元520所檢測(cè)的對(duì)象中確定的R0I，持續(xù)跟蹤深度圖像中的R0I。同時(shí)，部位跟蹤單元570利用部位檢測(cè)單元540所檢測(cè)的部位創(chuàng)建跟蹤器來(lái)在彩色視頻中由ROI所限定的區(qū)域中跟蹤特定部位(例如人臉、人眼或人手等)。然后，顯示設(shè)備550顯示彩色視頻并且指示所跟蹤的特定部位。
[0044]雖然上面以功能模塊的方式描述了本發(fā)明實(shí)施例的圖像處理設(shè)備，但是本領(lǐng)域的技術(shù)人員應(yīng)該想到可以將上述的對(duì)象檢測(cè)單元、ROI確定單元、ROI跟蹤單元、部位檢測(cè)單元和部位跟蹤單元合并成單個(gè)的單元或模塊。例如將ROI確定單元合并到ROI跟蹤單元之中，將部位檢測(cè)單元合并到部位跟蹤單元之中。此外，本領(lǐng)域的技術(shù)人員可以用軟件的形式實(shí)現(xiàn)上述的部分，也可以用硬件的形式實(shí)現(xiàn)上述的各個(gè)部分。
[0045]圖6是描述根據(jù)本發(fā)明的另一實(shí)施例的圖像處理設(shè)備在軟件實(shí)現(xiàn)的情況下的流程圖。圖7示出了根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備基于循環(huán)緩沖器實(shí)現(xiàn)對(duì)象特定部位的跟蹤的一個(gè)例子。
[0046]在根據(jù)本發(fā)明實(shí)施例的基于環(huán)形緩沖器跟蹤對(duì)象的特定部位的方法中，在610，從深度和彩色攝像機(jī)獲得同時(shí)捕獲的深度視頻和彩色視頻。然后，在模塊620中進(jìn)行ROI的確定和跟蹤，在模塊630進(jìn)行特定部位的檢測(cè)，在模塊640進(jìn)行特定部位的跟蹤，在模塊顯示彩色視頻和跟蹤結(jié)果。
[0047]例如，在深度圖像中跟蹤一對(duì)象以便基于深度圖像中跟蹤的對(duì)象確定感興趣區(qū)域。然后將感興趣區(qū)域和所捕獲的彩色圖像存儲(chǔ)到環(huán)形緩沖器中。接下來(lái)，基于感興趣區(qū)域從環(huán)形緩沖器存儲(chǔ)的最新彩色圖像中檢測(cè)該對(duì)象的特定部位，并且將檢測(cè)的特定部位存儲(chǔ)在環(huán)形緩沖器中。用所檢測(cè)的特定部位和感興趣區(qū)域從環(huán)形緩沖器中最早的彩色圖像中跟蹤所述對(duì)象的特定部位，獲得跟蹤的特定部位。
[0048]參見圖7，由于每次檢測(cè)特定部位所需時(shí)間不同，并且有可能所需時(shí)間較長(zhǎng)，所以每次都從最新的彩色圖像進(jìn)行特定部位檢測(cè)，這樣可以檢測(cè)到最多幅圖像。采用最早的彩色圖像進(jìn)行跟蹤特定部位一方面是由于特定部位的跟蹤需要特定部位的檢測(cè)，在跟蹤的過(guò)程中，如果有新的檢測(cè)結(jié)果，那么需要重新初始化跟蹤器，并進(jìn)行重新跟蹤；另一方面是因?yàn)闄z測(cè)特定部位可能需要較長(zhǎng)時(shí)間。所以，檢測(cè)采用最新的圖像，而跟蹤采用最早的圖像，跟蹤之后顯示彩色圖像和跟蹤結(jié)果，并從環(huán)形緩沖器中刪除該最早的圖像，這樣可以充分利用特定部位檢測(cè)結(jié)果，并有助于跟蹤結(jié)果顯示。
[0049]根據(jù)一些實(shí)施例，該方法還包括將所跟蹤的特定部位緩存在所述環(huán)形緩沖器中。
[0050]根據(jù)一些實(shí)施例，該方法還包括從環(huán)形緩沖器中的最早緩沖的彩色圖像開始顯示彩色圖像，同時(shí)在彩色圖像上指示所跟蹤的特定部位，并刪除環(huán)形緩沖器中已顯示的彩色圖像。
[0051]根據(jù)一些實(shí)施例，上述跟蹤所述對(duì)象的步驟、檢測(cè)特定部位的步驟、跟蹤所述特定部位的步驟和顯示彩色圖像的步驟分別由四個(gè)獨(dú)立的線程來(lái)實(shí)現(xiàn)。
[0052]如本領(lǐng)域的技術(shù)人員所理解的那樣，本申請(qǐng)的實(shí)施例是以人臉為例子進(jìn)行描述的，但是也可以應(yīng)用于其他的方面例如車輛、動(dòng)物等對(duì)象的特定部位的檢測(cè)。
[0053]雖然已參照幾個(gè)典型實(shí)施例描述了本發(fā)明，但應(yīng)當(dāng)理解，所用的術(shù)語(yǔ)是說(shuō)明和示例性、而非限制性的術(shù)語(yǔ)。由于本發(fā)明能夠以多種形式具體實(shí)施而不脫離發(fā)明的精神或?qū)嵸|(zhì)，所以應(yīng)當(dāng)理解，上述實(shí)施例不限于任何前述的細(xì)節(jié)，而應(yīng)在隨附權(quán)利要求所限定的精神和范圍內(nèi)廣泛地解釋，因此落入權(quán)利要求或其等效范圍內(nèi)的全部變化和改型都應(yīng)為隨附權(quán)利要求所涵蓋。
【權(quán)利要求】
1.一種檢測(cè)對(duì)象的特定部位的方法，包括:接收所捕獲的至少一幅深度圖像和至少一幅彩色圖像；從所述深度圖像檢測(cè)一對(duì)象；基于深度圖像中檢測(cè)到的對(duì)象確定感興趣區(qū)域；利用所述感興趣區(qū)域從彩色圖像中檢測(cè)所述對(duì)象的特定部位。
2.如權(quán)利要求1所述的方法，其中基于深度圖像中檢測(cè)到的對(duì)象確定感興趣區(qū)域的步驟包括:按照特定部位與所述對(duì)象之間的預(yù)定關(guān)系，確定所述感興趣區(qū)域。
3.如權(quán)利要求1所述的方法，其中，利用所述感興趣區(qū)域從彩色圖像中檢測(cè)所述對(duì)象的特定部位的步驟包括:利用事先訓(xùn)練的特定部位模型和所述感興趣區(qū)域從彩色圖像中檢測(cè)所述對(duì)象的特定部位。
4.如權(quán)利要求1所述的方法，還包括在彩色圖像中指示所檢測(cè)的特定部位的步驟。
5.如權(quán)利要求1所述的方法，還包括在多幅深度圖像中跟蹤所述感興趣區(qū)域的步驟。
6.如權(quán)利要求5所述的方法，還包括基于對(duì)所述感興趣區(qū)域的跟蹤結(jié)果在彩色圖像中跟蹤所述特定部位的步驟。
7.如權(quán)利要求6所述的方法，其中利用檢測(cè)的特定部位的圖像創(chuàng)建跟蹤器來(lái)在彩色圖像中跟蹤所述特定部位。
8.如權(quán)利要求1所述的方法，其中，利用所述感興趣區(qū)域在最新捕獲的彩色圖像中檢測(cè)所述特定部位。
9.如權(quán)利要求1所述的方法，其中所述對(duì)象是人，所述特定部位是人臉。
10.一種基于環(huán)形緩沖器跟蹤對(duì)象的特定部位的方法，包括步驟:在深度圖像中跟蹤一對(duì)象以便基于深度圖像中跟蹤的對(duì)象確定感興趣區(qū)域；將所述感興趣區(qū)域和所捕獲的彩色圖像存儲(chǔ)到環(huán)形緩沖器中；利用所述感興趣區(qū)域從環(huán)形緩沖器存儲(chǔ)的最新彩色圖像中檢測(cè)該對(duì)象的特定部位，并且將檢測(cè)的特定部位存儲(chǔ)在環(huán)形緩沖器中；用所檢測(cè)的特定部位和所述感興趣區(qū)域從環(huán)形緩沖器中最早的彩色圖像中中跟蹤所述對(duì)象的特定部位，獲得跟蹤的特定部位。
11.如權(quán)利要求10所述的方法，還包括步驟:將所跟蹤的特定部位緩存在所述環(huán)形緩沖器中。
12.如權(quán)利要求11所述的方法，還包括步驟:從環(huán)形緩沖器中的最早緩沖的彩色圖像開始顯示彩色圖像，同時(shí)在彩色圖像上指示所跟蹤的特定部位，并刪除環(huán)形緩沖器中已顯示的彩色圖像。
13.如權(quán)利要求12所述的方法，其中，跟蹤所述對(duì)象的步驟、檢測(cè)特定部位的步驟、跟蹤所述特定部位的步驟和顯示彩色圖像的步驟分別由四個(gè)獨(dú)立的線程來(lái)實(shí)現(xiàn)。
14.一種圖像處理設(shè)備，包括:對(duì)象檢測(cè)單元，從所捕獲的至少一幅深度圖像檢測(cè)一對(duì)象；感興趣區(qū)域確定單元，基于深度圖像中檢測(cè)到的對(duì)象確定感興趣區(qū)域；部位檢測(cè)單元，利用所述感興`趣區(qū)域從彩色圖像中檢測(cè)所述特定部位。
15.如權(quán)利要求14所述的圖像處理設(shè)備，其中所述感興趣區(qū)域確定單元按照特定部位與所述對(duì)象之間的預(yù)定關(guān)系，確定所述感興趣區(qū)域。
16.如權(quán)利要求14所述的圖像處理設(shè)備，其中所述特定部位檢測(cè)單元利用事先訓(xùn)練的特定部位模型和所述感興趣區(qū)域從彩色圖像中檢測(cè)所述特定部位。
17.如權(quán)利要求14所述的圖像處理設(shè)備，還包括顯示設(shè)備，在彩色圖像中指示所檢測(cè)的特定部位。
18.如權(quán)利要求14所述的圖像處理設(shè)備，還包括感興趣區(qū)域跟蹤單元，在多幅深度圖像中跟蹤所述感興趣區(qū)域。
19.如權(quán)利要求18所述的圖像處理設(shè)備，還包括部位跟蹤單元，基于對(duì)所述感興趣區(qū)域的跟蹤結(jié)果在彩色圖像中跟蹤所述特定部位。
20.如權(quán)利要求19所述的圖像處理設(shè)備，其中所述部位跟蹤單元利用檢測(cè)的特定部位的圖像創(chuàng)建跟蹤器來(lái)在彩色圖像中跟蹤所述特定部位。
21.如權(quán)利要求14所述的圖像處理設(shè)備，其中，所述特定部位檢測(cè)單元利用所述感興趣區(qū)域在最新捕獲的彩色圖 像中檢測(cè)所述特定部位。
【文檔編號(hào)】G06K9/00GK103514429SQ201210206387
【公開日】2014年1月15日 申請(qǐng)日期:2012年6月21日 優(yōu)先權(quán)日:2012年6月21日
【發(fā)明者】陳海林, 巖田繁幸 申請(qǐng)人:夏普株式會(huì)社