用于提取手勢(shì)邊緣圖像的方法和裝置以及手勢(shì)提取方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于提取手勢(shì)邊緣圖像的方法和裝置以及一種手勢(shì)提取方法。
【背景技術(shù)】
[0002]在人機(jī)交互中，手勢(shì)是一種重要的媒介，例如三維空間中的手勢(shì)深度估計(jì)可在各種開(kāi)放的應(yīng)用場(chǎng)景提供技術(shù)支持。而在僅有單目攝像機(jī)的場(chǎng)景中，手勢(shì)的精確分割將對(duì)手勢(shì)深度的估計(jì)起到關(guān)鍵作用。
[0003]傳統(tǒng)的手勢(shì)分割方法包括利用高斯混合模型(GMM)來(lái)擬合手勢(shì)和背景的顏色，進(jìn)而通過(guò)顏色分類來(lái)對(duì)二者進(jìn)行區(qū)分。同時(shí)，也有方法利用顏色直方圖來(lái)對(duì)手勢(shì)和背景的顏色進(jìn)行區(qū)分。另外，一些基于主動(dòng)輪廓模型的方法利用樣本訓(xùn)練得到通用的手勢(shì)形狀，在初始的手勢(shì)形狀基礎(chǔ)上通過(guò)局部搜索來(lái)得到手掌的精確邊界。此外，圖割方法融合了高斯混合模型擬合的顏色模型以及圖像不同區(qū)域的色彩差異對(duì)目標(biāo)進(jìn)行分割。
[0004]然而，在復(fù)雜環(huán)境中，如果背景與膚色很接近，則上述方法都將失效。
[0005]針對(duì)現(xiàn)有技術(shù)中存在的缺陷，提出本申請(qǐng)。

【發(fā)明內(nèi)容】

[0006]在下文中給出關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。
[0007]本發(fā)明的一個(gè)主要目的在于提供一種用于提取手勢(shì)邊緣圖像的方法和裝置以及一種手勢(shì)提取方法，以至少克服現(xiàn)有的問(wèn)題。
[0008]根據(jù)本發(fā)明的一個(gè)方面，提供了一種用于提取手勢(shì)邊緣圖像的方法。該方法包括:基于以手勢(shì)為前景的圖像，獲取二值化的前景邊緣圖像；根據(jù)所述以手勢(shì)為前景的圖像中的手勢(shì)的大小，將預(yù)定的手勢(shì)邊緣模板圖像進(jìn)行縮放；將縮放后的手勢(shì)邊緣模板圖像劃分為多個(gè)子部分，并且使用每個(gè)子部分來(lái)分別選擇所述前景邊緣圖像中的對(duì)應(yīng)的圖像塊；及從每個(gè)圖像塊中分別獲取手勢(shì)邊緣圖像的一部分，從而提取整個(gè)手勢(shì)邊緣圖像。
[0009]根據(jù)本發(fā)明的另一個(gè)方面，提供了一種手勢(shì)提取方法。該包括:通過(guò)本發(fā)明實(shí)施例所述的用于提取手勢(shì)邊緣圖像的方法，從以手勢(shì)為前景的圖像中提取手勢(shì)邊緣圖像；以及利用圖割理論框架，通過(guò)對(duì)手勢(shì)邊緣圖像和其它的邊緣圖像設(shè)置不同的權(quán)重來(lái)提取所述圖像中的手勢(shì)。
[0010]根據(jù)本發(fā)明的又一個(gè)方面，提供了一種用于提取手勢(shì)邊緣圖像的裝置。該裝置包括:獲取單元，其被配置成基于以手勢(shì)為前景的圖像，獲取二值化的前景邊緣圖像；縮放單元，其被配置成根據(jù)所述以手勢(shì)為前景的圖像中的手勢(shì)的大小，將預(yù)定的手勢(shì)邊緣模板圖像進(jìn)行縮放；劃分單元，其被配置成將縮放后的手勢(shì)邊緣模板圖像劃分為多個(gè)子部分，并且使用每個(gè)子部分來(lái)分別選擇所述前景邊緣圖像中的對(duì)應(yīng)的圖像塊；及提取單元，其被配置成提取單元，其被配置成從每個(gè)圖像塊中分別獲取手勢(shì)邊緣圖像的一部分，從而提取整個(gè)手勢(shì)邊緣圖像。
[0011]另外，本發(fā)明的實(shí)施例還提供了用于實(shí)現(xiàn)上述方法的計(jì)算機(jī)程序。
[0012]此外，本發(fā)明的實(shí)施例還提供了至少計(jì)算機(jī)可讀介質(zhì)形式的計(jì)算機(jī)程序產(chǎn)品，其上記錄有用于實(shí)現(xiàn)上述方法的計(jì)算機(jī)程序代碼。
[0013]根據(jù)本發(fā)明的實(shí)施例，利用形狀先驗(yàn)來(lái)指導(dǎo)進(jìn)行手勢(shì)和背景的分割。所以即使在背景與膚色很接近的復(fù)雜環(huán)境中，也能有效的區(qū)分膚色邊緣與背景邊緣，從而能夠有效地進(jìn)行手勢(shì)和背景的分割。
[0014]通過(guò)以下結(jié)合附圖對(duì)本發(fā)明的最佳實(shí)施例的詳細(xì)說(shuō)明，本發(fā)明的這些以及其它優(yōu)點(diǎn)將更加明顯。
【附圖說(shuō)明】
[0015]參照下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的說(shuō)明，會(huì)更加容易地理解本發(fā)明的以上和其它目的、特點(diǎn)和優(yōu)點(diǎn)。附圖中的部件只是為了示出本發(fā)明的原理。在附圖中，相同的或類似的技術(shù)特征或部件將采用相同或類似的附圖標(biāo)記來(lái)表示。
[0016]圖1是示意性地示出根據(jù)本發(fā)明實(shí)施例的用于提取手勢(shì)邊緣圖像的方法的流程圖；
[0017]圖2是示出以手勢(shì)為前景的圖像和所獲取的二值化的前景圖像的示意圖；
[0018]圖3是示出前景邊緣圖像的示意圖；
[0019]圖4是示出手勢(shì)邊緣模板圖像、其子部分以及距離變換后的子部分的示意圖；
[0020]圖5是示出是否進(jìn)行符號(hào)變換而產(chǎn)生的像素值分布的示意圖；
[0021]圖6是示出通過(guò)對(duì)每個(gè)子部分進(jìn)行處理來(lái)獲得整個(gè)手勢(shì)邊緣圖像的示意圖；
[0022]圖7是示意性地示出根據(jù)本發(fā)明的實(shí)施例的用于提取手勢(shì)邊緣圖像的裝置的框圖；
[0023]圖8是示意性地示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的提取單元的框圖；
[0024]圖9是示意性地示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的劃分單元的框圖；
[0025]圖10是示意性地示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的獲取單元的框圖；
[0026]圖11示出了可以用于實(shí)施本發(fā)明的用于提取手勢(shì)邊緣圖像的方法和裝置以及手勢(shì)提取方法的計(jì)算設(shè)備的舉例的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0027]下面參照附圖來(lái)說(shuō)明本發(fā)明的實(shí)施例。在本發(fā)明的一個(gè)附圖或一種實(shí)施方式中描述的元素和特征可以與一個(gè)或更多個(gè)其它附圖或?qū)嵤┓绞街惺境龅脑睾吞卣飨嘟Y(jié)合。應(yīng)當(dāng)注意，為了清楚的目的，附圖和說(shuō)明中省略了與本發(fā)明無(wú)關(guān)的、本領(lǐng)域普通技術(shù)人員已知的部件和處理的表示和描述。
[0028]圖1是示意性地示出根據(jù)本發(fā)明實(shí)施例的用于提取手勢(shì)邊緣圖像的方法的流程圖。以下參照?qǐng)D1來(lái)描述根據(jù)本發(fā)明實(shí)施例的用于提取手勢(shì)邊緣圖像的。
[0029]在步驟SlOl中，基于以手勢(shì)為前景的圖像，獲取二值化的前景邊緣圖像。
[0030]首先，可以通過(guò)預(yù)先訓(xùn)練好的級(jí)聯(lián)分類器來(lái)獲取任意圖像中的手部區(qū)域的圖像，作為以手勢(shì)為前景的圖像。例如，所獲取的以手勢(shì)為前景的圖像如圖2 (a)所示。
[0031]基于例如圖2(a)中所示的以手勢(shì)為前景的圖像，通過(guò)Vibe算法來(lái)進(jìn)行前景估計(jì)，從而獲取二值化的前景圖像。圖2(b)示出了所獲取的二值化的前景圖像V，其中的白色點(diǎn)為估計(jì)出的前景像素點(diǎn)。從如圖2 (a)所示的以手勢(shì)為前景的圖像中提取邊緣圖像E。將邊緣圖像E和所獲取的二值化的前景圖像V進(jìn)行與操作，從而獲取前景邊緣圖像Fe:
[0032]Fe=E AND V。
[0033]為了濾除非膚色部分的噪音，還使用預(yù)先訓(xùn)練好的皮膚顏色模型作為掩模來(lái)濾除前景邊緣圖像中的噪聲邊緣，將前景邊緣圖像Fe和皮膚顏色掩模S進(jìn)行與操作，得到膚色區(qū)域的前景邊緣F:F=Fe AND S。所獲得的濾波后的前景邊緣圖像F如圖3所示。
[0034]在步驟S102中，根據(jù)以手勢(shì)為前景的圖像中的手勢(shì)的大小，將預(yù)定的手勢(shì)邊緣模板圖像進(jìn)行縮放，以使縮放后的手勢(shì)邊緣模板圖像與以手勢(shì)為前景的圖像中的手勢(shì)的大小相匹配。如圖4 (a)所示，其中，與以手勢(shì)為前景的圖像中的手勢(shì)的大小相匹配的是顏色較亮的白色手勢(shì)邊緣模板圖像。
[0035]在步驟S103中，將縮放后的手勢(shì)邊緣模板圖像劃分為多個(gè)子部分，并且使用每個(gè)子部分來(lái)分別選擇所述前景邊緣圖像F中的對(duì)應(yīng)的圖像塊。
[0036]具體地，將縮放后的手勢(shì)邊緣模板圖像中的邊緣像素點(diǎn)(白色像素點(diǎn))編碼為連續(xù)坐標(biāo)數(shù)組。例如，可以通過(guò)在手勢(shì)邊緣模板圖像上進(jìn)行掃描來(lái)提取開(kāi)始點(diǎn)的坐標(biāo)。并且可以使用深度優(yōu)先搜索方法，獲取連續(xù)坐標(biāo)數(shù)組，例如，通過(guò)以開(kāi)始點(diǎn)作為輸入點(diǎn)搜索8個(gè)鄰域點(diǎn)，并將8個(gè)鄰域點(diǎn)中的、還沒(méi)有被歸入連續(xù)數(shù)組中的點(diǎn)歸入連續(xù)數(shù)組中，被歸入連續(xù)數(shù)組中的鄰域點(diǎn)接著被用作輸入點(diǎn)以進(jìn)行遞歸式回溯搜索，從而獲取所述連續(xù)坐標(biāo)數(shù)組。
[0037]然后，將所獲取的連續(xù)坐標(biāo)數(shù)組劃分為多個(gè)坐標(biāo)子數(shù)組。例如，可以通過(guò)在X方向進(jìn)行掃描，并且在y方向進(jìn)行掃描，來(lái)搜索每個(gè)子數(shù)組的最大和最小坐標(biāo)，從而獲得分別包圍了子部分?jǐn)?shù)組的外接矩形，以此將連續(xù)數(shù)組劃分為多個(gè)子部分。
[0038]上述將縮放后的手勢(shì)邊緣模板圖像劃分為