專利名稱：一種人臉眼角與嘴角定位與跟蹤的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算才;^見覺技術(shù)領(lǐng)域，尤其涉及一種人臉眼角與嘴角的定位與 跟蹤方法及裝置。
背景技術(shù)：
人臉特征點定位是人臉識別、表情識別等人臉處理技術(shù)的基礎(chǔ)，臉部特征 點定位的性能很大程度上影響著人臉檢測方法的精度。在所有的臉部特征點 中，雙眼及嘴巴位置最為重要。對于一般的應(yīng)用，這三個器官位置已經(jīng)能夠滿 足處理方法的需要，能夠?qū)⒉煌螤?、大小的人臉對齊歸一化，并為進(jìn)一步處 理提供信息。此外，左/右眼及嘴巴角點這六點也可以作為其它臉部特征點定 位方法的前提和基礎(chǔ)。此外，在人機(jī)交互以及娛樂領(lǐng)域，對于已知雙眼、嘴巴 位置的輸入人臉，可以對其進(jìn)行紋理、顏色、形狀等變換，產(chǎn)生各種有趣的圖 像效果。眼睛特征點容易受到包括姿態(tài)、光照、圖^f象質(zhì)量、頭發(fā)眼鏡遮檔等因 素的影響，而由人臉表情的變化引起的嘴巴張開與閉合也影響著嘴巴的外觀。 因此，準(zhǔn)確快速的眼睛、嘴巴角點定位方法是一個困難且需要解決的問題。申請人在之前已經(jīng)提出了一系列與人臉檢測技術(shù)相關(guān)的專利，包括"視頻 序列中人臉的實時檢測與持續(xù)跟蹤的方法及系統(tǒng)"，中國專利申請?zhí)枮?00510135668.8,以下簡稱文獻(xiàn)1;"多姿態(tài)人臉檢測與追蹤系統(tǒng)及方法"，中 國專利申請?zhí)枮?00610113423.X,以下簡稱文獻(xiàn)2;"—種人臉特征點定位方 法，，，中國專利申請?zhí)枮?00610011673.2,以下簡稱文獻(xiàn)3。基于上述的幾個專 利中的人臉檢測跟蹤、人臉眼睛嘴巴中心點定位等方法，可以實現(xiàn)多個人臉特 效，如人臉自動追蹤、戴面具人臉識別等。但是，上述的專利申請中的算法也存在一定的局限性，實現(xiàn)的特效仍存在不少缺陷，例如，首先，上述的算法中，眼睛、嘴巴定位結(jié)果并不十分穩(wěn)定，導(dǎo)致戴面具的人臉上的面具經(jīng)常抖動；其次，上述的算法中未加入眼睛嘴巴定 位點的跟蹤算法，導(dǎo)致計算量偏大；再次就是上述的算法在人臉平面旋轉(zhuǎn)角度 過大時無法定位眼睛嘴巴，導(dǎo)致相應(yīng)的特效失效。發(fā)明內(nèi)容本發(fā)明實施例提供一種人臉眼角與嘴角的定位與跟蹤方法及裝置，用以實 現(xiàn)人臉作出各種表情時仍可獲取眼睛與嘴巴角點的準(zhǔn)確位置，從而改善現(xiàn)有的 人臉面部關(guān)鍵特征點的定位與跟蹤技術(shù)的性能。一種人臉眼角與嘴角的定位方法，該方法包括A、 采用人臉檢測算法獲取人臉的位置；B、 采用主動外貌模型AAM算法獲取檢測人臉的仿射變換系數(shù)，得到人臉 眼角與嘴角所對應(yīng)的六個角點的初始位置；C、 以所述六個角點的初始位置為1^出，結(jié)合各角點的AdaBoost訓(xùn)練模型， 在各角點鄰域范圍內(nèi)搜索候選點；D、 采用多組特征逐步淘汰各角點的候選點，得到人臉眼角與嘴角的定位 結(jié)果。所述步驟D包括Dl 、計算所述各角點候選點的Harris角點特征，并根據(jù)Harris角點特征進(jìn) 行排序，根據(jù)排序結(jié)果減少各個角點的候選點數(shù)量；D2、將左眼、右眼、嘴巴的角點候選點分別組成對，為左眼、右眼、嘴巴 分別得到若干個候選點對；D3、采用多組特征逐步淘汰候選點對，從各個器官的候選點對中挑選出最 佳點對，得到人臉眼角與嘴角的定位結(jié)果。所述步驟C中在各角點鄰域范圍內(nèi)搜索候選點，包括將各角點鄰域范圍內(nèi)每一個像素點都確定為一候選點，或者按照固定的窗口大小，每隔幾個像素點確定一個候選點。一種人臉眼角與嘴角持續(xù)跟蹤的方法，該方法包括a、 由多姿態(tài)人臉跟蹤算法返回的位置獲取當(dāng)前圖像幀中眼角與嘴角所對 應(yīng)各角點的初值；b、 在當(dāng)前幀圖像與前一幀圖像之間進(jìn)行匹配，獲取當(dāng)前幀中眼角與嘴角 各個角點的跟蹤位置；c、 以當(dāng)前幀中眼角與嘴角各個角點的跟蹤位置為初值，采用如權(quán)利要求l 所述的人臉眼角與嘴角定位方法獲取當(dāng)前幀中眼角與嘴角各個角點的定位位 置，作為當(dāng)前幀中眼角與嘴角各個角點的定位位置；d、 采用當(dāng)前幀中眼角與嘴角各個角點的定位位置對角點的跟蹤位置進(jìn)行 修正，得到當(dāng)前幀中眼角與嘴角的跟蹤結(jié)果。所述步驟b進(jìn)一步包括在當(dāng)前幀圖像與前一幀圖像之間進(jìn)行匹配，獲取當(dāng)前幀中眼角與嘴角各個 角點的跟蹤位置；并對各角點的跟蹤位置計算置信度；判斷各角點的跟蹤位置的置信度是否大于等于預(yù)先設(shè)定的闊值，如果是，將當(dāng)前各角點跟蹤位置作為當(dāng)前幀中各角點的跟蹤結(jié)果；否則，執(zhí)行步驟c。 所述步驟c之后，步驟d之前，進(jìn)一步包括cl、計算并比較各角點跟蹤位置與定位位置的置信度，如果各角點的跟蹤位置的置信度大于等于各角點定位位置的置信度，則將各角點跟蹤位置作為當(dāng) 前幀各角點的跟蹤結(jié)果；否則，執(zhí)行步驟d。一種人臉眼角與嘴角定位裝置，該裝置包括人臉檢測單元、AAM變換單 元、鄰域搜索單元以及定位單元，其中， 人臉檢測單元，用于獲取人臉的位置；AAM變換單元，用于采用AAM算法獲取檢測人臉的仿射變換系數(shù)，得 到人臉上眼角與嘴角六個角點的初步位置；鄰域搜索單元，用于以六個角點的初始位置為基礎(chǔ)，結(jié)合各個角點的AdaBoost訓(xùn)練模型在各角點鄰域范圍內(nèi)搜索候選點，為每個角點獲取一定數(shù)量 的候選點；定位單元，用于對所有的候選點進(jìn)行排序、組對以及>^選最佳角點對。所述定位單元進(jìn)一步包括排序子單元、組對子單元以及挑選子單元，其中，排序子單元，用于計算所有角點的Harris角點特征，并根據(jù)角點特征進(jìn)行 排序，根據(jù)排序結(jié)果減少各個角點候選點的數(shù)量；組對子單元，用于將左眼、右眼、嘴巴的角點候選點分別組成對，為每個 器官得到若干個候選點對；挑選子單元，用于從各個器官的候選點對中挑選出最佳點對，得到人臉眼 角與嘴角的定位結(jié)果。一種人臉眼角與嘴角跟蹤裝置，包括如上所述的人臉眼角與嘴角定位裝 置，該裝置還包括初值獲取單元、跟蹤位置獲取單元和修正單元，其中，初值獲取單元，用于獲取當(dāng)前圖像幀中眼角與嘴角各個角點的初值；跟蹤位置獲取單元，用于在當(dāng)前幀圖像與前一幀圖像之間進(jìn)行匹配，獲取 當(dāng)前幀中眼角與嘴角各個角點的跟蹤位置；角點定位裝置，用于以當(dāng)前幀各角點的跟蹤位置為初值，采用角點定位算 法獲取當(dāng)前幀各角點的定位位置；修正單元，用于采用角點的定位位置對角點的跟蹤位置進(jìn)行修正，得到當(dāng) 前幀中眼角與嘴角的跟蹤結(jié)果。所述裝置進(jìn)一步包括置信度判斷單元，用于對角點定位裝置輸出的當(dāng)前幀 角點的定位結(jié)果的置信度進(jìn)行判斷，并返回判斷結(jié)果所述角點定位裝置根據(jù)返回的判斷結(jié)果確定是否對角點的跟蹤位置進(jìn)行修正。本發(fā)明實施例首先采用人臉檢測算法獲取人臉的位置；采用主動外貌模型(AAM, Active Appearance Models)算法獲取檢測人臉的仿射變換系數(shù)，得 到人臉上眼睛和嘴巴六個角點的初步位置；以六個角點的初始位置為基礎(chǔ)，結(jié)合各個角點的AdaBoost訓(xùn)練模型在其鄰域范圍內(nèi)搜索候選點的位置，為每個 角點獲取一定數(shù)量的候選點；計算所有角點的Harris角點特征，并根據(jù)角點特 征進(jìn)行排序，根據(jù)一定規(guī)則減少各個角點候選點的數(shù)量；將左眼、右眼、嘴巴 的角點候選點分別組成對，為每個器官得到若干個候選點對；從各個器官的候 選點對中挑選出最佳點對，采用多組特征逐步淘汰點對，最終返回最佳的結(jié)果。 本發(fā)明實施例提供的方案，解決了在人臉作出各種姿態(tài)的時候?qū)ρ劬妥彀偷?角點定位不準(zhǔn)確的問題，改善了現(xiàn)有的人臉面部特征點的定位與跟蹤技術(shù)的性 能，以此為基礎(chǔ)可實現(xiàn)更準(zhǔn)確的人臉面部關(guān)鍵器官輪廓的準(zhǔn)確定位，提高各類 人臉系統(tǒng)如人臉識別、人臉合成的性能。


圖1為本發(fā)明實施例l提供的角點定位方法流程圖；圖2為本發(fā)明實施例2提供的角點跟蹤方法流程圖；圖3為本發(fā)明實施例提供的角點定位裝置的結(jié)構(gòu)示意圖之一；圖4為本發(fā)明實施例提供的角點定位裝置的結(jié)構(gòu)示意圖之二；圖5為本發(fā)明實施例提供的角點跟蹤裝置的結(jié)構(gòu)示意圖之一；圖6為本發(fā)明實施例提供的角點跟蹤裝置的結(jié)構(gòu)示意圖之二；圖7a~圖7d為本發(fā)明實施例提供的角點初值設(shè)定和定位結(jié)果示意圖。
具體實施方式
人臉由眼睛、鼻子、嘴巴、下巴等部件構(gòu)成，其中，眼睛和嘴巴作為人臉 最顯著的特征，能夠提供更可靠、更重要的信息，因此眼睛嘴巴的精確定位往 往是各類人臉處理技術(shù)如人臉識別、人臉合成系統(tǒng)中中一個關(guān)鍵性的處理流程。本發(fā)明針對現(xiàn)有的特征點定位算法的缺陷，提出了基于Adaboost與角點 信息的人臉?biāo)膫€眼角點、兩個嘴角點共六個點的精確定位和跟蹤算法，目的是在人臉作出各種表情時仍可獲取這些角點的準(zhǔn)確位置。本發(fā)明涉及本申請人已 經(jīng)提交的另一項專利申請"多姿態(tài)人臉檢測與追蹤系統(tǒng)及方法"(文獻(xiàn)2)。本發(fā)明涉及文獻(xiàn)2中的一個關(guān)鍵步驟，為了使本發(fā)明更容易理解，本發(fā)明與上述已提交專利申請在此整體結(jié)合參考。本發(fā)明實施例首先采用人臉檢測算法獲取人臉的位置；采用AAM算法獲 取檢測人臉的仿射變換系數(shù)，得到人臉上眼睛和嘴巴六個角點的初步位置；以 六個角點的初始位置為基礎(chǔ)，結(jié)合各個角點的AdaBoost訓(xùn)練模型在其鄰域范 圍內(nèi)搜索候選點的位置，為每個角點獲取一定數(shù)量的候選點；計算所有角點的 Harris角點特征，并根據(jù)角點特征進(jìn)行排序，根據(jù)一定規(guī)則減少各個角點候選 點的數(shù)量；將左眼、右眼、嘴巴的角點候選點分別組成對，為每個器官得到若 干個候選點對；從各個器官的候選點對中挑選出最佳點對，采用多組特征逐步淘汰點對，最終返回最佳的結(jié)果。下面結(jié)合各個附圖對本發(fā)明實施例技術(shù)方案的主要實現(xiàn)原理、具體實施方 式及其對應(yīng)能夠達(dá)到的有益效果進(jìn)行詳細(xì)的闡述。如圖1所示，本發(fā)明實施例1的主要實現(xiàn)原理流程如下 步驟IO，采用人臉檢測算法獲取人臉的位置。本發(fā)明采用文獻(xiàn)l中提到的多姿態(tài)人臉檢測算法獲取人臉的位置。文獻(xiàn)2 中公開了一種多姿態(tài)人臉^r測與追蹤系統(tǒng)及方法，通過人臉樣本訓(xùn)練，分別獲 得人臉正面與半側(cè)面檢測模型，并確定AAM人臉模型；利用所述人臉正面與 半側(cè)面檢測模型，對輸入視頻圖像進(jìn)行人臉檢測，確定一幀圖像中是否存在人 臉；如果在某幀圖像中檢測到人臉，則在后續(xù)幀中追蹤并驗證該人臉。應(yīng)用本 發(fā)明所述的方法，可以追蹤檢測多姿態(tài)的人臉，且能克服受到與人臉膚色相近 的非人臉區(qū)域干擾的缺點，并能確保多姿態(tài)人臉的持續(xù)跟蹤和檢測算法的穩(wěn)定 性，并獲取人臉的平面旋轉(zhuǎn)角度，輸出人臉的準(zhǔn)確尺寸。步驟20，采用AAM算法獲取檢測人臉的仿射變換系數(shù)，得到人臉上眼角 與嘴角六個角點的初步位置。本發(fā)明同樣由文獻(xiàn)2中提到的AAM算法獲取輸入人臉基于標(biāo)準(zhǔn)人臉的仿 射變換系數(shù)，進(jìn)而確定輸入人臉中眼角和嘴角六個角點的位置。圖7a為標(biāo)準(zhǔn)人臉，其中共標(biāo)定了六個角點，設(shè)為<formula>formula see original document page 11</formula> 。對于任意一幅輸入人臉，設(shè)AAM算法求得的仿射變換系數(shù)為(a》,c^),則該人 臉中六個角點的初始位置為[x礎(chǔ)(Z)，^,(/)y-0,1，2，3，4，5,如圖7b，計算公式為據(jù)此，可以計算得到眼角與嘴角六個角點的初步位置。步驟30,以六個角點的初始位置為基礎(chǔ)，結(jié)合各個角點的AdaBoost訓(xùn)練模 型在各角點鄰域范圍內(nèi)搜索候選點，為每個角點獲取一定數(shù)量的候選點。AdaBoost理論是一種將任意強于隨機(jī)猜測的弱分類器組合成強分類器的 通用算法。該算法在人臉檢測中已經(jīng)取得了非常成功的應(yīng)用?；贏daBoost 的人臉檢測算法首先由大量"人臉，，和"非人臉，，樣本訓(xùn)練一個"人臉/非人臉"二 類分類器，該分類器可以確定某個尺度的矩形窗口是否是人臉，設(shè)矩形長為m, 寬為w,則人臉檢測的流程就是首先是按照一定比例連續(xù)放縮圖像，在得到 的系列圖像中窮舉搜索和判別所有大小為mxn的像素窗口，將各個窗口輸入 到"人臉/非人臉"分類器中，留下識別為人臉的候選窗口，再采用后處理算法合 并相鄰位置的候選，輸出所有檢測到的人臉的位置、大小等信息。同樣，AdaBoost理論也可用于人臉面部六個角點的檢測，而角點檢測算法 的實現(xiàn)流程與人臉檢測算法類似。例如，對于左眼左側(cè)角點，我們也同樣采集 大量的"左眼左側(cè)角點"和"非左眼左側(cè)角點"的訓(xùn)練樣本，訓(xùn)練一個二類分類器。 該分類器可確定圖像中某個尺度的矩形窗口的中心點是否是左眼左側(cè)角點。在 角點檢測時，我們已該角點的初始位置為基礎(chǔ)，在其鄰域范圍內(nèi)搜索所有的后 續(xù)點，即已該候選點為中心的固定尺度的矩形窗口，如通過訓(xùn)練的二類分類器， 則輸出一個后續(xù)角點。這樣，我們?yōu)榱鶄€角點各訓(xùn)練了一個AdaBoost 二類分類器，并在各個角點的初始位置的鄰域內(nèi)獲取 一 定數(shù)據(jù)的后續(xù)點。步驟40，計算所有候選點的Harris角點特征，并根據(jù)計算的角點特征進(jìn)行 排序，根據(jù)排序結(jié)果減少六個角點的候選點的數(shù)量。所謂"角點"， 一般是指該點鄰域范圍內(nèi)邊界比較復(fù)雜，在兩個垂直方向都 有復(fù)雜邊界的點。人臉面部這六個角點與其他象素點的最大區(qū)別就是這些角點 的鄰域內(nèi)有著非常復(fù)雜的邊界特征。文獻(xiàn)中已有研究人員提出了 Harris角點檢 測算法，該算法可獲取圖像中各點的角點特征，描述該點鄰域范圍內(nèi)不同方向 邊界特征的復(fù)雜度，如某點鄰域內(nèi)的邊界特征較復(fù)雜，存在著不同方向的邊界， 即有水平方向的邊界，也有垂直方向的邊界，則該點的Harris角點特征就會比 較大，反之，如某點鄰域內(nèi)沒有邊界，或者只有一個方向的邊界，則該點的 Harris角點特征就會非常小。由于六個角點的Harris特征一般都會比較大，因此我們可以為所有候選點 計算角點特征，并根據(jù)角點特征的大小進(jìn)行排序，將最大的幾個候選點留下， 而淘汰角點特征比較小的候選點。步驟50,將左眼、右眼、嘴巴的角點候選點分別組成對，為每個器官得到 若干個候選點對。將左眼、右眼和嘴巴的角點候選點分別組成對，為三個器官分別達(dá)到一定 數(shù)量的候選點對。例如，如左眼左側(cè)角點有3個候選點，右側(cè)角點有4個候選 點，則可為左眼達(dá)到12個候選點對。步驟60，釆用多組特征逐步淘汰候選點對，從各個器官的候選點對中挑選 出最佳點對，得到人臉眼角與嘴角的定位結(jié)果。這是嘴角和眼角定位的最后一步，目的是從各個器官的候選點對中挑選最 佳的點對。本發(fā)明將人眼和嘴巴的多組特征綜合起來，為每個候選點對計算一 個參數(shù)，將最大參數(shù)對應(yīng)的候選點對返回。申請人之前提出的"一種人臉特征點定位方法，，專利(文獻(xiàn)3)中，為人臉 左眼、右眼和嘴巴各訓(xùn)練了一個AdaBoost模型，該專利還可為任意輸入的一幅固定尺寸的矩形圖像輸出三個置信度，判斷該圖像與對應(yīng)的三個器官的相似 度。例如，對于左眼的某個候選點對，我們根據(jù)該候選點對的位置從人臉中裁 剪出一幅左眼的圖像，并對該圖像矩形仿射變換，獲取固定尺寸的矩形圖像， 且兩個候選角點變換到該矩形圖像中固定的位置，將這幅圖像輸入到左眼的AdaBoost模型中，返回一個置信度，這個數(shù)越大，表明這兩個候選點是角點的 概率也越大。另外，我們還可以利用人臉眼睛嘴巴的一些規(guī)則特征，例如，對于眼睛， 其中心區(qū)域一般是眼珠，應(yīng)該會比較黑，由此對于眼睛的每各候選點對，我們 可以計算這兩個點中軸線的鄰域內(nèi)部分象素點的均值，如均值比較小，則人臉 這個候選點對對應(yīng)角點的概率也比較大。再就是對于三個器官，給定某個候選 點對，其中軸線兩側(cè)的圖像應(yīng)該是近似對稱的，如不對稱，則說明角點的位置 有偏差，由此可以利用對稱性來確定候選點對是角點的概率。綜合上面提到的這些算法和規(guī)則，我們可以為各個候選點對計算一個總的 參數(shù)，根據(jù)該參數(shù)的大小確定哪個候選點對是最佳點對，這個點對返回的角點 就是角點的最終定位結(jié)果。圖7c和7d給出了兩組角點定位結(jié)果。本發(fā)明實施例4是供的方案，解決了在人臉作出各種姿態(tài)的時候?qū)ρ劬妥?巴的角點定位不準(zhǔn)確的問題，改善了現(xiàn)有的人臉面部特征點的定位與跟蹤技術(shù) 的性能，以此為基礎(chǔ)可實現(xiàn)更準(zhǔn)確的人臉面部關(guān)鍵器官輪廓的準(zhǔn)確定位，提高 各類人臉系統(tǒng)如人臉識別、人臉合成的性能。在獲得了人臉角點定位結(jié)果的基礎(chǔ)上，本發(fā)明實施例還提供一種人臉角點 跟蹤的方法，如圖2所示，本發(fā)明實施例2的實現(xiàn)方法具體包括步驟100,由多姿態(tài)人臉跟蹤算法返回的位置獲取當(dāng)前圖像幀中眼睛與嘴 巴角點的初值。本發(fā)明所指的多姿態(tài)人臉跟蹤算法，同樣采用文獻(xiàn)2中提到的算法持續(xù) 跟蹤檢測到的人臉。該算法對輸入視頻圖像進(jìn)行人臉檢測，確定一幀圖像中是 否存在人臉；如果在某幀圖像中檢測到人臉，則在后續(xù)幀中追蹤并驗證該人臉。該算法采用基于Mean shift的人臉跟蹤算法快速獲取當(dāng)前幀人臉中心點的粗略 位置，接著結(jié)合人臉色度分布特征和Lucas-Kanade反算算法估算人臉的精確平 移速度，進(jìn)而利用人臉檢測模型對人臉圖像矩形不斷驗證，并結(jié)合AAM仿射 系數(shù)估算算法計算人臉的尺度姿態(tài)，確保算法可一直跟蹤到人臉區(qū)域，且使跟蹤區(qū)域精度更高，并可獲取人臉的精確尺寸、旋轉(zhuǎn)角度等。在獲取人臉的位置后，就可以根據(jù)上述的角點定位方法獲取人臉中各個角 點的初步4立置。步驟200,在當(dāng)前幀圖像與前一幀圖像之間進(jìn)行匹配，獲取當(dāng)前幀中眼角 與嘴角各個角點的跟蹤位置。實際上，本發(fā)明實施例利用第k-1幀的人臉中的角點位置、圖像的色度 特征等到第k幀圖像中進(jìn)行搜索，獲取第k幀的人臉中的角點位置，作為當(dāng)前 角點的跟蹤位置。本發(fā)明采用圖像色度分布和Lucas-Kanade反算算法精確估算出各個角點 的平移矢量，確定當(dāng)前幀圖像中各個角點的精確位置。關(guān)于如何用 Lucas-Kanade反算算法獲取角點的平移位置，為本領(lǐng)域公知技術(shù)，可參考相關(guān) 文獻(xiàn)和文獻(xiàn)2，此處不再贅述。步驟300，以當(dāng)前幀中眼角與嘴角各個角點的跟蹤位置為初值，采用角點 定位算法獲取當(dāng)前幀角點的定位位置。這里的角點定位算法采用上述實施例中的角點定位算法，由于已經(jīng)獲得了 當(dāng)前幀中各角點的初值，因而可以省略角點定位算法中的獲取各個角點初始位 置的步驟，其余步驟均與上述實施例相同，此處不再贅述。步驟400，采用角點的定位位置對角點的跟蹤位置進(jìn)行修正，得到當(dāng)前幀 中各角點的跟蹤結(jié)果，并確保角點的跟蹤結(jié)果不會出錯。由于實際視頻中人臉面部圖像的變化可能會非常劇烈，如人臉的劇烈運 動、表情劇烈變化等都會極大地影響角點的跟蹤位置，導(dǎo)致跟蹤算法在數(shù)幀后 獲取的角點位置與真實位置偏差會越來越大，這也是所有特征點跟蹤算法的通病。為修正這個錯誤，我們在跟蹤過程中不斷對跟蹤結(jié)果進(jìn)行判決，結(jié)合各幀 角點的定位結(jié)果對不準(zhǔn)確的跟蹤結(jié)果進(jìn)行^修正。本實施例中，如果角點的跟蹤位置比較準(zhǔn)確，就不需要對角點的跟蹤位置 進(jìn)行修正。另外，角點的定位位置有時也會存在偏差。因此，在修正角點跟蹤 位置時仍舊需要考慮角點定位位置的精確度，如果角點定位位置精度較低，在 當(dāng)前幀中就暫時不對角點跟蹤位置進(jìn)行修正。申請人之前提出的"一種人臉特征點定位方法"專利(文獻(xiàn)3)中，可利用三個器官的Adaboost訓(xùn)練模型為人臉眼睛嘴巴的裁剪圖像返回一個置信度。 本實施例中也采用這個專利中的方法來判斷獲取的六個角點的精確程度，為各 個器官的每對角點跟蹤位置返回一個置信度。因此，本實施例中的步驟200中 進(jìn)一步可以包括在當(dāng)前幀圖像與前一幀圖像之間進(jìn)行匹配，獲取當(dāng)前幀中眼角與嘴角各個 角點的跟蹤位置；并對各角點的跟蹤位置計算置信度；判斷各角點的跟蹤位置 的置信度是否大于等于預(yù)先設(shè)定的閾值，如果是，將當(dāng)前各角點跟蹤位置作為 當(dāng)前幀中各角點的跟蹤結(jié)果；否則，執(zhí)行步驟300。這里，預(yù)先設(shè)定的閾值為一個經(jīng)驗值，可以通過試^r方法測定。 相應(yīng)的，本實施例中也可以采用上述實施例中的人臉眼睛、嘴巴AdaBoost 檢測模型判斷六個角點的精確程度，為各個器官的每對角點定位位置返回一個 置信度，并由此置信度判斷當(dāng)前幀中角點的跟蹤位置與角點的定位位置哪個更 為準(zhǔn)確。如果跟蹤位置比較準(zhǔn)確，則不需要使用角點定位位置修正角點的跟蹤 位置，以角點的跟蹤位置作為當(dāng)前幀中人臉六個角點的位置；否則，如果角點 定位位置比較準(zhǔn)確，就需要進(jìn)一步使用角點定位位置修正角點跟蹤位置，得到 當(dāng)前幀中人臉各個角點的跟蹤結(jié)果。也就是說，本實施例中，步驟300之后，步驟400之前，進(jìn)一步可以包括 計算并比較各角點跟蹤位置與定位位置的置信度，如果各角點的跟蹤位置 的置信度大于等于各角點定位位置的置信度，則將各角點跟蹤位置作為當(dāng)前幀各角點的跟蹤結(jié)果；否則，執(zhí)行步驟400。本實施例中，在之前角點定位算法的基礎(chǔ)上，進(jìn)一步實現(xiàn)了人臉角點位置 的持續(xù)跟蹤與修正，完成視頻圖像流中人臉角點的準(zhǔn)確定位。相應(yīng)地，本發(fā)明實施例還提供了一種人臉角點定位裝置，如圖3所示，該 裝置包括人臉檢測單元11、 AAM變換單元12、鄰域搜索單元13以及定位單 元14，具體如下人臉檢測單元11,用于采用人臉檢測算法獲取人臉的位置；AAM變換單元12,用于采用AAM算法獲取檢測人臉的仿射變換系數(shù)， 得到人臉上眼角與嘴角六個角點的初步位置；鄰域搜索單元13，用于以六個角點的初始位置為基礎(chǔ)，結(jié)合各個角點的 AdaBoost訓(xùn)練模型在各角點鄰域范圍內(nèi)搜索候選點，為每個角點獲取一定數(shù)量 的寸吳選點；定位單元14，用于對所有的候選點進(jìn)行排序、組對以及^t兆選角點最佳點對。較佳地，如圖4所示，上述裝置中的定位單元14,進(jìn)一步包括排序子單元 141、組對子單元142以及挑選子單元143，具體如下排序子單元141 ，用于計算所有角點的Harris角點特征，并根據(jù)角點特征 進(jìn)行排序，根據(jù)排序結(jié)果減少各個角點候選點的數(shù)量；組對子單元142,用于將左眼、右眼、嘴巴的角點候選點分別組成對，為 每個器官得到若干個候選點對；挑選子單元143,用于采用多組特征逐步淘汰候選點對，從各個器官的候 選點對中挑選出最佳點對，得到人臉眼角與嘴角的定位結(jié)果。相應(yīng)的，本發(fā)明實施例提供一種人臉角點跟蹤的裝置，如圖5所示，包括 上述的角點定位裝置以及初值獲取單元101、跟蹤位置獲取單元102和修正單 元103,具體如下初值獲取單元101，用于由多姿態(tài)人臉跟蹤算法返回的位置獲取當(dāng)前圖像 幀中眼角與嘴角各個角點的初值；跟蹤位置獲取單元102,用于在當(dāng)前幀圖像與前一幀圖像之間進(jìn)行匹配，獲取當(dāng)前幀中眼角與嘴角各個角點的跟蹤位置；角點定位裝置，用于以當(dāng)前幀各角點的跟蹤位置為初值，采用角點定位算法獲取當(dāng)前幀各角點的定位位置，作為當(dāng)前幀角點的定位結(jié)果；修正單元103，用于采用角點的定位結(jié)果對跟蹤角點的位置進(jìn)行修正，確保角點的跟蹤結(jié)果不會出錯，得到當(dāng)前幀中眼角與嘴角的跟蹤結(jié)果，實現(xiàn)人臉眼角與嘴角的^^蹤。較佳地，如圖6所示，上述實施例中的人臉角點跟蹤裝置，進(jìn)一步包括置信度判斷單元104,用于對角點定位裝置輸出的當(dāng)前幀角點的定位結(jié)果的置信度進(jìn)行判斷，并返回判斷結(jié)果角點定位裝置根據(jù)返回的判斷結(jié)果確定是否對角點的跟蹤位置進(jìn)行修正。 本發(fā)明實施例提供的方案，解決了在人臉作出各種姿態(tài)的時候?qū)ρ劬妥彀偷慕屈c定位不準(zhǔn)確的問題，更為實現(xiàn)人臉眼睛、嘴巴外輪廓定位，進(jìn)而驅(qū)動人臉二維與三維模型提供了可行方案，從而改善現(xiàn)有的人臉檢測與跟蹤技術(shù)的性能。顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)4亍各種改動和變型而不脫離本發(fā) 明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及 其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。
權(quán)利要求
1、一種人臉眼角與嘴角的定位方法，其特征在于，該方法包括A、采用人臉檢測算法獲取人臉的位置；B、采用主動外貌模型AAM算法獲取檢測人臉的仿射變換系數(shù)，得到人臉眼角與嘴角所對應(yīng)的六個角點的初始位置；C、以所述六個角點的初始位置為基礎(chǔ)，結(jié)合各角點的AdaBoost訓(xùn)練模型，在各角點鄰域范圍內(nèi)搜索候選點；D、采用多組特征逐步淘汰各角點的候選點，得到人臉眼角與嘴角的定位結(jié)果。
2、 如權(quán)利要求l所述的方法，其特征在于，所述步驟D包括Dl、計算所述各角點候選點的Harris角點特征，并根據(jù)Harris角點特征進(jìn) 行排序，根據(jù)排序結(jié)果減少各個角點的候選點數(shù)量；D2、將左眼、右眼、嘴巴的角點候選點分別組成對，為左眼、右眼、嘴巴 分別得到若干個候選點對；D3、采用多組特征逐步淘汰候選點對，從各個器官的候選點對中挑選出最 佳點對，得到人臉眼角與嘴角的定位結(jié)果。
3、 如權(quán)利要求l所述的方法，其特征在于，所述步驟C中在各角點鄰域 范圍內(nèi)搜索候選點，包括將各角點鄰域范圍內(nèi)每一個像素點都確定為一候選點，或者按照固定的窗 口大小，每隔幾個像素點確定一個候選點。
4、 一種人臉眼角與嘴角持續(xù)跟蹤的方法，其特征在于，該方法包括a、 由多姿態(tài)人臉跟蹤算法返回的位置獲取當(dāng)前圖像幀中眼角與嘴角所對 應(yīng)各角點的初值；b、 在當(dāng)前幀圖像與前一幀圖像之間進(jìn)行匹配，獲取當(dāng)前幀中眼角與嘴角 各個角點的跟蹤位置；c、 以當(dāng)前幀中眼角與嘴角各個角點的跟蹤位置為初值，采用如權(quán)利要求l所述的人臉眼角與嘴角定位方法獲取當(dāng)前幀中眼角與嘴角各個角點的定位位置，作為當(dāng)前幀中眼角與嘴角各個角點的定位位置；d、采用當(dāng)前幀中眼角與嘴角各個角點的定位位置對角點的跟蹤位置進(jìn)行 修正，得到當(dāng)前幀中眼角與嘴角的跟蹤結(jié)果。
5、 如權(quán)利要求4所述的方法，其特征在于，所述步驟b進(jìn)一步包括在當(dāng)前幀圖像與前一幀圖像之間進(jìn)行匹配，獲取當(dāng)前幀中眼角與嘴角各個 角點的跟蹤位置；并對各角點的跟蹤位置計算置信度；判斷各角點的跟蹤位置的置信度是否大于等于預(yù)先設(shè)定的閾值，如果是， 將當(dāng)前各角點跟蹤位置作為當(dāng)前幀中各角點的跟蹤結(jié)果；否則，執(zhí)行步驟c。
6、 如權(quán)利要求4所述的方法，其特征在于，所述步驟c之后，步驟d之 前，進(jìn)一步包括cl、計算并比較各角點跟蹤位置與定位位置的置信度，如果各角點的跟蹤 位置的置信度大于等于各角點定位位置的置信度，則將各角點跟蹤位置作為當(dāng) 前幀各角點的跟蹤結(jié)果；否則，執(zhí)行步驟d。
7、 一種人臉眼角與嘴角定位裝置，其特征在于，該裝置包括人臉檢測單 元、AAM變換單元、鄰域搜索單元以及定位單元，其中，所述人臉檢測單元，用于獲取人臉的位置；所述AAM變換單元，用于采用AAM算法獲取檢測人臉的仿射變換系數(shù)， 得到人臉上眼角與嘴角六個角點的初步位置；所述鄰域搜索單元，用于以六個角點的初始位置為基礎(chǔ)，結(jié)合各個角點的 AdaBoost訓(xùn)練模型在各角點鄰域范圍內(nèi)搜索候選點，為每個角點獲取一定數(shù)量 的候選點；所述定位單元，用于對所有的候選點進(jìn)行排序、組對以及#>選最佳角點對。
8、 如權(quán)利要求7所述的裝置，其特征在于，所述定位單元進(jìn)一步包括排 序子單元、組對子單元以及挑選子單元，其中，所述排序子單元，用于計算所有角點的Harris角點特征，并才艮據(jù)角點特征進(jìn)行排序，根據(jù)排序結(jié)果減少各個角點候選點的數(shù)量；所述組對子單元，用于將左眼、右眼、嘴巴的角點候選點分別組成對，為每個器官得到若干個候選點對；所述挑選子單元，用于從各個器官的候選點對中挑選出最佳點對，得到人 臉眼角與嘴角的定位結(jié)果。
9、 一種人臉眼角與嘴角跟蹤裝置，包括如權(quán)利要求7所述的人臉眼角與 嘴角定位裝置，其特征在于，該裝置還包括初值獲取單元、跟蹤位置獲取單元 和修正單元，其中，所述初值獲取單元，用于獲取當(dāng)前圖像幀中眼角與嘴角各個角點的初值；所述跟蹤位置獲取單元，用于在當(dāng)前幀圖像與前一幀圖像之間進(jìn)行匹配， 獲取當(dāng)前幀中眼角與嘴角各個角點的跟蹤位置；所述角點定位裝置，用于以當(dāng)前幀各角點的跟蹤位置為初值，采用角點定 位算法獲取當(dāng)前幀各角點的定位位置；所述修正單元，用于采用角點的定位位置對角點的跟蹤位置進(jìn)行修正，得 到當(dāng)前幀中眼角與嘴角的跟蹤結(jié)果。
10、 如權(quán)利要求9所述的裝置，其特征在于，該裝置進(jìn)一步包括置信度判 斷單元，用于對角點定位裝置輸出的當(dāng)前幀角點的定位結(jié)果的置信度進(jìn)行判 斷，并返回判斷結(jié)果所述角點定位裝置根據(jù)返回的判斷結(jié)果確定是否對角點的跟蹤位置進(jìn)行 修正。
全文摘要
本發(fā)明公開了一種人臉眼角與嘴角的定位與跟蹤方法及裝置，首先采用人臉檢測算法獲取人臉的位置；采用AAM算法獲取檢測人臉的仿射變換系數(shù)，得到人臉上眼睛和嘴巴六個角點的初步位置；結(jié)合各個角點的AdaBoost訓(xùn)練模型在其鄰域范圍內(nèi)搜索候選點的位置，為每個角點獲取一定數(shù)量的候選點；計算所有角點的Harris角點特征，根據(jù)一定規(guī)則減少各個角點候選點的數(shù)量；將左眼、右眼、嘴巴的角點候選點分別組成對；采用多組特征逐步淘汰點對，最終返回最佳的結(jié)果。本發(fā)明實施例提供的方案，解決了在人臉作出各種姿態(tài)的時候?qū)ρ劬妥彀偷慕屈c定位不準(zhǔn)確的問題，更為實現(xiàn)人臉眼睛、嘴巴外輪廓定位，進(jìn)而驅(qū)動人臉二維與三維模型提供了可行方案。
文檔編號G06K9/00GK101216882SQ200710304688
公開日2008年7月9日 申請日期2007年12月28日 優(yōu)先權(quán)日2007年12月28日
發(fā)明者浩 王, 鄧亞峰, 英 黃 申請人:北京中星微電子有限公司