專利名稱：視頻監(jiān)控圖像中最清晰人臉的捕捉方法
技術領域：
本發(fā)明涉及一種視頻監(jiān)控圖像中最清晰人臉的捕捉方法，是一種攝像頭監(jiān)控 領域中的信息處理方法。
背景技術：
目前，單攝像頭的監(jiān)控廣泛應用于工業(yè)控制，安全保障，交通監(jiān)控，門禁系 統(tǒng)等領域。在很多領域(如安保系統(tǒng)，門禁系統(tǒng))需要自動的將人臉的圖像 在視頻中檢測出，并且記錄。由于視頻記錄的是連續(xù)的圖像，同一個人根據(jù)其 停留時間的長短可以產(chǎn)生幾千至幾萬幅圖像，如果將其全部記錄是一種對空間 的浪費，也為后期的査找工作帶來很大的麻煩，選擇其中清晰度高的記錄是一 種直觀的可行辦法。由于光線，視角，遮擋等因素，視頻中檢測到的人臉并不 總是正面清晰的，很可能是模糊的，從大量的連續(xù)圖像中自動的選取一個清晰 人臉成為一個難題。
經(jīng)過對現(xiàn)有技術文獻的查找發(fā)現(xiàn)，Ying-Li Tian等人在2005年的Computer Viskm and Pattern Recognition (計算機視覺與模式識別)會議上發(fā)表了題為 "Robust and efficient foreground analysis for real-time video surveillance"(實時視步頁 監(jiān)控中魯棒有效的前景分析)的論文，該文用混合高斯模板的方法對背景進行 建模，然后通過灰度和紋理信息去除陰影，最后在得到的前景中檢測人臉。該 方法很好的解決了甜景(人臉)的檢測和跟蹤問題，但是無法自動的從連續(xù)獲 得的人臉圖像中選擇高清晰度的圖像，沒有解決從這一系列圖像中選取清晰圖 像的問題。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術的不足，提出一種視頻監(jiān)控圖像中最清晰人 臉的捕捉方法，能夠自動的從連續(xù)獲得的人臉圖像中選擇高清晰度的圖像。
為實現(xiàn)上述目的，本發(fā)明利用快速離散傅里葉變換的方法，在大量人臉序列圖像中選擇最清晰人臉，包括視頻的獲取；利用直方圖均衡化、圖像形態(tài)學 處理等方法對圖像預處理；利用快速目標檢測的方法進行人臉檢測；根據(jù)速度 估計跟蹤人臉；利用快速離散傅里葉變換對人臉進行選擇。 本發(fā)明的方法通過以下步驟實現(xiàn)
1、 對監(jiān)控區(qū)域攝像頭捕獲的視頻進行圖像預處理，調(diào)整亮度值后將彩色圖 像轉(zhuǎn)化為黑白圖像，對圖像進行直方圖均衡化使整個圖像的灰度平衡，然后對 圖像進行形態(tài)學處理。
2、 對形態(tài)學處理后的每一幀圖像用開源函數(shù)庫opencv中改進的AdaBoost 方法檢測人臉；對檢測到的人臉利用剔除區(qū)域相互包含的方法和YCbCr統(tǒng)計特 性的方法去除不正確的人臉；對每一幀圖像都使用上述人臉檢測算法檢測人臉； 記錄人臉大小及坐標并且通過前后多幀圖像中的人臉位置估計人臉運動的方向 和速度。
3、 如果在前后兩幀圖像中都檢測到了人臉，并且后一幀的人臉在前一幀人 臉的坐標附近，則認為是同一個人臉；如果在前幀圖像中未檢測到人臉而在后 一幀圖像中檢測到，則認為是新出現(xiàn)的人臉；如果在前幀圖像中檢測到人臉而 在后一幀中未檢測到，根據(jù)人臉消失時間及人臉在圖像中的位置來判斷人是否 離開監(jiān)控區(qū)域；以此來實現(xiàn)人臉的跟蹤，并保存所有檢測到的人臉圖像作為候 選圖像。
4、 對同一個人的所有候選圖像進行歸一化，使之擁有相同的大小，然后去 除這些候選圖像的邊框部分，對剩余部分做快速離散傅里葉變換，得到傅里葉 變換值；將所有傅里葉變換值中最大的M個值所對應的候選圖像挑選出來，從 中選擇一個像素最多的圖像保存，完成視頻監(jiān)控圖像中最清晰人臉的捕捉；其 中M為傅里葉變換值總數(shù)量的5 — 10%。
圖像是否清晰在頻域是由其高頻分量決定的，而高頻分量越豐富，其傅里 葉變換值越大，通過一定的預處理，可以使傅単葉變換值與清晰度成正比關系， 以此來選擇圖像。
本發(fā)明與現(xiàn)有技術相比的顯著效果在于更加快速的實現(xiàn)人臉的檢測和跟
4蹤，能夠?qū)崟r的處理監(jiān)控視頻。本發(fā)明能夠從大量的人臉中選擇最清晰的人臉 并且存儲相關信息，不需要大量的空間存儲監(jiān)控視頻，只需要少量空間存儲關 鍵信息，節(jié)約了時間、空間和成本。


圖1是本發(fā)明實施例中人臉跟蹤部分的狀態(tài)轉(zhuǎn)移圖。
具體實施例方式
下面結(jié)合附圖和實施例對本發(fā)明的技術方案作詳細說明。以下實施例在以本 發(fā)明技術方案為前提下進行實施，給出了詳細的實施方式和過程，但本發(fā)明的 保護范圍不限于下述的實施例。
本實施例具體步驟如下
(1)視頻捕獲和圖像預處理 由攝像頭捕獲視頻，然后傳輸給后臺程序進行處理。
對監(jiān)控區(qū)域攝像頭捕獲的視頻進行圖像預處理，調(diào)整亮度值后將彩色圖像 轉(zhuǎn)化為黑白圖像，對圖像進行直方圖均衡化使整個圖像的灰度平衡，然后對圖 像進行形態(tài)學處理。
為方便描述，假設此時環(huán)境亮度不高，先對亮度進行補償。由于獲取的圖
像的表達方式一般是使用RGB (紅綠藍)值，先將圖像轉(zhuǎn)換為HSI (色調(diào)、色飽
和度、亮度)值表達，轉(zhuǎn)換公式為
<formula>formula see original document page 5</formula>
其中
<formula>formula see original document page 5</formula> 式中，R表示紅色分量，G表示綠色分量，B表示藍色分量，H表示色調(diào)，S表示色飽和度，I表示亮度。然后增加適當?shù)腎值，這時將彩色圖像轉(zhuǎn)換為黑白圖像。 將得到的黑白圖像做直方圖均衡化。對所得到的所有圖像點的灰度進行統(tǒng)
計，得到每個灰度值的概率密度，對概率密度進行積分即可。 (2)人臉檢測
對預處理后的每一幀圖像用開源函數(shù)庫opencv中改進的AdaBoost方法檢測 人臉。盡管這個方法可以提供非常高的檢測率和很低的錯檢率，但仍然會有一 些錯誤的區(qū)域被當做人臉，如不是皮膚顏色的區(qū)域和相互包含的區(qū)域。本發(fā)明 對檢測到的人臉利用剔除區(qū)域相互包含的方法和YCbCr (亮度、藍色色度、紅色 色度)統(tǒng)計特性的方法去除不正確的人臉。首先檢查各個被認為是人臉的區(qū)域 的坐標和大小，如果發(fā)現(xiàn)有一個大區(qū)域包含了一個小區(qū)域，去除那個較大的。 然后檢測各個區(qū)域的顏色，大量的統(tǒng)計表明，在YCbCr顏色空間中，只有那些值 在0〈Y〈1.01 ，0.52<Cb<0.66,0.32<Cr<0.63范圍內(nèi)的區(qū)域才可能有人臉。如果顏色 不在這個范圍內(nèi)，除去此區(qū)域。
記錄人臉大小及坐標并且通過前后多幀圖像中的人臉位置估計人臉運動的 方向和速度。
(3)人臉跟蹤
如果在前后兩幀圖像中都檢測到了人臉，并且后一幀的人臉在前-一幀人臉 的坐標附近，則認為是同一個人臉；如果在前幀圖像中未檢測到人臉而在后一 幀圖像中檢測到，則認為是新出現(xiàn)的人臉；如果在前幀圖像中檢測到人臉而在 后一幀中未檢測到，根據(jù)人臉消失時間及人臉在圖像中的位置來判斷人是否離 開監(jiān)控區(qū)域；以此來實現(xiàn)人臉的跟蹤，并保存所有檢測到的人臉圖像作為候選 圖像。
圖l給出了本實施例中人臉跟蹤部分的狀態(tài)轉(zhuǎn)移圖。如圖1所示，本歩驟如 下所述為便于描述，先定義幾個變量。數(shù)組變量PRE[]用來記錄前一幀捕獲的 人臉信息，數(shù)組變量CUR[]用來記錄本幀捕獲的人臉信息。數(shù)組變量有以下兩種 主要狀態(tài)有用，無用。有用表示這個變量正被用于記錄信息，無用表示這個 變量沒有被使用或者已經(jīng)被廢棄。有用狀態(tài)又有三個分支狀態(tài)新的，正常的，消失的。新的表示這個變量存儲的是一個新探測到的人臉信息，并且其置信值 小于置信閾值下限，還不能認為這是一個人臉。正常的表示這個人臉連續(xù)多次 被檢測到。消失的表示這個人臉以前是正常的，但在最近幾幀中消失了，并且 消失時間小于消失時間閾值。
對每個變量CUR，先查詢哪個PRE能夠和它匹配，如果有匹配的，記錄是數(shù) 組的第幾個變量匹配。如果沒有匹配的，則認為這個是新出現(xiàn)的人臉，將其信 息保存在一個無用的PRE中。
對于每一個匹配的PRE，考慮它的狀態(tài)。如果它是新的，增加它的置信值， 保存人臉信息。如果它是正常的，只需要保存人臉信息。如果是消失的，這說 明再次找到了這個人，將其狀態(tài)變更為正常的，保存人臉信息。
對于數(shù)組CUR[]中每一個CUR執(zhí)行以上步驟，然后處理那些數(shù)組PRE[]中未 被匹配的。如果狀態(tài)是新的并且置信值小于閾值，認為它是噪聲，直接刪除。 如果狀態(tài)是新的但是置信值大于閾值，減小置信值。如果是正常的并且在圖像 邊界附近，認為它是走出了監(jiān)控區(qū)域，輸出現(xiàn)有信息。如果是正常的但是沒有 在圖像邊界附近，將其標記為消失。如果狀態(tài)是消失但是消失時間小于閾值， 增加消失時間。如果狀態(tài)是消失的并且消失時間大于閾值，認為其消失了，輸 出現(xiàn)有信息。
如果此幀需要輸出信息則進入人臉選擇歩驟，如果不需要則直接進入下一 輪回的獲取視頻。 (4)人臉選擇
所述人臉選擇部分主要通過快速離散傅里葉變換實現(xiàn)。首先對同一個人的 所有候選圖像進行歸一化，使之擁有相同的大小。然后去除這些候選圖像的邊 框部分，對剩余部分做快速離散傅里葉變換，得到傅里葉變換值。本實施例截 取候選圖像正中間的20乘以20像素的圖像，然后對這些圖像進行快速離散傅里 葉變換，再將變換中心轉(zhuǎn)移到圖像中心。
接著開始計算圖像的高頻分量。為了計算圖像的高頻分量，先制作一個20 乘以20的權(quán)值矩陣，使得這個矩陣越靠近中間的值越小，越接近邊緣的值越大。
7這是因為快速傅里葉變換將高頻分量的信息變換到靠近邊緣的地方。在本實施 例中，其中心圈的值是l，以后每向外一圈加l。
將這個權(quán)值矩陣的對應值和圖像的對應值相乘后相加即得到傅里葉變換值。
比較所有傅里葉變換值的大小，選擇其中最大的5個(即M-5， 一般的， 如果候選圖像大于50個，則取M為傅里葉變換值總數(shù)量的5 — 10n/。)，從中選擇一
個像素最多的圖像保存。這個圖像在清晰度和大小兩方面都會很合適，使人眼 感覺非常清晰。到此，完成視頻監(jiān)控圖像中最清晰人臉的捕捉。 最后將得到的人臉及其相關信息存儲，以便以后的處理和使用。
權(quán)利要求
1、一種視頻監(jiān)控圖像中最清晰人臉的捕捉方法，其特征在于包含以下步驟1)對監(jiān)控區(qū)域攝像頭捕獲的視頻進行圖像預處理，調(diào)整亮度值后將彩色圖像轉(zhuǎn)化為黑白圖像，對圖像進行直方圖均衡化使整個圖像的灰度平衡，然后對圖像進行形態(tài)學處理；2)對形態(tài)學處理后的每一幀圖像用開源函數(shù)庫opencv中改進的AdaBoost方法檢測人臉；對檢測到的人臉利用剔除區(qū)域相互包含的方法和YCbCr統(tǒng)計特性的方法去除不正確的人臉；記錄人臉大小及坐標并且通過前后多幀圖像中的人臉位置估計人臉運動的方向和速度；3)如果在前后兩幀圖像中都檢測到了人臉，并且后一幀的人臉在前一幀人臉的坐標附近，則認為是同一個人臉；如果在前幀圖像中未檢測到人臉而在后一幀圖像中檢測到，則認為是新出現(xiàn)的人臉；如果在前幀圖像中檢測到人臉而在后一幀中未檢測到，根據(jù)人臉消失時間及人臉在圖像中的位置來判斷人是否離開監(jiān)控區(qū)域；以此來實現(xiàn)人臉的跟蹤，并保存所有檢測到的人臉圖像作為候選圖像；4)對同一個人的所有候選圖像進行歸一化，使之擁有相同的大小，然后去除這些候選圖像的邊框部分，對剩余部分做快速離散傅里葉變換，得到傅里葉變換值；將所有傅里葉變換值中最大的M個值所對應的候選圖像挑選出來，從中選擇一個像素最多的圖像保存，完成視頻監(jiān)控圖像中最清晰人臉的捕捉；其中M為傅里葉變換值總數(shù)量的5-10％。
全文摘要
本發(fā)明涉及一種視頻監(jiān)控圖像中最清晰人臉的捕捉方法，利用快速離散傅里葉變換的方法選擇最清晰人臉，包括視頻的獲取；利用直方圖均衡化、圖像形態(tài)學處理等方法對圖像預處理；利用快速目標檢測的方法進行人臉檢測；利用剔除區(qū)域相互包含的方法和YCbCr統(tǒng)計特性的方法去除不正確的人臉；根據(jù)多幀圖像中的人臉估計人臉的位置和速度以此來跟蹤人臉；利用快速離散傅里葉變換判斷人臉的清晰度選擇具有最佳清晰度的人臉。本發(fā)明能快速實現(xiàn)人臉的檢測和跟蹤，實時處理監(jiān)控視頻，不需要大量的空間存儲監(jiān)控視頻，節(jié)約了時間、空間和成本。
文檔編號G06T7/00GK101582163SQ20091005375
公開日2009年11月18日 申請日期2009年6月25日 優(yōu)先權(quán)日2009年6月25日
發(fā)明者劉允才, 劉歡喜, 兵 孫, 科 李 申請人:上海交通大學