一種融合多線索的人體視頻分割方法
【專利摘要】本發(fā)明公開(kāi)了一種融合多線索的人體視頻分割方法，其通過(guò)簡(jiǎn)單的交互獲取初始幀的前景和背景像素點(diǎn)，并構(gòu)建前景模型和背景模型，再通過(guò)前景、背景模型對(duì)初始幀內(nèi)的像素點(diǎn)進(jìn)行標(biāo)記，最終通過(guò)圖割方法獲得初始幀的分割結(jié)果，在后續(xù)幀的處理中，基于后續(xù)幀的前一幀的分割結(jié)果獲得后續(xù)幀的前景、背景模型及其初始標(biāo)記，然后通過(guò)融合后續(xù)幀的運(yùn)動(dòng)信息及由此獲得的后續(xù)幀的形狀先驗(yàn)信息，采用二值圖割方法獲得后續(xù)幀的分割結(jié)果；特點(diǎn)在于將融合了的顏色信息、運(yùn)動(dòng)信息和形狀先驗(yàn)信息在后續(xù)幀之間進(jìn)行傳遞，減弱了時(shí)域上位于待處理幀之前的幀對(duì)待處理幀的影響，有效地避免后續(xù)幀在分割時(shí)出現(xiàn)擴(kuò)大后續(xù)幀的前一幀分割錯(cuò)誤影響的情況，且不再需要用戶的交互。
【專利說(shuō)明】一種融合多線索的人體視頻分割方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種視頻分割方法，尤其是涉及一種融合多線索的人體視頻分割方法。
【背景技術(shù)】
[0002]視頻分割是指在視頻中將前景對(duì)象與背景環(huán)境區(qū)別并分割出來(lái)，它是很多視頻應(yīng)用的前提與基礎(chǔ)，如視頻摳圖與粘貼、視頻壓縮、人機(jī)交互以及視頻理解等應(yīng)用。在視頻分割中，人體視頻分割具有特別重要的意義，人體視頻不僅在眾多非剛體對(duì)象中具有代表性，而且是眾多視頻應(yīng)用的核心，如智能視頻監(jiān)控中的對(duì)象跟蹤、姿態(tài)估計(jì)、人體識(shí)別以及行為分析等都依賴人體視頻分割方法。然而，現(xiàn)有的視頻分割方法還存在許多問(wèn)題，除了具有與現(xiàn)有的圖像分割技術(shù)共同的困難外(包括復(fù)雜的顏色、紋理分布以及模糊的邊緣等)，還具有特有的一些技術(shù)障礙，如幀間光線的變化、攝像機(jī)與對(duì)象的運(yùn)動(dòng)以及由此產(chǎn)生的遮擋與重現(xiàn)、3D空間的運(yùn)動(dòng)與2D對(duì)象投影邊界的巨大差異以及每幀的交互問(wèn)題等，因此，視頻分割方法仍是目前的研究熱點(diǎn)。
[0003]現(xiàn)有的視頻分割方法對(duì)初始幀的分割多數(shù)都建立在基于條件隨機(jī)場(chǎng)的圖割框架中，首先基于初始交互信息建立全局或局部的前景模型和背景模型，進(jìn)而計(jì)算隨機(jī)場(chǎng)中似然項(xiàng)與對(duì)比項(xiàng)的能量，最終通過(guò)圖割等方法獲取全局或局部的最優(yōu)解來(lái)完成對(duì)當(dāng)前幀的分割，而后續(xù)幀的分割則通過(guò)采用將前一幀的分割模型向后傳播的方式，迭代地應(yīng)用上述方法完成分割。這種視頻分割方法對(duì)幀處理的過(guò)程中，若當(dāng)前幀的分割過(guò)程出現(xiàn)分割錯(cuò)誤的像素時(shí)，在后續(xù)幀的分割中就會(huì)放大錯(cuò)誤的像素的影響，這樣將嚴(yán)重影響后續(xù)中貞的分害I]效果° Fan 等人(Fan et al.Tranductive segmentation of live video withnon-stationary background.1n IEEE Conference on Computer Vision and PatternRecognition, 2010.動(dòng)態(tài)背景的實(shí)時(shí)分割，電氣電子工程師學(xué)會(huì)，計(jì)算機(jī)視覺(jué)與模式識(shí)別國(guó)際會(huì)議)提出了一種全局動(dòng)態(tài)顏色模型和快速局部核密度估計(jì)模型相結(jié)合的方法，其將局部顏色與全局顏色進(jìn)行融合，該方法在處理背景比較復(fù)雜的幀時(shí)，容易導(dǎo)致分割結(jié)果錯(cuò)誤。Bai 等人(Bai et al.Dynamic Color Flow:A Motion-Adaptive Color Model forObject Segmentation in Vide0.1n:1lth European Conference on Computer Vision.動(dòng)態(tài)顏色光流:一個(gè)運(yùn)動(dòng)自適應(yīng)的顏色視頻分割模型，第11屆計(jì)算機(jī)視覺(jué)歐洲會(huì)議)提出了一種融合顏色信息、運(yùn)動(dòng)信息和形狀信息的視頻分割方法，其將運(yùn)動(dòng)估計(jì)加入顏色模型中，并根據(jù)運(yùn)動(dòng)的局部特征自適應(yīng)地調(diào)節(jié)局部顏色的采樣窗口大小，并且加入形狀信息；Price等人(LIVEcut:Learning-based interactive video segmentation by evaluation ofmultiple propagated cues.1n IEEE.1n IEEE International Conference on ComputerVision, 2009.電氣電子工程師學(xué)會(huì)，計(jì)算機(jī)視覺(jué)國(guó)際會(huì)議)提出了 LIVEcut方法，其將顏色、梯度、形狀、時(shí)空、運(yùn)動(dòng)等信息，自適應(yīng)的方式融合到圖割的能量項(xiàng)中，雖然，Bai等人和Price等人各自提出的方法在處理背景比較復(fù)雜的幀時(shí)能取得較好的分割結(jié)果，但是在后續(xù)幀的分割中，需要用戶的交互。
【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種融合多線索的人體視頻分割方法，其融合了顏色信息、運(yùn)動(dòng)信息和形狀先驗(yàn)信息，減弱了時(shí)域上位于待處理幀之前的幀對(duì)待處理幀的影響，有效地避免后續(xù)幀在分割時(shí)出現(xiàn)擴(kuò)大后續(xù)幀的前一幀分割錯(cuò)誤影響的情況，且在后續(xù)幀的處理中，不再需要用戶交互。
[0005]本發(fā)明解決上述技術(shù)問(wèn)題所采用的技術(shù)方案為:一種融合多線索的人體視頻分割方法，其特征在于:包括以下步驟:
[0006]①?gòu)囊欢魏腥梭w的視頻序列中取出其初始幀，采用HOG人體檢測(cè)方法對(duì)初始幀進(jìn)行人體檢測(cè)，獲得一個(gè)矩形的人體檢測(cè)框，將初始幀內(nèi)處于人體檢測(cè)框外的所有像素點(diǎn)標(biāo)記為背景像素點(diǎn)，然后標(biāo)記出初始幀內(nèi)處于人體檢測(cè)框內(nèi)的部分前景像素點(diǎn)和部分背景像素點(diǎn)，將標(biāo)記出的所有前景像素點(diǎn)構(gòu)成初始幀的前景區(qū)域，將標(biāo)記出的所有背景像素點(diǎn)構(gòu)成初始幀的背景區(qū)域，將初始幀內(nèi)未標(biāo)記的像素點(diǎn)確認(rèn)為未知點(diǎn)；
[0007]②利用局部競(jìng)爭(zhēng)的一類支持向量機(jī)分類模型，根據(jù)初始幀的前景區(qū)域在初始幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口內(nèi)構(gòu)建一個(gè)前景模型，并根據(jù)初始幀的背景區(qū)域在初始幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口內(nèi)構(gòu)建一個(gè)背景模型，然后通過(guò)獲取初始幀內(nèi)的每個(gè)未知點(diǎn)對(duì)應(yīng)的前景模型和背景模型的得分，得到初始幀內(nèi)的每個(gè)未知點(diǎn)對(duì)前景區(qū)域和背景區(qū)域的損失值，再根據(jù)初始幀內(nèi)的每個(gè)未知點(diǎn)對(duì)前景區(qū)域和背景區(qū)域的損失值，對(duì)初始幀內(nèi)的每個(gè)未知點(diǎn)進(jìn)行重新標(biāo)記，進(jìn)一步將初始幀內(nèi)的部分未知點(diǎn)標(biāo)記為前景像素點(diǎn)或背景像素點(diǎn)，將標(biāo)記為前景像素點(diǎn)的未知點(diǎn)加入到初始幀的前景區(qū)域中以更新初始幀的前景區(qū)域，將標(biāo)記為背景像素點(diǎn)的未知點(diǎn)加入到初始幀的背景區(qū)域中以更新初始幀的背景區(qū)域，然后提取出重新標(biāo)記后初始幀內(nèi)仍未標(biāo)記的像素點(diǎn)對(duì)更新前的初始幀的前景區(qū)域及更新前的初始幀的背景區(qū)域的損失值；
[0008]③在更新完初始幀的前景區(qū)域和初始幀的背景區(qū)域后，將初始幀內(nèi)仍未標(biāo)記的像素點(diǎn)作為初始幀的未知點(diǎn)， 然后返回步驟②繼續(xù)執(zhí)行，直到完成N次迭代，得到N次迭代更新后獲得的初始幀的前景區(qū)域和初始幀的背景區(qū)域、N次迭代更新后的初始幀內(nèi)的未知點(diǎn)以及N次迭代更新后的初始幀內(nèi)的每個(gè)未知點(diǎn)對(duì)N-1次迭代更新后獲得的初始幀的前景區(qū)域和背景區(qū)域的損失值，其中，20 ^ N ^ 30 ；
[0009]④根據(jù)N次迭代更新后獲得的初始幀的前景區(qū)域和初始幀的背景區(qū)域、N次迭代更新后的初始幀內(nèi)的未知點(diǎn)、N-1次迭代更新后的初始幀的前景區(qū)域和背景區(qū)域，采用圖割方法對(duì)N次迭代更新后的初始幀內(nèi)的每個(gè)像素點(diǎn)進(jìn)行處理，得到初始幀的分割結(jié)果，即得到初始幀的人體對(duì)象，然后將初始幀的下一幀作為當(dāng)前幀，再執(zhí)行步驟⑤；
[0010]⑤基于當(dāng)前幀的上一幀的分割結(jié)果對(duì)當(dāng)前幀進(jìn)行分割處理，具體過(guò)程如下:
[0011]⑤-1、根據(jù)當(dāng)前幀的上一幀的分割結(jié)果，預(yù)測(cè)得到當(dāng)前幀的整體前景模型和整體背景模型；
[0012]⑤-2、利用當(dāng)前幀的整體前景模型和整體背景模型對(duì)當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)進(jìn)行標(biāo)記，獲得當(dāng)前幀內(nèi)的部分前景像素點(diǎn)和部分背景像素點(diǎn)，將獲得的當(dāng)前幀的所有前景像
素點(diǎn)構(gòu)成當(dāng)前幀的前景區(qū)域，將獲得的當(dāng)前幀的所有背景像素點(diǎn)構(gòu)成當(dāng)前幀的背景區(qū)域，并將當(dāng)前幀內(nèi)未標(biāo)記的像素點(diǎn)確定為未知點(diǎn)；[0013]⑤-3、利用局部競(jìng)爭(zhēng)的一類支持向量機(jī)分類模型，根據(jù)當(dāng)前幀的前景區(qū)域在當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口內(nèi)構(gòu)建一個(gè)前景模型，并根據(jù)當(dāng)前幀的背景區(qū)域在當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口內(nèi)構(gòu)建一個(gè)背景模型，然后通過(guò)獲取當(dāng)前幀內(nèi)的每個(gè)未知點(diǎn)對(duì)應(yīng)的前景模型和背景模型的得分，得到當(dāng)前幀內(nèi)的每個(gè)未知點(diǎn)對(duì)前景區(qū)域和背景區(qū)域的損失值，再根據(jù)當(dāng)前幀內(nèi)的每個(gè)未知點(diǎn)對(duì)前景區(qū)域和背景區(qū)域的損失值，對(duì)當(dāng)前幀內(nèi)的每個(gè)未知點(diǎn)進(jìn)行重新標(biāo)記，進(jìn)一步將當(dāng)前幀內(nèi)的部分未知點(diǎn)標(biāo)記為前景像素點(diǎn)或背景像素點(diǎn)，將標(biāo)記為前景像素點(diǎn)的未知點(diǎn)加入到當(dāng)前幀的前景區(qū)域中以更新當(dāng)前幀的前景區(qū)域，將標(biāo)記為背景像素點(diǎn)的未知點(diǎn)加入到當(dāng)前幀的背景區(qū)域中以更新當(dāng)前幀的背景區(qū)域，并得到M次重新標(biāo)記后更新得到的當(dāng)前幀的前景區(qū)域、背景區(qū)域、未知點(diǎn)以及M次重新標(biāo)記后當(dāng)前幀內(nèi)的每個(gè)未知點(diǎn)對(duì)M-1次重新標(biāo)記后的當(dāng)前幀的前景區(qū)域及背景區(qū)域的損失值，其中，2≤M≤3 ;
[0014]⑤_4、通過(guò)光流法得到當(dāng)前幀的預(yù)測(cè)分割結(jié)果，并通過(guò)光流法估計(jì)當(dāng)前幀的上一幀中的人體對(duì)象在當(dāng)前幀的前景邊界，然后根據(jù)當(dāng)前幀的預(yù)測(cè)分割結(jié)果以及當(dāng)前幀的上一幀中的人體對(duì)象在當(dāng)前幀的前景邊界，獲取當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的形狀先驗(yàn)信息；
[0015]⑤_5、根據(jù)當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的形狀先驗(yàn)信息以及M次迭代更新后的當(dāng)前幀的前景區(qū)域和當(dāng)前幀的背景區(qū)域，M次迭代更新后的當(dāng)前幀的未知點(diǎn)，M-1次迭代更新后的當(dāng)前幀的前景區(qū)域和當(dāng)前幀的背景區(qū)域，采用二值圖割方法對(duì)M次迭代更新后的當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)進(jìn)行處理，得到當(dāng)前幀的分割結(jié)果，即得到當(dāng)前幀的人體對(duì)象；
[0016]⑥將當(dāng)前幀的下一幀作為當(dāng)前幀，然后返回步驟⑤繼續(xù)執(zhí)行，直到完成視頻序列中所有幀的分割，得到分割后的視頻序列。
[0017]所述的步驟②的具體過(guò)程為:
[0018]②-1、構(gòu)建初始幀內(nèi)的每個(gè)像素點(diǎn)對(duì)應(yīng)的前景模型和背景模型:以初始幀內(nèi)的每個(gè)像素點(diǎn)為中心，分別建立初始幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口，在初始幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口內(nèi)，根據(jù)初始幀的前景區(qū)域，采用局部競(jìng)爭(zhēng)的一類支持向量機(jī)分類模型構(gòu)建初始幀內(nèi)的每個(gè)像素點(diǎn)對(duì)應(yīng)的前景模型，再根據(jù)初始幀的背景區(qū)域，采用局部競(jìng)爭(zhēng)的一類支持向量機(jī)分類模型構(gòu)建初始幀內(nèi)的每個(gè)像素點(diǎn)對(duì)應(yīng)的背景模型；
[0019]②_2、利用初始幀內(nèi)的每個(gè)未知點(diǎn)對(duì)應(yīng)的前景模型和背景模型，對(duì)初始幀內(nèi)的每個(gè)未知點(diǎn)進(jìn)行重新標(biāo)記，并更新初始幀的前景區(qū)域和背景區(qū)域，具體過(guò)程為:
[0020]②_2a、將初始幀內(nèi)當(dāng)前待處理的未知點(diǎn)定義為當(dāng)前未知點(diǎn)；
[0021]②_2b、獲取當(dāng)前未知點(diǎn)對(duì)應(yīng)的前景模型和背景模型的得分，具體過(guò)程如下:如果當(dāng)前未知點(diǎn)的鄰域窗口內(nèi)不存在前景像素點(diǎn)，則確定當(dāng)前未知點(diǎn)對(duì)應(yīng)的前景模型的得分為O;如果當(dāng)前未知點(diǎn)的鄰域窗口內(nèi)不存在背景像素點(diǎn)，則確定當(dāng)前未知點(diǎn)對(duì)應(yīng)的背景模型的得分為O ;如果當(dāng)前未知點(diǎn)的鄰域窗口內(nèi)存在前景像素點(diǎn)，則根據(jù)當(dāng)前未知點(diǎn)的鄰域窗
口內(nèi)已標(biāo)記的前景像素點(diǎn)，利用
【權(quán)利要求】
1.一種融合多線索的人體視頻分割方法，其特征在于:包括以下步驟: ①?gòu)囊欢魏腥梭w的視頻序列中取出其初始幀，采用HOG人體檢測(cè)方法對(duì)初始幀進(jìn)行人體檢測(cè)，獲得一個(gè)矩形的人體檢測(cè)框，將初始幀內(nèi)處于人體檢測(cè)框外的所有像素點(diǎn)標(biāo)記為背景像素點(diǎn)，然后標(biāo)記出初始幀內(nèi)處于人體檢測(cè)框內(nèi)的部分前景像素點(diǎn)和部分背景像素點(diǎn)，將標(biāo)記出的所有前景像素點(diǎn)構(gòu)成初始幀的前景區(qū)域，將標(biāo)記出的所有背景像素點(diǎn)構(gòu)成初始幀的背景區(qū)域，將初始幀內(nèi)未標(biāo)記的像素點(diǎn)確認(rèn)為未知點(diǎn)； ②利用局部競(jìng)爭(zhēng)的一類支持向量機(jī)分類模型，根據(jù)初始幀的前景區(qū)域在初始幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口內(nèi)構(gòu)建一個(gè)前景模型，并根據(jù)初始幀的背景區(qū)域在初始幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口內(nèi)構(gòu)建一個(gè)背景模型，然后通過(guò)獲取初始幀內(nèi)的每個(gè)未知點(diǎn)對(duì)應(yīng)的前景模型和背景模型的得分，得到初始幀內(nèi)的每個(gè)未知點(diǎn)對(duì)前景區(qū)域和背景區(qū)域的損失值，再根據(jù)初始幀內(nèi)的每個(gè)未知點(diǎn)對(duì)前景區(qū)域和背景區(qū)域的損失值，對(duì)初始幀內(nèi)的每個(gè)未知點(diǎn)進(jìn)行重新標(biāo)記，進(jìn)一步將初始幀內(nèi)的部分未知點(diǎn)標(biāo)記為前景像素點(diǎn)或背景像素點(diǎn)，將標(biāo)記為前景像素點(diǎn)的未知點(diǎn)加入到初始幀的前景區(qū)域中以更新初始幀的前景區(qū)域，將標(biāo)記為背景像素點(diǎn)的未知點(diǎn)加入到初始幀的背景區(qū)域中以更新初始幀的背景區(qū)域，然后提取出重新標(biāo)記后初始幀內(nèi)仍未標(biāo)記的像素點(diǎn)對(duì)更新前的初始幀的前景區(qū)域及更新前的初始幀的背景區(qū)域的損失值； ③在更新完初始幀的前景區(qū)域和初始幀的背景區(qū)域后，將初始幀內(nèi)仍未標(biāo)記的像素點(diǎn)作為初始幀的未知點(diǎn)，然后返回步驟②繼續(xù)執(zhí)行，直到完成N次迭代，得到N次迭代更新后獲得的初始幀的前景區(qū)域和初始幀的背景區(qū)域、N次迭代更新后的初始幀內(nèi)的未知點(diǎn)以及N次迭代更新后的初始幀內(nèi)的每個(gè)未知點(diǎn)對(duì)N-1次迭代更新后獲得的初始幀的前景區(qū)域和背景區(qū)域的損失值，其中，20≤N≤30 ； ④根據(jù)N次迭 代更新后獲得的初始幀的前景區(qū)域和初始幀的背景區(qū)域、N次迭代更新后的初始幀內(nèi)的未知點(diǎn)、N-1次迭代更新后的初始幀的前景區(qū)域和背景區(qū)域，采用圖割方法對(duì)N次迭代更新后的初始幀內(nèi)的每個(gè)像素點(diǎn)進(jìn)行處理，得到初始幀的分割結(jié)果，即得到初始幀的人體對(duì)象，然后將初始幀的下一幀作為當(dāng)前幀，再執(zhí)行步驟⑤； ⑤基于當(dāng)前幀的上一幀的分割結(jié)果對(duì)當(dāng)前幀進(jìn)行分割處理，具體過(guò)程如下: ⑤-1、根據(jù)當(dāng)前幀的上一幀的分割結(jié)果，預(yù)測(cè)得到當(dāng)前幀的整體前景模型和整體背景模型； ⑤-2、利用當(dāng)前幀的整體前景模型和整體背景模型對(duì)當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)進(jìn)行標(biāo)記，獲得當(dāng)前幀內(nèi)的部分前景像素點(diǎn)和部分背景像素點(diǎn)，將獲得的當(dāng)前幀的所有前景像素點(diǎn)構(gòu)成當(dāng)前幀的前景區(qū)域，將獲得的當(dāng)前幀的所有背景像素點(diǎn)構(gòu)成當(dāng)前幀的背景區(qū)域，并將當(dāng)前幀內(nèi)未標(biāo)記的像素點(diǎn)確定為未知點(diǎn)； ⑤-3、利用局部競(jìng)爭(zhēng)的一類支持向量機(jī)分類模型，根據(jù)當(dāng)前幀的前景區(qū)域在當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口內(nèi)構(gòu)建一個(gè)前景模型，并根據(jù)當(dāng)前幀的背景區(qū)域在當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口內(nèi)構(gòu)建一個(gè)背景模型，然后通過(guò)獲取當(dāng)前幀內(nèi)的每個(gè)未知點(diǎn)對(duì)應(yīng)的前景模型和背景模型的得分，得到當(dāng)前幀內(nèi)的每個(gè)未知點(diǎn)對(duì)前景區(qū)域和背景區(qū)域的損失值，再根據(jù)當(dāng)前幀內(nèi)的每個(gè)未知點(diǎn)對(duì)前景區(qū)域和背景區(qū)域的損失值，對(duì)當(dāng)前幀內(nèi)的每個(gè)未知點(diǎn)進(jìn)行重新標(biāo)記，進(jìn)一步將當(dāng)前幀內(nèi)的部分未知點(diǎn)標(biāo)記為前景像素點(diǎn)或背景像素點(diǎn)，將標(biāo)記為前景像素點(diǎn)的未知點(diǎn)加入到當(dāng)前幀的前景區(qū)域中以更新當(dāng)前幀的前景區(qū)域，將標(biāo)記為背景像素點(diǎn)的未知點(diǎn)加入到當(dāng)前幀的背景區(qū)域中以更新當(dāng)前幀的背景區(qū)域，并得到M次重新標(biāo)記后更新得到的當(dāng)前幀的前景區(qū)域、背景區(qū)域、未知點(diǎn)以及M次重新標(biāo)記后當(dāng)前幀內(nèi)的每個(gè)未知點(diǎn)對(duì)M-1次重新標(biāo)記后的當(dāng)前幀的前景區(qū)域及背景區(qū)域的損失值，其中，2≤M≤3 ; ⑤-4、通過(guò)光流法得到當(dāng)前幀的預(yù)測(cè)分割結(jié)果，并通過(guò)光流法估計(jì)當(dāng)前幀的上一幀中的人體對(duì)象在當(dāng)前幀的前景邊界，然后根據(jù)當(dāng)前幀的預(yù)測(cè)分割結(jié)果以及當(dāng)前幀的上一幀中的人體對(duì)象在當(dāng)前幀的前景邊界，獲取當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的形狀先驗(yàn)信息； ⑤-5、根據(jù)當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的形狀先驗(yàn)信息以及M次迭代更新后的當(dāng)前幀的前景區(qū)域和當(dāng)前幀的背景區(qū)域，M次迭代更新后的當(dāng)前幀的未知點(diǎn)，M-1次迭代更新后的當(dāng)前幀的前景區(qū)域和當(dāng)前幀的背景區(qū)域，采用二值圖割方法對(duì)M次迭代更新后的當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)進(jìn)行處理，得到當(dāng)前幀的分割結(jié)果，即得到當(dāng)前幀的人體對(duì)象； ⑥將當(dāng)前幀的下一幀作為當(dāng)前幀，然后返回步驟⑤繼續(xù)執(zhí)行，直到完成視頻序列中所有幀的分割，得到分割后的視頻序列。
2.根據(jù)權(quán)利要求1所述的一種融合多線索的人體視頻分割方法，其特征在于:所述的步驟②的具體過(guò)程為: ②-1、構(gòu)建初始幀內(nèi)的每個(gè)像素點(diǎn)對(duì)應(yīng)的前景模型和背景模型:以初始幀內(nèi)的每個(gè)像素點(diǎn)為中心，分別建立初始幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口，在初始幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口內(nèi)，根據(jù)初始幀的前景區(qū)域，采用局部競(jìng)爭(zhēng)的一類支持向量機(jī)分類模型構(gòu)建初始幀內(nèi)的每個(gè)像素點(diǎn)對(duì)應(yīng)的前景模型，再根據(jù)初始幀的背景區(qū)域，采用局部競(jìng)爭(zhēng)的一類支持向量機(jī)分類模型構(gòu)建初始幀內(nèi)的每個(gè)像素點(diǎn)對(duì)應(yīng)的背景模型； ②-2、利用初始幀內(nèi)的每個(gè)未知點(diǎn)對(duì)應(yīng)的前景模型和背景模型，對(duì)初始幀內(nèi)的每個(gè)未知點(diǎn)進(jìn)行重新標(biāo)記，并更新初始幀的前景區(qū)域和背景區(qū)域，具體過(guò)程為: ②_2a、將初始幀內(nèi)當(dāng)前待處理的未知點(diǎn)定義為當(dāng)前未知點(diǎn)； ②_2b、獲取當(dāng)前未知點(diǎn)對(duì)應(yīng)的前景模型和背景模型的得分，具體過(guò)程如下:如果當(dāng)前未知點(diǎn)的鄰域窗口內(nèi)不存在前景像素點(diǎn)，則確定當(dāng)前未知點(diǎn)對(duì)應(yīng)的前景模型的得分為O ;如果當(dāng)前未知點(diǎn)的鄰域窗口內(nèi)不存在背景像素點(diǎn)，則確定當(dāng)前未知點(diǎn)對(duì)應(yīng)的背景模型的得分為O ;如果當(dāng)前未知點(diǎn)的鄰域窗口內(nèi)存在前景像素點(diǎn)，則根據(jù)當(dāng)前未知點(diǎn)的鄰域窗口內(nèi)已標(biāo)記的前景像素點(diǎn)，利用
3.根據(jù)權(quán)利要求2所述的一種融合多線索的人體視頻分割方法，其特征在于:所述的步驟④中獲取初始幀的分割結(jié)果的具體過(guò)程為: ④-1、假定N次迭代更新后的初始幀的前景區(qū)域中的每個(gè)前景像素點(diǎn)對(duì)N-1次迭代更新后的初始幀的前景區(qū)域的損失值為O，假定N次迭代更新后的初始幀的前景區(qū)域中的每個(gè)前景像素點(diǎn)對(duì)N-1次迭代更新后的初始幀的背景區(qū)域的損失值為1，假定N次迭代更新后的初始幀的背景區(qū)域中的每個(gè)背景像素點(diǎn)對(duì)N-1次迭代更新完成的初始幀的前景區(qū)域的損失值為1，假定N次迭代更新后的初始幀的背景區(qū)域中的每個(gè)背景像素點(diǎn)對(duì)N-1次迭代更新完成的初始幀的背景區(qū)域的損失值為O ; ④_2、根據(jù)N次迭代更新后的初始幀內(nèi)的每個(gè)像素點(diǎn)對(duì)N-1次迭代更新后獲得的初始幀的前景區(qū)域和初始幀的背景區(qū)域的損失值，對(duì)圖割方法的能量函數(shù)的一元項(xiàng)U(Xm)進(jìn)行計(jì)算，其中，Xni表示N次迭代更新后的初始幀內(nèi)的第m個(gè)像素點(diǎn)，M’表示視頻序列中的每幀內(nèi)包含的像素點(diǎn)的總個(gè)數(shù)，I≤m≤M’ ； ④-3、根據(jù)N次迭代更新后的初始幀內(nèi)相鄰兩個(gè)像素點(diǎn)，對(duì)圖割方法的能量函數(shù)的二元項(xiàng)V(xm，xj)進(jìn)行計(jì)算，V(Xm,Xj) = gamma|Xm-Xj| -1e β、，其中，m關(guān)j, χ」表示N次迭代更新后的初始幀內(nèi)的第j個(gè)像素點(diǎn)，I≤j≤M’，Y是常數(shù)，“I I”是絕對(duì)值符號(hào)，e表示自然基數(shù)，表示dmj的期望，dmj=| Iim-1jI |2，“| 111”表示二范式符號(hào)，ImR的值分別為Xm的R顏色通道值、G顏色通道值和B顏色通道值，Ij內(nèi)的值分別為Xj的R顏色通道值、G顏色通道值和B顏色通道值； ④_4、根據(jù)圖割方法的能量函數(shù)的一元項(xiàng)U(Xm)和二元項(xiàng)V(xm，Xj)，獲得圖割方法的能量函數(shù)，記為
4.根據(jù)權(quán)利要求3所述的一種融合多線索的人體視頻分割方法，其特征在于:所述的步驟⑤-3的具體過(guò)程為: ⑤-3-1、構(gòu)建當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)對(duì)應(yīng)的前景模型和背景模型:以當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)為中心，分別建立當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口，在當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的鄰域窗口內(nèi)，根據(jù)當(dāng)前幀的前景區(qū)域，采用局部競(jìng)爭(zhēng)的一類支持向量機(jī)分類模型構(gòu)建當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)對(duì)應(yīng)的前景模型，再根據(jù)當(dāng)前幀的背景區(qū)域，采用局部競(jìng)爭(zhēng)的一類支持向量機(jī)分類模型構(gòu)建當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)對(duì)應(yīng)的背景模型； ⑤-3-2、利用當(dāng)前幀內(nèi)的每個(gè)未知點(diǎn)對(duì)應(yīng)的前景模型和背景模型，對(duì)當(dāng)前幀內(nèi)的每個(gè)未知點(diǎn)進(jìn)行重新標(biāo)記，并更新當(dāng)前幀的前景區(qū)域和背景區(qū)域，具體過(guò)程為: ⑤-3-2a、將當(dāng)前幀內(nèi)當(dāng)前待處理的未知點(diǎn)定義為當(dāng)前處理未知點(diǎn)； ⑤-3-2b、獲取當(dāng)前處理未知點(diǎn)對(duì)應(yīng)的前景模型和背景模型的得分，具體過(guò)程如下:如果當(dāng)前處理未知點(diǎn)的鄰域窗口內(nèi)不存在前景像素點(diǎn)，則確定當(dāng)前處理未知點(diǎn)對(duì)應(yīng)的前景模型的得分為O ;如果當(dāng)前處理未知點(diǎn)的鄰域窗口內(nèi)不存在背景像素點(diǎn)，則確定當(dāng)前處理未知點(diǎn)對(duì)應(yīng)的背景模型的得分為O ;如果當(dāng)前處理未知點(diǎn)的鄰域窗口內(nèi)存在前景像素點(diǎn)，則根據(jù)當(dāng)前處理未知點(diǎn)的鄰域窗口內(nèi)已標(biāo)記的前景像素點(diǎn)，利用
5.根據(jù)權(quán)利要求4所述的一種融合多線索的人體視頻分割方法，其特征在于:所述的步驟②和所述的步驟⑤-3中的鄰域窗口的大小為33X33。
6.根據(jù)權(quán)利要求5所述的一種融合多線索的人體視頻分割方法，其特征在于:所述的步驟②-2c和所述的步驟⑤-3-2c中的TF1(W取0.2，TFhigh取0.4，TBlow取0.3，TBhigh取0.4。
7.根據(jù)權(quán)利要求6所述的一種融合多線索的人體視頻分割方法，其特征在于:所述的步驟⑤-4中通過(guò)光流法估計(jì)得到當(dāng)前幀的上一幀中的人體對(duì)象在當(dāng)前幀的前景邊界后，對(duì)該前景邊界進(jìn)行形態(tài)學(xué)的操作，獲得封閉的前景邊界，再根據(jù)當(dāng)前幀的預(yù)測(cè)分割結(jié)果以及該封閉的前景邊界，獲取當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的形狀先驗(yàn)信息。
8.根據(jù)權(quán)利要求6所述的一種融合多線索的人體視頻分割方法，其特征在于:所述的步驟⑤-4中獲取當(dāng)前幀的上一幀中的人體對(duì)象在當(dāng)前幀的前景邊界以及當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的形狀先驗(yàn)信息的具體過(guò)程為: ⑤_4a、采用光流法對(duì)當(dāng)前幀的上一幀的前景區(qū)域進(jìn)行光流計(jì)算，得到一個(gè)當(dāng)前幀的上一幀中的人體對(duì)象在當(dāng)前幀的前景邊界，具體過(guò)程為:1)將當(dāng)前幀的上一幀的前景區(qū)域內(nèi)當(dāng)前待處理的像素點(diǎn)記為xi>2; 2)將在當(dāng)前幀的上一幀中的坐標(biāo)位置記為P2，然后通過(guò)光流法計(jì)算得到在當(dāng)前幀中的坐標(biāo)位置，記力P Pi =P ，其中，&表示在η ΩF區(qū)域內(nèi)的局部平均光流向量，Np2表示以Xa.為中心的鄰域窗口，符號(hào)“ η ”為交集運(yùn)算符號(hào)，ωρ為當(dāng)前幀的上一幀的前景區(qū)域；3)將當(dāng)前幀的上一幀的前景區(qū)域內(nèi)下一個(gè)待處理的像素點(diǎn)記為然后返回步驟2)繼續(xù)執(zhí)行，直到當(dāng)前幀的上一幀的前景區(qū)域內(nèi)的所有像素點(diǎn)處理完畢，得到當(dāng)前幀的上一幀的前景區(qū)域內(nèi)的每個(gè)像素點(diǎn)在當(dāng)前幀中的坐標(biāo)位置，進(jìn)而得到當(dāng)前幀的上一幀中的人體對(duì)象在當(dāng)前幀的前景邊界； ⑤-4b、計(jì)算當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)到當(dāng)前幀的上一幀中的人體對(duì)象在當(dāng)前幀的前景邊界的距離，將當(dāng)前幀內(nèi)的第k’個(gè)像素點(diǎn)xk’到當(dāng)前幀的上一幀中的人體對(duì)象在當(dāng)前幀的




d(xk>)前景邊界的距離記為Zft (xk；), fp (Xk,) = I — e—j ,其中， ，Μ’表示視頻序列中的每幀內(nèi)包含的像素點(diǎn)的總個(gè)數(shù)，d (xk，)表示xk，到當(dāng)前幀的上一幀中的人體對(duì)象在當(dāng)前幀的前景邊界的歐式距離，S s是一個(gè)用于調(diào)節(jié)形狀先驗(yàn)信息對(duì)二值圖割方法的一元項(xiàng)的影響的大小的參數(shù)； ⑤-4c、根據(jù)當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)到當(dāng)前幀的上一幀中的人體對(duì)象在當(dāng)前幀的前景邊界的距離，及當(dāng)前幀的預(yù)測(cè)分割結(jié)果，得到當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的形狀先驗(yàn)信息，將當(dāng)前幀內(nèi)的第k’個(gè)像素點(diǎn)的形狀先驗(yàn)信息記為/ 其中，L' U+1 (xk，)表示xk，在當(dāng)前幀的預(yù)測(cè)分割結(jié)果中的標(biāo)記，如果xm，在當(dāng)前幀的預(yù)測(cè)分割結(jié)果中為前景像素點(diǎn)，則L, U+1 (xk，)=l，如果xk，在當(dāng)前幀的預(yù)測(cè)分割結(jié)果中為背景像素點(diǎn)，則L, u+1(xk，)=0，“min{}”為取最小值函數(shù)，“minlO-L' U+1 (xk，)，1_L' U+1 (xk，)} ” 表示取出 0_L' U+1 (xk，)和 1_L' u+1(xk，)中的最小值，符號(hào)“I I”為取絕對(duì)值符號(hào)。
9.根據(jù)權(quán)利要求8所述的一種融合多線索的人體視頻分割方法，其特征在于:所述的步驟⑤_4a中的鄰域窗口的大小為5X5。
10.根據(jù)權(quán)利要求9所述的一種融合多線索的人體視頻分割方法，其特征在于:所述的步驟⑤-5中利用二值圖割方法對(duì)當(dāng)前幀進(jìn)行分割的具體過(guò)程為: ⑤-5-1、假定M次迭代更新后的當(dāng)前幀的前景區(qū)域中的每個(gè)前景像素點(diǎn)對(duì)M-1次迭代更新后的當(dāng)前幀的前景區(qū)域的損失值為O，假定M次迭代更新后的當(dāng)前幀的前景區(qū)域中的每個(gè)前景像素點(diǎn)對(duì)M-1次迭代更新后的當(dāng)前幀的背景區(qū)域的損失值為1，假定M次迭代更新后的當(dāng)前幀的背景區(qū)域中的每個(gè)背景像素點(diǎn)對(duì)M-1次迭代更新后的當(dāng)前幀的前景區(qū)域的損失值為1，假定M次迭代更新后的當(dāng)前幀的背景區(qū)域中的每個(gè)背景像素點(diǎn)對(duì)M-1次迭代更新后的當(dāng)前幀的背景區(qū)域的損失值O ; ⑤-5-2、根據(jù)當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)的形狀先驗(yàn)信息以及M次迭代更新后的當(dāng)前幀內(nèi)的每個(gè)像素點(diǎn)對(duì)M-1次迭代更新后的當(dāng)前幀的前景區(qū)域和背景區(qū)域的損失值，得到二值圖割方法的一元項(xiàng)，記為 U (xm,，LmO , U (xm,，Lm，)= a fc (xm,) + (l-a )fs(xk，)，其中，k’ =m’，xm，為 M次迭代更新后的當(dāng)前幀內(nèi)的第m’個(gè)像素點(diǎn)，l≤m’≤M’，Lm，表示xm，的標(biāo)記，當(dāng)xm，為背景像素點(diǎn)時(shí)，Lm.的值為O,當(dāng)xm，為前景像素點(diǎn)時(shí)，Lm.的值為I,當(dāng)xm，為未知點(diǎn)時(shí)，Lm.的值為

【文檔編號(hào)】G06T7/20GK103473789SQ201310340671
【公開(kāi)日】2013年12月25日 申請(qǐng)日期:2013年8月7日 優(yōu)先權(quán)日:2013年8月7日
【發(fā)明者】肖波, 郭立君, 張 榮, 趙杰煜 申請(qǐng)人:寧波大學(xué)