專利名稱：一種基于背景差異摳圖和稀疏光流法的深度的生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像分割和深度生成技術(shù)，尤其是一種基于背景差異摳圖和稀疏光流
法的深度的生成方法。
背景技術(shù)：
三維圖像和顯示是未來信息系統(tǒng)的一種重要表現(xiàn)形式，三維圖像和顯示層次分明
色彩鮮艷，具有很強的視覺沖擊力，讓觀看的人駐景時間更長，留下深刻的印象；另外三維
圖像和現(xiàn)實給人以真實、栩栩如生，人物呼之欲出，身臨其境的感覺，有很高的藝術(shù)欣賞價
值。但是目前立體顯示市場存在著這樣的矛盾立體顯示設(shè)備的飛速普及和立體顯示片源
的嚴重匱乏。目前，由平面媒體資源轉(zhuǎn)換成立體的媒體內(nèi)容包含兩種情況，一是通過重新設(shè)
計的平面攝像機進行拍攝，如用一對立體對攝像機進行拍攝，再通過后期的制作獲取三維
的媒體內(nèi)容；另一種是將已經(jīng)拍攝好的平面媒體資源轉(zhuǎn)換成具有三維信息的內(nèi)容，本發(fā)明
主要針對后一種轉(zhuǎn)換方法。目前普遍采用的方法是通過運動信息、顏色信息等相關(guān)信息得
到每一幀圖片的深度圖，然后采用基于深度的描述算法(D印th-based rendering)得到三
維圖。在此過程中，最重要的一個步驟就是如何獲取每個像素點的深度值。 很多研究利用運動信息，主要是光流法來近似估計深度，這種方法對于只有攝像
機作平移運動的背景圖能產(chǎn)生比較好的效果，但是很多情況下，視頻中都會有運動物體，比
如本專利便可應(yīng)用于特定場景的監(jiān)視。針對攝像機固定即背景不動，但有運動物體的場景，
采用光流法會產(chǎn)生不可自身無法解決的遮擋問題，主要是前景運動物體與背景之間的遮
擋。既然遮擋主要產(chǎn)生于前景與背景之間，那么如果將背景摳出掉，只求前景物體的每個像
素點的光流值，然后由此運動信息得到每個像素點的深度值，這樣便能回避或者說解決遮
擋問題，而且由于只計算部分點的光流，可以大大提高深度生成的速度。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種基于背景差異摳圖和稀疏光流法的深度的生成方法，可以有效地解決遮擋問題、提高深度圖生成的速度以及實現(xiàn)全自動深度圖的生成。 按照本發(fā)明提供的技術(shù)方案，所述基于背景差異摳圖和稀疏光流法的深度的生成方法包括以下步驟 1)選擇顏色空間和建立相應(yīng)的顏色模型； 2)建立背景模型，從而對背景有一個準確的描述所述背景模型用于表示場景背景的屬性； 3)圖像中所有像素點的分類當確定了顏色空間和顏色模型之后，采用差異估計函數(shù)來計算當前幀和參考幀在同一像素處的顏色特征值差異，并根據(jù)預(yù)先計算出的色度和亮度的閾值，按照分類函數(shù)將像素劃分為前景或背景類，由此劃分出前景運動物體；
4)優(yōu)化像素分類結(jié)果去除噪點，同時平滑運動物體的邊緣；
5)由稀疏光流法對得到的前景運動物體的特征點求光流值； 6)由稀疏光流點的光流值估算前景運動物體上其它點的光流值采用差值的方 法，對于物體上的一點，以該點到各特征點的距離的倒數(shù)作為各特征點對該點光流影響的 權(quán)值，然后將各特征點的光流值與權(quán)值的乘積的和作為該點的光流值； 7)由光流值得到深度值對于某個像素點，其光流值越大，代表該像素點離相機 的距離越近，則其深度值越大；另外，考慮人的視覺感知信息，認為當光流值大于或者小 于給定的閾值時，人無法明顯感知深度的變化，將光流值與深度值之間的關(guān)系用反正切函 數(shù)關(guān)系來表示。 步驟1所述選擇顏色空間和建立顏色模型是將當前幀和參考幀的比較在一定的 顏色空間內(nèi)進行，確定顏色空間后，根據(jù)實驗場景特征建立顏色模型，用于當前幀和參考幀 的逐像素比較。 步驟2所述建立背景模型的方法為對于一段有N幀靜止背景序列的視頻，首先計 算前N幀背景序列的各像素的色度和亮度，并分別求出色度和亮度的概率密度分布，即針 對所述概率密度分布，指定檢測概率，求出用于區(qū)分背景和前景的色度和亮度的閾值(t cd、
Tal、 t。2)，其中，、d為在指定檢測概率下，色度的概率分布的閾值上限，Tw和1。2為
指定檢測概率下，亮度的概率分布的閾值下限和上限；最后，由閾值(tm、 t al、 t a2)將各 像素點劃分為前景、背景、陰影點以及高亮點。 步驟4所述優(yōu)化像素分類結(jié)果的方法為采用中值濾波以去除零星的噪聲點和不 連續(xù)的點。
步驟5所述前景運動物體的特征點包括角點、亮度梯度變化大的點、邊緣點。
步驟6所述求物體上任一點的光流值的計算公式如下 w 1 F = -^X乂)
'■=1 Fll 式中，yi代表圖象中特征點的位置坐標，fi代表特征點yi的光流值，N代表特征點 的數(shù)目，x代表圖象中任一點的位置坐標，F(xiàn)為任一點x的光流值。
步驟7所述由光流值得到深度值的轉(zhuǎn)換關(guān)系由下式給出 D印thValue = (255/Ji) [arctan (FlowValue-(MaxFlowValue-MinFlowValue)/2) + Ji /2] 式中，F(xiàn)lowValue為像素點的光流值，MaxFlowValue為所有像素點中光流的最大
值，MinFlowValue為所有像素點種光流的最小值，D印thValue為像素點的深度值。 本發(fā)明的優(yōu)點是由于只求前景物體的每個像素點的光流值，然后由此運動信息
得到每個像素點的深度值，這樣便能回避或者說解決遮擋問題，而且由于只計算部分點的
光流，可以大大提高深度生成的速度。


圖1是RGB顏色空間模型圖。
圖2(a)是歸一化亮度分布直方圖。
圖2(b)是歸一化色度分布直方圖。
圖3是本發(fā)明流程圖。
具體實施例方式
下面結(jié)合附圖和實施例對本發(fā)明作進一步說明。
如圖3所示，本發(fā)明包括以下步驟 1)選擇適當?shù)念伾臻g或建立顏色模型針對本研究，選擇RGB顏色空間，在RGB 空間中，要考慮到選取適當?shù)念伾卣鲗⑸群土炼确蛛x，這樣有助于檢測陰影及高光區(qū) 域。在該空間中，比較兩個顏色的差異即為比較兩個向量在空間中的歐式距離，如圖l所 示。圖中，A為差異向量，根據(jù)人類視覺特征，該差異向量可分解為亮度E「 a &和色度CD, 分量，由此建立顏色模型。 2)當確定了一定的顏色空間后，就要選擇適當?shù)念伾卣骰蚪㈩伾Ｐ瓦M行差 異比較。適當?shù)念伾卣骺梢杂行У膸椭诵乃惴ㄕ_劃分背景、前景，消除不正確的劃 分?？焖儆行У慕⒈尘澳Ｐ?，從而對背景有一個準確的描述——背景建模當確定顏色空 間和選定適當?shù)念伾Ｐ秃?，就可以針對一段時間內(nèi)采集到的背景照片進行訓練，從而建 立背景統(tǒng)計模型。在建立背景統(tǒng)計模型之前，先定義一下幾個量，以便于研究針對RGB空 間中的一個像素i，Ei二 [EK(i)， Ee(i)， EB(i)]代表在參考幀(背景圖片)中該像素對應(yīng) 的期望RGB顏色，Ii= [IK(i)， IG(i)， IB(i)]代表像素在當前幀(當前圖片)的RGB顏色 值。我們的目標是衡量出Ii和Ei的扭轉(zhuǎn)，即當前幀該像素處的顏色值與參考幀的期望值之 間的差異。于是，接著將定義亮度扭轉(zhuǎn)分量a和色度扭轉(zhuǎn)分量CD，其中a是一個標量，盡 量使得觀察顏色接近期待顏色線，該分量是由最小化下式得到的小(a》=(I-QiEi)2 ;CD 定義為觀察顏色和期望顏色線的垂直距離，以此來衡量觀察顏色和期望顏色在色度上的差 異，如下式所示CDi = I Ili-QiEil |。 通過背景建模可以得到每個像素點的一個4元向量〈Ei， Si， ai， bi>， Ei為顏色期望 值，ii k (i) (k = R， G， B)為顏色值的均值，Si是顏色值的標準方差，ai， h分別表示第i個像 素的亮度扭轉(zhuǎn)分量和色度扭轉(zhuǎn)分量的平均變化，N為視頻的背景幀數(shù)。計算過程如下

i.首先計算出亮度扭轉(zhuǎn)分』
a ,.和色度扭轉(zhuǎn)分』 ft
CD,.
MO ''4々)
BilR(i)+Ci工G(i)+Di工B(i)
G
0〕-，G(, + (^0') —",/^(0y<formula>formula see original document page 7</formula> i=0
i(CA)2
i=0
TV iii.為了確定閾值，將&i和bi進行量化，如下
a,
1
《
6; 至此，背景模型已經(jīng)建立。 3)各像素的分類針對N張背景圖片， 一共有NXXX Y個像素點，其中X和Y分別 為圖像的行數(shù)和列數(shù)。首先將a,等分成M等分(本實驗中取M二 10000)，然后統(tǒng)計落在這
些等分區(qū)間中的像素點的個數(shù)，從而可以得到a,的概率密度分布，同理可以得到ci,的概率
密度分布，如圖2所示。針對該概率密度分布圖，給定檢測概率r(本實驗中取為99.9X ) 后，便能確定亮度的兩個閾值閾值下限t w對應(yīng)于檢測概率r，閾值上限t 。2對應(yīng)于檢測 概率l-r ;同時可以確定色度的閾值上限、D。像素分類函數(shù)如下式所示
M(/)=
rcz)或"j < ra/o
S: or, < 0
<formula>formula see original document page 7</formula>
t al。的解釋若當前幀中存在一些屬于運動物體的像素，這些像素本身的RGB值 非常低，若不加該約束，這些相對較暗的像素將總是被錯誤地劃分為陰影。觀察發(fā)現(xiàn)，在RGB 空間中這些像素的顏色向量非常接近原點。而所有的顏色線都相交在原點，因此這些較暗 的顏色向量都被認為與任何顏色線都很近或很相似，為了避免這個問題，引入這個最低閾
值來表示歸一化的亮度扭轉(zhuǎn)分量下界。F :前景；B :背景；S :陰影區(qū)域；H :高亮區(qū)域。
4)優(yōu)化像素分類結(jié)果采用中值濾波以去除零星的噪聲點和不連續(xù)的點。
5)稀疏光流法求光流對得到的前景運動物體，首先找到前景運動物體的特征 點，然后由Lucas-Kanada稀疏光流法求得各特征點(即稀疏光流點)的光流值；所述特征 點包括角點、亮度梯度變化大的點、邊緣點等。再由稀疏光流點的光流值估算前景運動物 體上其它點的光流值采用差值的方法，對于物體上的一點，以該點到各特征點的距離的倒 數(shù)作為各特征點對該點光流影響的權(quán)值，然后將各特征點的光流值與其權(quán)值的乘積的和作 為該點的光流值；
6)由光流值得到深度值對于某個像素點，其光流值越大，則其深度值越大，另 外，將人的視覺感知信息考慮進來，認為，當光流值大于或者小于預(yù)先給定或計算好的閾值 時，人對深度的變化感知不明顯(深度值在0 255之間變化，O代表黑色，255代表白色， 深度值越大，表示物體離相機的距離越近)。則我們有理由認為光流值和深度值之間滿足反 正切關(guān)系，公式如下所示 D印thValue = (255/Ji) [arctan (FlowValue-(MaxFlowValue-MinFlowValue)/2) + Ji /2] 式中，F(xiàn)lowValue為像素點的光流值，MaxFlowValue為所有像素點中光流的最大 值，MinFlowValue為所有像素點種光流的最小值，D印thValue為像素點的深度值。
8
權(quán)利要求
一種基于背景差異摳圖和稀疏光流法的深度的生成方法，其特征是包括以下步驟1)選擇顏色空間和建立相應(yīng)的顏色模型；2)建立背景模型，從而對背景有一個準確的描述所述背景模型用于表示場景背景的屬性；3)圖像中所有像素點的分類當確定了顏色空間和顏色模型之后，采用差異估計函數(shù)來計算當前幀和參考幀在同一像素處的顏色特征值差異，并根據(jù)預(yù)先計算出的色度和亮度的閾值，按照分類函數(shù)將像素劃分為前景或背景類，由此劃分出前景運動物體；4)優(yōu)化像素分類結(jié)果去除噪點，同時平滑運動物體的邊緣；5)由稀疏光流法對得到的前景運動物體的特征點求光流值；6)由稀疏光流點的光流值估算前景運動物體上其它點的光流值采用差值的方法，對于物體上的一點，以該點到各特征點的距離的倒數(shù)作為各特征點對該點光流影響的權(quán)值，然后將各特征點的光流值與權(quán)值的乘積的和作為該點的光流值；7)由光流值得到深度值對于某個像素點，其光流值越大，代表該像素點離相機的距離越近，則其深度值越大；另外，考慮人的視覺感知信息，認為當光流值大于或者小于給定的閾值時，人無法明顯感知深度的變化，將光流值與深度值之間的關(guān)系用反正切函數(shù)關(guān)系來表示。
2. 如權(quán)利要求1所述的基于背景差異摳圖和稀疏光流法的深度的生成方法，其特征是步驟1所述選擇顏色空間和建立顏色模型是將當前幀和參考幀的比較在一定的顏色空間內(nèi)進行，確定顏色空間后，根據(jù)實驗場景特征建立顏色模型，用于當前幀和參考幀的逐像素比較。
3. 如權(quán)利要求1所述的基于背景差異摳圖和稀疏光流法的深度的生成方法，其特征是步驟2所述建立背景模型的方法為對于一段有N幀靜止背景序列的視頻，首先計算前N幀背景序列的各像素的色度和亮度，并分別求出色度和亮度的概率密度分布，即針對所述概率密度分布，指定檢測概率，求出用于區(qū)分背景和前景的色度和亮度的閾值(tcd、 t al、t m)，其中，t③為在指定檢測概率下，色度的概率分布的閾值上限，t w和t 。2為指定檢測概率下，亮度的概率分布的閾值下限和上限；最后，由閾值(tcd、 t al、 t a2)將各像素點劃分為前景、背景、陰影點以及高亮點。
4. 如權(quán)利要求1所述的基于背景差異摳圖和稀疏光流法的深度的生成方法，其特征是步驟4所述優(yōu)化像素分類結(jié)果的方法為采用中值濾波以去除零星的噪聲點和不連續(xù)的點。
5. 如權(quán)利要求1所述的基于背景差異摳圖和稀疏光流法的深度的生成方法，其特征是步驟5所述前景運動物體的特征點包括角點、亮度梯度變化大的點、邊緣點。
6. 如權(quán)利要求1所述的基于背景差異摳圖和稀疏光流法的深度的生成方法，其特征是步驟6所述求物體上任一點的光流值的計算公式如下式中，yi代表圖象中特征點的位置坐標，fi代表特征點yi的光流值，N代表特征點的數(shù)目，x代表圖象中任一點的位置坐標，F(xiàn)為任一點x的光流值。
7. 如權(quán)利要求1所述的基于背景差異摳圖和稀疏光流法的深度的生成方法，其特征是步驟7所述由光流值得到深度值的轉(zhuǎn)換關(guān)系由下式給出D印thValue = (255/ n ) [arctan (FlowValue-(MaxFlowValue-MinFlowValue)/2) +ji /2]式中，F(xiàn)lowValue為像素點的光流值，MaxFlowValue為所有像素點中光流的最大值，MinFlowValue為所有像素點種光流的最小值，D印thValue為像素點的深度值。
全文摘要
本發(fā)明涉及了一種基于背景差異摳圖和稀疏光流法的深度的生成方法，該方法包括選擇適當?shù)念伾臻g和建立顏色模型；快速有效的建立背景模型，從而對視頻序列的背景有一個準確的描述；根據(jù)上述背景模型，對各像素點的進行分類；優(yōu)化像素分類結(jié)果；稀疏光流法求特征點的光流值；通過插值求所有點的光流值；由光流值得到深度值。本發(fā)明的優(yōu)點在于能夠避免單獨使用光流法而無法解決的遮擋問題；能夠全自動地實現(xiàn)視頻序列的深度的生成。
文檔編號G06T7/00GK101699512SQ20091021283
公開日2010年4月28日 申請日期2009年10月30日 優(yōu)先權(quán)日2009年10月30日
發(fā)明者劉曉冬, 劉磊, 季向陽, 曹汛, 閆友為 申請人:無錫景象數(shù)字技術(shù)有限公司