本發(fā)明涉及一種提升深度圖質(zhì)量的計(jì)算方法，特別是涉及一種2d轉(zhuǎn)3d視頻圖像提升深度圖質(zhì)量的計(jì)算方法。

背景技術(shù)：

在視頻圖像2d轉(zhuǎn)3d的過(guò)程中，主要分為兩個(gè)大的環(huán)節(jié)：深度圖像的提取、3d視差圖像的渲染。其中深度圖像的提取是視頻圖像2d轉(zhuǎn)3d計(jì)算過(guò)程中的重點(diǎn)和難點(diǎn)，如果不對(duì)所提取的深度圖進(jìn)行嚴(yán)格的優(yōu)化處理，那么由此深度圖渲染而成的3d視差圖像產(chǎn)生的3d視覺(jué)效果將大打折扣。一些傳統(tǒng)的深度圖優(yōu)化處理方法主要是對(duì)深度圖進(jìn)行簡(jiǎn)單的低通濾波處理，雖然這種方法在一定程度上可以改善深度圖的高頻噪聲，讓深度圖在一定程度上均衡統(tǒng)一。但是我們發(fā)現(xiàn)在深度圖中運(yùn)動(dòng)物體的灰度值與背景的灰度值對(duì)比度不明顯，對(duì)比度小的深度圖渲染出來(lái)的3d視差圖像中運(yùn)動(dòng)物體與背景的景深差距就小，3d視覺(jué)效果很不理想。目前對(duì)深度圖進(jìn)行優(yōu)化處理的方法和手段各種各樣，但這眾多技術(shù)之中大都存在嚴(yán)重的缺點(diǎn)，要么對(duì)比度提升不明顯，要么計(jì)算量太大而無(wú)法實(shí)時(shí)處理，這樣就很難達(dá)到實(shí)際生產(chǎn)的需求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種2d轉(zhuǎn)3d視頻圖像提升深度圖質(zhì)量的計(jì)算方法，其基于場(chǎng)景連貫度和場(chǎng)景自然度算法，大大提高了深度圖的對(duì)比度，并且保持計(jì)算開(kāi)銷在合理范圍之內(nèi)，具有深度圖對(duì)比度提升明顯，運(yùn)算量相對(duì)合理的優(yōu)點(diǎn)。

本發(fā)明是通過(guò)下述技術(shù)方案來(lái)解決上述技術(shù)問(wèn)題的：一種2d轉(zhuǎn)3d視頻圖像提升深度圖質(zhì)量的計(jì)算方法，其包括下列步驟：

步驟一，由運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)矢量計(jì)算初始深度圖；

步驟二，進(jìn)行當(dāng)前幀源圖像與前一幀源圖像之間的場(chǎng)景連貫度檢測(cè)；

步驟三，進(jìn)行當(dāng)前幀源圖像場(chǎng)景自然度檢測(cè)；

步驟四，進(jìn)行有效深度圖區(qū)域內(nèi)的對(duì)比度分化閾值計(jì)算；

步驟五，進(jìn)行深度圖對(duì)比度提升處理。

優(yōu)選地，所述步驟二中場(chǎng)景連貫度是指當(dāng)前幀畫(huà)面的內(nèi)容與前一幀畫(huà)面內(nèi)容的連貫程度。

優(yōu)選地，所述步驟三中場(chǎng)景自然度指判斷當(dāng)前幀的內(nèi)容是否為自然場(chǎng)景的參考標(biāo)準(zhǔn)。

優(yōu)選地，所述步驟四中對(duì)比度分化閾值計(jì)算包括深度圖的有效運(yùn)算區(qū)域的計(jì)算和深度圖對(duì)比度閾值的計(jì)算。

優(yōu)選地，所述步驟五基于深度圖的對(duì)比度閾值劃分出不同的臨界點(diǎn)，并在這些不同臨界點(diǎn)區(qū)間對(duì)深度圖的像素值進(jìn)行重新賦值。

本發(fā)明的積極進(jìn)步效果在于：本發(fā)明2d轉(zhuǎn)3d視頻圖像提升深度圖質(zhì)量的計(jì)算方法基于場(chǎng)景連貫度和場(chǎng)景自然度算法，大大提高了深度圖的對(duì)比度，并且保持計(jì)算開(kāi)銷在合理范圍之內(nèi)，具有深度圖對(duì)比度提升明顯，運(yùn)算量相對(duì)合理的優(yōu)點(diǎn)。

附圖說(shuō)明

圖1為本發(fā)明2d轉(zhuǎn)3d視頻圖像提升深度圖質(zhì)量的計(jì)算方法的流程圖。

圖2為本發(fā)明2d轉(zhuǎn)3d視頻圖像提升深度圖質(zhì)量的計(jì)算方法的場(chǎng)景連貫度檢測(cè)的相鄰幀示意圖。

具體實(shí)施方式

下面結(jié)合附圖給出本發(fā)明較佳實(shí)施例，以詳細(xì)說(shuō)明本發(fā)明的技術(shù)方案。

如圖1至圖2所示，本發(fā)明2d轉(zhuǎn)3d視頻圖像提升深度圖質(zhì)量的計(jì)算方法包括下列步驟：

步驟一，由運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)矢量計(jì)算初始深度圖；

步驟二，進(jìn)行當(dāng)前幀源圖像與前一幀源圖像之間的場(chǎng)景連貫度檢測(cè)；

步驟三，進(jìn)行當(dāng)前幀源圖像場(chǎng)景自然度檢測(cè)；

步驟四，進(jìn)行有效深度圖區(qū)域內(nèi)的對(duì)比度分化閾值計(jì)算；

步驟五，進(jìn)行深度圖對(duì)比度提升處理。

步驟二中場(chǎng)景連貫度是指當(dāng)前幀畫(huà)面的內(nèi)容與前一幀畫(huà)面內(nèi)容的連貫程度，我們平常所觀看的視頻一般情況下都是連續(xù)的場(chǎng)景畫(huà)面，幀與幀之間的差別往往比較小。但是在視頻鏡頭的場(chǎng)景切換時(shí)，切換點(diǎn)的相鄰幀之間的差別就非常的大。場(chǎng)景連貫度檢測(cè)主要就是檢測(cè)當(dāng)前幀是處于一段連續(xù)幀序列之間還是處于場(chǎng)景切換時(shí)的過(guò)渡幀中。當(dāng)然，這也不是絕對(duì)的這還取決于場(chǎng)景連貫度閾值的設(shè)定。

如圖2所示，假設(shè)幀圖像的寬度為w，高度為h。表示當(dāng)前幀中坐標(biāo)為處的像素點(diǎn)的灰度值大小，表示前一幀中坐標(biāo)為處的像素點(diǎn)的灰度值大小，并且，如果如下式（1）：

（1）那么如下式（2）：

（2）

其中，為場(chǎng)景連貫度閾值，場(chǎng)景像素點(diǎn)改變次數(shù)計(jì)數(shù)器，初始值設(shè)為0。也就是說(shuō)每當(dāng)相鄰幀中對(duì)應(yīng)的像素點(diǎn)y、u、v分量的差值絕對(duì)值的和大于場(chǎng)景連貫度閾值時(shí)，場(chǎng)景改變次數(shù)計(jì)數(shù)器就自動(dòng)加一，當(dāng)然這里所說(shuō)的像素點(diǎn)包括yuv三個(gè)分。相應(yīng)的場(chǎng)景連貫像素點(diǎn)占總像素點(diǎn)的百分占比為下式（3）：

（3）

表示場(chǎng)景連貫度，一般情況下如果小于某一固定百分比（70%），我們就認(rèn)為前后兩幀圖像就沒(méi)有相關(guān)性了，如果大于該百分比就認(rèn)為當(dāng)前幀與前一幀相似度較大，前一幀圖像對(duì)當(dāng)前圖像還具有一定的參考價(jià)值。

步驟三中場(chǎng)景自然度指判斷當(dāng)前幀的內(nèi)容是否為自然場(chǎng)景的參考標(biāo)準(zhǔn)。所謂的自然場(chǎng)景一般是指畫(huà)面內(nèi)容沒(méi)有大面積的同質(zhì)化，全黑或者全白，當(dāng)然如果我們需求的圖像就是這種情況的話除外。一般認(rèn)為，在自然界狀態(tài)下所拍攝的畫(huà)面，相鄰像素的值之間是有大小差別的，這個(gè)差別一般會(huì)大于某個(gè)固定常數(shù)。如果相鄰像素點(diǎn)之間的差值小于這個(gè)固定常數(shù)，并且這樣的像素點(diǎn)個(gè)數(shù)達(dá)到一定的數(shù)量級(jí)，我們就認(rèn)為這幅場(chǎng)景不是自然畫(huà)面，這樣處理有一定的誤判，但是對(duì)于一部很長(zhǎng)的幀序列來(lái)說(shuō)檢測(cè)結(jié)果的可信度還是令人滿意的。場(chǎng)景自然度檢測(cè)主要計(jì)算一幀圖像中符合自然畫(huà)面像素點(diǎn)的個(gè)數(shù)占總像素點(diǎn)個(gè)數(shù)的百分比，往往自然度檢測(cè)在電影視頻序列中是至關(guān)重要的。

電影視頻畫(huà)面中上端和下端往往都是黑色的遮幅，遮幅相對(duì)于中心場(chǎng)景來(lái)說(shuō)不包含任何圖像信息。如果遮幅所占的像素點(diǎn)的比例過(guò)高的話，會(huì)給后續(xù)算法帶來(lái)極大的偏差，本算法根據(jù)場(chǎng)景自然度的不同自動(dòng)的選擇深度圖的有效運(yùn)算區(qū)域。

我們依然假設(shè)幀圖像的寬度為w，高度為h。表示當(dāng)前幀中坐標(biāo)為處的像素點(diǎn)的灰度值大小，并且，，，如下式（4）和下式（5）。

<1>在水平方向上，如果:

（4）

那么（5）

其中：為場(chǎng)景自然度閾值，指水平場(chǎng)景中自然像素點(diǎn)計(jì)數(shù)器，其初始值為0，x為垂向坐標(biāo)、y為水平坐標(biāo)。此處也用到了原圖像中y、u、v三個(gè)分量的灰度值參與計(jì)算。當(dāng)相間的兩個(gè)像素相應(yīng)y、u、v分量的差的絕對(duì)值之和大于我們?cè)O(shè)定的場(chǎng)景自然度閾值時(shí)，水平計(jì)數(shù)器自動(dòng)加1。用同樣的方法，讓x、y在上述的h、w范圍內(nèi)一直循環(huán)完，就可以得到整個(gè)水平方向上自然像素點(diǎn)的個(gè)數(shù)，如下式（6）、下式（7）和下式（8）。

<2>在垂直方向上，如果:

（6）

那么

（7）

其中：指垂直場(chǎng)景中自然像素點(diǎn)計(jì)數(shù)器，其初始值為0，x為垂向坐標(biāo)、y為水平坐標(biāo)。此處也用到了原圖像中y、u、v三個(gè)分量的灰度值參與計(jì)算。原理同水平方向上一樣，每當(dāng)滿足場(chǎng)景自然度閾值條件時(shí)，垂直計(jì)數(shù)器自動(dòng)加1。用同樣的方法，讓x、y在上述的h、w范圍內(nèi)一直循環(huán)完，就可以得到整個(gè)水平方向上自然像素點(diǎn)的個(gè)數(shù)。

那么相應(yīng)場(chǎng)景自然度為：

（8）

其中，指場(chǎng)景自然度，表示場(chǎng)景在水平和垂直方向上總的自然像素點(diǎn)的個(gè)數(shù)，相對(duì)應(yīng)的總像素點(diǎn)的個(gè)數(shù)。就像算法流程所說(shuō)的那樣，不同的場(chǎng)景自然度對(duì)應(yīng)的深度圖的有效區(qū)域不同，這樣就可以在一定程度上避免原圖中黑色遮幅的影響。

步驟四中對(duì)比度分化閾值計(jì)算包括深度圖的有效運(yùn)算區(qū)域的計(jì)算和深度圖對(duì)比度閾值的計(jì)算。

深度圖的有效運(yùn)算區(qū)域的計(jì)算規(guī)定：當(dāng)場(chǎng)景自然度小于等于50%的時(shí)候，深度圖的水平方向的有效區(qū)域?yàn)椋?imgfile="dest_path_image030.gif"wi="66"he="24"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>,垂直方向上為：；當(dāng)場(chǎng)景自然度在50%~65%之間時(shí)，水平方向上的有效區(qū)域?yàn)椋?imgfile="dest_path_image032.gif"wi="66"he="24"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>，垂直方向上為：；當(dāng)場(chǎng)景自然度在65%~80%之間時(shí)，水平方向上的有效區(qū)域?yàn)椋?imgfile="dest_path_image034.gif"wi="68"he="24"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>，垂直方向上為：；當(dāng)場(chǎng)景自然度大于等于80%，整幅圖像都默認(rèn)為有效區(qū)域。上述處理機(jī)制如下表所示：

表1

在自然度小于50%的情況下，默認(rèn)該幅圖像的場(chǎng)景中包含大量無(wú)效像素點(diǎn)，例如電影或者電視視頻幀序列中的黑色遮幅，只有中間部分的場(chǎng)景可信度較高，所以此時(shí)我們選擇的水平方向和垂直方向上的有效區(qū)域比較窄；在自然度大于80%的情況下，默認(rèn)該幀圖像的所有像素點(diǎn)都富含有效信息，畫(huà)面中沒(méi)有黑色遮幅等，所以選擇整幅圖像作為有效地計(jì)算區(qū)域。

深度圖對(duì)比度閾值的計(jì)算用于獲得圖像對(duì)比度提升算法的臨界參考值，是物體與背景、近景區(qū)域與遠(yuǎn)景區(qū)域進(jìn)一步區(qū)分開(kāi)來(lái)的主要依據(jù)。在有效場(chǎng)景區(qū)域內(nèi)對(duì)比度閾值的計(jì)算方法是：把深度圖有效區(qū)域內(nèi)所有的像素點(diǎn)的灰度值累加求和，然后再用此累加和除以有效像素點(diǎn)的個(gè)數(shù)得到像素點(diǎn)的平均灰度值，最后用此平均灰度值除以相應(yīng)區(qū)域內(nèi)的自然度上限就得到最終的對(duì)比度閾值，如下式（9）、下式（10）、下式（11）和下式（12）。

當(dāng)場(chǎng)景自然度時(shí)：

（9）

當(dāng)場(chǎng)景自然度在50%~65%時(shí)：

（10）

當(dāng)場(chǎng)景自然度在65%~80%時(shí)：

（11）

當(dāng)場(chǎng)景自然度時(shí)：

（12）

其中，表示深度圖的對(duì)比度閾值，h、w分別表示深度圖的高度和寬度，表示深度圖中相應(yīng)坐標(biāo)上的灰度值大小。上述處理機(jī)制如下表2所示：

表2

至此，對(duì)比度閾值已經(jīng)求出。上面的公式之所以都乘上相應(yīng)自然度區(qū)間最大自然度的倒數(shù)，是作為一個(gè)補(bǔ)償因子來(lái)彌補(bǔ)我們舍去的像素區(qū)域可能造成的誤差。

步驟五基于深度圖的對(duì)比度閾值劃分出不同的臨界點(diǎn)，并在這些不同臨界點(diǎn)區(qū)間對(duì)深度圖的像素值進(jìn)行重新賦值。

具體的處理方法為：上一部分計(jì)算得到的對(duì)比度閾值為，分別選擇、、、、這五個(gè)點(diǎn)作為重新劃分深度圖灰度值區(qū)域的五個(gè)鄰近點(diǎn)，劃分的區(qū)間為：、、、、、。然后以為分界點(diǎn)，如果深度圖像素點(diǎn)灰度值在左側(cè)的區(qū)間內(nèi)，分別取像素點(diǎn)的灰度值所在子區(qū)間內(nèi)的區(qū)間分界點(diǎn)的下限值代替該子區(qū)間內(nèi)所有像素點(diǎn)的灰度值，如果灰度值的話，原灰度值保持不變；如果深度圖像素點(diǎn)灰度值在右側(cè)的區(qū)間內(nèi)，分別取像素點(diǎn)的灰度值所在子區(qū)間內(nèi)的區(qū)間分界點(diǎn)的上限值代替該子區(qū)間內(nèi)所有像素點(diǎn)的灰度值，如果灰度值的話，原灰度值也同樣保持不變。這種處理方法，讓不同子區(qū)間內(nèi)的灰度值呈兩種不同的縮進(jìn)趨勢(shì)，低灰度區(qū)間的灰度值越來(lái)越小，高灰度區(qū)間的灰度值越來(lái)越大，這樣整個(gè)深度圖的對(duì)比度就會(huì)顯著提高，主要計(jì)算公式如下式（13）：

（13）其中，、，、分別為深度圖的高度和寬度。

通過(guò)本文對(duì)比度提升算法介紹，本算法依次通過(guò)場(chǎng)景連貫度檢測(cè)、場(chǎng)景自然度檢測(cè)、對(duì)比度分化閾值計(jì)算以及對(duì)比度提升處理等環(huán)節(jié)，對(duì)源深度圖進(jìn)行運(yùn)算處理，大大提高了深度圖中運(yùn)動(dòng)物體與背景的對(duì)比度效果，這樣渲染出的3d視差圖像深度層次感明顯，視覺(jué)效果突出，并且本算法的場(chǎng)景連貫度機(jī)制讓整個(gè)過(guò)程的計(jì)算開(kāi)銷保持在合理的范圍之內(nèi)。所以，相比其它的一些深度圖對(duì)比度優(yōu)化處理方法，本文算法的上述優(yōu)點(diǎn)可以實(shí)現(xiàn)更加令人滿意的深度圖效果。

算法會(huì)自動(dòng)根據(jù)場(chǎng)景連貫度的大?。▓?chǎng)景連貫度閾值）情況判斷深度圖對(duì)比度提升處理過(guò)程中是選用當(dāng)前幀的對(duì)比度分化閾值還是選用前一幀的對(duì)比度分化閾值。簡(jiǎn)單的說(shuō)當(dāng)前場(chǎng)景連貫度較大時(shí)選用前一幀的對(duì)比度分化閾值，場(chǎng)景連貫度較小時(shí)重新計(jì)算當(dāng)前幀的對(duì)比度分化閾值，這種基于場(chǎng)景連貫度的選擇性處理可以在一定程度上有效降低算法的運(yùn)算量，提高運(yùn)算處理速度。

本發(fā)明自動(dòng)根據(jù)場(chǎng)景自然度的大?。▓?chǎng)景自然度閾值）情況來(lái)確定在深度圖中計(jì)算對(duì)比度分化閾值的有效運(yùn)算區(qū)域。有效運(yùn)算區(qū)域的選擇至關(guān)重要，因?yàn)樗鼪Q定了對(duì)比度分化閾值的計(jì)算結(jié)果是否準(zhǔn)確。如果運(yùn)算區(qū)域選擇錯(cuò)誤，讓一些非自然因素干擾那么不但不能提升深度圖質(zhì)量，反而降低深度圖的有效信息量，讓最終的3d視差圖像受損。在有效運(yùn)算區(qū)域內(nèi)計(jì)算對(duì)比度的分化閾值。該過(guò)程是一個(gè)自適應(yīng)閾值確定過(guò)程，不僅跟深度圖運(yùn)算區(qū)域的大小有關(guān)，還跟深度圖的具體內(nèi)容有關(guān)（特別是運(yùn)動(dòng)物體在當(dāng)前幀中的具體位置）。通過(guò)選擇合適的對(duì)比度分化閾值，對(duì)比度提升處理進(jìn)一步增大深度圖中的運(yùn)動(dòng)物體和背景灰度值的落差，在處理的過(guò)程中不需要人為地設(shè)定具體的門限閾值，處理過(guò)程中的受限因素小。場(chǎng)景連貫度檢測(cè)是在當(dāng)前幀和前一幀之間進(jìn)行處理的，具有時(shí)間維度的屬性；場(chǎng)景自然度檢測(cè)是在當(dāng)前幀內(nèi)部不同像素點(diǎn)之間進(jìn)行處理的，具有空間維度的屬性。把時(shí)間維度和空間維度結(jié)合起來(lái)處理也是本發(fā)明的一大特點(diǎn)。

綜上所述，本發(fā)明2d轉(zhuǎn)3d視頻圖像提升深度圖質(zhì)量的計(jì)算方法基于場(chǎng)景連貫度和場(chǎng)景自然度算法，大大提高了深度圖的對(duì)比度，并且保持計(jì)算開(kāi)銷在合理范圍之內(nèi)，具有深度圖對(duì)比度提升明顯，運(yùn)算量相對(duì)合理的優(yōu)點(diǎn)。

以上所述的具體實(shí)施例，對(duì)本發(fā)明的解決的技術(shù)問(wèn)題、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。