專利名稱：一種基于區(qū)域連通圖的立體視頻深度圖的制作方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機圖像處理領(lǐng)域，特別涉及一種基于區(qū)域連通圖的立體視頻深度圖的制作方法和裝置。
背景技術(shù)：
立體視頻是視覺信息的一種重要的表示方式，其研究涉及計算機視覺、圖像視頻處理、模式識別等領(lǐng)域，在航空航天、軍事訓練、醫(yī)療教育、游戲傳媒等領(lǐng)域有著廣闊的應(yīng)用前景。立體視頻可以通過多種方式進行制作，例如立體攝像機拍攝、三維建模軟件制作、平面視頻立體化轉(zhuǎn)換等。但是立體攝像機拍攝的制作成本較高，并且對設(shè)備校準、拍攝環(huán)境、 后期制作的要求很高。并且，三維建模軟件制作需要專業(yè)人員花費大量精力進行場景、對象建模，其經(jīng)濟成本和制作時間同樣居高不下。因此，專業(yè)人員通常采用通過計算機視覺、圖像處理等技術(shù)將平面視頻轉(zhuǎn)換為立體視頻，相對于立體視頻制作技術(shù)具有成本低、速度快等優(yōu)勢?，F(xiàn)有的平面視頻轉(zhuǎn)立體視頻方法按照是否使用深度圖分為兩類1)不基于深度圖的轉(zhuǎn)換方法通過在原始平面圖像上直接進行逐像素的平移操作，獲得另一視角的圖像。這種方法的人力成本很高，速度較慢且不便于調(diào)節(jié)視差大??；2)基于深度圖的轉(zhuǎn)換方法首先逐幀生成深度圖，然后利用基于深度圖的圖像渲染(DIBR，Depth-Image-Based Rendering)算法將每一幀平面圖像轉(zhuǎn)換為立體圖像。由于DIBR算法已經(jīng)較為成熟，所以如何生成高質(zhì)量的深度圖成為本領(lǐng)域技術(shù)人員研究的重點。就目前而言，大多數(shù)深度圖制作流程都可分為前景對象提取和深度賦值兩個階段。在前景對象提取階段，操作者需要使用多種工具對圖像進行分割從而得到所關(guān)注的前景物體。在接下來的深度賦值階段中，操作者可以選擇利用已有的深度賦值模型或各種畫筆工具繪制各個對象的深度并組合成完整的深度圖。操作者可能無法準確的將人工深度標記放置在合適的位置，因此需要一個標記——查看——再標記的人機交互過程。雖然像素深度圖制作階段能夠生成精度較高的結(jié)果，但是該階段耗時較長，人機交互效率較低，用戶體驗較差，不能快速、及時的查看深度圖的效果并修改人工深度標記。這類深度圖制作流程存在以下缺陷前景對象提取和深度賦值兩個階段都需要大量的人工操作，使得深度圖的制作周期較長，制作成本較高，從而限制了平面視頻轉(zhuǎn)立體視頻技術(shù)的推廣。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一。為此，本發(fā)明的第一個目的在于提出一種基于區(qū)域連通圖的立體視頻深度圖的制作方法，該方法可以有效降低深度圖制作的所需時間，減少深度圖制作成本。本發(fā)明的第二個目的在于提出一種基于區(qū)域連通圖的立體視頻深度圖的制作裝置。為達到上述目的，本發(fā)明第一方面的實施例提出了一種基于區(qū)域連通圖的立體視頻深度圖的制作方法，包括如下步驟向內(nèi)存中輸入多幀圖像，提取所述多幀圖像的每一幀的圖像信息，所述圖像信息包括每幀圖像的每個像素點信息；對所述每幀圖像的每個像素點信息進行聚類得到聚類后的像素點信息，根據(jù)所述聚類后的像素點信息生成每一幀圖像的區(qū)域連通圖；向內(nèi)存中輸入深度值標記信息，所述區(qū)域連通圖根據(jù)所述深度值標記信息生成區(qū)域深度圖；判斷所述區(qū)域深度圖是否滿足第一預(yù)設(shè)條件后，當所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件時，根據(jù)所述區(qū)域深度圖獲取像素深度圖，否則繼續(xù)向所述內(nèi)存中輸入深度值標記信息直至所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件。根據(jù)本發(fā)明的一個實施例，在對所述每幀圖像的每個像素點信息進行聚類之前， 還包括如下步驟對提取得到所述的每一幀的圖像信息進行圖像去噪。根據(jù)本發(fā)明的一個實施例，對所述每幀圖像的每個像素點信息進行聚類，包括如下步驟設(shè)置初始種子點，將所述每幀圖像劃分成多個相同的矩形區(qū)域；計算所述每個矩形區(qū)域內(nèi)像素點的五維空間坐標的平均值，并根據(jù)每個矩形區(qū)域內(nèi)像素點的五維空間坐標的平均值得到所述初始種子點的五維空間坐標值；對所述每幀圖像的每個像素點，計算所述像素點與所述像素點對應(yīng)的搜索范圍內(nèi)的每個所述初始種子點的五維空間距離，并將所述像素點歸類至所述五維空間距離最小的初始種子點所屬的類別；更新聚類后的每個初始種子點的信息，并統(tǒng)計每一類別所包括的像素點信息，根據(jù)每一類別中五維空間坐標的平均值作為新的種子點的五維空間坐標值；計算所述每幀圖像中每個像素點距離所述新的種子點的最小五維空間距離之和， 根據(jù)所述最小五維空間距離之和判斷是否滿足預(yù)設(shè)的聚類結(jié)束條件，當所述最小五維空間距離之和滿足所述預(yù)設(shè)的聚類結(jié)束條件時，結(jié)束對像素點進行聚類，得到所述聚類后的像素點fn息。根據(jù)本發(fā)明的一個實施例，根據(jù)所述聚類后的像素點信息生成每一幀圖像的區(qū)域連通圖，包括如下步驟讀取所述聚類后的像素點信息，獲取所述每幀圖像的每個像素點的所屬類別信息，并遍歷所述每幀圖像中的每個像素點；對所述每幀圖像中的每個像素點劃分至相應(yīng)的區(qū)域內(nèi)，生成初始區(qū)域連通圖；將所述初始區(qū)域連通圖進行優(yōu)化，得到所述每一幀圖像的區(qū)域連通圖。根據(jù)本發(fā)明的一個實施例，所述對所述每幀圖像中的每個像素點劃分至相應(yīng)的區(qū)域內(nèi)，包括如下步驟如果當前像素點已劃分至一個區(qū)域內(nèi)，則對所述當前像素點不作處理；如果所述當前像素點未劃分至一個區(qū)域內(nèi)，則生成一個大小為預(yù)設(shè)尺寸的區(qū)域， 然后將所述當期像素點的多個鄰域像素點壓入待處理堆棧中，從所述待處理堆棧中彈出一個像素點；
如果所述彈出的像素點不是當前區(qū)域的一部分且所述彈出的像素點的類別與當前區(qū)域的類別相同，則將所述彈出的像素點加入至所述當前區(qū)域，再將所述彈出的像素點的多個鄰域像素點壓入所述待處理堆棧中，直至所述待處理堆棧中的所有像素點均被彈出且處理完畢后停止，得到初始區(qū)域連通圖。根據(jù)本發(fā)明的一個實施例，將所述初始區(qū)域連通圖進行優(yōu)化，包括如下步驟判斷所述初始區(qū)域連通圖中每個區(qū)域的面積是否小于區(qū)域面積閾值，如果當前區(qū)域的面積小于所述區(qū)域面積閾值時，計算所述當前區(qū)域的五維空間坐標的平均值和所述當前區(qū)域的鄰域的五維空間坐標的平均值的距離，并將所述當前區(qū)域合并到與所述當前區(qū)域的距離最近的所述鄰域中，輸出區(qū)域連通圖。根據(jù)本發(fā)明的一個實施例，所述區(qū)域連通圖根據(jù)所述深度值標記信息得到區(qū)域深度圖，包括如下步驟對所述區(qū)域連通圖的每個區(qū)域進行深度值標記，得到標記區(qū)域；在所述標記區(qū)域中，對于具有相同深度值的標記區(qū)域進行聚類，得到聚類后的標記區(qū)域；根據(jù)所述聚類后的標記區(qū)域計算區(qū)域深度權(quán)重，得到區(qū)域深度權(quán)重值；根據(jù)每一個所述區(qū)域權(quán)重值，通過下述公式獲取每一個區(qū)域的區(qū)域深度值；deptho= 1 . X val χ WeightOval
total—weightO其中，depthO為區(qū)域的深度值，val表示深度標記信息中的深度值，WeightOval表示待獲取區(qū)域深度值的區(qū)域?qū)τ谏疃戎禐関al的標記的深度權(quán)重，total_WeightO表示所述深度值標記信息中所有標記的權(quán)重值之和；根據(jù)所述每一個區(qū)域的區(qū)域深度值得到區(qū)域深度圖。根據(jù)本發(fā)明的一個實施例，所述根據(jù)所述區(qū)域深度圖獲取像素深度圖，包括如下步驟對所述深度值標記信息進行聚類，得到聚類后的深度值標記信息；根據(jù)所述聚類后的深度值標記信息計算像素深度權(quán)重，得到像素權(quán)重值，并計算每一個像素的深度值；根據(jù)每一個的所述像素深度值生成像素深度圖。根據(jù)本發(fā)明的一個實施例，所述生成像素深度圖之后，進一步包括如下步驟判斷所述像素深度圖是否滿足第二預(yù)設(shè)條件，當所述區(qū)域深度圖滿足第二預(yù)設(shè)條件時，根據(jù)所述區(qū)域深度圖獲取像素深度圖，否則繼續(xù)向所述內(nèi)存中輸入深度值標記信息直至所述像素深度圖滿足所述第二預(yù)設(shè)條件。根據(jù)本發(fā)明實施例的基于區(qū)域連通圖的立體視頻深度圖的制作方法，在像素深度圖制作階段前加入?yún)^(qū)域深度圖制作階段，通過人工深度標記快速生成區(qū)域深度圖。區(qū)域深度圖是基于區(qū)域進行運算，耗時只有像素深度圖的幾百分之一，可以做到實時操作，從而提高人機交互過程的效率，使得操作者可以較快的將人工深度標記放置在準確的位置。在隨后的像素深度圖制作階段，操作者可以導入?yún)^(qū)域深度圖制作階段中得到的較為準確的人工深度標記，自動生成高質(zhì)量的像素級深度圖，從而減少了平面視頻轉(zhuǎn)立體視頻過程中深度圖的制作成本，提高了立體視頻的轉(zhuǎn)換效率。
本發(fā)明第二方面的實施例提出一種基于區(qū)域連通圖的立體視頻深度圖的制作裝置，包括輸入模塊，所述輸入模塊用于向內(nèi)存中輸入多幀圖像，提取所述多幀圖像的每一幀的圖像信息，所述圖像信息包括每幀圖像的每個像素點信息；區(qū)域連通圖生成模塊，用于對所述每幀圖像的每個像素點信息進行聚類得到聚類后的像素點信息，根據(jù)所述聚類后的像素點信息生成每一幀圖像的區(qū)域連通圖；深度值標記模塊，用于向內(nèi)存中輸入深度值標記信息；區(qū)域深度圖生成模塊，所述區(qū)域深度圖制作模塊分別與所述區(qū)域連通圖生成模塊和所述深度值標記模塊相連，用于根據(jù)所述區(qū)域連通圖和所述深度值標記信息生成區(qū)域深度圖，且判斷所述區(qū)域深度圖是否滿足第一預(yù)設(shè)條件；像素深度圖生成模塊，所述像素深度圖生成模塊與所述區(qū)域深度圖生成模塊相連，當所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件時，則所述像素深度圖生成模塊根據(jù)所述區(qū)域深度圖獲取像素深度圖，否則由所述深度值標記模塊繼續(xù)向所述內(nèi)存中輸入深度值標記信息，并由所述區(qū)域深度圖生成模塊重新生成區(qū)域深度圖直至所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件。根據(jù)本發(fā)明的一個實施例，所述基于區(qū)域連通圖的立體視頻深度圖的制作裝置還包括去噪模塊，所述去噪模塊分別與所述輸入模塊和所述區(qū)域連通圖生成模塊相連，用于對提取得到所述的每一幀的圖像信息進行圖像去噪。根據(jù)本發(fā)明的一個實施例，所述區(qū)域連通圖生成模塊設(shè)置初始種子點，將所述每幀圖像劃分成多個相同的矩形區(qū)域；計算所述每個矩形區(qū)域內(nèi)像素點的五維空間坐標的平均值，并根據(jù)每個矩形區(qū)域內(nèi)像素點的五維空間坐標的平均值得到所述初始種子點的五維空間坐標值；對所述每幀圖像的每個像素點，計算所述像素點與所述像素點對應(yīng)的搜索范圍內(nèi)的每個所述初始種子點的五維空間距離，并將所述像素點歸類至所述五維空間距離最小的初始種子點所屬的類別；更新聚類后的每個初始種子點的信息，并統(tǒng)計每一類別所包括的像素點信息，根據(jù)每一類別中五維空間坐標的平均值作為新的種子點的五維空間坐標值；計算所述每幀圖像中每個像素點距離所述新的種子點的最小五維空間距離之和，根據(jù)所述最小五維空間距離之和判斷是否滿足預(yù)設(shè)的聚類結(jié)束條件，當所述最小五維空間距離之和滿足所述預(yù)設(shè)的聚類結(jié)束條件時，結(jié)束對像素點進行聚類，得到所述聚類后的像素點 fn息ο根據(jù)本發(fā)明的一個實施例，所述區(qū)域連通圖生成模塊根據(jù)所述聚類后的像素點信息生成每一幀圖像的區(qū)域連通圖讀取所述聚類后的像素點信息，獲取所述每幀圖像的每個像素點的所屬類別信息，并遍歷所述每幀圖像中的每個像素點；對所述每幀圖像中的每個像素點劃分至相應(yīng)的區(qū)域內(nèi)，生成初始區(qū)域連通圖；將所述初始區(qū)域連通圖進行優(yōu)化，得到所述每一幀圖像的區(qū)域連通圖。根據(jù)本發(fā)明的一個實施例，如果當前像素點已劃分至一個區(qū)域內(nèi)，則對所述當前像素點不作處理；如果所述當前像素點未劃分至一個區(qū)域內(nèi)，則生成一個大小為預(yù)設(shè)尺寸的區(qū)域， 然后將所述當期像素點的多個鄰域像素點壓入待處理堆棧中，從所述待處理堆棧中彈出一個像素點；
如果所述彈出的像素點不是當前區(qū)域的一部分且所述彈出的像素點的類別與當前區(qū)域的類別相同，則將所述彈出的像素點加入至所述當前區(qū)域，再將所述彈出的像素點的多個鄰域像素點壓入所述待處理堆棧中，直至所述待處理堆棧中的所有像素點均被彈出且處理完畢后停止，得到初始區(qū)域連通圖。根據(jù)本發(fā)明的一個實施例，所述區(qū)域連通圖生成模塊判斷所述初始區(qū)域連通圖中每個區(qū)域的面積是否小于區(qū)域面積閾值，如果當前區(qū)域的面積小于所述區(qū)域面積閾值時， 計算所述當前區(qū)域的五維空間坐標的平均值和所述當前區(qū)域的鄰域的五維空間坐標的平均值的距離，并將所述當前區(qū)域合并到與所述當前區(qū)域的距離最近的所述鄰域中，輸出區(qū)域連通圖。根據(jù)本發(fā)明的一個實施例，所述區(qū)域深度圖生成模塊用于對所述區(qū)域連通圖的每個區(qū)域進行深度值標記，得到標記區(qū)域；在所述標記區(qū)域中，對于具有相同深度值的標記區(qū)域進行聚類，得到聚類后的標記區(qū)域；根據(jù)所述聚類后的標記區(qū)域計算區(qū)域深度權(quán)重，得到區(qū)域深度權(quán)重值；depthO= 1 . X val χ weightOval
total—weightO其中，depthO為區(qū)域的深度值，val表示深度標記信息中的深度值，WeightOval表示待獲取區(qū)域深度值的區(qū)域?qū)τ谏疃戎禐関al的標記的深度權(quán)重，total_Weight0表示所述深度值標記信息中所有標記的權(quán)重值之和；所述區(qū)域深度圖生成模塊根據(jù)所述每一個區(qū)域的區(qū)域深度值得到區(qū)域深度圖。根據(jù)本發(fā)明的一個實施例，所述像素深度圖生成模塊判斷所述像素深度圖是否滿足第二預(yù)設(shè)條件，當所述像素深度圖滿足所述第二預(yù)設(shè)條件時，輸出所述像素深度圖，否則所述深度值標記模塊繼續(xù)向所述內(nèi)存中輸入深度值標記信息，所述區(qū)域深度圖生成模塊生成所述區(qū)域深度圖，所述像素深度圖生成模塊根據(jù)所述區(qū)域深度圖生成像素深度圖直至所述像素深度圖滿足所述第二預(yù)設(shè)條件。根據(jù)本發(fā)明實施例的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，在像素深度圖制作階段前加入?yún)^(qū)域深度圖制作階段，通過人工深度標記快速生成區(qū)域深度圖。區(qū)域深度圖是基于區(qū)域進行運算，耗時只有像素深度圖的幾百分之一，可以做到實時操作，從而提高人機交互過程的效率，使得操作者可以較快的將人工深度標記放置在準確的位置。在隨后的像素深度圖制作階段，操作者可以導入?yún)^(qū)域深度圖制作階段中得到的較為準確的人工深度標記，自動生成高質(zhì)量的像素級深度圖，從而減少了平面視頻轉(zhuǎn)立體視頻過程中深度圖的制作成本，提高了立體視頻的轉(zhuǎn)換效率。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變得明顯和容易理解，其中圖1為根據(jù)本發(fā)明實施例的基于區(qū)域連通圖的立體視頻深度圖的制作方法流程圖2為圖1中預(yù)處理的流程圖；圖3為圖1中生成區(qū)域深度圖的流程圖；圖4為圖1中生成像素深度圖的流程圖；以及圖5為本發(fā)明實施例的基于區(qū)域連通圖的立體視頻深度圖的制作裝置結(jié)構(gòu)示意圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。下面參考圖1至圖4描述根據(jù)本發(fā)明實施例的基于區(qū)域連通圖的立體視頻深度圖的制作方法。如圖1所示，本發(fā)明實施例提供的基于區(qū)域連通圖的立體視頻深度圖的制作方法，包括如下步驟Sll 輸入圖片；首先，用戶向內(nèi)存中輸入多幀圖像，然后提取多幀圖像的每一幀的圖像信息，其中所提取的圖像信息包括每幀圖像的每個像素點信息。S12:預(yù)處理，在本步驟中，對圖像中空間距離較小、顏色較為相似的像素點進行聚類操作。S121:圖像去噪；由于用戶輸入的圖像信息中存在圖像噪聲，需要對圖像進行去噪。在本發(fā)明的一個實施例中，采用高斯濾波的方式對圖像進行去噪處理，從而減弱圖像噪聲對后續(xù)的聚類算法的影響。可以理解的是，對圖像進行去噪的方式并不僅限于高斯濾波的方式，也可以為其他圖像去噪方法?？梢岳斫獾氖?，對初始輸入的圖像進行去噪是可選步驟，換言之，也可以將步驟 Sll中輸入的圖像直接送至步驟S122進行處理。S122:設(shè)置初始種子點；對步驟Sll提取的圖像信息或步驟S121去噪后的圖像信息，首先按照固定的長度和寬度將圖像分成多個相同的矩形區(qū)域，然后計算每個矩形區(qū)域中像素點的五維空間坐標的平均值，將計算出的五維空間坐標平均值作為初始種子點的五維空間坐標值。若圖像的長度無法被矩形區(qū)域的長度整除，則將相除后的余數(shù)作為最后一個矩形區(qū)域的長度。相應(yīng)的，若圖像的寬度無法被矩形方塊的寬度整除，則將相除后的余數(shù)作為最后一個矩形區(qū)域的寬度。S123 將像素點按照五維空間坐標聚類；在本發(fā)明的一個實施例中，采用K-means算法將像素點按照五維空間坐標聚類。 具體而言，根據(jù)S122步驟得到的初始種子點的五維空間坐標值，對圖像中的每個像素點， 首先計算每個像素點與該像素點搜索范圍內(nèi)的各個初始種子點的五維空間距離，然后將該像素點歸類于五維空間距離最近的初始種子點所屬的類別。在本發(fā)明的一個實施例中，可以采用下列公式計算五維空間距離
權(quán)利要求
1.一種基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于，包括如下步驟 向內(nèi)存中輸入多幀圖像，提取所述多幀圖像的每一幀的圖像信息，所述圖像信息包括每幀圖像的每個像素點信息；對所述每幀圖像的每個像素點信息進行聚類得到聚類后的像素點信息，根據(jù)所述聚類后的像素點信息生成每一幀圖像的區(qū)域連通圖；向內(nèi)存中輸入深度值標記信息，所述區(qū)域連通圖根據(jù)所述深度值標記信息生成區(qū)域深度圖；判斷所述區(qū)域深度圖是否滿足第一預(yù)設(shè)條件，當所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件時，根據(jù)所述區(qū)域深度圖得到像素深度圖，否則繼續(xù)向所述內(nèi)存中輸入深度值標記信息直至所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件。
2.如權(quán)利要求1所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 在對所述每幀圖像的每個像素點信息進行聚類之前，還包括如下步驟對提取得到的所述每一幀的圖像信息進行圖像去噪。
3.如權(quán)利要求1所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 對所述每幀圖像的每個像素點信息進行聚類，包括如下步驟設(shè)置初始種子點，將所述每幀圖像劃分成多個相同的矩形區(qū)域； 計算所述每個矩形區(qū)域內(nèi)像素點的五維空間坐標的平均值，并根據(jù)每個矩形區(qū)域內(nèi)像素點的五維空間坐標的平均值得到所述初始種子點的五維空間坐標值。；對所述每幀圖像的每個像素點，計算所述像素點與所述像素點對應(yīng)的搜索范圍內(nèi)的每個所述初始種子點的五維空間距離，并將所述像素點歸類至所述五維空間距離最小的初始種子點所屬的類別；更新聚類后的每個初始種子點的信息，并統(tǒng)計每一類別所包括的像素點信息，根據(jù)每一類別中五維空間坐標的平均值作為新的種子點的五維空間坐標值；計算所述每幀圖像中每個像素點距離所述新的種子點的最小五維空間距離之和，根據(jù)所述最小五維空間距離之和判斷是否滿足預(yù)設(shè)的聚類結(jié)束條件，當所述最小五維空間距離之和滿足所述預(yù)設(shè)的聚類結(jié)束條件時，結(jié)束對像素點進行聚類，得到所述聚類后的像素點 fn息ο
4.如權(quán)利要求3所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 根據(jù)所述聚類后的像素點信息生成每一幀圖像的區(qū)域連通圖，包括如下步驟讀取所述聚類后的像素點信息，獲取所述每幀圖像的每個像素點的所屬類別信息，并遍歷所述每幀圖像中的每個像素點；對所述每幀圖像中的每個像素點劃分至相應(yīng)的區(qū)域內(nèi)，生成初始區(qū)域連通圖； 將所述初始區(qū)域連通圖進行優(yōu)化，得到所述每一幀圖像的區(qū)域連通圖。
5.如權(quán)利要求4所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 對所述每幀圖像中的每個像素點劃分至相應(yīng)的區(qū)域內(nèi)，包括如下步驟如果當前像素點已劃分至一個區(qū)域內(nèi)，則對所述當前像素點不作處理； 如果所述當前像素點未劃分至一個區(qū)域內(nèi)，則生成一個大小為預(yù)設(shè)尺寸的區(qū)域，然后將所述當前像素點的多個鄰域像素點壓入待處理堆棧中，從所述待處理堆棧中彈出一個像素占.如果所述彈出的像素點不是當前區(qū)域的一部分且所述彈出的像素點的類別與當前區(qū)域的類別相同，則將所述彈出的像素點加入至所述當前區(qū)域，再將所述彈出的像素點的多個鄰域像素點壓入所述待處理堆棧中，直至所述待處理堆棧中的所有像素點均被彈出且處理完畢后停止，得到初始區(qū)域連通圖。
6.如權(quán)利要求5所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 將所述初始區(qū)域連通圖進行優(yōu)化，包括如下步驟判斷所述初始區(qū)域連通圖中每個區(qū)域的面積是否小于區(qū)域面積閾值，如果當前區(qū)域的面積小于所述區(qū)域面積閾值時，計算所述當前區(qū)域的五維空間坐標的平均值和所述當前區(qū)域的鄰域的五維空間坐標的平均值的距離，并將所述當前區(qū)域合并到與所述當前區(qū)域的距離最近的所述鄰域中，輸出區(qū)域連通圖。
7.如權(quán)利要求1所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 所述區(qū)域連通圖根據(jù)所述深度值標記信息得到區(qū)域深度圖，包括如下步驟對所述區(qū)域連通圖的每個區(qū)域進行深度值標記，得到標記區(qū)域；在所述標記區(qū)域中，對于具有相同深度值的標記區(qū)域進行聚類，得到聚類后的標記區(qū)域；根據(jù)所述聚類后的標記區(qū)域計算區(qū)域深度權(quán)重，得到區(qū)域深度權(quán)重值；根據(jù)每一個所述區(qū)域權(quán)重值，通過下述公式獲取每一個區(qū)域的區(qū)域深度值；depthO=---V val χ weightO,,.totalweightOtf& val其中，depthO為區(qū)域的深度值，val表示深度標記信息中的深度值，WeightOval表示待獲取區(qū)域深度值的區(qū)域?qū)τ谏疃戎禐関al的標記的深度權(quán)重，total_WeightO表示所述深度值標記信息中所有標記的權(quán)重值之和；根據(jù)所述每一個區(qū)域的區(qū)域深度值得到區(qū)域深度圖。
8.如權(quán)利要求1所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 所述根據(jù)所述區(qū)域深度圖得到像素深度圖，包括如下步驟對所述深度值標記信息進行聚類，得到聚類后的深度值標記信息；根據(jù)所述聚類后的深度值標記信息計算像素深度權(quán)重，得到像素權(quán)重值，并計算每一個像素的深度值；根據(jù)所述的每一個像素深度值生成像素深度圖。
9.如權(quán)利要求8所述的基于區(qū)域連通圖的立體視頻深度圖的制作方法，其特征在于， 所述生成像素深度圖之后，進一步包括如下步驟判斷所述像素深度圖是否滿足第二預(yù)設(shè)條件，當所述區(qū)域深度圖滿足預(yù)設(shè)條件時，根據(jù)所述區(qū)域深度圖獲取像素深度圖，否則繼續(xù)向所述內(nèi)存中輸入深度值標記信息直至所述像素深度圖滿足所述第二預(yù)設(shè)條件。
10.一種基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，包括輸入模塊，所述輸入模塊用于向內(nèi)存中輸入多幀圖像，提取所述多幀圖像的每一幀的圖像信息，所述圖像信息包括每幀圖像的每個像素點信息；區(qū)域連通圖生成模塊，用于對所述每幀圖像的每個像素點信息進行聚類得到聚類后的像素點信息，根據(jù)所述聚類后的像素點信息生成每一幀圖像的區(qū)域連通圖；深度值標記模塊，用于向內(nèi)存中輸入深度值標記信息；區(qū)域深度圖生成模塊，所述區(qū)域深度圖生成模塊分別與所述區(qū)域連通圖生成模塊和所述深度值標記模塊相連，用于根據(jù)所述區(qū)域連通圖和所述深度值標記信息生成區(qū)域深度圖，且判斷所述區(qū)域深度圖是否滿足第一預(yù)設(shè)條件；像素深度圖生成模塊，所述像素深度圖生成模塊與所述區(qū)域深度圖生成模塊相連，當所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件時，則所述像素深度圖生成模塊根據(jù)所述區(qū)域深度圖獲取像素深度圖，否則由所述深度值標記模塊繼續(xù)向所述內(nèi)存中輸入深度值標記信息， 并由所述區(qū)域深度圖生成模塊重新生成區(qū)域深度圖直至所述區(qū)域深度圖滿足所述第一預(yù)設(shè)條件。
11.如權(quán)利要求10所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，還包括去噪模塊，所述去噪模塊分別與所述輸入模塊和所述區(qū)域連通圖生成模塊相連，用于對提取得到的所述每一幀的圖像信息進行圖像去噪。
12.如權(quán)利要求10所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，所述區(qū)域連通圖生成模塊設(shè)置初始種子點，將所述每幀圖像劃分成多個相同的矩形區(qū)域，計算所述每個矩形區(qū)域內(nèi)像素點的五維空間坐標的平均值，并根據(jù)每個矩形區(qū)域內(nèi)像素點的五維空間坐標的平均值得到所述初始種子點的五維空間坐標值，對所述每幀圖像的每個像素點，計算所述像素點與所述像素點對應(yīng)的搜索范圍內(nèi)的每個所述初始種子點的五維空間距離，并將所述像素點歸類至所述五維空間距離最小的初始種子點所屬的類別；更新聚類后的每個初始種子點的信息，并統(tǒng)計每一類別所包括的像素點信息，根據(jù)每一類別中五維空間坐標的平均值作為新的種子點的五維空間坐標值；計算所述每幀圖像中每個像素點距離所述新的種子點的最小五維空間距離之和，根據(jù)所述最小五維空間距離之和判斷是否滿足預(yù)設(shè)的聚類結(jié)束條件，當所述最小五維空間距離之和滿足所述預(yù)設(shè)的聚類結(jié)束條件時，結(jié)束對像素點進行聚類，得到所述聚類后的像素點信息。
13.如權(quán)利要求12所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，所述區(qū)域連通圖生成模塊讀取所述聚類后的像素點信息，獲取所述每幀圖像的每個像素點的所屬類別信息，并遍歷所述每幀圖像中的每個像素點，對所述每幀圖像中的每個像素點劃分至相應(yīng)的區(qū)域內(nèi)，生成初始區(qū)域連通圖；將所述初始區(qū)域連通圖進行優(yōu)化，得到所述每一幀圖像的區(qū)域連通圖。
14.如權(quán)利要求13所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，如果當前像素點已劃分至一個區(qū)域內(nèi)，則所述區(qū)域連通圖生成模塊對所述當前像素點不作處理；如果所述當前像素點未劃分至一個區(qū)域內(nèi)，則所述區(qū)域連通圖生成模塊生成一個大小為預(yù)設(shè)尺寸的區(qū)域，然后將所述當前像素點的多個鄰域像素點壓入待處理堆棧中，從所述待處理堆棧中彈出一個像素點；如果所述彈出的像素點不是當前區(qū)域的一部分且所述彈出的像素點的類別與當前區(qū)域的類別相同，則所述區(qū)域連通圖生成模塊將所述彈出的像素點加入至所述當前區(qū)域，再將所述彈出的像素點的多個鄰域像素點壓入所述待處理堆棧中，直至所述待處理堆棧中的所有像素點均被彈出且處理完畢后停止，得到初始區(qū)域連通圖。
15.如權(quán)利要求14所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，所述區(qū)域連通圖生成模塊判斷所述初始區(qū)域連通圖中每個區(qū)域的面積是否小于區(qū)域面積閾值，如果當前區(qū)域的面積小于所述區(qū)域面積閾值時，計算所述當前區(qū)域的五維空間坐標的平均值和所述當前區(qū)域的鄰域的五維空間坐標的平均值的距離，并將所述當前區(qū)域合并到與所述當前區(qū)域的距離最近的所述鄰域中，輸出區(qū)域連通圖。
16.如權(quán)利要求10所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，所述區(qū)域深度圖生成模塊對所述區(qū)域連通圖的每個區(qū)域進行深度值標記，得到標記區(qū)域，在所述標記區(qū)域中，對于具有相同深度值的標記區(qū)域進行聚類，得到聚類后的標記區(qū)域，根據(jù)所述聚類后的標記區(qū)域計算區(qū)域深度權(quán)重，得到區(qū)域深度權(quán)重值，根據(jù)每一個所述區(qū)域權(quán)重值，通過下述公式獲取每一個區(qū)域的區(qū)域深度值；depthO=---V val χ weightO,,.totalweightOtf& val其中，depthO為區(qū)域的深度值，val表示深度標記信息中的深度值，WeightOval表示待獲取區(qū)域深度值的區(qū)域?qū)τ谏疃戎禐関al的標記的深度權(quán)重，total_WeightO表示所述深度值標記信息中所有標記的權(quán)重值之和；所述區(qū)域深度圖生成模塊根據(jù)所述每一個區(qū)域的區(qū)域深度值得到區(qū)域深度圖。
17.如權(quán)利要求10所述的基于區(qū)域連通圖的立體視頻深度圖的制作裝置，其特征在于，所述像素深度圖生成模塊判斷所述像素深度圖是否滿足第二預(yù)設(shè)條件，當所述像素深度圖滿足所述第二預(yù)設(shè)條件時，輸出所述像素深度圖，否則所述深度值標記模塊繼續(xù)向所述內(nèi)存中輸入深度值標記信息，所述區(qū)域深度圖生成模塊生成所述區(qū)域深度圖，所述像素深度圖生成模塊根據(jù)所述區(qū)域深度圖生成像素深度圖直至所述像素深度圖滿足所述第二預(yù)設(shè)條件。
全文摘要
本發(fā)明公開了一種基于區(qū)域連通圖的立體視頻深度圖的制作方法，包括如下步驟輸入多幀圖像，提取多幀圖像的每一幀的圖像信息，包括每幀圖像的每個像素點信息；對像素點信息進行聚類得到聚類后的像素點信息，根據(jù)聚類后的像素點信息生成圖像的區(qū)域連通圖；輸入深度值標記信息，區(qū)域連通圖根據(jù)深度值標記信息生成區(qū)域深度圖；當區(qū)域深度圖滿足所述第一預(yù)設(shè)條件時，根據(jù)區(qū)域深度圖獲取像素深度圖，否則繼續(xù)輸入深度值標記信息直至區(qū)域深度圖滿足第一預(yù)設(shè)條件。本發(fā)明還公開了一種基于區(qū)域連通圖的立體視頻深度圖的制作裝置。采用本發(fā)明提供的方法和裝置能夠及時查看深度圖的效果并進行必要修改，提高了人工標記的效率，縮短了深度圖制作的時間。
文檔編號H04N13/00GK102316352SQ20111022644
公開日2012年1月11日 申請日期2011年8月8日 優(yōu)先權(quán)日2011年8月8日
發(fā)明者戴瓊海, 李振堯, 王好謙 申請人:清華大學