一種高清立體視頻的視差范圍快速檢測方法
【專利摘要】本發(fā)明涉及一種高清立體視頻的視差范圍快速檢測方法。所述方法包括快速立體匹配的步驟、提高快速匹配準(zhǔn)確度的步驟、視差范圍提取的步驟、空間精度補(bǔ)償?shù)牟襟E和時間精度補(bǔ)償?shù)牟襟E。本發(fā)明將快速稠密立體匹配與檢測方法相結(jié)合，通過閾值判決的方式快速提取立體圖像的視差范圍；采用分布式思路，通過跟蹤畫面出屏最大物體的方式計(jì)算視頻的最大出屏范圍，大幅降低了計(jì)算量，提高了計(jì)算速度；本發(fā)明不需要計(jì)算立體視頻每一幀的稠密視差圖像，通過截取窗口及視差范圍繼承的方式快速估計(jì)非計(jì)算幀的視差范圍。與現(xiàn)有技術(shù)相比，本發(fā)明能夠在抽幀處理的同時保證視差信息時間上的連續(xù)性，能夠準(zhǔn)實(shí)時地逐幀計(jì)算高清視頻的視差范圍。
【專利說明】一種高清立體視頻的視差范圍快速檢測方法 【技術(shù)領(lǐng)域】
[〇〇〇1] 本發(fā)明涉及立體匹配技術(shù)，具體涉及大數(shù)據(jù)量立體圖像的快速匹配技術(shù)，以及高 清立體視頻的視差范圍快速檢測方法。 【背景技術(shù)】
[0002] 隨著人們對3D業(yè)務(wù)興趣的不斷增長，3D視頻的觀看舒適度和安全性受到了越來 越廣泛的關(guān)注。目前，3D業(yè)務(wù)舒適度和安全性已經(jīng)成為了阻礙3D業(yè)務(wù)進(jìn)入大眾視頻市場的 主要瓶頸之一。因此，對于3D視頻的制作者而言，表征3D業(yè)務(wù)舒適度的指標(biāo)，如視頻的視 差范圍等信息，就顯得尤為重要。制作不當(dāng)?shù)?D視頻不僅不能夠讓觀看者產(chǎn)生愉悅的觀看 體驗(yàn)，還可能會導(dǎo)致觀看者產(chǎn)生身體上的不適，甚至可能會對部分觀看者（如未成年人）的 視覺能力造成負(fù)面影響。
[0003] 視差信息是衡量數(shù)字立體視頻系統(tǒng)舒適程度及安全性的重要指標(biāo)，獲取畫面的視 差信息能夠得知整個場景的深度分布情況，從而無需為傳輸場景的深度要素增加額外的傳 輸代價。深度信息是監(jiān)控立體視頻質(zhì)量、調(diào)整立體視頻深度范圍的重要信息。因此，如何從 立體視頻內(nèi)容中快速、準(zhǔn)確地獲取場景的深度信息具有很高的實(shí)用價值。
[0004] D. Scharsteinand及R. Szeliski等人將稠密立體匹配分為全局匹配和區(qū)域匹配 兩大類。區(qū)域匹配的特點(diǎn)是采用窗口作為匹配單元，根據(jù)所設(shè)定的窗口對匹配代價的結(jié)果 進(jìn)行整合，得到窗口中心點(diǎn)的視差值。區(qū)域匹配的優(yōu)點(diǎn)在于匹配計(jì)算過程與圖像內(nèi)容無關(guān)， 能夠優(yōu)化為一種快速匹配方法；缺點(diǎn)在于視差圖像普遍精度較低，容易出現(xiàn)大面積的視差 計(jì)算錯誤。全局匹配的特點(diǎn)是將匹配點(diǎn)的搜索問題轉(zhuǎn)換為了求解某個全局函數(shù)的最優(yōu)解問 題。全局匹配的優(yōu)點(diǎn)在于匹配計(jì)算過程能夠通過圖像內(nèi)容調(diào)整目標(biāo)全局能量函數(shù)，從而得 到高精度的匹配視差圖；缺點(diǎn)在于全局能量函數(shù)優(yōu)化過程的計(jì)算量非常大，準(zhǔn)確但耗時較 長?？梢?，在稠密立體匹配中：區(qū)域匹配計(jì)算速度很快，適合實(shí)時應(yīng)用，但其計(jì)算準(zhǔn)確度低， 無法用于立體視頻的視差范圍提?。蝗制ヅ溆?jì)算準(zhǔn)確度高，能夠準(zhǔn)確提取立體視頻的視 差范圍，但其計(jì)算效率太低，不適合于視差范圍的快速提取。
[0005] 基于角點(diǎn)的立體匹配方法是目前快速提取立體圖像視差范圍的主要方法?；诮?點(diǎn)的立體匹配方法并不計(jì)算整幅視差圖像，而是通過提取圖像中的部分點(diǎn)進(jìn)行計(jì)算。具體 步驟主要包括角點(diǎn)提取、角點(diǎn)匹配、邊緣提取、邊緣點(diǎn)匹配。基于角點(diǎn)的立體匹配方法優(yōu)點(diǎn) 在于能夠在很小的計(jì)算量下給出部分點(diǎn)的視差值，適合于進(jìn)行圖像的視差范圍檢測；缺點(diǎn) 在于不能夠生成視差全圖，因此對深度分布的估計(jì)能力較差，且運(yùn)算速度不夠快，距離實(shí)時 處理商清視頻有較大差距。
【發(fā)明內(nèi)容】

[0006] 本發(fā)明針對現(xiàn)有技術(shù)中存在的匹配速度慢、匹配點(diǎn)數(shù)少等問題，提出一種高清立 體視頻的視差范圍快速檢測方法，基于稠密立體匹配，通過添加約束條件的方式，快速估計(jì) 立體圖像的視差范圍。
[0007] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案。
[0008] -種高清立體視頻的視差范圍快速檢測方法，包括快速立體匹配的步驟、提高快 速匹配準(zhǔn)確度的步驟、視差范圍提取的步驟、空間精度補(bǔ)償?shù)牟襟E和時間精度補(bǔ)償?shù)牟襟E。
[0009] 快速立體匹配的步驟，包括以下內(nèi)容：
[〇〇1〇] 本發(fā)明從計(jì)算冗余和串行轉(zhuǎn)并行兩方面優(yōu)化了固定窗口匹配的計(jì)算過程。
[0011] 固定窗口匹配的計(jì)算冗余主要包括相鄰點(diǎn)的計(jì)算冗余和相鄰窗口的計(jì)算冗余，如 圖1所示。消除相鄰點(diǎn)的計(jì)算冗余能夠?qū)⒚總€匹配窗口 L2次的計(jì)算量減少到了 4次。消 除相鄰窗口的計(jì)算冗余夠?qū)⒚奎c(diǎn)4次的計(jì)算量進(jìn)一步減少到每點(diǎn)2次。
[0012] 除了計(jì)算冗余，還可采用單指令多數(shù)據(jù)流（Single Instruction Multiple Data, SMD)技術(shù)，將串行計(jì)算轉(zhuǎn)化為并行處理，進(jìn)一步提高效率。圖2為能夠進(jìn)行并行計(jì)算的圖 像區(qū)域范圍。圖中，黑點(diǎn)白底區(qū)域?yàn)樾枰M(jìn)行匹配代價計(jì)算的點(diǎn)，白點(diǎn)黑底區(qū)域?yàn)楹诵挠?jì)算 區(qū)域，該區(qū)域中每點(diǎn)的匹配代價計(jì)算次數(shù)為2次，是可以進(jìn)行并行處理的區(qū)域。本方法選用 了 SMD技術(shù)中的MMX指令集，一個MMX指令能夠同時處理8個8比特的亮度數(shù)據(jù)，即能夠 將計(jì)算的循環(huán)次數(shù)減少到原先的1/8,大幅提高了運(yùn)算的效率。
[0013] 提高快速匹配準(zhǔn)確度的步驟，包括以下內(nèi)容：
[0014] 對于稠密立體匹配，存在快速區(qū)域匹配方法不準(zhǔn)確與全局匹配方法不能夠快速處 理的矛盾。本發(fā)明針對立體視頻視差范圍的檢測這一應(yīng)用，提出了如下實(shí)現(xiàn)思路：由于對立 體視頻視差范圍的檢測并不需要準(zhǔn)確的視差圖全圖，因此可以采用尋找快速匹配方法中的 準(zhǔn)確信息的方式，將快速區(qū)域匹配技術(shù)應(yīng)用于立體視頻視差范圍的檢測當(dāng)中。
[0015] 一個典型的基于固定窗口的立體匹配及其誤匹配區(qū)域如圖4所示。圖中方框內(nèi)區(qū) 域表示了三類代表性的錯誤區(qū)域，分別是重復(fù)紋理區(qū)域、低紋理區(qū)域、遮擋區(qū)域。針對這三 類錯誤，需要使用不同的約束條件進(jìn)行錯誤檢測。左右一致性檢測從匹配對應(yīng)關(guān)系的角度， 分析快速匹配中存在的誤匹配。視差集中性檢測和顯著性檢測從匹配結(jié)果顯著程度的角 度，分析快速匹配中存在的誤匹配。
[〇〇16] 視差范圍提取的步驟，包括以下內(nèi)容：
[0017] 通過多次測算及比較，為了達(dá)到快速或?qū)崟r處理的要求，同時保證視差精度不會 有太大的損失，對原始高清立體圖像進(jìn)行1/4的下采樣。采樣后立體圖像的計(jì)算耗時大大 下降，可以接近實(shí)時處理。在不考慮程序其他模塊耗時的情況下，對原始序列進(jìn)行時間上 1/3的抽幀處理就能夠達(dá)到實(shí)時處理的效果。
[0018] 高清圖像在經(jīng)過下采樣、抽幀、視差計(jì)算之后，便得到了低精度視差圖像。所得到 的視差圖像經(jīng)過前文中介紹的方法進(jìn)行錯誤匹配區(qū)域檢查，可得到經(jīng)過錯誤檢查的低精度 視差圖像，如圖8所示。在實(shí)際立體視頻中，由于近大遠(yuǎn)小的透視原理，距離攝像機(jī)最近的 物體一般會占據(jù)屏幕一部分的區(qū)域，并且這個區(qū)域一般不會很小。根據(jù)這個假設(shè)，可以定義 一個閾值，當(dāng)具有最大視差值像素的像素?cái)?shù)量大于這個閾值時，就認(rèn)為該視差值是整個場 景的最大視差，否則就判定該視差值為誤匹配。圖9為最大視差的提取方法流圖程，最小視 差的提取方法與之類似。
[0019] 空間精度補(bǔ)償?shù)牟襟E，包括以下內(nèi)容：
[0020] 上一步所得到的是粗略的視差圖像，該步驟所得到的視差圖能夠提供兩個重要的 信息：一是大致的視差范圍。通過粗略視差圖的計(jì)算，可以獲得原立體圖像大致的視差范 圍，后續(xù)計(jì)算可以在粗略的視差極值附近搜索精確的視差極值，大大減少了搜索范圍和計(jì) 算量。二是最大視差物體的大概位置。通過粗略視差圖的計(jì)算，可以得知原立體圖像大致 的視差分布情況，通過設(shè)定不同的視差閾值范圍，能夠獲取距離攝像機(jī)特定位置物體的大 致區(qū)域及位置。當(dāng)獲取了最大視差物體的大致區(qū)域之后，通過對該區(qū)域內(nèi)像素坐標(biāo)的計(jì)算， 能夠得出最大視差物體中心位置的坐標(biāo)估值。之后，只需要設(shè)定窗口的大小，就能夠在原高 清立體圖像中"剪裁"出目標(biāo)物體的高清晰度紋理信息。這一過程的一個具體實(shí)例如圖11 所示。
[0021] 首先，原始高清圖像經(jīng)過視差范圍提取的步驟，能夠得到經(jīng)檢測的粗略視差圖像 與大致的視差范圍；其次，根據(jù)粗略的視差圖像計(jì)算擁有最大視差物體的大致范圍，并根據(jù) 該范圍對原高清圖像進(jìn)行截取，得到含有最大視差物體的截取后高清圖像；之后，根據(jù)得到 的匹配計(jì)算范圍，對截取后的部分高清圖像近行匹配比較，其中，采用兩圖之間的絕對差值 作為匹配比較的方式；最后，比較不同視差位置上的匹配誤差，選擇匹配誤差最小的位置作 為匹配位置，并將精細(xì)的匹配位置與原粗略的匹配位置相加，從而得到高精度的視差信息。
[0022] 時間精度補(bǔ)償?shù)牟襟E，包括以下內(nèi)容：
[0023] 基于上面提出的快速高精度視差提取方法，本發(fā)明提出了一種快速的時間精度補(bǔ) 償方法。前面提到，即使對原高清圖像進(jìn)行1/4的空間下采樣，仍無法達(dá)到實(shí)時處理，需要 在時間上進(jìn)行進(jìn)一步的采樣，經(jīng)過抽幀的圖像在時間上的視差值將會出現(xiàn)不連續(xù)。由于視 頻信息在時間上有著連續(xù)變化的特點(diǎn)，相鄰視頻幀之間的畫面場景一般不會出現(xiàn)太大的變 化，同樣的，相鄰視頻幀的深度分布也有著很強(qiáng)的相關(guān)性。一般來說，在連續(xù)幾幀畫面之內(nèi)， 畫面主體的位置及深度均不會產(chǎn)生太大的變化。
[0024] 根據(jù)這種特性，可以采用圖13所示方法對立體視頻的視差信息進(jìn)行時間精度上 的補(bǔ)償。對于非抽取幀，采用空間精度補(bǔ)償?shù)姆椒ㄟM(jìn)行視差值的計(jì)算與提取。對抽取幀，在 讀入該幀圖像后，不進(jìn)行耗時較長的視差計(jì)算，而是直接使用前一幀計(jì)算得到的視差估值 及截取范圍計(jì)算本幀的視差信息，即可得到本幀立體畫面的高精度視差范圍。
[0025] 與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：
[0026] (1)本發(fā)明將快速稠密立體匹配與檢測方法相結(jié)合，通過閾值判決的方式快速提 取立體圖像的視差范圍。在稠密立體匹配方法中，全局匹配技術(shù)計(jì)算速度普遍很慢，無法進(jìn) 行大數(shù)據(jù)量立體圖像的快速視差計(jì)算；而快速的區(qū)域立體匹配技術(shù)則存在大量誤匹配，無 法應(yīng)用于視差范圍提取。與基于角點(diǎn)的立體匹配方法相比，本發(fā)明得到的有效匹配點(diǎn)數(shù)多， 一般大于全圖像素?cái)?shù)量的50%，而基于角點(diǎn)的匹配方法所得到的匹配點(diǎn)數(shù)則一般不超過全 圖像素?cái)?shù)量的5%。
[0027] (2)本發(fā)明采用分布式思路，通過跟蹤畫面出屏最大物體的方式計(jì)算視頻的最大 出屏范圍，大幅降低了計(jì)算量，提高了計(jì)算速度。對于一幅1920X1080的高清圖像，搜索范 圍為-128?+128時，本發(fā)明能夠以約0. 16秒的速度獲取高清精度的最大出屏范圍，而僅 使用快速稠密立體匹配方法進(jìn)行計(jì)算則至少需要耗時2秒以上，且在不使用本發(fā)明所提出 的立體圖像視差范圍快速提取方法的情況下，無法取得畫面的視差范圍。
[0028] (3)本發(fā)明不需要計(jì)算立體視頻每一幀的稠密視差圖像，通過截取窗口及視差范 圍繼承的方式快速估計(jì)非計(jì)算幀的視差范圍。與其他需要抽幀處理的實(shí)時高清視差范圍 計(jì)算方法相比，本發(fā)明能夠在抽幀處理的同時保證視差信息時間上的連續(xù)性，能夠準(zhǔn)實(shí)時 (約15fps)地逐幀計(jì)算高清視頻的視差范圍，遠(yuǎn)快于基于角點(diǎn)等匹配方法的計(jì)算速度。 【專利附圖】

【附圖說明】
[0029] 圖1為固定窗口算法的計(jì)算冗余示意圖；
[0030] 圖2為能夠進(jìn)行并行計(jì)算的像素范圍示意圖；
[0031] 圖3為圖像預(yù)處理示意圖；
[0032] 圖4為基于固定窗口的立體匹配結(jié)果，左側(cè)為原始圖像，中間為真實(shí)視差圖，右側(cè) 為基于點(diǎn)的匹配結(jié)果；
[0033] 圖5為左右一致檢測結(jié)果；
[0034] 圖6為集中性檢測及顯著性檢測結(jié)果；
[0035] 圖7為綜合檢測結(jié)果；
[0036] 圖8為經(jīng)過錯誤檢測的快速匹配結(jié)果；
[0037] 圖9為視差范圍檢測方法流程圖；
[0038] 圖10為視差范圍檢測結(jié)果；
[0039] 圖11為視差空間精度補(bǔ)償實(shí)現(xiàn)流程圖；
[0040] 圖12為視差空間精度補(bǔ)償結(jié)果；
[0041] 圖13為視差時間精度補(bǔ)償實(shí)現(xiàn)過程示意圖；
[0042] 圖14為視差時間精度補(bǔ)償結(jié)果。 【具體實(shí)施方式】
[0043] 一種高清立體視頻的視差范圍快速檢測方法，包括以下步驟：
[0044] 步驟1，初始化及預(yù)處理，方法如下：
[0045] (1)配置立體匹配的基本參數(shù)。包括圖像基本信息、匹配搜索范圍、快速稠密立體 匹配中的匹配窗口大小、對匹配精度的要求、對匹配速度的要求。其中，匹配搜索范圍需要 為8的整數(shù)倍、匹配窗口大小應(yīng)為大于1的奇數(shù)。
[0046] (2)讀入目標(biāo)立體圖像。若目標(biāo)圖像或視頻為壓縮格式，需要對原圖像或視頻進(jìn)行 解碼處理，得到Y(jié)CrCb的非壓縮圖像。
[0047] (3)提取亮度信息。將YCrCb格式圖像中的亮度信息Y進(jìn)行提取和保存，用于后續(xù) 處理，舍棄色度信息CrCb。
[0048] (4)對立體圖像進(jìn)行偏移。如圖3所示。設(shè)立體匹配的搜索范圍為[0，L]，為了使 不同拍攝方式的立體視頻能夠采用同樣的匹配方法進(jìn)行處理，需要對圖像進(jìn)行偏移。若原 始立體圖像采用平行式立體拍攝，不需要進(jìn)行偏移處理；若原始立體圖采用交叉式立體拍 攝，需要對參考圖像進(jìn)行向左L/2像素的偏移。
[0049] (5)對立體圖像進(jìn)行下采樣。對原始立體圖像的目標(biāo)圖像及偏移后的參考圖像進(jìn) 行水平及垂直方向上1/4的空間下采樣。根據(jù)使用者對匹配速度的實(shí)際要求，對原始序列 進(jìn)行一定比例的時間下采樣（抽幀），采用比例為1/3的空間下采樣能夠達(dá)到實(shí)時處理。
[0050] 步驟2,快速立體匹配實(shí)現(xiàn)，方法如下：
[0051] (1)采用快速稠密立體匹配方法對立體圖像進(jìn)行立體匹配。匹配方法選用固定窗 口算法，匹配代價函數(shù)選擇SAD (絕對差值和），匹配窗口大小和匹配搜索范圍根據(jù)立體圖 像實(shí)際情況進(jìn)行選擇。
[0052] (2)改寫匹配代價SAD的計(jì)算代碼。如圖2所示。設(shè)參考圖像為L，目標(biāo)圖像為R， 圖像寬度為Width，高度為Height，匹配窗口寬度為W，對于圖像中不同位置的點(diǎn)L(x，y) :
[0053] 對于參考圖像中的點(diǎn)Iu(x, y) (X = W/2, y = W/2),匹配代價函數(shù)SAD的表達(dá)式為：
【權(quán)利要求】
1. 一種高清立體視頻的視差范圍快速檢測方法，其特征在于包括以下步驟： 步驟1，初始化及預(yù)處理，方法如下： (1) 配置立體匹配的基本參數(shù)；包括圖像基本信息、匹配搜索范圍、快速稠密立體匹配 中的匹配窗口大小、對匹配精度的要求、對匹配速度的要求；其中，匹配搜索范圍需要為8 的整數(shù)倍、匹配窗口大小應(yīng)為大于1的奇數(shù)； (2) 讀入目標(biāo)立體圖像；若目標(biāo)圖像或視頻為壓縮格式，需要對原圖像或視頻進(jìn)行解 碼處理，得到Y(jié)CrCb的非壓縮圖像； (3) 提取亮度信息；將YCrCb格式圖像中的亮度信息Y進(jìn)行提取和保存，用于后續(xù)處 理，舍棄色度信息CrCb ; (4) 對立體圖像進(jìn)行偏移；設(shè)立體匹配的搜索范圍為[0，L]，為了使不同拍攝方式的立 體視頻能夠采用同樣的匹配方法進(jìn)行處理，對圖像進(jìn)行偏移：若原始立體圖像采用平行式 立體拍攝，不需要進(jìn)行偏移處理；若原始立體圖采用交叉式立體拍攝，需要對參考圖像進(jìn)行 向左L/2像素的偏移； (5) 對立體圖像進(jìn)行下采樣；對原始立體圖像的目標(biāo)圖像及偏移后的參考圖像進(jìn)行水 平及垂直方向上1/4的空間下采樣；根據(jù)使用者對匹配速度的實(shí)際要求，對原始序列進(jìn)行 一定比例的時間下采樣即抽幀，采用比例為1/3的空間下采樣能夠達(dá)到實(shí)時處理； 步驟2,快速立體匹配實(shí)現(xiàn)，方法如下： (1) 采用快速稠密立體匹配方法對立體圖像進(jìn)行立體匹配；匹配方法選用固定窗口算 法，匹配代價函數(shù)選擇絕對差值和SAD，匹配窗口大小和匹配搜索范圍根據(jù)立體圖像實(shí)際情 況進(jìn)行選擇； (2) 改寫匹配代價SAD的計(jì)算代碼；設(shè)參考圖像為L，目標(biāo)圖像為R，圖像寬度為Width， 高度為Height，匹配窗口寬度為W，對于圖像中不同位置的點(diǎn)L(x，y):對于參考圖像中的點(diǎn) IK(x, y), X = W/2, y = W/2,匹配代價函數(shù)SAD的表達(dá)式為： SAD{.\\y,d) = //.(.v, v·)- /,. (x + d,y) \ 式中，d為參考圖像與目標(biāo)圖像之間對應(yīng)點(diǎn)的視差值，S為匹配代價聚合窗口，Ικ為參 考圖像，Ιτ為目標(biāo)圖像； 對于點(diǎn) L(x, y)，X = W/2, y e [W/2+1, Height])，將原 SAD 算法改寫如下： SAD (x, y+1, d) = SAD (x, y, d) +U (x, y+1, d) L-l SAD(x,y,d) = ^IL(.v + /, y + /)- R(x + d + /，v + /.)| ..L-\ W=-了 L-l L-\ Liv, v+l,.</)= /Xr+/,v+^+l)-i<x+<i+/,.v+^+l)- ^ IXx+j,y-^)-^\-+d+j,v-^-) la 2 2 I la\ 2 2 對于點(diǎn) L(x，y)，（x = [W/2+1，W+W/2]，y e [W/2+1，Height])，將原 SAD 算法改寫如下： SAD (x, y+1, d) = SAD (x, y, d) +U (x, y+1, d) U(x，y+l，d) =U(x-l，y+l，d) + |A-A' |-|B-B' |-(|D-D' |-|C-C' I) 其中，A、B、C、D為參考圖像中的點(diǎn)，A為匹配窗口外左上方相鄰處的像素，B為匹配窗 口外右上方相鄰處的像素，C為匹配窗口內(nèi)右下方的像素點(diǎn)，D為匹配窗口外左下方的像素 點(diǎn)；A'、B'、C'、D'為目標(biāo)圖像中的點(diǎn)； 對于點(diǎn) L(x，y), (x= [W+W/2+1, Width], ye [W/2+1, Height])，將原 SAD 算法改寫如 下： SAD (x+wd, y, d) = SAD (x+wd, y-1, d) +U (x+wd, y, d) U (x+wd, y, d) = U (x+wd-1, y, d) +S (x, y, d) -1 Bwd_Bwd' I +1 Cwd_Cwd' S (x, y, d) = -1B-B，I +1 C-C' 其中，B、C、Bwd、Cwd為參考圖像中點(diǎn)，B'、C'、Bwd'、C wd'為目標(biāo)圖像中的點(diǎn)；B為中心點(diǎn) P(x，y，d)窗口外右上方相鄰處的像素點(diǎn)，C為中心點(diǎn)P(x，y，d)窗口內(nèi)右下方的像素點(diǎn)，Bwd 為中心點(diǎn)P(x+wd，y，d)窗口外右上方相鄰處的像素點(diǎn)，Cwd為中心點(diǎn)P(x+wd，y，d)窗口內(nèi)右 下方的像素點(diǎn)； (3)用并行指令改寫核心匹配代碼；對于點(diǎn)L(x，y)，（x= [W+W/2+l，Width]，y e [W/2+ 1，Height])，采用SIMD中的MMX指令集改寫原代碼；具體地，將原始圖像以8個點(diǎn)為一組進(jìn) 行打包，保存到MMX專用寄存器中進(jìn)行并行處理；同時，將匹配搜索的循環(huán)次數(shù)減少至原先 的 1/8 ; 步驟3,快速立體匹配優(yōu)化，方法如下： (1) 對快速匹配結(jié)果視差圖像進(jìn)行左右一致性檢測；對于所述步驟2中描述的快速匹 配方法，在匹配代價選擇的過程中，增加目標(biāo)圖像相對與參考圖像的匹配代價選擇過程，記 錄目標(biāo)圖像每個點(diǎn)的視差選擇結(jié)果；根據(jù)結(jié)果將目標(biāo)圖像與參考圖像的視差值進(jìn)行比對， 若二者相同，則認(rèn)為目標(biāo)圖像原匹配結(jié)果可靠，保留該匹配結(jié)果；若二者不相同，則認(rèn)為目 標(biāo)圖像原匹配結(jié)果不可靠，舍棄該匹配結(jié)果； (2) 對快速匹配結(jié)果視差圖像進(jìn)行視差顯著性檢測；對于目標(biāo)圖像的匹配過程，采用 如下公式進(jìn)行誤匹配檢測： N Σ((η) - 其中，emin為匹配代價最小值，ei為N個匹配代價次小值，δ e為閾值；若計(jì)算結(jié)果小于 閾值\，則認(rèn)為匹配結(jié)果不顯著，舍棄該匹配結(jié)果； (3) 對快速匹配結(jié)果視差圖像進(jìn)行視差集中性檢測；對于目標(biāo)圖像的匹配過程，采用 如下公式進(jìn)行誤匹配檢測： 其中，dmin為匹配代價最小值的視差值，diSN個匹配代價次小值的視差值，δ d為閾 值；若計(jì)算結(jié)果大于閾值S d，則認(rèn)為匹配結(jié)果不集中，舍棄該匹配結(jié)果； 步驟4,視差范圍提取，方法如下： (1)判斷圖像最大視差范圍；將所述步驟1、2計(jì)算得到的視差圖像稱為Dmap，將所述步 驟3檢測得到的視差圖像稱為DmapR;在視差搜索范圍[_L，L]內(nèi)，以L為起始值對搜索范圍 [_L，L]進(jìn)行遍歷；記DmapR中視差值為1 e [-L，L]的點(diǎn)數(shù)為Cntl，設(shè)定最大視差范圍的判 斷閾值s d_為全圖像素?cái)?shù)量的1% ;若Cntl小于δ dmax，則減小1值繼續(xù)遍歷；若Cntl大 于等于S dmax，則停止遍歷，并將此時的1值Dmax記錄為該立體圖像的最大視差范圍； (2)判斷圖像最小視差范圍；在視差搜索范圍[-L，L]內(nèi)，以-L為起始值對搜索范圍 [-L，L]進(jìn)行遍歷；記DmapR中視差值為1 e [-L，L]的點(diǎn)數(shù)為Cntl，設(shè)定最大視差范圍的判 斷閾值S dmin為全圖像素?cái)?shù)量的5% ;若Cntl小于δ dmin，則減小1值繼續(xù)遍歷；若Cntl大 于等于S dmin，則停止遍歷，并將此時的1值Dmin記錄為該立體圖像的最小視差范圍； 步驟5,空間精度補(bǔ)償，方法如下： ⑴獲取最大出屏物體位置；對于DmapR，以δ dmax±t為視差范圍截取原視差圖像；其 中，t為最大出屏物體識別范圍，建議取值范圍為t e [〇, 2]，本文檔的實(shí)例中均取t = 1 ; 對于截取后的視差圖像，計(jì)算并記錄全部有視差值點(diǎn)的平局水平位置AvgX和平均垂直位 置 AvgY ; (2)截取最大出屏物體；設(shè)Th為截取窗口的高度，Tw為截取窗口的寬度；設(shè)圖像寬度 為 Width，高度為 Height :若 AvgX - Tw/2〈0,則將 AxgX 設(shè)置為 Tw/2 ;若 AvgX+Tw/2>Width， 則將AxgX設(shè)置為Width-Tw/2 ;若AvgY - Th/2〈0，則將AxgY設(shè)置為Th/2 ;若 AvgY+Th/2>Height，則將 AxgY 設(shè)置為 Height-Th/2 ;以 AxgX土Tw/2、AxgY土Th/2 為范圍對 參考圖像進(jìn)行截取； ⑶設(shè)[_ δ u δ J為視差微調(diào)范圍，根據(jù)下采樣的比例確定叭的大?。辉?1 e δ J的范圍內(nèi)，比較（2)中截取的參考圖像與目標(biāo)圖像中心為（AxgX+l，AxgY)， 范圍為AxgX+1 土Tw/2、AxgY土Th/2的區(qū)域進(jìn)行SAD計(jì)算，記錄[-δ u δ J范圍內(nèi)擁有最小 SAD的位置lSADmin ;記Dmax+lSADmin為該立體圖像的精確最大出屏范圍； 步驟6,時間精度補(bǔ)償，方法如下： (1) 在時間上進(jìn)行視頻幀分類；對于抽幀比例為S的一次視頻實(shí)時視差范圍提取過程， 記幀數(shù)fn()skip = nS的畫面為非抽取幀，記幀數(shù)fskip = nS+k，k e [1，S-1]的畫面為非抽取 中貞，η為正整數(shù)；對于第fmskip巾貞；進(jìn)行步驟5的計(jì)算，記錄該次計(jì)算中的Dmax、AvgX、AvgY ; (2) 計(jì)算抽取幀的精確視差值；對于第fskip幀，將時間上距離第fskip幀最近的fMskip幀 的Dmax、AvgX、AvgY作為本巾貞的Dmax、AvgX、AvgY，并采用該數(shù)值進(jìn)行步驟5的計(jì)算，所得到 結(jié)果即為該抽取幀的精確視差值。
2.根據(jù)權(quán)利要求1所述的一種高清立體視頻的視差范圍快速檢測方法，其特征在于， 所述視差范圍提取步驟應(yīng)用于實(shí)時監(jiān)測視頻粗略視差范圍的場景，只需輔以一定比例的抽 幀，不需要進(jìn)行時間和空間的精度補(bǔ)償；所述空間精度補(bǔ)償步驟應(yīng)用于快速獲得高精度的 視差范圍，但不要求實(shí)時處理的場景，只需進(jìn)行空間精度補(bǔ)償，不必進(jìn)行時間精度補(bǔ)償，對 視頻進(jìn)行逐幀的計(jì)算；所述空間精度補(bǔ)償和時間精度補(bǔ)償可同時應(yīng)用于獲得準(zhǔn)實(shí)時的高精 度視差范圍的場景，在損失少量時間精度的情況下大幅提高處理速度。
【文檔編號】H04N13/04GK104065954SQ201410315437
【公開日】2014年9月24日 申請日期:2014年7月3日 優(yōu)先權(quán)日:2014年7月3日
【發(fā)明者】鄭冠雯, 姜秀華 申請人:中國傳媒大學(xué)