本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種修補(bǔ)視差圖中噪點(diǎn)的方法及裝置。

背景技術(shù)：

雙目立體視覺(jué)技術(shù)是一種對(duì)雙目攝像機(jī)拍攝的同一場(chǎng)景的深度圖進(jìn)行視差估計(jì)，確定三維空間場(chǎng)景深度的技術(shù)。在通過(guò)視差估計(jì)算法(例如，半全局匹配算法)得到的視差圖中，往往存在大量噪點(diǎn)，這些噪點(diǎn)對(duì)后續(xù)操作及分析處理會(huì)產(chǎn)生較大干擾，因此，在使用視差圖之前一般需要進(jìn)行噪點(diǎn)修補(bǔ)。

目前普遍采用的修補(bǔ)方式是對(duì)視差圖中每一個(gè)噪點(diǎn)采用相同的修補(bǔ)方法進(jìn)行修補(bǔ)，但是視差圖中每一個(gè)噪點(diǎn)及其周圍像素點(diǎn)的情況不同，采用同一同修補(bǔ)方法進(jìn)行修補(bǔ)，必然導(dǎo)致某些噪點(diǎn)修補(bǔ)的準(zhǔn)確度不高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種修補(bǔ)視差圖中噪點(diǎn)的方法及裝置，用以提升修補(bǔ)后視差值的準(zhǔn)確度。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供了如下技術(shù)方案：

本發(fā)明提供一種修補(bǔ)視差圖中噪點(diǎn)的方法，所述方法包括：

采用兩臺(tái)深度相機(jī)拍攝同一場(chǎng)景的深度圖，基于預(yù)設(shè)的匹配窗口確定所述深度圖中像素點(diǎn)的代價(jià)函數(shù)，并基于所述代價(jià)函數(shù)確定所述場(chǎng)景的視差圖；

若所述視差圖中第一像素點(diǎn)為噪點(diǎn)，統(tǒng)計(jì)所述第一像素點(diǎn)的檢測(cè)窗口中視差值的置信度值小于預(yù)設(shè)的第一置信度閾值、且灰度值與所述第一像素點(diǎn)的灰度值的差值小于預(yù)設(shè)的灰度閾值的第二像素點(diǎn)的數(shù)量；

若所述第二像素點(diǎn)的數(shù)量與所述檢測(cè)窗口內(nèi)的像素點(diǎn)數(shù)量的比例大于預(yù)設(shè)的比例閾值，則基于所述第二像素點(diǎn)的視差值替換所述第一像素點(diǎn)在所述視差圖中的視差值；

若所述第二像素點(diǎn)的數(shù)量與所述檢測(cè)窗口內(nèi)的像素點(diǎn)數(shù)量的比例小于或等于預(yù)設(shè)的比例閾值，按照預(yù)設(shè)的比例放大所述匹配窗口，基于放大后的匹配窗口確定所述第一像素點(diǎn)的最優(yōu)代價(jià)函數(shù)，并用所述最優(yōu)代價(jià)函數(shù)對(duì)應(yīng)的視差值替換所述第一像素點(diǎn)在所述視差圖中的視差值。

本發(fā)明還提供一種修補(bǔ)視差圖中噪點(diǎn)的裝置，所述裝置包括：

視差圖確定單元，用于采用兩臺(tái)深度相機(jī)拍攝同一場(chǎng)景的深度圖，基于預(yù)設(shè)的匹配窗口確定所述深度圖中像素點(diǎn)的代價(jià)函數(shù)，并基于所述代價(jià)函數(shù)確定所述場(chǎng)景的視差圖；

像素點(diǎn)統(tǒng)計(jì)單元，用于若所述視差圖中第一像素點(diǎn)為噪點(diǎn)，統(tǒng)計(jì)所述第一像素點(diǎn)的檢測(cè)窗口中視差值的置信度值小于預(yù)設(shè)的第一置信度閾值、且灰度值與所述第一像素點(diǎn)的灰度值的差值小于預(yù)設(shè)的灰度閾值的第二像素點(diǎn)的數(shù)量；

第一視差值替換單元，用于若所述第二像素點(diǎn)的數(shù)量與所述檢測(cè)窗口內(nèi)的像素點(diǎn)數(shù)量的比例大于預(yù)設(shè)的比例閾值，則基于所述第二像素點(diǎn)的視差值替換所述第一像素點(diǎn)在所述視差圖中的視差值；

第二視差值替換單元，用于若所述第二像素點(diǎn)的數(shù)量與所述檢測(cè)窗口內(nèi)的像素點(diǎn)數(shù)量的比例小于或等于預(yù)設(shè)的比例閾值，按照預(yù)設(shè)的比例放大所述匹配窗口，基于放大后的匹配窗口確定所述第一像素點(diǎn)的最優(yōu)代價(jià)函數(shù)，并用所述最優(yōu)代價(jià)函數(shù)對(duì)應(yīng)的視差值替換所述第一像素點(diǎn)在所述視差圖中的視差值。

由以上描述可以看出，本發(fā)明在檢測(cè)為噪點(diǎn)的第一像素點(diǎn)對(duì)應(yīng)的檢測(cè)窗口中，統(tǒng)計(jì)視差值可信度較高(置信度值較小)且灰度值與第一像素點(diǎn)的灰度值接近的第二像素點(diǎn)的數(shù)量，當(dāng)統(tǒng)計(jì)的第二像素點(diǎn)的數(shù)量占檢測(cè)窗口中像素點(diǎn)總數(shù)量的比例較大時(shí)，說(shuō)明檢測(cè)窗口中灰度值與第一像素點(diǎn)的灰度值接近且視差值可信度較高的第二像素點(diǎn)的數(shù)量較多，其中，灰度值接近表明第一像素點(diǎn)與第二像素點(diǎn)位于同一物體上的可能性較大，即具有相同或相近視差值的可能性較大，因此，本發(fā)明利用視差值相同或相近且視差值可信度較高的第二像素點(diǎn)的視差值修補(bǔ)第一像素點(diǎn)的視差值，可提升修補(bǔ)后視差值的準(zhǔn)確度；而當(dāng)統(tǒng)計(jì)的第二像素點(diǎn)的數(shù)量占檢測(cè)窗口中像素點(diǎn)總數(shù)量的比例較小時(shí)，即視差值相同或相近且視差值可信度較高的第二像素點(diǎn)的數(shù)量較少時(shí)，基于數(shù)量較少的第二像素點(diǎn)的視差值來(lái)修補(bǔ)第一像素點(diǎn)的視差值的準(zhǔn)確度無(wú)法保證，因此，本發(fā)明針對(duì)第一像素點(diǎn)重新進(jìn)行像素匹配，在原匹配窗口的基礎(chǔ)上，按照預(yù)設(shè)比例放大匹配窗口，即增加匹配窗口中像素點(diǎn)的數(shù)量，提升匹配的準(zhǔn)確度，進(jìn)而利用根據(jù)放大后的匹配窗口確定的最優(yōu)代價(jià)函數(shù)對(duì)應(yīng)的視差值，來(lái)替換第一像素點(diǎn)的視差值，提升修補(bǔ)后視差值的準(zhǔn)確度。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施例示出的一種修補(bǔ)視差圖中噪點(diǎn)的方法流程圖；

圖2是本發(fā)明實(shí)施例示出的像素點(diǎn)匹配示意圖；

圖3a是本發(fā)明實(shí)施例示出的道路場(chǎng)景的基準(zhǔn)圖；

圖3b是本發(fā)明實(shí)施例示出的同一道路場(chǎng)景的匹配圖；

圖3c是采用已有技術(shù)中的sgm算法獲得的同一道路場(chǎng)景的視差圖；

圖3d是本發(fā)明實(shí)施例示出的同一道路場(chǎng)景的修補(bǔ)后的視差圖的示意圖；

圖4是本發(fā)明實(shí)施例示出的放大匹配窗口后的像素點(diǎn)匹配示意圖；

圖5是本發(fā)明實(shí)施例示出的雙目立體視覺(jué)平臺(tái)設(shè)備的結(jié)構(gòu)示意圖；

圖6是本發(fā)明實(shí)施例示出的另一種修補(bǔ)視差圖中噪點(diǎn)的裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說(shuō)明，其示例表示在附圖中。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本發(fā)明相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書(shū)中所詳述的、本發(fā)明的一些方面相一致的裝置和方法的例子。

在本發(fā)明使用的術(shù)語(yǔ)是僅僅出于描述特定實(shí)施例的目的，而非旨在限制本發(fā)明。在本發(fā)明和所附權(quán)利要求書(shū)中所使用的單數(shù)形式的“一種”、“所述”和“該”也旨在包括多數(shù)形式，除非上下文清楚地表示其他含義。還應(yīng)當(dāng)理解，本文中使用的術(shù)語(yǔ)“和/或”是指并包含一個(gè)或多個(gè)相關(guān)聯(lián)的列出項(xiàng)目的任何或所有可能組合。

應(yīng)當(dāng)理解，盡管在本發(fā)明可能采用術(shù)語(yǔ)第一、第二、第三等來(lái)描述各種信息，但這些信息不應(yīng)限于這些術(shù)語(yǔ)。這些術(shù)語(yǔ)僅用來(lái)將同一類型的信息彼此區(qū)分開(kāi)。例如，在不脫離本發(fā)明范圍的情況下，第一信息也可以被稱為第二信息，類似地，第二信息也可以被稱為第一信息。取決于語(yǔ)境，如在此所使用的詞語(yǔ)“如果”可以被解釋成為“在……時(shí)”或“當(dāng)……時(shí)”或“響應(yīng)于確定”。

本發(fā)明提供一種修補(bǔ)視差圖中噪點(diǎn)的方法，該方法在噪點(diǎn)對(duì)應(yīng)的檢測(cè)窗口中，統(tǒng)計(jì)視差值置信度較高且灰度值與噪點(diǎn)的灰度值接近的第二像素點(diǎn)的數(shù)量，根據(jù)第二像素點(diǎn)的數(shù)量占檢測(cè)窗口中像素點(diǎn)總數(shù)量的比例，采用不同的修補(bǔ)方式進(jìn)行修補(bǔ)，以提升不同噪點(diǎn)修補(bǔ)后的視差值的準(zhǔn)確度。

參見(jiàn)圖1，為本發(fā)明修補(bǔ)視差圖中噪點(diǎn)的方法的一個(gè)實(shí)施例流程圖，該實(shí)施例對(duì)修補(bǔ)視差圖中噪點(diǎn)的過(guò)程進(jìn)行描述。

步驟101，采用兩臺(tái)深度相機(jī)拍攝同一場(chǎng)景的深度圖，基于預(yù)設(shè)的匹配窗口確定所述深度圖中像素點(diǎn)的代價(jià)函數(shù)，并基于所述代價(jià)函數(shù)確定所述場(chǎng)景的視差圖。

通過(guò)兩臺(tái)深度相機(jī)(亦稱為雙目攝像機(jī))拍攝同一場(chǎng)景的深度圖(包括左深度圖和右深度圖)，對(duì)左深度圖和右深度圖進(jìn)行極線校正，得到兩幅平行等位的深度圖，以便后續(xù)像素匹配時(shí)在同一掃描線上查找匹配像素點(diǎn)。

以sgm(semi-globalmatching，半全局匹配)算法為例，該算法對(duì)校正后的左深度圖和右深度圖(左深度圖和右深度圖中一個(gè)為基準(zhǔn)圖，另一個(gè)為匹配圖)進(jìn)行像素匹配，參見(jiàn)圖2，基準(zhǔn)圖中像素點(diǎn)p基于預(yù)設(shè)的匹配窗口與匹配圖中與像素點(diǎn)p處于同一掃描線上的各像素點(diǎn)進(jìn)行匹配，以匹配圖中的像素點(diǎn)q為例，匹配過(guò)程即建立像素點(diǎn)p與像素點(diǎn)q之間的代價(jià)函數(shù)的過(guò)程，再利用能量函數(shù)對(duì)像素點(diǎn)p的視差值加以優(yōu)化，最終確定基準(zhǔn)圖中像素點(diǎn)p的最優(yōu)視差值。對(duì)基準(zhǔn)圖中的每一個(gè)像素點(diǎn)執(zhí)行上述匹配及優(yōu)化過(guò)程，得到基準(zhǔn)圖對(duì)應(yīng)的視差圖。

參見(jiàn)圖3a，為本發(fā)明實(shí)施例示出的一種道路場(chǎng)景的基準(zhǔn)圖，圖3b為同一道路場(chǎng)景的匹配圖，圖3c為采用上述sgm算法得到的同一道路場(chǎng)景的視差圖，該視差圖中存在大量噪點(diǎn)。

步驟102，若所述視差圖中第一像素點(diǎn)為噪點(diǎn)，統(tǒng)計(jì)所述第一像素點(diǎn)的檢測(cè)窗口中視差值的置信度值小于預(yù)設(shè)的第一置信度閾值、且灰度值與所述第一像素點(diǎn)的灰度值的差值小于預(yù)設(shè)的灰度閾值的第二像素點(diǎn)的數(shù)量。

首先，對(duì)視差圖進(jìn)行噪點(diǎn)檢測(cè)。作為一實(shí)施方式，統(tǒng)計(jì)視差圖中第一像素點(diǎn)對(duì)應(yīng)檢測(cè)窗口中視差值與第一像素點(diǎn)的視差值的差值小于預(yù)設(shè)的視差閾值的像素點(diǎn)的個(gè)數(shù)，即視差值與第一像素點(diǎn)的視差值接近的像素點(diǎn)的數(shù)量，當(dāng)統(tǒng)計(jì)的視差值接近的像素點(diǎn)的數(shù)量占檢測(cè)窗口中所有像素點(diǎn)的總數(shù)量的比例小于預(yù)設(shè)的第一比例閾值時(shí)，說(shuō)明檢測(cè)窗口中視差值與第一像素點(diǎn)的視差值接近的像素點(diǎn)比較少，該第一像素點(diǎn)為噪點(diǎn)的可能性非常大，因此，確定該第一像素點(diǎn)為噪點(diǎn)。

當(dāng)確定第一像素點(diǎn)為噪點(diǎn)時(shí)，統(tǒng)計(jì)第一像素點(diǎn)的檢測(cè)窗口中視差值的置信度值小于預(yù)設(shè)的第一置信度閾值、且灰度值與第一像素點(diǎn)的灰度值的差值小于預(yù)設(shè)的灰度閾值的第二像素點(diǎn)的數(shù)量，即，統(tǒng)計(jì)檢測(cè)窗口中視差值可信度高(置信度值越小，視差值的可信度越高)且灰度值與第一像素點(diǎn)的灰度值接近的第二像素點(diǎn)的數(shù)量。

其中，檢測(cè)窗口中像素點(diǎn)的視差值的置信度值可通過(guò)如下方式確定：

在一種實(shí)施方式中，獲取像素點(diǎn)在不同視差值下的代價(jià)函數(shù)值，按照函數(shù)值從小到大的順序，從獲取的代價(jià)函數(shù)值中選擇函數(shù)值最小的第一代價(jià)函數(shù)值(也稱為最優(yōu)代價(jià)函數(shù)值)和函數(shù)值次小的第二代價(jià)函數(shù)值(也稱為次優(yōu)代價(jià)函數(shù)值)，將第一代價(jià)函數(shù)值與第二代價(jià)函數(shù)值的商，作為像素點(diǎn)的視差值的置信度值，可通過(guò)如下公式表示：

其中，p'為待計(jì)算視差值置信度值的像素點(diǎn)，為最優(yōu)代價(jià)函數(shù)值，為次優(yōu)代價(jià)函數(shù)值，m(p')為像素點(diǎn)p'的視差值的置信度值。

在另一種實(shí)施方式中，可將第一代價(jià)函數(shù)值對(duì)應(yīng)的視差值(也稱為最優(yōu)視差值)與第二代價(jià)函數(shù)值對(duì)應(yīng)的視差值(也稱為次優(yōu)視差值)的差值，作為第二像素點(diǎn)的視差值的置信度值，可通過(guò)如下公式表示：

m(p')＝|d1-d2|公式(2)

其中，p'為待計(jì)算視差值置信度值的像素點(diǎn)，d1為最優(yōu)視差值，d2為次優(yōu)視差值，m(p')為像素點(diǎn)p'的視差值的置信度值。

當(dāng)最優(yōu)代價(jià)函數(shù)值與次優(yōu)代價(jià)函數(shù)值比較接近，或者，最優(yōu)視差值與次優(yōu)視差值相差較大時(shí)，置信度值m(p')越大，表明像素點(diǎn)的視差值的可信度越低；反之，置信度值m(p')越小，對(duì)應(yīng)視差值的可信度就越高。

步驟103，若所述第二像素點(diǎn)的數(shù)量與所述檢測(cè)窗口內(nèi)的像素點(diǎn)數(shù)量的比例大于預(yù)設(shè)的比例閾值，則基于所述第二像素點(diǎn)的視差值替換所述第一像素點(diǎn)在所述視差圖中的視差值。

當(dāng)通過(guò)步驟102統(tǒng)計(jì)的第二像素點(diǎn)的數(shù)量與檢測(cè)窗口內(nèi)的像素點(diǎn)數(shù)量的比例大于預(yù)設(shè)的比例閾值時(shí)，說(shuō)明檢測(cè)窗口中灰度值與第一像素點(diǎn)的灰度值接近且視差值可信度較高的第二像素點(diǎn)的數(shù)量較多，其中，灰度值接近表明第一像素點(diǎn)與第二像素點(diǎn)位于同一物體上的可能性較大，那么第一像素點(diǎn)與第二像素點(diǎn)具有相同或相近視差值的可能性就較大，且由于第二像素點(diǎn)的視差值的可信度較高，因此，基于第二像素點(diǎn)的視差值替換視差圖中第一像素點(diǎn)的視差值的準(zhǔn)度度就會(huì)較高。具體替換方式如下：

在第一種實(shí)施方式中，可直接利用檢測(cè)窗口中視差值的置信度值最小的第二像素點(diǎn)的視差值替換第一像素點(diǎn)的視差值，即利用視差值可信度最高的第二像素點(diǎn)的視差值替換第一像素點(diǎn)的視差值，該替換方式簡(jiǎn)單易行，計(jì)算量小，但是過(guò)于依賴單一像素點(diǎn)的視差值，該可信度最高的第二像素點(diǎn)的視差值未必是與第一像素點(diǎn)的視差值相同或最相近的視差值，因此，不能保證修補(bǔ)后視差值具有較高的準(zhǔn)確度。

在第二種實(shí)施方式中，可利用檢測(cè)窗口中所有第二像素點(diǎn)的視差值的均值替換第一像素點(diǎn)的視差值，即基于多個(gè)第二像素點(diǎn)的視差值來(lái)確定第一像素點(diǎn)的視差值，以避免過(guò)于依賴單一像素點(diǎn)的視差值，即利用多個(gè)第二像素點(diǎn)的視差值的相互制約(視差均值)，避免重新確定的第一像素點(diǎn)的視差值出現(xiàn)嚴(yán)重偏差，在一定程度上可提升修補(bǔ)后第一像素點(diǎn)的視差值的準(zhǔn)確度。

在第三種實(shí)施方式中，首先確定第二像素點(diǎn)與第一像素點(diǎn)之間的距離權(quán)重值、灰度權(quán)重值、以及第二像素點(diǎn)的視差值的置信度權(quán)重值。下面分別對(duì)各權(quán)重值進(jìn)行介紹：

距離權(quán)重值：是指根據(jù)第二像素點(diǎn)和第一像素點(diǎn)之間的歐氏距離確定的權(quán)重值。該權(quán)重值隨第二像素點(diǎn)和第一像素點(diǎn)之間距離的增大而減小，即距離權(quán)重值與第二像素點(diǎn)和第一像素點(diǎn)之間的歐氏距離呈反相關(guān)關(guān)系。這是由于，距離越近的像素點(diǎn)視差值相同或相近的可能性越大，而距離越遠(yuǎn)的像素點(diǎn)視差值不同的可能性越大，因此，本發(fā)明對(duì)距離第一像素點(diǎn)越近的第二像素點(diǎn)設(shè)置越大的距離權(quán)重值，以提高該距離較近的第二像素點(diǎn)的視差值對(duì)第一像素點(diǎn)視差值的影響程度，反之，對(duì)距離第一像素點(diǎn)越遠(yuǎn)的第二像素點(diǎn)設(shè)置越小的距離權(quán)重值，降低該距離較遠(yuǎn)的第二像素點(diǎn)的視差值對(duì)第一像素點(diǎn)視差值的影響程度。

具體地，作為一種實(shí)施方式，可通過(guò)如下公式確定第二像素點(diǎn)的距離權(quán)重值：

其中，p代表第一像素點(diǎn)，p'代表第二像素點(diǎn)，|l(p)-l(p')|為像素點(diǎn)p'與像素點(diǎn)p之間的歐氏距離，s(p,p')為距離權(quán)重值。

灰度權(quán)重值：是指根據(jù)第二像素點(diǎn)和第一像素點(diǎn)之間灰度值的差值確定的權(quán)重值，該權(quán)重值隨第二像素點(diǎn)和第一像素點(diǎn)之間灰度值的差值的增大而減小，即灰度權(quán)重值與第二像素點(diǎn)和第一像素點(diǎn)之間的灰度值的差值呈反相關(guān)關(guān)系。這是由于，灰度值越接近的像素點(diǎn)位于同一物體上的可能性越大，同一物體上像素點(diǎn)的視差值相同或相近，灰度值相差越大的像素點(diǎn)位于不同物體上的可能性越大，視差值往往相差較大，因此，本發(fā)明對(duì)灰度值與第一像素點(diǎn)灰度值越接近的第二像素點(diǎn)設(shè)置越大的灰度權(quán)重值，以提高該灰度值接近的第二像素點(diǎn)的視差值對(duì)第一像素點(diǎn)視差值的影響程度，反之，對(duì)灰度值與第一像素點(diǎn)灰度值相差越大的第二像素點(diǎn)設(shè)置越小的灰度權(quán)重值，降低該灰度值相差較大的第二像素點(diǎn)的視差值對(duì)第一像素點(diǎn)視差值的影響程度。

具體地，作為一種實(shí)施方式，可通過(guò)如下公式確定第二像素點(diǎn)的灰度權(quán)重值：

其中，p代表第一像素點(diǎn)，p'代表第二像素點(diǎn)，|i(p)-i(p')|為像素點(diǎn)p'與像素點(diǎn)p之間的灰度值的差值，c(p,p')為灰度權(quán)重值。

置信度權(quán)重值：是指根據(jù)第二像素點(diǎn)自身視差值的置信度值確定的權(quán)重值，其中，第二像素點(diǎn)的視差值的置信度值可根據(jù)前述公式(1)或公式(2)得到，在此不再贅述。

在得到第二像素點(diǎn)的置信度值m(p')后，基于該值m(p')確定置信度權(quán)重值，記為b(p')。具體為，置信度權(quán)重值b(p')與第二像素點(diǎn)的視差值的置信度值m(p')呈反相關(guān)關(guān)系。即置信度值m(p')越大，表明第二像素點(diǎn)的視差值的可信度越低，應(yīng)設(shè)置越小的置信度權(quán)重值，以降低可信度低的第二像素點(diǎn)的視差值對(duì)第一像素點(diǎn)視差值的影響程度，反之，置信度值m(p')越小，表明第二像素點(diǎn)的視差值的可信度越高，應(yīng)設(shè)置越大的置信度權(quán)重值，以提高可信度高的第二像素點(diǎn)的視差值對(duì)第一像素點(diǎn)視差值的影響程度。

基于上述確定的距離權(quán)重值、灰度權(quán)重值、置信度權(quán)重值和第二像素點(diǎn)的視差值，替換第一像素點(diǎn)在視差圖中的視差值。具體為，獲取多個(gè)第二像素點(diǎn)的距離權(quán)重值、灰度權(quán)重值、置信度權(quán)重值分別與視差值的乘積的第一累加和；獲取多個(gè)第二像素點(diǎn)的距離權(quán)重值、灰度權(quán)重值、置信度權(quán)重值的乘積的第二累加和；利用第一累加和與第二累加和的商，替換第一像素點(diǎn)在視差圖中的視差值。可通過(guò)如下公式表示：

其中，p為第一像素點(diǎn)，p'為第二像素點(diǎn)，w(p)代表像素點(diǎn)p對(duì)應(yīng)檢測(cè)窗口中的多個(gè)第二像素點(diǎn)，s(p,p')為距離權(quán)重值，c(p,p')為灰度權(quán)重值，b(p')為視差值的置信度權(quán)重值，dp'為視差圖中像素點(diǎn)p'的視差值，為計(jì)算得到的像素點(diǎn)p的視差值，用于替換像素點(diǎn)p在視差圖中的視差值，

本實(shí)施方式綜合考慮了第二像素點(diǎn)與第一像素點(diǎn)之間的距離、灰度值的差值以及第二像素點(diǎn)自身視差值的可信度，對(duì)于與第一像素點(diǎn)距離較近、灰度值接近、且自身視差值可信度較高的第二像素點(diǎn)通過(guò)設(shè)置較大的權(quán)重值，提升對(duì)第一像素點(diǎn)視差值的影響程度，而對(duì)與第一像素點(diǎn)距離較遠(yuǎn)、灰度值相差較大、且自身視差值可信度較低的第二像素點(diǎn)通過(guò)設(shè)置較小的權(quán)重值，降低對(duì)第一像素點(diǎn)視差值的影響程度，相較于前兩種實(shí)施方式，本實(shí)施方式的視差值修補(bǔ)后的準(zhǔn)確度更高。

參考基準(zhǔn)圖圖3a所示的是一臺(tái)深度相機(jī)拍攝的道路場(chǎng)景的深度圖，匹配圖圖3b所示的是另一臺(tái)深度相機(jī)拍攝的同一道路場(chǎng)景的深度圖，視差圖圖3c是采用現(xiàn)有技術(shù)的sgm算法獲得的該道路場(chǎng)景的視差圖。其中，參考基準(zhǔn)圖圖3a和匹配圖圖3b可以看出，由于兩臺(tái)深度相機(jī)針對(duì)同一道路場(chǎng)景拍攝角度的不同，造成道路上的汽車對(duì)路邊的樹(shù)木的遮擋在基準(zhǔn)圖圖3a和匹配圖圖3b中并不相同，而且基準(zhǔn)圖圖3a和匹配圖圖3b中的電線桿對(duì)其旁邊的樹(shù)木的遮擋也不相同。采用現(xiàn)有技術(shù)的sgm算法，基于基準(zhǔn)圖圖3a和匹配圖圖3b計(jì)算該道路場(chǎng)景的視差圖時(shí)，利用基準(zhǔn)圖圖3a和匹配圖圖3b中像素點(diǎn)的匹配結(jié)果計(jì)算基準(zhǔn)圖圖3a中每一個(gè)像素點(diǎn)的視差值，并利用能量函數(shù)傳播得到每一個(gè)像素點(diǎn)的最終能量值，確定該像素點(diǎn)的最優(yōu)視差值，視差圖如圖3c所示。參考圖3c所示，由于汽車對(duì)路邊的樹(shù)木的遮擋和電線桿對(duì)其旁邊的樹(shù)木的遮擋，使得在最終匹配出來(lái)的視差圖中局部存在較多的噪點(diǎn)，示例的，如圖3c中方框框出來(lái)的噪點(diǎn)。

但是，參考圖3d所示，圖3d所示的視差圖是采用前述第三種實(shí)施方式進(jìn)行噪點(diǎn)修補(bǔ)后的視差圖。參考圖3d所示，由于第三種實(shí)施方式的修補(bǔ)視差圖中噪點(diǎn)的方法，基于噪點(diǎn)鄰域內(nèi)灰度值與噪點(diǎn)的灰度值接近且視差值可信度較高的多個(gè)像素點(diǎn)與噪點(diǎn)之間的距離、灰度值的差值以及像素點(diǎn)自身視差值的可信度，設(shè)置了不同的權(quán)重值，使得與噪點(diǎn)距離較近、灰度值接近、且自身視差值可信度較高的像素點(diǎn)具有較大的權(quán)重值，提升對(duì)噪點(diǎn)視差值的影響程度，而與噪點(diǎn)距離較遠(yuǎn)、灰度值相差較大、且自身視差值可信度較低的像素點(diǎn)具有較小的權(quán)重值，降低對(duì)噪點(diǎn)視差值的影響程度，因此，明顯減少了物體邊緣區(qū)域的噪點(diǎn)數(shù)量，降低了由于汽車對(duì)路邊的樹(shù)木的遮擋和電線桿對(duì)其旁邊的樹(shù)木的遮擋導(dǎo)致的視差圖中的噪點(diǎn)數(shù)量，提升了修補(bǔ)后的視差值的準(zhǔn)確度。

步驟104，若所述第二像素點(diǎn)的數(shù)量與所述檢測(cè)窗口內(nèi)的像素點(diǎn)數(shù)量的比例小于或等于預(yù)設(shè)的比例閾值，按照預(yù)設(shè)的比例放大所述匹配窗口，基于放大后的匹配窗口確定所述第一像素點(diǎn)的最優(yōu)代價(jià)函數(shù)，并用所述最優(yōu)代價(jià)函數(shù)對(duì)應(yīng)的視差值替換所述第一像素點(diǎn)在所述視差圖中的視差值。

當(dāng)通過(guò)步驟102統(tǒng)計(jì)的第二像素點(diǎn)的數(shù)量與檢測(cè)窗口內(nèi)的像素點(diǎn)數(shù)量的比例小于或等于預(yù)設(shè)的比例閾值時(shí)，說(shuō)明檢測(cè)窗口中灰度值與第一像素點(diǎn)的灰度值接近且視差值可信度較高的第二像素點(diǎn)的數(shù)量較少，如果直接利用數(shù)量較少的第二像素點(diǎn)的視差值替換第一像素點(diǎn)的視差值，例如，通過(guò)步驟103提到的三種替換方式進(jìn)行替換，視差值的準(zhǔn)確性仍無(wú)法保證。

為此，本發(fā)明針對(duì)確定為噪點(diǎn)的第一像素點(diǎn)重新執(zhí)行像素匹配，在原匹配窗口的基礎(chǔ)上，按照預(yù)設(shè)的比例放大匹配窗口(增加匹配窗口中像素點(diǎn)的數(shù)量，提升匹配的準(zhǔn)確度)，參見(jiàn)圖4，虛線方框?yàn)榉糯蠛蟮钠ヅ浯翱?，基于放大后的匹配窗口確定第一像素點(diǎn)的最優(yōu)代價(jià)函數(shù)(函數(shù)值最小的代價(jià)函數(shù))，獲取該最優(yōu)代價(jià)函數(shù)對(duì)應(yīng)的視差值(記為最優(yōu)視差值)，然后，計(jì)算該最優(yōu)視差值的置信度值，若該最優(yōu)視差值的置信度值小于預(yù)設(shè)的第二置信度閾值，說(shuō)明該最優(yōu)視差值的可信度高，因此，用該可信度高的最優(yōu)視差值替換第一像素點(diǎn)在視差圖中的視差值，以保證替換后視差值的準(zhǔn)確度；若該最優(yōu)視差值的置信度值大于或等于預(yù)設(shè)的第二置信度閾值，說(shuō)明此次放大匹配窗口后得到的最優(yōu)視差值的可信度不高，不能直接用于替換第一像素點(diǎn)的視差值，為此，本發(fā)明預(yù)設(shè)匹配窗口的放大次數(shù)閾值，在匹配窗口的放大次數(shù)未達(dá)到預(yù)設(shè)的放大次數(shù)閾值時(shí)，繼續(xù)按照比例放大匹配窗口，在基于放大后的匹配窗口獲取到可信度高的最優(yōu)視差值時(shí)替換視差圖中第一像素點(diǎn)的視差值。

從上述描述可以看出，本發(fā)明針對(duì)同一幅視差圖，可基于統(tǒng)計(jì)的第一像素點(diǎn)(噪點(diǎn))周圍視差值置信度高且灰度值與噪點(diǎn)的灰度值接近的第二像素點(diǎn)的數(shù)量的不同，采取不同的修補(bǔ)方式進(jìn)行修補(bǔ)，因此，可提升修補(bǔ)后視差圖的視差值的準(zhǔn)確度。

與前述修補(bǔ)視差圖中噪點(diǎn)的方法的實(shí)施例相對(duì)應(yīng)，本發(fā)明還提供了修補(bǔ)視差圖中噪點(diǎn)的裝置的實(shí)施例。

本發(fā)明修補(bǔ)視差圖中噪點(diǎn)的裝置的實(shí)施例可以應(yīng)用在雙目立體視覺(jué)平臺(tái)設(shè)備上。裝置實(shí)施例可以通過(guò)軟件實(shí)現(xiàn)，也可以通過(guò)硬件或者軟硬件結(jié)合的方式實(shí)現(xiàn)。以軟件實(shí)現(xiàn)為例，作為一個(gè)邏輯意義上的裝置，是通過(guò)其所在設(shè)備的處理器運(yùn)行存儲(chǔ)器中對(duì)應(yīng)的計(jì)算機(jī)程序指令形成的。從硬件層面而言，如圖5所示，為本發(fā)明修補(bǔ)視差圖中噪點(diǎn)的裝置所在設(shè)備的一種硬件結(jié)構(gòu)圖，除了圖5所示的處理器以及非易失性存儲(chǔ)器之外，實(shí)施例中裝置所在的設(shè)備通常根據(jù)該設(shè)備的實(shí)際功能，還可以包括其他硬件，對(duì)此不再贅述。

請(qǐng)參考圖6，為本發(fā)明一個(gè)實(shí)施例中的修補(bǔ)視差圖中噪點(diǎn)的裝置的結(jié)構(gòu)示意圖。該修補(bǔ)視差圖中噪點(diǎn)的裝置包括視差圖確定單元601、像素點(diǎn)統(tǒng)計(jì)單元602、第一視差值替換單元603以及第二視差值替換單元604，其中：

視差圖確定單元601，用于采用兩臺(tái)深度相機(jī)拍攝同一場(chǎng)景的深度圖，基于預(yù)設(shè)的匹配窗口確定所述深度圖中像素點(diǎn)的代價(jià)函數(shù)，并基于所述代價(jià)函數(shù)確定所述場(chǎng)景的視差圖；

像素點(diǎn)統(tǒng)計(jì)單元602，用于若所述視差圖中第一像素點(diǎn)為噪點(diǎn)，統(tǒng)計(jì)所述第一像素點(diǎn)的檢測(cè)窗口中視差值的置信度值小于預(yù)設(shè)的第一置信度閾值、且灰度值與所述第一像素點(diǎn)的灰度值的差值小于預(yù)設(shè)的灰度閾值的第二像素點(diǎn)的數(shù)量；

第一視差值替換單元603，用于若所述第二像素點(diǎn)的數(shù)量與所述檢測(cè)窗口內(nèi)的像素點(diǎn)數(shù)量的比例大于預(yù)設(shè)的比例閾值，則基于所述第二像素點(diǎn)的視差值替換所述第一像素點(diǎn)在所述視差圖中的視差值；

第二視差值替換單元604，用于若所述第二像素點(diǎn)的數(shù)量與所述檢測(cè)窗口內(nèi)的像素點(diǎn)數(shù)量的比例小于或等于預(yù)設(shè)的比例閾值，按照預(yù)設(shè)的比例放大所述匹配窗口，基于放大后的匹配窗口確定所述第一像素點(diǎn)的最優(yōu)代價(jià)函數(shù)，并用所述最優(yōu)代價(jià)函數(shù)對(duì)應(yīng)的視差值替換所述第一像素點(diǎn)在所述視差圖中的視差值。

進(jìn)一步地，

所述第一視差值替換單元603，具體用于若所述第二像素點(diǎn)的數(shù)量與所述檢測(cè)窗口內(nèi)的像素點(diǎn)數(shù)量的比例大于預(yù)設(shè)的比例閾值，確定第二像素點(diǎn)與第一像素點(diǎn)之間的距離權(quán)重值、灰度權(quán)重值、以及第二像素點(diǎn)的視差值的置信度權(quán)重值，其中，所述距離權(quán)重值與所述第二像素點(diǎn)和所述第一像素點(diǎn)之間的歐氏距離呈反相關(guān)關(guān)系，所述灰度權(quán)重值與所述第二像素點(diǎn)和所述第一像素點(diǎn)之間的灰度值的差值呈反相關(guān)關(guān)系，所述置信度權(quán)重值與所述第二像素點(diǎn)的視差值的置信度值呈反相關(guān)關(guān)系；基于所述距離權(quán)重值、所述灰度權(quán)重值、所述置信度權(quán)重值和所述第二像素點(diǎn)的視差值，替換所述第一像素點(diǎn)在所述視差圖中的視差值。

進(jìn)一步地，所述第一視差值替換單元603基于所述距離權(quán)重值、所述灰度權(quán)重值、所述置信度權(quán)重值和所述第二像素點(diǎn)的視差值，替換所述第一像素點(diǎn)在所述視差圖中的視差值，包括：

獲取多個(gè)第二像素點(diǎn)的距離權(quán)重值、灰度權(quán)重值、置信度權(quán)重值分別與視差值的乘積的第一累加和；獲取所述多個(gè)第二像素點(diǎn)的距離權(quán)重值、灰度權(quán)重值、置信度權(quán)重值的乘積的第二累加和；利用所述第一累加和與所述第二累加和的商，替換所述第一像素點(diǎn)在所述視差圖中的視差值。

進(jìn)一步地，

所述第二視差值替換單元604，具體用于若所述第二像素點(diǎn)的數(shù)量與所述檢測(cè)窗口內(nèi)的像素點(diǎn)數(shù)量的比例小于或等于預(yù)設(shè)的比例閾值，按照預(yù)設(shè)的比例放大所述匹配窗口；基于放大后的匹配窗口確定所述第一像素點(diǎn)的最優(yōu)代價(jià)函數(shù)；若所述最優(yōu)代價(jià)函數(shù)對(duì)應(yīng)的視差值的置信度值小于預(yù)設(shè)的第二置信度閾值，用所述最優(yōu)代價(jià)函數(shù)對(duì)應(yīng)的視差值替換所述第一像素點(diǎn)在所述視差圖中的視差值。

進(jìn)一步地，

所述第二視差值替換單元604，還用于若所述最優(yōu)代價(jià)函數(shù)對(duì)應(yīng)的視差值的置信度值大于或等于預(yù)設(shè)的第二置信度閾值，統(tǒng)計(jì)所述匹配窗口的放大次數(shù)；若所述匹配窗口的放大次數(shù)未達(dá)到預(yù)設(shè)的放大次數(shù)閾值，返回執(zhí)行所述按照預(yù)設(shè)的比例放大所述匹配窗口的步驟。

上述裝置中各個(gè)單元的功能和作用的實(shí)現(xiàn)過(guò)程具體詳見(jiàn)上述方法中對(duì)應(yīng)步驟的實(shí)現(xiàn)過(guò)程，在此不再贅述。

對(duì)于裝置實(shí)施例而言，由于其基本對(duì)應(yīng)于方法實(shí)施例，所以相關(guān)之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來(lái)實(shí)現(xiàn)本發(fā)明方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動(dòng)的情況下，即可以理解并實(shí)施。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。