專利名稱：圖像處理設(shè)備、圖像處理方法以及程序的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及ー種圖像處理設(shè)備、圖像處理方法以及程序，更具體 地，涉及能夠更準(zhǔn)確地檢測由右圖像和左圖像構(gòu)成的立體圖像的視差的圖像處理設(shè)備、圖像處理方法以及程序。
背景技術(shù)：
從由右圖像和左圖像構(gòu)成的立體圖像獲得的視差對應(yīng)于從觀看立體圖像的用戶到對象的深度。因此，立體圖像的視差檢測可以應(yīng)用于各種應(yīng)用軟件，諸如立體圖像的視差調(diào)整或視點合成以及三維界面。立體圖像的視差檢測與檢測右圖像和左圖像中的對應(yīng)點的問題相關(guān)聯(lián)(例如，參見日本未審查專利申請公布第2009-008539號)。

發(fā)明內(nèi)容
然而，當(dāng)在立體圖像的一個圖像上相對于立體圖像的另ー圖像上的點存在可靠的對應(yīng)點的多個候選時，諸如當(dāng)在圖像上存在平坦或重復(fù)圖案部分時，難以準(zhǔn)確地對點進(jìn)行匹配，并且因此不會以高準(zhǔn)確性檢測視差。例如，當(dāng)圖像上的物體的側(cè)面或多個物體在深度方向上彼此重疊時，僅在立體圖像的一個圖像中存在特定對象的區(qū)域，并且通過在該區(qū)域中檢測對應(yīng)點的方法很少檢測到視差。期望提供一種能夠更準(zhǔn)確地檢測立體圖像的視差的圖像處理設(shè)備、圖像處理方法以及程序。根據(jù)本技術(shù)的實施例，提供了ー種圖像處理設(shè)備，包括視差圖生成単元，其基于構(gòu)成立體圖像的右圖像和左圖像，生成表示立體圖像的每個像素的視差的視差圖；可靠度計算單元，其基于右圖像和左圖像，生成表示視差圖的可靠度的可靠度圖；深度信息估計單元，其基于右圖像和左圖像中的ー個圖像，生成表示立體圖像上的對象的深度的深度信息圖；深度視差轉(zhuǎn)換單元，其將深度信息圖轉(zhuǎn)換成表示與深度相對應(yīng)的視差的偽視差圖；以及視差合成単元，其基于可靠度圖對視差圖和偽視差圖進(jìn)行合成，以生成校正視差圖。視差合成單元可通過使用由可靠度圖確定的權(quán)重來以加權(quán)方式將視差圖和偽視差圖相加，生成校正視差圖。視差合成単元可包括分量合成単元，其對偽視差圖的高通分量和視差圖的低通分量進(jìn)行合成以生成合成圖；以及加法単元，其基于可靠度圖對視差圖和合成圖進(jìn)行合成，以生成校正視差圖。視差合成単元可包括分量合成単元，其對偽視差圖的低通分量和視差圖的高通分量進(jìn)行合成以生成合成圖；以及加法単元，其基于可靠度圖對視差圖和合成圖進(jìn)行合成，以生成校正視差圖。圖像處理設(shè)備還可包括殘差圖生成単元，該殘差圖生成単元生成殘差圖，其中該殘差圖表示右圖像和左圖像中的一個圖像的預(yù)定像素附近的區(qū)域與另ー圖像中對應(yīng)于預(yù)定像素的對應(yīng)像素附近的區(qū)域之間的殘差。可靠度計算單元可基于殘差圖來生成可靠度圖。視差圖生成単元可通過檢測右圖像和左圖像中的一個圖像的預(yù)定像素附近的區(qū)域與另ー圖像的像素附近的區(qū)域之間的殘差最小的、另ー圖像的像素來作為與該一個圖像的預(yù)定像素相對應(yīng)的像素，生成視差圖。圖像處理設(shè)備還可包括峰值銳度圖生成単元，該峰值銳度圖生成単元生成峰值銳度圖，其中該峰值銳度圖表示在另ー圖像上的預(yù)定方向上排列的像素的殘差的峰值的銳度并且用于生成可靠度圖。圖像處理設(shè)備還可包括匹配度計算單元，該匹配度計算單元基干與右圖像和左圖像中的一個圖像的預(yù)定像素相對應(yīng)的、另ー圖像的第一對應(yīng)像素的檢測結(jié)果和該一個圖像中與另ー圖像的第一對應(yīng)像素相對應(yīng)的第二對應(yīng)像素的檢測結(jié)果，生成表示預(yù)定像素與第一對應(yīng)像素之間的匹配度的匹配度圖。可靠度計算單元可基于匹配度圖來生成可靠度圖。根據(jù)本技術(shù)的另ー實施例，提供了ー種圖像處理方法或程序，其包括基于構(gòu)成立體圖像的右圖像和左圖像，生成表示立體圖像的每個像素的視差的視差圖；基于右圖像和 左圖像，生成表示視差圖的可靠度的可靠度圖；基于右圖像和左圖像中的ー個圖像，生成表示立體圖像上的對象的深度的深度信息圖；以及將深度信息圖轉(zhuǎn)換成表示與深度相對應(yīng)的視差的偽視差圖，并且基于可靠度圖來對視差圖和偽視差圖進(jìn)行合成以生成校正視差圖。根據(jù)本技術(shù)的又ー實施例，基于構(gòu)成立體圖像的右圖像和左圖像，生成表示立體圖像的每個像素的視差的視差圖；基于右圖像和左圖像，生成表示視差圖的可靠度的可靠度圖；基于右圖像和左圖像中的ー個圖像，生成表示立體圖像上的對象的深度的深度信息圖；以及將深度信息圖轉(zhuǎn)換成表示與深度相對應(yīng)的視差的偽視差圖，并且基于可靠度圖來對視差圖和偽視差圖進(jìn)行合成以生成校正視差圖。根據(jù)本技術(shù)的又ー實施例，提供了ー種圖像處理設(shè)備，包括深度信息估計單元，其基于構(gòu)成立體圖像的右圖像和左圖像中的ー個圖像，生成表示立體圖像上的對象的深度的深度信息圖；深度視差轉(zhuǎn)換單元，其將深度信息圖轉(zhuǎn)換成表示與深度相對應(yīng)的視差的偽視差圖；以及視差圖生成単元，其基于右圖像和左圖像以及偽視差圖，生成表示立體圖像的每個像素的視差的視差圖。根據(jù)本技術(shù)的又ー實施例，提供了ー種圖像處理方法或程序，包括基于構(gòu)成立體圖像的右圖像和左圖像中的ー個圖像，生成表示立體圖像上的對象的深度的深度信息圖；以及將深度信息圖轉(zhuǎn)換成表示與深度相對應(yīng)的視差的偽視差圖，并且基于右圖像和左圖像以及偽視差圖來生成表示立體圖像的每個像素的視差的視差圖。根據(jù)本技術(shù)的又ー實施例，基于構(gòu)成立體圖像的右圖像和左圖像中的ー個圖像，生成表示立體圖像上的對象的深度的深度信息圖；將深度信息圖轉(zhuǎn)換成表示與深度相對應(yīng)的視差的偽視差圖；以及基于右圖像和左圖像以及偽視差圖，生成表示立體圖像的每個像素的視差的視差圖。根據(jù)上述本技術(shù)的實施例，可以更準(zhǔn)確地檢測立體圖像的視差。


圖I是示出根據(jù)實施例的圖像處理設(shè)備的配置示例的圖；圖2是示出視差檢測單元的配置示例的圖3是示出視差合成單元的配置示例的圖；圖4是示出視差檢測處理的流程圖；圖5是示出視差圖生成處理的流程圖；圖6是示出對應(yīng)像素的檢測的圖；圖7是示出計算殘差的函數(shù)的圖；圖8是示出殘差的峰值的銳度的圖；圖9是示出計算峰值的深度的評價值的函數(shù)的圖；圖10是示出計算峰值的寬度的評價值的函數(shù)的圖；圖11是示出匹配度的計算的圖；圖12是示出計算匹配度的函數(shù)的圖；圖13是示出校正視差圖生成處理的流程圖；圖14是示出視差合成単元的配置的另ー示例的圖；圖15是示出校正視差圖生成處理的流程圖；圖16是示出視差合成單元的配置的又一示例的圖；圖17是示出校正視差圖生成處理的流程圖；圖18是示出圖像處理設(shè)備的配置的另ー示例的圖；圖19是示出視差檢測處理的流程圖；圖20是示出對應(yīng)像素的檢測的圖；以及圖21是示出計算機(jī)的配置示例的圖。
具體實施例方式在下文中，將參照附圖詳細(xì)描述本技術(shù)的優(yōu)選實施例。注意，在該說明書和附圖中，以相同附圖標(biāo)記標(biāo)注基本上具有相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對這些結(jié)構(gòu)元件的重復(fù)說明?！吹谝粚嵤├祱D像處理設(shè)備的配置示例圖I是示出根據(jù)本技術(shù)的實施例的圖像處理設(shè)備的配置示例的圖。當(dāng)提供由右圖像和左圖像構(gòu)成的立體圖像吋，圖像處理設(shè)備11檢測立體圖像的視差并且輸出檢測結(jié)果。這里，右圖像指的是在顯示立體圖像時被顯示以便用用戶的右眼觀看的圖像。左圖像指的是在顯示立體圖像時被顯示以便用用戶的左眼觀看的圖像。圖像處理設(shè)備11包括視差檢測單元21、深度信息估計單元22R、深度信息估計單元22L、以及合并單元23。基于所提供的右圖像和左圖像，視差檢測單元21生成表示立體圖像的每個像素中的視差的視差圖和表示由視差圖表示的每個像素的視差的確定度(即，可靠度)的可靠度圖，然后，將視差圖和可靠度圖提供給合并単元23。在下文中，以右圖像為基準(zhǔn)所形成的視差圖(S卩，表示右圖像的每個像素和左圖像中與右圖像的每個像素對應(yīng)的每個像素之間的視差的視差圖)被稱為RL視差圖。以左圖像為基準(zhǔn)所形成的視差圖被稱為LR視差圖。此外，表示RL視差圖的可靠度的可靠度圖被稱為RL可靠度圖，而表示LR視差圖的可靠度的可靠度圖被稱為LR可靠度圖。
基于所提供的右圖像，深度信息估計單元22R生成表示右圖像上的每個區(qū)域(對象)的深度的R深度信息圖，然后，將R深度信息圖提供給合并単元23。基于所提供的左圖像，深度信息估計單元22L生成表示左圖像上的每個區(qū)域的深度的L深度信息圖，然后，將L深度信息圖提供給合并単元23。這里，圖像上的對象的深度指的是被估計為要由觀看圖像的用戶感知的對象的相對深度位置。當(dāng)不需要特別區(qū)分深度信息估計單元22R和深度信息估計單元22L吋，以下將深度信息估計單元22R和深度信息估計單元22L簡稱為深度信息估計單元22。此外，當(dāng)不需要特別區(qū)分R深度信息圖和L深度信息圖時，以下將R深度信息圖和L深度信息圖簡稱為深度信息圖。基于來自視差檢測單元21的可靠度圖，合并單元23對來自視差檢測單元21的視差圖和來自深度信息估計單元22的深度信息圖進(jìn)行合井，以生成校正視差圖。換句話說，根據(jù)可靠度圖、使用深度信息圖來校正視差圖。
合并單元23包括深度視差轉(zhuǎn)換單元31R、深度視差轉(zhuǎn)換單元31L、視差合成單元32R、以及視差合成單元32し深度視差轉(zhuǎn)換單元31R基于從視差檢測單元21提供的RL視差圖和RL可靠度圖，將來自深度信息估計單元22R的R深度信息圖轉(zhuǎn)換成具有視差信息的R偽視差圖,然后,將R偽視差圖提供給視差合成単元32R。即，表示深度的R深度信息圖被轉(zhuǎn)換成表示與深度相對應(yīng)的視差的R偽視差圖。視差合成単元32R基于從視差檢測單元21提供的RL可靠度圖，對來自視差檢測單元21的RL視差圖和來自深度視差轉(zhuǎn)換單元31R的R偽視差圖進(jìn)行合成，生成校正RL視差圖，然后輸出校正RL視差圖。深度視差轉(zhuǎn)換單元31L基于從視差檢測單元21提供的LR視差圖和LR可靠度圖，將來自深度信息估計單元22L的L深度信息圖轉(zhuǎn)換成具有視差信息的L偽視差圖,然后,將L偽視差圖提供給視差合成単元32し視差合成単元32L基于從視差檢測單元21提供的LR可靠度圖，對來自視差檢測單元21的LR視差圖和來自深度視差轉(zhuǎn)換單元3IL的L偽視差圖進(jìn)行合成，生成校正LR視差圖，然后輸出校正LR視差圖。當(dāng)不需要特別區(qū)分深度視差轉(zhuǎn)換單元31R和深度視差轉(zhuǎn)換單元31L吋，以下將深度視差轉(zhuǎn)換單元31R和深度視差轉(zhuǎn)換單元31L簡稱為深度視差轉(zhuǎn)換單元31。此外，當(dāng)不需要特別區(qū)分視差合成単元32R和視差合成単元32L吋，以下將視差合成単元32R和視差合成単元32L簡稱為視差合成単元32。當(dāng)不需要特別區(qū)分R偽視差圖和L偽視差圖時，以下將R偽視差圖和L偽視差圖簡稱為偽視差圖。此外，當(dāng)不需要特別區(qū)分校正RL視差圖和校正LR視差圖時，以下將校正RL視差圖和校正LR視差圖簡稱為校正視差圖。視差檢測單元的配置示例圖2示出了圖I中的視差檢測單元21的詳細(xì)配置。S卩，視差檢測單元21包括對應(yīng)點檢測單元61R、對應(yīng)點檢測單元61L、匹配度計算単元62、可靠度計算單元63R、以及可靠度計算單元63し對應(yīng)點檢測單元6IR從左圖像檢測與右圖像的像素相對應(yīng)的像素,并且生成RL視差圖、RL殘差圖以及RL峰值銳度圖。對應(yīng)點檢測單元61R包括視差圖生成単元71R、殘差圖生成単元72R以及峰值銳度圖生成單元73R。視差圖生成単元71R基于所提供的右圖像和左圖像來生成RL視差圖，然后，將RL視差圖提供給匹配度計算單元62、深度視差轉(zhuǎn)換單元31R以及視差合成単元32R。S卩，檢測左圖像中分別與右圖像的像素相對應(yīng)的像素，并且基于這些像素的位置來生成RL視差圖。在下文中，將右圖像和左圖像中的一個圖像中與另ー圖像的像素相對應(yīng)的像素稱為對應(yīng)像素。例如，左圖像中與右圖像的預(yù)定像素相對應(yīng)的對應(yīng)像素是用來示出與右圖像的預(yù)定像素的對象相同的對象的像素。殘差圖生成単元72R基于右圖像和左圖像以及視差圖生成単元7IR獲得的對應(yīng)像素的檢測結(jié)果來生成RL殘差圖，然后將RL殘差圖提供給可靠度計算單元63R，其中，該RL殘差圖表示右圖像的像素附近的區(qū)域與左圖像中對應(yīng)于右圖像的像素的對應(yīng)像素附近的區(qū)域之間的殘差。峰值銳度圖生成単元73R基于所提供的右圖像和左圖像來生成表示右圖像的每個像素與左圖像的每個像素之間的殘差的曲線的峰值的銳度(即，表示殘差的分散度的RL 峰值銳度圖)，然后將RL峰值銳度圖提供給可靠度計算單元63R。對應(yīng)點檢測單元61L檢測右圖像中相對于左圖像的像素的對應(yīng)像素，并且生成LR視差圖、LR殘差圖以及LR峰值銳度圖。對應(yīng)點檢測單元61L包括視差圖生成單元71L、殘差圖生成単元72L以及峰值銳度圖生成単元73し視差圖生成単元71L、殘差圖生成単元72L以及峰值銳度圖生成単元73L分別執(zhí)行與視差圖生成単元71R、殘差圖生成単元72R以及峰值銳度圖生成単元73R相同的處理，并且因此將不重復(fù)對其的描述。對應(yīng)點檢測單元61L的視差圖生成単元71L、殘差圖生成単元72L以及峰值銳度圖生成単元73L分別生成LR視差圖、LR殘差圖以及LR峰值銳度圖。當(dāng)不需要特別區(qū)分對應(yīng)點檢測單元61R和對應(yīng)點檢測單元61L時，以下將對應(yīng)點檢測單元61R和對應(yīng)點檢測單元61L簡稱為對應(yīng)點檢測單元61。當(dāng)不需要特別區(qū)分視差圖生成單兀71R和視差圖生成單兀71L時，以下將視差圖生成單兀71R和視差圖生成單兀71L簡稱為視差圖生成単元71。當(dāng)不需要特別區(qū)分殘差圖生成単元72R和殘差圖生成単元72L吋，以下將殘差圖生成単元72R和殘差圖生成単元72L簡稱為殘差圖生成単元72。當(dāng)不需要特別區(qū)分峰值銳度圖生成単元73R和峰值銳度圖生成単元73L吋，以下將峰值銳度圖生成単元73R和峰值銳度圖生成単元73L簡稱為峰值銳度圖生成単元73。當(dāng)不需要特別區(qū)分RL殘差圖和LR殘差圖時，以下將RL殘差圖和LR殘差圖簡稱為殘差圖。當(dāng)不需要特別區(qū)分RL峰值銳度圖和LR峰值銳度圖時，以下將RL峰值銳度圖和LR峰值銳度圖簡稱為峰值銳度圖。匹配度計算單元62基于來自對應(yīng)點檢測單元61R的RL視差圖和來自對應(yīng)點檢測単元61L的LR視差圖，生成表示視差圖之間的匹配度的匹配度圖。即，匹配度計算單元62生成表示RL視差圖相對于LR視差圖的匹配度的RL匹配度圖，然后，將RL匹配度圖提供給可靠度計算單元63R。此外，匹配度計算單元62生成表示LR視差圖相對于RL視差圖的匹配度的LR匹配度圖，然后，將LR匹配度圖提供給可靠度計算單元63し當(dāng)不需要特別區(qū)分RL匹配度圖和LR匹配度圖時，以下將RL匹配度圖和LR匹配度圖簡稱為匹配度圖?？煽慷扔嬎銌卧?3R基于來自對應(yīng)點檢測單元6IR的RL殘差圖和RL峰值銳度圖、以及來自匹配度計算單元62的RL匹配度圖來生成RL可靠度圖，然后，將RL可靠度圖提供給深度視差轉(zhuǎn)換單元31R和視差合成単元32R。 可靠度計算單元63L基于來自對應(yīng)點檢測單元6IL的LR殘差圖和LR峰值銳度圖、以及來自匹配度計算單元62的LR匹配度圖來生成LR可靠度圖，然后，將LR可靠度圖提供給深度視差轉(zhuǎn)換單元31L和視差合成単元32し當(dāng)不需要特別區(qū)分可靠度計算單元63R和可靠度計算單元63L吋，以下將可靠度計算單元63R和可靠度計算單元63L簡稱為可靠度計算單元63。視差合成單元的配置示例圖3示出了視差合成單元32R的詳細(xì)配置的示例。即，視差合成單元32R包括乘法單元101R、乘法單元102R以及加法單元103R。視差合成単元32R將從可靠度計算單元63R提供的RL可靠度圖作為權(quán)重沒有變化地提供給 乘法單元102R，并且將根據(jù)RL可靠度圖確定的權(quán)重提供給乘法単元101R。乘法單元IOlR將從深度視差轉(zhuǎn)換單元31R提供的R偽視差圖乘以所提供的權(quán)重，并且將相乘結(jié)果提供給加法単元103R。乘法單元102R將從對應(yīng)點檢測單元61R提供的RL視差圖乘以所提供的權(quán)重，并且將相乘結(jié)果提供給加法単元103R。加法單元103R將來自乘法單元IOlR的R偽視差圖和來自乘法單元102R的RL視差圖相加以生成校正RL視差圖，然后，將校正RL視差圖輸出到后面階段的塊。由于視差合成単元32L具有與圖3中的視差合成単元32R相同的配置，因此，將不示出視差合成単元32L的配置，并且將不重復(fù)對其的描述。視差合成単元32L中對應(yīng)于乘法單元101R、乘法單元102R以及加法單元103R的單元分別被稱為乘法單元101L、乘法單元102L以及加法單元103L。當(dāng)不需要區(qū)分乘法單元IOlR和IOlL時，以下將乘法單元IOlR和IOlL簡稱為乘法單元101。當(dāng)不需要區(qū)分乘法單元102R和102L時，以下將乘法單元102R和102L簡稱為乘法單元102。當(dāng)不需要區(qū)分加法單元103R和103L時，以下將加法単元103R和103L簡稱為加法単元103。視差檢測處理的描述當(dāng)圖像處理設(shè)備11被提供了由右圖像和左圖像構(gòu)成的立體圖像并且接收到檢測視差的指令吋，圖像處理設(shè)備11通過執(zhí)行視差檢測處理來生成校正視差圖，并且輸出校正視差圖。在下文中，將參照圖4的流程圖來描述圖像處理設(shè)備11的視差檢測處理。 在步驟S11中，視差檢測單元21通過執(zhí)行視差圖生成處理來生成視差圖和可靠度圖，并且將視差圖和可靠度圖提供給合并単元23。稍后將詳細(xì)描述視差圖生成處理。當(dāng)視差檢測單元21執(zhí)行視差圖生成處理時，視差檢測單元21將所生成的視差圖和所生成的可靠度圖提供給深度視差轉(zhuǎn)換單元31和視差合成単元32。在步驟S12中，深度信息估計單元22生成深度信息圖，并且將深度信息圖提供給深度視差轉(zhuǎn)換單元31。即，深度信息估計單元22R基于所提供的右圖像來生成R深度信息圖，并且將R深度信息圖提供給深度視差轉(zhuǎn)換單元3IR。深度信息估計單元22L基于所提供的左圖像來生成L深度信息圖，并且將L深度信息圖提供給深度視差轉(zhuǎn)換單元31し例如，深度信息估計單元22R通過濾波處理等從右圖像提取高通分量，并且將右圖像劃分成多個塊。然后，深度信息估計單元22R通過針對每個塊計算塊中各個位置處的高通分量的值的絕對值的和(積分值)，生成R深度信息圖。深度信息估計單元22L通過執(zhí)行相同處理來生成L深度信息圖。由于從用戶的視點在正側(cè)觀看(放置)的對象(即，前景的區(qū)域或者圖像上的聚焦區(qū)域)中通常有大量高頻分量，因此與該區(qū)域相對應(yīng)的R深度信息圖的像素的值(高通分量的積分值)應(yīng)該較大。因此，如同R深度信息圖中像素的像素值較大的區(qū)域那樣，右圖像中位于與該區(qū)域相同位置處的區(qū)域可以被估計為更接近觀看右圖像的用戶的對象的區(qū)域。例如，在日本未審查專利申請公布第2007-208399號中詳細(xì)公開了估計圖像的深度的方法。例如，深度信息估計單元22可通過指定圖像上的像素的顏色、將具有暖色系的顏色的像素設(shè)置為位于正面的對象的像素、并且將具有冷色系的顔色的像素設(shè)置為位于背面的對象的像素，生成深度信息圖。使用暖色系的顔色看起來位于正面的人類視覺特性來生成這樣的深度信息圖。例如，深度信息估計單元22可識別圖像(右圖像和左圖像)的場景，并且輸出針對所識別出的場景預(yù)先確定的深度信息圖。 作為生成深度信息圖的方法，可以使用諸如使用現(xiàn)有的2D到3D轉(zhuǎn)換技術(shù)的方法的任意方法，只要估計深度信息并且生成表示深度信息的圖即可。例如，在“JVC，The13th IEEE International Symposium on Consumer Electronics (ISCE2009) “Real-time2D-to-3D Conversion at Full HD 1080P Resolution””、“東芝2010 圖像信息和電視工程師年會“2D-to_3D content conversion technology”” 中詳細(xì)描述了 2D 到 3D 轉(zhuǎn)換技術(shù)。在步驟S13中，深度視差轉(zhuǎn)換單元31基于來自深度信息估計單元22的深度信息圖、來自對應(yīng)點檢測單元61的視差圖以及來自可靠度計算單元63的可靠度圖，生成用來將深度信息轉(zhuǎn)換成視差信息的轉(zhuǎn)換式。例如，在右圖像和左圖像的視差的方向是i方向而垂直于i方向的方向是j方向的ij坐標(biāo)系中，假設(shè)R深度信息圖中與位于右圖像上的坐標(biāo)(i，j)的像素處于相同位置處的像素的像素值是0K(i，j)。此外，假設(shè)R偽視差圖中與位于右圖像上的坐標(biāo)(i，j)的像素處于相同位置處的像素的像素值是ropK(i，j)。這里，R偽視差圖的像素的像素值ropK(i，j)是在下文中要計算的值。此時，深度視差轉(zhuǎn)換單元31R對視差信息和深度信息之間的關(guān)系進(jìn)行建摸。即，深度視差轉(zhuǎn)換單元31R假設(shè)通過以下等式(I)將R深度信息圖的像素的像素值是0K(i，j)線性轉(zhuǎn)換成R偽視差圖的像素的像素值ropK(i，j)。在等式(I)中，P和q是整數(shù)。PDPe(i, j) = pX0E(i, j)+q …(I)深度信息圖表示右圖像上的每個對象的深度信息。深度信息的特性與作為右圖像與左圖像之間的位置偏差所檢測到的視差信息的特性不同。因此，為了對深度信息圖和視差圖進(jìn)行合成，需要使這些圖的特性匹配。因此，深度視差轉(zhuǎn)換單元31R計算線性函數(shù)“ pX0K(i，j)+q”，以通過該線性函數(shù)來將作為深度信息的像素值0K(i，j)轉(zhuǎn)換成等效的視差信息。具體地，假設(shè)RL視差圖的與位于右圖像上的坐標(biāo)(i，j)處的給定像素處于相同位置的像素的像素值是DP&(i，j)，則深度視差轉(zhuǎn)換單元31R通過最小二乗法，計算以下等式
(2)的值最小的整數(shù)P和q?！竈 Fr=Σ|DPRL(i，j)-pxOR(i,j)-q|2(i,j)e{(i, j)|RRL(, j)lT1]
· ( O )即，深度視差轉(zhuǎn)換單元31R從RL視差圖的像素中僅提取在RL可靠度圖中像素值等于或大于預(yù)定閾值Tl并且與RL視差圖的像素位于相同位置處的像素。然后，深度視差轉(zhuǎn)換單元31R基于所提取的像素中的每個像素的像素值DP&(i，j)和與所提取的像素位于相同位置處的像素中的每個像素的像素值0K(i，j)，針對所提取的像素中的每個像素計算^DPel(i, j) -pXOe(i, j)-q”。此外，深度視差轉(zhuǎn)換單兀31R計算所獲得的差的平方和Fr最小的整數(shù)P和q?？梢愿鶕?jù)所獲得的整數(shù)P和q來獲得用來將深度信息轉(zhuǎn)換成視差信息的轉(zhuǎn)換式“P X Oe(i, j) +q”卿，上述等式(I)的右側(cè))。此外，深度視差轉(zhuǎn)換單元31L執(zhí)行與深度視差 轉(zhuǎn)換單元31R的處理相同的處理，以計算用來將L深度信息圖轉(zhuǎn)換成L偽視差圖的轉(zhuǎn)換式。因此，通過計算用來將深度信息轉(zhuǎn)換成視差信息的轉(zhuǎn)換式，可以將具有深度信息的深度信息圖適當(dāng)?shù)剞D(zhuǎn)換成具有視差信息的偽視差圖。前述描述關(guān)于線性函數(shù)用作轉(zhuǎn)換式的示例。然而，轉(zhuǎn)換式不限于線性函數(shù)，而是可以是任意函數(shù)。由于視差信息與深度信息之間的關(guān)系根據(jù)如何計算深度信息而不同，因此，可根據(jù)深度信息圖來適當(dāng)?shù)貙υ撽P(guān)系建模，并且可計算轉(zhuǎn)換式。在步驟S14中，深度視差轉(zhuǎn)換單元31使用通過步驟S13的處理計算的轉(zhuǎn)換式來將深度信息圖轉(zhuǎn)換成偽視差圖，然后，將所轉(zhuǎn)換的偽視差圖提供給視差合成単元32的乘法單元 101。例如，深度視差轉(zhuǎn)換單元31R將通過把R深度信息圖的每個像素的像素值0K(i，j)代入上述等式(I)而獲得的值設(shè)置為R偽視差圖中與R深度信息圖的像素位于相同位置處的每個像素的像素值roPKJi，j)。深度視差轉(zhuǎn)換單元31L執(zhí)行與深度視差轉(zhuǎn)換單元31R相同的處理以生成L偽視差圖，并且將L偽視差圖提供給乘法単元101L。在步驟S15中，視差合成単元32執(zhí)行校正視差圖生成處理，以生成校正視差圖。稍后將詳細(xì)描述校正視差圖生成處理。在校正視差圖生成處理中，對視差圖和偽視差圖進(jìn)行合成(合井)，并且所合成的視差圖被認(rèn)為是校正視差圖。例如，在視差圖的可靠度高的區(qū)域中，使用視差圖而無需合成，并且該視差圖被認(rèn)為是校正視差圖。在視差圖的可靠度低的區(qū)域中，當(dāng)生成校正視差圖時，偽視差圖的貢獻(xiàn)率被設(shè)置為較高。當(dāng)執(zhí)行校正視差圖生成處理時，所生成的校正視差圖被輸出到后面階段，然后，視差檢測處理結(jié)束。以此方式，圖像處理設(shè)備11根據(jù)右圖像和左圖像生成視差圖，根據(jù)右圖像和左圖像中的一個圖像生成深度信息圖，并且將深度信息圖轉(zhuǎn)換成偽視差圖。然后，圖像處理設(shè)備11根據(jù)視差圖的可靠度對視差圖和偽視差圖進(jìn)行合成，并且生成校正視差圖作為最終視差檢測結(jié)果。因此，通過根據(jù)視差圖的可靠度來對視差圖和偽視差圖進(jìn)行合并、并且生成校正視差圖作為最終視差檢測結(jié)果，可以更準(zhǔn)確地且可靠地檢測視差。例如，在難以對右圖像和左圖像進(jìn)行匹配的區(qū)域(諸如，平坦部分或重復(fù)圖案部分)中，可靠度圖的每個像素的像素值減小，并且視差圖的可靠度因此降低。然而，在這種情況下，由于更多地使用根據(jù)右圖像和左圖像中的一個圖像估計的視差(即，偽視差圖)，因此，與僅使用視差圖的情況相比，可以獲得更準(zhǔn)確的立體圖像的視差。視差圖生成處理的描述接下來，將參照圖5的流程圖來描述與圖4中的步驟Sll的處理相對應(yīng)的視差圖生成處理。在步驟S41中，視差圖生成単元71基于所提供的右圖像和左圖像來生成視差圖，并且將視差圖提供給匹配度計算單元62和視差合成単元32。例如，視差圖生成単元71L通過塊匹配等來檢測右圖像中相對于左圖像的像素的對應(yīng)像素。具體地，如圖6的上側(cè)所示，視差圖生成単元71L將左圖像L上的ー個像素設(shè)置為關(guān)注像素&(i，j)，并且將作為關(guān)注像素&(i，j)的對應(yīng)點的候選的、右圖像Ik上的像素 設(shè)置為像素g ノ (i+d，j)。這里，作為對應(yīng)點的候選的像素g ノ (i+d，j)具有與關(guān)注像素gL(i, j)相同的j坐標(biāo)。像素gノ (i+d, j)是位于在i方向上與右圖像Ik的關(guān)注像素的相同位置距離d個像素的位置處的像素。在圖6中，水平方向和垂直方向表示ij坐標(biāo)系的i方向和j方向。此外，假設(shè)IL(i, j)是左圖像上具有坐標(biāo)(i，j)的像素的像素值，而IK(i，j)是右圖像Ik上具有坐標(biāo)(i，j)的像素的像素值。例如，左圖像込上具有像素值IJi，j)的像素是位于距左圖像Il的左端第i個位置和距左圖像ら的上端第j個位置處的像素。視差圖生成単元71L計算以關(guān)注像素gji，j)為中心的預(yù)定區(qū)域內(nèi)部的像素的像素值與以像素gノ (i+d，j)為中心的預(yù)定區(qū)域gbノ內(nèi)部的像素的像素值的差分絕對值和，作為關(guān)注像素的殘差Ri，j(d)。S卩，視差圖生成単元71L通過以下等式(3)來計算殘差RiJ(Cl)。
Rj j (d) = Σ Σ |li (f +dI j+dj) -IR( i +d+di, j+dj) Iし」dl=-| dj = -k
.· . (3)視差圖生成單元71L在預(yù)設(shè)范圍(例如，_dmg< d彡dmg)內(nèi)改變d的值的同時，針對每個d (即，每個對應(yīng)像素的候選)計算關(guān)注像素的殘差Ru(d)。這里，殘差Riij(Cl)是關(guān)注像素gji，j)附近的區(qū)域內(nèi)部的像素的像素值與作為關(guān)注像素的候選的像素gノ (i+d，j)附近的區(qū)域glV內(nèi)部的像素的像素值的差分絕對值和。因此，區(qū)域和區(qū)域gb ノ越相似，殘差Ru (d)就越小。因此，視差圖生成単元71L將右圖像Ik的像素當(dāng)中具有最小殘差Riij(Cl)的像素 (i+d, j)設(shè)置為關(guān)注像素的對應(yīng)像素，并且通過以下等式(4)來計算LR視差圖中與關(guān)
注像素&(i，j)位于相同位置處的像素的像素值DPu^i, j)。DPle (i, j) = {d I MINtRij j(d)]}…⑷S卩，檢測殘差Ru(d)最小時的d的值作為右圖像Ik與左圖像込之間在左圖像込的關(guān)注像素&(i，j)處的視差。視差d (像素值DPu^i, j))是通過從對應(yīng)像素的i坐標(biāo)中減去關(guān)注像素的i坐標(biāo)而獲得的值。視差圖生成単元71L將左圖像L的像素順序地設(shè)置為關(guān)注像素，并且通過計算LR視差圖中與關(guān)注像素位于相同位置處的像素的像素值DPu^i, j)來生成LR視差圖。視差圖生成単元71L將所生成的LR視差圖提供給匹配度計算單元62和乘法單元102L。此外，視差圖生成単元71R執(zhí)行與視差圖生成単元71L的處理相同的處理。SP，視差圖生成単元71R通過計算RL視差圖中與關(guān)注像素位于相同位置處的像素的像素值DPel (i,j)來生成RL視差圖。S卩，例如，如圖6的下側(cè)所示，視差圖生成単元71R將右圖像Ik的一個像素設(shè)置為關(guān)注像素gK(i，j)，并且將作為關(guān)注像素gK(i，j)的對應(yīng)點的候選的、左圖像込的像素設(shè)置為像素 g/ (i+d，j)。視差圖生成單元71R計算以關(guān)注像素gK(i，j)為中心的預(yù)定區(qū)域gbK內(nèi)部的像素的像素值與以像素gノ (i+d，j)為中心的預(yù)定區(qū)域gb/內(nèi)部的像素的像素值的差分絕對值和，作為關(guān)注像素的殘差。即，執(zhí)行通過上述等式(3)執(zhí)行的相同計算。視差圖生成単元71R將在最小殘差處獲得的d的值設(shè)置為右圖像Ik與左圖像込 之間在右圖像Ik的關(guān)注像素gK(i，j)處的視差，并且將視差的值設(shè)置為RL視差圖中與關(guān)注像素位于相同位置處的像素的像素值DPKJi，j)。即，像素值DP&(i，j)是通過從對應(yīng)像素的i坐標(biāo)減去關(guān)注像素的i坐標(biāo)而獲得的值。視差圖生成単元71R將右圖像Ik的像素順序地設(shè)置為關(guān)注像素，并且通過計算RL視差圖中與關(guān)注像素位于相同位置處的像素的像素值DP&(i，j)來生成RL視差圖。視差圖生成単元71R將所生成的RL視差圖提供給匹配度計算單元62和乘法單元102R。返回參照圖5的流程圖，在步驟S42中，殘差圖生成単元72基于右圖像和左圖像的視差圖來生成殘差圖，并且將殘差圖提供給可靠度計算單元63。例如，殘差圖生成単元72L順序地設(shè)置左圖像的像素，并且通過以下等式(5)來計算LR殘差圖中與具有坐標(biāo)(i，j)的關(guān)注像素位于相同位置處的像素的像素值Eui(Lj)1權(quán)利要求
1.一種圖像處理設(shè)備，包括 視差圖生成單元，其基于構(gòu)成立體圖像的右圖像和左圖像，生成表示所述立體圖像的每個像素的視差的視差圖； 可靠度計算單元，其基于所述右圖像和左圖像，生成表示所述視差圖的可靠度的可靠度圖； 深度信息估計單元，其基于所述右圖像和左圖像中的一個圖像，生成表示所述立體圖像上的對象的深度的深度信息圖； 深度視差轉(zhuǎn)換單元，其將所述深度信息圖轉(zhuǎn)換成表示與所述深度相對應(yīng)的視差的偽視差圖；以及 視差合成單元，其基于所述可靠度圖對所述視差圖和所述偽視差圖進(jìn)行合成，以生成 校正視差圖。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，所述視差合成單元通過使用由所述可靠度圖確定的權(quán)重來以加權(quán)方式將所述視差圖和所述偽視差圖相加，生成所述校正視差圖。
3.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，所述視差合成單元包括 分量合成單元，其對所述偽視差圖的高通分量和所述視差圖的低通分量進(jìn)行合成以生成合成圖，以及 加法單元，其基于所述可靠度圖對所述視差圖和所述合成圖進(jìn)行合成，以生成所述校正視差圖。
4.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，所述視差合成單元包括 分量合成單元，其對所述偽視差圖的低通分量和所述視差圖的高通分量進(jìn)行合成以生成合成圖，以及 加法單元，其基于所述可靠度圖對所述視差圖和所述合成圖進(jìn)行合成，以生成所述校正視差圖。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，還包括 殘差圖生成單元，其生成殘差圖，所述殘差圖表示所述右圖像和左圖像中的一個圖像的預(yù)定像素附近的區(qū)域與另一圖像中對應(yīng)于所述預(yù)定像素的對應(yīng)像素附近的區(qū)域之間的殘差， 其中，所述可靠度計算單元基于所述殘差圖來生成所述可靠度圖。
6.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備， 其中，所述視差圖生成單元通過檢測所述右圖像和左圖像中的一個圖像的預(yù)定像素附近的區(qū)域與另一圖像的像素附近的區(qū)域之間的殘差最小的、所述另一圖像的像素來作為與所述一個圖像的所述預(yù)定像素相對應(yīng)的像素，生成所述視差圖，并且 其中，所述圖像處理設(shè)備還包括 峰值銳度圖生成單元，其生成峰值銳度圖，所述峰值銳度圖表示在所述另一圖像上的預(yù)定方向上排列的像素的殘差的峰值的銳度并且用于生成所述可靠度圖。
7.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，還包括 匹配度計算單元，其基于與所述右圖像和左圖像中的一個圖像的預(yù)定像素相對應(yīng)的、另一圖像的第一對應(yīng)像素的檢測結(jié)果和所述一個圖像中與所述另一圖像的所述第一對應(yīng)像素相對應(yīng)的第二對應(yīng)像素的檢測結(jié)果，生成表示所述預(yù)定像素與所述第一對應(yīng)像素之間的匹配度的匹配度圖， 其中，所述可靠度計算單元基于所述匹配度圖來生成所述可靠度圖。
8.一種圖像處理設(shè)備的圖像處理方法，所述圖像處理設(shè)備包括視差圖生成單元，其基于構(gòu)成立體圖像的右圖像和左圖像，生成表示所述立體圖像的每個像素的視差的視差圖；可靠度計算單元，其基于所述右圖像和左圖像，生成表示所述視差圖的可靠度的可靠度圖；深度信息估計單元，其基于所述右圖像和左圖像中的一個圖像，生成表示所述立體圖像上的對象的深度的深度信息圖；深度視差轉(zhuǎn)換單元，其將所述深度信息圖轉(zhuǎn)換成表示與所述深度相對應(yīng)的視差的偽視差圖；以及視差合成單元，其基于所述可靠度圖對所述視差圖和所述偽視差圖進(jìn)行合成以生成校正視差圖，所述圖像處理方法包括 由所述視差圖生成單元生成所述視差圖； 由所述可靠度計算單元生成所述可靠度圖； 由所述深度信息估計單元生成所述深度信息圖； 由所述深度視差轉(zhuǎn)換單元生成所述偽視差圖；以及 由所述視差合成單元生成所述校正視差圖。
9.一種用于使得計算機(jī)執(zhí)行處理的程序，所述處理包括 基于構(gòu)成立體圖像的右圖像和左圖像，生成表示所述立體圖像的每個像素的視差的視差圖； 基于所述右圖像和左圖像，生成表示所述視差圖的可靠度的可靠度圖； 基于所述右圖像和左圖像中的一個圖像，生成表示所述立體圖像上的對象的深度的深度信息圖； 將所述深度信息圖轉(zhuǎn)換成表示與所述深度相對應(yīng)的視差的偽視差圖；以及 基于所述可靠度圖對所述視差圖和所述偽視差圖進(jìn)行合成，以生成校正視差圖。
10.一種圖像處理設(shè)備，包括 深度信息估計單元，其基于構(gòu)成立體圖像的右圖像和左圖像中的一個圖像，生成表示所述立體圖像上的對象的深度的深度信息圖； 深度視差轉(zhuǎn)換單元，其將所述深度信息圖轉(zhuǎn)換成表示與所述深度相對應(yīng)的視差的偽視差圖；以及 視差圖生成單元，其基于所述右圖像和左圖像以及所述偽視差圖，生成表示所述立體圖像的每個像素的視差的視差圖。
11.一種圖像處理設(shè)備的圖像處理方法，所述圖像處理設(shè)備包括深度信息估計單元，其基于構(gòu)成立體圖像的右圖像和左圖像中的一個圖像，生成表示所述立體圖像上的對象的深度的深度信息圖；深度視差轉(zhuǎn)換單元，其將所述深度信息圖轉(zhuǎn)換成表示與所述深度相對應(yīng)的視差的偽視差圖；以及視差圖生成單元，其基于所述右圖像和左圖像以及所述偽視差圖，生成表示所述立體圖像的每個像素的視差的視差圖，所述圖像處理方法包括 由所述深度信息估計單元生成所述深度信息圖； 由所述深度視差轉(zhuǎn)換單元生成所述偽視差圖；以及 由所述視差圖生成單元生成所述視差圖。
12.一種用于使得計算機(jī)執(zhí)行處理的程序，所述處理包括基于構(gòu)成立體圖像的右圖像和左圖像中的一個圖像，生成表示所述立體圖像上的對象的深度的深度信息圖； 將所述深度信息圖轉(zhuǎn)換成表示與所述深度相對應(yīng)的視差的偽視差圖；以及基于所述右圖像和左圖像以及所述偽視差圖 ，生成表示所述立體圖像的每個像素的視差的視差圖。
全文摘要
本發(fā)明提供了一種圖像處理設(shè)備、圖像處理方法以及程序。視差檢測單元生成表示由右圖像和左圖像構(gòu)成的圖像的每個像素的視差的視差圖，并且生成表示視差的可靠度的可靠度圖。深度信息估計單元基于右圖像和左圖像，生成表示圖像上的對象的深度的深度信息圖。深度視差轉(zhuǎn)換單元使用用來將深度信息轉(zhuǎn)換成視差信息的轉(zhuǎn)換式，將深度信息圖轉(zhuǎn)換成偽視差圖。視差合成單元基于可靠度圖對視差圖和偽視差圖進(jìn)行合成，以生成校正視差圖。本技術(shù)可應(yīng)用于圖像處理設(shè)備。
文檔編號H04N13/00GK102821290SQ20121017520
公開日2012年12月12日 申請日期2012年5月30日 優(yōu)先權(quán)日2011年6月6日
發(fā)明者緒形昌美, 森藤孝文, 牛木卓 申請人:索尼公司