圖像處理設(shè)備和圖像處理方法
【專利摘要】本發(fā)明提供一種圖像處理設(shè)備，包括深度生成單元，被配置為：基于當(dāng)前幀的圖像以及所述當(dāng)前幀的先前幀的圖像來生成指示所述先前幀的圖像中的深度方向上的被攝體的位置的深度圖像作為所述當(dāng)前幀的深度圖像。
【專利說明】圖像處理設(shè)備和圖像處理方法
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]該申請(qǐng)要求于2013年7月10日提交的日本優(yōu)先權(quán)專利申請(qǐng)JP2013-144504的利益，其完整內(nèi)容通過引用合并到此。
【技術(shù)領(lǐng)域】
[0003]本公開涉及圖像處理設(shè)備和圖像處理方法，更具體地說，涉及能夠使用先前幀的深度圖像來快速地生成深度圖像的圖像處理設(shè)備和圖像處理方法。
【背景技術(shù)】
[0004]已經(jīng)提出了用于使用指示在使用具有高精度的多個(gè)視點(diǎn)的圖像所生成的圖像中在深度方向上的被攝體的位置的深度圖像，并且使用運(yùn)動(dòng)作為各種應(yīng)用的用戶接口，通過圖像識(shí)別來檢測(cè)人類的臂、手、手指等的運(yùn)動(dòng)的技術(shù)。
[0005]在這些技術(shù)中，由于具有高精度的深度圖像是必需的，因此期望以比像素單位更小的子像素為單位來檢測(cè)深度方向上的位置。作為以子像素為單位檢測(cè)深度方向上的位置的方法，例如，存在這樣的方法:通過線性內(nèi)插等以偽方式來增加多個(gè)視點(diǎn)的圖像的分辨率，并且在增加分辨率之后使用所述多個(gè)視點(diǎn)的圖像來檢測(cè)深度方向上的位置。
[0006]還存在這樣的方法:基于指示在深度方向上以像素為單位檢測(cè)到的位置的函數(shù)以子像素為單位來內(nèi)插深度方向上的位置。還存在這樣的方法:通過相位限制校正方法來以子像素為單位檢測(cè)深度方向上的位置(例如，見JP2013-19801A)。
[0007]然而，當(dāng)以子像素為單位檢測(cè)深度方向上的位置時(shí)，計(jì)算量增加得比當(dāng)以像素為單位檢測(cè)深度方向上的位置時(shí)更多。因此，當(dāng)對(duì)整個(gè)屏幕執(zhí)行以子像素為單位檢測(cè)深度方向上的位置時(shí)，檢測(cè)時(shí)間可能增加，并且可能不以高幀速率生成深度圖像。因此，在上述技術(shù)中，難以充分地使用人類的臂、手、手指等的運(yùn)動(dòng)作為用戶接口。
[0008]另一方面，已經(jīng)提出了通過使用運(yùn)動(dòng)矢量而將具有大運(yùn)動(dòng)矢量的區(qū)域中的深度方向上的被攝體的位置設(shè)置為前位置并且將具有小運(yùn)動(dòng)矢量的區(qū)域中的深度方向上的被攝體的位置設(shè)置為后位置來容易地生成深度圖像的方法(例如，JP2000-261828A和JP2012-109788A)。
[0009]公開內(nèi)容
[0010]如上所述，當(dāng)對(duì)整個(gè)屏幕執(zhí)行以子像素為單位檢測(cè)深度方向上的位置時(shí)，檢測(cè)時(shí)間可能增加。因此，期望通過在一部分屏幕中至少不執(zhí)行深度方向上的位置的檢測(cè)來快速地生成深度圖像。
[0011]期望提供一種用于使用先前幀的深度圖像來快速地生成深度圖像的技術(shù)。
[0012]根據(jù)本公開的實(shí)施例，提供一種圖像處理設(shè)備，包括:深度生成單元，被配置為:基于當(dāng)前幀的圖像以及所述當(dāng)前幀的先前幀的圖像來生成指示所述先前幀的圖像中的深度方向上的被攝體的位置的深度圖像作為所述當(dāng)前幀的深度圖像。
[0013]根據(jù)本公開的實(shí)施例的圖像處理方法與根據(jù)本公開的實(shí)施例的圖像處理設(shè)備對(duì)應(yīng)。
[0014]根據(jù)本公開的實(shí)施例，基于當(dāng)前幀的圖像和所述當(dāng)前幀的先前幀的圖像來生成指示在所述先前幀的圖像中的深度方向上的被攝體的位置的深度圖像作為所述當(dāng)前幀的深度圖像。
[0015]可以通過使得計(jì)算機(jī)執(zhí)行程序來實(shí)現(xiàn)根據(jù)本公開的實(shí)施例的圖像處理設(shè)備。
[0016]為了實(shí)現(xiàn)根據(jù)本公開的實(shí)施例的圖像處理設(shè)備，計(jì)算機(jī)使得執(zhí)行的程序可以經(jīng)由傳輸介質(zhì)而發(fā)送或記錄在待提供的記錄介質(zhì)上。
[0017]根據(jù)本公開的實(shí)施例，可以使用先前幀的深度圖像來快速地生成深度圖像。
【專利附圖】
【附圖說明】
[0018]圖1是示出應(yīng)用本公開的第一實(shí)施例的圖像處理設(shè)備的配置的示例的框圖；
[0019]圖2是用于描述預(yù)測(cè)生成單元生成預(yù)測(cè)深度圖像的示圖；
[0020]圖3是用于描述圖1中的圖像處理設(shè)備的深度圖像生成處理的流程圖；
[0021]圖4是用于描述圖3的生成處理的細(xì)節(jié)的流程圖；
[0022]圖5是示出應(yīng)用本公開的第二實(shí)施例的圖像處理設(shè)備的配置的示例的框圖；
[0023]圖6是用于描述圖5中的深度生成單元所設(shè)置的搜索范圍的示圖；
[0024]圖7是用于描述圖5中的深度生成單元的生成處理的流程圖；
[0025]圖8是示出應(yīng)用本公開的第三實(shí)施例的圖像處理設(shè)備的配置的示例的框圖；
[0026]圖9是用于描述圖8中的深度生成單元81的生成處理的流程圖；
[0027]圖10是示出運(yùn)動(dòng)量與搜索范圍的尺寸之間的關(guān)系的示例的示圖；
[0028]圖11是示出應(yīng)用本公開的第四實(shí)施例的圖像處理設(shè)備的配置的示例的框圖；
[0029]圖12是示出先前幀和當(dāng)前幀的各標(biāo)準(zhǔn)視點(diǎn)之間的圖像的差異的示例的示圖；
[0030]圖13是示出深度值的生成頻率的示例的示圖；
[0031]圖14是用于描述圖11中的圖像處理設(shè)備的深度圖像生成處理的流程圖；
[0032]圖15是用于描述圖14的生成處理的細(xì)節(jié)的流程圖；
[0033]圖16是示出第一實(shí)施例至第四實(shí)施例的處理的總結(jié)表的示圖；
[0034]圖17是示出應(yīng)用本公開的實(shí)施例的編碼設(shè)備的配置的示例的框圖；
[0035]圖18是示出實(shí)施例的解碼設(shè)備的配置的示例的框圖；以及
[0036]圖19是示出計(jì)算機(jī)的硬件配置的示例的框圖。
【具體實(shí)施方式】
[0037]下文中，將參照附圖詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意，在該說明書和附圖中，以相同的附圖標(biāo)記來表示具有基本上相同功能和結(jié)構(gòu)的結(jié)構(gòu)要素，并且省略這些結(jié)構(gòu)要素的重復(fù)解釋。
[0038]<第一實(shí)施例>
[0039](應(yīng)用本公開的第一實(shí)施例的圖像處理設(shè)備的配置的示例)
[0040]圖1是示出應(yīng)用本公開的第一實(shí)施例的圖像處理設(shè)備的配置的示例的框圖。
[0041]圖1中的圖像處理設(shè)備10包括標(biāo)準(zhǔn)圖像獲取單元11、鄰近圖像獲取單元12、檢測(cè)單元13、幀存儲(chǔ)器14、預(yù)測(cè)生成單元15和深度生成單元16。圖像處理設(shè)備10使用多個(gè)視點(diǎn)的圖像來生成作為在各視點(diǎn)當(dāng)中充當(dāng)標(biāo)準(zhǔn)的一個(gè)視點(diǎn)的以子像素為單位的標(biāo)準(zhǔn)視點(diǎn)的深度圖像。
[0042]具體地說，圖像處理設(shè)備10的標(biāo)準(zhǔn)圖像獲取單元11獲取當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像。標(biāo)準(zhǔn)圖像獲取單元11將當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像提供給檢測(cè)單元13和深度生成單元16。
[0043]鄰近圖像獲取單元12獲取作為除了當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)之外的視點(diǎn)的鄰近視點(diǎn)的圖像。在本公開中，為了有助于描述，鄰近視點(diǎn)的數(shù)量假設(shè)為1，但可以是多個(gè)。鄰近圖像獲取單元12將當(dāng)前幀的鄰近視點(diǎn)的圖像提供給深度生成單元16。
[0044]檢測(cè)單元13保存從標(biāo)準(zhǔn)圖像獲取單元11提供的當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像。檢測(cè)單元13基于先前幀(其為當(dāng)前幀緊接的前一幀)的標(biāo)準(zhǔn)視點(diǎn)的圖像和當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像來檢測(cè)運(yùn)動(dòng)矢量作為指示各幀之間的改變的信息。具體地說，檢測(cè)單元13通過塊匹配方法而基于先前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像和當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像來檢測(cè)當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的所保存的圖像的每個(gè)像素的運(yùn)動(dòng)矢量。檢測(cè)單元13將運(yùn)動(dòng)矢量提供給預(yù)測(cè)生成單元15。
[0045]幀存儲(chǔ)器14通過一幀來保存從深度生成單元16提供的以子像素為單位的標(biāo)準(zhǔn)視點(diǎn)的深度圖像。幀存儲(chǔ)器14讀取所保存的以子像素為單位的先前幀的深度圖像，并且將深度圖像提供給預(yù)測(cè)生成單元15。
[0046]基于從檢測(cè)單元13提供的運(yùn)動(dòng)矢量，預(yù)測(cè)生成單元15將通過移動(dòng)從幀存儲(chǔ)器14提供的先前幀的深度圖像的每個(gè)子像素的像素值所獲得的值設(shè)置為當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像的每個(gè)子像素的像素值的預(yù)測(cè)值。因此，通過當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像的每個(gè)子像素的像素值的預(yù)測(cè)值來生成預(yù)測(cè)深度圖像。
[0047]在以此方式所生成的預(yù)測(cè)深度圖像中，出現(xiàn)在當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像中但不出現(xiàn)在先前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像中的遮擋區(qū)域產(chǎn)生。在預(yù)測(cè)深度圖像的遮擋區(qū)域中，不存在像素值。預(yù)測(cè)生成單元15將預(yù)測(cè)深度圖像和運(yùn)動(dòng)矢量提供給深度生成單元16。
[0048]深度生成單元16基于來自標(biāo)準(zhǔn)圖像獲取單元11的標(biāo)準(zhǔn)視點(diǎn)的圖像和來自鄰近圖像獲取單元12的鄰近視點(diǎn)的圖像而以像素為單位來生成指示預(yù)測(cè)深度圖像中不存在像素值的遮擋區(qū)域中的深度方向上的被攝體的位置的深度值。
[0049]具體地說，深度生成單元16將以像素為中心的鄰近視點(diǎn)的圖像的預(yù)定范圍設(shè)置為關(guān)于標(biāo)準(zhǔn)視點(diǎn)的圖像的遮擋區(qū)域的每個(gè)像素的搜索范圍。作為深度值，深度生成單元16通過將遮擋區(qū)域的每個(gè)像素與搜索范圍內(nèi)的像素進(jìn)行匹配來生成遮擋區(qū)域的每個(gè)像素與搜索范圍內(nèi)與遮擋區(qū)域的像素最相似的像素之間的距離。
[0050]深度生成單元16基于從預(yù)測(cè)生成單元15提供的運(yùn)動(dòng)矢量來將除了標(biāo)準(zhǔn)視點(diǎn)的圖像的遮擋區(qū)域之外的區(qū)域劃分為具有運(yùn)動(dòng)的區(qū)域和沒有運(yùn)動(dòng)的區(qū)域。深度生成單元16從預(yù)測(cè)深度圖像提取以子像素為單位的沒有運(yùn)動(dòng)的區(qū)域的像素值，并且將該像素值設(shè)置為以子像素為單位的沒有運(yùn)動(dòng)的區(qū)域的深度值。
[0051]深度生成單元16從預(yù)測(cè)深度圖像提取以子像素為單位的具有運(yùn)動(dòng)的區(qū)域的像素值，并且基于該像素值而生成以像素為單位的具有運(yùn)動(dòng)的區(qū)域的深度值。深度生成單元16基于以像素為單位的具有運(yùn)動(dòng)的區(qū)域和遮擋區(qū)域的深度值，通過內(nèi)插等而生成以子像素為單位的深度值。
[0052]深度生成單元16生成通過上述方式所獲得的以子像素為單位的沒有運(yùn)動(dòng)的區(qū)域、遮擋區(qū)域以及具有運(yùn)動(dòng)的區(qū)域的深度值設(shè)置為子像素的像素值的深度圖像，作為當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像。深度生成單元16輸出當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像，并且將該深度圖像提供給幀存儲(chǔ)器14。
[0053](生成預(yù)測(cè)深度圖像)
[0054]圖2是用于描述圖1中的預(yù)測(cè)生成單元15生成預(yù)測(cè)深度圖像的示圖。
[0055]在圖2的示例中，標(biāo)準(zhǔn)視點(diǎn)的圖像是字母作為背景而籃球作為前景的圖像?；@球在先前幀中出現(xiàn)在屏幕的右上側(cè)，而在當(dāng)前幀中出現(xiàn)在屏幕的中間。也就是說，在先前幀與當(dāng)前幀之間，籃球移動(dòng)到左下側(cè)。
[0056]在此情況下，籃球區(qū)域中的當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的每個(gè)像素的運(yùn)動(dòng)矢量是在圖2的中間如箭頭指示的每一個(gè)自身像素(self-pixel)從右上定向到左下的矢量，并且在除了籃球區(qū)域之外的區(qū)域中是O。
[0057]因此，預(yù)測(cè)生成單元15基于運(yùn)動(dòng)矢量來將先前幀的深度圖像的籃球區(qū)域中的子像素31的像素值移動(dòng)到左下。然后，預(yù)測(cè)生成單元15將子像素31的像素值設(shè)置為定位到位于當(dāng)前幀的預(yù)測(cè)深度圖像的子像素31的相同位置處的子像素41的左下的子像素42的像素值。同樣的操作也應(yīng)用于籃球區(qū)域中的其它子像素。
[0058]預(yù)測(cè)生成單元15將除了先前幀的深度圖像的籃球區(qū)域之外的區(qū)域中的子像素32的深度值設(shè)置為位于與當(dāng)前幀的預(yù)測(cè)深度圖像的子像素32相同的位置處的子像素43的像素值。同樣的操作也應(yīng)用于除了籃球區(qū)域之外的區(qū)域中的其它子像素。
[0059]結(jié)果，并非在作為除了當(dāng)前幀中的籃球區(qū)域之外的區(qū)域的遮擋區(qū)域44而是在先前幀中的籃球區(qū)域中生成預(yù)測(cè)深度圖像的像素值。
[0060](圖像處理設(shè)備的處理的描述)
[0061]圖3是用于描述圖1中的圖像處理設(shè)備10的深度圖像生成處理的流程圖。
[0062]在圖3的步驟Sll中，圖像處理設(shè)備10的標(biāo)準(zhǔn)圖像獲取單元11獲取當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像，鄰近圖像獲取單元12獲取當(dāng)前幀的鄰近視點(diǎn)的圖像。標(biāo)準(zhǔn)圖像獲取單元11將當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像提供給檢測(cè)單元13而且保存標(biāo)準(zhǔn)視點(diǎn)的圖像，并且將當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像提供給深度生成單元16。鄰近圖像獲取單元12將當(dāng)前幀的鄰近視點(diǎn)的圖像提供給深度生成單元16。
[0063]在步驟S12中，檢測(cè)單元13對(duì)所保存的先前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像與來自標(biāo)準(zhǔn)圖像獲取單元11的當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像進(jìn)行比較，并且檢測(cè)當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像的每個(gè)像素的運(yùn)動(dòng)矢量。檢測(cè)單元13將運(yùn)動(dòng)矢量提供給預(yù)測(cè)生成單元15。
[0064]在步驟S13中，幀存儲(chǔ)器14讀取所保存的以子像素為單位的先前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像，并且將該深度圖像提供給預(yù)測(cè)生成單元15。
[0065]在步驟S14中，預(yù)測(cè)生成單元15基于從檢測(cè)單元13提供的運(yùn)動(dòng)矢量和從幀存儲(chǔ)器14提供的先前幀的深度圖像來生成當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的預(yù)測(cè)深度圖像，如參照?qǐng)D2所描述的那樣。預(yù)測(cè)生成單元15將預(yù)測(cè)深度圖像和運(yùn)動(dòng)矢量提供給深度生成單元16。
[0066]在步驟S15中，深度生成單元16基于預(yù)測(cè)深度圖像來執(zhí)行生成當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像的生成處理。將參照以下將描述的圖4來描述生成處理的細(xì)節(jié)。
[0067]在步驟S16中，深度生成單元16輸出通過生成處理所生成的當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像，并且將該深度圖像提供給幀存儲(chǔ)器14而且保存該深度圖像。然后，處理結(jié)束。
[0068]圖4是用于描述圖3的步驟S15的生成處理的細(xì)節(jié)的流程圖。通過將當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像的每個(gè)像素設(shè)置為處理目標(biāo)像素來執(zhí)行生成處理。
[0069]在圖4的步驟S31中，深度生成單元16確定處理目標(biāo)像素的像素值是否出現(xiàn)在從預(yù)測(cè)生成單元15提供的預(yù)測(cè)深度圖像中。當(dāng)在步驟S31中確定像素值出現(xiàn)，也就是說，處理目標(biāo)像素出現(xiàn)在遮擋區(qū)域的外部時(shí)，處理進(jìn)入步驟S32。
[0070]在步驟S32中，深度生成單元16確定從預(yù)測(cè)生成單元15提供的處理目標(biāo)像素的運(yùn)動(dòng)矢量的運(yùn)動(dòng)量是否大于第一閾值(例如O)。
[0071]當(dāng)深度生成單元16在步驟S32中確定運(yùn)動(dòng)量大于第一閾值時(shí)，深度生成單元16確定處理目標(biāo)像素是具有運(yùn)動(dòng)的區(qū)域中的像素。然后，在步驟S33中，深度生成單元16從預(yù)測(cè)深度圖像提取以子像素為單位的處理目標(biāo)像素的像素值，并且基于該像素值來生成以像素為單位的處理目標(biāo)像素的深度值。然后，處理進(jìn)入步驟S35。
[0072]反之，當(dāng)在步驟S31中確定該值沒有出現(xiàn)，也就是說，處理目標(biāo)像素出現(xiàn)在遮擋區(qū)域中時(shí)，處理進(jìn)入步驟S34。
[0073]在步驟S34中，深度生成單元16基于來自標(biāo)準(zhǔn)圖像獲取單元11的標(biāo)準(zhǔn)視點(diǎn)的圖像和來自鄰近圖像獲取單元12的鄰近視點(diǎn)的圖像來生成以像素為單位的處理目標(biāo)像素的深度值。然后，處理進(jìn)入步驟S35。
[0074]在步驟S35中，深度生成單元16基于在步驟S33或步驟S34中所生成的以像素為單位的深度值，通過內(nèi)插等而生成以子像素為單位的深度值。然后，處理返回到圖3的步驟S15，并且處理進(jìn)入到步驟S16。
[0075]反之，當(dāng)深度生成單元16在步驟S32中確定運(yùn)動(dòng)量等于或小于第一閾值時(shí)，深度生成單元16確定處理目標(biāo)像素是沒有運(yùn)動(dòng)的區(qū)域的像素。然后，在步驟S36中，深度生成單元16從預(yù)測(cè)深度圖像提取以子像素為單位的處理目標(biāo)像素的像素值，并且將該像素值設(shè)置為以子像素為單位的處理目標(biāo)像素的深度值。然后，處理返回到圖3的步驟S15，并且處理進(jìn)入到步驟S16。
[0076]如上所述，圖像處理設(shè)備10基于當(dāng)前幀的圖像和先前幀的圖像來生成沒有運(yùn)動(dòng)的區(qū)域中的先前幀的深度值作為當(dāng)前幀的深度值。因此，無需在沒有運(yùn)動(dòng)的區(qū)域中生成深度值，并且可以快速地生成深度圖像。
[0077]圖像處理設(shè)備10基于具有運(yùn)動(dòng)的區(qū)域中的先前幀的深度值來生成以像素為單位的當(dāng)前幀的深度值。因此，無需檢測(cè)具有運(yùn)動(dòng)的區(qū)域中的以像素為單位的深度值，并且可以更快速地生成深度圖像。
[0078]<第二實(shí)施例>
[0079](應(yīng)用本公開的第二實(shí)施例的圖像處理設(shè)備的配置的示例)
[0080]圖5是示出應(yīng)用本技術(shù)的第二實(shí)施例的圖像處理設(shè)備的配置的示例的框圖。
[0081]對(duì)于與圖1中相同的圖5所示的構(gòu)成要素給出相同的附圖標(biāo)記。將適當(dāng)?shù)厥÷灾貜?fù)的描述。
[0082]圖5中的圖像處理設(shè)備60的配置與圖1中的圖像處理設(shè)備10的配置不同在于，提供深度生成單元61，而不是深度生成單元16。圖像處理設(shè)備60并不根據(jù)先前幀的深度值來生成具有運(yùn)動(dòng)的區(qū)域中的以像素為單位的當(dāng)前幀的深度值，而是基于先前幀的深度值來限定搜索范圍。
[0083]具體地說，如在深度生成單元16中那樣，圖像處理設(shè)備60的深度生成單元61基于標(biāo)準(zhǔn)視點(diǎn)的圖像和鄰近視點(diǎn)的圖像來生成以像素為單位的遮擋區(qū)域的深度值。如在深度生成單元16中那樣，深度生成單元61基于運(yùn)動(dòng)矢量來將除了標(biāo)準(zhǔn)視點(diǎn)的圖像的遮擋區(qū)域之外的區(qū)域劃分為具有運(yùn)動(dòng)的區(qū)域和沒有運(yùn)動(dòng)的區(qū)域。
[0084]深度生成單元61從預(yù)測(cè)深度圖像提取以子像素為單位的具有運(yùn)動(dòng)的區(qū)域的像素值。作為關(guān)于具有運(yùn)動(dòng)的區(qū)域的每個(gè)像素的搜索范圍，深度生成單元61基于像素的預(yù)測(cè)值來設(shè)置具有關(guān)于遮擋區(qū)域比正常尺寸(其為鄰近視點(diǎn)的圖像的搜索范圍的尺寸)更小的尺寸的范圍。作為深度值，深度生成單元61通過將具有運(yùn)動(dòng)的區(qū)域的每個(gè)像素與搜索范圍內(nèi)的像素進(jìn)行匹配來生成具有運(yùn)動(dòng)的區(qū)域的每個(gè)像素與搜索范圍內(nèi)與具有運(yùn)動(dòng)的區(qū)域的像素最相似的像素之間的距離。
[0085]深度生成單元61基于以像素為單位的具有運(yùn)動(dòng)的區(qū)域和遮擋區(qū)域的深度值，通過內(nèi)插等而生成以子像素為單位的深度值。如在深度生成單元16中那樣，深度生成單元61從預(yù)測(cè)深度圖像提取以子像素為單位的沒有運(yùn)動(dòng)的區(qū)域的像素值，并且將該像素值設(shè)置為以子像素為單位的沒有運(yùn)動(dòng)的區(qū)域的深度值。
[0086]深度生成單元61生成通過上述方式所獲得的以子像素為單位的沒有運(yùn)動(dòng)的區(qū)域、遮擋區(qū)域以及具有運(yùn)動(dòng)的區(qū)域的深度值設(shè)置為子像素的像素值的深度圖像，作為當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像。深度生成單元61輸出當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像，并且將該深度圖像提供給幀存儲(chǔ)器14。
[0087](搜索范圍的描述)
[0088]圖6是用于描述圖5中的深度生成單元61所設(shè)置的搜索范圍的示圖。
[0089]在圖6的示例中，標(biāo)準(zhǔn)視點(diǎn)和鄰近視點(diǎn)的圖像是字母作為背景而籃球作為前景的圖像?；@球在先前幀中出現(xiàn)在屏幕的右上側(cè)，而在當(dāng)前幀中出現(xiàn)在屏幕的中間。也就是說，在先前幀與當(dāng)前幀之間，籃球移動(dòng)到左下側(cè)。
[0090]在此情況下，當(dāng)前幀的圖像中的籃球的區(qū)域是具有運(yùn)動(dòng)的區(qū)域。作為具有運(yùn)動(dòng)的區(qū)域內(nèi)的像素71的搜索范圍，并不設(shè)置具有以像素71為中心的鄰近視點(diǎn)的圖像的正常尺寸的范圍75，而設(shè)置基于像素71的像素值的具有比正常尺寸更小的尺寸的范圍76。范圍76是例如在水平方向上與像素71分離開了與像素71的預(yù)測(cè)值對(duì)應(yīng)的距離的、以像素71的位置為中心的、具有比正常尺寸更小的尺寸的范圍。
[0091]作為除了當(dāng)前幀中的籃球的區(qū)域之外的區(qū)域以及作為先前幀中的籃球的區(qū)域的區(qū)域是遮擋區(qū)域72。遮擋區(qū)域72的像素73的搜索范圍是以像素73為中心的鄰近視點(diǎn)的圖像的具有正常尺寸的范圍77。
[0092]由于像素74的運(yùn)動(dòng)矢量是0，因此并不設(shè)置作為除了當(dāng)前幀和先前幀二者的籃球區(qū)域之外的區(qū)域的區(qū)域內(nèi)的像素74的搜索范圍，而且不生成像素74的深度值。像素74的深度值被看作是位于與當(dāng)前幀的預(yù)測(cè)深度圖像的像素74相同的位置處的子像素的像素值。
[0093](圖像處理設(shè)備的處理的描述)
[0094]除了步驟S15的生成處理之外，圖5中的圖像處理設(shè)備60的深度圖像生成處理與圖3中的深度圖像生成處理相同。因此，以下將僅描述生成處理。
[0095]圖7是用于描述圖像處理設(shè)備60的深度生成單元61 (圖5)的生成處理的流程圖。通過將當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像的每個(gè)像素設(shè)置為處理目標(biāo)像素來執(zhí)行生成處理。
[0096]由于圖7的步驟S51和步驟S52的處理與圖4的步驟S31和步驟S32的處理相同，因此將省略其描述。
[0097]在步驟S53中，深度生成單元61在具有處理目標(biāo)像素的鄰近視點(diǎn)的圖像中基于預(yù)測(cè)深度圖像中以子像素為單位的處理目標(biāo)像素的像素值來匹配具有比正常尺寸更小的尺寸的搜索范圍內(nèi)的像素。然后，深度生成單元61生成距搜索范圍內(nèi)與處理目標(biāo)像素最相似的像素的距離作為深度值，然后，處理進(jìn)入步驟S55。
[0098]反之，當(dāng)在步驟S51中確定像素值沒有出現(xiàn)，也就是說，處理目標(biāo)像素出現(xiàn)在遮擋區(qū)域內(nèi)時(shí)，處理進(jìn)入步驟S54。在步驟S54中，深度生成單元61對(duì)具有正常尺寸的搜索范圍內(nèi)的鄰近視點(diǎn)的圖像的像素與處理目標(biāo)像素進(jìn)行匹配。然后，深度生成單元61生成距搜索范圍內(nèi)與處理目標(biāo)像素最相似的像素的距離作為深度值，然后，處理進(jìn)入步驟S55。
[0099]當(dāng)深度生成單元61在步驟S52中確定運(yùn)動(dòng)量等于或小于第一閾值時(shí)，深度生成單元61確定處理目標(biāo)像素是沒有運(yùn)動(dòng)的區(qū)域的像素。然后，處理進(jìn)入步驟S56。
[0100]由于步驟S55和步驟S56的處理與圖4的步驟S35和步驟S36的處理相同，因此將省略其描述。
[0101]如上所述，圖像處理設(shè)備60基于預(yù)測(cè)值來將在生成具有運(yùn)動(dòng)的區(qū)域中以像素為單位的當(dāng)前幀的深度值時(shí)的搜索范圍限定為具有比正常尺寸更小的尺寸的范圍。因此，在生成具有運(yùn)動(dòng)的區(qū)域中以像素為單位的深度值時(shí)的計(jì)算量減少，因此可以更快速地生成深度圖像。
[0102]〈第三實(shí)施例〉
[0103](應(yīng)用本公開的第三實(shí)施例的圖像處理設(shè)備的配置的示例)
[0104]圖8是示出應(yīng)用本公開的第三實(shí)施例的圖像處理設(shè)備的配置的示例的框圖。
[0105]對(duì)于與圖1中相同的圖8所示的構(gòu)成要素給出相同的附圖標(biāo)記。將適當(dāng)?shù)厥÷灾貜?fù)的描述。
[0106]圖8中的圖像處理設(shè)備80的配置與圖1中的圖像處理設(shè)備10的配置不同在于，提供深度生成單元81，而不是深度生成單元16。圖像處理設(shè)備80僅在具有小運(yùn)動(dòng)的區(qū)域中基于先前幀的深度值來限定搜索范圍。
[0107]具體地說，如在深度生成單元16中那樣，圖像處理設(shè)備80的深度生成單元81基于運(yùn)動(dòng)矢量來將除了標(biāo)準(zhǔn)視點(diǎn)的圖像的遮擋區(qū)域之外的區(qū)域劃分為具有運(yùn)動(dòng)的區(qū)域和沒有運(yùn)動(dòng)的區(qū)域。深度生成單元81基于運(yùn)動(dòng)矢量進(jìn)一步將具有運(yùn)動(dòng)的區(qū)域劃分為具有小運(yùn)動(dòng)的區(qū)域和具有大運(yùn)動(dòng)的區(qū)域。
[0108]深度生成單元81通過使用標(biāo)準(zhǔn)視點(diǎn)的圖像和鄰近視點(diǎn)的圖像而在遮擋區(qū)域和具有大運(yùn)動(dòng)的區(qū)域中的具有正常尺寸的搜索范圍中執(zhí)行匹配來生成以像素為單位的深度值。
[0109]深度生成單元81從預(yù)測(cè)深度圖像提取以子像素為單位的具有小運(yùn)動(dòng)的區(qū)域的像素值。作為具有小運(yùn)動(dòng)的區(qū)域的每個(gè)像素的搜索范圍，深度生成單元81基于像素的預(yù)測(cè)值來設(shè)置具有比鄰近視點(diǎn)的圖像的正常尺寸更小的尺寸的范圍。作為深度值，深度生成單元81通過執(zhí)行具有小運(yùn)動(dòng)的區(qū)域的每個(gè)像素與搜索范圍內(nèi)的像素的匹配來生成具有小運(yùn)動(dòng)的區(qū)域的每個(gè)像素與搜索范圍內(nèi)與具有小運(yùn)動(dòng)的區(qū)域的像素最相似的像素之間的距離。
[0110]深度生成單元81基于以像素為單位的遮擋區(qū)域、具有大運(yùn)動(dòng)的區(qū)域和具有小運(yùn)動(dòng)的區(qū)域的深度值而通過內(nèi)插等來生成以子像素為單位的深度值。如在深度生成單元16中那樣，深度生成單元81從預(yù)測(cè)深度圖像提取以子像素為單位的沒有運(yùn)動(dòng)的區(qū)域的像素值，并且將該像素值設(shè)置為以子像素為單位的沒有運(yùn)動(dòng)的區(qū)域的深度值。
[0111]深度生成單元81生成以上述方式所獲得的以子像素為單位的沒有運(yùn)動(dòng)的區(qū)域、遮擋區(qū)域、具有大運(yùn)動(dòng)的區(qū)域和具有小運(yùn)動(dòng)的區(qū)域的深度值設(shè)置為子像素的像素值的深度圖像，作為當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像。深度生成單元81輸出當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像，并且將該深度圖像提供給幀存儲(chǔ)器14。
[0112](圖像處理設(shè)備的處理的描述)
[0113]除了步驟S15的生成處理之外，圖8中的圖像處理設(shè)備80的深度圖像生成處理與圖3中的深度圖像生成處理相同。因此，以下將僅描述生成處理。
[0114]圖9是用于描述圖像處理設(shè)備80的深度生成單元81 (圖8)的生成處理的流程圖。通過將當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像的每個(gè)像素設(shè)置為處理目標(biāo)像素來執(zhí)行生成處理。
[0115]由于圖9的步驟S71和步驟S72的處理與圖4的步驟S31和步驟S32的處理相同，因此將省略其描述。
[0116]當(dāng)深度生成單元81在步驟S72確定運(yùn)動(dòng)量大于第一閾值時(shí)，深度生成單元81在步驟S73確定處理目標(biāo)像素的運(yùn)動(dòng)矢量的運(yùn)動(dòng)量是否小于或等于比第一閾值更大的第二閾值。當(dāng)深度生成單元81在步驟S73中確定運(yùn)動(dòng)量小于或等于第二閾值，也就是說，運(yùn)動(dòng)量大于第一閾值并且等于或小于第二閾值時(shí)，深度生成單元81確定處理目標(biāo)像素是具有小運(yùn)動(dòng)的區(qū)域中的像素。然后，處理進(jìn)入步驟S74。
[0117]反之，當(dāng)深度生成單元81在步驟S73中確定運(yùn)動(dòng)量并非等于或小于第二閾值，也就是說，運(yùn)動(dòng)量大于第二閾值時(shí)，深度生成單元81確定處理目標(biāo)像素是具有大運(yùn)動(dòng)的區(qū)域的像素。然后，處理進(jìn)入步驟S75。
[0118]由于步驟S74和步驟S77的處理與圖7的步驟S53和步驟S56的處理相同，因此將省略其描述。
[0119]如上所述，圖像處理設(shè)備80僅在具有小運(yùn)動(dòng)的區(qū)域中基于預(yù)測(cè)值并且以在具有運(yùn)動(dòng)的各區(qū)域之間的預(yù)測(cè)值的高可靠性來將搜索范圍限定為具有比正常尺寸更小的尺寸的范圍。因此，可以比在圖像處理設(shè)備60中更多地改進(jìn)深度圖像的精度。
[0120](搜索范圍的尺寸的另一示例)
[0121]第二實(shí)施例和第三實(shí)施例中的所限定的搜索范圍的尺寸可以是固定的，或可以是可變的。當(dāng)所限定的搜索范圍的尺寸是可變的時(shí)，根據(jù)例如運(yùn)動(dòng)量來設(shè)置尺寸。
[0122]圖10是示出在此情況下的運(yùn)動(dòng)量與搜索范圍的尺寸之間的關(guān)系的示例的示圖。
[0123]在圖10中，圖表的水平軸表示運(yùn)動(dòng)量，而垂直軸表示當(dāng)搜索范圍的中心設(shè)置為O時(shí)在搜索范圍的水平方向和垂直方向上的位置。
[0124]在圖10的示例中，當(dāng)運(yùn)動(dòng)量等于或大于O并且小于B時(shí)，在水平方向和垂直方向上的搜索范圍的長度是2DB。此外，當(dāng)運(yùn)動(dòng)量等于或大于B并且小于A時(shí)，在水平方向和垂直方向上的搜索范圍的長度與運(yùn)動(dòng)量成比例而變?yōu)榇笥?DB。當(dāng)運(yùn)動(dòng)量是A時(shí)，搜索范圍的長度是2DA。當(dāng)運(yùn)動(dòng)量大于A時(shí)，在水平方向和垂直方向上的搜索范圍的長度是2DA。
[0125]〈第四實(shí)施例〉
[0126](應(yīng)用本公開的第四實(shí)施例的圖像處理設(shè)備的配置的示例)
[0127]圖11是示出應(yīng)用本公開的第四實(shí)施例的圖像處理設(shè)備的配置的示例的框圖。
[0128]對(duì)于與圖1中相同的圖11所示的構(gòu)成要素給出相同的附圖標(biāo)記。將適當(dāng)?shù)厥÷灾貜?fù)的描述。
[0129]圖11中的圖像處理設(shè)備100的配置與圖1中的圖像處理設(shè)備10的配置不同在于，提供檢測(cè)單元101、預(yù)測(cè)生成單元102和深度生成單元103，而不是檢測(cè)單元13、預(yù)測(cè)生成單元15和深度生成單元16。圖像處理設(shè)備100基于作為指示各幀之間的標(biāo)準(zhǔn)視點(diǎn)的圖像的改變的信息的差來確定深度值的生成頻率。
[0130]具體地說，檢測(cè)單元101保存從標(biāo)準(zhǔn)圖像獲取單元11提供的當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像。檢測(cè)單元101以像素為單位檢測(cè)所保存的先前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像與當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像之間的差異，并且將該差異提供給預(yù)測(cè)生成單元102。
[0131]基于從檢測(cè)單元101提供的差異，預(yù)測(cè)生成單元102對(duì)于標(biāo)準(zhǔn)視點(diǎn)的圖像的每個(gè)像素，將指示更新(生成)深度值的更新標(biāo)記設(shè)置為正或負(fù)。預(yù)測(cè)生成單元102將作為預(yù)測(cè)深度圖像的從幀存儲(chǔ)器14提供的先前幀的深度圖像提供給深度生成單元103，并且將每個(gè)像素的更新標(biāo)記提供給深度生成單元103。
[0132]基于從預(yù)測(cè)生成單元102提供的更新標(biāo)記，深度生成單元103對(duì)每個(gè)像素的更新標(biāo)記連續(xù)為負(fù)的次數(shù)進(jìn)行計(jì)數(shù)。深度生成單元103基于來自標(biāo)準(zhǔn)圖像獲取單元11的標(biāo)準(zhǔn)視點(diǎn)的圖像和來自鄰近圖像獲取單元12的鄰近視點(diǎn)的圖像來生成以像素為單位的更新標(biāo)記為正的像素的深度值。
[0133]深度生成單元103基于標(biāo)準(zhǔn)視點(diǎn)的圖像和鄰近視點(diǎn)的圖像來生成以像素為單位的更新標(biāo)記為負(fù)并且更新標(biāo)記連續(xù)為負(fù)的次數(shù)是預(yù)定次數(shù)(在此，10次)的像素的深度值。深度生成單元103基于所生成的以像素為單位的深度值而通過內(nèi)插等來生成以子像素為單位的深度值。
[0134]深度生成單元103將以子像素為單位的預(yù)測(cè)深度圖像的像素值設(shè)置為以子像素為單位的更新標(biāo)記為負(fù)并且更新標(biāo)記連續(xù)為負(fù)的次數(shù)不是預(yù)定次數(shù)的像素的深度值。
[0135]深度生成單元103生成通過上述方式所獲得的以子像素為單位的標(biāo)準(zhǔn)視點(diǎn)的圖像的每個(gè)像素的深度值設(shè)置為每個(gè)子像素的像素值的深度圖像作為當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像。深度生成單元103輸出當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像，并且將該深度圖像提供給幀存儲(chǔ)器14。
[0136](差的示例)
[0137]圖12是示出先前幀和當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的各圖像之間的差的示例的示圖。
[0138]在圖12的示例中，標(biāo)準(zhǔn)視點(diǎn)的圖像是字母作為背景而籃球作為前景的圖像?；@球在先前幀中出現(xiàn)在屏幕的右上側(cè)，而在當(dāng)前幀中出現(xiàn)在屏幕的中間。也就是說，在先前幀與當(dāng)前幀之間，籃球移動(dòng)到左下側(cè)。
[0139]在此情況下，先前幀和當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的各圖像之間的差異增加到圖12中的對(duì)角線所指示的先前幀和當(dāng)前幀的籃球的區(qū)域111。此外，圖12的右側(cè)上的小矩形指示像素。
[0140](深度值的生成頻率的示例)
[0141]圖13是示出深度值的生成頻率的示例的示圖。
[0142]在圖13中，圖表的水平軸表示先前幀和當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的各圖像之間的差，垂直軸表示當(dāng)一幀的頻率為I時(shí)的深度值的生成頻率。
[0143]在圖13的示例中，當(dāng)差等于或大于O并且等于或小于閾值Th時(shí)，深度值的生成頻率是1/10。當(dāng)差大于閾值Th時(shí),深度值的生成頻率是I。也就是說，當(dāng)差等于或大于O并且等于或小于閾值Th時(shí)，先前幀的深度值被看作是9倍到10倍的比例的當(dāng)前幀的深度值。當(dāng)差大于閾值Th時(shí),在每個(gè)幀中不使用先前幀的深度值。
[0144](圖像處理設(shè)備的處理的描述)
[0145]圖14是用于描述圖11中的圖像處理設(shè)備100的深度圖像生成處理的流程圖。
[0146]在圖14的步驟S91中，圖像處理設(shè)備100的標(biāo)準(zhǔn)圖像獲取單元11獲取當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像，鄰近圖像獲取單元12獲取當(dāng)前幀的鄰近視點(diǎn)的圖像。標(biāo)準(zhǔn)圖像獲取單元11將當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像提供給檢測(cè)單元101而且保存標(biāo)準(zhǔn)視點(diǎn)的圖像，并且將當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像提供給深度生成單元103。鄰近圖像獲取單元12將當(dāng)前幀的鄰近視點(diǎn)的圖像提供給深度生成單元103。
[0147]在步驟S92中，檢測(cè)單元101以像素為單位檢測(cè)所保存的先前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像與當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像之間的差異，并且將該差異提供給預(yù)測(cè)生成單元102。
[0148]在步驟S93中，幀存儲(chǔ)器14讀取所保存的以子像素為單位的先前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像，并且將該深度圖像提供給預(yù)測(cè)生成單元192。
[0149]在步驟S94中，預(yù)測(cè)生成單元102將從檢測(cè)單元101提供的差等于或大于O并且等于或小于閾值Th的像素的更新標(biāo)記設(shè)置為負(fù)，并且將差大于閾值Th的像素的更新標(biāo)記設(shè)置為正。
[0150]在步驟S95中，預(yù)測(cè)生成單元102將作為預(yù)測(cè)深度圖像的從幀存儲(chǔ)器14提供的先前幀的深度圖像提供給深度生成單元103，并且將每個(gè)像素的更新標(biāo)記提供給深度生成單元 103。
[0151]在步驟S96中，深度生成單元103基于預(yù)測(cè)深度圖像來執(zhí)行生成當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像的生成處理。將參照以下待描述的圖15來描述生成處理的細(xì)節(jié)。
[0152]在步驟S97中，深度生成單元103輸出通過生成處理所生成的當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的深度圖像，并且將該深度圖像提供給幀存儲(chǔ)器14而且保存該深度圖像。然后，處理結(jié)束。
[0153]圖15是用于描述圖14的步驟S96的生成處理的細(xì)節(jié)的流程圖。通過將當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的圖像的每個(gè)像素設(shè)置為處理目標(biāo)像素來執(zhí)行生成處理。
[0154]在圖15的步驟Slll中，深度生成單元103確定處理目標(biāo)像素的更新標(biāo)記是否為正。當(dāng)在步驟Slll中確定更新標(biāo)記不為正，也就是說，更新標(biāo)記為負(fù)時(shí)，處理進(jìn)入到步驟S112。
[0155]在步驟SI 12中，深度生成單元103將更新標(biāo)記的次數(shù)連續(xù)為負(fù)的計(jì)數(shù)值僅增加I。計(jì)數(shù)值的初始值是O。
[0156]在步驟S113中，深度生成單元103確定計(jì)數(shù)值是否為10。當(dāng)在步驟S113中確定計(jì)數(shù)值不為10，也就是說，確定更新標(biāo)記并非連續(xù)為負(fù)10次時(shí)，處理進(jìn)入到步驟S114。
[0157]在步驟S114中，深度生成單元103從提供自預(yù)測(cè)生成單元102的預(yù)測(cè)深度圖像提取以子像素為單位的處理目標(biāo)像素的像素值，并且將該像素值設(shè)置為深度值。然后，處理返回到圖14的步驟S96，并且處理進(jìn)入到步驟S97。
[0158]反之，當(dāng)在步驟Slll中確定更新標(biāo)記為正或在步驟S113中確定計(jì)數(shù)值為10時(shí)，深度生成單元103在步驟S115中將計(jì)數(shù)值改變?yōu)镺。
[0159]在步驟SI 16中，深度生成單元103基于來自標(biāo)準(zhǔn)圖像獲取單元11的標(biāo)準(zhǔn)視點(diǎn)的圖像和來自鄰近圖像獲取單元12的鄰近視點(diǎn)的圖像來生成以像素為單位的處理目標(biāo)像素的深度值。然后，深度生成單元103基于以像素為單位的處理目標(biāo)像素的深度值來生成以子像素為單位的深度值。然后，處理返回到圖14的步驟S96，并且處理進(jìn)入到步驟S97。
[0160]如上所述，圖像處理設(shè)備100基于當(dāng)前幀的圖像和先前幀的圖像來生成差很小的區(qū)域中的先前幀的深度值作為當(dāng)前幀的深度值。因此，無需在差很小的區(qū)域中生成深度值，并且可以快速地生成深度圖像。
[0161]由于圖像處理設(shè)備100甚至在差很小的區(qū)域中以比差很大的區(qū)域的頻率更小的頻率來生成深度值，因此可以改進(jìn)深度圖像的精度。
[0162]如上所述，差很小的區(qū)域的深度值的生成頻率不限于每10幀I次。此外，如上所述，差很大的深度值的生成頻率不限于每個(gè)幀。
[0163]<第一實(shí)施例至第四實(shí)施例的總結(jié)>
[0164]圖16是示出第一實(shí)施例至第四實(shí)施例的處理的總結(jié)表的示圖。
[0165]如圖16所示，在第一實(shí)施例至第三實(shí)施例中，處理在遮擋區(qū)域與除了遮擋區(qū)域之外的區(qū)域之間是不同的。此外，在除了遮擋區(qū)域之外的區(qū)域中，處理在沒有運(yùn)動(dòng)的區(qū)域與具有運(yùn)動(dòng)的區(qū)域之間是不同的。在第三實(shí)施例中，在具有運(yùn)動(dòng)的區(qū)域中，處理在具有小運(yùn)動(dòng)的區(qū)域與具有大運(yùn)動(dòng)的區(qū)域之間是不同的。
[0166]具體地說，在第一實(shí)施例中，在除了遮擋區(qū)域之外的區(qū)域中的沒有運(yùn)動(dòng)的區(qū)域中，以子像素為單位的先前幀的深度值用作以子像素為單位的當(dāng)前幀的深度值。另一方面，在具有運(yùn)動(dòng)的區(qū)域中，根據(jù)以子像素為單位的先前幀的深度值生成以像素為單位的當(dāng)前幀的深度值，并且基于以像素為單位的深度值來生成以子像素為單位的深度值。
[0167]在遮擋區(qū)域中，通過匹配來生成以像素為單位的當(dāng)前幀的深度值，并且基于以像素為單位的深度值來生成以子像素為單位的深度值。
[0168]在第二實(shí)施例中，在除了遮擋區(qū)域之外的區(qū)域中的沒有運(yùn)動(dòng)的區(qū)域中，如在第一實(shí)施例中那樣，以子像素為單位的先前幀的深度值用作以子像素為單位的當(dāng)前幀的深度值。另一方面，在具有運(yùn)動(dòng)的區(qū)域中，基于以子像素為單位的先前幀的深度值來設(shè)置具有比正常尺寸更小的尺寸的搜索范圍，并且在搜索范圍中執(zhí)行匹配。然后，基于作為匹配結(jié)果而獲得的以像素為單位的深度值來生成以子像素為單位的深度值。
[0169]在遮擋區(qū)域中，通過在具有正常尺寸的搜索范圍中執(zhí)行匹配來生成以像素為單位的當(dāng)前幀的深度值，并且基于以像素為單位的深度值來生成以子像素為單位的深度值。
[0170]在第三實(shí)施例中，在除了遮擋區(qū)域之外的區(qū)域中的沒有運(yùn)動(dòng)的區(qū)域中，如在第一實(shí)施例中那樣，以子像素為單位的先前幀的深度值用作以子像素為單位的當(dāng)前幀的深度值。另一方面，在作為具有運(yùn)動(dòng)的區(qū)域和具有小運(yùn)動(dòng)的區(qū)域的區(qū)域中，如第二實(shí)施例的具有運(yùn)動(dòng)的區(qū)域的情況下那樣，在具有比正常尺寸更小的尺寸的搜索范圍中生成以子像素為單位的深度值。
[0171]在作為具有運(yùn)動(dòng)的區(qū)域和作為具有大運(yùn)動(dòng)的區(qū)域的區(qū)域以及遮擋區(qū)域中，如第二實(shí)施例的遮擋區(qū)域的情況下那樣，在具有正常尺寸的搜索范圍中生成以子像素為單位的深度值。
[0172]在第四實(shí)施例中，處理在先前幀和當(dāng)前幀的標(biāo)準(zhǔn)視點(diǎn)的各圖像之間的差很大以及很小的區(qū)域中是不同的。
[0173]具體地說，在差很大的區(qū)域中，按每個(gè)幀生成以子像素為單位的深度值。另一方面，在差很小的區(qū)域中，每10幀一次生成以子像素為單位的深度值。
[0174]〈第五實(shí)施例〉
[0175](應(yīng)用本公開的實(shí)施例的編碼設(shè)備的配置的示例)
[0176]圖17是示出應(yīng)用本公開的實(shí)施例的編碼設(shè)備的配置的示例的框圖。
[0177]圖17中的編碼設(shè)備120包括標(biāo)準(zhǔn)圖像獲取單元121、鄰近圖像獲取單元122、深度圖像生成單元123和編碼單元124。編碼設(shè)備120對(duì)標(biāo)準(zhǔn)視點(diǎn)的圖像、鄰近視點(diǎn)的圖像以及標(biāo)準(zhǔn)視點(diǎn)的深度圖像進(jìn)行編碼。
[0178]編碼設(shè)備120的標(biāo)準(zhǔn)圖像獲取單元121獲取外部成像設(shè)備(未示出)所捕獲的標(biāo)準(zhǔn)視點(diǎn)的圖像，并且將標(biāo)準(zhǔn)視點(diǎn)的圖像提供給深度圖像生成單元123和編碼單元124。
[0179]鄰近圖像獲取單元122獲取外部成像設(shè)備(未示出)所捕獲的鄰近視點(diǎn)的圖像，并且將鄰近視點(diǎn)的圖像提供給深度圖像生成單元123和編碼單元124。
[0180]深度圖像生成單元123由根據(jù)第一實(shí)施例至第四實(shí)施例的上述圖像處理設(shè)備配置。深度圖像生成單元123基于來自標(biāo)準(zhǔn)圖像獲取單元121的標(biāo)準(zhǔn)視點(diǎn)的圖像和來自鄰近圖像獲取單元122的鄰近視點(diǎn)的圖像來生成標(biāo)準(zhǔn)視點(diǎn)的深度圖像，并且將標(biāo)準(zhǔn)視點(diǎn)的深度圖像提供給編碼單元124。
[0181]編碼單元124對(duì)來自標(biāo)準(zhǔn)圖像獲取單元121的標(biāo)準(zhǔn)視點(diǎn)的圖像、來自鄰近圖像獲取單元122的鄰近視點(diǎn)的圖像和來自深度圖像生成單元123的深度圖像進(jìn)行編碼。作為對(duì)深度圖像進(jìn)行編碼的方案，可以使用高級(jí)視頻編碼(AVC)方案、多視角視頻編碼(MVC)方案、高效視頻編碼(HEVC)方案等。編碼單元124發(fā)送作為編碼結(jié)果所獲得的編碼流。
[0182](根據(jù)實(shí)施例的解碼設(shè)備的配置的示例)
[0183]圖18是示出根據(jù)實(shí)施例的對(duì)圖17中的編碼設(shè)備120所生成的編碼流進(jìn)行解碼的解碼設(shè)備的配置的示例的框圖。
[0184]圖18中的解碼設(shè)備140包括解碼單元141、標(biāo)準(zhǔn)圖像輸出單元142、鄰近圖像輸出單元143和深度圖像輸出單元144。
[0185]解碼設(shè)備140的解碼單元141獲取從編碼設(shè)備120發(fā)送的編碼流。解碼單元141根據(jù)與編碼設(shè)備120的編碼方案對(duì)應(yīng)的方案來對(duì)編碼流進(jìn)行解碼，以生成標(biāo)準(zhǔn)視點(diǎn)的圖像、鄰近視點(diǎn)的圖像和標(biāo)準(zhǔn)視點(diǎn)的深度圖像。解碼單元141將標(biāo)準(zhǔn)視點(diǎn)的圖像提供給標(biāo)準(zhǔn)圖像輸出單元142，將鄰近視點(diǎn)的圖像提供給鄰近圖像輸出單元143，并且將標(biāo)準(zhǔn)視點(diǎn)的深度圖像提供給深度圖像輸出單元144。
[0186]標(biāo)準(zhǔn)圖像輸出單元142輸出從解碼單元141提供的標(biāo)準(zhǔn)視點(diǎn)的圖像。鄰近圖像輸出單元143輸出從解碼單元141提供的鄰近視點(diǎn)的圖像。深度圖像輸出單元144輸出從解碼單元141提供的深度圖像。
[0187]〈第六實(shí)施例〉
[0188](應(yīng)用本公開的計(jì)算機(jī)的配置示例)
[0189]上述一系列處理可以由硬件執(zhí)行，而且也可以由軟件執(zhí)行。當(dāng)一系列處理由軟件執(zhí)行時(shí)，構(gòu)成該軟件的程序安裝到計(jì)算機(jī)。在此，表述“計(jì)算機(jī)”包括當(dāng)安裝各種程序時(shí)能夠執(zhí)行各種功能的含有專用硬件的計(jì)算機(jī)以及通用個(gè)人計(jì)算機(jī)等。
[0190]圖19是示出根據(jù)程序來執(zhí)行上述一系列處理的計(jì)算機(jī)的硬件的示例配置的框圖。
[0191]在計(jì)算機(jī)中，中央處理單元(CPU) 201、只讀存儲(chǔ)器(ROM) 202和隨機(jī)存取存儲(chǔ)器(RAM) 203由總線204彼此連接。
[0192]輸入/輸出接口 205也連接到總線204。輸入單元206、輸出單元207、存儲(chǔ)單元208、通信單元209和驅(qū)動(dòng)器210連接到輸入/輸出接口 205。
[0193]從鍵盤、鼠標(biāo)、麥克風(fēng)等配置輸入單元206。從顯示器、揚(yáng)聲器等配置輸出單元207。從硬盤、非易失性存儲(chǔ)器等配置存儲(chǔ)單元208。從網(wǎng)絡(luò)接口等配置通信單元209。驅(qū)動(dòng)器210驅(qū)動(dòng)可拆卸介質(zhì)211 (例如磁盤、光盤、磁光盤、半導(dǎo)體存儲(chǔ)器等)。
[0194]在如上所述而配置的計(jì)算機(jī)中，CPU201經(jīng)由輸入/輸出接口 205和總線204將存儲(chǔ)在例如存儲(chǔ)單元208中的程序加載到RAM203上，并且執(zhí)行該程序。因此，上述處理序列得以執(zhí)行。
[0195]待由計(jì)算機(jī)(CPU201)執(zhí)行的程序被提供為記錄在可拆卸介質(zhì)211(其為包封介質(zhì)等)中。此外，可以經(jīng)由有線傳輸介質(zhì)或無線傳輸介質(zhì)(例如局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播)來提供程序。
[0196]在計(jì)算機(jī)中，通過將可拆卸介質(zhì)211加載到驅(qū)動(dòng)器210，程序可以經(jīng)由輸入/輸出接口 205安裝到存儲(chǔ)單元416中。也可以使用通信單元209從有線傳輸介質(zhì)或無線傳輸介質(zhì)接收程序，并且將程序安裝到存儲(chǔ)單元416中。作為另一替選，可以預(yù)先將程序安裝到R0M202或存儲(chǔ)單元416中。
[0197]應(yīng)注意，計(jì)算機(jī)所執(zhí)行的程序可以是根據(jù)本公開所描述的順序按時(shí)間序列處理的程序或以并行方式或按必要時(shí)序(例如在調(diào)用時(shí))處理的程序。
[0198]本公開實(shí)施例不限于上述實(shí)施例，在不脫離本公開的范圍的情況下，可以進(jìn)行各種改變和修改。
[0199]例如，在第二實(shí)施例至第四實(shí)施例中，可以不以子像素為單位而以像素為單位來生成深度值。
[0200]在第一實(shí)施例至第三實(shí)施例中，深度生成單元16(61和81)執(zhí)行基于運(yùn)動(dòng)矢量來劃分區(qū)域，但預(yù)測(cè)生成單元15可以執(zhí)行劃分區(qū)域。
[0201]在此情況下，預(yù)測(cè)生成單元15向深度生成單元16和61提供指示是否生成對(duì)于每個(gè)像素所設(shè)置的深度值的標(biāo)記(即指示區(qū)域是否為具有運(yùn)動(dòng)的區(qū)域的標(biāo)記)。此外，預(yù)測(cè)生成單元15向深度生成單元81提供指示是否生成對(duì)于每個(gè)像素所設(shè)置的深度值并且指示是否限定搜索范圍的標(biāo)記。也就是說，深度生成單元81向預(yù)測(cè)生成單元15提供指示在沒有運(yùn)動(dòng)的區(qū)域、具有大運(yùn)動(dòng)的區(qū)域和具有小運(yùn)動(dòng)的區(qū)域當(dāng)中像素出現(xiàn)的區(qū)域的標(biāo)記。
[0202]在第一實(shí)施例至第三實(shí)施例中，基于當(dāng)前幀的運(yùn)動(dòng)矢量來劃分區(qū)域，但可以基于運(yùn)動(dòng)矢量的歷史來劃分區(qū)域。
[0203]例如，本公開可以采用云計(jì)算的配置，其通過網(wǎng)絡(luò)通過多個(gè)裝置分配并且連接一個(gè)功能來進(jìn)行處理。
[0204]此外，可以由一個(gè)裝置或通過分配多個(gè)裝置來執(zhí)行上述流程圖所描述的每個(gè)步驟。
[0205]此外，在一個(gè)步驟中包括多個(gè)處理的情況下，這一個(gè)步驟中所包括的多個(gè)處理可以由一個(gè)裝置或通過分配多個(gè)裝置來執(zhí)行。
[0206]本領(lǐng)域技術(shù)人員應(yīng)理解，只要各種修改、組合、部分組合和改動(dòng)在所附權(quán)利要求及其等同物的范圍內(nèi)，它們就可以取決于設(shè)計(jì)需求和其它因素產(chǎn)生。
[0207]此外，也可以如下配置本公開。
[0208](I) 一種圖像處理設(shè)備，包括:
[0209]深度生成單元，被配置為:基于當(dāng)前幀的圖像以及所述當(dāng)前幀的先前幀的圖像來生成指示所述先前幀的圖像中的深度方向上的被攝體的位置的深度圖像作為所述當(dāng)前幀的深度圖像。
[0210](2)如⑴所述的圖像處理設(shè)備，其中，所述深度生成單元基于所述當(dāng)前幀的圖像與所述先前幀的圖像之間改變來生成所述深度圖像。
[0211](3)如⑵所述的圖像處理設(shè)備，還包括:
[0212]檢測(cè)單元，被配置為:基于所述當(dāng)前幀的圖像和所述先前幀的圖像來檢測(cè)所述當(dāng)前幀的圖像的運(yùn)動(dòng)矢量，
[0213]其中，所述深度生成單元基于所述檢測(cè)單元檢測(cè)到的所述運(yùn)動(dòng)矢量來生成所述先前幀的深度圖像作為所述當(dāng)前幀的深度圖像。
[0214](4)如(3)所述的圖像處理設(shè)備，其中，當(dāng)所述運(yùn)動(dòng)矢量的運(yùn)動(dòng)量等于或小于第一閾值時(shí)，所述深度生成單元生成所述先前幀的深度圖像作為所述當(dāng)前幀的深度圖像。
[0215](5)如(4)所述的圖像處理設(shè)備，其中，當(dāng)所述運(yùn)動(dòng)矢量的運(yùn)動(dòng)量大于所述第一閾值時(shí)，所述深度生成單元基于所述先前幀的深度圖像來生成所述當(dāng)前幀的深度圖像。
[0216](6)如(5)所述的圖像處理設(shè)備，其中，當(dāng)所述運(yùn)動(dòng)矢量的運(yùn)動(dòng)量大于所述第一閾值時(shí)，所述深度生成單元基于以子像素為單位的所述先前幀的深度圖像來生成以像素為單位的所述當(dāng)前幀的深度圖像，并且基于以像素為單位的所述當(dāng)前幀的深度圖像來生成以子像素為單位的所述當(dāng)前幀的深度圖像。
[0217](7)如(5)所述的圖像處理設(shè)備，其中，當(dāng)所述運(yùn)動(dòng)矢量的運(yùn)動(dòng)量大于所述第一閾值時(shí)，所述深度生成單元基于所述先前幀的深度圖像，通過在所限定的搜索范圍中執(zhí)行匹配來生成所述當(dāng)前幀的深度圖像。
[0218](8)如(7)所述的圖像處理設(shè)備，其中，當(dāng)所述運(yùn)動(dòng)矢量的運(yùn)動(dòng)量大于所述第一閾值并且等于或小于第二閾值時(shí)，所述深度生成單元基于所述先前幀的深度圖像，通過在所限定的搜索范圍中執(zhí)行匹配來生成所述當(dāng)前幀的深度圖像。
[0219](9)如(7)或⑶所述的圖像處理設(shè)備，其中，所述搜索范圍的尺寸是根據(jù)所述運(yùn)動(dòng)量的尺寸。
[0220](10)如(I)或⑵所述的圖像處理設(shè)備，還包括:
[0221]檢測(cè)單元，被配置為:檢測(cè)所述當(dāng)前幀的圖像與所述先前幀的圖像之間的差異，
[0222]其中，當(dāng)所述檢測(cè)單元檢測(cè)到的差異等于或小于一閾值時(shí)，所述深度生成單元根據(jù)生成所述先前幀的圖像的深度圖像作為所述當(dāng)前幀的深度圖像的頻率來生成所述當(dāng)前幀的深度圖像。
[0223](11)如(10)所述的圖像處理設(shè)備，其中，當(dāng)所述檢測(cè)單元檢測(cè)到的差異大于所述閾值時(shí)，所述深度生成單元根據(jù)比生成所述先前幀的圖像的深度圖像作為所述當(dāng)前幀的深度圖像的頻率更小的頻率來生成所述當(dāng)前幀的深度圖像。
[0224](12)如(I)至(11)中的任一項(xiàng)所述的圖像處理設(shè)備，還包括:
[0225]編碼單元，被配置為:對(duì)所述深度生成單元所生成的深度圖像進(jìn)行編碼。
[0226](13) 一種圖像處理方法，包括，通過圖像處理設(shè)備:
[0227]基于當(dāng)前幀的圖像和所述當(dāng)前幀的先前幀的圖像來生成指示在所述先前幀的圖像中的深度方向上的被攝體的位置的深度圖像作為所述當(dāng)前幀的深度圖像。
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 深度生成單元，被配置為:基于當(dāng)前幀的圖像以及所述當(dāng)前幀的先前幀的圖像來生成指示所述先前幀的圖像中的深度方向上的被攝體的位置的深度圖像作為所述當(dāng)前幀的深度圖像。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述深度生成單元基于所述當(dāng)前幀的圖像與所述先前幀的圖像之間改變來生成所述深度圖像。
3.如權(quán)利要求2所述的圖像處理設(shè)備，還包括: 檢測(cè)單元，被配置為:基于所述當(dāng)前幀的圖像和所述先前幀的圖像來檢測(cè)所述當(dāng)前幀的圖像的運(yùn)動(dòng)矢量， 其中，所述深度生成單元基于所述檢測(cè)單元檢測(cè)到的所述運(yùn)動(dòng)矢量來生成所述先前幀的深度圖像作為所述當(dāng)前幀的深度圖像。
4.如權(quán)利要求3所述的圖像處理設(shè)備，其中，當(dāng)所述運(yùn)動(dòng)矢量的運(yùn)動(dòng)量等于或小于第一閾值時(shí)，所述深度生成單元生成所述先前幀的深度圖像作為所述當(dāng)前幀的深度圖像。
5.如權(quán)利要求4所述的圖像處理設(shè)備，其中，當(dāng)所述運(yùn)動(dòng)矢量的運(yùn)動(dòng)量大于所述第一閾值時(shí)，所述深度生成單元基于所述先前幀的深度圖像來生成所述當(dāng)前幀的深度圖像。
6.如權(quán)利要求5所述的圖像處理設(shè)備，其中，當(dāng)所述運(yùn)動(dòng)矢量的運(yùn)動(dòng)量大于所述第一閾值時(shí)，所述深度生成單元基于以子像素為單位的所述先前幀的深度圖像來生成以像素為單位的所述當(dāng)前幀的深度圖像，并且基于以像素為單位的所述當(dāng)前幀的深度圖像來生成以子像素為單位的所述當(dāng)前幀的深度圖像。
7.如權(quán)利要求5所述的圖像處理設(shè)備，其中，當(dāng)所述運(yùn)動(dòng)矢量的運(yùn)動(dòng)量大于所述第一閾值時(shí)，所述深度生成單元基于所述先前幀的深度圖像，通過在所限定的搜索范圍中執(zhí)行匹配來生成所述當(dāng)前幀的深度圖像。
8.如權(quán)利要求7所述的圖像處理設(shè)備，其中，當(dāng)所述運(yùn)動(dòng)矢量的運(yùn)動(dòng)量大于所述第一閾值并且等于或小于第二閾值時(shí)，所述深度生成單元基于所述先前幀的深度圖像，通過在所限定的搜索范圍中執(zhí)行匹配來生成所述當(dāng)前幀的深度圖像。
9.如權(quán)利要求7所述的圖像處理設(shè)備，其中，所述搜索范圍的尺寸是根據(jù)所述運(yùn)動(dòng)量的尺寸。
10.如權(quán)利要求1所述的圖像處理設(shè)備，還包括: 檢測(cè)單元，被配置為:檢測(cè)所述當(dāng)前幀的圖像與所述先前幀的圖像之間的差異， 其中，當(dāng)所述檢測(cè)單元檢測(cè)到的差異等于或小于一閾值時(shí)，所述深度生成單元根據(jù)生成所述先前幀的圖像的深度圖像作為所述當(dāng)前幀的深度圖像的頻率來生成所述當(dāng)前幀的深度圖像。
11.如權(quán)利要求10所述的圖像處理設(shè)備，其中，當(dāng)所述檢測(cè)單元檢測(cè)到的差異大于所述閾值時(shí)，所述深度生成單元根據(jù)比生成所述先前幀的圖像的深度圖像作為所述當(dāng)前幀的深度圖像的頻率更小的頻率來生成所述當(dāng)前幀的深度圖像。
12.如權(quán)利要求1所述的圖像處理設(shè)備，還包括: 編碼單元，被配置為:對(duì)所述深度生成單元所生成的深度圖像進(jìn)行編碼。
13.一種圖像處理方法，包括，通過圖像處理設(shè)備: 基于當(dāng)前幀的圖像和所述當(dāng)前幀的先前幀的圖像來生成指示在所述先前幀的圖像中的深度方向上的被攝體的位置的深度圖像作為所述當(dāng)前幀的深度圖像。
【文檔編號(hào)】H04N13/00GK104284192SQ201410315682
【公開日】2015年1月14日 申請(qǐng)日期:2014年7月3日 優(yōu)先權(quán)日:2013年7月10日
【發(fā)明者】森浩典, 井藤功久, 早坂健吾 申請(qǐng)人:索尼公司