專利名稱：圖像增強(qiáng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種將第 一樣本結(jié)構(gòu)增強(qiáng)為第二樣本結(jié)構(gòu)的方法，第一 和第二結(jié)構(gòu)二者都表示場(chǎng)景的第 一屬性并且具有第 一分辨率。
本發(fā)明進(jìn)一 步涉及一種用于將第 一樣本結(jié)構(gòu)增強(qiáng)為第二樣本結(jié)構(gòu) 的圖像增強(qiáng)單元，第一和第二結(jié)構(gòu)二者都表示第一屬性并且都具有第一 分辨率。本發(fā)明進(jìn)一步涉及一種包括這樣的圖像增強(qiáng)單元的圖像處理設(shè)備。
本發(fā)明進(jìn)一 步涉及一種包括存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上的程序代碼
方法(program code means)的計(jì)算機(jī)程序產(chǎn)品，所述程序代碼方法被 設(shè)置為當(dāng)所述程序代碼方法(means)在計(jì)算4幾上運(yùn)行時(shí)#1行上述方 法的步驟。
背景技術(shù)：
運(yùn)動(dòng)矢量場(chǎng)的產(chǎn)生和來(lái)自運(yùn)動(dòng)視頻的視差圖(map) 4艮早以前就引 起了學(xué)術(shù)界以及消費(fèi)型電子產(chǎn)業(yè)的注意。通過(guò)在視頻壓縮中使用運(yùn)動(dòng)估 計(jì)和補(bǔ)償技術(shù)，在運(yùn)動(dòng)矢量生成方面的興趣得到本質(zhì)上的增強(qiáng)。
3D電視機(jī)和/或多視圖(multi-view)呈現(xiàn)裝置的即將引入已經(jīng)類 似地增加了在深度圖和視差圖生成方面的興趣。視差圖和深度圖共同用 于從單個(gè)序列的視頻圖像生成多視像，并且能夠使得2D視頻內(nèi)容 轉(zhuǎn)換為適合3D電視機(jī)和/或多視圖呈現(xiàn)裝置的格式。
運(yùn)動(dòng)估計(jì)可以用作深度估計(jì)的開始點(diǎn)。用于運(yùn)動(dòng)矢量域的估計(jì)方法 通常依賴于連續(xù)圖像的相似圖像部分的確定。因?yàn)閱蝹€(gè)像素值的可辨識(shí) 性不足以建立相似性，所以典型地使用一組像素來(lái)建立連續(xù)圖像的各圖 像部分之間的對(duì)應(yīng)性。結(jié)果，由這種估計(jì)方法生成的運(yùn)動(dòng)矢量域通常具 有比原始圖像更低的分辨率。 一些用于計(jì)算運(yùn)動(dòng)矢量域的技術(shù)計(jì)算8 x 8 像素網(wǎng)格的運(yùn)動(dòng)矢量。因此，當(dāng)這種運(yùn)動(dòng)矢量域用于計(jì)算深度圖時(shí)，對(duì)
于高質(zhì)量呈現(xiàn)來(lái)說(shuō)分辨率通常太粗糙，并且通常將會(huì)導(dǎo)致在對(duì)象邊緣處 產(chǎn)生如暈圏可見(jiàn)的可見(jiàn)偽影。
用于深度圖生成的其他技術(shù)(比如WO2005/013623所提出的"多視
6像生成，，)以相對(duì)較低的計(jì)算代價(jià)提供了全分辨率深度圖估計(jì)。在 圖像內(nèi)建立第一邊緣，并且在此基礎(chǔ)上通過(guò)將各個(gè)深度圖值分配給該邊 緣的相應(yīng)的側(cè)來(lái)生成深度圖。雖然這種深度圖的分辨率明顯高于基于塊 的深度圖的分辨率，但是所生成的深度圖的質(zhì)量可以被進(jìn)一步改進(jìn)。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種增強(qiáng)表示第 一屬性的第 一樣本結(jié)構(gòu)的方 法，平均來(lái)說(shuō)該方法產(chǎn)生增強(qiáng)的樣本結(jié)構(gòu)。
本發(fā)明的目的可以通過(guò)根據(jù)權(quán)利要求1的方法來(lái)實(shí)現(xiàn)。根據(jù)權(quán)利要 求1的方法增強(qiáng)了第一樣本結(jié)構(gòu)，從而導(dǎo)致第二樣本結(jié)構(gòu)。第一和第二 結(jié)構(gòu)二者都表示第一屬性(例如深度)并且第一和笫二結(jié)構(gòu)都具有第一 分辨率?；诒硎镜诙傩?例如顏色)并具有第一分辨率的第三樣本 結(jié)構(gòu)來(lái)增強(qiáng)笫 一結(jié)構(gòu)。第 一屬性和第二屬性分別表示基本相同的場(chǎng)景的 不同屬性。
第一樣本結(jié)構(gòu)可以被看作輸入結(jié)構(gòu)，第二樣本結(jié)構(gòu)表示輸出結(jié)構(gòu)。 第一和第二結(jié)構(gòu)的樣本表示場(chǎng)景的同一個(gè)屬性的樣本，比如深度圖、視
差圖或運(yùn)動(dòng)矢量域。第三樣本結(jié)構(gòu)可以被看作參考結(jié)構(gòu)，其用于生成笫 二樣本結(jié)構(gòu)。參考結(jié)構(gòu)表示不同的屬性，比如場(chǎng)景的亮度、顏色或紋理。 第一、第二和第三結(jié)構(gòu)都具有相同的分辨率。
為了增強(qiáng)第一樣本結(jié)構(gòu)，通過(guò)壓縮(down scale)第一樣本結(jié)構(gòu)的 樣本以生成第四樣本結(jié)構(gòu)的樣本，來(lái)生成表示第一屬性的第四樣本結(jié)構(gòu) 的樣本。第四樣本結(jié)構(gòu)可以被看作通過(guò)壓縮第一結(jié)構(gòu)而產(chǎn)生的中間結(jié) 構(gòu)。通過(guò)壓縮第一結(jié)構(gòu)，笫一樣本結(jié)構(gòu)的多個(gè)樣本將促成第四樣本結(jié)構(gòu) 的相應(yīng)的樣本。因此，由第四結(jié)構(gòu)的各個(gè)樣本所表示的估計(jì)的質(zhì)量平均 來(lái)說(shuō)可能預(yù)期高于第 一結(jié)構(gòu)的各個(gè)樣本所表示的估計(jì)的質(zhì)量，因?yàn)楦鱾€(gè) 像素中的噪聲因素被去除。這個(gè)在質(zhì)量方面的增益的獲得是以降低空間 分辨率為代價(jià)的。
通過(guò)使用以具有第 一分辨率的第三結(jié)構(gòu)(其提供關(guān)于對(duì)象邊界的精 確信息)為形式的已知結(jié)構(gòu)，可以使用來(lái)自第三結(jié)構(gòu)的出色的細(xì)節(jié)以圖 像自適應(yīng)方式擴(kuò)大(up-scale)第四結(jié)構(gòu)的更高質(zhì)量的樣本。結(jié)果，使 用導(dǎo)致在第 一分辨率處的第 一屬性的改進(jìn)估計(jì)的第四結(jié)構(gòu)的(平均來(lái) 說(shuō))較高質(zhì)量的樣本(平均來(lái)說(shuō))來(lái)重新引入出色的細(xì)節(jié)。此外，該方法也消除了對(duì)象內(nèi)部出現(xiàn)的更細(xì)微的紋理。因此，由邊緣限定的對(duì)象典 型地具有更均勻的填充。
典型地，樣本結(jié)構(gòu)對(duì)應(yīng)于數(shù)據(jù)元素的矩陣。然而，所述樣本結(jié)構(gòu)可 以對(duì)應(yīng)于數(shù)據(jù)元素的可替代的布局。
本發(fā)明的其他目的是提供一種在起始段落中所描述的類型的圖像 增強(qiáng)單元、 一種圖像處理設(shè)備和一種計(jì)算機(jī)程序產(chǎn)品，它們提供了圖像 增強(qiáng)。
本發(fā)明的這些目的可以分別通過(guò)如權(quán)利要求16、 17和18分別地所 述的圖像增強(qiáng)單元、圖像處理設(shè)備和計(jì)算機(jī)程序產(chǎn)品來(lái)實(shí)現(xiàn)。
在優(yōu)選實(shí)施例中，分配給第四樣本結(jié)構(gòu)的各個(gè)樣本的權(quán)重系數(shù)基于 第三樣本結(jié)構(gòu)的樣本與第三樣本結(jié)構(gòu)的低通濾波的樣本之間的差異。在 第三樣本結(jié)構(gòu)的各個(gè)樣本與第三結(jié)構(gòu)的各個(gè)低通濾波的樣本之間的差 異提供了這樣的指示在較低空間分辨率下的第二屬性的樣本如何與在 第一分辨率下的樣本關(guān)聯(lián)。
更優(yōu)選地，低通濾波包括將第三結(jié)構(gòu)的樣本從第一分辨率壓縮到第 二分辨率。因此，基于來(lái)自表示第二屬性的第二樣本結(jié)構(gòu)的結(jié)構(gòu)信息， 來(lái)擴(kuò)大存儲(chǔ)在第四樣本結(jié)構(gòu)中的第 一屬性的更可靠的估計(jì)，從而允許該 擴(kuò)大基本上采用在第三樣本結(jié)構(gòu)中找到的對(duì)象邊界。
更優(yōu)選地，生成表示第二屬性的笫五樣本結(jié)構(gòu)，該第五結(jié)構(gòu)具有第 二分辨率。通過(guò)壓縮第三樣本結(jié)構(gòu)的樣本以形成第五樣本結(jié)構(gòu)的樣本來(lái) 形成第五結(jié)構(gòu)。分配給第四樣本結(jié)構(gòu)的各個(gè)樣本的權(quán)重系數(shù)基于第五樣 本結(jié)構(gòu)的樣本與第三樣本結(jié)構(gòu)的樣本之間的差異。在第三樣本結(jié)構(gòu)的各 個(gè)樣本與第五結(jié)構(gòu)的樣本之間的差異提供了更可靠的指示在第二分辨 率下的第二屬性的樣本如何與在第 一分辨率下的樣本關(guān)聯(lián)。
在另 一個(gè)實(shí)施例中，第 一樣本結(jié)構(gòu)表示在第 一時(shí)間戳的場(chǎng)景的第一 屬性，而第三樣本結(jié)構(gòu)表示在第二時(shí)間戳的場(chǎng)景的第二屬性，其中第二 時(shí)間戳在時(shí)間上近似于第 一時(shí)間戳，從而第 一樣本結(jié)構(gòu)形成表示在笫二 時(shí)間戳處的笫 一屬性的另 一個(gè)樣本結(jié)構(gòu)的估計(jì)。本實(shí)施例實(shí)現(xiàn)了例如將 先前的(或?qū)?lái)的)深度圖作為估計(jì)來(lái)使用以便生成當(dāng)前的深度圖。通 過(guò)首先將導(dǎo)致第四結(jié)構(gòu)的第一結(jié)構(gòu)壓縮，并且計(jì)算用于第四結(jié)構(gòu)的樣本 而不是第一結(jié)構(gòu)樣本的權(quán)重系數(shù)，可以減少預(yù)測(cè)當(dāng)前深度圖所需的計(jì)算 次數(shù)。所述圖像增強(qiáng)單元的修改及其改變可以對(duì)應(yīng)于下面所描述的圖像 處理設(shè)備、方法和計(jì)算機(jī)程序產(chǎn)品的修改和變化。


通過(guò)結(jié)合下面所描述的實(shí)現(xiàn)方式和實(shí)施例并參照附圖，根據(jù)本發(fā)明 的圖像增強(qiáng)單元、圖像處理設(shè)備、方法和計(jì)算機(jī)程序產(chǎn)品的這些和其他
特性將變得顯然并被闡明，其中 圖1A示出全分辨率的亮度圖像； 圖1B示出全分辨率的估計(jì)的深度圖； 圖1C示出較低分辨率的估計(jì)深度圖的壓縮版本； 圖1D示出了根據(jù)本發(fā)明使用圖1A和1C生成的增強(qiáng)的深度圖； 圖2A示意性示出五個(gè)樣本結(jié)構(gòu)，其中尚未計(jì)算出第二樣本結(jié)構(gòu)的
值；
圖2B示意性示出基于第一差異的第一權(quán)重系數(shù)的分配，該第一權(quán) 重系數(shù)用于計(jì)算第 一輸出樣本；
圖2C示意性示出具有各個(gè)差異的多個(gè)權(quán)重系數(shù)的分配；
圖2D示意性示出基于第一差異的第一權(quán)重系數(shù)的分配，該第一權(quán) 重系數(shù)用于計(jì)算第二輸出樣本；
圖2E示意性示出圖2A的五個(gè)樣本結(jié)構(gòu)，其中已經(jīng)計(jì)算了第二樣本 結(jié)構(gòu)的值；
圖2F示意性示出五個(gè)樣本結(jié)構(gòu)，其中兩個(gè)是計(jì)算第二樣本結(jié)構(gòu)的 樣本所需的；
圖3示意性示出7個(gè)樣本結(jié)構(gòu)； 圖4A示意性示出第一濾波孔； 圖4B示意性示出第二濾波孔；
圖5A示意性示出用于增強(qiáng)估計(jì)的深度圖、視差圖或運(yùn)動(dòng)矢量域的
本發(fā)明的實(shí)施例；
圖5B示意性示出用于增強(qiáng)深度圖的本發(fā)明的實(shí)施例； 圖6A示意性示出根據(jù)本發(fā)明的圖像增強(qiáng)單元； 圖6B示意性示出根據(jù)本發(fā)明的圖像增強(qiáng)單元； 圖7示意性示出多視像生成單元；以及 圖8示意性示出根據(jù)本發(fā)明的圖像處理設(shè)備。在整個(gè)附圖中，相似的附圖標(biāo)記用于表示相似的部件。
具體實(shí)施例方式
使用 一 系列圖像最佳地說(shuō)明了在本發(fā)明中實(shí)際實(shí)施的圖像增強(qiáng)的
潛力。圖1A示出全分辨率的亮度圖像。圖1B示出相同分辨率的估計(jì)的 深度圖。更靠近觀察者的對(duì)象顯示高亮度，而更遠(yuǎn)的對(duì)象更暗。在區(qū)域 201內(nèi)，各種邊緣被高亮顯示，其中包括深度圖值，可以使用根據(jù)標(biāo)題 為 "Multi—view Image Generation"的WO2005/013623和才示題為 "Creating a depth map"的WO2005/083630的方法來(lái)生成與圖IB中 示出的深度圖相似的深度圖。區(qū)域202示出表示對(duì)象內(nèi)的結(jié)構(gòu)的多個(gè)更 加細(xì)化的邊緣，但是同樣這些邊緣是同一個(gè)對(duì)象的一部分。從該圖中將 會(huì)顯而易見(jiàn)，在估計(jì)期間邊緣以及更加細(xì)微的深度變化被引入，深度變 化沒(méi)有準(zhǔn)確地反應(yīng)實(shí)際深度。
這里使用壓縮因子8來(lái)壓縮如圖1B所示的深度估計(jì)。圖IC表示壓 縮的圖像，這里示出的被壓縮的圖像使用導(dǎo)致具有與其他圖像相同尺寸 的圖像的樣本副本而延伸。隨后，使用來(lái)自圖1A的亮度信息以圖像自 適應(yīng)方式來(lái)擴(kuò)大壓縮的深度圖的估計(jì)，從而生成圖1D。區(qū)域201和202 內(nèi)的邊緣已經(jīng)^L^本去除，并且位于各個(gè)對(duì)象內(nèi)的深度值已經(jīng)基本上在 對(duì)象中被傳播。如圖ID所描繪的所生成的深度圖清楚地提供了對(duì)圖IB 所描繪的深度圖的改進(jìn)。
雖然壓縮因子8特別有利，但是當(dāng)使用2-16的范圍內(nèi)的壓縮因子 時(shí)可以看到改進(jìn)。依賴于原始分辨率和所得到的深度圖的所希望的間隔 尺寸(granularity)，可以使用更大的壓縮因子，這是以更多的細(xì)節(jié) 損失為代價(jià)的。
結(jié)合圖2A到圖2F,描述根據(jù)本發(fā)明的方法的實(shí)施例。圖2A到圖 2F示意性示出
-表示第一屬性的第一樣本結(jié)構(gòu)SI;第一結(jié)構(gòu)具有第一分辨率； -表示第一屬性的第二樣本結(jié)構(gòu)S2;第二樣本結(jié)構(gòu)S2具有第一分 辨率；
-表示第二屬性的第三樣本結(jié)構(gòu)S3;第三樣本結(jié)構(gòu)S3具有第一分 辨率；
-表示第一屬性的第四樣本結(jié)構(gòu)S4;第四樣本結(jié)構(gòu)S4具有第二分辨率，笫二分辨率低于第一分辨率；以及
-表示第二屬性的第五樣本結(jié)構(gòu)S5;第五樣本結(jié)構(gòu)S5具有第二分 辨率；
根據(jù)本發(fā)明的方法的目的在于，增強(qiáng)第一樣本結(jié)構(gòu)Sl,從而通過(guò)以 下操作生成第二樣本結(jié)構(gòu)S2:
-通過(guò)壓縮第一樣本結(jié)構(gòu)Sl的第一樣本以形成第四樣本結(jié)構(gòu)S4的 第四樣本從而生成第四樣本結(jié)構(gòu)S4的第四樣本；
-通過(guò)壓縮第三樣本結(jié)構(gòu)S3的笫三樣本以形成第五樣本結(jié)構(gòu)S5的 第五樣本從而生成第五樣本結(jié)構(gòu)S5的第五樣本；
-將第四樣本結(jié)構(gòu)S4擴(kuò)大為第二樣本結(jié)構(gòu)S2;基于第三樣本結(jié)構(gòu) S3和第五樣本結(jié)構(gòu)S5。該擴(kuò)大包括
i )基于第三樣本結(jié)構(gòu)S3的各個(gè)第三樣本與第五樣本結(jié)構(gòu)S5的第 五樣本之間的差異，來(lái)將權(quán)重系數(shù)分配給第四樣本結(jié)構(gòu)S4的第一樣本； 以及
ii)基于第四樣本結(jié)構(gòu)S4的第四樣本和相應(yīng)的所分配的權(quán)重系數(shù) 來(lái)計(jì)算第二樣本結(jié)構(gòu)S2的第二樣本。
圖2A示意性示出五個(gè)樣本結(jié)構(gòu)S1-S5,其中尚未計(jì)算第二樣本結(jié)構(gòu) S2的值。這可以被看作是壓縮了笫一和第三樣本結(jié)構(gòu)之后的狀態(tài)。
典型地，基于第一樣本結(jié)構(gòu)Sl的第一樣本來(lái)計(jì)算第四樣本結(jié)構(gòu)S4 的第四樣本。換句話說(shuō)，通過(guò)低通濾波第一樣本結(jié)構(gòu)Sl (即通過(guò)壓縮 (down-scaling))來(lái)計(jì)算笫四樣本結(jié)構(gòu)S4?？梢允褂美鐂in (x) /x濾波器或箱式(box)平均濾波器且隨后進(jìn)行壓縮來(lái)生成第四樣本結(jié) 構(gòu)S4的第四樣本。而且該壓縮濾波器僅僅可以應(yīng)用于笫一樣本結(jié)構(gòu)Sl 的第一樣本的一個(gè)子集。
典型地，基于第三樣本結(jié)構(gòu)S3的第三樣本來(lái)計(jì)算第五樣本結(jié)構(gòu)S5 的第五樣本。換句話說(shuō)，通過(guò)低通濾波第五樣本結(jié)構(gòu)S5來(lái)計(jì)算第五樣 本結(jié)構(gòu)S5?？梢允褂美鐂in (x) /x濾波器或箱式平均濾波器且隨后 進(jìn)行壓縮來(lái)生成第五樣本結(jié)構(gòu)S5的第五樣本。而且該壓縮濾波器僅僅 可以應(yīng)用于第三樣本結(jié)構(gòu)S3的笫三樣本的一個(gè)子集。
雖然為了清楚起見(jiàn)，在這里整個(gè)第四結(jié)構(gòu)S4和第五結(jié)構(gòu)S5被預(yù)計(jì) 算，但是當(dāng)需要各個(gè)第四和第五樣本時(shí)，可以實(shí)時(shí)地計(jì)算第四和第五樣 本。因此，可以以潛在的重復(fù)計(jì)算為代價(jià)來(lái)降低對(duì)存儲(chǔ)器的要求。笫一屬性可以對(duì)應(yīng)于深度值、視差值或運(yùn)動(dòng)矢量。相應(yīng)地，第四樣
本結(jié)構(gòu)S4可以對(duì)應(yīng)于估計(jì)的、合成的深度圖、視差圖或運(yùn)動(dòng)矢量域。 可替代地，第四樣本結(jié)構(gòu)S4可以對(duì)應(yīng)于其中一部分深度圖。
第二屬性可以對(duì)應(yīng)于亮度、顏色和/或彩色紋理。第三樣本結(jié)構(gòu)S3 典型地對(duì)應(yīng)于高分辨率亮度/彩色圖像?？商娲兀谌龢颖窘Y(jié)構(gòu)S3對(duì) 應(yīng)于相對(duì)較高分辨率的亮度/彩色圖像的一部分。第五樣本結(jié)構(gòu)S5可以 對(duì)應(yīng)于相對(duì)較低分辨率的亮度/彩色圖像。這意味著其分辨率低于第三 結(jié)構(gòu)S3。可替代地，第五樣本結(jié)構(gòu)S5對(duì)應(yīng)于相對(duì)較低分辨率的亮度/ 彩色圖像的一部分。
圖2A-2F中的不同灰度值分別表示第一屬性和第二屬性的不同值，
比如亮度/顏色和深度值/運(yùn)動(dòng)矢量。
圖2B示意性示出基于第一差異的對(duì)第一個(gè)笫四樣本306的第一個(gè) 權(quán)重系數(shù)的分配，第一個(gè)權(quán)重系數(shù)將應(yīng)用于計(jì)算第一輸出樣本300。第 一輸出樣本300對(duì)應(yīng)于第二樣本結(jié)構(gòu)S2的第二樣本之一。
對(duì)第 一個(gè)第四樣本306的第 一個(gè)權(quán)重系數(shù)的分配是基于第 一個(gè)第三 樣本302與第一個(gè)第五樣本304之間的第一差異而進(jìn)行的。優(yōu)選地，不 同樣本之間的關(guān)系如下
-第一個(gè)第四樣本306與第一個(gè)第五樣本304的各自的坐標(biāo)彼此相 等。通過(guò)第一個(gè)第四樣本306與笫一個(gè)第五樣本3(M之間的具有附圖標(biāo) 記307的虛線來(lái)指示各自坐標(biāo)之間的對(duì)應(yīng)性；以及
-第一個(gè)第三樣本302與第一個(gè)第二樣本300的各自的坐標(biāo)彼此相 等。通過(guò)第一個(gè)第三樣本302與第一個(gè)第二樣本300之間的具有附圖標(biāo) 記309的虛線來(lái)指示各自坐標(biāo)之間的對(duì)應(yīng)性。
因?yàn)榈谝粋€(gè)第五樣本304與第一個(gè)第三樣本302之間的第一差異相 對(duì)較低，所以第一個(gè)權(quán)重系數(shù)相對(duì)較高。這在圖2B中通過(guò)用于第一個(gè) 第四樣本306的"翹拇指符號(hào)"來(lái)指示。
在圖2C中示意性指示了其他第一樣本的其他權(quán)重系數(shù)的分配。例 如，第二個(gè)第四樣本318的第二個(gè)權(quán)重系數(shù)的分配是基于第二個(gè)第五樣 308與第一個(gè)第三樣本302之間的第二差異而進(jìn)行的。笫二個(gè)第一樣本 318與第二個(gè)第五樣本308的各自的坐標(biāo)彼此相等。通過(guò)具有附圖標(biāo)記 311的虛線來(lái)指示所述各自坐標(biāo)之間的對(duì)應(yīng)性。因?yàn)榈诙€(gè)第五樣本308 與第 一個(gè)第三樣本302之間的第二差異相對(duì)較低，所以第二個(gè)權(quán)重系數(shù)
12相對(duì)較高。這在圖2C中通過(guò)用于第二個(gè)第四樣本318的"翹拇指符號(hào)"
來(lái)指示。
第三個(gè)第四樣本316的第三個(gè)權(quán)重系數(shù)的分配是基于第三個(gè)第五樣 310與第一個(gè)第三樣本302之間的第三差異而進(jìn)行的。第三個(gè)第四樣本 316與笫三個(gè)第五樣本310的各自的坐標(biāo)彼此相等。通過(guò)具有附圖標(biāo)記 313的虛線來(lái)指示所述各自坐標(biāo)之間的對(duì)應(yīng)性。因?yàn)榈谌齻€(gè)第五樣本310 與第 一個(gè)第三樣本302之間的第三差異相對(duì)較高，所以第三個(gè)權(quán)重系數(shù) 相對(duì)較低。這在圖2C中通過(guò)用于第三個(gè)第四樣本316的"翹拇指符號(hào)，， 來(lái)指示。
在分配權(quán)重系數(shù)之后，可以基于第四樣本結(jié)構(gòu)S4的第四樣本與相 應(yīng)的所分配的權(quán)重系數(shù)來(lái)計(jì)算第二樣本結(jié)構(gòu)S2的第二樣本。
接下來(lái)，將通過(guò)數(shù)學(xué)方法來(lái)描述第二結(jié)構(gòu)S2的第二樣本的計(jì)算。 假設(shè)第四屬性對(duì)應(yīng)于深度，并且第四樣本由《表示，其中d表示深度， 上標(biāo)2是指第二分辨率而下標(biāo)j對(duì)應(yīng)于第四樣本結(jié)構(gòu)中的索引。第二樣 本由《表示，其中d表示深度，上標(biāo)l是指第一分辨率而下標(biāo)i對(duì)應(yīng)于 第二樣本結(jié)構(gòu)中的索引。為了計(jì)算估計(jì)的深度值《，使用周圍的深度值 《。優(yōu)選地，使用下列加權(quán)均值濾波器
~~ (1)
該公式用于計(jì)算深度值《，即第二樣本結(jié)構(gòu)S2的第二樣本的值。 對(duì)于每個(gè)深度值《，使用j周圍的深度值《。基于對(duì)應(yīng)于第二屬性的各 個(gè)值之間的差異來(lái)確定權(quán)重系數(shù),.。例如第二屬性對(duì)應(yīng)于亮度。這意味 著，將第五結(jié)構(gòu)S5的亮度值/〗與第三結(jié)構(gòu)S3的亮度值/〗比較。優(yōu)選地， 下列指數(shù)函數(shù)用于計(jì)算權(quán)重系數(shù)
其中a的典型值為1/8。
在RGB (紅色，藍(lán)色，藍(lán)色)數(shù)據(jù)的情況下(即第二屬性對(duì)應(yīng)于顏 色)，每一種顏色成分可以影響(contribute to) 4又重系數(shù)、=2， ，，" (3)
在YUV數(shù)據(jù)的情況下，U和V數(shù)據(jù)的影響不如亮度數(shù)據(jù)1的影響顯 著，對(duì)應(yīng)于Y:
^〔l"l4l"H+》)1〕 M、
、=2 、 乂 (4)
除了顏色差異，其他圖像屬性可以示出在圖像內(nèi)容方面的差異。本 發(fā)明人觀察到，加入簡(jiǎn)單的紋理測(cè)量也會(huì)改進(jìn)結(jié)果。紋理"被定義為在 一組樣本中最大和最小的亮度值之間的絕對(duì)差。于是，權(quán)重系數(shù)可以定 義為
顯然，必須計(jì)算第二樣本結(jié)構(gòu)S2的所有樣本。在計(jì)算了第二樣本 結(jié)構(gòu)S2的第一個(gè)300第二樣本之后，將計(jì)算第二樣本結(jié)構(gòu)S2的第二個(gè) 322第二樣本。再次地，這是基于分配權(quán)重系數(shù)，隨后基于所分配的 權(quán)重系數(shù)來(lái)濾波。
圖2D示意性示出基于另一個(gè)差異而對(duì)另一個(gè)權(quán)重系數(shù)的分配，以 用于計(jì)算第二輸出樣本，即第二樣本結(jié)構(gòu)S2的第二個(gè)322第二樣本。
第一個(gè)第四樣本306的另一個(gè)權(quán)重系數(shù)的分配是基于第一個(gè)第五樣 本304與第二個(gè)笫三樣本320之間的另一個(gè)差異而進(jìn)行的。優(yōu)選地，不 同樣本之間的關(guān)系如下
-第一個(gè)第四樣本306與第一個(gè)第五樣本304的各自的坐標(biāo)彼此相 等。通過(guò)第一個(gè)第四樣本306與第一個(gè)第五樣本304之間的具有附圖標(biāo) 記307的虛線來(lái)指示各自坐標(biāo)之間的對(duì)應(yīng)性；以及
-第二個(gè)第三樣本320與第二個(gè)第二樣本322的各自的坐標(biāo)彼此相 等。通過(guò)第二個(gè)第三樣本320與第二個(gè)第二樣本322之間的具有附圖標(biāo) 記321的虛線來(lái)指示各自坐標(biāo)之間的對(duì)應(yīng)性。
因?yàn)榈?一個(gè)第五樣本304與第二個(gè)第三樣本320之間的另 一個(gè)差異 相對(duì)較低，所以另一個(gè)(futher one)權(quán)重系數(shù)相對(duì)較高。這在圖2D 中通過(guò)用于第一個(gè)第一樣本306的"翹拇指符號(hào)"來(lái)指示。與上面結(jié)合圖2C所公開的事實(shí)相似，將計(jì)算用于計(jì)算第二樣本結(jié)
構(gòu)S2的第二個(gè)322第二樣本的后續(xù)權(quán)重系數(shù)。
圖2E示意性示出圖2A的樣本結(jié)構(gòu)，以及已經(jīng)計(jì)算的第二樣本結(jié)構(gòu) 的值。換句話說(shuō)，圖2E示意性示出第二樣本結(jié)構(gòu)S2的第二樣本的計(jì)算 結(jié)果。圖2E示意性示出第二樣本的值是基于第四結(jié)構(gòu)S4的第四樣本的 值(灰度值)的。在第二結(jié)構(gòu)S2中的"對(duì)象"的"形狀，，對(duì)應(yīng)于第三 結(jié)構(gòu)S3中的"對(duì)象"的"形狀"；壓縮的輸入圖像的深度值適于對(duì)應(yīng)
的圖像的亮度值。
可選地，額外因子被應(yīng)用于加權(quán)所述各種權(quán)重系數(shù)^，其中該額外 因子與第一樣本的值的可靠性有關(guān)。
w; = (6)
隨后，修改的權(quán)重系數(shù)用于取代先前所指定的權(quán)重系數(shù)(參見(jiàn)公式 2-5)。這種可靠性因子可以例如從運(yùn)動(dòng)估計(jì)器/深度估計(jì)器獲得。所述 估計(jì)器可以確定去閉塞(deocclusion)區(qū)域。這些區(qū)域中的值是不可 靠的，所以應(yīng)當(dāng)以更小的權(quán)重計(jì)數(shù)?？商娲兀煽啃砸蜃邮侵苯踊?估計(jì)器的輸入圖像的亮度值的不太相信與均勻的圖像區(qū)域相關(guān)的運(yùn)動(dòng) 矢量和深度值。也可以從深度信號(hào)中獲得可靠性因子解碼深度信號(hào)的 解碼器可以指示在編碼期間何時(shí)應(yīng)用高量子化，在該情況下深度也可能 不太可靠。
圖2F示出五個(gè)樣本結(jié)構(gòu)，從圖2A-2E可以觀察到，用于計(jì)算第二 樣本結(jié)構(gòu)S2的第二樣本的所有信息都包括在第一樣本結(jié)構(gòu)Sl和第三樣 本結(jié)構(gòu)S3中。為了計(jì)算第二樣本結(jié)構(gòu)的樣本，需要計(jì)算兩個(gè)中間樣本 結(jié)構(gòu)；這里使用虛線表示法來(lái)指示第四和笫五樣本結(jié)構(gòu)。顯然，即使當(dāng) 沒(méi)有明確地生成第四和第五結(jié)構(gòu)并將其存儲(chǔ)在存儲(chǔ)器中時(shí)，根據(jù)本發(fā)明 的樣本的計(jì)算和后續(xù)使用也在本發(fā)明的范圍之內(nèi)。
雖然在前面的實(shí)例中為了清楚起見(jiàn)，生成第五樣本結(jié)構(gòu)S5，但是包 括在第五樣本結(jié)構(gòu)S5中的所有信息可以從第三樣本結(jié)構(gòu)S3獲得。嚴(yán)格 來(lái)說(shuō)，不需要計(jì)算第五樣本結(jié)構(gòu)S5,并且可以僅僅基于第三樣本結(jié)構(gòu)來(lái) 分配第四樣本結(jié)構(gòu)的第四樣本的權(quán)重系數(shù)。
例如，為了建立第二樣本結(jié)構(gòu)S2的第二樣本390,我們首先使用由 虛線391所示的相關(guān)性來(lái)建立第三樣本結(jié)構(gòu)S3的對(duì)應(yīng)的第三樣本393。隨后，計(jì)算用于第四樣本結(jié)構(gòu)S4的各個(gè)樣本的權(quán)重系數(shù)。進(jìn)行這
些操作的一種方法是，首先建立第三樣本結(jié)構(gòu)S3的樣本如何關(guān)聯(lián)于第 四樣本結(jié)構(gòu)S4的相應(yīng)的樣本。在該實(shí)例中，第四樣本結(jié)構(gòu)S4的一個(gè)樣 本對(duì)應(yīng)于第三結(jié)構(gòu)S3的四個(gè)樣本，如由網(wǎng)才各392所示?？梢酝ㄟ^(guò)使第 三樣本393與對(duì)應(yīng)于第四樣本結(jié)構(gòu)S4的第四樣本394的第三結(jié)構(gòu)的樣 本相關(guān)聯(lián)，來(lái)確定用于第四樣本結(jié)構(gòu)S4的第四樣本394的相應(yīng)的權(quán)重 系數(shù)。
在這種情況下，對(duì)應(yīng)于笫四樣本結(jié)構(gòu)S4的第四樣本395與第三樣 本393相同。這明確地表示高的相關(guān)性，并且因此將把相對(duì)較高的權(quán)重 系數(shù)分配給由"翹拇指符號(hào)"所示的第四樣本394?？梢栽O(shè)想各種方式 來(lái)建立該相關(guān)性，其中之一可以是根據(jù)樣本395來(lái)確定所述部分樣本， 其在第三樣本393的預(yù)定閾值內(nèi)。
在這種方式下，可以在不必明確建立對(duì)應(yīng)于第五樣本結(jié)構(gòu)的第五樣 本的情況下計(jì)算第二樣本結(jié)構(gòu)S2的第二樣本392。
圖3示意性示出7個(gè)樣本結(jié)構(gòu)S1-S7。如結(jié)合圖3A-3F所闡述的， 根據(jù)本發(fā)明的方法的目的在于通過(guò)首先壓縮笫一樣本結(jié)構(gòu)以獲得第四 樣本結(jié)構(gòu)并且隨后將第四樣本結(jié)構(gòu)S4擴(kuò)大為第二樣本結(jié)構(gòu)S2,基于第 三樣本結(jié)構(gòu)S3和第五樣本結(jié)構(gòu)S5,來(lái)增強(qiáng)第一樣本結(jié)構(gòu)Sl。典型地?cái)U(kuò) 大第四樣本結(jié)構(gòu)S4包括多個(gè)步驟，其中之一是第一步驟U1。在第一擴(kuò) 大步驟U1之后，可以跟隨第二擴(kuò)大(up-scaling)步驟U2。甚至可以 執(zhí)行兩個(gè)以上的擴(kuò)大步驟(未描述)。第二擴(kuò)大步驟U2與第一擴(kuò)大步 驟U1相似。因此，第二擴(kuò)大步驟U2意味著基于第六樣本結(jié)構(gòu)S6和第 三樣本結(jié)構(gòu)S3來(lái)將第七樣本結(jié)構(gòu)S7擴(kuò)大為第二樣本結(jié)構(gòu)S2。隨后第一 擴(kuò)大步驟U1的輸出(即第七樣本結(jié)構(gòu)S7)被用作第二擴(kuò)大步驟U2的輸 入。
典型地，在整個(gè)縮放處理開始時(shí)，第二屬性的樣本在較高分辨率下 是可用的。例如存在用樣本結(jié)構(gòu)S3表示的輸入圖像，其為1024 x 1024 個(gè)元素的矩陣。通過(guò)壓縮或可選地壓縮步驟D2和D3的級(jí)聯(lián)，可以計(jì)算 出多個(gè)附加樣本結(jié)構(gòu)，S6和S5。這些是包括在根據(jù)本發(fā)明的方法中的 相應(yīng)的擴(kuò)大步驟U1和U2所需的。例如，通過(guò)因子2將第三樣本結(jié)構(gòu)S3 壓縮D2為第六樣本結(jié)構(gòu)S6，其為512 x 512個(gè)元素的矩陣。隨后，將第 六樣本結(jié)構(gòu)S6壓縮一般，得到第五樣本結(jié)構(gòu)S5，其為256 x 256個(gè)元素的矩陣。可替代地，可通過(guò)因子4直接將第三樣本結(jié)構(gòu)S3壓縮1/3,得 到第五樣本結(jié)構(gòu)S5。
顯然，所述壓縮步驟與擴(kuò)大步驟相關(guān)，因?yàn)閷?duì)應(yīng)分辨率的擴(kuò)大需要 不同屬性的樣本。雖然優(yōu)選的是，遞歸地執(zhí)行擴(kuò)大，例如從8x8到4 x 4到2 x 2到1 x 1,但是也可以在一個(gè)步驟中執(zhí)行擴(kuò)大，例如從8 x 8 到lxl。這里，xxx是指對(duì)應(yīng)于各個(gè)低分辨率樣本的高分辨率樣本的數(shù)量。
如應(yīng)用于根據(jù)本發(fā)明的圖像增強(qiáng)的方法中的圖像自適應(yīng)擴(kuò)大典型 地是基于濾波多個(gè)輸入樣本(即第四樣本結(jié)構(gòu)S4的第四樣本)以計(jì)算 輸出樣本(即第二樣本結(jié)構(gòu)S2的第二樣本)的。如上所指定的，使用 相應(yīng)的權(quán)重系數(shù)來(lái)加權(quán)輸入樣本，這基于與第二屬性相關(guān)的各個(gè)樣本之 間的差異。為計(jì)算特定輸入樣本而考慮的輸入樣本的配置被稱為濾波孔 (filter aperture)。該濾波孔確定哪些輸入樣本用于計(jì)算特定輸出 樣本。圖4A示意性示出第一濾波孔，而圖4B示意性示出第二濾波孔， 濾波孔中的變灰的像素(grayed pixel)形成輸出像素。
由于第一擴(kuò)大U1 (例如從8x8到4x4)中的誤差影響多個(gè)輸出像 素以及其他擴(kuò)大步驟，所以似乎合理的是，花費(fèi)更多的精力來(lái)設(shè)法避免 該第一步驟中的錯(cuò)誤。而且，該第一步驟在粗網(wǎng)格上執(zhí)行，所以要被處 理的樣本的數(shù)量相對(duì)較小。在每一個(gè)擴(kuò)大步驟中，增加了作為所包含的 樣本數(shù)量的分辨率。在擴(kuò)大因子為2 (在兩個(gè)方向)的情況下，樣本的 數(shù)量增加4倍。因此，有利的是，使用更先進(jìn)的方法來(lái)建立權(quán)重系數(shù)， 比如使用多個(gè)顏色分量，并且/或者僅僅在較粗糙的分辨率處使用可靠 性因子。這種更先進(jìn)的方法改進(jìn)了權(quán)重系數(shù)的質(zhì)量，因?yàn)檫@些方法限制 了不可靠像素在權(quán)重系數(shù)上可能產(chǎn)生的影響。根據(jù)這些更先進(jìn)的方法， 可以使用更寬的濾波孔。例如，我們發(fā)現(xiàn)可以在8個(gè)方向上使用半徑 (radius)為6的(8x8)樣本。這在圖4A中用陰影塊示出。相反地， 圖4 B示出在隨后的擴(kuò)大步驟中適合于更精細(xì)分辨率的簡(jiǎn)化的孔。
圖5A以根據(jù)本發(fā)明的圖像增強(qiáng)單元610的形式給出了另一個(gè)實(shí)施 例，該圖像增強(qiáng)單元用于增強(qiáng)圖像序列中一個(gè)圖像的深度圖的估計(jì)。在 之前的實(shí)施例中，根據(jù)本發(fā)明的方法用于使用表示第二屬性的第三樣本 結(jié)構(gòu)S3來(lái)增強(qiáng)表示第一屬性的估計(jì)的第一樣本結(jié)構(gòu)Sl。圖5A所示的該 實(shí)施例的不同之處在于它包4舌時(shí)間方面。圖5A中示出的圖像增強(qiáng)單元610使用表示在第一時(shí)間戳的第一屬 性的第一樣本結(jié)構(gòu)Sl ( tl )作為在第二時(shí)間戳的第一屬性的另一個(gè)第一 結(jié)構(gòu)的估計(jì)。隨后本發(fā)明可以用于基于表示在時(shí)間戳t2的第二屬性的 第三樣本結(jié)構(gòu)S3 ( U)來(lái)增強(qiáng)該估計(jì)。
圖5A示出的實(shí)施例使用與在時(shí)間戳tl的場(chǎng)景相關(guān)聯(lián)的第一深度圖
51 (tl),作為與在時(shí)間戳t2的該場(chǎng)景相關(guān)聯(lián)的第二深度圖的估計(jì)。 使用第一深度圖Sl ( tl )作為第二深度圖的估計(jì)的基本原理是在序列 圖像的相鄰圖像中，在相應(yīng)的深度圖之間典型地存在強(qiáng)相關(guān)。然而，由 于例如場(chǎng)景的變化和/或場(chǎng)景成像方式(例如搖攝(pan)和/或變焦
(zoom))的變化，在笫一時(shí)間戳tl處的深度圖通常與第二時(shí)間戳t2 處的深度圖不相同，而僅僅提供在第二時(shí)間戳t2處的深度圖的估計(jì)。 如果第一時(shí)間戳和第二時(shí)間戳在時(shí)間上足夠近似(例如，在所述時(shí)間戳 與相鄰幀相關(guān)的情況下)或者在彼此的預(yù)定閾值之內(nèi)，則第一深度圖Sl
(tl )可以典型地用作在第二時(shí)間戳t2處的深度圖的估計(jì)。
本發(fā)明可以用于根據(jù)本發(fā)明使用在第二時(shí)間戳t2處的顏色圖S3
(t2)來(lái)增強(qiáng)在第一時(shí)間戳tl處的第一深度圖Sl ( tl )，以產(chǎn)生可以 用作用于呈現(xiàn)在時(shí)間戳t2處的場(chǎng)景的深度圖i; (t2)的增強(qiáng)的深度圖。 首先，在第一時(shí)間戳tl處的第一深度圖Sl ( tl )被壓縮620,從而形 成在第一時(shí)間戳tl處的第四樣本結(jié)構(gòu)S4 (tl)。隨后，基于在第二時(shí) 間戳t2處的第三樣本結(jié)構(gòu)S3 ( t2),在第一時(shí)間戳tl處的第四樣本結(jié) 構(gòu)S4 ( tl )被擴(kuò)大630,從而形成在第二時(shí)間戳t2處的第二樣本結(jié)構(gòu)
52 (t2)?？蛇x地，為了進(jìn)一步改進(jìn)所述增強(qiáng)的深度圖的質(zhì)量，可以將 第二結(jié)構(gòu)S2 ( t2 )與在第二時(shí)間戳t2處的深度圖的另 一個(gè)估計(jì)Sn ( t2 ) 結(jié)合，從而形成在第二時(shí)間戳t2處的深度圖的最終估計(jì)4 (t2)。
上面的實(shí)施例示出本發(fā)明可以如何用于增強(qiáng)深度圖的時(shí)間估計(jì)。本 發(fā)明還可以有利地用于增強(qiáng)視差圖或運(yùn)動(dòng)矢量域。應(yīng)當(dāng)進(jìn)一步注意，當(dāng) 時(shí)間戳tl在t2之前時(shí)可以應(yīng)用本發(fā)明，而當(dāng)時(shí)間戳t2在tl之前時(shí)也 可以使用本發(fā)明。
圖5B示意性示出一種更有利的圖像增強(qiáng)單元610,其不僅使用在笫 二時(shí)間戳t2處的第三樣本結(jié)構(gòu)S3 ( t2),而且還使用在第一時(shí)間戳tl 處的第五樣本結(jié)構(gòu)S5 ( tl )來(lái)擴(kuò)大630在第一時(shí)間戳tl處的第四結(jié)構(gòu) S4 ( tl )。在第一時(shí)間戳tl處的第五結(jié)構(gòu)S5 ( tl )在這里用于代替在第二時(shí)間戳t2處的第五結(jié)構(gòu)S5 (t2),其可以從在第二時(shí)間戳t2處的 第三結(jié)構(gòu)S3 (U)導(dǎo)出。在使用第一時(shí)間戳tl處的第五結(jié)構(gòu)S5 (tl) 之后的關(guān)系(ratio)是，來(lái)自第四和第五結(jié)構(gòu)的樣本現(xiàn)在都與相同的 時(shí)間戳tl相關(guān)。隨后，當(dāng)?shù)诙r(shí)間戳t2處的第三結(jié)構(gòu)S3 (t2)與第一 時(shí)間戳tl處的第五結(jié)構(gòu)S5 ( tl)之間的差異被確定時(shí)，該差異提供了 用于加權(quán)第一時(shí)間戳tl處的第四結(jié)構(gòu)S4 (tl)的更精確的權(quán)重系數(shù)， 從而使得平均來(lái)說(shuō)改進(jìn)了增強(qiáng)。
雖然圖5 B所描述的實(shí)施例示出具有用于第 一 時(shí)間戳11處的第三樣 本結(jié)構(gòu)S3 (tl)的輸入端的圖像增強(qiáng)單元610,輸入端后面跟的是壓縮 單元620,但是這不是強(qiáng)制性的?？蛇x地，可以設(shè)想具有用于在時(shí)間戳 tl處的第五結(jié)構(gòu)S5 (tl)的輸入端的可替代的圖像增強(qiáng)單元610。
在特別有利的實(shí)施例中，使用以下結(jié)構(gòu)來(lái)生成第二時(shí)間戳t2處的
深度圖的最終估計(jì)i;(:
-第一時(shí)間戳tl處的第一結(jié)構(gòu)Sl (tl)，其被增強(qiáng)從而形成第二 時(shí)間戳"處的第二結(jié)構(gòu)S2 (U)(參見(jiàn)圖SB),以及
-另一個(gè)結(jié)構(gòu)Sn(t2),其表示第二時(shí)間戳t2處的第一屬性，這 基于第二時(shí)間戳t2處的第三樣本結(jié)構(gòu)。
在上述實(shí)施例的實(shí)例中，第一屬性是深度，而第二屬性是亮度。所 述另一個(gè)結(jié)構(gòu)Sn( t2)表示可以通過(guò)使用如結(jié)合圖2A-2F所描述的根據(jù) 本發(fā)明的方法來(lái)增強(qiáng)時(shí)間戳t2處的深度圖的估計(jì)從而生成的深度圖。 所述估計(jì)又可以例如通過(guò)使用根據(jù)例如WO2005/013623的深度圖生成方 法來(lái)生成。
例如通過(guò)混合兩個(gè)結(jié)構(gòu)S2 (t2)和Sn (t2)來(lái)組合這兩個(gè)結(jié)構(gòu)， 從而形成第二時(shí)間戳t2處的深度圖的最終估計(jì)4 (U)。通過(guò)將來(lái)自 第 一 時(shí)間戳11的時(shí)間傳播的深度圖信息與用于第二時(shí)間戳12的最新估 計(jì)的深度圖組合，限制了有錯(cuò)誤的深度圖信息的誤差傳播并且提高了所 生成的深度圖的時(shí)間一致性。因此，該實(shí)施例特別有利于生成用于視頻 序列的深度圖。圖6A示意性示出根據(jù)本發(fā)明的圖像增強(qiáng)單元700。該圖 像增強(qiáng)單元700被設(shè)置為基于表示笫二屬性的第三樣本結(jié)構(gòu)S3將表 示第一屬性的第一樣本結(jié)構(gòu)Sl增強(qiáng)為表示第一屬性的第二樣本結(jié)構(gòu) S2,第一結(jié)構(gòu)Sl具有第一分辨率，而第二結(jié)構(gòu)S2具有第二分辨率。
圖像增強(qiáng)單元700包括用于接收笫一樣本結(jié)構(gòu)Sl的第一樣本的第一輸入連接器714、用于接收第三樣本結(jié)構(gòu)S3的第三樣本的第二輸入連 接器710、以及用于提供第二樣本結(jié)構(gòu)S2的第二樣本的第一輸出連接器 716。圖像增強(qiáng)單元700包括-生成單元740,其被設(shè)置為通過(guò)壓縮第一樣本結(jié)構(gòu)Sl的第一樣 本以形成第四樣本結(jié)構(gòu)S4的第四樣本，來(lái)生成表示第一屬性的第四樣 本結(jié)構(gòu)S4的第四樣本，該笫四結(jié)構(gòu)S4具有低于第一分辨率的第二分辨 率；以及-擴(kuò)大單元750,其被設(shè)置為基于第三樣本結(jié)構(gòu)S3將表示第一屬 性的第四樣本結(jié)構(gòu)S4擴(kuò)大為第二結(jié)構(gòu)S2,該擴(kuò)大單元750包括-權(quán)重系數(shù)分配單元702,其被設(shè)置為基于第三樣本結(jié)構(gòu)S3的第 三樣本，來(lái)將權(quán)重系數(shù)分配給第四樣本結(jié)構(gòu)S4的各個(gè)的第四樣本；以 及-第一計(jì)算單元704,其被設(shè)置為基于第四樣本結(jié)構(gòu)S4的第四樣 本和相應(yīng)的權(quán)重系數(shù)來(lái)計(jì)算第二樣本結(jié)構(gòu)S2的第二樣本。優(yōu)選地，權(quán)重系數(shù)分配單元702包括第二計(jì)算單元708,其被設(shè) 置為計(jì)算第三樣本結(jié)構(gòu)S3的第三樣本與第三樣本結(jié)構(gòu)S3的低通濾波 的第三樣本之間的差異。更優(yōu)選地，所述低通濾波包括通過(guò)壓縮第三樣 本結(jié)構(gòu)S3來(lái)生成第五樣本結(jié)構(gòu)S5。優(yōu)選地，權(quán)重系數(shù)分配單元702進(jìn)一步包括映射單元706,其用于 將由第二計(jì)算單元708計(jì)算的差異映射到相應(yīng)的權(quán)重系數(shù)。甚至更優(yōu)選 地，映射單元706 ^C設(shè)置為執(zhí)行非線性函數(shù)以用于將輸入值(即差) 映射為輸出值(即權(quán)重系數(shù))。優(yōu)選地，該非線性函數(shù)是指數(shù)函數(shù)，其 將相對(duì)較大的差轉(zhuǎn)換為相對(duì)較小的權(quán)重系數(shù)。優(yōu)選地，通過(guò)LUT(查詢 表)來(lái)實(shí)現(xiàn)該映射單元706。可選地，圖像增強(qiáng)單元700包括第四輸入連接器718，其用于接收 如結(jié)合公式6所述的可靠性值?？梢允褂靡粋€(gè)處理器實(shí)現(xiàn)生成單元740和擴(kuò)大單元750。通常，這 些功能在軟件程序產(chǎn)品的控制下執(zhí)行。在執(zhí)行期間，通常該軟件程序產(chǎn) 品載入到存儲(chǔ)器(如RAM)并在此處被執(zhí)行。該程序可以從背景存儲(chǔ)器 載入，比如ROM、硬盤或磁性和/或光學(xué)存儲(chǔ)器，或者可以經(jīng)如互聯(lián)網(wǎng)的 網(wǎng)絡(luò)載入?？蛇x地， 一種專用集成電路提供了所公開的功能。圖6B示出根據(jù)本發(fā)明的另 一個(gè)圖像增強(qiáng)單元7 00,其裝有另 一個(gè)輸 入連接器722以用于接收表示具有第一分辨率的另一個(gè)樣本結(jié)構(gòu)Sx,該 結(jié)構(gòu)Sx表示代表笫一屬性的另一個(gè)結(jié)構(gòu)。隨后在進(jìn)一步處理之前，例 如通過(guò)加權(quán)相加，將第一結(jié)構(gòu)Sl與所述另一個(gè)結(jié)構(gòu)Sx結(jié)合730為單個(gè) 樣本結(jié)構(gòu)。以這種方式，可以有利地結(jié)合多個(gè)深度圖的估計(jì)。 圖7示意性示出多視像生成單元800,其包括 -深度圖生成單元802,其用于基于圖像生成各個(gè)輸入圖像的深度 圖。該深度圖包括表示到觀察者的距離的深度值，并且其中深度圖的分辨率等于輸入圖像的分辨率；-如結(jié)合圖6A所述的圖像增強(qiáng)單元700,其用于基于輸入圖像將深 度圖增強(qiáng)為增強(qiáng)的深度圖。該增強(qiáng)深度圖的分辨率對(duì)應(yīng)于輸入圖像的分 辨率；以及-呈現(xiàn)單元806,其用于基于輸入圖像和相應(yīng)的由圖像增強(qiáng)單元1M 提供的改進(jìn)的深度圖來(lái)呈現(xiàn)多視像。多視像生成單元8 0 0被設(shè)置以基于視頻圖像序列來(lái)生成多視圖 圖像序列。多視像生成單元800分別在輸入連接器808處設(shè)有視頻 圖像流，以及在輸出連接器810和812處提供兩個(gè)相關(guān)視頻流。這兩個(gè) 相關(guān)視頻圖像流被應(yīng)用于多視圖顯示設(shè)備，該顯示設(shè)備被設(shè)置為基于 所述相關(guān)視頻圖像流的笫 一個(gè)視頻圖像流顯現(xiàn)第 一 系列視圖，并且基于 所述相關(guān)視頻圖像流的第二個(gè)視頻圖像流顯示第二系列視圖。如果用戶 (即觀察者)使用其左眼觀看第一系列視圖，同時(shí)使用其右眼觀看第二 系列^L圖，則他(她)可以感知到3D印象(impression)。所述相關(guān) 視頻圖像流的第一個(gè)視頻圖像流可能對(duì)應(yīng)于所接收到的視頻圖像序列， 并且所述相關(guān)視頻流的第二個(gè)視頻圖像流可以基于所接收到的視頻圖 像序列而被呈現(xiàn)。優(yōu)選地，視頻圖像的兩個(gè)視頻圖像流都基于所接收的 視頻圖像序列而被呈現(xiàn)。例如在關(guān)于聲學(xué)、語(yǔ)音和信號(hào)處理的國(guó)際會(huì)議 的會(huì)刊 (Proceedings of International Conference on Acoustics,Speech,and Signal Processing) ,Vol, IV， ISBNO-8186-7919-0，第2749-2752頁(yè)，IEEE Computer Society, Los Alamitos, California, 1997中的由P丄Redert, E. A. Hendriks, 和J. Biemound撰寫的文章 "Synthesis of multi viewpoint images at non-intermediate position" 中描述了該呈現(xiàn)。在另一個(gè)實(shí)施例中,如在Proceedings Eurographics, Granada, 2003, Short Note 124中 由R. P. Berretty和F. E. Ernst發(fā)表的"High-qual i ty images from 2. 5D video" 中描述了該呈現(xiàn)。在另一個(gè)實(shí)施例中，在Proceedings Eurographic， Granada, 2003，Shot Note 124 由R. P. Berretty和 F.E.Ernst所著的 "High-qual i 1 ty images from 2. 5D video" 中描述 了所述呈現(xiàn)。圖8示意性示出根據(jù)本發(fā)明的圖像處理設(shè)備900的實(shí)施例，該設(shè)備 包括-接收裝置902,其用于接收表示輸入圖像的信號(hào)； -如結(jié)合圖7所述的多一見(jiàn)像生成單元800;以及 -顯示設(shè)備906，其用于顯示多視像生成單元800的輸出圖像。 所述信號(hào)可以是經(jīng)天線或電纜接收的廣播信號(hào)，也可以是來(lái)自存儲(chǔ) 器設(shè)備(比如VCR (盒式錄像機(jī))或DVD (數(shù)字通用盤))的信號(hào)。該 信號(hào)在輸入連接器910處提供。圖像處理設(shè)備900可以是例如TV?？商?代地，圖像處理設(shè)備900不包括可選顯示設(shè)備，但是其將輸出圖像應(yīng)用 至包括顯示設(shè)備906的設(shè)備。隨后圖像處理設(shè)備900可以是例如機(jī)頂盒、 衛(wèi)星調(diào)諧器、VCR播放器、DVD播放器或錄音機(jī)?？蛇x地，圖像處理設(shè) 備900包括存儲(chǔ)器裝置，比如硬盤或用于在可移動(dòng)介質(zhì)上存儲(chǔ)的裝置， 例如光盤。圖像處理設(shè)備900還可以是由電影工作室或廣播設(shè)備所使用 的系統(tǒng)。應(yīng)當(dāng)注意，上述實(shí)施例說(shuō)明而非限制本發(fā)明，并且本領(lǐng)域技術(shù)人員 將能夠涉及可替代的實(shí)施例，而不脫離所附權(quán)利要求的范圍。在權(quán)利要 求中，置于括號(hào)中的任何附圖標(biāo)記不應(yīng)該被解釋為限制該權(quán)利要求。文 字"包括"不排除未在權(quán)利要求中列出的元件或步驟的存在。元件前面 的文字"一個(gè)，，不排除多個(gè)這樣的元件的存在?？梢酝ㄟ^(guò)包括多個(gè)離散 元件的硬件并通過(guò)合適的可編程計(jì)算機(jī)來(lái)實(shí)現(xiàn)本發(fā)明。在列舉了幾個(gè)裝 置的單元權(quán)利要求中，可以通過(guò)同一項(xiàng)硬件或軟件來(lái)實(shí)現(xiàn)這些裝置中的 幾個(gè)。文字第一、第二和第三等的使用不表示任何次序。這些文字應(yīng)當(dāng) 被解釋為名稱。除非特別指示，不要求動(dòng)作的特定順序。
權(quán)利要求
1. 基于表示第二屬性并具有第一分辨率的第三樣本結(jié)構(gòu)(S3)而將第一樣本結(jié)構(gòu)(S1)增強(qiáng)為第二樣本結(jié)構(gòu)(S2)的方法，所述第一和第二結(jié)構(gòu)都表示場(chǎng)景的第一屬性并具有第一分辨率，所述第一屬性和第二屬性分別表示基本相同場(chǎng)景的不同屬性，該方法包括-通過(guò)壓縮第一樣本結(jié)構(gòu)(S1)的第一樣本以形成第四樣本結(jié)構(gòu)(S4)的樣本從而生成(620)表示第一屬性的第四樣本結(jié)構(gòu)(S4)，第四樣本結(jié)構(gòu)(S4)具有低于第一分辨率的第二分辨率；-基于第三樣本結(jié)構(gòu)(S3)將表示第一屬性的第四樣本結(jié)構(gòu)(S4)擴(kuò)大(630)為第二樣本結(jié)構(gòu)(S2)，該擴(kuò)大(630)包括i)基于第三樣本結(jié)構(gòu)(S3)的樣本將權(quán)重系數(shù)分配(702)給第四樣本結(jié)構(gòu)(S4)的相應(yīng)的樣本；以及ii)使用第四樣本結(jié)構(gòu)(S4)的樣本和它們的被分別分配的權(quán)重系數(shù)來(lái)計(jì)算(704)第二樣本結(jié)構(gòu)(S2)的樣本。
2. 權(quán)利要求1的方法，其中分配給第四樣本結(jié)構(gòu)(S4)的各個(gè)樣本 的權(quán)重系數(shù)是基于下面二者之間的差異的-第三樣本結(jié)構(gòu)(S3)的第三樣本；以及-第三樣本結(jié)構(gòu)(S3)的低通濾波的第三樣本。
3. 權(quán)利要求2的方法，其中將權(quán)重系數(shù)分配給第四樣本結(jié)構(gòu)(S4) 的各個(gè)樣本進(jìn)一步包括-通過(guò)壓縮(620 )第三樣本結(jié)構(gòu)(S3)的樣本以形成笫五樣本結(jié) 構(gòu)(S5)的樣本從而生成表示第二屬性的第五樣本結(jié)構(gòu)(S5)，該第五 樣本結(jié)構(gòu)(S5)具有第二分辨率，并且其中-分配給第四樣本結(jié)構(gòu)(S4)的各個(gè)樣本的權(quán)重系數(shù)基于第五樣本 結(jié)構(gòu)(S5)的樣本與第三樣本結(jié)構(gòu)(S3)的樣本之間的差異。
4. 權(quán)利要求1的方法，其中基于所述差異的非線性函數(shù)來(lái)確定權(quán)重 系數(shù)。
5. 權(quán)利要求1的方法，其中所述非線性函數(shù)是指數(shù)函數(shù)。
6. 權(quán)利要求4或5中任意一項(xiàng)的方法，其中所述函數(shù)將相對(duì)較大的 差異轉(zhuǎn)換為相對(duì)較小的權(quán)重系數(shù)。
7. 權(quán)利要求2到6中任意一項(xiàng)的方法，其中基于第三結(jié)構(gòu)(S3)的第一個(gè)樣本(302 )與第五結(jié)構(gòu)(S5)的第一個(gè)樣本(304 )之間的笫一差異來(lái)分配第四結(jié)構(gòu)(S4)的第一個(gè)樣本 (306 )的第一個(gè)權(quán)重系數(shù)，以用于計(jì)算第二結(jié)構(gòu)(S2)的第一個(gè)樣本 (300 ),第二結(jié)構(gòu)(S2)的第一個(gè)樣本(300 )與第三結(jié)構(gòu)(S3)的第一個(gè)樣本(302 )的相應(yīng)的坐標(biāo)彼此相同。
8. 權(quán)利要求2到7中任意一項(xiàng)的方法，其中基于第三結(jié)構(gòu)(S3)的第一個(gè)樣本(30"與第五結(jié)構(gòu)(S5)的第 一個(gè)樣本(304 )之間的第一差異來(lái)分配第四結(jié)構(gòu)(S4)的第一個(gè)樣本 (306 )的第一個(gè)權(quán)重系數(shù)，以用于計(jì)算第二結(jié)構(gòu)(S2)的第一個(gè)樣本 (300 ),第五結(jié)構(gòu)(S5)的第一個(gè)樣本(3(H)與第四結(jié)構(gòu)的第一個(gè)樣 本(306 )的相應(yīng)的坐標(biāo)《皮此相同。
9. 權(quán)利要求1的方法，其中所述擴(kuò)大(630 )包括多個(gè)縮放步驟， 縮放步驟包括-縮放步驟(Ul),其用于獲得表示第一屬性的中間樣本結(jié)構(gòu)，該 中間樣本結(jié)構(gòu)具有高于第二分辨率且低于第 一分辨率的中間分辨率；以 及-另一個(gè)縮放步驟(U2),其用于基于所述中間樣本結(jié)構(gòu)來(lái)獲得第 二樣本結(jié)構(gòu)。
10. 權(quán)利要求1的方法，其中第一屬性是下列屬性之一 -深度；-視差；以及 —運(yùn)動(dòng)
11. 權(quán)利要求1的方法，其中第二屬性是下列屬性之一 -顏色；-亮度；以及 -彩色紋理。
12. 權(quán)利要求1的方法，其中從第四樣本結(jié)構(gòu)(S4)生成(620 )樣 本包括結(jié)合來(lái)自第一樣本結(jié)構(gòu)(Sl)的多個(gè)樣本。
13. 權(quán)利要求1的方法，其中壓縮包括使用箱式濾波器。
14. 權(quán)利要求1的方法，其中-所述第一樣本結(jié)構(gòu)(Sl ( tl ))表示第一時(shí)間戳(tl )處的場(chǎng)景 的第一屬性；-所述第三樣本結(jié)構(gòu)(S3 (t2))表示第二時(shí)間戳(U)處的場(chǎng)景的第二屬性；以及-第二時(shí)間戳(t2)在時(shí)間上與笫一時(shí)間戳(tl )近似，從而使得在第一時(shí)間戳(tl )處的第一樣本結(jié)構(gòu)(Sl ( tl ))形成表示在第二時(shí)間戳(t2)處的第一屬性的第二樣本結(jié)構(gòu)(S2 (t2))的估計(jì)。
15. 權(quán)利要求14的方法，其中將權(quán)重系數(shù)分配給第一時(shí)間戳(tl)處的第四樣本結(jié)構(gòu)(S4 (tl))的各個(gè)樣本進(jìn)一步包括-通過(guò)壓縮第一時(shí)間戳(tl)處的第三樣本結(jié)構(gòu)(S3 (tl))的樣本以形成第一時(shí)間戳(tl)處的第五樣本結(jié)構(gòu)(S5 (tl)的樣本，從而生成表示在第一時(shí)間戳(tl )處的第二屬性的第五樣本結(jié)構(gòu)(S5 ( tl ))，第一時(shí)間戳(tl )處的第五樣本結(jié)構(gòu)(S5 ( U ))具有第二分辨率。并且其中-分配給第一時(shí)間戳(tl)處的第四樣本結(jié)構(gòu)(S4 (tl))的各個(gè)樣本的權(quán)重系數(shù)基于第一時(shí)間戳(tl)處的第五樣本結(jié)構(gòu)(S5 (tl))的樣本與第二時(shí)間戳(t2)處的第三樣本結(jié)構(gòu)(S3 (U))的樣本之間的差異。
16. 圖像增強(qiáng)單元(700 ),其用于基于表示第二屬性并具有第一分辨率的第三樣本結(jié)構(gòu)(S3)而將第一樣本結(jié)構(gòu)(SI)增強(qiáng)為第二樣本結(jié)構(gòu)(S2),第一結(jié)構(gòu)和第二結(jié)構(gòu)都表示場(chǎng)景的第一屬性并具有第一分辨率，第一屬性和第二屬性分別表示基本相同的場(chǎng)景的不同屬性，所述增強(qiáng)單元(700 )包括-生成單元(740 ),其被設(shè)置為通過(guò)壓縮第一樣本結(jié)構(gòu)(SI)的第一樣本以形成第四樣本結(jié)構(gòu)(SO的樣本，來(lái)生成表示第一屬性的第四樣本結(jié)構(gòu)(S4)的樣本，該第四結(jié)構(gòu)(S4)具有低于第一分辨率的第二分辨率；-擴(kuò)大單元(750 ),其被設(shè)置為基于第三樣本結(jié)構(gòu)(S3)將表示第一屬性的第四樣本結(jié)構(gòu)(SO擴(kuò)大為笫二結(jié)構(gòu)(S2),該擴(kuò)大單元(750 )包括-權(quán)重系數(shù)分配單元(702 )，其被設(shè)置為基于第三樣本結(jié)構(gòu)(S3)的樣本，來(lái)將權(quán)重系數(shù)分配給第四樣本結(jié)構(gòu)(S4)的各個(gè)樣本；以及-第一計(jì)算單元(704 ),其被設(shè)置為使用第四樣本結(jié)構(gòu)(SO的樣本和它們的分別被分配的權(quán)重系數(shù)來(lái)計(jì)算第二樣本結(jié)構(gòu)(S2)的樣本。
17. 圖像處理設(shè)備，包括權(quán)利要求16的圖像增強(qiáng)單元。
18. 視頻顯示設(shè)備，包括權(quán)利要求16的圖像增強(qiáng)單元。
19. 一種由計(jì)算機(jī)裝置載入的計(jì)算機(jī)程序產(chǎn)品，其包括存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上的程序代碼方法(means)，所述程序代碼方法祐二沒(méi)置為當(dāng)所述程序代碼方法在計(jì)算機(jī)上運(yùn)行時(shí)，其執(zhí)行權(quán)利要求1到15中任意一項(xiàng)的方法的步驟。
全文摘要
本發(fā)明涉及一種圖像增強(qiáng)單元和一種基于第三樣本結(jié)構(gòu)(S3)而將第一樣本結(jié)構(gòu)(S1)增強(qiáng)為第二樣本結(jié)構(gòu)(S2)的方法，第一和第二結(jié)構(gòu)二者都表示場(chǎng)景的第一屬性并且具有第一分辨率，第三結(jié)構(gòu)(S3)表示第二屬性并具有第一分辨率，第一屬性和第二屬性分別表示基本相同的場(chǎng)景的不同屬性。該方法包括通過(guò)壓縮第一樣本結(jié)構(gòu)(S1)的第一樣本以形成第四樣本結(jié)構(gòu)(S4)的樣本從而生成表示第一屬性的第四樣本結(jié)構(gòu)(S4)，第四樣本結(jié)構(gòu)(S4)具有低于第一分辨率的第二分辨率。該方法進(jìn)一步包括基于第三樣本結(jié)構(gòu)(S3)將表示第一屬性的第四樣本結(jié)構(gòu)(S4)擴(kuò)大到第二結(jié)構(gòu)(S2)，該擴(kuò)大操作包括基于第三樣本結(jié)構(gòu)(S3)的樣本將權(quán)重系數(shù)分配給第四結(jié)構(gòu)(S4)的各個(gè)的樣本；以及使用第四樣本結(jié)構(gòu)(S4)的樣本和它們的被分別分配的權(quán)重系數(shù)來(lái)計(jì)算第二樣本結(jié)構(gòu)(S2)的樣本。本發(fā)明進(jìn)一步涉及一種包括根據(jù)本發(fā)明的圖像增強(qiáng)單元的圖像處理單元，以及涉及一種計(jì)算機(jī)程序產(chǎn)品。
文檔編號(hào)G06T5/00GK101523434SQ200780037524
公開日2009年9月2日 申請(qǐng)日期2007年10月2日 優(yōu)先權(quán)日2006年10月4日
發(fā)明者C·瓦爾坎普, E·P·芬克, M·S·B·G·鮑維爾, O·P·岡瓦爾 申請(qǐng)人:皇家飛利浦電子股份有限公司