為圖像處理目的用濾波器應(yīng)用卷積的快速數(shù)值逼近的制作方法
【專利摘要】一種計(jì)算機(jī)實(shí)現(xiàn)的方法，用于用濾波器f應(yīng)用由級l的分層信號al表示的圖像I的卷積的數(shù)值逼近，所述方法包括步驟：通過對于每一層級l應(yīng)用al和內(nèi)核hI之間的卷積以及通過對卷積的al和hI的結(jié)果進(jìn)行向下采樣，生成正變換；通過對于每一層級l應(yīng)用內(nèi)核h2和向上采樣的正變換之間的卷積以及將該結(jié)果與a1和內(nèi)核g的卷積組合，生成逆變換；以及將正變換和逆變換組合來產(chǎn)生為a和f之間的卷積的逼近的其中，內(nèi)核hI,hI和g是濾波器f的優(yōu)化內(nèi)核。
【專利說明】為圖像處理目的用濾波器應(yīng)用卷積的快速數(shù)值逼近
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理，以及更具體地說，涉及在圖像處理中用濾波器應(yīng)用卷積的快速數(shù)值逼近。
【背景技術(shù)】
[0002]計(jì)算機(jī)圖形和圖像處理中的許多任務(wù)涉及將大型線性平移不變(LTI)濾波器應(yīng)用于圖像。共同的例子包括圖像的低通和高通濾波，以及響應(yīng)于各種濾波器組而測量圖像。在圖1中示出了使用大型LTI濾波器也能實(shí)現(xiàn)的一些不太顯然的任務(wù):圖10示出通過積分它們的梯度場IOA來重構(gòu)圖像IOB ;圖20示出擬合平滑膜20B來內(nèi)插一組邊界值20A ;以及圖30示出散開數(shù)據(jù)內(nèi)插，30A作為輸入以及30B作為輸出。
[0003]盡管卷積是將LTI濾波器應(yīng)用于圖像的最直接方式，但它帶來高的計(jì)算成本:要求0(n2)運(yùn)算來卷積具有相當(dāng)大小的內(nèi)核的η像素圖像。快速傅立葉變換(FFT)為周期域提供更有效的O(nlogn)替代方案。已經(jīng)提出了用于某些特定情形的其他快速方法。例如，一種諸如自組算法描述了多尺度方法，能在分層二次采樣位置，O (η)次逼近具有大的高斯內(nèi)核的卷積。
[0004]除卷積的直接0(η2)實(shí)現(xiàn)外，還有能更有效地計(jì)算的某些情況。在周期域，能將每一卷積算子表示為由傅立葉基礎(chǔ)對角線化的循環(huán)Topelitz矩陣。因此，使用快速傅立葉變換，可以O(shè)(nlogn)次執(zhí)行周期域上的大內(nèi)核卷積。
[0005]通過首先執(zhí)行ID水平卷積，接著在垂直方向中執(zhí)行(或反之亦然)，能加速具有可以表示為兩個(gè)ID內(nèi)核的外積的可分的2D內(nèi)核的卷積。因此,成本是O(kn)，其中，k是ID內(nèi)核的長度。使用各個(gè)順序的內(nèi)核B樣條濾波器的SVD分解，通過可分內(nèi)核，可以逼近不可分內(nèi)核，以及使用重復(fù)積分或廣義積分圖像，每一像素以恒定時(shí)間可以估計(jì)尺度。
[0006]因?yàn)樗鼈兊闹匾饔茫呀?jīng)專門開發(fā)了許多方法來逼近具有高斯內(nèi)核的卷積。與該工作特別有關(guān)的是所提出的分層離散相關(guān)方案。該多尺度方案0(n)次逼近高斯金字塔。由于通過高斯帶的卷積限制信號，將粗糙級內(nèi)插回精細(xì)級提供對具有0(n)的大型高斯內(nèi)核的卷積的逼近。然而，該逼近僅對某些寬度的高斯精確。
[0007]上述想法在拉普拉斯金字塔中達(dá)到頂點(diǎn)，并且后來與小波關(guān)聯(lián)。更具體地說，拉普拉斯金字塔可以視作高密度小波變換。這些想法還被效仿，其中，O(nlogn)次構(gòu)建多尺度雙邊濾波器金字塔。拉普拉斯金字塔以及各種其他小波變換將信號分解成表明對各種分析和合成任務(wù)有用的低頻和高頻。特別地，可以逼近大內(nèi)核的卷積的效果。然而，即使這些方案依賴于重復(fù)卷積(通常具有小內(nèi)核)，但它們不是平移不變的，即，如果平移輸入，最終分析和合成將不僅僅區(qū)別于平移。這是由于這些方案使用二次采樣運(yùn)算，用于實(shí)現(xiàn)它們的快速O (η)性能。
[0008]在過去數(shù)十年認(rèn)為相當(dāng)重要的一種情況是從其卷積形式恢復(fù)信號，例如，從其梯度場恢復(fù)圖像。這產(chǎn)生諸如泊松方程的線性方程的平移不變系統(tǒng)。相應(yīng)的矩陣再次是Topelitz矩陣,在周期域上使用FFT,能O(nlogn)次倒置。然而，存在用于在周期和非周期域上處理特定類型的這樣方程的甚至更快O (η)的解算器。多重網(wǎng)格方法和基于分層的預(yù)處理通過以多尺度操作實(shí)現(xiàn)線性性能。描述了用于大梯度域問題的現(xiàn)有技術(shù)的多重網(wǎng)格解算器，以及描述了用于較小問題的GPU實(shí)現(xiàn)。由于這些線性系統(tǒng)中的矩陣是循環(huán)行列式(或接近循環(huán)行列式，由域而定)，它們的互逆也是循環(huán)卷積矩陣。因此，原則上，通過卷積具有內(nèi)核的右手側(cè)，例如，在無限泊松方程的情況下的格林函數(shù)，能獲得(或逼近)解決方案。我們的方法使得能夠精確地逼近具有這些內(nèi)核的卷積，因此，提供更有效以及更容易的實(shí)現(xiàn)用于求解這種方程的替代方案。
[0009]梯度域技術(shù)還廣泛用于無縫克隆和拼接，產(chǎn)生類似的線性系統(tǒng)，但具有不同(Dirichlet)邊界條件，通常在不規(guī)則形狀域上求解。在這種情況下，求解通常歸結(jié)為計(jì)算內(nèi)插一組指定邊界值的平滑膜來描述用于這些系統(tǒng)的基于專用四叉樹的解算器，同時(shí)通過使用平均值內(nèi)插，避免求解線性系統(tǒng)。
[0010]當(dāng)將內(nèi)插許多數(shù)據(jù)點(diǎn)時(shí)或當(dāng)需要內(nèi)插函數(shù)的密集估計(jì)時(shí)，該方法也能用在更常見的散開數(shù)據(jù)內(nèi)插情形中。因此，在使用將信息傳播到整個(gè)域的大卷積濾波器很重要的情況下，對散開數(shù)據(jù)內(nèi)插提供有效的逼近將是有利的。

【發(fā)明內(nèi)容】

[0011]本發(fā)明在其實(shí)施例中為圖像處理目的用大支撐濾波器提供卷積的快速數(shù)值逼近的方法。在此所提出的方法包括在小波變換后形成的多尺度方案，其線性實(shí)時(shí)計(jì)算逼近。假定專用大目標(biāo)濾波器逼近，首先使用數(shù)值優(yōu)化來設(shè)計(jì)一組小內(nèi)核，其然后用來執(zhí)行所提出的多尺度變換的分析和合成步驟。在完成優(yōu)化時(shí)，將最終變換線性實(shí)時(shí)地應(yīng)用于任何信號。將在此證實(shí)所提出的方法非常適用于諸如梯度場積分、無縫圖像克隆和散開數(shù)據(jù)內(nèi)插的任務(wù)，優(yōu)于現(xiàn)有技術(shù)的方法。
[0012]本發(fā)明的實(shí)施例針對通過降低復(fù)雜度，通用化逼近卷積的算法。在此提出了多尺度框架，不限于逼近特定內(nèi)核，而是能被協(xié)調(diào)來再現(xiàn)多個(gè)有用大LTI濾波器的效果，同時(shí)O (η)次操作。特別地，在下文中，將證實(shí)所提出的框架對橫跨泊松方程的解的格林函數(shù)、互逆距離加權(quán)內(nèi)核和用于散開數(shù)據(jù)內(nèi)插的廣泛支持的高斯內(nèi)核的適用性。
[0013]本發(fā)明在其實(shí)施例中提供多尺度方案，類似拉普拉斯金字塔，以及某些小波變換。然而，不同于這些更通用目的的變換，所提出的方法是定制設(shè)計(jì)該變換來直接逼近指定LTI算子的效果。換句話說，盡管現(xiàn)有技術(shù)的多尺度結(jié)構(gòu)通常用于將該問題變換成能更好求解的空間，但在所提出的方法中，變換本身直接產(chǎn)生所需的解。
[0014]例如，本發(fā)明的非限制性實(shí)施例重復(fù)地執(zhí)行具有三個(gè)小的固定寬度內(nèi)核的卷積，同時(shí)對圖像向下采樣和向上采樣，以便在所有尺度上操作。數(shù)值優(yōu)化這些內(nèi)核的每一個(gè)的加權(quán)，使得變換的整體動(dòng)作通過某個(gè)目標(biāo)濾波器最逼近卷積運(yùn)算。對每一目標(biāo)濾波器，優(yōu)化僅需要完成一次，然后可以將最終多尺度變換應(yīng)用于任何輸入信號0(η)次。該設(shè)計(jì)后的動(dòng)機(jī)將是避免處理由非理想的小的有限濾波器引起的分析難題，另一方面，嘗試對其他實(shí)現(xiàn)最有效線性計(jì)算預(yù)算。
[0015]緊密地逼近具有自由空間格林函數(shù)的卷積的本發(fā)明的實(shí)施例的足以允許反轉(zhuǎn)泊松方程的某些變量。在此將證實(shí)對該方程，所建議的方法快于現(xiàn)有技術(shù)的解算器，諸如基于多重網(wǎng)格方法的解算器，對相當(dāng)大量的方程提供提高的精度和更高實(shí)現(xiàn)便利?！緦＠綀D】

【附圖說明】
[0016]為更好理解本發(fā)明的實(shí)施例以及示出如何實(shí)施，現(xiàn)在將僅通過例子參考附圖，其中，相同的數(shù)字始終表示相應(yīng)的元件或部件。
[0017]在附圖中，
[0018]圖1示出圖示本發(fā)明的若干方面的若干圖像處理應(yīng)用；
[0019]圖2是圖示根據(jù)本發(fā)明的一些實(shí)施例的方面的高級框圖；
[0020]圖3A-3G示出說明本發(fā)明的方面的若干圖像；
[0021]圖4A-4F示出說明本發(fā)明的方面的若干圖像；
[0022]圖5A-5E示出說明本發(fā)明的方面的若干圖像；
[0023]圖6A-6F不出說明本發(fā)明的方面的若干圖像和圖；以及
[0024]圖7A-7I不出說明本發(fā)明的方面的若干圖像和圖；
[0025]附圖結(jié)合下述的詳細(xì)描述對本領(lǐng)域的技術(shù)人員如何實(shí)際上具體化本發(fā)明將變得顯而易見。
【具體實(shí)施方式】
[0026]現(xiàn)在參考詳細(xì)地具體參考附圖，強(qiáng)調(diào)所示的細(xì)節(jié)僅是示例性的和為本發(fā)明的優(yōu)選實(shí)施例的說明性討論目的，為提供認(rèn)為最有用和最容易理解本發(fā)明的原理和概念方面而呈現(xiàn)。關(guān)于這一點(diǎn)，不嘗試比本發(fā)明的基本理解所需更詳細(xì)地示出本發(fā)明的結(jié)構(gòu)細(xì)節(jié)，結(jié)合附圖所做的描述使本領(lǐng)域的技術(shù)人員如何實(shí)際上具體化本發(fā)明的若干形式顯而易見。
[0027]在詳細(xì)地解釋本發(fā)明的至少一個(gè)實(shí)施例之前，應(yīng)理解本發(fā)明在其應(yīng)用方面不限于在下述描述中闡述或在附圖中所圖示的部件的結(jié)構(gòu)和排列的細(xì)節(jié)。本發(fā)明可應(yīng)用于其他實(shí)施例或以各種方式實(shí)施或執(zhí)行。同時(shí)，應(yīng)理解在此所采用的措辭或術(shù)語是為了描述目的而不應(yīng)被視作限制。
[0028]接下來是所提出的框架的一般描述以及由發(fā)明人所做的一些示例性設(shè)計(jì)決策的動(dòng)機(jī)。稍后將論述使框架適應(yīng)計(jì)算機(jī)圖形學(xué)中的若干重要具體問題。
[0029]在用于尺度分離的計(jì)算機(jī)圖形學(xué)和圖像處理中，廣泛地使用線性平移不變?yōu)V波。實(shí)際上，許多圖像分析和操作算法在沒有適當(dāng)結(jié)構(gòu)化的多尺度(子帶)分解的情況下不能成功。在大多數(shù)應(yīng)用中，當(dāng)提取特定帶時(shí)所需的頻譜精度與帶水平成比例:通常通過在頻域中實(shí)現(xiàn)低定位的小型濾波器，提取高頻分量，而低頻通常需要以較高頻譜精度，因此，使用大的低通濾波器。
[0030]諸如小波變換和拉普拉斯金字塔的子帶體系結(jié)構(gòu)依賴于頻譜“分治”策略，其中，在每個(gè)尺度，經(jīng)濾波劃分頻譜，然后進(jìn)一步遞歸地拆分無大量數(shù)據(jù)丟失的情況下二次采樣的頻譜的低端。二次采樣步驟允許使用小的固定長度的濾波器漸進(jìn)地提取低頻，因?yàn)橛捎谑褂枚尾蓸?，域本身縮小以及遠(yuǎn)點(diǎn)變得更近。該方法導(dǎo)致信號的高效線性時(shí)間處理，并且能達(dá)最大空間尺度地隔離低頻模式(圖像的DC分量)。
[0031]盡管對一些應(yīng)用來說不是主要障礙，但這些分解遇到兩個(gè)主要缺點(diǎn)。首先，最終變換的坐標(biāo)，因此使用這些坐標(biāo)執(zhí)行的運(yùn)算，對平移來說是不變量。
[0032]因此，不同于卷積，位移輸入圖像可以比僅空間偏移更大地改變結(jié)果。其次，為實(shí)現(xiàn)0(n)運(yùn)行時(shí)間，有必要使用有限脈沖響應(yīng)濾波器。這些濾波器能實(shí)現(xiàn)一些空間和頻譜定位，但不提供頻譜的理想劃分。如在此所說明的，這些屬性對一些應(yīng)用(諸如求解泊松方程)和對特定形狀內(nèi)核的設(shè)計(jì)很關(guān)鍵。事實(shí)上，這兩個(gè)缺點(diǎn)支配下述的新方案的設(shè)計(jì)，其目的是在O (η)的計(jì)算成本預(yù)算下，實(shí)現(xiàn)某些平移不變算子的最佳逼近。
[0033]圖2圖示可以實(shí)現(xiàn)在此公開的多尺度濾波方案的非限制性示例系統(tǒng)(100)。應(yīng)注意到可以通過使用在數(shù)字信號處理(DSP)處理器或通用計(jì)算機(jī)上運(yùn)行的軟件，或在專用集成電路(ASIC)中，實(shí)現(xiàn)系統(tǒng)(100)。在所提出的多尺度濾波方案中，通過分析濾波器4(104)對信號a° (102)卷積，以及使用二次采樣器(106)以因子2 二次采樣該結(jié)果，執(zhí)行正變換。然后，在二次采樣數(shù)據(jù)(112 )上重復(fù)該過程。此外，在每一級保持該信號的未濾波和未采樣副本。形式上，在層次的每一級，執(zhí)行下述計(jì)算:
[0034]Ct10=Ct1 (I)
[0035]α 1+1= j Qi1* α χ) (2)
[0036]其中，下標(biāo)I表示層次中的級，以及Jtl是在每一級保持的未濾波數(shù)據(jù)，以及丨表示二次采樣算子。通過設(shè)定a° = a，啟動(dòng)變換，其中，a是將濾波的輸入信號。
[0037]逆變換(合成)包括使用向上采樣器(116)，通過在每兩個(gè)采樣之間插入O來向上采樣，接著通過另一濾波器匕(118)卷積。通過合成器(120)，將內(nèi)插信號與在通過第三濾波器g (108)卷積后的那一級存儲的信號合成，SP:
[0038]
【權(quán)利要求】
1.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，用于用濾波器f應(yīng)用由級I的分層信號a1表示的圖像I的卷積的數(shù)值逼近，所述方法包括: 通過對于每一層級I應(yīng)用a1和內(nèi)核Ill之間的卷積以及通過對卷積的a1和Ill的結(jié)果進(jìn)行向下采樣，生成正變換； 通過對于每一層級I應(yīng)用內(nèi)核h2和向上采樣的正變換之間的卷積以及將結(jié)果與a1和內(nèi)核g的卷積組合，生成逆變換；以及 將正變換和逆變換組合來產(chǎn)生為a和f之間的卷積的逼近的#， 其中，內(nèi)核h” hi和g是濾波器f的優(yōu)化內(nèi)核。
2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括:根據(jù)特定圖像處理應(yīng)用需求，確定層級I。
3.根據(jù)權(quán)利要求1和2中的任何一個(gè)所述的方法，其中，濾波器f是線性平移不變(LTI)濾波器。
4.根據(jù)權(quán)利要求1至3中的任何一個(gè)所述的方法，其中，通過選擇最小化1? minF dV -/*α||2的集合 F = Ui1, h2, g},實(shí)現(xiàn)最佳內(nèi)核。
5.根據(jù)權(quán)利要求1至4中的任何一個(gè)所述的方法，其中，以比率2來向下采樣。
6.根據(jù)權(quán)利要求1至5中的任何一個(gè)所述的方法，其中，通過以比率2補(bǔ)零來向上采樣。
7.根據(jù)權(quán)利要求1至6中的任何一個(gè)所述的方法，其中，擬合內(nèi)核來獲得不同尺度的高斯濾波器。
8.根據(jù)權(quán)利要求1至6中的任何一個(gè)所述的方法，其中，圖像I和濾波器f之間的卷積結(jié)果導(dǎo)致梯度場積分。
9.根據(jù)權(quán)利要求1至6中的任何一個(gè)所述的方法，其中，圖像I和濾波器f之間的卷積結(jié)果導(dǎo)致無縫圖像克隆。
10.根據(jù)權(quán)利要求1至6中的任何一個(gè)所述的方法，其中，圖像I和濾波器f之間的卷積結(jié)果導(dǎo)致散開數(shù)據(jù)內(nèi)插。
11.一種系統(tǒng)，被配置成執(zhí)行根據(jù)權(quán)利要求1至10中的任何一個(gè)所述的方法。
12.—種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序代碼，用于當(dāng)在計(jì)算機(jī)上運(yùn)行所述程序時(shí)執(zhí)行根據(jù)權(quán)利要求1至10中的任何一個(gè)所述的方法。
【文檔編號】G06T5/00GK103907109SQ201280031391
【公開日】2014年7月2日 申請日期:2012年6月27日 優(yōu)先權(quán)日:2011年6月27日
【發(fā)明者】丹尼爾·利斯欽斯基, 拉阿南·法塔爾, 澤埃夫·法布曼 申請人:耶路撒冷希伯來大學(xué)伊薩姆研究發(fā)展有限公司