基于特征相似性的非局部鄰域灰度圖像彩色化方法
【技術(shù)領域】
[0001] 本發(fā)明涉及一種灰度圖像彩色化方法，尤其是基于特征相似性的非局部鄰域灰度 圖像彩色化方法。
【背景技術(shù)】
[0002] 彩色化作為計算機輔助過程，就是給黑白圖像或者視頻上顏色的過程。該項技術(shù) 目前在影視、醫(yī)療、太空探索及工業(yè)、科學等領域有著廣泛的應用。一般的，彩色化方法分為 兩類：基于參考圖片的彩色化方法和基于用戶涂寫交互的彩色化方法?；趨⒖紙D片的彩 色化方法，即根據(jù)某種相關(guān)度把參考圖片中的顏色轉(zhuǎn)移到目標圖像中的過程。這類方法雖 然能夠獲得比較好的彩色化結(jié)果，但是它對參考圖片的依賴性比較大，因此制約了該方法 的發(fā)展。然而，基于用戶涂寫交互的彩色化方法，即通過用戶給目標圖像區(qū)域簡單的涂上顏 色，顏色自動的擴散到圖像的其他相關(guān)區(qū)域或者區(qū)域的其他地方的過程。這類方法把計算 機彩色化過程轉(zhuǎn)化為優(yōu)化求解過程，而人工進行著色工作則成為優(yōu)化求解的約束條件。由 于這類方法易于實現(xiàn)，近些年來，越來越多的研宄人員投身于對這類方法的研宄，大大的促 進了該類方法的發(fā)展。
[0003] 基于用戶涂寫交互的彩色化方法在減少用戶輸入的前提下，不斷提高圖像彩色化 效果。比較有代表性的是Levin等人的方法，即先由用戶在圖像中的各個區(qū)域涂上適當?shù)?彩色線條，顏色就自動的擴散到區(qū)域的其他地方。顏色擴散過程就是求解，使所有像素與其 鄰域像素色度加權(quán)和的平方差最小的過程，參見AnatLevin，DaniLischinskiandYair Weiss.ColorizationusingOptimization.ACMTransactionsonGraphics. 2004,23 : 689-693。這種方法主要有兩個缺點：一方面由于該方法是基于局部彩色化算法，所以各 區(qū)域的彩色化結(jié)果對用戶的輸入還是依賴性比較大，容易出現(xiàn)顏色滲透。另一方面該方法 只是利用局部亮度信息進行鄰域的查找，難免對一些紋理比較豐富的圖像的彩色化效果不 是很好。Yatziv等人采用顏色混合的方法，即對未著色像素，把到達該像素最短距離的三 個著色區(qū)域的顏色輔以一個關(guān)于距離的函數(shù)進行加權(quán)，從而得到最終的顏色。參見Liron YatzivandGuillermoSapiro.FastImageandVideoColorizationUsingChrominance Blending.ImageProcessing，IEEETransactionson. 2006,15 (5) :1120_1129.Yatiziv等 人利用測地線距離來確定各混合色的權(quán)重，有一定的合理性。但是對于亮度變化不劇烈而 顏色值變化劇烈的圖像，彩色化效果就不是那么理想。Sheng等人利用基于Gabor的小波濾 波器來構(gòu)建各個像素的特征向量，從而達到對不鄰接的紋理像素的區(qū)域進行著色。參見Bin Sheng，HanqiuSun，ShunbinChen.XuehuiLiuandEnhuaWu.ColorizationUsingthe Rotation-InvariantFeatureSpace.IEEEcomputergraphicsandapplications，2011， 31 (2) :24-35.該方法雖然對紋理相似且顏色相近的圖像，能夠得到比較好的彩色化結(jié)果， 但是對紋理相似但是顏色不同的區(qū)域，就會產(chǎn)生顏色混合；另外，該方法對紋理欠豐富的圖 像，會產(chǎn)生顏色滲透現(xiàn)象，以至于得到不理想的彩色化結(jié)果。Musialski等人提出了一個交 互的圖像顏色編輯方法，該方法在保持原圖像素之間特征距離的同時把顏色值映射到目標 圖像上° 參見PrzemyslawMusialski，MingCui，JiepingYe，AnshumanRazdan，Peter Wonka.AFrameworkforInteractiveImageColorEditing.TheVisualComputer，2013， 29(11) :1173-1186.該方法對顏色相同的不連續(xù)區(qū)域，只需要在一個區(qū)域畫上適當?shù)念伾?線條，就能得到比較不錯的彩色化效果，在一定程度上減少了用戶的涂寫線條數(shù)。然而，這 種方法同樣沒有考慮到圖像的紋理信息。同時，沒有考慮到圖像亮度相同的區(qū)域涂上不同 顏色的線條時，彩色化結(jié)果將會出現(xiàn)顏色混合情況。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的：本發(fā)明提出了一種基于特征相似性的非局部鄰域灰度圖像彩色化 方法，該方法只需要少量的人工輸入，就可以把用戶涂寫的線條顏色，不僅擴散到亮度連續(xù) 的局部區(qū)域，還能擴散到不連續(xù)的紋理相似區(qū)域，而無需借助顯式的圖像分割技術(shù)。具有很 強的靈活性和廣闊的適用性。由于該方法不僅考慮到圖像的亮度信息和空間坐標信息，還 兼顧到圖像的紋理信息，有效的提高了圖像彩色化的質(zhì)量，另一方面，該方法利用結(jié)果圖， 對圖像的紋理特征向量進行了約束，很好的防止了圖像邊界處顏色的滲透現(xiàn)象。
[0005] 本發(fā)明設計了一種基于特征相似性的非局部鄰域灰度圖像彩色化方法。該方法可 以概括為以下九個步驟：
[0006] (1)輸入一張待處理RGB顏色空間中的灰度圖像，作為輸入圖像sl，其寬度和高度 記為width，height;
[0007](2)運用結(jié)構(gòu)張量（structuretensor)，求取步驟（1)輸入圖像si中，每個像素 的局部顯著特征方向0d;輸入圖像的結(jié)構(gòu)張量可以寫成一個2*2的矩陣：
【主權(quán)項】
1. 一種基于特征相似性的非局部鄰域灰度圖像彩色化方法，可以闡述為以下九個步 驟： (1) 輸入一張待處理RGB顏色空間中的灰度圖像，作為輸入圖像si，其寬度和高度記為 width，height ; (2) 對于輸入圖像sl，運用結(jié)構(gòu)張量（structure tensor)，求步驟（1)中輸入圖像si 的每個像素局部顯著特征方向的角度9 d; (3) 由Gabor函數(shù)和步驟（4)得出的局部顯著特征方向的角度0d，求出每個像素的方 向?qū)R的Gabor紋理特征向量F t; (4) 對步驟⑴中的輸入圖像si的每個像素，求取以該像素為中心的3*3窗口大小的 RTV(relative totalvariation)相對總變差，可以得到結(jié)果圖，記為R; (5) 構(gòu)建高維特征向量場，考慮到大多數(shù)圖像不僅具有亮度信息而且存在豐富的紋理 信息，所以高維特征向量場由表示輸入圖像sI紋理信息的加權(quán)的方向?qū)R的Gabor紋理特 征向量RF t、輸入圖像si的亮度通道值L和輸入圖像si中每個像素的空間坐標p組成； (6) 用KNN(K-Nearest Neighborhood)求出輸入圖像si中，在高維特征向量場中，距每 個像素最近的20個像素（包括自身），作為對應像素的最近鄰域； (7) 將步驟⑴中的輸入圖像si進行人工著色，得到著色圖像，將輸入圖像si和著色 圖像由RGB顏色空間轉(zhuǎn)換到Lab顏色空間； (8) 計算各像素與其最近鄰域像素（20個）之間的相關(guān)度矩陣，利用著色圖像的a，b 顏色通道值，分別與相關(guān)度矩陣結(jié)合，構(gòu)建稀疏線性方程組，求解稀疏線性方程組，得到a，b 顏色通道值； (9) 由步驟（8)中的輸入圖像si的亮度通道L與步驟（8)中求出的a，b顏色通道值， 構(gòu)建一幅圖像，將該圖像由Lab顏色空間轉(zhuǎn)化到RGB顏色空間，至此，得到一幅彩色圖像。
【專利摘要】本發(fā)明提供了一種基于特征相似性的非局部鄰域灰度圖像彩色化方法。用戶給定一張灰度圖像作為輸入圖像；由輸入圖像得到顯著特征方向場；根據(jù)顯著特征方向場和輸入圖像得到紋理特征向量場；對輸入圖像用相對總變差方法計算得到結(jié)構(gòu)圖；由結(jié)構(gòu)圖、紋理特征向量場、灰度圖像、圖像空間坐標系統(tǒng)構(gòu)造一個高維度的特征向量場；由該特征向量場得到每個像素的最近鄰域；用戶對輸入圖像進行少量的人工著色得到著色圖像，把輸入圖像和著色圖像轉(zhuǎn)換到Lab顏色空間；結(jié)合著色圖像和每個像素的最近鄰域，構(gòu)造稀疏線性方程組，求解得到目標圖像；把目標圖像轉(zhuǎn)換到RGB顏色空間獲得彩色化圖像。本方法考慮了亮度、坐標和紋理特征，改進了彩色化效果。
【IPC分類】G06T3-00
【公開號】CN104851074
【申請?zhí)枴緾N201510153344
【發(fā)明人】趙漢理, 聶桂芝, 厲旭杰
【申請人】溫州大學
【公開日】2015年8月19日
【申請日】2015年3月26日