專利名稱：基于感知顏色空間的自然圖像摳圖方法
技術領域：
本發(fā)明涉及圖像處理以及計算機視覺領域中的基于感知顏色空間的自然圖像摳圖方法。
背景技術：
摳圖技術是一種把任意圖像中的前景部分從背景中分離出來的一種圖像處理技術。它在電影電視特效特技制作等方面有著廣泛而深入的應用。根據對圖像背景的限制情況，摳圖技術大致可以分為兩大類對圖像前景或背景有限制一類又可分為藍屏摳圖(blue screen matting)和差異摳圖(difference matting)。藍屏摳圖技術對圖像的背景有一定限制，通常是固定的藍色或綠色，或者是準備多張有相同前景的圖像，利用這些圖像中的背景顏色的不同，來達到準確摳取前景的目的。差異摳圖技術則需要另外準備一張背景圖像，通過比較背景圖像和原圖中相應點的顏色差異來估計alpha值。
對圖像背景無限制一類自然圖像摳圖(natural image matting)。它對圖像的背景不做要求，且只需一張圖像。
摳圖問題可以定義為對給定圖像上任一點c，求c點的顏色C所含的前景色F和alpha值α。對圖像上的任一點c，它的F和α的解并不是唯一的，摳圖問題的困難在于我們要從無數對的解中找出最合理的解。
藍屏摳圖技術簡單，計算量小，且摳圖效果好，但是它有其致命的弱點。它對圖像的背景的顏色有一定限制，同時一般還要求前景的顏色的RGB分量按某種比例分布，這些使藍屏摳圖技術在具體應用當中帶來了很大的不便。
典型的自然圖像摳圖技術有Knockout方法、Ruzon&Tomasi方法、Hillman方法和Chuang方法。自然圖像摳圖一般可以分為三個步驟1.區(qū)域分割。一般情況下以手工分割為主。由于區(qū)域分割的精確程度對摳圖效果有較大的影響，而手工分割比自動分割有更好的精確度。一般一張圖像的區(qū)域分割耗時2-3分鐘左右。
2.前景和背景顏色估計。Knockout方法利用鄰近區(qū)域的點的加權平均來估計，方法簡單，計算量較??；Ruzon&Tomasi方法、Hillman方法和Chuang方法都利用了統(tǒng)計學的規(guī)律，方法復雜，計算量大。
3.Alpha值估計。給定未知區(qū)域中的一點的顏色及其估計出的前景和背景顏色，估計出該點的alpha值。以前的alpha估計方法可以分為兩類RGB分量法和投影法。在Knockout方法中，先把RGB顏色C、F和B投影到r、g和b三個軸上，然后在分別計算出這三個軸上的alpha值分量；以F和B在這三個軸上的投影點之間的距離為權重，計算出這三個alpha分量的加權平均值作為最終的alpha值。Ruzon、Hillman和Chuang方法中則使用了另外一種alpha估計方法，它們把顏色C投射到線段FB上，然后在線段FB上計算出給定未知區(qū)域點的alpha值。該方法能保證F和B的組合顏色為C的概率最大，因為在RGB顏色空間中，線段FB上只有該投影點離C點的距離最近。這兩種alpha估計方法都是在RGB顏色空間中進行，但是在RGB顏色空間中的摳圖效果并不總是盡如人意。

發(fā)明內容
本發(fā)明的目的是提供一種快速有效的基于感知顏色空間的自然圖像摳圖方法。其主要內容分為三個步驟1.對圖像進行區(qū)域劃分，把它劃分成三個部分前景區(qū)域，未知區(qū)域和背景區(qū)域；2.根據分割的區(qū)域，對未知區(qū)域中的任意一點c，設其RGB顏色為C，計算出其前景和背景RGB顏色分量F和B，并把它們轉化為感知顏色空間中的顏色值C′、F′和B′；3.計算出亮度alpha分量和色度alpha分量以及它們各自的權重以后，以色度alpha分量和亮度alpha分量的加權平均做為最終的alpha值。
本發(fā)明具有速度快，效果好的優(yōu)點。以前的自然圖像摳圖技術都把大部分的精力放在了顏色估計這個步驟，而忽略了對alpha估計步驟的研究。關注步驟2而忽略步驟3的結果導致出現了各種復雜的顏色估計模型，雖然在一定程度上改進了摳圖效果，但同時也大大增加了計算量。
本發(fā)明的顏色估計模型非常簡單，并且利用了感知顏色空間來估計alpha值。本發(fā)明的重點在于它的alpha估計方法，它也是一種分量法，但和Knockout方法的RGB分量法不同，它是一種感知顏色空間的分量法。


圖1是本發(fā)明流程示意圖，圖中三個紅色虛線框代表本發(fā)明的三個步驟；圖2(a)(b)描述的是區(qū)域劃分和前景背景顏色分量的估計示意圖；圖3(a)是Syringe例子和作比較的方框區(qū)域；圖中(b)是Knockout、Chuang和本發(fā)明的alpha估計方法對方框區(qū)域的摳圖效果的灰度圖比較；(c)(d)則是Chuang的alpha估計方法在兩個點上產生錯誤的示意圖；
圖4是在Feather_edge例子中，在相同的前景和背景顏色的情況下，分別由RGB分量法、投影法和本方法得到的結果及其比較；圖5分別是感知顏色空間Lab，HSV，YUV，Luv，YIQ和YCrCb中對Syringe圖像的灰度圖效果比較；圖6是本發(fā)明在YUV顏色空間中取得的效果與其他摳圖方法的關于例子Syringe圖像的效果比較圖；圖7是本發(fā)明在YUV顏色空間中取得的效果的其他一些效果示意圖。
具體實施例方式
基于感知顏色空間的自然圖像摳圖方法的原理是把圖像分割為前景、背景和未知三個區(qū)域；對于未知區(qū)域中的任意一點c，以圖像空間中離該點最近的一些前景點和背景點的顏色加權平均值F和B做為c點的前景和背景顏色分量；把求得的RGB顏色轉化為感知顏色空間中的顏色。然后分別求得色度alpha和亮度alpha及其它們各自的權重，最后以色度alpha和亮度alpha的加權平均值做為c點最終的alpha值。
首先，區(qū)域劃分的精確與否對自然圖像摳圖的精度有較大的影響。區(qū)域劃分時應注意以下三點①保證前景輪廓線內的點全部為前景點，背景輪廓線外的點全部為背景點，不能允許有交叉，否則將大大影響摳圖精確度；②由于光照和空氣的影響，人眼中物體的邊界處總是有一點模糊。前景和背景輪廓線不要太靠近物體的邊界，要留有一定的余地。邊界到兩條輪廓線的距離大致相等；③盡量使輪廓線不穿過顏色突變劇烈的區(qū)域。
另外，在本摳圖方法的顏色估計模型簡單實用。本方法只計算包含在兩個圓區(qū)域內部的輪廓線上的點，且權重的計算和這些點與c點的距離成線性關系，距離最近的點的權重最大，隨著距離的增大權重線性減小。c點離輪廓線越近，本方法所需要的樣本點越少，離輪廓線越遠，所需樣本點越多。而Chuang方法則恰好相反。實際上，c點離輪廓線越近，只需要和離該點最近的少數幾個樣本點就可以精確地估計出顏色值，只有在c點離輪廓線較遠的情況下，才需要較多的樣本點來減少顏色估計的誤差。這也就是Chuang的顏色估計方法并不能十分準確地估計出前景和背景顏色分量值的原因。
接著本方法把RGB顏色轉化為感知顏色空間中的顏色。上面介紹過，以前的各種自然圖像摳圖中的alpha估計都是在RGB顏色空間中進行的。由于RGB顏色空間中各維之間的相關性太大，因此利用RGB顏色空間估計alpha有其固有的局限性。如在圖3(a)的例子當中，在相同的C、F和B情況下，對黑色方框部分利用不同摳圖方法的摳圖效果如圖3(b)所示。圖3(a)中的P1、P2兩點如果利用Knockout和Chuang的alpha估計方法將產生錯誤的結果(圖3(b)的左邊和中間部分)，而利用基于感知顏色空間的摳圖方法則可以得到很好的摳圖效果(圖3(b)的右邊部分)，其原因在于利用以前的RGB顏色空間中的alpha估計方法時，顏色的色度和亮度信息中對alpha估計起重要作用的那個信息沒有得到應有的強調，因此需要一種能把這兩個信息分開的alpha估計策略。同時，在Chuang方法中，把顏色C投影到線段FB上的做法使得最終計算出來的alpha值只和RGB顏色空間中的三角形CFB的形狀有關。只要三角形CFB的形狀一定，那么不管該三角形在空間中處于什么位置，其alpha值都是固定的。顯然，這種做法是存在問題的，而感知顏色空間把顏色的亮度信息和色度信息分開的做法剛好可以滿足策略的需要，改正RGB顏色空間存在的不足之處。眾所周知，顏色理論里有多種感知顏色空間。為方便起見，可以把它們簡單地劃分為以下三種類型(1)Lab、Luv以及Lαβ等。它們是由RGB顏色空間經過比較復雜的非線性變換后得到的顏色空間。在這些顏色空間中各維之間的相關性較小，最為接近人類對顏色的感知過程。
(2)YUV、YIQ、YES以及YCrCb等。它們是RGB顏色空間的簡單的線性變換后得到的顏色空間。
(3)HSV和HLS等。它們基于畫家作畫的配色過程，實際上它們表示色度信息的兩維可以看作是一種極坐標表示方式。
一般來講，選用第二類感知顏色空間的計算量相對較小，取得的效果也較好。特別是第一類感知顏色空間，由于其轉化過程最為復雜，本發(fā)明的權重計算似乎并不是很適合它。下面的實施例子都是在YUV顏色空間中獲得的。
其次，第三個步驟即alpha值估計中，本發(fā)明的方法簡單有效。以下詳細討論感知顏色空間中alpha估計的具體過程。
設未知區(qū)域內任一點c，其顏色為C，估計出來的初始前景和背景顏色分量為F、B。首先，我們把它們轉化為感知顏色空間中的顏色C′＝(LC，rC，gC)、F′＝(LF，rF，gF)和B′＝(LB，rB，gB)。假設感知顏色空間中的點C′、F′和B′在rg平面上的二維投影點C1＝(rC，gC)，F1＝(rF，gF)，B1＝(rB，gB)。這樣我們分別計算出色度alpha值αCH和亮度alpha值αIN為αCH=(C1-B1)·(F1-B1)||F1-B1||2]]>和αIN=LC-LBLF-LB,]]>
其中αCH∈
，αIN∈
。
現在分析αCH和αIN的權值WCH和WIN的推導。首先考慮投影點F1和B1的距離δ，當δ趨向于0時，也就是說感知顏色F′、B′的色度越來越接近時，此時感知顏色F′、B′和C′的亮度的差異在alpha求值中占的比重越大；當δ越大時，也就是說感知顏色F′、B′的色度相差越來越大時，此時感知顏色F′、B′和C′的色度差異在alpha求值中占的比重越來越大。同時，考慮感知顏色F′、B′的亮度LF和LB對alpha求值的影響。令ρ為LF和LB中較小者與較大者的比值，易知ρ∈(0，1]，當ρ趨向于0時，感知顏色F′、B′和C′的亮度的差異在alpha求值中占的比重越大；當ρ趨向于1時，感知顏色F′、B′和C′的色度的差異在alpha求值中占的比重將越來越大。根據以上的分析，我們用三次方來強調這種變化趨勢，可以推導出WCH和WIN與δ和ρ的關系WCH＝sδ3+tρ3，WIN＝u/δ3+v/ρ3，其中u，v，s，t為常數。
最后，C點的alpha值α為αCH和αIN的加權平均α=WCHαCH+WINαINWCH+WIN.]]>在摳圖效果方面，本發(fā)明與其他方法的主要差別在alpha估計上面。在摳圖速度方面，本發(fā)明和Chuang方法主要的差別在顏色估計上面。Chuang方法的顏色估計大致可以分為以下幾個步驟(1)把前景和背景顏色樣本點進行顏色分簇。如果所處理圖像的顏色變化比較劇烈，那么該步驟所花時間較多。
(2)計算每一簇顏色的加權平均值；(3)計算每一簇顏色的方差矩陣；(4)求解一個6×6線性方程組；在本方法中，顏色估計僅僅需要上述4個步驟中的第二步，也即求顏色加權平均值。一般情況下，第一步所需時間是第二步的5～30多倍，第三步所需時間是第二步的4倍左右，Chuang方法中第四步所需時間和其他步驟比較可以忽略不計。因此，本顏色方法所需時間至多只是Chuang方法的十分之一，這與實踐中的處理時間結果比較吻合。
本說明書共舉了6個實施例子。圖4，圖6為實施例子1、2，圖7包含實施例子3～6。在我們的實現當中，Lab和Luv顏色空間中四個常數的取值為u＝1，v＝8000，s＝1/3，t＝8000；Lαβ顏色空間中的取值為u＝1/8，v＝8000，s＝1/256，t＝8000。xyY顏色空間中的取值為u＝1，v＝1，s＝400，t＝400；HSV、HLS、YUV、YIQ、YES以及YCrCb顏色空間中的取值為u＝1，v＝8000，s＝1，t＝8000。另外，根據不同的圖像，上述4個常數也可以做些調整，以期取得更好的效果。
實施例1圖4是在Feather_edge例子中，在相同的前景和背景顏色的情況下，分別由RGB分量法、投影法和本方法得到的結果及其比較。
實施例2圖6中放大圖1是由三部分組合而成，其中左邊是原圖，中間是灰度圖，右邊是背景為黑色的合成圖。Knockout方法在放大圖1中沒有把一些頭發(fā)絲摳出來，另外放大圖1上有一些點的結果失真。Ruzon&Tomasi方法則有一些頭發(fā)絲出現比較嚴重的斷裂現象，另外合成圖中有明顯的不連續(xù)的現象。Chuang方法的效果較好，但仔細觀察，可以發(fā)現其有輕微的不連續(xù)現象。本發(fā)明在本例子中沒有上述的缺點，總體效果比Chuang方法略好。
實施例3～6圖7中的四個例子依次是Gandalf、Tiger、鮮花和武漢東湖例子。
本發(fā)明的要點是區(qū)域劃分、顏色估計和alpha估計這三個步驟1.進行區(qū)域劃分，確保輪廓線經過合適的區(qū)域；2.顏色估計中用到的樣本點為圓內部的輪廓線上的點，兩個圓的半徑的長度一般為最短距離的1.5～3.0倍；3.通過把RGB顏色轉化為感知顏色，計算亮度alpha和色度alpha以及它們的權重，把這兩個alpha的加權平均值作為最終的alpha。
權利要求
1.基于感知顏色空間的自然圖像摳圖方法，其特征在于其步驟為1)對圖像進行區(qū)域劃分，把它劃分成三個部分前景區(qū)域，未知區(qū)域和背景區(qū)域；2)根據分割的區(qū)域，對未知區(qū)域中的任意一點c，設其RGB顏色為C，計算出其初始的前景和背景RGB顏色分量F和B，并把它們轉化為感知顏色空間中的顏色值C′，F′和B′；3)分別計算出點c的亮度alpha和色度alpha以及它們的權值，最后以這兩個alpha的加權平均值作為c點的alpha值。
2.根據權利要求1所述的基于感知顏色空間的自然圖像摳圖方法，其特征在于所說的區(qū)域分割是在圖像的前景邊緣畫前景和背景兩條輪廓線，處于前景輪廓線內部的點都是前景區(qū)域的點，而處于背景輪廓線之外的點都是背景區(qū)域的點，位于這兩條輪廓線之內的點為未知區(qū)域的點。
3.根據權利要求1所述的基于感知顏色空間的自然圖像摳圖方法，其特征在于所說的前景和背景顏色分量的計算是其步驟為1)計算該未知區(qū)域點的前景和背景RGB顏色分量F和B；2)把顏色C、F和B轉化為感知顏色空間的顏色值C′，F′和B′；
4.根據權利要求1或3所述的基于感知顏色空間的自然圖像摳圖方法，其特征在于所說的未知區(qū)域點的前景和背景RGB顏色分量的計算是對于未知區(qū)域中的任意一點c，找出前景輪廓線和背景輪廓線上離c點距離最近的點f′和b′，假設點f′和b′離c點的距離分別為d1和d2，給定一個正實數θ(1.5＜θ≤3.0)，以點c為圓心，分別以θd1和θd2長為半徑，做兩個同心圓C1和C2，設在圓C1內部且位于前景輪廓線上的所有點為f1、f2、……、fk，這些點離c點的距離為d11、d12、……、d1k，在圓C2內部且位于背景輪廓線上的所有點為b1、b2、……、bl，這些點離c點的距離為d21、d22、……、d2l，計算出fi(i＝1，2，...，k)點顏色的加權平均值F‾=Σi=1kw1ifi,bj(j=1,2,...,l)]]>點顏色的加權平均值B‾=Σj=1lw2jbj,]]>其中w1i=θθ-1-1θ-1·d1id1(i=1,2,...,k),]]>w2j=θθ-1-1θ-1·d2jd2(j=1,2,...,l),]]>F和B就是所估計的前景和背景顏色分量F和B。
5.根據權利要求1或3所述的基于感知顏色空間的自然圖像摳圖方法，其特征在于所說的RGB顏色到感知顏色空間的顏色轉化為所謂感知顏色空間，即把顏色表示為亮度和色度的三維顏色空間，其中一維代表顏色的亮度，其余兩維代表顏色的色度，假設該感知顏色空間為(L，r，g)，設轉化后的給定未知區(qū)域點的顏色為C′＝(LC，rC，gC)，其前景顏色為F′＝(LF，rF，gF)，背景顏色為B′＝(LB，rB，gB)，假設表示顏色C′、F′和B′的色度信息的二維投影點為C1＝(rC，gC)，F1＝(rF，gF)，B1＝(rB，gB)，而LC，LF和LB分別表示顏色C′、F′和B′的亮度信息，從RGB顏色空間到各種感知顏色空間有各自確定的轉化方法。
6.根據權利要求1所述的基于感知顏色空間的自然圖像摳圖方法，其特征在于所說的alpha值估計是其步驟為1)分別計算色度的灰度值αCH和亮度的灰度值αIN；2)計算αCH和αIN的權重WCH和WIN；3)以αCH和αIN的加權平均做為c點的alpha值α。
7.根據權利要求1或6所述的基于感知顏色空間的自然圖像摳圖方法，其特征在于所說的色度的灰度值αCH=(C1-B1)·(F1-B1)||F1-B1||2,]]>亮度的灰度值αIN=LC-LBLF-LB,]]>αCH∈
，αIN∈
。
8.根據權利要求1或6所述的基于感知顏色空間的自然圖像摳圖方法，其特征在于所說的αCH和αIN的權重WCH和WIN的求值為令ρ(ρ∈(0，1])為LB和LF中較短者與較長者的比值，令δ為二維點F′(rF，gF)和B′(rB，gB)在感知顏色空間中的距離，權重WCH和WIN和ρ和δ緊閉相關，其中一種權重計算方法為WCH＝sδ3+tρ3，WIN＝u/δ3+v/ρ3，其中u，v，s，t為常數。
9.根據權利要求1或6所述的基于感知顏色空間的自然圖像摳圖方法，其特征在于所說的alpha值估計是根據αCH和αCH和它們的權重WCH和WIN，計算出α=WCHαCH+WINαINWCH+WIN.]]>
全文摘要
本發(fā)明公開了一種基于感知顏色空間的自然圖像摳圖方法。其步驟為1)對圖像進行區(qū)域分割，把它劃分成三個部分前景區(qū)域，未知區(qū)域和背景區(qū)域；2)根據分割的區(qū)域，對未知區(qū)域中的任意一點c，設其RGB顏色為C，計算出其前景和背景RGB顏色分量F和B，并把它們轉化為感知顏色空間中的顏色值C′，F′和B′；3)分別計算出點c的亮度alpha和色度alpha以及它們的權值，最后以這兩個alpha的加權平均值作為出c點的alpha值。應用本摳圖方法可以有效地對圖像做摳圖處理，同時，能極大提高摳圖速度，計算開銷小，具有很好的實用價值。
文檔編號G06T7/60GK1564198SQ20041001781
公開日2005年1月12日 申請日期2004年4月13日 優(yōu)先權日2004年4月13日
發(fā)明者林生佑, 石教英 申請人:浙江大學