專利名稱：數(shù)字圖像輪廓增強(qiáng)方法和裝置的制作方法
本申請(qǐng)對(duì)1998年9月1日申請(qǐng)的臨時(shí)專利申請(qǐng)60/098,751號(hào)提出優(yōu)先權(quán)要求，這里引用了上述臨時(shí)專利申請(qǐng)以作參考。
本發(fā)明涉及數(shù)字圖像輪廓增強(qiáng)方法和裝置。具體地，本發(fā)明提供一種通過(guò)提高輪廓清晰度改進(jìn)圖像的圖像處理技術(shù)。
數(shù)字圖像捕捉和處理是一種重要的技術(shù)，因?yàn)樗ㄟ^(guò)計(jì)算機(jī)網(wǎng)絡(luò)提供了很容易的圖像共享。為了提供高質(zhì)量圖像，圖像內(nèi)部的對(duì)象的輪廓應(yīng)當(dāng)是清晰的。數(shù)字捕捉設(shè)備(例如照相機(jī))中一直存在的一個(gè)問(wèn)題源于被用來(lái)捕捉圖像的電荷耦合設(shè)備(CCD)。有時(shí)CCD不能正常工作或者會(huì)提供錯(cuò)誤數(shù)據(jù)。有時(shí)這種錯(cuò)誤被認(rèn)為是遺漏像素。在這種情況下，常規(guī)捕捉設(shè)備向顯示設(shè)備提供錯(cuò)誤的圖像數(shù)據(jù)并且還原出畸變的圖像。因此，期望有克服遺漏像素問(wèn)題的技術(shù)。
并且，輪廓增強(qiáng)是數(shù)字和個(gè)人計(jì)算機(jī)(PC)照相機(jī)中非常期望的功能。然而，從數(shù)字照相機(jī)重構(gòu)的圖像的質(zhì)量通常低于普通照相機(jī)的質(zhì)量。這至少是部分由于照相機(jī)中使用的CCD的低分辨率和低質(zhì)量。因此，輪廓增強(qiáng)提高了輸出圖像的清晰度并且為用戶提供了更好的觀看效果。
成功的輪廓增強(qiáng)技術(shù)有兩個(gè)關(guān)鍵因素。一個(gè)是正確定位輪廓，另一個(gè)是當(dāng)增強(qiáng)輪廓時(shí)避免失真。本發(fā)明提供了一個(gè)有效執(zhí)行上述兩個(gè)步驟的操作并且克服常規(guī)數(shù)字照相機(jī)具有的缺陷的技術(shù)。
本發(fā)明克服了所指出的缺陷并且提供一個(gè)得到改進(jìn)的圖像輪廓增強(qiáng)技術(shù)。本發(fā)明的一個(gè)示例性實(shí)施例是一個(gè)裝置，該裝置對(duì)被當(dāng)做原始數(shù)字圖像數(shù)據(jù)提供給一個(gè)輸入終端的數(shù)字圖像進(jìn)行輪廓增強(qiáng)處理并且把經(jīng)過(guò)處理的圖像數(shù)據(jù)提供給一個(gè)輸出終端。一個(gè)補(bǔ)償處理電路被連接到輸入終端并且被用來(lái)接收原始數(shù)據(jù)和產(chǎn)生補(bǔ)償數(shù)據(jù)。一個(gè)插值電路被連接到補(bǔ)償處理電路并且被用來(lái)接收補(bǔ)償數(shù)據(jù)和提供插值數(shù)據(jù)。一個(gè)顏色處理電路被連接到插值電路并且被用來(lái)處理插值數(shù)據(jù)以產(chǎn)生顏色數(shù)據(jù)。一個(gè)輪廓增強(qiáng)電路被連接到插值電路和顏色處理電路并且被用來(lái)根據(jù)插值數(shù)據(jù)和顏色數(shù)據(jù)增強(qiáng)圖像輪廓以產(chǎn)生增強(qiáng)數(shù)據(jù)。一個(gè)查找表被連接到顏色處理電路和輪廓增強(qiáng)電路并且被用來(lái)查找顏色數(shù)據(jù)和增強(qiáng)數(shù)據(jù)以產(chǎn)生查找數(shù)據(jù)。一個(gè)轉(zhuǎn)換電路被連接到查找表電路并且被用來(lái)轉(zhuǎn)換查找數(shù)據(jù)以產(chǎn)生被提供到輸出終端的處理圖像數(shù)據(jù)。在本發(fā)明的一個(gè)方面，用RGB數(shù)據(jù)執(zhí)行處理，并且在本發(fā)明的另一方面，使用YUV數(shù)據(jù)執(zhí)行處理。
在本發(fā)明的另一個(gè)實(shí)施例中，輪廓增強(qiáng)電路包括一個(gè)輪廓提取電路，一個(gè)截止電平(cut-offlevel)調(diào)整電路和一個(gè)輪廓增益定標(biāo)電路。這些電路被用來(lái)定義圖像中對(duì)象的輪廓并且增強(qiáng)其各自的輪廓。
在本發(fā)明的另一個(gè)實(shí)施例中，圖像捕捉設(shè)備包含一個(gè)在漸變RGB類型CCD中實(shí)現(xiàn)遺漏像素插值的電路。這種實(shí)現(xiàn)的目的是(a)重構(gòu)全分辨率RGB顏色圖像，(b)補(bǔ)償因交錯(cuò)線條中的相鄰紅/藍(lán)顏色濾鏡涂層在綠像素中產(chǎn)生的某些CCD暗-亮-暗-亮圖案，(c)吸收從背景到前景的下降采樣(否則，在插值之后需要使用附加線條存儲(chǔ)器進(jìn)行垂直下降采樣)和(d)為每個(gè)像素提供一個(gè)3×3像素塊以便以后進(jìn)行輪廓增強(qiáng)。
本發(fā)明的優(yōu)點(diǎn)包含正確定位對(duì)象輪廓和在增強(qiáng)輪廓時(shí)避免失真。因此，本發(fā)明通過(guò)常規(guī)輪廓處理器提供了一個(gè)得到改進(jìn)的圖像輪廓增強(qiáng)技術(shù)。
通過(guò)閱讀下列詳細(xì)描述并且參照附圖會(huì)理解本發(fā)明的其它優(yōu)點(diǎn)，其中

圖1是示出基于本發(fā)明一個(gè)實(shí)施例的一個(gè)圖像捕捉設(shè)備和一個(gè)圖像處理器的模塊圖；圖2描述了實(shí)現(xiàn)基于本發(fā)明一個(gè)實(shí)施例的遺漏像素插值的體系結(jié)構(gòu)；圖3A-D示出了基于本發(fā)明一個(gè)實(shí)施例的各種下降采樣技術(shù)；圖4是一個(gè)示出用于基于本發(fā)明一個(gè)實(shí)施例的輪廓增強(qiáng)處理的圖像處理器的模塊圖；圖5描述了一個(gè)原始CCD數(shù)據(jù)圖案；圖6描述了根據(jù)本發(fā)明一個(gè)實(shí)施例增強(qiáng)圖像中的輪廓的步驟；圖7描述了一個(gè)輪廓檢測(cè)和增強(qiáng)過(guò)程；圖8描述了一個(gè)用于輪廓檢測(cè)的3×3塊；圖9描述了針對(duì)3×3矩陣的加權(quán)系數(shù)，上述矩陣被用來(lái)在四個(gè)不同方向上檢測(cè)一個(gè)輪廓邊界；圖10描述了基于本發(fā)明一個(gè)方面的截止電平和增益控制；圖11描述了一個(gè)背景亮度為60并且前景亮度為50的圖像；圖12描述了一個(gè)背景亮度為110并且前景亮度為100的圖像；并且圖13描述了一個(gè)非均衡輪廓增益比率的例子。
參照具體結(jié)構(gòu)描述示例性實(shí)施例。本領(lǐng)域的技術(shù)人員會(huì)理解，可以進(jìn)行各種改變和修改并且不超出權(quán)利要求的范圍。例如，雖然針對(duì)特定硬件實(shí)現(xiàn)描述了本發(fā)明，但也可以用軟件實(shí)現(xiàn)本發(fā)明。
圖1是示出一個(gè)圖像捕捉設(shè)備10和一個(gè)圖像處理器50的模塊圖。圖像捕捉設(shè)備可以是一個(gè)照相機(jī)，其中包含一個(gè)聚集圖像的透鏡和一些檢測(cè)通過(guò)透鏡進(jìn)入的光線的電荷耦合設(shè)備(CCD)。CCD產(chǎn)生原始圖像數(shù)據(jù)。原始數(shù)據(jù)需要被處理以便還原出最終的高質(zhì)量圖像。CCD產(chǎn)生模擬數(shù)據(jù)，而通過(guò)一個(gè)模數(shù)轉(zhuǎn)換器(ADC)把模擬數(shù)據(jù)轉(zhuǎn)換成10位原始圖像數(shù)據(jù)。
然而，在某些情況下一個(gè)遺漏像素可以導(dǎo)致圖像的表示出現(xiàn)問(wèn)題，該問(wèn)題會(huì)導(dǎo)致對(duì)圖像的錯(cuò)誤處理。本發(fā)明涉及漸變RGB類型CCD中的遺漏像素插值的實(shí)現(xiàn)。這種實(shí)現(xiàn)的目的是(a)重構(gòu)全分辨率RGB顏色圖像，(b)補(bǔ)償因交錯(cuò)線條中的相鄰紅/藍(lán)顏色濾鏡涂層在綠像素中產(chǎn)生的某些CCD暗-亮-暗-亮圖案，(c)吸收從背景到前端的下降采樣(否則，在插值之后需要使用附加線條存儲(chǔ)器進(jìn)行垂直下降采樣)和(d)為每個(gè)像素提供一個(gè)3×3像素塊以便以后進(jìn)行輪廓增強(qiáng)。這種實(shí)現(xiàn)支持尺寸高達(dá)640×480像素的漸變類型CCD。
圖2描述了實(shí)現(xiàn)基于本發(fā)明一個(gè)實(shí)施例的遺漏像素插值的體系結(jié)構(gòu)。圖例中的各個(gè)正方形是一個(gè)單時(shí)鐘周期存儲(chǔ)單元。箭頭指示數(shù)據(jù)流。通過(guò)單端口FIFO實(shí)現(xiàn)線條存儲(chǔ)器(LM)以節(jié)省芯片面積。在不同的時(shí)鐘階段調(diào)度讀寫操作以便不會(huì)發(fā)生讀/寫沖突。此外，如下所述，由于LM4只記錄一種類型的像素(例如綠像素)，LM4只有LM1到LM3一半的尺寸。
以下提供一個(gè)偽碼算法以作為基于本發(fā)明的處理技術(shù)的一個(gè)例子。對(duì)于紅/藍(lán)重構(gòu)，當(dāng)其包含有關(guān)的顏色時(shí)使用像素自身。否則從相鄰8個(gè)像素中選擇正確顏色的像素并且求出均值以便導(dǎo)出顏色。這種方案平滑水平和垂直方向上的色彩間斷，因而減少了這種間斷產(chǎn)生的偽彩色效應(yīng)。
對(duì)于綠色重構(gòu)，甚至在有關(guān)像素已經(jīng)包含綠色的情況下也要求出均值。對(duì)于某些CCD，由于紅線條和藍(lán)線條中的紅和藍(lán)色濾波涂層對(duì)相鄰綠像素具有不同的影響，綠色非均勻分布在紅和藍(lán)線條上。這樣就降低了圖像質(zhì)量并且導(dǎo)致在輪廓增強(qiáng)之后進(jìn)一步被放大的不期望輪廓。平均值技術(shù)被用來(lái)消除這種影響。
由于只有G被用于輪廓增強(qiáng)，所以通過(guò)增加表示前一線條和后一線條中的綠像素的g_和g+來(lái)實(shí)現(xiàn)3×3像素塊。如算法所示，當(dāng)重構(gòu)綠色時(shí)只使用R4。在LM4只需要存儲(chǔ)綠像素并且這就是LM4的尺寸只有其他線條存儲(chǔ)器部件的一半的原因。
/*偽碼算法*//*重構(gòu)R*/如果(R2在一個(gè)紅線條中){如果(R2是紅色)r+1=R2否則r+1=(R2-1+R2+1)/2； ∥R2是綠色}否則{ ∥R2在一個(gè)藍(lán)線條中如果(R2是藍(lán)色)r+1=(R1-1+R1+1+R3-1+R3+1)/4；否則r+1=(R1+R2-1+R2+1+R3)/4； ∥R2是綠色
}/*重構(gòu)B*/如果(R2在一個(gè)藍(lán)線條中){如果(R2是藍(lán)色)b+1=R2否則b+1=(R2-1+R2+1)/2；∥R2是綠色}否則{ ∥R2在一個(gè)紅線條中如果(R2是紅色)b+1=(R1-1+R1+1+R3-1+R3+1)/4；否則b+1=(R1+R2-1+R2+1+R3)/4； ∥R2是綠色}/*重構(gòu)G*/如果(R2是綠色){g_+1=(R2+R3+1+R3-1+R4)/4； ∥R3不是綠色g+1=(R1-1+R1+1+4*R2+R3-1+R3+1)/8；g++1=(R0+R1+1+R1-1+R2)/4； ∥R3不是綠色}否則{ ∥R2不是綠色g_+1=(R2-1+R2+1+4*R3+R4-1+R4+1)/8；∥R3是綠色g+1=(R2+R3+1+R3-1+R4)/4；g++1=(R0-1+R0+1+4*R1+R2-1+R2+1)/8；∥R1是綠色}/*結(jié)束*/另一個(gè)重要主題是下降采樣。這種實(shí)現(xiàn)支持5種不同的圖像尺寸640×480,352×288,320×240,176×144和160×120。尺寸640×480幾乎是CCD的全尺寸(只有一個(gè)小邊界被從CCD的659×694像素輸出中裁剪掉)。不需要下降采樣。然而，可以使用不同下降采樣比率獲得其它尺寸。
圖3A示出了X和Y方向上的352×288-5到3下降采樣和X方向上的裁剪(384到352)。圖3B示出了X和Y方向上的320×240-2到1下降采樣。圖3C示出了X和Y方向上的176×144-10到3下降采樣和X方向上的裁剪(192到176)。圖3D示出了X和Y方向上的160×120-4到2下降采樣。
取代在存儲(chǔ)器中分別存儲(chǔ)重構(gòu)的RGB以便在圖像處理輸出結(jié)束端執(zhí)行垂直下降采樣，這種實(shí)現(xiàn)通過(guò)在剛開(kāi)始時(shí)只增加控制信號(hào)來(lái)進(jìn)行下降采樣，從而節(jié)省總的存儲(chǔ)器費(fèi)用。
圖4是一個(gè)示出用于基于本發(fā)明一個(gè)實(shí)施例的輪廓增強(qiáng)處理的圖像處理器50的模塊圖。圖像捕捉設(shè)備(例如照相機(jī))由檢測(cè)進(jìn)入透鏡的光線的電荷耦合設(shè)備(CCD)構(gòu)成。CCD產(chǎn)生原始圖像數(shù)據(jù)。原始數(shù)據(jù)需要被處理以便還原出最終的高質(zhì)量圖像。CCD產(chǎn)生模擬數(shù)據(jù)，而通過(guò)一個(gè)模數(shù)轉(zhuǎn)換器(ADC)把模擬數(shù)據(jù)轉(zhuǎn)換成10位原始圖像數(shù)據(jù)。圖像處理器從ADC的輸出接收10位原始圖像數(shù)據(jù)并且執(zhí)行各種圖像處理任務(wù)。圖像處理器的輸出符合標(biāo)準(zhǔn)4:2:2 YCrCb格式。圖像處理器完全可編程并且包括六個(gè)主要功能部件。一個(gè)補(bǔ)償處理電路52被連接到輸入終端并且被用來(lái)接收10位原始數(shù)據(jù)和產(chǎn)生補(bǔ)償數(shù)據(jù)。一個(gè)插值電路54被連接到補(bǔ)償處理電路并且被用來(lái)接收補(bǔ)償數(shù)據(jù)和提供插值數(shù)據(jù)。一個(gè)顏色處理電路56被連接到插值電路并且被用來(lái)處理插值數(shù)據(jù)以產(chǎn)生顏色數(shù)據(jù)。一個(gè)輪廓增強(qiáng)電路58被連接到插值電路和顏色處理電路并且被用來(lái)根據(jù)插值數(shù)據(jù)和顏色數(shù)據(jù)增強(qiáng)圖像輪廓以產(chǎn)生增強(qiáng)數(shù)據(jù)。一個(gè)查找表60被連接到顏色處理電路和輪廓增強(qiáng)電路并且被用來(lái)查找顏色數(shù)據(jù)和增強(qiáng)數(shù)據(jù)以產(chǎn)生查找數(shù)據(jù)。一個(gè)轉(zhuǎn)換電路62被連接到查找表電路并且被用來(lái)轉(zhuǎn)換查找數(shù)據(jù)以產(chǎn)生被提供到輸出終端的處理圖像數(shù)據(jù)。在本發(fā)明的一個(gè)方面，用RGB數(shù)據(jù)執(zhí)行處理，并且在本發(fā)明的另一方面，使用YUV數(shù)據(jù)執(zhí)行處理。
當(dāng)數(shù)據(jù)首先被從CCD傳感器饋送到圖像處理器50時(shí)，各個(gè)輸入像素只有一個(gè)顏色分量。如圖5所示對(duì)R,G和B分量進(jìn)行交錯(cuò)。首先由黑色補(bǔ)償鉗位電路52對(duì)輸入的原始數(shù)據(jù)進(jìn)行處理。接著在顏色插值電路54中根據(jù)與遺漏顏色最接近相鄰像素值導(dǎo)出遺漏顏色分量。在顏色重構(gòu)之后，各個(gè)像素?fù)碛衅渥陨淼腞,G和B數(shù)值。接著像素發(fā)送到顏色處理電路56對(duì)其各自的紅，藍(lán)或綠色值進(jìn)行增益調(diào)整以便完成白色均衡，CCD光譜補(bǔ)償及其他處理。
可以在RGB域或YUV域執(zhí)行輪廓增強(qiáng)。如圖像處理器輪廓增強(qiáng)電路58中所示，在這個(gè)系統(tǒng)中在原始數(shù)據(jù)被重構(gòu)到RGB域之后進(jìn)行輪廓處理。在插值電路54中有保存3個(gè)像素線條以備輪廓增強(qiáng)的線緩沖區(qū)。獲得一個(gè)3×3綠像素矩陣和中央像素的亮度值并且傳遞到增強(qiáng)電路58以便進(jìn)行輪廓增強(qiáng)。之后，各個(gè)像素的R,G,B和亮度值被發(fā)送到查找表60并且接著被發(fā)送到執(zhí)行轉(zhuǎn)換的RGB-YUV色空間轉(zhuǎn)換電路62。
輪廓增強(qiáng)過(guò)程包含如圖6所示的若干步驟。第一個(gè)步驟是識(shí)別目標(biāo)圖像中一個(gè)對(duì)象的邊界上的像素的亮度變化。亮度數(shù)值變化導(dǎo)致輪廓顯現(xiàn)。這個(gè)步驟被稱作輪廓檢測(cè)。第二個(gè)步驟是判定一個(gè)輪廓數(shù)值有效范圍，并將對(duì)其施加進(jìn)一步的輪廓增益。在本說(shuō)明書中，術(shù)語(yǔ)有效輪廓值被用來(lái)定義這些會(huì)施加增益的輪廓。有效輪廓值與一個(gè)由用戶分配的增益系數(shù)相乘，其結(jié)果是一個(gè)輪廓增益數(shù)值。最終，輪廓增益值被加到初始亮度上以產(chǎn)生最終的輪廓增強(qiáng)像素。
圖7圖解了輪廓增強(qiáng)過(guò)程中的計(jì)算步驟。初始圖像被簡(jiǎn)化成一個(gè)一維線條。首先使用矩陣運(yùn)算檢測(cè)(即輪廓提取)該線條中的低到高躍遷以便進(jìn)行如下所述的水平方向輪廓提取。接著，根據(jù)一個(gè)用戶指定的增益系數(shù)對(duì)輪廓進(jìn)行定標(biāo)。最終，通過(guò)把定標(biāo)輪廓加到初始像素上從而計(jì)算出最終輪廓增強(qiáng)數(shù)值。
實(shí)現(xiàn)輪廓增強(qiáng)算法最優(yōu)效果的第一關(guān)鍵因素是正確識(shí)別圖畫中的輪廓。通過(guò)在以如圖8所示的A為中心的3×3像素塊上執(zhí)行專門的濾光來(lái)完成在圖像中任何像素A上的輪廓提取。通過(guò)使用如圖9所示的加權(quán)系數(shù)可以檢測(cè)在水平，垂直或?qū)欠较蛏吓cA相鄰的像素的數(shù)值改變。圖9圖解了針對(duì)3×3矩陣的加權(quán)系數(shù)，上述矩陣被用來(lái)在4個(gè)不同方向上檢測(cè)輪廓邊界。從左到右分別為垂直，水平，左上到右下和右上到左下對(duì)角方向。4個(gè)矩陣運(yùn)算的最大絕對(duì)結(jié)果值是像素A的輪廓數(shù)值。通過(guò)這些矩陣運(yùn)算得到的輪廓是向量。如圖7所示，初始圖像中的一個(gè)低到高躍遷產(chǎn)生一個(gè)等值負(fù)輪廓和一個(gè)等值正輪廓。
各個(gè)像素具有一個(gè)亮度值和一個(gè)色度值。最好使用亮度值進(jìn)行前面章節(jié)描述的輪廓提取運(yùn)算。然而，執(zhí)行基于真實(shí)亮度數(shù)據(jù)的輪廓處理需要可用于3×3矩陣中所有9個(gè)像素的完整R,G,B數(shù)值。這需要在顏色插值電路14中有額外的線緩沖區(qū)。由于硬件的限制，本發(fā)明在輪廓檢測(cè)中用綠色值代替3×3矩陣的亮度。
然而，當(dāng)最終輪廓增強(qiáng)數(shù)值即將被加回到初始像素時(shí)，本發(fā)明使用初始像素的亮度值。與使用初始像素的綠色值進(jìn)行輪廓處理相比，增強(qiáng)亮度在最終輸出上表現(xiàn)出比增強(qiáng)綠色值要好得多的效果。
模擬噪聲在從CCD傳感器讀取數(shù)據(jù)時(shí)產(chǎn)生一個(gè)微小的變化。結(jié)果，重構(gòu)像素繼承了噪聲并且有時(shí)在圖像中顯示出不期望的虛線圖案。這種噪聲，如果被輪廓檢測(cè)電路定位，則不應(yīng)該被增強(qiáng)。因此，一個(gè)截止閾值被用于某電平以下的輪廓以防止這種噪聲的可能增強(qiáng)。
反之，當(dāng)在景像上的相鄰像素(例如，一個(gè)站立在光幕前端的人的頭發(fā)線條周圍的黑白邊界)中存在較大的亮度值突變時(shí)，對(duì)增強(qiáng)這種輪廓的嘗試通常會(huì)在最終圖像中產(chǎn)生討厭的失真。在這種情況下，在增強(qiáng)處理中應(yīng)當(dāng)保留超出某個(gè)高閾值的輪廓。
為達(dá)到標(biāo)定的目的，通過(guò)前面步驟提取的輪廓被發(fā)送到一個(gè)范圍檢查電路。圖10中示出了一個(gè)高截止數(shù)值和一個(gè)低截止數(shù)值。輪廓在絕對(duì)數(shù)值小于低截止數(shù)值或大于高截止數(shù)值的地方消失。剩余有效輪廓與一個(gè)可編程增益系數(shù)相乘。在下面段落對(duì)增益系數(shù)進(jìn)行進(jìn)一步的討論和調(diào)整。
在進(jìn)行截止范圍檢查之后，一個(gè)用戶指定的增益系數(shù)被用于各個(gè)有效輪廓。在相乘之前對(duì)這個(gè)增益數(shù)值的調(diào)整有助于避免失真和改進(jìn)最終圖像質(zhì)量。關(guān)于調(diào)整的詳細(xì)內(nèi)容如下所述。
首先，考慮基于相鄰像素中亮度等級(jí)的增益調(diào)整?？紤]如圖11所示的一個(gè)較暗景像和圖12中的一個(gè)較亮景像，相同數(shù)量的亮度等級(jí)變化表現(xiàn)出驚人不同的視覺(jué)效果。圖11中的對(duì)象比位于圖12中較亮背景前景中的對(duì)象更加清晰。
這種差異背后的原因是人類視覺(jué)的非線性性質(zhì)。人眼在暗環(huán)境中比在亮環(huán)境中更加敏感。換句話說(shuō)，當(dāng)從灰色區(qū)域觀察時(shí)，相同數(shù)量的亮度等級(jí)變化比從亮背景中觀察更加引人注目。
這種觀察有助于本發(fā)明改進(jìn)輪廓增強(qiáng)算法。這意味著應(yīng)當(dāng)在相鄰像素亮度較高時(shí)增加用戶指定的輪廓增益系數(shù)并且在相鄰背景較暗時(shí)減少上述系數(shù)。根據(jù)這種觀察，使用下列公式從初始輪廓增益系數(shù)G導(dǎo)出一個(gè)改進(jìn)輪廓增益系數(shù)G′以便調(diào)整基于相鄰像素的輪廓數(shù)值(1)G′=G*B，其中G是用戶指定增益系數(shù)，G′是調(diào)整后的增益系數(shù)，B是調(diào)整相鄰像素中的亮度的系數(shù)，和(2)B=logA，其中A是一個(gè)3×3塊中相鄰像素的平均亮度值。
最終，期望補(bǔ)償一個(gè)非均衡輪廓增益比率。輪廓增強(qiáng)的最后步驟是如圖7的下部所示把輪廓增益值加到初始亮度值上，如上所述，輪廓是一個(gè)向量。存在與各個(gè)數(shù)值躍遷相關(guān)的一個(gè)正輪廓和一個(gè)負(fù)輪廓。根據(jù)前面章節(jié)中有關(guān)人類視覺(jué)系統(tǒng)非線性性質(zhì)的觀察，現(xiàn)在描述被用于正輪廓和負(fù)輪廓的不同增益比率為何和如何可以減少失真。
參照?qǐng)D13，初始圖像(部分A)示出一個(gè)在點(diǎn)M上從較暗景像(小亮度值)到較亮景像(大亮度值)的躍遷E5。在輪廓被提取并且被相應(yīng)定標(biāo)之后，如部分B所示，輪廓增益被加到初始圖像上。輪廓增強(qiáng)運(yùn)算產(chǎn)生一個(gè)負(fù)數(shù)值變化E2和一個(gè)正數(shù)值變化E3。注意當(dāng)通過(guò)矩陣運(yùn)算進(jìn)行計(jì)算時(shí)，E2等于E3。點(diǎn)M上的亮度值變化數(shù)量增加了E2+E3，因而實(shí)現(xiàn)了輪廓增強(qiáng)。
在部分B中，E1和E2是從初始圖像較暗一側(cè)觀察到的數(shù)值變化，而E3和E4是從初始圖像較亮一側(cè)觀察到的數(shù)值變化。如上所述，人眼對(duì)暗背景中的變化比亮背景中的變化更加敏感。因此會(huì)更加注意E1和E2。注意，尤其當(dāng)在初始圖像中亮度等級(jí)有較大變化(即E5)時(shí)，E1通常會(huì)導(dǎo)致失真。為了使這種失真最小化，對(duì)表示正輪廓增益的E3進(jìn)行1/N的比率調(diào)整，同時(shí)負(fù)輪廓增益E2的值保持不變。圖13中的部分C和部分D提供了N=2和N=4的比率調(diào)整結(jié)果。與部分B相比，E2是相同的，但E1變小從而減少了失真。
如上所述，解釋了一個(gè)包含下列5個(gè)步驟的有效輪廓增強(qiáng)系統(tǒng)輪廓提取，亮度源選擇，有效輪廓范圍檢查，相鄰像素亮度調(diào)整和輪廓增益比率調(diào)整。本發(fā)明的輪廓增強(qiáng)機(jī)制有兩個(gè)關(guān)鍵因素。一個(gè)是正確定位輪廓，另一個(gè)是當(dāng)增強(qiáng)輪廓時(shí)避免失真。第一步是解決輪廓提取問(wèn)題，而步驟3至步驟5則側(cè)重于減少失真。
本發(fā)明的優(yōu)點(diǎn)包含正確定位對(duì)象輪廓和在增強(qiáng)輪廓時(shí)避免失真。因此，本發(fā)明通過(guò)常規(guī)輪廓處理器提供了一個(gè)得到改進(jìn)的圖像輪廓增強(qiáng)技術(shù)。
前面已經(jīng)公開(kāi)了示例性實(shí)施例和最優(yōu)模式，在不偏離下列權(quán)利要求定義的本發(fā)明的范圍的前提下可以對(duì)所公開(kāi)的實(shí)施例進(jìn)行修改和改變。
權(quán)利要求
1．對(duì)被當(dāng)做原始數(shù)字圖像數(shù)據(jù)提供給輸入終端的數(shù)字圖像進(jìn)行輪廓增強(qiáng)處理并且把經(jīng)過(guò)處理的圖像數(shù)據(jù)提供給輸出終端的裝置，該裝置包括一個(gè)被連接到輸入終端并且被用來(lái)接收原始數(shù)據(jù)和產(chǎn)生補(bǔ)償數(shù)據(jù)的補(bǔ)償處理電路；一個(gè)被連接到補(bǔ)償處理電路并且被用來(lái)接收數(shù)據(jù)數(shù)據(jù)和提供插值數(shù)據(jù)的插值電路；一個(gè)被連接到插值電路并且被用來(lái)處理插值數(shù)據(jù)以產(chǎn)生顏色數(shù)據(jù)的顏色處理電路。一個(gè)被連接到插值電路和顏色處理電路并且被用來(lái)根據(jù)插值數(shù)據(jù)和顏色數(shù)據(jù)增強(qiáng)圖像輪廓以產(chǎn)生增強(qiáng)數(shù)據(jù)的輪廓增強(qiáng)電路；一個(gè)被連接到顏色處理電路和輪廓增強(qiáng)電路并且被用來(lái)查找顏色數(shù)據(jù)和增強(qiáng)數(shù)據(jù)以產(chǎn)生查找數(shù)據(jù)的查找表；一個(gè)被連接到查找表電路并且被用來(lái)轉(zhuǎn)換查找數(shù)據(jù)以產(chǎn)生被提供到輸出終端的處理圖像數(shù)據(jù)的轉(zhuǎn)換電路。
2．如權(quán)利要求1所述的輪廓增強(qiáng)裝置，其中輪廓增強(qiáng)電路包含一個(gè)輪廓提取電路，一個(gè)截止電平調(diào)整電路和一個(gè)輪廓增益定標(biāo)電路。
3．?dāng)?shù)字照相機(jī)中的輪廓增強(qiáng)裝置，其中包含識(shí)別目標(biāo)圖像中對(duì)象邊界上的像素的亮度變化以檢測(cè)對(duì)象輪廓的裝置，識(shí)別需要增益的有效輪廓值范圍的裝置，把有效輪廓量值與一個(gè)增益系數(shù)相乘以提供一個(gè)輪廓增益值的裝置，和把輪廓增益值加到初始亮度上以產(chǎn)生一個(gè)輪廓增強(qiáng)像素的裝置。
4．如權(quán)利要求3所述的裝置，其中包含在輪廓增強(qiáng)之前重構(gòu)一個(gè)彩色圖像以提供遺漏像素的裝置。
5．?dāng)?shù)字照相機(jī)中的輪廓增強(qiáng)方法，其中包含識(shí)別目標(biāo)圖像中對(duì)象邊界上的像素的亮度變化以檢測(cè)對(duì)象輪廓，識(shí)別需要增益的有效輪廓值范圍，把有效輪廓量值與一個(gè)增益系數(shù)相乘以提供一個(gè)輪廓增益值，和把輪廓增益值加到初始亮度上以產(chǎn)生一個(gè)輪廓增強(qiáng)像素。
6．圖像捕捉設(shè)備中一個(gè)補(bǔ)償遺漏像素的裝置，其中包括一個(gè)插值器電路，該電路被用來(lái)比較相鄰像素的亮度值以確定一個(gè)適當(dāng)?shù)倪z漏像素亮度值并且為遺漏像素分配適當(dāng)?shù)牧炼戎怠?br> 7．如權(quán)利要求6所述的裝置，其中插值器電路包含一個(gè)補(bǔ)償電路，補(bǔ)償電路被用來(lái)補(bǔ)償至少某些因交錯(cuò)線條中的相鄰紅/藍(lán)顏色濾鏡涂層在綠像素中產(chǎn)生的CCD暗-亮-暗-亮圖案。
8．如權(quán)利要求7所述的裝置，其中插值器電路包含一個(gè)采樣電路，采樣電路被用來(lái)吸收從背景到前景的下降采樣并且為各個(gè)像素提供一個(gè)用于輪廓增強(qiáng)的3×3像素塊。
9．如權(quán)利要求8所述的裝置，其中還包括一個(gè)在數(shù)字照相機(jī)圖像中進(jìn)行輪廓增強(qiáng)的圖像處理器，該處理器包含識(shí)別目標(biāo)圖像中對(duì)象邊界上的像素的亮度變化以檢測(cè)對(duì)象輪廓的裝置，識(shí)別需要增益的有效輪廓值范圍的裝置，把有效輪廓量值與一個(gè)增益系數(shù)相乘以提供一個(gè)輪廓增益值的裝置，和把輪廓增益值加到初始亮度上以產(chǎn)生一個(gè)輪廓增強(qiáng)像素的裝置。
10．圖像捕捉設(shè)備中一個(gè)補(bǔ)償遺漏像素的方法，其中包括的步驟有比較相鄰像素的亮度值以便為遺漏像素確定一個(gè)適當(dāng)?shù)牧炼戎?；和為遺漏像素分配適當(dāng)?shù)牧炼戎怠?br> 11．如權(quán)利要求10所述的方法，其中還包括的步驟有補(bǔ)償至少某些因交錯(cuò)線條中的相鄰紅/藍(lán)顏色濾鏡涂層在綠像素中產(chǎn)生的CCD暗-亮-暗-亮圖案。
12．如權(quán)利要求11所述的方法，其中還包括的步驟有吸收從背景到前景的下降采樣并且為各個(gè)像素提供一個(gè)用于輪廓增強(qiáng)的3×3像素塊。
13．如權(quán)利要求12所述的方法，其中還包含一個(gè)對(duì)數(shù)字照相機(jī)圖像中的一個(gè)圖像進(jìn)行輪廓增強(qiáng)的方法，該方法包含識(shí)別目標(biāo)圖像中對(duì)象邊界上的像素的亮度變化以檢測(cè)對(duì)象輪廓，識(shí)別需要增益的有效輪廓值范圍，把有效輪廓量值與一個(gè)增益系數(shù)相乘以提供一個(gè)輪廓增益值，和把輪廓增益值加到初始亮度上以產(chǎn)生一個(gè)輪廓增強(qiáng)像素。
全文摘要
被當(dāng)做原始數(shù)字圖像數(shù)據(jù)提供給輸入終端的數(shù)字圖像進(jìn)行輪廓增強(qiáng)處理并且把經(jīng)過(guò)處理的圖像數(shù)據(jù)提供給輸出終端的裝置(50)。系統(tǒng)還具有分別彼此相連的一個(gè)插值電路(54),一個(gè)補(bǔ)償處理電路(52),一個(gè)顏色處理電路(56),一個(gè)輪廓增強(qiáng)電路(58),一個(gè)查找表(60)和一個(gè)轉(zhuǎn)換電路(62)。這些電路被用來(lái)定義對(duì)象的輪廓并且正確定位對(duì)象輪廓,從而在增加輪廓時(shí)避免失真(artifact)。
文檔編號(hào)H04N1/46GK1320324SQ99811524
公開(kāi)日2001年10月31日 申請(qǐng)日期1999年9月1日 優(yōu)先權(quán)日1998年9月1日
發(fā)明者高唯純(音譯), 楚德仁(音譯), 王仁育(音譯) 申請(qǐng)人:迪維奧公司