專利名稱：數(shù)字圖像的選擇性色度抽取的制作方法
背景技術(shù)：
1.發(fā)明領(lǐng)域本發(fā)明涉及數(shù)字信號處理，尤其涉及用于選擇性地抽取數(shù)字圖像的裝置和方法。
II.相關(guān)技術(shù)描述數(shù)字圖像處理在數(shù)字信號處理的一般學(xué)科中具有顯著地位。人類視覺的重要性已經(jīng)促進(jìn)了數(shù)字圖像處理的領(lǐng)域和學(xué)科內(nèi)的極大興趣和進(jìn)展。在視頻信號的發(fā)送和接收領(lǐng)域，譬如那些用于放映膠片或電影的領(lǐng)域，對圖像壓縮技術(shù)作出了各種改進(jìn)。許多當(dāng)前的和推薦的視頻系統(tǒng)利用了數(shù)字編碼技術(shù)。該領(lǐng)域的一些方面包括圖像編碼、圖像再現(xiàn)、以及圖像特征選擇。圖像編碼代表試圖以有效的方式發(fā)送數(shù)字通信信道的圖片，利用盡可能少的比特來使所需的帶寬最小，而同時把失真維持在某些限制內(nèi)。圖像再現(xiàn)代表努力再現(xiàn)對象的真實(shí)圖像。各種因素已經(jīng)使在通信信道上發(fā)送的已編碼圖像失真。降級的來源可能在最初從對象創(chuàng)建圖像中已經(jīng)發(fā)生。特征選擇是指選擇圖片的某些屬性。較廣泛環(huán)境中的識別、分類以及判決可能要求這種屬性。
視頻的數(shù)字編碼，譬如數(shù)字影院內(nèi)的編碼，是受益于改進(jìn)的圖像壓縮技術(shù)的領(lǐng)域。一般可把數(shù)字圖像壓縮分為兩類無損和有損的方法。再現(xiàn)無損圖像而沒有任何信息損耗。有損的方法包括復(fù)某些信息的不能再現(xiàn)的損失，這取決于壓縮率、壓縮算法的品質(zhì)、以及算法的實(shí)現(xiàn)。一般而言，有損壓縮方法被認(rèn)為是獲得成本可行的數(shù)字影院方法所期望的壓縮率。為了達(dá)到數(shù)字影院品質(zhì)級別，壓縮方法應(yīng)該提供在視覺上無損的性能級別。這樣，盡管由于壓縮過程而有數(shù)學(xué)的信息損耗，然而該損耗引起的圖像失真對于正常觀察條件下的觀察者來說應(yīng)該是難以察覺的。
已經(jīng)為其它應(yīng)用，也就是為了電視系統(tǒng)，研發(fā)了現(xiàn)有的數(shù)字圖像壓縮技術(shù)。這種技術(shù)使設(shè)計折衷而適用于想要的應(yīng)用，但不滿足影院顯示所需的品質(zhì)要求。
數(shù)字影院壓縮技術(shù)應(yīng)該提供?？措娪暗娜艘郧绑w驗(yàn)過的視覺品質(zhì)。理想的是，數(shù)字影院的視覺品質(zhì)應(yīng)該試圖超越高品質(zhì)版本的拷貝膠卷。與此同時，壓縮技術(shù)應(yīng)該具有實(shí)踐上的高編碼效率。如這里所定義的，編碼效率是指使被壓縮的圖像品質(zhì)滿足某一定性級別所需的比特率。此外，系統(tǒng)和編碼技術(shù)應(yīng)該具有內(nèi)部靈活性來適應(yīng)不同格式，并且應(yīng)該是成本可行的；即，小型且有效的解碼器或編碼器過程。
為了減少被壓縮數(shù)字圖像所需的比特數(shù)而通常采用的一種方法是降低色度信息的空間分辨率。然而，這可能導(dǎo)致顯著的圖像失真?；蛘?，去除圖像失真的一種常用方法是提高被壓縮圖像的比特率。這也不是期望的，依舊限制了可用的比特率。因而，需要一種方法和裝置，它能抽取數(shù)字圖像但維持?jǐn)?shù)字圖像的品質(zhì)級別。
發(fā)明概述本發(fā)明規(guī)定了用于選擇性地抽取數(shù)字圖像。特別是，把數(shù)字圖像分成多個塊。根據(jù)預(yù)定的標(biāo)準(zhǔn)選擇性地抽取某些塊。實(shí)施例的各方面允許在具有少量色度信息的區(qū)域抽取色度分辨率以降低比特率，而維持人眼難以察覺的色度品質(zhì)。在一實(shí)施例中，使用自適應(yīng)塊大小離散余弦變換(ABSDCT)技術(shù)來確定是否降低給定像素區(qū)域內(nèi)的色度分辨率。具有高色度信息的區(qū)域的分辨率未降低，而使具有低色度信息的區(qū)域的分辨率降低，而總品質(zhì)沒有降級。以逐塊的級別作出判決，或者在像素域或者在頻域，這與數(shù)字信息的整個幀和多幀相反。
因而，實(shí)施例的各個方面用于把4:4:4的數(shù)字圖像轉(zhuǎn)換成4:2:2的數(shù)字圖像或4:2:0的數(shù)字圖像。描述了抽取數(shù)字圖像的裝置和方法，其中用多個像素來表示數(shù)字圖像。像素塊的大小是塊的色度分辨率的函數(shù)。然后，選擇性地抽取某些塊。
因而，實(shí)施例的一方面是提供一種裝置和方法，以根據(jù)色度分辨率抽取數(shù)字圖像，同時維持總的色度品質(zhì)。
實(shí)施例的另一方面是提供一種裝置和方法以降低低色度分辨率區(qū)域內(nèi)的比特率。
實(shí)施例的另一方面是維持較高的比特率而同時維持相同的品質(zhì)級別。
實(shí)施例的另一方面是達(dá)到比標(biāo)準(zhǔn)抽取更高的圖像品質(zhì)級別。
附圖簡述通過下面提出的結(jié)合附圖的詳細(xì)描述，本發(fā)明的各方面、特征、目的和優(yōu)點(diǎn)將變得更加明顯，附圖中相同的元件具有相同的標(biāo)識，其中

圖1是結(jié)合一抽取器的圖像處理系統(tǒng)的框圖2是說明塊大小分配的細(xì)節(jié)的框圖；圖3是說明4:4:4數(shù)字圖像的選擇性抽取過程的流程圖；圖4a說明了像素數(shù)據(jù)的色度部分的4:4:4塊的示例；圖4b說明了像素數(shù)據(jù)的色度部分的4:2:2塊的示例；以及圖4c說明了像素數(shù)據(jù)的色度部分的4:2:0塊的示例。
較佳實(shí)施例的詳細(xì)描述為了便于數(shù)字信號的數(shù)字傳輸并且享受相應(yīng)的好處，一般需要采用某些形式的信號壓縮。為了實(shí)現(xiàn)產(chǎn)生圖像時的高清晰度，維持圖像的高品質(zhì)也很重要。而且，微型硬件實(shí)現(xiàn)期望計算效率，這在許多應(yīng)用中都是重要的。
在一實(shí)施例中，本發(fā)明的圖像壓縮是基于離散余弦變換(DCT)技術(shù)的。一般而言，要在數(shù)字域內(nèi)被處理的圖像會由像素數(shù)據(jù)組成，像素數(shù)據(jù)被分成不重疊塊的陣列，大小為N×N。對每個塊執(zhí)行二維DCT。二維DCT由下列關(guān)系式所定義X(k,l)=α(k)β(l)NΣm=0N-1Σn=0N-1x(m,n)cos[(2m+1)πk2N]cos[(2n+1)πl2N],0≤k,l≤N-1]]>其中 以及x(m，n)是N×M塊內(nèi)的像素位置(m，n)，以及X(k，l)是相應(yīng)的DCT系數(shù)。
由于像素值是非負(fù)的，因此DCT分量X(0，0)總是正的，并且通常具有最多能量。實(shí)際上，對于一般圖像而言，大多數(shù)變換能量都集中在分量X(0，0)附近。該能量壓縮屬性使DCT技術(shù)成為具有吸引力的壓縮方法。
已經(jīng)觀察到，大多數(shù)自然圖像是由平坦的、相對緩慢變化的區(qū)域、以及像對象邊界和高對比度紋理這樣的繁忙區(qū)域組成的。對比自適應(yīng)編碼方案通過向繁忙區(qū)域分配更多比特而向較不繁忙的區(qū)域分配較少比特而利用了該因素。該技術(shù)在美國專利號5,021,891中公開，該專利題為“自適應(yīng)塊大小圖像壓縮方法和系統(tǒng)(Adaptive Block Size Image Compression Method and System)”，它被轉(zhuǎn)讓給本發(fā)明的受讓人，并且通過引用被結(jié)合于此。在美國專利號5,107,345中也公開了DCT技術(shù)，該專利題為“自適應(yīng)塊大小圖像壓縮方法和系統(tǒng)(Adaptive Block SizeImage Compression Method and System)”，它被轉(zhuǎn)讓給本發(fā)明的受讓人并且通過引用被結(jié)合于此。而且，美國專利號5,452,104中討論了ABSDCT技術(shù)與差分四叉樹變換技術(shù)的結(jié)合，該專利題為“自適應(yīng)塊大小圖像壓縮方法和系統(tǒng)(AdaptiveBlock Size Image Compression Method and System)”，它也被轉(zhuǎn)讓給本發(fā)明的受讓人，并且通過引用被結(jié)合于此。這些專利中公開的系統(tǒng)使用了稱為“幀內(nèi)”編碼的編碼，其中對圖像數(shù)據(jù)的每幀都進(jìn)行編碼，而不考慮其它幀的內(nèi)容。通過使用ABSDCT技術(shù)，可達(dá)到的數(shù)據(jù)速率可能很大，而沒有可辨別的信號品質(zhì)的降級。
通過使用ABSDCT，一般把視頻信號分段成像素塊，用于處理。對于每個塊而言，把亮度和色度分量被傳遞至塊交錯器。例如，可以把16×16(像素)塊提供給塊交錯器，后者對每個16×16塊內(nèi)的采樣排序或組織，以產(chǎn)生數(shù)據(jù)的塊和復(fù)合子塊，用于離散余弦變換(DCT)分析。DCT運(yùn)算符是把時間采樣的信號轉(zhuǎn)換成相同信號的頻率表示的一種方法。通過轉(zhuǎn)換成頻率表示，已經(jīng)示出DCT技術(shù)允許非常高的壓縮級，就像可以設(shè)計量化器利用圖像的頻率分布特性一樣。在較佳實(shí)施例中，一個16×16的DCT應(yīng)用于第一排序，四個8×8的DCT應(yīng)用于第二排序，16個4×4的DCT應(yīng)用于第三排序，而64個2×2的DCT應(yīng)用于第四排序。
為了圖像處理目的，在被分成不重疊塊的陣列的像素數(shù)據(jù)上執(zhí)行DCT操作。注意到，盡管這里討論的塊大小尺寸為N×N，然而可以預(yù)想，可以使用各種塊大小。例如，可以使用N×M的塊大小，其中N和M都是整數(shù)，M或大于或小于N。另一重要方面是可把塊分成至少一級子塊，譬如N/i×N/ii、N/i×N/j、N/i×M/j、等等，其中i和j是整數(shù)。而且，這里討論的示例性塊大小是16×16的像素塊，具有DCT系數(shù)的相應(yīng)塊和子塊。還可以預(yù)想到，可以使用各種其它整數(shù)值，譬如既可以是偶數(shù)又可以是奇數(shù)，如，9×9。
通常，把圖像分成多個像素塊，用于處理?？梢园焉市盘枏腞GB空間轉(zhuǎn)換到Y(jié)C1C2空間，其中Y是亮度，輝度，分量，C1和C2是色度(即色彩)分量。由于人眼對色彩的低空間敏感性，因此許多系統(tǒng)在水平和垂直方向上用因數(shù)4對C1和C2分量進(jìn)行子采樣。然而，子采樣不是必要的。稱為4:4:4的全分辨率圖像在某些應(yīng)用中可能非常有用或必要，譬如在稱之為覆蓋“數(shù)字影院”的應(yīng)用中。兩個可能的YC1C2表示是，YIQ表示和YUV表示，兩者都是本領(lǐng)域公知的。也可能采用YUV表示的變體，稱為YCbCr。
現(xiàn)在參照圖1，示出結(jié)合本發(fā)明的圖像處理系統(tǒng)100。圖像處理系統(tǒng)100包括一編碼器102，它壓縮接收到的視頻信號。通過傳輸信道104發(fā)送被壓縮的信號，并且由解碼器106所接收。解碼器106把接收到的信號解碼成接著可以顯示的圖像采樣。
在較佳實(shí)施例中，處理Y、Cb、Cr分量的每一個而無需子采樣。這樣，把16×16像素塊的輸入被提供給編碼器102。編碼器102包括塊大小分配元件108，它在準(zhǔn)備視頻壓縮時執(zhí)行塊大小分配。塊大小分配元件108根據(jù)塊內(nèi)圖像可觀察的特性來確定16×16塊的塊分解。塊大小分配根據(jù)16×16塊內(nèi)的活動性而以四叉樹方式把每個16×16塊細(xì)分成更小的塊。塊大小分配元件108產(chǎn)生稱為PQR數(shù)據(jù)四叉樹數(shù)據(jù)，它的長度在1到21比特之間。因此，如果塊大小分配元件確定要分解16×16塊，則設(shè)定PQR數(shù)據(jù)的R比特，R比特后是Q數(shù)據(jù)的附加比特，它們對應(yīng)于4個分解后的8×8塊。如果塊大小分配確定要細(xì)分任一8×8塊，則對每個被細(xì)分的8×8塊添加P數(shù)據(jù)的4個附加比特。
現(xiàn)在參照圖2，提供了一流程圖，示出塊大小分配元件108的操作細(xì)節(jié)。算法使用塊的方差作為判決的度量來細(xì)分塊。從步驟202開始，讀取一個16×16的像素塊。在步驟204中，計算該16×16塊的方差v16。計算方差如下var=1N2Σi=0N-1Σj=0N-1x2i,j-(1N2Σi=0N-1Σj=0N-1xi,j)2]]>其中N＝16，xi，j是N×N塊內(nèi)的第i行、第j列中的像素。在步驟206中，如果塊的均值在兩個預(yù)定值之間，那么首先修改方差閾值T16來提供新的閾值T’16，然后把塊方差與新閾值T’16相比較。
如果方差v16不大于閾值T16，則在步驟208中，寫入16×16塊的起始地址，然后把PQR數(shù)據(jù)的R比特設(shè)為0以指明未細(xì)分16×16塊。然后，算法讀取下一個16×16像素塊。如果方差v16大于閾值T16，則在步驟210中，把PQR數(shù)據(jù)的R比特設(shè)為1以指明要把16×16塊細(xì)分成4個8×8塊。
如步驟212所示，順序地考慮使4個8×8塊(i＝1:4)進(jìn)一步細(xì)分。對于每個8×8塊而言，在步驟214中計算方差v8i。在步驟216中，如果塊的均值在兩個預(yù)定值之間，那么首先修改方差閾值T8來提供新的閾值T’8，然后把塊方差與該新閾值相比較。
如果方差v8i不大于閾值T8，則在步驟218中，寫入8×8塊的起始地址，并且把相應(yīng)的Q比特Qi設(shè)為0。然后處理下一個8×8塊。如果方差v8i大于閾值T8，則在步驟220中，把相應(yīng)的Q比特Qi設(shè)為1以指明要把8×8塊細(xì)分成4個4×4塊。
如步驟222所示，順序地考慮使4個4×4塊(ji＝1:4)進(jìn)一步細(xì)分。對于每個4×4塊而言，在步驟224中計算方差v4ij。在步驟226中，如果塊的均值在兩個預(yù)定值之間，那么首先修改方差閾值T4來提供新的閾值T’4，然后把塊方差與該新閾值相比較。
如果方差v4ij不大于閾值T4，則在步驟228中，寫入4×4塊的起始地址，并且把相應(yīng)的P比特Pij設(shè)為0。然后處理下一個4×4塊。如果方差v4ij大于閾值T4，則在步驟230中，把相應(yīng)的P比特Pij設(shè)為1以指明要把4×4塊細(xì)分成4個2×2塊。此外，寫入4個2×2塊的地址。
閾值T16、T8和T4可能是預(yù)定的常數(shù)。這被稱為硬判決?；蛘?，可能實(shí)現(xiàn)自適應(yīng)判決或軟判決。軟判決根據(jù)2N×2N塊的平均像素值改變方差的閾值，其中N可以是8、4或2。因此，可以使用平均像素值的函數(shù)作為閾值。
為了說明目的，考慮以下示例。令Y分量的預(yù)定方差閾值對于16×16、8×8以及4×4塊分別為50、1100和880。換言之，T16＝50，T8＝1100，且T16＝880。令平均值的范圍為80到100。假定對于16×16塊所計算的方差為60。由于60及其平均值90大于T16，因此把16×16塊細(xì)分成4個8×8子塊。假定對于8×8子塊計算的方差為1180、935、980和1210。由于兩個8×8塊具有超出T8的方差，因此把這兩個塊再細(xì)分以產(chǎn)生總數(shù)為8個的4×4子塊。最終，假定8個4×4塊的方差為620、630、670、610、590、525、930和690，其中前面四個相應(yīng)的均值為90、120、110、115。由于第一個4×4的塊的均值落在范圍(80，100)內(nèi)，因此使其閾值降低到低于880的T’4＝200。所以，把該4×4塊與第七個4×4塊一樣地細(xì)分。
注意到使用了類似的步驟來為色彩分量C1和C2分配塊大小。可以在水平、垂直或在兩個方向上抽取色彩分量。此外，注意到盡管已經(jīng)把塊大小分配描述成自頂向下的方法，其中首先評估最大的塊(本例中是16×16)，然而也可以取代地使用底部向上的方法。底部向上方法會先評估最小的塊(本例中為2×2)。
回過頭參照圖1，描述了圖像處理系統(tǒng)100的剩余部分。抽取器元件109可以選擇性地抽取某些塊。降低數(shù)據(jù)圖像壓縮所需的比特數(shù)的通常方法是降低幀的空間分辨率。然而，這可能造成顯著的圖像失真。然而，通過使用自適應(yīng)的塊大小，可以使用色度分辨率僅在低色度信息的區(qū)域內(nèi)抽取圖像，而不在高色度信息的區(qū)域內(nèi)抽取。
抽取的判決可能取決于多個因素和考慮。因素包括、但不限于塊內(nèi)以及每個色彩分量內(nèi)的細(xì)節(jié)級別、色度分辨率、對比度、期望的比特率、期望的圖像品質(zhì)級別、以及/或者塊大小。參照圖3以及4a、4b和4c更詳細(xì)地描述了抽取器109以及抽取過程。
把PQR數(shù)據(jù)以及所選塊的地址提供給DCT元件110。DCT元件110使用PQR數(shù)據(jù)對所選的塊執(zhí)行適當(dāng)大小的離散余弦變換。只有所選的塊需要經(jīng)歷DCT處理。
圖像處理系統(tǒng)100可能任選地包括DQT元件112，用于降低DCT的DC系數(shù)中間的冗余度。在每個DCT塊的左上角遇到DC系數(shù)。通常，DC系數(shù)相比AC系數(shù)是很大的。大小差異使得難以設(shè)計有效的可變長度編碼器。因而，降低DC系數(shù)間的冗余是有利的。
DQT元件112對DC系數(shù)執(zhí)行二維DCT，每次取2×2。從4×4塊內(nèi)的2×2塊開始，對4個DC系數(shù)執(zhí)行二維DCT。把該2×2 DCT稱為4個DC系數(shù)的差分四叉樹變換，即DQT。接著，使用8×8塊內(nèi)DQT的DC系數(shù)以及3個相鄰的DC系數(shù)來計算下一級DQT。最終，使用16×16塊內(nèi)4個8×8塊的DC系數(shù)來計算DQT。這樣，在16×16塊內(nèi)，有一個真實(shí)的DC系數(shù)，其余是對應(yīng)于DCT和DQT的AC系數(shù)。
把變換系數(shù)(DCT和DQT兩者)提供給量化器114用于量化。在較佳實(shí)施例中，用頻率加權(quán)屏蔽(FWM)和量化刻度因子來量化DCT系數(shù)。FWM是與輸入DCT系數(shù)的塊的維數(shù)相同的頻率權(quán)重的表格。頻率權(quán)重對不同的DCT系數(shù)應(yīng)用不同的權(quán)重。把權(quán)重設(shè)計成加重具有使人類視覺系統(tǒng)更為敏感的頻率內(nèi)容的輸入采樣，并且減輕具有視覺系統(tǒng)較不敏感的頻率內(nèi)容的采樣。也可以根據(jù)像觀察距離等因素來設(shè)計權(quán)重。
從圖像的測得的或理論的統(tǒng)計量來設(shè)計哈夫曼編碼。已經(jīng)觀察到，大多數(shù)自然圖像是由空白或相對緩慢變化的區(qū)域、以及像對象邊界和高對比度紋理這樣的繁忙區(qū)域組成的。具有頻域變換(如DCT)的哈夫曼編碼器通過向繁忙區(qū)域分配較多比特而向空白區(qū)域分配較少比特而采用了這些特性。通常，哈夫曼編碼器利用查找表來對行程長度和非零值進(jìn)行編碼。
在一實(shí)施例中，根據(jù)經(jīng)驗(yàn)數(shù)據(jù)選擇權(quán)重。ISO/IEC JTC1 CD 10918中公開了為8×8 DCT系數(shù)設(shè)計權(quán)重屏蔽的方法，該文題為“Digital Compression and Encodingof Continuous-tone Still Images-Part 1Requirements and Guidelines”，由國際標(biāo)準(zhǔn)組織于1994年公布，通過引用被結(jié)合于此。通常，設(shè)計兩個FWM，一個用于亮度分量，一個用于色度分量。通過抽取而獲得塊大小為2×2、4×4的FWM表以及通過對8×8塊的表的內(nèi)插而得到16×16的FWM表。刻度因子控制了被量化的系數(shù)的品質(zhì)和比特率。
這樣，按照以下關(guān)系量化每個DCT系數(shù)
其中，DCT(i，j)是輸入DCT系數(shù)，fwm(i，j)是頻率加權(quán)屏蔽，q是刻度因子，而DCTq(i，j)是經(jīng)量化的系數(shù)。注意到根據(jù)DCT系數(shù)的符號，括號內(nèi)的第一項(xiàng)上舍入或下舍入。也用適當(dāng)?shù)募訖?quán)屏蔽使DQT系數(shù)進(jìn)行量化。然而，可以使用多個表格或屏蔽，并將其應(yīng)用于Y、Cb和Cr分量的每一個。
把經(jīng)量化的系數(shù)被提供給鋸齒形掃描串行化器116。串行化器116以鋸齒形方式掃描經(jīng)量化系數(shù)的塊以產(chǎn)生經(jīng)量化系數(shù)的經(jīng)串行化的流。也可以選擇許多不同的鋸齒形掃描模式，以及除了鋸齒形之外的模式。一較佳技術(shù)為鋸齒形掃描采用了8×8塊大小，然后也可以使用其它大小。
注意到可以把鋸齒形掃描串行化器116放置在量化器114之前或之后。最終結(jié)果是相同的。
在任一情況下，把經(jīng)量化系數(shù)的流都提供給可變長度編碼器118?？勺冮L度編碼器118可能利用編碼后零值的行程長度編碼。在上述美國專利號5021891、5107345和5452104中詳細(xì)討論該技術(shù)，并且概括在此。行程長度編碼器取得經(jīng)量化的系數(shù)，并且注意到來自不連續(xù)系數(shù)的連續(xù)系數(shù)的行程。把連續(xù)值稱為行程長度值，并且進(jìn)行編碼。把不連續(xù)值分開地編碼。在一實(shí)施例中，連續(xù)系數(shù)是零值，不連續(xù)系數(shù)是非零值。一般而言，行程長度從0到63比特，大小是從1-10的AC值。文件代碼的結(jié)尾添加了一附加代碼，因此，總共有641個可能的代碼。
圖3說明了數(shù)字圖像300的選擇性抽取的流程圖。在執(zhí)行塊大小分配元件304之后(如參照圖1所述)，作出是否抽取塊的判決308。在一實(shí)施例中，在塊大小分配之后，在像素塊上完成抽取判決。然而，在塊經(jīng)歷了DCT/DQT過程之后，抽取的判決或者可能發(fā)生在頻域中。
回過頭參照圖3，如果塊在給定塊內(nèi)、或像素區(qū)域的相應(yīng)頻率表示內(nèi)具有低色度信息，則抽取是適當(dāng)?shù)?。如果塊具有高色度信息，則作出不抽取的判決，并且把數(shù)據(jù)傳遞至量化器312。然而，色度不必定是關(guān)于是否要抽取的唯一或最重要的因素。抽取的判決可能基于多種因素，譬如期望比特率、視覺品質(zhì)因數(shù)、或譬如塊大小或色度分量自身之類其它基于比值的因素。例如，與選擇兩個色度分量相反，可以選擇單個色度分量Cb或Cr。已經(jīng)發(fā)現(xiàn)在某些情況下，可以抽取單個色度分量而不折衷視覺品質(zhì)。在一實(shí)施例中，可以根據(jù)用戶的需求來配置抽取的判決。在還有一實(shí)施例中，根據(jù)用戶的需求動態(tài)地配置抽取的判決。
依據(jù)抽取判決，開始列抽取316，因而把4:4:4圖像轉(zhuǎn)換成4:2:2圖像。任選的是，如果期望抽取到4:2:0格式，則再次作出是否抽取的另一判決320。如果是，就開始行抽取324。如果不是，則把數(shù)據(jù)傳遞至量化器312。
在一實(shí)施例中，抽取不選擇高色度信息的區(qū)域，即具有較小塊大小分配的區(qū)域。然而，具有低色度信息的區(qū)域，即大的塊大小分配，適用于抽取。在另一實(shí)施例中，塊大小分配是抽取的一確定因子。如果塊大小為16×16，則抽取該塊。如果塊大小小于16×16，譬如8×8、4×4或2×2，則不抽取該塊，使得細(xì)節(jié)得此保持。在另一實(shí)施例中，抽取16×16和8×8塊，而不抽取4×4和2×2塊。準(zhǔn)確的判決過程可能取決于許多參數(shù)。
在色度分辨率量低的圖像區(qū)域內(nèi)選擇性地抽取塊降低了那些區(qū)域內(nèi)的比特率，而同時維持了色度品質(zhì)。同時，通過不在高色度分辨率的區(qū)域內(nèi)抽取色度分辨率，可以維持那些區(qū)域內(nèi)的良好圖像品質(zhì)。
圖4a說明了像素數(shù)據(jù)400的4:4:4塊的一例。給出每個像素的每個亮度和色度分量Y、Cb和Cr中的每一個的值。一般而言，僅考慮在色度分量Cb和Cr上執(zhí)行抽取，而不在亮度分量Y上執(zhí)行抽取。由于亮度分量Y的抽取可能是人類可感知的，因此不總是期望抽取亮度分量Y。為了把4:4:4格式的一個色度像素數(shù)據(jù)塊抽取為4:2:2格式，執(zhí)行對每個色度分量Cb和Cr的濾波。在一實(shí)施例中，濾波過程包括通過為具有相鄰元素的特定元素使用高斯濾波器而對列值加權(quán)。列濾波是優(yōu)選的，因?yàn)橐呀?jīng)發(fā)現(xiàn)，與垂直方向相比，水平方向存在更多相關(guān)。在一實(shí)施例中，通過對25％的(n-1，m-1)元素、50％的(n-1，m)元素以及25％的(n-1，m+1)元素求和，從而導(dǎo)出格式為4:2:4的元素(n-1，m)。因而，在4:2:2格式中，(n-1，m)的新值如下(n-1，m)＝(0.25*20)+(0.50*32)+(0.25*28)＝28對于每隔一列的元素作出類似的計算，產(chǎn)生圖4b所示的4:2:2格式的元素表。因而，已經(jīng)去除了每隔一列數(shù)據(jù)的，但是在用上述加權(quán)的關(guān)系的剩余列中表示它們的值?？梢詷?gòu)想，可能采用其它加權(quán)方案，譬如具有相等加權(quán)的三點(diǎn)濾波器，它使每個元素都乘以0.33。
圖4c說明了像素數(shù)據(jù)的4:2:0格式的一例。為了計算4:2:0數(shù)據(jù)，為每個相鄰元素使用0.25的、并且為給定元素使用0.5的相同加權(quán)方案來執(zhí)行行抽取。因而，通過對25％的(n-1，m)元素、50％的(n，m)元素以及25％的(n+1，m)元素求和，從而導(dǎo)出4:2:0格式的元素(n，m)。因而，在4:2:0格式中，(n，m)的新值如下(n，m)＝(0.25*28)+(0.50*21.5)+(0.25*21.5)＝23.125
根據(jù)分辨率，可能或在頻域或在像素域?qū)χ?n，m)取整。例如，可以在具有專用集成電路(ASIC)、可編程邏輯器件、微處理器、分立門或晶體管邏輯、分立硬件組件(譬如寄存器和FIFO)執(zhí)行一組固件指令的處理器、以及常規(guī)的可編程軟件和處理器，或者它們的組合的硬件或軟件實(shí)現(xiàn)和執(zhí)行各種說明性的邏輯塊、流程圖、以及結(jié)合這里所公開的實(shí)施例描述的步驟。處理器最好是微處理器，但或者，處理器可以是任一常規(guī)處理器、控制器、微控制器或狀態(tài)機(jī)。軟件可以駐留在RAM存儲器、閃存、ROM存儲器、寄存器、硬盤、可移動磁盤、CD-ROM、DVD-ROM或本領(lǐng)域已知的任何其它形式的存儲媒介內(nèi)。
提供了較佳實(shí)施例的上述描述，使得本領(lǐng)域的任何技術(shù)人員都能制造或使用本發(fā)明。本領(lǐng)域的技術(shù)人員對于本發(fā)明的各種修改是顯而易見的，這里所發(fā)現(xiàn)的基本原理也可以應(yīng)用于其它實(shí)施例，而無需使用創(chuàng)造性的能力。因此，本發(fā)明不是為了限制這里所示的實(shí)施例，但是符合與這里所公開的原理和新穎性特征一致的最寬泛的范圍。
權(quán)利要求
1.一種數(shù)字圖像的抽取方法，所述數(shù)字圖像由多個像素來表示，所述方法包括把數(shù)字圖像分成多個塊；根據(jù)預(yù)定的標(biāo)準(zhǔn)選擇性地抽取一些塊。
2.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)定的標(biāo)準(zhǔn)是塊的色度信息的函數(shù)。
3.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)定的標(biāo)準(zhǔn)是塊的對比度的函數(shù)。
4.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)定的標(biāo)準(zhǔn)是塊內(nèi)細(xì)節(jié)級別的函數(shù)。
5.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)定的標(biāo)準(zhǔn)是期望比特率的函數(shù)。
6.如權(quán)利要求1所述的方法，其特征在于，所述分解還包括使用自適應(yīng)的塊大小離散余弦變換(ABSDCT)。
7.如權(quán)利要求1所述的方法，其特征在于，所述分解還包括把數(shù)字圖像分成Y、Cb和Cr分量。
8.如權(quán)利要求1所述的方法，其特征在于，可以把每個塊都表示為多個列(m)和行(n)內(nèi)的多個元素，所述抽取還包括對塊的每一列的每個元素進(jìn)行濾波，其中給定第m列，濾波還包括對列m-1加權(quán)25％、對列m加權(quán)50％以及對列m+1加權(quán)25％。
9.如權(quán)利要求8所述的方法，其特征在于還包括對塊的每一行的每個元素進(jìn)行濾波，其中給定第n列，濾波還包括對行n-1加權(quán)25％、對行n加權(quán)50％以及對行n+1加權(quán)25％。
10.如權(quán)利要求1所述的方法，其特征在于還包括把數(shù)字圖像從像素表示轉(zhuǎn)換成頻率表示。
11.一種數(shù)字圖像的抽取裝置，所述數(shù)字圖像由多個像素來表示，所述裝置包括把數(shù)字圖像分成多個塊的裝置；根據(jù)預(yù)定的標(biāo)準(zhǔn)選擇性地抽取一些塊的裝置。
12.如權(quán)利要求11所述的裝置，其特征在于，所述預(yù)定的標(biāo)準(zhǔn)是塊的色度信息的函數(shù)。
13.如權(quán)利要求11所述的裝置，其特征在于，所述預(yù)定的標(biāo)準(zhǔn)是塊的對比度的函數(shù)。
14.如權(quán)利要求11所述的裝置，其特征在于，所述預(yù)定的標(biāo)準(zhǔn)是塊內(nèi)細(xì)節(jié)級別的函數(shù)。
15.如權(quán)利要求11所述的裝置，其特征在于，所述預(yù)定的標(biāo)準(zhǔn)是期望比特率的函數(shù)。
16.如權(quán)利要求11所述的裝置，其特征在于，所述用于分解的裝置還包括使用自適應(yīng)的塊大小離散余弦變換(ABSDCT)技術(shù)的裝置。
17.如權(quán)利要求11所述的裝置，其特征在于，所述用于分解的裝置還包括把數(shù)字圖像分成Y、Cb和Cr分量的裝置。
18.如權(quán)利要求11所述的裝置，其特征在于，可以把每個塊都表示為多個列(m)和行(n)內(nèi)的多個元素，所述用于抽取的裝置還包括對塊的每一列的每個元素進(jìn)行濾波的裝置，其中給定第m列，用于濾波的裝置還包括對列m-1加權(quán)25％、對列m加權(quán)50％以及對列m+1加權(quán)25％的裝置。
19.如權(quán)利要求18所述的裝置，其特征在于，用于抽取的裝置還包括對塊的每一行的每個元素進(jìn)行濾波的裝置，其中給定第n列，用于濾波的裝置進(jìn)一步包括對行n-1加權(quán)25％、對行n加權(quán)50％、對行n+1加權(quán)25％的裝置。
20.如權(quán)利要求11所述的裝置，其特征在于還包括把數(shù)字圖像從像素表示轉(zhuǎn)換成頻率表示的裝置。
21.一種數(shù)字圖像的抽取裝置，所述數(shù)字圖像由多個像素來表示，所述方法包括除法器，配置成把數(shù)字圖像分成多個塊；抽取器，配置成根據(jù)預(yù)定的標(biāo)準(zhǔn)選擇性地抽取一些塊。
22.如權(quán)利要求21所述的裝置，其特征在于，所述預(yù)定的標(biāo)準(zhǔn)是塊的色度信息的函數(shù)。
23.如權(quán)利要求21所述的裝置，其特征在于，所述預(yù)定的標(biāo)準(zhǔn)是塊的對比度的函數(shù)。
24.如權(quán)利要求21所述的裝置，其特征在于，所述預(yù)定的標(biāo)準(zhǔn)是塊內(nèi)細(xì)節(jié)級別的函數(shù)。
25.如權(quán)利要求21所述的裝置，其特征在于，所述預(yù)定的標(biāo)準(zhǔn)是期望比特率的函數(shù)。
26.如權(quán)利要求21所述的裝置，其特征在于，還把所述除法器配置成使用自適應(yīng)的塊大小離散余弦變換(ABSDCT)。
27.如權(quán)利要求21所述的裝置，其特征在于，所述除法器還包括一分離器，把所述分離器配置成把數(shù)字圖像分成Y、Cb和Cr分量。
28.如權(quán)利要求21所述的裝置，其特征在于，可以把每個塊都表示為多個列(m)和行(n)內(nèi)的多個元素，所述抽取器還包括濾波器，配置成對塊的每一列的每個元素進(jìn)行濾波，其中給定第m列，所述濾波器還包括加權(quán)器，配置成對列m-1加權(quán)25％、對列m加權(quán)50％以及對列m+1加權(quán)25％。
29.如權(quán)利要求28所述的裝置，其特征在于，還把所述濾波器配置成對塊的每一行的每個元素進(jìn)行濾波，其中給定第n列，把所述加權(quán)器進(jìn)一步配置成對行n-1加權(quán)25％、對行n加權(quán)50％以及對行n+1加權(quán)25％。
30.如權(quán)利要求21所述的裝置，其特征在于還包括一轉(zhuǎn)換器，把它配置成把數(shù)字圖像從像素表示轉(zhuǎn)換成頻率表示。
31.一種把4:4:4數(shù)字圖像轉(zhuǎn)換成4:2:2數(shù)字圖像的方法，所述數(shù)字圖像由多個像素來表示，所述方法包括把數(shù)字圖像分成多個塊，其中可以把每個塊都表示為多個列(m)，每個列m包括多個元素；選擇性地對塊的每列的每個元素進(jìn)行濾波。
32.如權(quán)利要求31所述的方法，其中給定第m列，所述濾波還包括對列m-1加權(quán)25％；對列m加權(quán)50％；以及對列m+1加權(quán)25％。
33.一種把4:4:4數(shù)字圖像轉(zhuǎn)換成4:2:2數(shù)字圖像的方法，所述數(shù)字圖像由多個像素來表示，所述方法包括把數(shù)字圖像分成Y、Cb和Cr分量；用自適應(yīng)塊大小離散余弦變換(ABSDCT)把Cb和Cr分量分成多個塊，其中可以把每個塊都表示為多個列(m)，每列m包括多個元素；以及選擇性地對塊的每列的每個元素進(jìn)行濾波，其中給定第m列，所述濾波步驟還包括對列m-1加權(quán)25％；對列m加權(quán)50％；以及對列m+1加權(quán)25％。
全文摘要
要求了一種數(shù)字圖像的抽取方法的專利權(quán)，數(shù)字圖像由多個像素來表示。在像素域中，把數(shù)字圖像分成多個塊(304)。根據(jù)預(yù)定的標(biāo)準(zhǔn)選擇性地抽取某些塊(320)。一實(shí)施例中，抽取給定像素塊的色度部分。
文檔編號H04N11/04GK1572119SQ02814954
公開日2005年1月26日 申請日期2002年6月5日 優(yōu)先權(quán)日2001年6月5日
發(fā)明者S·A·莫利, V·R·拉維恩德蘭 申請人:高通股份有限公司