專利名稱：影像擷取裝置與影像前處理方法
技術(shù)領(lǐng)域：
本發(fā)明是有關(guān)于影像擷取裝置與影像前處理方法及裝置，特別是關(guān)于一種YUV影 像的前置處理方法及裝置。
背景技術(shù)：
在數(shù)字圖像處理領(lǐng)域中，常見(jiàn)的一種編碼方法為YUV編碼。YUV編碼技術(shù)所得的影 像數(shù)據(jù)包括亮度數(shù)據(jù)Y (Luminance、Luma)、以及色度數(shù)據(jù)U與V (Chrominance、Chroma) 。 U 為偏藍(lán)色度數(shù)據(jù)(另一常見(jiàn)標(biāo)示為Cb) 。 V為偏紅色度數(shù)據(jù)(另一常見(jiàn)標(biāo)示為C》。YUV編 碼遵循下列公式，以含括紅、綠與藍(lán)三原色(RGB)的資料
Y = 0. 299*R+0. 587*G+0. 114*B ;
U = 0. 436* (B-Y) / (1—0. 114);以及
V = 0. 615* (R-Y) / (1-0. 299)。 由于人眼對(duì)色度(U與V)的敏感度不如亮度(Y)，故對(duì)于色度(U與V)可采用較低 抽樣頻率。常見(jiàn)的一種方法為4:2:2色度抽樣。 圖1以一畫面100的影像數(shù)據(jù)說(shuō)明4:2:2色度抽樣。不同于亮度數(shù)據(jù)必須對(duì)每一 個(gè)像素抽樣，4:2:2色度抽樣將色度數(shù)據(jù)(U與V)的抽樣頻率減半，令每?jī)蓚€(gè)像素共享一組 色度數(shù)據(jù)(U與V)。參閱圖l，第0行(row)第0列(column)的像素102僅有亮度數(shù)據(jù)Y。。 與偏藍(lán)色度數(shù)據(jù)U。。的抽樣，而無(wú)偏紅色度數(shù)據(jù)(V)的抽樣；第0行第1列的像素104則僅 有亮度數(shù)據(jù)YQ1與偏紅色度數(shù)據(jù)VQ1的抽樣，而無(wú)偏藍(lán)色度數(shù)據(jù)(U)的抽樣。像素102與104 共享色度數(shù)據(jù)U。。與V。" 上述影像數(shù)據(jù)(YUV)可經(jīng)過(guò)一影像壓縮運(yùn)算轉(zhuǎn)換為數(shù)據(jù)串流(streaming)。影像 壓縮運(yùn)算通常需要將一畫面分割為多個(gè)子畫面(sub-image)，對(duì)各子畫面進(jìn)行運(yùn)算。傳統(tǒng)技 術(shù)通常以緩沖儲(chǔ)存器，如緩沖器(line buffer)，收集子畫面的影像數(shù)據(jù)，供影像壓縮運(yùn)算 時(shí)使用。 此外，上述影像數(shù)據(jù)(YUV)于播放于屏幕前，亦須先暫存于緩沖器(linebuffer) 方輸出。 如何降低緩沖器(line buffer)的數(shù)量為本技術(shù)領(lǐng)域一項(xiàng)重要的課題。

發(fā)明內(nèi)容
本發(fā)明揭露一種影像擷取裝置以及所應(yīng)用的影像前處理方法。 本發(fā)明的影像擷取裝置包括一感測(cè)單元、一影像數(shù)據(jù)產(chǎn)生單元、一第一影像前處 理單元、一緩沖器群組、一第二影像前處理單元、以及一影像壓縮單元。上述感測(cè)單元以及 影像數(shù)據(jù)產(chǎn)生單元負(fù)責(zé)感測(cè)影像并且產(chǎn)生影像數(shù)據(jù)，其中，影像數(shù)據(jù)包括亮度數(shù)據(jù)以及色 度數(shù)據(jù)。亮度數(shù)據(jù)暫存至緩沖器群組。色度數(shù)據(jù)則經(jīng)第一影像前處理單元轉(zhuǎn)換為色度合并 數(shù)據(jù)后暫存于緩沖器群組；其中，第一影像前處理單元所執(zhí)行的動(dòng)作為合并相鄰行的色 度數(shù)據(jù)，借以降低色度數(shù)據(jù)的數(shù)據(jù)量。第二影像前處理單元位于緩沖器群組之后，用以取得上述色度合并數(shù)據(jù)、并且令相鄰的行共享所對(duì)應(yīng)的色度合并數(shù)據(jù)，以輸出處理后色度數(shù)據(jù)。 上述第二影像前處理單元與緩沖器群組所提供的處理后色度數(shù)據(jù)與亮度數(shù)據(jù)用于顯示一 影像于一屏幕。 本發(fā)明更可用于影像壓縮運(yùn)算等影像處理運(yùn)算的前置處理。除了播放于一屏幕 上，任何需要收集子畫面的影像處理運(yùn)算，如影像壓縮運(yùn)算，亦可使用此影像前處理方法。 此方法包括接收影像數(shù)據(jù)，其中包括亮度數(shù)據(jù)與色度數(shù)據(jù)；合并相鄰行的色度數(shù)據(jù)以產(chǎn) 生色度合并數(shù)據(jù)；以一緩沖器群組暫存上述亮度數(shù)據(jù)與上述色度合并數(shù)據(jù)；以及自上述緩 沖器群組取得上述色度合并數(shù)據(jù)，并且令相鄰的行共享所對(duì)應(yīng)的色度合并數(shù)據(jù)，以得到處 理后色度數(shù)據(jù)。上述處理后色度數(shù)據(jù)與上述緩沖器群組所暫存的亮度數(shù)據(jù)供影像播放、或 后續(xù)影像處理運(yùn)算使用。


為讓本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，以下結(jié)合附圖對(duì)本發(fā)明的具 體實(shí)施方式作詳細(xì)說(shuō)明，其中圖1以一畫面100的影像數(shù)據(jù)說(shuō)明4:2:2色度抽樣；以及
圖2為本發(fā)明影像擷取裝置的--種實(shí)施方式。主要組件符號(hào)說(shuō)明100 —畫面；102 -對(duì)應(yīng)畫面100第0行第0列的像素；
104 -對(duì)應(yīng)畫面100第0行第1列的像素；
200 -影像擷取裝置；202 -感測(cè)組件； 204 --影像數(shù)據(jù)產(chǎn)生組件；206 -第一影像前處理單元；208 -緩沖器群組；210 -第二影像前處理單元；212 -影像壓縮單元； 214--儲(chǔ)存媒體；216 -亮度數(shù)據(jù)； 218 --色度數(shù)據(jù)；220 -色度合并數(shù)據(jù)； 222 --處理后色度數(shù)據(jù)；224 -壓縮的影像； 226 --屏幕；Y _Y3 亮度數(shù)據(jù)；u00-u72 偏藍(lán)色度數(shù)據(jù)；以及v01-v73 偏紅色度數(shù)據(jù)。
具體實(shí)施例方式
圖2為本發(fā)明影像擷取裝置的一種實(shí)施方式。影像擷取裝置200可為網(wǎng)絡(luò)攝影機(jī) (web-cam)、數(shù)字相機(jī)…等數(shù)字?jǐn)z影裝置，其中包括感測(cè)單元202、影像數(shù)據(jù)產(chǎn)生單元204、 第一影像前處理單元206、緩沖器群組208、以及第二影像前處理單元210。
感測(cè)單元202可為感光裝置，如CCD或CMOS傳感器，用來(lái)感測(cè)影像。感測(cè)單元202 所感測(cè)影像模擬信號(hào)由影像數(shù)據(jù)產(chǎn)生單元204放大并轉(zhuǎn)換為數(shù)字的影像數(shù)據(jù)(包括數(shù)據(jù)
5216與218)。影像數(shù)據(jù)可為YUV編碼，其中包括亮度數(shù)據(jù)216(Y)以及色度數(shù)據(jù)218(U與 V)。如圖所示，亮度數(shù)據(jù)216(Y)暫存于緩沖器群組208 ;而色度數(shù)據(jù)218則更經(jīng)第一影像 前處理單元206轉(zhuǎn)換成色度合并數(shù)據(jù)220后，方暫存至緩沖器群組208。第一影像前處理單 元206所執(zhí)行的動(dòng)作為合并相鄰行的色度數(shù)據(jù)。因而，色度合并數(shù)據(jù)220的數(shù)據(jù)量遠(yuǎn)低于 色度數(shù)據(jù)218的資料量。 緩沖器群組208于儲(chǔ)存滿溢時(shí)，會(huì)將其內(nèi)容輸出，并且開(kāi)始新的儲(chǔ)存動(dòng)作。第二影 像前處理單元210位于緩沖器群組208與影像壓縮單元212之間，用以接收色度合并數(shù)據(jù) 220、并且令相鄰的行共享色度合并數(shù)據(jù)，以得到處理后色度數(shù)據(jù)222。緩沖器群組208所提 供的亮度數(shù)據(jù)216與處理后色度數(shù)據(jù)222用于撥放影像于屏幕226上。
此外，緩沖器群組208所提供的亮度數(shù)據(jù)216與處理后色度數(shù)據(jù)222亦可用來(lái)作 影像壓縮。如圖2所示，影像壓縮單元212耦接上述第二影像前處理單元210與緩沖器群 組208，且對(duì)上述組件(210與208)所提供的處理后色度數(shù)據(jù)222與亮度數(shù)據(jù)216進(jìn)行一影 像壓縮運(yùn)算。壓縮后的影像224可儲(chǔ)存于一儲(chǔ)存媒體214。 在某些實(shí)施方式中，影像數(shù)據(jù)(216與218)可為4:2:2色度抽樣；色度數(shù)據(jù)218包 括偏藍(lán)色度數(shù)據(jù)(通常標(biāo)示為U或Cb)與偏紅色度數(shù)據(jù)(通常標(biāo)示為V或C》。參閱圖1所 標(biāo)示的畫面100的Y、U與V抽樣，第一影像前處理單元206可借下列運(yùn)算(表達(dá)式1)合并 相鄰行的色度數(shù)據(jù) (U2y,2x+U2y+Ux)/2;以及 Ny,2x+1 = (V2y,2x+1+V2y+1,2x+1) /2 ;(表達(dá)式1) 其中，y與x為變量；My,2x與Ny,2x+1組成圖2的色度合并數(shù)據(jù)220 ;U2y,2x為一畫面第 2y行(row)、第2x列(column)像素的偏藍(lán)色度數(shù)據(jù)；U2y+1,2x為該畫面第2y+l行、第2x列 像素的偏藍(lán)色度數(shù)據(jù)；V2y,2x+1為該畫面第2y行、第2x+l列像素的偏紅色度數(shù)據(jù)；iV2y+1,2x+1 為該畫面第2y+l行、第2x+l列像素的偏紅色度數(shù)據(jù)。 以第0與1行兩個(gè)相鄰行為例，位于第0行的色度數(shù)據(jù)U。。與位于第1行的色度數(shù) 據(jù)U1Q合并為色度合并數(shù)據(jù)M。。，其中M。。 = (U。。+U1Q)/2 ;位于第0行的色度數(shù)據(jù)VQ1與位于 第1行的色度數(shù)據(jù)Vu合并為色度合并數(shù)據(jù)N。p其中NQ1 = (V。,Vn)/2 ;位于第0行的色度 數(shù)據(jù)U。2與位于第1行的色度數(shù)據(jù)U12合并為色度合并數(shù)據(jù)M。y其中M。2 = (U。2+U12)/2 ;位 于第0行的色度數(shù)據(jù)V。3與位于第1行的色度數(shù)據(jù)V13合并為色度合并數(shù)據(jù)N。3，其中N。3 = (V。3+Vj/2，以此類推。 緩沖器群組208的容量可依影像處理運(yùn)算的一子畫面的數(shù)據(jù)量設(shè)計(jì)。假設(shè)一子畫 面包括8x16像素，則以第0-7行、第0-15列的子畫面為例，緩沖器群組208所儲(chǔ)存的數(shù)據(jù)
包括Y0,Y 3、 4Y i、Y 2、丄03、…、Y。3、1Y 2、丄13、…、l...Y7,3、Y7Y i、"Y3、."、Y7,M0,3、N0"N03、…、N。M1("N13、…、N丄M2,3、N2"N23、 、N2
參見(jiàn)未采用第一與第二影像前處理單元206與210的傳統(tǒng)技術(shù)，傳統(tǒng)緩沖器群組 所需儲(chǔ)存的數(shù)據(jù)包括Y0,Y 3、 4Y i、Y 2、丄03、…、Y'3、1Y 2、丄13、…、Y...Y7,3、Y7Y i、"Y3、''..、Y7,u0,3、v02、V03、…、V'2、V13、…、V...U7,]、v7,、u7:2、V3、''..、v7. 本發(fā)明的緩沖器群組208可減少25%的容量，大幅節(jié)省電路的面積與成本。
在某些實(shí)施方式中，第二影像前處理單元210可借表達(dá)式2令相鄰的行共享色度 合并數(shù)據(jù) U，2y,2x二U，2y + Ux二My,2x;以及 V， 2y,2x+1 = V， 2y+1,2x+1 = Ny,2x+1 ;(表達(dá)式1) 其中，U' 2y,2x、U' 2y+1,2x、 V' 2y,2x+1與V' 2y+1,2x+1組成圖2的處理后色度數(shù)據(jù)222。
以第0與1行兩個(gè)相鄰行為例，色度合并數(shù)據(jù)M。。復(fù)制給第0與1行的第0列像素， 作為處理后色度數(shù)據(jù)U'。。與U' 1Q使用，其中U' 。。 = U' 1Q = M。。；色度合并數(shù)據(jù)NQ1復(fù)制給 第0與1行的第1列像素，作為處理后色度數(shù)據(jù)V' Q1與V' n使用，其中V' Q1 = V' u = NQ1 ; 色度合并數(shù)據(jù)M。2復(fù)制給第0與1行的第2列像素，作為處理后色度數(shù)據(jù)U'。2與U'12使用， 其中U' 。2 = U' 12 = M。2 ;色度合并數(shù)據(jù)N。3復(fù)制給第0與1行的第3列像素，作為處理后色 度數(shù)據(jù)V' 。3與V' 13使用，其中V' 。3 = V' 13 = N。3 ;。 借由表達(dá)式2，各像素的影像數(shù)據(jù)(關(guān)于亮度數(shù)據(jù)與色度數(shù)據(jù))可被完整收集，借 以進(jìn)行播放或影像壓縮運(yùn)算。 本發(fā)明縮減色度數(shù)據(jù)數(shù)據(jù)量的方法更可用于其它影像處理運(yùn)算的前置處理中，統(tǒng) 稱影像前處理方法。除了圖2實(shí)施例所提及的影像壓縮運(yùn)算，任何需要先收集子畫面的數(shù) 據(jù)數(shù)據(jù)的影像處理運(yùn)算，皆可使用此影像前處理方法。此方法包括接收影像數(shù)據(jù)，其中包 括亮度數(shù)據(jù)(如Y)與色度數(shù)據(jù)(如U與V)，此影像數(shù)據(jù)可為4:2:2色度抽樣；執(zhí)行上述表 達(dá)式l，合并相鄰行的色度數(shù)據(jù)以產(chǎn)生色度合并數(shù)據(jù)(表達(dá)式1的M與N);以一緩沖器群組 暫存上述亮度數(shù)據(jù)Y與上述色度合并數(shù)據(jù)(M與N);以及自上述緩沖器群組取得上述色度 合并數(shù)據(jù)(M與N)，并且執(zhí)行上述表達(dá)式2令相鄰的行共享色度合并數(shù)據(jù)(M與N)以得處理 后色度數(shù)據(jù)(表達(dá)式2的U'與V')。上述處理后色度數(shù)據(jù)(U'與V')與上述緩沖器群組 所暫存的亮度數(shù)據(jù)(Y)將供影像播放、或影像處理運(yùn)算使用。透過(guò)第一影像前處理單元206 合并相鄰行的色度數(shù)據(jù)以產(chǎn)生色度合并數(shù)據(jù)可節(jié)省緩沖器群組的硬件空間，進(jìn)而降低影像 擷取系統(tǒng)的成本。
權(quán)利要求
一種影像擷取裝置，其中包括一感測(cè)單元接收光源以產(chǎn)生一影像模擬信號(hào)；一影像數(shù)據(jù)產(chǎn)生單元，接收上述影像模擬信號(hào)并產(chǎn)生影像數(shù)據(jù)，上述影像數(shù)據(jù)包括亮度數(shù)據(jù)以及色度數(shù)據(jù)；一第一影像前處理單元，合并相鄰行的色度數(shù)據(jù)以產(chǎn)生色度合并數(shù)據(jù)；一緩沖器群組，用以暫存上述亮度數(shù)據(jù)與上述色度合并數(shù)據(jù)；以及一第二影像前處理單元，耦接上述緩沖器群組以取得上述色度合并數(shù)據(jù)，并且令相鄰的行共享所對(duì)應(yīng)的色度合并數(shù)據(jù)以得處理后色度數(shù)據(jù)；其中，該緩沖器群組所提供的亮度數(shù)據(jù)、與該第二影像前處理單元所提供的處理后色度數(shù)據(jù)用于顯示一影像于一屏幕。
2. 如權(quán)利要求1所述的影像擷取裝置，其特征在于，更包含一影像壓縮單元，耦接上 述緩沖器群組以取得上述亮度數(shù)據(jù)，耦接該第二影像前處理單元以取得上述處理后色度數(shù) 據(jù)，并且對(duì)上述亮度數(shù)據(jù)、與處理后色度數(shù)據(jù)進(jìn)行一影像壓縮運(yùn)算。
3. 如權(quán)利要求1所述的影像擷取裝置，其特征在于，上述影像數(shù)據(jù)為4 : 2 : 2色度抽 樣，上述色度數(shù)據(jù)包括偏藍(lán)色度數(shù)據(jù)與偏紅色度數(shù)據(jù)。
4. 如權(quán)利要求3所述的影像擷取裝置，其特征在于，該第一影像前處理單元以下列運(yùn) 算合并相鄰行的色度數(shù)據(jù)My,2x= (%,2!￡+~+1,2!￡)/2;以及其中，y與x為變量；<formula>formula see original document page 2</formula>組成上述色度合并數(shù)據(jù)；U2y,2x為一畫面第2y行、第2x列像素的偏藍(lán)色度數(shù)據(jù)； U2y+1,2x為該畫面第2y+l行、第2x列像素的偏藍(lán)色度數(shù)據(jù)； V2y,2x+1為該畫面第2y行、第2x+l列像素的偏紅色度數(shù)據(jù)；且 V2y+1,2x+1為該畫面第2y+l行、第2x+l列像素的偏紅色度數(shù)據(jù)。
5.如權(quán)利要求4所述的影像擷取裝置，其特征在于，該第二影像前處理單元以下列運(yùn) 算令相鄰的行共享所對(duì)應(yīng)的色度合并數(shù)據(jù)<formula>formula see original document page 2</formula>其中，u' 2y,2x、u' 2y+1,2x、V' 2y,2x+1與V' 2y+1,2x+1組成上述處理后色度數(shù)據(jù)。
6. —種影像前處理方法，其中包括接收影像數(shù)據(jù)，其中包括亮度數(shù)據(jù)與色度數(shù)據(jù)； 合并相鄰行的色度數(shù)據(jù)以產(chǎn)生色度合并數(shù)據(jù)；以及 令相鄰的行共享所對(duì)應(yīng)的色度合并數(shù)據(jù)以得處理后色度數(shù)據(jù)； 其中，上述處理后色度數(shù)據(jù)與上述亮度數(shù)據(jù)用于顯示一影像于一屏幕。
7. 如權(quán)利要求6所述的影像前處理方法，其特征在于，上述影像數(shù)據(jù)為4 : 2 : 2色度 抽樣，上述色度數(shù)據(jù)包括偏藍(lán)色度數(shù)據(jù)與偏紅色度數(shù)據(jù)。
8. 如權(quán)利要求7所述的影像前處理方法，其特征在于，以下列運(yùn)算合并相鄰行的色度數(shù)據(jù)<formula>formula see original document page 3</formula>其中，y與x為變量；My,2x與Ny,2x+1組成上述色度合并數(shù)據(jù)；U2y,2x為一畫面第2y行、第2x列像素的偏藍(lán)色度數(shù)據(jù)； U2y+1,2x為該畫面第2y+l行、第2x列像素的偏藍(lán)色度數(shù)據(jù)； V2y,2x+1為該畫面第2y行、第2x+l列像素的偏紅色度數(shù)據(jù)；且 V2y+1,2x+1為該畫面第2y+l行、第2x+l列像素的偏紅色度數(shù)據(jù)。
9. 如權(quán)利要求8所述的影像前處理方法，其特征在于，以下列運(yùn)算令相鄰的行共享所 對(duì)應(yīng)的色度合并數(shù)據(jù)U' 2y,2x = U' 2y+1,2x = My,2x ;以及 <formula>formula see original document page 3</formula>其中，u' 2y,2x、u' 2y+1,2x、V' 2y,2x+1與V' 2y+1,2x+1組成上述處理后色度數(shù)據(jù)。
10. 如權(quán)利要求6所述的影像前處理方法，其特征在于，更包括對(duì)上述亮度數(shù)據(jù)、與處 理后色度數(shù)據(jù)進(jìn)行一影像壓縮運(yùn)算，以儲(chǔ)存于一儲(chǔ)存媒體。
全文摘要
本發(fā)明揭示一種影像擷取裝置以及所應(yīng)用的影像前處理方法。此技術(shù)包括接收影像數(shù)據(jù)，其中包括亮度數(shù)據(jù)與色度數(shù)據(jù)；合并相鄰行的色度數(shù)據(jù)以產(chǎn)生色度合并數(shù)據(jù)；以一緩沖器群組暫存上述亮度數(shù)據(jù)與色度合并數(shù)據(jù)；以及自緩沖器群組取得上述色度合并數(shù)據(jù)，并且令相鄰的行共享所對(duì)應(yīng)的色度合并數(shù)據(jù)以得處理后色度數(shù)據(jù)。上述處理后色度數(shù)據(jù)與緩沖器群組所輸出的亮度數(shù)據(jù)用于顯示一影像于一屏幕。
文檔編號(hào)H04N7/26GK101729884SQ200810201288
公開(kāi)日2010年6月9日 申請(qǐng)日期2008年10月16日 優(yōu)先權(quán)日2008年10月16日
發(fā)明者陳永緯 申請(qǐng)人:慧國(guó)(上海)軟件科技有限公司;慧榮科技股份有限公司