專利名稱：視頻的處理裝置及其處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻的處理裝置及其處理方法，特別是一種可節(jié)省所需的儲(chǔ)存器 大小及頻寬的視頻的處理裝置及其處理方法。
背景技術(shù)：
使用者能使用數(shù)字相機(jī)或攝影機(jī)等影像/視頻(video)擷取裝置來擷取影像或視 頻，并得到可直接播放觀賞的影像/視頻輸出文件。然而，數(shù)字相機(jī)等裝置的最初經(jīng)由傳感 器(sensor)得到的數(shù)據(jù)是原始數(shù)據(jù)(raw data)，原始數(shù)據(jù)尚須經(jīng)過許多處理才能提供給 使用者觀賞?，F(xiàn)在的數(shù)字影像處理(Digital Image Processing, DIP)技術(shù)多使用管線 (pipeline)系統(tǒng)處理影像/視頻的原始數(shù)據(jù)，而管線系統(tǒng)是可對(duì)單一的影像進(jìn)行一連串的 處理。管線系統(tǒng)通常具有多個(gè)處理階段(stage)，能夠一步一步地以施加過濾器(filter) 等方法連續(xù)處理被輸入的影像。舉例而言，管線系統(tǒng)可使用過濾器將被輸入的影像/視頻 轉(zhuǎn)換為RGB色彩空間模式，亦可將源文件轉(zhuǎn)換為通用的影像格式。然而，由于現(xiàn)有上的影像傳感器所用的傳感幀頻(sensor frame rate)與視頻輸 出時(shí)的視頻幀頻(video frame rate)是差不多，所以視頻處理得在一個(gè)幀時(shí)間內(nèi)完成，因 此無形中限制了管線系統(tǒng)的硬件速度和對(duì)記憶體的需求。尤其是現(xiàn)今甚為普遍的多尺度 (multi-scale)或是多幀(multi-frame)的影像應(yīng)用技術(shù)更是增加管線系統(tǒng)所需的硬件成 本。由于多尺度或是多幀的處理技術(shù)需要處理多個(gè)輸入幀才能產(chǎn)生一個(gè)輸出幀，例如 在處理影像傳感器所提供的來源影像，是一種連續(xù)幀處理，前一張幀是先暫存在輸入緩沖 器中，之后在處理下一張幀時(shí)，又得至輸入緩沖器中讀取出前一張幀以一起處理，因此管線 系統(tǒng)就需具有至少一個(gè)額外的輸入緩沖器(buffer)，才能保留影像傳感器所給予的幀以利 后續(xù)的處理，這對(duì)于記憶體的大小與頻寬而言，都是非常大的挑戰(zhàn)。此外，隨著科技的進(jìn)步，影像或視頻的分辨率也跟著提高。這也代表著輸入緩沖器 需要具備有更大的容量，換言之，輸入緩沖器需要更多的成本，且來源影像讀出或?qū)懭胗洃?體所需的頻寬會(huì)隨著處理階段增加而變大。再者，進(jìn)行多幀的影像處理時(shí)需要大量地進(jìn)行 存取運(yùn)算，還對(duì)現(xiàn)有的視頻處理方法造成了幀延遲(frame delay)的問題。

發(fā)明內(nèi)容
為了解決上述管線系統(tǒng)成本較高以及幀延遲的問題，本發(fā)明提供一種視頻的處理 裝置及其處理方法，其是用以將一取景區(qū)擷取為一視頻結(jié)果。本發(fā)明所提供的視頻的處理 裝置及其處理方法能夠免除對(duì)輸入緩沖器的需求，因此可降低所需的硬件成本，并可解決 幀延遲的問題及降低記憶體所需的讀寫頻寬。本發(fā)明所提供的視頻的處理裝置是包括視頻傳感器(video sensor)、暫時(shí)儲(chǔ)存 器(temporary memory)以及視頻管線(video pipeline)。其中視頻傳感器以一傳感幀頻(sensor frame rate)擷取取景區(qū)并產(chǎn)生包括連續(xù)的多個(gè)幀(frame)的一視頻，而視頻管線 直接由視頻傳感器接收這些幀之一作為一第一幀。視頻管線對(duì)第一幀進(jìn)行處理以產(chǎn)生一暫 時(shí)結(jié)果幀，再依據(jù)暫時(shí)結(jié)果幀以及直接由視頻傳感器接收的一第二幀以一視頻幀頻(video frame rate)產(chǎn)生視頻結(jié)果，其中第二幀是為第一幀的下一個(gè)幀，且其中視頻幀頻小于傳感 幀頻。根據(jù)本發(fā)明的一實(shí)施范例，視頻管線是可為選自由一影像處理單元、一影像縮 放(image scaling)單元、一影像混合(image blending)單元、一中貞頻轉(zhuǎn)換(frame rate conversion)單元以及一影像壓縮單元所組成的群組中的一或其組合。根據(jù)本發(fā)明的另一實(shí)施范例，視頻管線的影像混合單元依據(jù)暫時(shí)結(jié)果幀以及第二 幀產(chǎn)生視頻結(jié)果。較佳的是，視頻的處理裝置另可包括一結(jié)果儲(chǔ)存器，且視頻管線將視頻結(jié) 果儲(chǔ)存于結(jié)果儲(chǔ)存器。而本發(fā)明所提供的視頻的處理方法是包括擷取取景區(qū)并產(chǎn)生視頻，其中視頻包 括連續(xù)的多個(gè)幀；直接接收這些幀之一作為第一幀，并對(duì)第一幀進(jìn)行處理，以產(chǎn)生暫時(shí)結(jié)果 幀；直接接收第二幀，其中第二幀為第一幀的下一個(gè)幀；以及依據(jù)第二幀及暫時(shí)結(jié)果幀產(chǎn) 生視頻結(jié)果。較佳的是，視頻的處理方法是以視頻管線接收這些幀之一作為第一幀，并對(duì)第一 幀進(jìn)行處理以產(chǎn)生暫時(shí)結(jié)果幀。且上述依據(jù)第二幀及暫時(shí)結(jié)果幀產(chǎn)生視頻結(jié)果的步驟可包 括以視頻管線的影像混合單元處理第二幀與暫時(shí)結(jié)果幀，以產(chǎn)生視頻結(jié)果。此外，視頻的處理方法還可包括將暫時(shí)結(jié)果幀儲(chǔ)存于暫時(shí)儲(chǔ)存器。視頻的處理方 法亦可包括將視頻結(jié)果儲(chǔ)存于結(jié)果儲(chǔ)存器。且視頻管線可將直接接收的這些幀中剩余的 部分交替地作為第一幀以及第二幀并處理之，直到這些幀都被處理完畢。綜上所述，本發(fā)明的功效在于，根據(jù)本發(fā)明的視頻的處理裝置及其處理方法能夠 利用具有較高的傳感幀頻的視頻傳感器得到影像，再令視頻傳感器直接將影像(的多個(gè) 幀)傳送給視頻管線。因此視頻管線能直接得到需要的幀進(jìn)行處理，而不需向輸入緩沖器 要求。故根據(jù)上述處理方法，視頻的處理裝置不需配置任何輸入緩沖器即能執(zhí)行多尺寸或 是多幀的影像處理技術(shù)，可以有效降低整體的記憶體大小，以及記憶體所需的讀寫頻寬。以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)描述，但不作為對(duì)本發(fā)明的限定。


圖IA為根據(jù)本發(fā)明一實(shí)施范例的視頻的處理裝置的方框示意圖；圖IB為根據(jù)本發(fā)明另一實(shí)施范例的視頻的處理裝置的方框示意圖；圖2為根據(jù)本發(fā)明一實(shí)施范例的視頻的處理裝置的流程方框圖；圖3為根據(jù)本發(fā)明另一實(shí)施范例的視頻的處理方法的流程示意圖；圖4為根據(jù)本發(fā)明的多尺度應(yīng)用范例的流程方框圖；以及圖5為根據(jù)本發(fā)明的多幀應(yīng)用范例的流程方框圖。其中，附圖標(biāo)記20視頻的處理裝置22視頻傳感器221傳感器控制器
24暫時(shí)儲(chǔ)存器26視頻管線261，261，影像縮放單元262影像處理單元263影像混合單元28 結(jié)果儲(chǔ)存器30 視頻32，32，第一幀34,34'第二幀36，36，暫時(shí)結(jié)果幀38，38，視頻結(jié)果40 微處理器42 編譯碼器44 顯示引擎單元46 輸入/輸出單元48 顯示裝置
具體實(shí)施例方式以下在實(shí)施方式中詳細(xì)敘述本發(fā)明的詳細(xì)特征以及優(yōu)點(diǎn)，其內(nèi)容足以使任何本領(lǐng) 域技術(shù)人員了解本發(fā)明的技術(shù)內(nèi)容并據(jù)以實(shí)施，且根據(jù)本說明書所揭露的內(nèi)容、權(quán)利要求 范圍及圖式，本領(lǐng)域技術(shù)人員可輕易地理解本發(fā)明相關(guān)的目的及優(yōu)點(diǎn)。本發(fā)明提供一種視頻的處理裝置及其處理方法，其是用以將一取景區(qū)擷取為一 視頻結(jié)果。請(qǐng)參考圖1A，其是為根據(jù)本發(fā)明一實(shí)施范例的視頻的處理裝置的方框示意圖。 如圖IA所繪示，視頻的處理裝置20包括一視頻傳感器(videosensor)22、一暫時(shí)儲(chǔ)存器 (temporary memory) 24、一視頻管線(video pipeline) 26以及一結(jié)果儲(chǔ)存器沘。視頻的處 理裝置20借由視頻傳感器22依據(jù)取景區(qū)得到一視頻(video)的原始數(shù)據(jù)(raw data)，再 由視頻管線26將視頻處理為視頻結(jié)果。視頻傳感器22亦可稱為影像傳感器(image sensor)，例如可以是數(shù)字相機(jī)、手 機(jī)或是攝影機(jī)等裝置的影像擷取單元或影像感光組件。舉例而言，視頻傳感器22可以是 數(shù)字相機(jī)的電荷耦合組件(Charge Coupled Device, (XD)，亦或是互補(bǔ)金屬氧化物半導(dǎo)體 (Complementary Metal-Oxide-Semiconductor,CMOS)感光組件。更詳細(xì)的說，當(dāng)使用者用 數(shù)字相機(jī)對(duì)周圍景色擷取視頻時(shí)，視頻傳感器22將通過鏡頭進(jìn)入數(shù)字相機(jī)的景色的反射 光擷取為視頻；而取景區(qū)即為可被數(shù)字相機(jī)的CCD或CMOS擷取到的景色。由視頻傳感器22 所擷取的視頻可包括連續(xù)的多個(gè)幀(frame)，亦可包括音頻(audio)。且，視頻傳感器22是 以較高的一傳感幀頻(sensor frame rate)對(duì)取景區(qū)擷取影像，傳感幀頻可以例如是每秒 60個(gè)幀或是每秒90個(gè)幀。隨著科技的進(jìn)步，以后視頻傳感器22的傳感幀頻甚至可能達(dá)到 每秒120個(gè)幀以上。需注意的是，視頻傳感器22的傳感幀頻需大于視頻結(jié)果的一視頻幀頻 (video frame rate)。更佳的是，傳感幀頻可至少是視頻幀頻的兩倍。此外，根據(jù)本發(fā)明所提供的視頻的處理裝置20及其處理方法主要是針對(duì)視頻中的幀進(jìn)行處理，對(duì)于音頻的處理方法并無限制。視頻管線沈在時(shí)間軸上依序接收視頻傳感器22所擷取的幀，并可對(duì)接收的幀進(jìn) 行各種數(shù)字影像處理(Digital Image Processing, DIP)以得到視頻結(jié)果。根據(jù)本發(fā)明的一實(shí)施范例，視頻結(jié)果是指被視頻管線沈處理過的幀，而這些處理 過的幀可合成為一輸出視頻(output video) 0而根據(jù)本發(fā)明的另一實(shí)施范例，視頻的處理 裝置20可接收多個(gè)幀并只產(chǎn)生視頻結(jié)果作為輸出，則此時(shí)的輸出為一張靜止影像(still image)。雖本說明書中多以輸出視頻的情況為例，但本發(fā)明所提供的視頻的處理裝置及其 處理方法亦可用于處理靜止影像。視頻管線沈可依功能包括數(shù)種不同的處理單元，且基本上視頻管線沈至少可包 括一個(gè)影像處理單元。除了影像處理單元之外，視頻管線26內(nèi)亦可包括一影像縮放(image scaling)單兀、一影像混合(image blending)單兀、一中貞步頁轉(zhuǎn)換(frame rate conversion) 單元、一影像壓縮單元等處理單元。以下概略地介紹這些處理單元。影像縮放單元是用以將幀進(jìn)行縮小(downsizing，或稱為down-scaling)或是放 大(upsizing，或稱為up-scaling)。當(dāng)使用者對(duì)視頻結(jié)果的分辨率要求不高時(shí)，視頻的處 理裝置20可使用影像縮放單元降低視頻的分辨率，以節(jié)省儲(chǔ)存視頻結(jié)果的所需空間。且進(jìn) 行例如超分辨率(Super Resolution)等數(shù)字影像處理時(shí)，亦需要用到影像縮放單元。又例 如影像縮放單元可將一個(gè)影像(或幀)處理成不同分辨率，以獲得影像在不同分辨率下的 影像特性。影像混合單元?jiǎng)t用以將多個(gè)(大部分是兩個(gè))幀混合成為一個(gè)新的幀。影像混合 單元可依據(jù)被混合的幀中的各像素(pixel)的RGB色彩或是亮度，計(jì)算得到新的幀的RGB 色彩或是亮度，而得到各種不同的混合效果。幀頻轉(zhuǎn)換單元用以在一定范圍內(nèi)提高或降低輸出視頻的視頻幀頻。幀頻轉(zhuǎn)換單元 減少輸出視頻內(nèi)包含的視頻結(jié)果數(shù)量以降低視頻幀頻，亦可用內(nèi)插法產(chǎn)生補(bǔ)間幀并加入輸 出視頻內(nèi)以提高視頻幀頻。而幀頻轉(zhuǎn)換單元亦可由軟件控制，而不需額外的硬件單元。影像壓縮單元可使用破壞性壓縮，即降低幀的質(zhì)量以減少視頻結(jié)果所占用的儲(chǔ)存 空間。影像壓縮單元亦用以將輸出視頻壓縮為不同的視頻格式，視頻格式可例如是由動(dòng)態(tài) 影像專家組織(Moving Picture Experts Group,MPEG)所制定的MPEG-2格式，或是重視畫 質(zhì)的藍(lán)光(Blu-ray)格式。影像處理單元可對(duì)影像進(jìn)行多種處理，例如銳利化(sharping)、色彩補(bǔ)正或是去 除紅眼、自動(dòng)白平衡、色調(diào)處理等。依據(jù)所需的功能不同，影像處理單元所使用的過濾器及 運(yùn)算方法可有各式各樣的變化，于本發(fā)明并不對(duì)其進(jìn)行限制。影像處理單元亦可使用過濾 器(filter)去除幀中的鹽椒噪聲(Salt andpepper noise)或是高感光度噪聲(high ISO noise)等噪聲，以得到較好的畫面質(zhì)量。舉例而言，簡(jiǎn)單的過濾器可以例如是中值濾波器 (median filter)或是線性過濾器。圖IB是為根據(jù)本發(fā)明另一實(shí)施范例的視頻的處理裝置的方框示意圖。如圖IB所 繪示，視頻的處理裝置20除了包括視頻傳感器22、暫時(shí)儲(chǔ)存器M、視頻管線沈以及結(jié)果儲(chǔ) 存器觀外，尚包括一傳感器控制器221、一微處理器40、一編譯碼器(codec)42、一顯示引擎 單元(display engine unit) 44、一輸入 / 輸出單元 46。
傳感器控制器221是用于產(chǎn)生高速控制信號(hào)來控制視頻傳感器22。微處理器40是控制視頻的處理裝置20的整體運(yùn)作，例如發(fā)送各種命令以令視頻 管線沈等配合處理視頻傳感器22所擷取的影像。編譯碼器42則用以將影像進(jìn)行編碼與壓縮，例如可將影像轉(zhuǎn)換為音頻視頻交錯(cuò) 格式(Audio Video Interleave format,AVI format)或是動(dòng)態(tài)影像壓縮標(biāo)準(zhǔn)格式(Moving Picture Experts Group, MPEG format)等視頻格式。顯示引擎單元44是用以將視頻傳感器22所擷取的影像或是由外部?jī)?chǔ)存器所讀 取的影像顯示于和視頻的處理裝置20相連的一顯示裝置48。其中，顯示裝置48是根據(jù)視 頻幀頻輸出視頻，且視頻幀頻是低于傳感幀頻，更佳的是，傳感幀頻可至少是視頻幀頻的兩 倍。再者，顯示裝置48可已裝設(shè)在視頻的處理裝置20上，如液晶顯示器(Liquid Crystal Display, IXD)等，或是與視頻的處理裝置20外接，如電視屏幕。視頻的處理裝置20并可包括一輸入/輸出單元46，可以是如外部記憶卡控制單 元，用于將處理過后的視頻數(shù)據(jù)儲(chǔ)存至記憶卡中，其中記憶卡可為安全數(shù)字卡(Secured Digital Card, SD 卡)、記憶體堆棧記憶卡(Memory Stick MemoryCard, MS 卡)、壓縮快閃 記憶卡(Compact Flash Memory Card, CF 卡)等。借由具有上述處理單元的視頻管線沈，被視頻傳感器22擷取的視頻的幀被轉(zhuǎn)換 為視頻結(jié)果，多個(gè)視頻結(jié)果并成為輸出視頻。而在視頻管線26處理幀的過程，亦可將部分 處理過的幀作為一暫時(shí)結(jié)果幀，并將暫時(shí)結(jié)果幀儲(chǔ)存在暫時(shí)儲(chǔ)存器M。且根據(jù)本發(fā)明的一 實(shí)施范例，暫時(shí)儲(chǔ)存器M是可被配置于視頻管線沈內(nèi)。也就是說，暫時(shí)儲(chǔ)存器對(duì)可以是 視頻管線26的一個(gè)內(nèi)部?jī)?chǔ)存器(internal storage)或是第二級(jí)快取(L2cache)。更詳細(xì)的說，視頻管線沈直接接收被視頻傳感器22所擷取的幀之一作為一第一 幀，并對(duì)第一幀進(jìn)行處理而產(chǎn)生暫時(shí)結(jié)果幀，并可將暫時(shí)結(jié)果幀存入暫時(shí)儲(chǔ)存器24。接著視 頻管線沈由視頻傳感器22直接接收第一幀的下一個(gè)幀作為一第二幀，視頻管線沈再依據(jù) 暫時(shí)結(jié)果幀以及第二幀產(chǎn)生視頻結(jié)果。根據(jù)本發(fā)明的一實(shí)施范例，視頻管線沈可將處理完成的視頻結(jié)果(以及輸出視 頻)儲(chǔ)存于結(jié)果儲(chǔ)存器觀，且結(jié)果儲(chǔ)存器觀是可為視頻管線沈的外部?jī)?chǔ)存器(external storage)。根據(jù)本發(fā)明的另一實(shí)施范例，暫時(shí)儲(chǔ)存器M亦可與結(jié)果儲(chǔ)存器觀為同一個(gè)儲(chǔ) 存器，而以記憶體地址(address)區(qū)隔。換句話說，暫時(shí)儲(chǔ)存器M與結(jié)果儲(chǔ)存器觀可為同 一個(gè)儲(chǔ)存器的不同記憶體地址的儲(chǔ)存空間。請(qǐng)同時(shí)參考圖1A、圖IB與圖2，其中圖2是為根據(jù)本發(fā)明一實(shí)施范例的視頻的處 理裝置的流程方框圖。于此實(shí)施范例中，視頻傳感器22的傳感幀頻是為輸出視頻的視頻幀 頻的兩倍。如圖2所繪示，視頻傳感器22根據(jù)傳感幀擷取一取景區(qū)而產(chǎn)生視頻30，且視頻 30包括多個(gè)幀。視頻管線沈包括影像縮放單元沈1、影像處理單元沈2以及影像混合單元 263。視頻管線沈直接由視頻傳感器22接收這些幀之一以作為一第一幀32，并對(duì)第一 幀32進(jìn)行處理后產(chǎn)生暫時(shí)結(jié)果幀36，且暫時(shí)結(jié)果幀36被存入暫時(shí)儲(chǔ)存器M。接著視頻管 線沈接收并處理第二幀34，再以影像混合單元263將處理過的第二幀34以及自暫時(shí)儲(chǔ)存 器M讀出的暫時(shí)結(jié)果幀36混合為視頻結(jié)果38。之后，視頻結(jié)果38可儲(chǔ)存在結(jié)果儲(chǔ)存器 28中。
隨著時(shí)間的經(jīng)過，視頻管線沈再接收第一幀32’并產(chǎn)生暫時(shí)結(jié)果幀36’，第二幀 34’與暫時(shí)結(jié)果幀36’再經(jīng)影像混合單元263混合后，產(chǎn)生視頻結(jié)果38’。視頻管線沈如 此重復(fù)接收幀與處理的步驟直到處理完所有視頻傳感器22所傳送的幀為止，以得到相對(duì) 應(yīng)于視頻30的視頻結(jié)果38。此外，視頻結(jié)果38可經(jīng)由編譯碼器42譯碼后，經(jīng)由顯示引擎單元44顯示于顯示 裝置48上，且顯示裝置48是以低于傳感幀頻的視頻幀頻輸出視頻結(jié)果38，例如當(dāng)視頻傳感 器22所用的傳感幀頻是每秒60幀時(shí)，則顯示裝置48以每秒30幀的視頻幀頻輸出視頻結(jié) 果38。請(qǐng)參照?qǐng)D3，其是為根據(jù)本發(fā)明另一實(shí)施范例的視頻的處理方法的流程示意圖。由 圖3可以知悉，視頻的處理方法可包括步驟SlOO 擷取取景區(qū)并產(chǎn)生視頻，其中視頻包括連 續(xù)的多個(gè)幀；步驟SllO 接收這些幀之一作為第一幀，并對(duì)第一幀進(jìn)行處理，以產(chǎn)生暫時(shí)結(jié) 果幀；步驟S120 接收第二幀，其中第二幀為第一幀的下一個(gè)幀；步驟S130 依據(jù)第二幀及 暫時(shí)結(jié)果幀產(chǎn)生視頻結(jié)果；以及步驟S140 重復(fù)執(zhí)行步驟S110、S120以及S130，直到所有 幀處理完為止。其中步驟SllO是可由視頻管線沈執(zhí)行，而步驟S130是可由影像混合單元263執(zhí) 行。更佳的是，于步驟SllO得到暫時(shí)結(jié)果幀36之后，視頻的處理方法還可包括步驟將暫 時(shí)結(jié)果幀36儲(chǔ)存于暫時(shí)儲(chǔ)存器M。此外，于步驟S130得到視頻結(jié)果38后，視頻的處理方 法還可包括步驟將視頻結(jié)果38儲(chǔ)存于結(jié)果儲(chǔ)存器觀。需注意的是，第一幀32以及第二幀34是為視頻管線沈直接從視頻傳感器22接 收而來。上述步驟SlOO至步驟S130是為視頻的處理方法產(chǎn)生單一個(gè)視頻結(jié)果38的步驟。 在步驟S140，視頻的處理方法可重復(fù)執(zhí)行這些步驟直到處理完視頻30的所有幀，并得到包 括所有視頻結(jié)果38的輸出視頻為止。意即視頻管線沈可將直接接收的這些幀中剩余的部 分交替地作為第一幀32以及第二幀34并處理之，直到視頻30的幀都被處理完畢。更詳細(xì)地說，視頻管線沈是將視頻30中剩余的幀依序交替地作為第一幀32以及 第二幀34，且視頻管線沈?qū)Φ谝粠?2處理以產(chǎn)生暫時(shí)結(jié)果幀36。視頻管線沈再依據(jù)暫 時(shí)結(jié)果幀36以及直接由視頻傳感器22接收的第二幀34產(chǎn)生視頻件結(jié)果38。視頻管線沈 并以小于傳感幀頻的視頻幀頻輸出視頻結(jié)果38，直至處理完視頻30的這些幀為止。接下來請(qǐng)參照?qǐng)D4以及圖5，其分別為根據(jù)本發(fā)明的多尺度應(yīng)用(multi-scale application)范例以及多幀應(yīng)用(multi-frame application)范例的流程方框圖。圖4以 及圖5的實(shí)施范例是為利用本發(fā)明所提供的視頻的處理裝置20實(shí)作的多尺度及多幀應(yīng)用 范例。于圖4的實(shí)施范例中，視頻傳感器22提供第一幀32以及第二幀34予視頻管線沈， 視頻管線26并以兩階段的處理以產(chǎn)生視頻結(jié)果38。于本實(shí)施范例中，視頻傳感器22的傳 感幀頻為輸出所需的視頻幀頻的兩倍，且視頻管線26含有影像縮放單元沈1、影像縮放單 元洸1，、影像處理單元262及一影像混合單元洸3，其中影像縮放單元261是作為一第一影 像縮放單元，影像縮放單元作為一第二影像縮放單元，這兩者是一對(duì)的，皆具支持影像 放大或縮小功能，當(dāng)其中一個(gè)進(jìn)行放大影像時(shí)，另一個(gè)則進(jìn)行縮小影像。于第一階段的處理中，視頻管線沈可使用影像縮放單元261先將第一幀32縮小，并以影像處理單元262抽出被縮小的第一幀32的一影像特征。影像特征可例如是以一邊 緣檢測(cè)(edge-detection)方法得到的第一幀32中的邊緣，亦可以是以一低通濾波器(low pass filter)處理后得到的第一幀32的低頻部分，然后此處理過的第一幀32作為暫時(shí)結(jié) 果幀36且存在暫時(shí)儲(chǔ)存器M中。在第二階段處理中，暫時(shí)結(jié)果幀36 (被縮小的第一幀32) 被送至影像混合單元263進(jìn)行混合前，視頻管線沈會(huì)先以影像縮放單元將縮小過的 第一幀32放大回原本的分辨率。且于第二階段的處理中，視頻管線沈接收第二幀34并以影像處理單元262處理 第二幀34。最后，自暫時(shí)儲(chǔ)存器M讀出暫時(shí)結(jié)果幀36，且由于暫時(shí)結(jié)果幀36是一縮小過 的第一幀32，故先利用影像縮放單元使之放大回原本的分辨率，再送至影像混合單元 263與處理過的第二幀34混合為視頻結(jié)果38。同理，剩余的幀會(huì)重復(fù)性如前述方式處理，遂不再贅述。根據(jù)本發(fā)明的另一實(shí)施范例，視頻管線沈亦可選取影像特征的部分，并僅將影像 特征放大回原先的分辨率，以供之后經(jīng)由影像混合單元263與處理過的第二幀34混合為視 頻結(jié)果38。更詳細(xì)地說，影像特征可具有一原始尺寸(即為第一幀32以及影像特征的原本的 分辨率)。在第一階段中，影像縮放單元261作為第一影像縮放單元用以改變第一幀32的 尺寸。接著影像處理單元262從已改變尺寸的第一幀32中選擇影像特征作為暫時(shí)結(jié)果幀 36。接著，于第二階段的處理中，視頻管線沈接收第二幀34并以影像處理單元262處理第 二幀34。最后，自暫時(shí)儲(chǔ)存器M讀出暫時(shí)結(jié)果幀36。且由于暫時(shí)結(jié)果幀36是一已改變尺 寸(改變分辨率)的影像特征，故先利用影像縮放單元261’作為第二影像縮放單元將影像 特征的尺寸回復(fù)至原始尺寸(原本分辨率)，再送至影像混合單元沈3與處理過的第二幀 ；34混合為視頻結(jié)果38。同理，剩余的幀會(huì)重復(fù)性如前述方式處理，遂不再贅述。其中，當(dāng)影像縮放單元261是縮小影像時(shí)，則影像縮放單元就是放大影像；反 之，當(dāng)影像縮放單元261是放大影像時(shí)，則影像縮放單元就是縮小影像。前述的實(shí)施例是利用影像縮放單元與互相搭配，但由于一個(gè)影像縮放單 元261本身就具有放大與縮小影像兩種功能，所以亦可以根據(jù)需求，只通過一個(gè)影像縮放 單元261來實(shí)現(xiàn)。例如，假若目前的視頻管線沈只有影像縮放單元沈1，則影像縮放單元 261接收第一幀32并改變第一幀32的尺寸，之后影像處理單元262從已改變尺寸的第一幀 32中選擇影像特征作為暫時(shí)結(jié)果幀36。接著亦由影像縮放單元261將影像特征的尺寸回 復(fù)至原始尺寸，再送至影像混合單元沈3。相較之下，現(xiàn)有的多尺寸應(yīng)用的做法需以一額外的輸入緩沖器保存影像傳感器所 擷取的幀，以供管線以輸入緩沖器內(nèi)的幀進(jìn)行第一階段與第二階段的處理。由于本發(fā)明所 提供的視頻的處理裝置20的視頻傳感器22具有較高的傳感幀頻，因此視頻傳感器22能夠 實(shí)時(shí)連續(xù)提供第一幀32與第二幀34。故與現(xiàn)有的做法相比，本發(fā)明所提供的視頻的處理裝 置20并不需要輸入緩沖器的支持。于圖5的多幀應(yīng)用的實(shí)施范例中，視頻傳感器22的傳感幀頻為輸出所需的視頻幀 頻的兩倍。舉例而言，第一幀32是為數(shù)字相機(jī)的鏡頭以1/45秒的曝光時(shí)間擷取得到，而第 二幀34是以1/90秒的曝光時(shí)間擷取得到。則處理過的視頻結(jié)果38可為一張具有1/30秒的曝光時(shí)間的影像，且視頻結(jié)果38的質(zhì)量是比直接以1/30的曝光時(shí)間來擷取得到的幀更 好。例如視頻結(jié)果38可比以1/30的曝光時(shí)間來擷取得到的幀具有更少的噪聲，或是更清 晰的對(duì)比。和圖4的實(shí)施范例一樣，由于視頻傳感器22具有較高的傳感幀頻，因此視頻的處 理裝置20并不需要現(xiàn)有的輸入緩沖器與讀寫輸入緩沖器的頻寬。且去除輸入緩沖器后，因 輸入緩沖器所造成的幀延遲(frame delay)的問題亦隨之消失。此外，由于第一幀32與第二幀34是為不同的影像，也就是說第一幀32與第二幀 34中可具有不同的影像信息。因此視頻管線沈能得到更多的影像信息，以產(chǎn)生較佳的視頻結(jié)果。且根據(jù)本發(fā)明的視頻的處理裝置及其處理方法可適用于各種數(shù)字影像處理的技 術(shù)，例如視頻文字檢測(cè)(video text detection)、運(yùn)動(dòng)事件檢測(cè)(sport eventdetection)、 方框假象減輕(blocking-artifact reduction)、動(dòng)態(tài)檢測(cè) / 補(bǔ)償(motiondetection/ compensation)、超分辨率、模糊去除(blur deconvolution)、人臉辨識(shí)(face recognition)或是視頻穩(wěn)固(video stabilization，亦稱為防手震)。綜上所述，根據(jù)本發(fā)明的視頻的處理裝置及其處理方法能夠利用具有較高的傳感 幀頻的視頻傳感器得到影像，再令視頻傳感器直接將影像(的多個(gè)幀)傳送給視頻管線。視 頻管線直接得到多個(gè)需要的幀作為輸入并進(jìn)行處理，而不需向輸入緩沖器要求相同的幀作 為輸入，有效降低整體的記憶體大小，并降低將影像讀出或?qū)懭胗洃涹w時(shí)所需的頻寬。故根 據(jù)上述處理方法，視頻的處理裝置不需配置任何輸入緩沖器即能執(zhí)行多尺寸或是多幀的影 像處理技術(shù)。也就是說，根據(jù)本發(fā)明的視頻的處理裝置及其處理方法可解決現(xiàn)有的管線系 統(tǒng)需要輸入緩沖器所造成的硬件成本較高以及幀延遲等問題。當(dāng)然，本發(fā)明還可有其它多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟 悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變 形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種視頻的處理裝置其特征在于，包括一視頻傳感器，以一傳感幀頻擷取一取景區(qū)并產(chǎn)生一視頻，其中該視頻包括多個(gè)幀；以及一視頻管線，直接由該視頻傳感器接收該些幀之一作為一第一幀，對(duì)該第一幀處理以 產(chǎn)生一暫時(shí)結(jié)果幀，該視頻管線再依據(jù)該暫時(shí)結(jié)果幀以及直接由該視頻傳感器接收的一第 二幀產(chǎn)生一視頻結(jié)果，并以小于該傳感幀頻的一視頻幀頻輸出該視頻結(jié)果，其中該第二幀 為該第一幀的下一個(gè)幀。
2.根據(jù)權(quán)利要求1所述的視頻的處理裝置，其特征在于，該視頻管線將剩余的該些幀 依序交替地作為該第一幀以及該第二幀，且該視頻管線對(duì)該第一幀處理以產(chǎn)生該暫時(shí)結(jié)果 幀，該視頻管線再依據(jù)該暫時(shí)結(jié)果幀以及直接由該視頻傳感器接收的該第二幀產(chǎn)生該視頻 結(jié)果，并以小于該傳感幀頻的該視頻幀頻輸出該視頻結(jié)果，直至處理完該些幀為止。
3.根據(jù)權(quán)利要求1所述的視頻的處理裝置，其特征在于，其中該視頻管線包括 一影像混合單元，該影像混合單元混合該暫時(shí)結(jié)果幀以及該第二幀以產(chǎn)生該視頻結(jié)^ ο
4.根據(jù)權(quán)利要求1所述的視頻的處理裝置，其特征在于，該第一幀具有至少一影像特 征，該影像特征具有一原始尺寸，該視頻管線包括一第一影像縮放單元，接收該第幀并改變?cè)摰谝粠某叽?；以?一影像處理單元，從已改變尺寸的該第一幀中選擇該影像特征以作為該暫時(shí)結(jié)果幀， 該第一影像縮放單元再將該暫時(shí)結(jié)果幀的尺寸回復(fù)至該原始尺寸后，傳送回復(fù)至該原始尺 寸的該影像特征至該影像混合單元以與該第二幀進(jìn)行混合以產(chǎn)生該視頻結(jié)果。
5.根據(jù)權(quán)利要求1所述的視頻的處理裝置，其特征在于，該第一幀具有至少一影像特 征，該影像特征具有一原始尺寸，該視頻管線包括一第一影像縮放單元，接收該第一幀并改變?cè)摰谝粠某叽纾?一影像處理單元，從已改變尺寸的該第一幀中選擇該影像特征以作為該暫時(shí)結(jié)果幀；以及一第二影像縮放單元，將該暫時(shí)結(jié)果幀的尺寸回復(fù)至該原始尺寸后，傳送回復(fù)至該原 始尺寸的該影像特征至該影像混合單元以與該第二幀進(jìn)行混合以產(chǎn)生該視頻結(jié)果。
6.根據(jù)權(quán)利要求1所述的視頻的處理裝置，其特征在于，該視頻管線為選自由一影像 處理單元、一影像縮放單元、一影像混合單元、一幀頻轉(zhuǎn)換單元以及一影像壓縮單元所組成 的群組中之一或其組合。
7.一種視頻的處理方法，用以將一取景區(qū)擷取為一視頻結(jié)果，其特征在于，包括 以一傳感幀頻擷取該取景區(qū)并產(chǎn)生一視頻，其中該視頻包括多個(gè)幀；(a)直接接收該些幀之一作為一第一幀，并對(duì)該第一幀進(jìn)行處理，以產(chǎn)生一暫時(shí)結(jié)果幀；(b)直接接收一第二幀，其中該第二幀為該第一幀的下一個(gè)幀；以及(c)依據(jù)該第二幀及該暫時(shí)結(jié)果幀產(chǎn)生該視頻結(jié)果，并以小于該傳感幀頻的一視頻幀 頻輸出該視頻結(jié)果，其中該視頻幀頻小于該傳感幀頻。
8.根據(jù)權(quán)利要求7所述的視頻的處理方法，其特征在于，還包括 將剩余的該些幀交替地作為該第一幀以及該第二幀；以及重復(fù)執(zhí)行步驟(a)、(b)以及(c)，直到處理完剩余的該些幀為止。
9.根據(jù)權(quán)利要求7所述的視頻的處理方法，其特征在于，該步驟(a)以一視頻管線執(zhí) 行，且該視頻管線為選自由一影像處理單元、一影像縮放單元、一影像混合單元、一幀頻轉(zhuǎn) 換單元以及一影像壓縮單元所組成的群組中之一或其組合。
10.根據(jù)權(quán)利要求9所述的視頻的處理方法，其特征在于，該步驟(a)以一視頻管線執(zhí) 行，且該步驟(a)包括以該視頻管線的一第一影像縮放單元，改變?cè)摰谝粠某叽?；以?以該視頻管線的一影像處理單元，從已改變尺寸的該第一幀中選擇該第一幀的一影像 特征以作為該暫時(shí)結(jié)果幀； 且該步驟(c)包括以該第一影像縮放單元將該暫時(shí)結(jié)果幀的尺寸回復(fù)至該影像特征的一原始尺寸，并傳 送回復(fù)至該原始尺寸的該影像特征至該影像混合單元；以及以該影像混合單元混合回復(fù)至該原始尺寸的該影像特征以及該第二幀，以產(chǎn)生該視頻結(jié)果。
11.根據(jù)權(quán)利要求9所述的視頻的處理方法，其特征在于，該步驟(a)以一視頻管線執(zhí) 行，且該步驟(a)包括以該視頻管線的一第一影像縮放單元，改變?cè)摰谝粠某叽纾灰约?以該視頻管線的一影像處理單元，從已改變尺寸的該第一幀中選擇該第一幀的一影像 特征以作為該暫時(shí)結(jié)果幀； 且該步驟(c)包括以該視頻管線的一第二影像縮放單元將該暫時(shí)結(jié)果幀的尺寸回復(fù)至該影像特征的一 原始尺寸，并傳送回復(fù)至該原始尺寸的該影像特征至該影像混合單元；以及以該影像混合單元混合回復(fù)至該原始尺寸的該影像特征以及該第二幀，以產(chǎn)生該視頻結(jié)果。
全文摘要
一種視頻的處理裝置及其處理方法，用以將取景區(qū)擷取為視頻結(jié)果。視頻的處理裝置包括視頻傳感器、暫時(shí)儲(chǔ)存器；以及視頻管線。其中視頻傳感器以傳感幀頻擷取取景區(qū)并產(chǎn)生包括多個(gè)幀的視頻，而視頻管線直接由視頻傳感器接收這些幀之一作為第一幀。視頻管線對(duì)第一幀進(jìn)行處理以產(chǎn)生暫時(shí)結(jié)果幀，再依據(jù)暫時(shí)結(jié)果幀以及直接由視頻傳感器接收的第二幀以視頻幀頻產(chǎn)生視頻結(jié)果。其中且視頻幀頻小于傳感幀頻。視頻的處理方法則利用視頻的處理裝置將取景區(qū)擷取為視頻結(jié)果。
文檔編號(hào)H04N5/91GK102118598SQ20091025889
公開日2011年7月6日 申請(qǐng)日期2009年12月30日 優(yōu)先權(quán)日2009年12月30日
發(fā)明者林伯榮, 陳水淋 申請(qǐng)人:華晶科技股份有限公司