專利名稱：圖像幀處理方法及向各種顯示器顯示活動(dòng)圖像的設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及圖像幀處理技術(shù)，更具體涉及生成適合于各種呈現(xiàn)條件 的圖像幀序列的圖像幀處理技術(shù)。
背景技術(shù)：
隨著用于制造諸如液晶顯示器和等離子體顯示器之類的薄顯示器的技術(shù) 的改進(jìn)以及其價(jià)格的減少，現(xiàn)在在我們的周圍存在有各種顯示設(shè)備用于活動(dòng) (moving)圖像的再現(xiàn)。
包括幀頻和分辨率在內(nèi)的可顯示圖像數(shù)據(jù)的規(guī)格根據(jù)顯示器類型而不 同。根據(jù)相關(guān)技術(shù)，在顯示設(shè)備(displaydevice)中處理從圖像呈現(xiàn)裝置輸出的 圖像數(shù)據(jù)以便生成適合于該顯示器的圖像。在這個(gè)布置中，隨著該顯示器應(yīng) 該適用的幀頻和分辨率的種類的增加，開發(fā)電路和軟件所需要的人力將增加。 與此關(guān)聯(lián)，置于顯示設(shè)備上的處理負(fù)荷也增加了。
發(fā)明內(nèi)容
已經(jīng)考慮到上述問(wèn)題而作出了本發(fā)明，而且發(fā)明的目的是提供適合于各 種類型顯示器的圖像幀處理技術(shù)。
本發(fā)明的一個(gè)方面是圖像幀處理方法。這個(gè)方法包括用于呈現(xiàn)圖像幀 序列的呈現(xiàn)處理以及用于使由呈現(xiàn)處理生成的圖像幀序列適于顯示器的后處 理。在該呈現(xiàn)處理中，通過(guò)以預(yù)定幀頻執(zhí)行呈現(xiàn)來(lái)生成圖像幀序列而不考慮 為了輸出到顯示器而使圖像幀應(yīng)當(dāng)滿足的條件。在該后處理中，由該呈現(xiàn)處 理生成的圖像幀序列經(jīng)受預(yù)定處理以便生成和輸出滿足該條件的圖像幀序
列。
因?yàn)槌尸F(xiàn)處理和后處理是分離的，所以可以生成圖像幀序列而與諸如顯 示器的分辨率和幀頻之類的顯示器的規(guī)格無(wú)關(guān)。
本發(fā)明的另 一方面提供了用于從存儲(chǔ)器中讀取圖像幀序列并且對(duì)這些圖
像幀序列執(zhí)行預(yù)定處理以便顯示的活動(dòng)圖像顯示方法，其包含當(dāng)出現(xiàn)快速 前進(jìn)請(qǐng)求時(shí)，有選擇地從存儲(chǔ)器中讀取要顯示為快速前進(jìn)畫面的圖像幀；以 及通過(guò)對(duì)所讀取的圖像幀執(zhí)行預(yù)定的集成處理來(lái)創(chuàng)建更新的圖像幀；以及顯 示更新的圖像幀。
根據(jù)這個(gè)方面，因?yàn)橥ㄟ^(guò)集成多個(gè)圖像幀創(chuàng)建了快速前進(jìn)幀，所以可以 獲取被添加值(value-added)的快速前進(jìn)畫面。此處的"集成處理"是指使用包 括在多個(gè)圖像幀中的一部分或者全部圖像信息創(chuàng)建更新的圖像幀。
本發(fā)明的另 一方面提供了 一種用于從存儲(chǔ)器中讀取圖像幀序列并且對(duì)所 述圖像幀序列執(zhí)行合并處理以便顯示的活動(dòng)圖像顯示方法，包含通過(guò)合并 存儲(chǔ)器中的多個(gè)圖像幀來(lái)創(chuàng)建要顯示為快速前進(jìn)畫面的更新的圖像幀，其中 圖像幀的數(shù)目依據(jù)快速前進(jìn)請(qǐng)求，在合并中使用包括在該圖像幀序列中的全 部幀；以及顯示所述更新的圖像幀。
本發(fā)明的另 一方面提供了 一種通過(guò)使用包含存儲(chǔ)器中存儲(chǔ)的圖像幀序列 的活動(dòng)圖像來(lái)創(chuàng)建快速前進(jìn)幀的圖像幀處理方法，包含響應(yīng)于快速前進(jìn)請(qǐng) 求，使用亮度信息或者移動(dòng)信息從存儲(chǔ)器中讀取其中出現(xiàn)了預(yù)定特征的圖像 幀；集成所讀取的圖像幀以創(chuàng)建所述快速前進(jìn)幀；以及以預(yù)定幀頻顯示所創(chuàng) 建的快速前進(jìn)幀作為快速前進(jìn)畫面。
本發(fā)明的另 一方面提供了 一種用于響應(yīng)于快速前進(jìn)請(qǐng)求創(chuàng)建快速前進(jìn)幀 的圖像幀處理設(shè)備，包含存儲(chǔ)單元，用于存儲(chǔ)包含圖像幀序列的活動(dòng)圖像 數(shù)據(jù)；快速前進(jìn)處理單元，用于響應(yīng)于快速前進(jìn)請(qǐng)求、使用亮度信息或者移 動(dòng)信息從所述存儲(chǔ)單元中讀取其中出現(xiàn)了預(yù)定特征的圖像幀，該快速前進(jìn)處 理單元還集成所讀取的圖像幀來(lái)創(chuàng)建快速前進(jìn)幀；以及畫面合成單元，用于 以預(yù)定幀頻顯示所創(chuàng)建的快速前進(jìn)幀以作為快速前進(jìn)畫面。
本發(fā)明的另 一方面提供了 一種用于響應(yīng)于快速前進(jìn)請(qǐng)求創(chuàng)建快速前進(jìn)幀 的圖像幀處理設(shè)備，包含存儲(chǔ)單元，用于存儲(chǔ)包含圖像幀序列的活動(dòng)圖像 數(shù)據(jù)；快速前進(jìn)處理單元，用于通過(guò)合并存儲(chǔ)器中的多個(gè)圖像幀來(lái)創(chuàng)建要顯 示為快速前進(jìn)畫面的更新的圖像楨，其中圖像幀的數(shù)目依據(jù)快速前進(jìn)請(qǐng)求，
在合并中使用包括在該圖像幀序列中的全部幀；以及畫面合成單元，用于以 預(yù)定幀頻顯示所創(chuàng)建的快速前進(jìn)幀以作為快速前進(jìn)畫面。
以方法、裝置、系統(tǒng)、計(jì)算機(jī)程序和記錄介質(zhì)形式的本發(fā)明的實(shí)現(xiàn)也可 以作為本發(fā)明的另外的模式而實(shí)踐。
圖1示出了娛樂裝置中的硬件結(jié)構(gòu)。 圖2是圖像幀處理設(shè)備的功能框圖。 圖3示出了本原坐標(biāo)系。
圖4示出了在從呈現(xiàn)處理單元輸出的圖像幀序列中、如何在每四個(gè)幀處 改變偏移值。
圖5說(shuō)明了涉及四個(gè)圖像幀的點(diǎn)采樣。
圖6說(shuō)明了為原始四個(gè)圖像幀的尺寸四倍的圖像幀的生成。
圖7說(shuō)明了使用四個(gè)圖像幀的運(yùn)動(dòng)模糊。
圖8說(shuō)明了被合并以產(chǎn)生相同尺寸的圖像幀的四個(gè)圖像幀。
圖9說(shuō)明了通過(guò)在四個(gè)圖像幀上執(zhí)行點(diǎn)采樣以及隨后的雙線性插值、來(lái) 生成放大的圖像。
圖IO說(shuō)明了雙線性采樣。
圖11是用于在合并條件設(shè)置單元中確定合并方法的流程圖。
圖12示出了根據(jù)本發(fā)明第二實(shí)施例的圖像幀處理設(shè)備200的硬件配置。
圖13是根據(jù)示例4的圖像幀處理設(shè)備的功能框圖。
圖14示出了用于從圖像幀序列中提取圖像幀并且創(chuàng)建快速前進(jìn)幀的處 理的原理(concept)。
圖15示出了用于合并多個(gè)圖像幀以創(chuàng)建快速前進(jìn)幀的處理的原理。
圖16示出了用于減少被合并的圖像幀數(shù)目并創(chuàng)建具有降低的前進(jìn)速度 的快速前進(jìn)畫面的處理的原理。
圖17示出了根據(jù)示例5的圖像幀處理設(shè)備的功能框圖。
圖18示出了用于基于亮度信息提取圖像幀的處理的原理。
圖19是根據(jù)示例6的圖像幀處理設(shè)備的功能框圖。
圖20示出了用于將圖像幀分離為特定圖像區(qū)域和非特定圖像區(qū)域的處 理的原理。 圖21是根據(jù)示例7的圖像幀處理設(shè)備的功能框圖。 圖22示出了路徑顯示處理的原理。
圖23是可以實(shí)現(xiàn)根據(jù)示例4到7的處理的圖像幀處理設(shè)備的功能框圖。
具體實(shí)施方式
(第一實(shí)施例)
現(xiàn)在將通過(guò)引入其中該創(chuàng)造性設(shè)備應(yīng)用于呈現(xiàn)三維計(jì)算機(jī)圖形(CG)圖 像的娛樂裝置的實(shí)施例，給出根據(jù)本發(fā)明的圖像幀處理設(shè)備的描述。
圖1示出了娛樂裝置100中的硬件結(jié)構(gòu)。娛樂裝置100具有圖形芯片18 并且能夠通過(guò)執(zhí)行呈現(xiàn)而在顯示器26上實(shí)時(shí)顯示三維圖像。
娛樂裝置100具有主CPU 12、主存儲(chǔ)器14、幾何處理器16、圖形芯片 18、顯示控制器28和輸入和輸出(1/0)端口 30。這些塊經(jīng)由圖形總線36彼 此相連以允許相互的數(shù)據(jù)傳送和接收。顯示控制器28可以連接到各種顯示器 26之一，這些顯示器中的每個(gè)都具有不同的規(guī)格和顯示條件。
輸入和輸出端口 30連接到諸如CD-ROM驅(qū)動(dòng)器、DVD-ROM驅(qū)動(dòng)器或 者硬盤驅(qū)動(dòng)器之類的外部存儲(chǔ)設(shè)備32，并且連接到諸如鍵盤或者鼠標(biāo)之類的 輸入設(shè)備34以便向娛樂裝置100饋給鍵入數(shù)據(jù)和坐標(biāo)數(shù)據(jù)。輸入和輸出端口 30控制在外部存儲(chǔ)設(shè)備32和輸入設(shè)備34 二者中的數(shù)據(jù)輸入和輸出。輸入和 輸出端口 30讀取存儲(chǔ)在外部存儲(chǔ)設(shè)備32中的呈現(xiàn)數(shù)據(jù)或者程序，然后將它 們提供給主CPU 12和幾何處理器16。例如，呈現(xiàn)數(shù)據(jù)可以是呈現(xiàn)對(duì)象的對(duì) 象數(shù)據(jù)。輸入和輸出端口 30可被配置為與其它設(shè)備進(jìn)行通信來(lái)輸入呈現(xiàn)數(shù)據(jù) 和程序。
主CPU 12全局地控制娛樂裝置100，并且執(zhí)行存儲(chǔ)在外部存儲(chǔ)設(shè)備32 中的呈現(xiàn)程序。當(dāng)執(zhí)行程序時(shí)，主CPU12通過(guò)根據(jù)用戶使用輸入設(shè)備34的 輸入控制圖形芯片18，來(lái)控制圖像的顯示。
主CPU 12通過(guò)控制在所構(gòu)成設(shè)備之間的數(shù)據(jù)傳輸來(lái)控制娛樂裝置100。 例如，主CPU使用主存儲(chǔ)器14作為緩沖來(lái)控制由幾何處理器16生成的幾何 數(shù)據(jù)到圖形芯片18的傳輸。主CPU12還管理在圖形芯片18、外部存儲(chǔ)設(shè)備 32、輸入設(shè)備34和顯示器26之間的數(shù)據(jù)傳輸?shù)耐健Ｔ谶@個(gè)實(shí)施例中，分 別提供了幾何處理器16和主CPU 12。作為選擇，這些元件可以集成在一起 以便主CPU 12可以執(zhí)行幾何處理器16的功能。
主存儲(chǔ)器14存儲(chǔ)從外部存儲(chǔ)設(shè)備32讀取的對(duì)象構(gòu)形(configuration)數(shù) 據(jù)和呈現(xiàn)程序。每個(gè)對(duì)象數(shù)據(jù)包括構(gòu)成相關(guān)聯(lián)對(duì)象的多個(gè)多邊形的頂點(diǎn)數(shù)據(jù)。 主存儲(chǔ)器14具有紋理緩沖區(qū)，用于存儲(chǔ)用于紋理映射的紋理。
在主CPU 12的控制下，幾何處理器16對(duì)存儲(chǔ)在主存儲(chǔ)器14中的對(duì)象 數(shù)據(jù)執(zhí)行諸如定義位置或者構(gòu)形的坐標(biāo)轉(zhuǎn)換和變換之類的幾何處理，或者與 照射頂點(diǎn)的光源相關(guān)的處理。作為幾何處理的結(jié)果而獲得的幾何數(shù)據(jù)包括對(duì) 象的頂點(diǎn)坐標(biāo)、在頂點(diǎn)處的紋理坐標(biāo)以及諸如頂點(diǎn)亮度之類的對(duì)象屬性。
圖形芯片18包括呈現(xiàn)處理器20、存儲(chǔ)器接口 22和諸如EDRAM之類的 圖像存儲(chǔ)器24。呈現(xiàn)處理器20在主CPU 12的控制下順序地讀出由幾何處理 器16生成的幾何數(shù)據(jù)，并且對(duì)該幾何數(shù)據(jù)執(zhí)行呈現(xiàn)處理以生成圖像幀。圖像 幀內(nèi)的像素的RGB值和指示透明度的oc值存儲(chǔ)在圖像存儲(chǔ)器24中。指示像 素深度的Z值存儲(chǔ)在Z緩沖區(qū)(未示出)中?？梢栽趫D像存儲(chǔ)器24中提供Z 緩沖區(qū)。
圖形芯片18的呈現(xiàn)處理器20根據(jù)從主CPU 12提供的呈現(xiàn)命令，經(jīng)由 存儲(chǔ)器接口 22呈現(xiàn)在圖像存儲(chǔ)器24中的圖像幀。在呈現(xiàn)處理器20和存儲(chǔ)器 接口 22之間、以及在存儲(chǔ)器接口 22和圖像存儲(chǔ)器24之間建立高速總線連接， 以便呈現(xiàn)處理器20能夠以高速在圖像存儲(chǔ)器24中執(zhí)行呈現(xiàn)處理。舉例來(lái)說(shuō)， 呈現(xiàn)處理器20呈現(xiàn)640x480個(gè)像素的圖像幀。
由呈現(xiàn)處理器20呈現(xiàn)的圖像幀暫時(shí)存儲(chǔ)在圖^f象存儲(chǔ)器24中。主CPU 12 經(jīng)由存儲(chǔ)器接口 22從圖像存儲(chǔ)器24中檢索圖像幀，并且將該圖像幀寫入到 諸如主存儲(chǔ)器14之類的其它存儲(chǔ)器中。根據(jù)需要，主CPU12將該圖像幀轉(zhuǎn) 換為可在顯示器26上顯示的圖像幀。顯示控制器28然后經(jīng)由總線36接收該 圖像幀并且在顯示器26上顯示它。
圖2是圖像幀處理設(shè)備10的功能框圖。圖2中的功能主要由圖形芯片 18、主CPU12和主存儲(chǔ)器14實(shí)現(xiàn)。圖2是集中于功能的說(shuō)明。因此，這些 功能可以僅僅由硬件、僅僅由軟件或者由硬件和軟件的組合而不同地實(shí)現(xiàn)。
對(duì)象數(shù)據(jù)讀取單元40讀取要呈現(xiàn)的對(duì)象的幾何數(shù)據(jù)。呈現(xiàn)處理單元42 以預(yù)定的幀頻順序地呈現(xiàn)包括具有預(yù)定的分辨率的對(duì)象的圖像幀。所呈現(xiàn)的 圖像幀存儲(chǔ)在作為緩沖器的第一存儲(chǔ)器44中。呈現(xiàn)處理單元42以等于或者 高于計(jì)劃使用的顯示器26的最大幀頻的幀頻呈現(xiàn)該圖像幀。例如，呈現(xiàn)處理 單元42對(duì)應(yīng)于圖1的呈現(xiàn)處理器20。
傳輸控制器46讀出存儲(chǔ)在第一存儲(chǔ)器44中的圖像幀，然后將其存儲(chǔ)在 第二存儲(chǔ)器48中。第二存儲(chǔ)器48存儲(chǔ)多個(gè)圖像幀，以便可以識(shí)別在多個(gè)圖 像幀之間的時(shí)間次序。例如，第一存儲(chǔ)器44對(duì)應(yīng)于圖1中的圖4象存儲(chǔ)器24， 而第二存儲(chǔ)器48對(duì)應(yīng)于主存儲(chǔ)器14。做為選擇，第二存儲(chǔ)器可以是在圖像 幀處理設(shè)備10中提供的、諸如外部存儲(chǔ)設(shè)備32之類的任何存儲(chǔ)設(shè)備或者存 儲(chǔ)器。此外，做為選4奪，第一存儲(chǔ)器44或者第二存儲(chǔ)器48中的每個(gè)可以對(duì) 應(yīng)于在物理上相同的存儲(chǔ)器中的不同存儲(chǔ)區(qū)域。
接口單元52獲取連接到圖像幀處理設(shè)備10的顯示器26的分辨率或者幀 頻信息。接口單元52可以從主CPU 12或者呈現(xiàn)程序獲取內(nèi)容的信息，諸如 指示該圖像是靜止圖像還是活動(dòng)圖像的信息。接口單元52可以經(jīng)由輸入設(shè)備 34從用戶獲取顯示器的分辨率或者幀頻信息。將所獲取的信息遞送給后處理 單元50。例如，該后處理單元50可以對(duì)應(yīng)于圖1中的主CPU12。
后處理單元50包括合并條件設(shè)置單元54、幀序列獲取單元56和合并執(zhí) 行單元58。后處理單元50對(duì)由呈現(xiàn)處理單元42呈現(xiàn)并存儲(chǔ)在第二存儲(chǔ)器48 中的圖像幀序列執(zhí)行后處理，以便生成可在顯示器上顯示的圖像。
具體而言，合并條件設(shè)置單元54基于從接口單元52接收的信息、為圖 像幀序列設(shè)置恰當(dāng)?shù)暮喜l件。稍后將參考圖IO描述這個(gè)處理。幀序列獲取 單元56根據(jù)由合并條件設(shè)置單元54設(shè)置的條件檢索圖像幀序列，并且將所 檢索的圖像幀遞送到合并執(zhí)行單元58。合并執(zhí)行單元58對(duì)所收到的圖像幀 執(zhí)行合并處理。此處的"合并處理"是指從多個(gè)圖像幀當(dāng)中生成單個(gè)圖像幀。
將由合并執(zhí)行單元58通過(guò)合并處理生成的圖像幀以由合并條件設(shè)置單 元54設(shè)置的幀頻輸出到圖像顯示單元60。
如上所述，第一實(shí)施例的一個(gè)特征是圖像幀序列的"呈現(xiàn)"和"后處理" 不在同一芯片上執(zhí)行，而是分離執(zhí)行。通過(guò)分離呈現(xiàn)和后處理所獲得的優(yōu)點(diǎn) 是消除了對(duì)連接到圖像幀處理設(shè)備的顯示器類型的依賴性(dependence)。
更具體而言，雖然接口單元52獲取了輸出到顯示器的圖像幀應(yīng)當(dāng)滿足的 條件，但是呈現(xiàn)處理單元42生成圖像幀序列而與接口單元52所獲取的條件 無(wú)關(guān)。隨后，后處理單元50根據(jù)由接口單元52獲取的條件對(duì)由呈現(xiàn)處理單 元42生成的圖像幀序列執(zhí)行預(yù)定處理，以為該顯示器生成更新的圖像幀序 列。由此，呈現(xiàn)處理單元42中的呈現(xiàn)方法不必根據(jù)圖像幀應(yīng)該滿足的條件而 發(fā)生改變。因此，呈現(xiàn)處理單元42僅僅需要具有通用的結(jié)構(gòu)。當(dāng)連接到圖像
幀處理設(shè)備10的顯示器改為不同類型時(shí)，通過(guò)在后處理單元50中的處理的 修改而適應(yīng)(accommodate)該改變。因此，可以連接更多種類的顯示器以便確 保相當(dāng)高等級(jí)的兼容性。這最終將降低開發(fā)電路和軟件以使處理設(shè)備適于各 種顯示器所需要的人力。
此外，根據(jù)相關(guān)技術(shù)，即使當(dāng)呈現(xiàn)處理器具有高呈現(xiàn)能力時(shí)，顯示器的 規(guī)格也常常未能適于該呈現(xiàn)能力，這需要限制呈現(xiàn)處理器的呈現(xiàn)能力。然而， 根據(jù)第一實(shí)施例，不必限制而是可以完全利用呈現(xiàn)處理器的能力?？梢赃@樣 布置后處理，使得將以高幀頻進(jìn)行呈現(xiàn)的能力分配給分辨率等的提高。通過(guò) 確保后處理具有高度多用性，可以提高在設(shè)計(jì)圖像幀處理設(shè)備方面的靈活性。 此外，因?yàn)椴幌蝻@示器分配執(zhí)行圖像幀處理的任務(wù)，所以可以降低置于顯示 器上的處理負(fù)載。
值得考慮的另外一點(diǎn)是，當(dāng)改變?cè)诔尸F(xiàn)諸如動(dòng)畫視頻之類的活動(dòng)圖像中 的幀頻時(shí)，可以在顯示器上顯示不同于圖像創(chuàng)建者想要的動(dòng)畫圖像展現(xiàn) (exhibiting)運(yùn)動(dòng)。根據(jù)相關(guān)技術(shù)， 一種處理這個(gè)問(wèn)題的方法是考慮到最終顯 示在顯示器上的圖像幀的幀頻而準(zhǔn)備多個(gè)圖像序列，以便以任何幀頻享受最 優(yōu)的觀看體驗(yàn)。相反，根據(jù)第一實(shí)施例，僅僅需要準(zhǔn)備具有高幀頻的一個(gè)圖 像幀序列，而與顯示器的幀頻無(wú)關(guān)。
第一存儲(chǔ)器44起幀緩沖器的作用，其逐幀(by one frame)存儲(chǔ)由呈現(xiàn)處理 單元42呈現(xiàn)的圖像幀序列。暫時(shí)存儲(chǔ)在第一存儲(chǔ)器44中的圖像幀被順序地 傳輸?shù)降诙鎯?chǔ)器48。因此，第二存儲(chǔ)器48主要起后處理單元50的工作區(qū) 域的作用。起幀緩沖器作用的第一存儲(chǔ)器44通常用其成本一般很高的 EDRAM等實(shí)現(xiàn)。如果在這個(gè)實(shí)施例中沒有提供第二存儲(chǔ)器，則第一存儲(chǔ)器 需要是一大容量的存儲(chǔ)器，這是因?yàn)槿缟院笏觯谒膸瑫r(shí)間期間，應(yīng)該為 合并處理存儲(chǔ)最多四個(gè)幀。通過(guò)提供第二存儲(chǔ)器48,第一存儲(chǔ)器44僅僅需 要具有存儲(chǔ)由呈現(xiàn)處理單元42呈現(xiàn)的至少一個(gè)圖像幀的容量。因此，除第一 存儲(chǔ)器44之外還提供第二存儲(chǔ)器48作為后處理單元50的工作區(qū)域是有利 的。第一存儲(chǔ)器44可以內(nèi)置于其中內(nèi)置了呈現(xiàn)處理單元42的同一個(gè)半導(dǎo)體 電路元件中。
圖3示出了其中每個(gè)圖像幀的像素位于在呈現(xiàn)處理單元42中的本原坐標(biāo) 系。橫軸由x指示而縱軸由y指示。像素坐標(biāo)集由(x，y)所指示。x和y坐 標(biāo)值中的每一個(gè)都是定點(diǎn)值，其由12位整數(shù)部分和4位小數(shù)部分所表示。如
所述，每個(gè)像素的中心位于本原坐標(biāo)系中的整數(shù)坐標(biāo)點(diǎn)處。所呈現(xiàn)的圖像幀 逐個(gè)像素地存儲(chǔ)在第 一存儲(chǔ)器中。用于指向第 一存儲(chǔ)器中的位置的坐標(biāo)系被 稱為窗口坐標(biāo)系。使用這個(gè)坐標(biāo)系實(shí)施存儲(chǔ)器地址計(jì)算。窗口坐標(biāo)系是用于
指向幀緩沖器內(nèi)的位置的坐標(biāo)系，其以緩沖器中的矩形區(qū)域的左上點(diǎn)(top left) 作為原點(diǎn)。
^^定本原坐標(biāo)值為(Px， Py)且偏移值為(Offk, Offy)，則可以用下面 的等式給出窗口坐標(biāo)值(Wx, Wy)。 Wx=Px-Offic Wy=Py-Offy
現(xiàn)在將描述由圖2所示的圖像幀處理設(shè)備在后處理中生成適于各種顯示 條件的圖像幀序列的幾個(gè)示例。假定呈現(xiàn)處理單元42以240幀每秒(在下文 中稱為fps )的幀頻呈現(xiàn)640x480的圖像。
(示例1 )
圖4示出了在從呈現(xiàn)處理單元42輸出的圖像幀序列中、如何在每四個(gè)幀 處改變偏移值。為了描述方便起見，假定通過(guò)以所述次序進(jìn)行呈現(xiàn)而生成了 圖像幀F(xiàn)1、 F2、 F3和F4。呈現(xiàn)處理單元42沒有任何偏移地呈現(xiàn)第一圖像幀 Fl,以(0.5, 0)的偏移呈現(xiàn)第二圖像幀F(xiàn)2,以(0, 0.5)的偏移呈現(xiàn)第三 圖像幀F(xiàn)3，并且以(0.5， 0.5)的偏移呈現(xiàn)第四圖像幀F(xiàn)4。通過(guò)在呈現(xiàn)空間 中連續(xù)地移位作為呈現(xiàn)起始點(diǎn)的坐標(biāo)來(lái)實(shí)施由呈現(xiàn)處理單元42進(jìn)行的呈現(xiàn) 中的偏移。在下文中，這樣的處理將被稱為"像素位移處理"。
圖5和圖6說(shuō)明了合并處理的第一示例。在這個(gè)示例l中，合并幀序列 以便創(chuàng)建為所呈現(xiàn)的圖像幀的大小四倍的圖像幀。
圖5是示出由呈現(xiàn)處理單元42呈現(xiàn)的、具有像素位移的像素如何位于同 一窗口坐標(biāo)系中的示意圖。參見圖5和圖6，由"l"指示的圓圈代表來(lái)自第一 圖像幀F(xiàn)1的像素，由"2"指示的圓圈代表來(lái)自第二圖像幀F(xiàn)2的像素，由"3" 指示的圓圈代表來(lái)自第三圖像幀F(xiàn)3的像素，而由"4"指示的圓圈代表來(lái)自第 四圖像幀F(xiàn)4的像素。在每個(gè)幀中的相鄰像素的中心之間的間距在x和y方向 都是"1"。作為由呈現(xiàn)處理單元42進(jìn)行像素位移處理的結(jié)果，來(lái)自圖像幀 F2的像素相對(duì)于來(lái)自圖像幀F(xiàn)1的相關(guān)聯(lián)像素沿x方向移位了 0.5，來(lái)自圖像 幀F(xiàn)3的像素相對(duì)于來(lái)自圖像幀F(xiàn)l的相關(guān)聯(lián)像素沿y方向移位了 0.5，而來(lái)自
圖像幀F(xiàn)4的像素相對(duì)于來(lái)自圖像幀F(xiàn)l的相關(guān)聯(lián)像素沿x方向移位了 0.5并 沿y方向移位了0.5。因此，當(dāng)這四個(gè)圖^f象幀位于同一個(gè)坐標(biāo)系中時(shí)，如圖5 所述，來(lái)自相應(yīng)圖像幀的像素在x方向和y方向均間距0.5。
通過(guò)在窗口坐標(biāo)系中以0.5個(gè)像素為單位而不是以1個(gè)像素為單位進(jìn)行 網(wǎng)格(grid)采樣，可以生成在x方向和y方向具有兩倍數(shù)量像素的圖像幀。將 參考圖6對(duì)這進(jìn)行描述。圖6是示出像素怎樣布置的示意圖。雖然為了簡(jiǎn)潔 起見，圖6僅僅為圖像幀102、 104、 106和108示出了橫向4個(gè)像素和縱向 3個(gè)縱向，但是實(shí)際上在每個(gè)幀中有橫向640個(gè)像素和縱向480個(gè)像素。全 部像素以圖6中的圖像幀IIO所述的關(guān)系布置。通過(guò)如上所述以網(wǎng)格形式布 置這640x480-像素圖像幀102、 104、 106和108,創(chuàng)建了具有1280x960個(gè)像 素大小的圖像幀110,其大小是640x480像素圖像幀的四倍。在下文中，將 這樣的采樣方法稱為"點(diǎn)采樣"。
根據(jù)該示例1,在呈現(xiàn)處理單元42中通過(guò)以空間位移進(jìn)行呈現(xiàn)來(lái)生成多 個(gè)圖像幀。隨后，后處理單元50對(duì)圖像幀執(zhí)行保持圖像幀之間的位移的合并 處理，以生成比從呈現(xiàn)處理單元42輸出的圖像幀序列具有更高的空間分辨率 的圖像幀序列。短語(yǔ)"保持圖像幀之間的位移"意指通過(guò)使用來(lái)自各個(gè)偏移 的圖像幀的像素獲得最終的圖像幀而沒有任何修改。由此，可以通過(guò)后處理 生成適于不同顯示器的不同分辨率的圖像幀序列。
示例1還可被理解為用于降低幀頻的措施。例如，通過(guò)如圖3所示從四 個(gè)圖像幀中生成圖像幀，幀頻將被降低到1/4。這對(duì)于顯示器的最高幀頻低于 呈現(xiàn)處理單元42的幀頻的情況是有利的，可以通過(guò)執(zhí)行點(diǎn)采樣來(lái)獲得低幀頻 和高分辨率的圖像。
當(dāng)前實(shí)施例不局限于從四個(gè)圖像幀中生成一個(gè)圖像幀。做為選擇，通過(guò) 從九個(gè)圖像幀中生成圖像幀，有可能生成像素比原始圖像幀多九倍的圖像幀。 當(dāng)涉及的更大數(shù)目的圖像幀時(shí)，這同樣是正確的。圖像幀的數(shù)目越大，最終 獲得的圖像幀的幀頻越低。
(示例2 )
圖7和8說(shuō)明了合并處理的第二示例。在這個(gè)示例2中，通過(guò)合并連續(xù)
幀來(lái)實(shí)現(xiàn)運(yùn)動(dòng)才莫糊效應(yīng)。
參見圖7，空?qǐng)A圈代表來(lái)自經(jīng)受了像素位移處理的圖像幀F(xiàn)1-F4的像素。
在這個(gè)示例中，從四個(gè)相鄰象素的RGB值中獲取平均RGB值，然后將結(jié)果 得到的值用作新的RGB值。生成圖像幀使得如圖7中的對(duì)角線陰影圓圈所示、 每個(gè)像素的中心處于四個(gè)空?qǐng)A圈像素的中心之間的正中央。
圖8示意地示出這個(gè)布置。也就是說(shuō)，生成了 680x480的圖像幀，其具 有通過(guò)將640x480的圖像幀F(xiàn)l-F4中的像素的RGB值乘以0.25所獲得的RGB 值。
根據(jù)示例2，在呈現(xiàn)處理單元42中通過(guò)以空間位移進(jìn)行呈現(xiàn)來(lái)生成多個(gè) 圖像幀。隨后，后處理單元50對(duì)圖像幀執(zhí)行合并處理以抵銷在圖像幀之間的 位移。因此，生成了與從呈現(xiàn)處理單元42輸出的圖像幀序列具有相同空間分 辨率的更新的圖像幀序列。短語(yǔ)"抵銷圖像幀之間的位移"意指通過(guò)混和已 偏移的呈現(xiàn)圖像幀來(lái)最終獲得未偏移的圖像幀。在這個(gè)實(shí)施例中，混和了四 個(gè)像素來(lái)生成一個(gè)像素。抵消在圖像幀之間的位移實(shí)質(zhì)上相當(dāng)于生成通過(guò)在 兩個(gè)時(shí)間連續(xù)的圖像幀之間劃分時(shí)間幀而獲得的圖像并且使用所劃分的圖像 的平均圖像作為目標(biāo)幀的圖像。因此，如果由呈現(xiàn)處理單元呈現(xiàn)的圖像幀序 列的內(nèi)容是活動(dòng)圖像，則抵消位移可向該活動(dòng)圖像應(yīng)用運(yùn)動(dòng)模糊效應(yīng)。如同 示例1 一樣，示例2可被理解為降低幀頻的措施。更具體而言，示例2使得 在保持原始圖像幀分辨率的同時(shí)，輸出幀頻為呈現(xiàn)處理單元42的幀頻的1/4 的圖像幀序列成為可能。
當(dāng)內(nèi)容是靜止圖像時(shí)也可以使用示例2。在這種情況下，向通過(guò)合并處 理獲得的靜止圖像施加抗混疊(antialiasing)效應(yīng)。在這種情況下，合并處理類 似于其中將原始像素分為子像素以便獲得用于圖像中的目標(biāo)像素的數(shù)據(jù)，以 及其中釆用子像素的平均數(shù)據(jù)作為像素?cái)?shù)據(jù)的"超級(jí)采樣(super sampling)"。
(示例3 )
圖9說(shuō)明了根據(jù)示例3的合并處理。在示例3中，生成橫縱比不同于由 呈現(xiàn)處理單元42所生成的原始圖像幀的橫縱比的圖像幀。例如，假定呈現(xiàn)處 理單元42生成每個(gè)都具有720x480個(gè)像素的分辨率的第一圖像幀112、第二 圖像帕114、第三圖像幀116和第四圖像幀118,并且從圖像幀112 118中生 成具有不同于原始圖像幀112-118的縱橫比的、分辨率為1920x1080個(gè)像素 的目標(biāo)圖像幀122。參見圖9，數(shù)字T、 "2"、 "3"和"4"指示相關(guān)聯(lián)的像素 是分別來(lái)自第一圖像幀112、第二圖像幀114、第三圖像幀116和第四圖像幀
118的像素。
在第一步驟130中執(zhí)行在示例1中描述的點(diǎn)采樣。由此，生成了 1440x960 像素(即為每個(gè)原始圖像幀112-118的大小的四倍)的圖像幀120。隨后，在第 二步驟132中執(zhí)行雙線性采樣以便生成具有1920x1080個(gè)像素的分辨率的圖 像幀122。雙線性采樣是一種圖像內(nèi)插方法。在這個(gè)示例中，通過(guò)周圍四個(gè) 像素的RGB值的線性內(nèi)插來(lái)確定要呈現(xiàn)的像素顏色。
將參考圖10給出雙線性采樣的描述。假定將圖像幀122 ( 1920x1080) 按比例縮小到圖像幀120 ( 1440x960),計(jì)算圖像幀122的像素中心在圖像幀 120的坐標(biāo)系中的坐標(biāo)。圖IO示出了圖9中的圖像幀120的一部分124。空 圓圈140代表在圖像幀122中的像素的中心。為了確定在這些坐標(biāo)處呈現(xiàn)該 像素時(shí)要使用的顏色，根據(jù)距離圖10中的像素124a、 124b、 124c和124d的 中心的坐標(biāo)位移使RGB值經(jīng)受線性內(nèi)插。應(yīng)當(dāng)注意到，像素124a是來(lái)自圖 9中的第一圖像幀112的像素，像素124b是來(lái)自第二圖像幀114的像素，像 素124c是來(lái)自第三圖像幀116的像素，而像素124d是來(lái)自第四圖像幀118 的像素。假定距離四個(gè)像素124a-124d的中心沿水平方向的位移是a ，而沿 垂直方向的位移是(3 (參見圖10),則由下列等式給出通過(guò)線性內(nèi)插計(jì)算的 空?qǐng)A圈140的RGB值。
<formula>formula see original document page 15</formula> (1)
<formula>formula see original document page 15</formula> (2)
<formula>formula see original document page 15</formula> (3)
其中Rs、 Gs和Bs代表四個(gè)像素124a-124d的RGB值，而后綴sl、 s2、 s3和s4分別代表像素124a、 124b、 124c和124d的分量。通過(guò)對(duì)于圖像幀122 中所包含的全部像素計(jì)算等式(1) - (3)來(lái)確定顏色，生成了圖像幀122。
等式(1)到(3)基于與一般雙線性采樣的計(jì)算相同的原理。不同于一 般的雙線性采樣之處在于，從不同圖像幀的像素中獲取顏色分量。
當(dāng)由呈現(xiàn)處理單元42呈現(xiàn)的圖像幀序列的分辨率和顯示在顯示器上的 分辨率不處于其中一個(gè)是另一個(gè)整倍數(shù)的關(guān)系下時(shí)，即例如，當(dāng)所呈現(xiàn)的圖 像幀是720x480、而顯示在顯示器上的圖像幀的分辨率是1920x1080時(shí)，不 能僅僅通過(guò)執(zhí)行像素位移處理和點(diǎn)釆樣來(lái)獲得目標(biāo)分辨率。在這種情況下， 通過(guò)像素位移處理和點(diǎn)采樣生成1440x960的中間圖像幀，并隨后執(zhí)行雙線性 采樣以便獲得1920x1080的圖像幀。由此，幀頻降低到1 / (在點(diǎn)采樣中使用
的圖像幀的數(shù)目)。
可以不必必須執(zhí)行俸素位移處理。更具體而言，可以直接在由呈現(xiàn)處理
單元42呈現(xiàn)的原始圖像幀上執(zhí)行雙線性采樣以獲得最終的圖像巾貞。然而，通
過(guò)在雙線性采樣之前執(zhí)行像素位移處理和點(diǎn)采樣，有可能獲得當(dāng)放大時(shí)展現(xiàn) 較少惡化的圖像。做為選擇，圖像幀序列中的四個(gè)圖像幀(例如，大小為
720x480)中的每一個(gè)可以放大為適于顯示的圖像幀(例如，1920x1080),基 于此可以混和四個(gè)放大的圖像幀以獲得最終的圖像幀。
可以向用戶給予選擇上述示例1到3之一的機(jī)會(huì)。在實(shí)踐該實(shí)施例的一 種方法中，圖像幀處理設(shè)備可以自動(dòng)地進(jìn)行這個(gè)確定。圖ll是由合并條件設(shè) 置單元54執(zhí)行的自動(dòng)確定的流程圖。在這個(gè)流程圖中，進(jìn)行有關(guān)根據(jù)幀頻、 分辨率和內(nèi)容、在由呈現(xiàn)處理單元42呈現(xiàn)的圖像幀序列上執(zhí)行示例1到3中 描述的哪個(gè)后處理的確定。
合并條件設(shè)置單元54將經(jīng)由接口單元52獲取的顯示器的幀頻信息和由 呈現(xiàn)處理單元42呈現(xiàn)的圖像幀的幀頻進(jìn)行比較，以確定這些幀頻是否匹配
(SIO)。當(dāng)幀頻匹配(在S10為是)時(shí)，傳輸控制器46將圖像幀從第一存儲(chǔ) 器44傳輸?shù)降诙鎯?chǔ)器48。幀序列獲取單元56以與呈現(xiàn)處理單元42的幀 頻相同的時(shí)間間隔從第二存儲(chǔ)器48中讀出圖像幀。合并執(zhí)行單元58將圖像 幀輸出到圖像顯示單元60而沒有執(zhí)行任何諸如合并處理之類的后處理
(S12)。由此，可以完全利用呈現(xiàn)處理單元42的呈現(xiàn)性能，并且可以用全規(guī) 格(fbll-spec)幀頻呈現(xiàn)圖像。在替換方法中，可以輸出圖像幀序列而不用將其 暫時(shí)存儲(chǔ)在第二存儲(chǔ)器48中。更具體而言，使用第一存儲(chǔ)器44作為緩沖器， 幀序列獲取單元56直接讀出由呈現(xiàn)處理單元42呈現(xiàn)的圖像幀序列，并且將 這些圖像幀輸出到圖像顯示單元60 。
當(dāng)幀頻不匹配(S10中為否)時(shí)，合并條件設(shè)置單元54將由呈現(xiàn)處理單 元42呈現(xiàn)的圖像幀的分辨率(在下文中，稱為"已呈現(xiàn)的圖像幀")和經(jīng)由 接口單元52獲取的顯示器的分辨率信息進(jìn)行比較，以確定分辨率是否匹配
(S14 )。如果顯示器的分辨率高于已呈現(xiàn)的圖像幀的分辨率(在S14中為是)， 則合并條件設(shè)置單元54確定顯示在顯示器上的圖像內(nèi)容是靜止圖像還是活 動(dòng)圖像(S16)?？梢酝ㄟ^(guò)讀取登記在程序的頭部等中的信息來(lái)進(jìn)行這個(gè)確定。 做為選擇，可以基于由運(yùn)動(dòng)確定單元(未示出)計(jì)算的、作為相鄰圖像幀的 差值的運(yùn)動(dòng)分量的量值來(lái)進(jìn)行有關(guān)靜止圖像或者活動(dòng)圖像的確定。如果該內(nèi)
容是諸如字處理器文檔或者HTML文檔的屏幕圖像之類的靜止圖像(S16為 是)，則合并條件設(shè)置單元54還確定顯示器的分辨率是否為已呈現(xiàn)圖像的分 辨率的整倍數(shù)(S18)。當(dāng)一個(gè)被比較的分辨率的垂直與水平像素計(jì)數(shù)是另一 個(gè)分辨率的垂直與水平像素計(jì)數(shù)的多個(gè)整數(shù)倍時(shí)，即當(dāng)例如已呈現(xiàn)的圖像幀 是640x480且顯示器的分辨率是1280x960或者1920x1440時(shí)，作出"整倍數(shù)" 的確定。當(dāng)顯示器的分辨率是已呈現(xiàn)的圖像幀的分辨率的整倍數(shù)時(shí)(在S18 中為是)，則執(zhí)行參考圖5和6描述的示例1以獲得期望分辨率的圖像幀序列 (S22)。因此，當(dāng)顯示器的分辨率有兩倍高時(shí)，合并條件設(shè)置單元54使幀序 列獲取單元56檢索四個(gè)圖像幀。當(dāng)顯示器的分辨率有三倍高時(shí)，合并條件設(shè) 置單元54使幀序列獲取單元56檢索九個(gè)圖像幀。幀序列獲取單元56將所獲 取的圖像幀遞送給合并執(zhí)行單元58，基于此，合并執(zhí)行單元58在所遞送的 圖像幀上執(zhí)行點(diǎn)采樣，以將具有期望分辨率的圖像幀輸出到圖像顯示單元60。 當(dāng)在S18確定顯示器的分辨率不是已呈現(xiàn)的圖像幀的整倍數(shù)時(shí)(在S18 中為否)，則執(zhí)行參考圖9和10描述的示例3以便獲取期望分辨率的圖像幀 序列(S20)。更具體而言，合并條件設(shè)置單元54生成分辨率為所呈現(xiàn)的圖像 幀的分辨率的整倍數(shù)并且最接近所期望的分辨率的圖像幀。通過(guò)在所生成的 圖像幀上執(zhí)行雙線性采樣，合并條件設(shè)置單元54還生成其中不保持橫縱比的 圖像。
當(dāng)在S16確定該內(nèi)容是諸如運(yùn)動(dòng)CG或者電影之類的活動(dòng)圖像(在S16 中為否)時(shí)，合并條件設(shè)置單元54執(zhí)行參考圖7和8描述的示例2，以便獲 得具有運(yùn)動(dòng)模糊效應(yīng)的活動(dòng)圖像(S24)。更具體而言，合并條件設(shè)置單元S4 通過(guò)使用由(已呈現(xiàn)圖像幀的幀頻)/ (顯示器幀頻)確定的圖像幀數(shù)目來(lái)執(zhí) 行合并處理。例如，當(dāng)已呈現(xiàn)圖像幀的幀頻是240 fps而顯示器的幀頻是60 fj5s 時(shí)，則使用4 ( = 240/60 )個(gè)幀用于合并處理。如果這個(gè)除法的結(jié)果不是整數(shù)， 例如當(dāng)已呈現(xiàn)圖像的幀頻是240 fys而顯示器的幀頻是70 fps時(shí)，該除法結(jié)果 是3.4 ( = 240/70)。在這種情況下，丟棄分?jǐn)?shù)部分，并且對(duì)三個(gè)圖像幀執(zhí)行合 并處理以便以70 fps輸出得到的圖像幀。
在任何情況下，從后處理單元50輸出的圖像幀序列的幀頻低于由呈現(xiàn)處 理單元42產(chǎn)生的已呈現(xiàn)圖像幀的幀頻。例如，由執(zhí)行點(diǎn)采樣將幀頻降低到 1/4來(lái)產(chǎn)生高達(dá)兩倍的分辨率，而通過(guò)執(zhí)行點(diǎn)采樣將幀頻降低到1/9來(lái)產(chǎn)生高 達(dá)三倍的分辨率。因此，即使當(dāng)作為S20或者S22處理的結(jié)果而獲得期望的
分辨率時(shí)，也有可能由于低幀頻而在屏幕上產(chǎn)生閃爍等。在替換方法中，可 以提供用戶提示單元(未示出)，其在屏幕上警告用戶當(dāng)獲得期望的分辨率時(shí) 幀頻將顯著地下降，并提示用戶接受。當(dāng)用戶接受時(shí)，將執(zhí)行點(diǎn)采樣。當(dāng)不
接受時(shí)，不執(zhí)行點(diǎn)采樣。在還有一個(gè)方法中，合并條件設(shè)置單元54可以參考 顯示器的規(guī)格(分辨率和幀頻)以及可以在后處理單元50中執(zhí)行的后處理， 然后在屏幕上顯示可能的多對(duì)分辨率和幀頻的列表。用戶提示單元(未示出) 可以提示用戶選擇期望的一對(duì)，并且將所選擇的一對(duì)傳輸給合并條件設(shè)置單 元54。響應(yīng)于此，合并條件設(shè)置單元54然后指導(dǎo)幀序列獲取單元56和合并 執(zhí)行單元58。
可以在已呈現(xiàn)圖像幀的顯示之前執(zhí)行上述處理。做為選擇，可以根據(jù)預(yù) 定算法顯示經(jīng)受了合并處理的圖像幀，以便察看所顯示的結(jié)果的用戶可以根 據(jù)用戶的品味判斷是否繼續(xù)進(jìn)行上述處理。
返回參見S14,當(dāng)顯示器的分辨率等于或者低于所呈現(xiàn)的圖像幀的分辨 率(在S14中為否)時(shí)，合并條件設(shè)置單元54確定該內(nèi)容是否為靜止圖像 (S26)。當(dāng)內(nèi)容是靜止圖像(在S26中為是)時(shí)，合并條件設(shè)置單元54跳過(guò) 一些用于顯示的圖像幀(S28)。更具體而言，合并條件設(shè)置單元54指示幀序 列獲取單元56從特定數(shù)目的已呈現(xiàn)的圖像幀中獲取一個(gè)圖像幀。合并執(zhí)行單 元58將這些圖像幀輸出到圖像顯示單元60而沒有使它們經(jīng)受后處理。例如， 當(dāng)已呈現(xiàn)的圖像幀輸出幀頻是240fps而顯示器的幀頻是60fps時(shí)，輸出每個(gè) 第四圖像幀。
當(dāng)在S26中確定內(nèi)容是活動(dòng)圖像(在S26中為否)，則如上所述執(zhí)行示 例2以獲得運(yùn)動(dòng)模糊的活動(dòng)圖像(S30)。
因此，通過(guò)將由呈現(xiàn)處理單元42呈現(xiàn)的圖像幀序列的幀頻或者分辨率與 連接到圖像幀處理設(shè)備的顯示器的幀頻或者分辨率進(jìn)行比較，合并條件設(shè)置 單元54能夠自動(dòng)地確定后處理的條件。
如上所述，允許呈現(xiàn)處理單元以預(yù)定幀頻執(zhí)行呈現(xiàn)以生成圖像幀序列而 與用于要輸出到顯示器的圖像幀所要滿足的條件無(wú)關(guān)。后處理單元然后對(duì)由 呈現(xiàn)處理生成的圖像幀序列執(zhí)行預(yù)定的處理，并且輸出符合上述條件的、更 新的圖像幀序列。
因?yàn)榉蛛x地執(zhí)行呈現(xiàn)處理和后處理，所以有可能以預(yù)定幀頻執(zhí)行呈現(xiàn)來(lái) 生成圖像幀序列而與諸如分辨率或者幀頻之類的顯示器規(guī)格無(wú)關(guān)。
呈現(xiàn)處理單元42被描述為以240 fps呈現(xiàn)640x480的像素圖像?？梢猿?現(xiàn)其它像素計(jì)數(shù)的圖像幀。圖像幀的呈現(xiàn)速度也可以更低或者更高。例如， 可以300 fps呈現(xiàn)圖像幀序列。在這種情況下，可以生成適合于50赫茲顯示 器和60赫茲顯示器二者的圖像幀序列。
在上面描述該實(shí)施例中，將合并處理描述為對(duì)來(lái)自四個(gè)圖像幀的像素執(zhí) 行。做為選擇，可以對(duì)更大數(shù)量的像素執(zhí)行合并處理。例如，可以利用像素 位移呈現(xiàn)六個(gè)圖像幀以便來(lái)自各個(gè)幀的像素位于六邊形的相應(yīng)頂點(diǎn)處，并且 由具有六個(gè)像素的平均RGB值的像素形成圖像幀。
在上面描述該實(shí)施例時(shí)，將圖像幀處理設(shè)備描述為內(nèi)置于用于呈現(xiàn)CG 圖像的娛樂裝置中。然而，根據(jù)本發(fā)明的圖像幀處理技術(shù)還可以應(yīng)用于DVD 播放器、個(gè)人計(jì)算機(jī)、數(shù)字視頻相機(jī)等。
(第二實(shí)施例)
在第一實(shí)施例中，呈現(xiàn)了比在顯示器上顯示活動(dòng)圖像所需要的圖像幀更 多的圖像幀。然后，對(duì)所呈現(xiàn)的圖像幀執(zhí)行預(yù)定處理以便輸出圖像幀以用于 顯示。相反，這樣的實(shí)施例也被設(shè)想為，當(dāng)事先提供活動(dòng)圖像時(shí)，從該活動(dòng) 圖像中拾取多個(gè)圖像幀并使它們經(jīng)受預(yù)定處理，然后輸出少于所讀出的圖像 幀的圖像幀。通過(guò)后者實(shí)施例，可以創(chuàng)建原始活動(dòng)圖像的快速前進(jìn)畫面。此 外，還可以創(chuàng)建快速倒帶活動(dòng)圖像。倒帶活動(dòng)圖像是對(duì)于活動(dòng)圖像沿時(shí)間軸 反向輸出的圖像。在下文中，"快速前進(jìn)"包括快速倒帶動(dòng)作。
這兩個(gè)實(shí)施例初看起來(lái)是不同的。然而，這兩個(gè)實(shí)施例具有相同的原理， 其中使超過(guò)最終向用戶給出的幀的圖像幀經(jīng)受預(yù)定處理，并然后輸出更新的 圖像幀。換句話說(shuō)，在這兩個(gè)實(shí)施例之間的差別僅僅是輸出圖像幀的間隔長(zhǎng) 度。
近來(lái)，諸如HDD (硬盤驅(qū)動(dòng)器)視頻記錄裝置之類的數(shù)字活動(dòng)圖像記錄 器變得廣泛流傳。因此，可以容易地親自創(chuàng)建、記錄或者播放大量的活動(dòng)圖 像數(shù)據(jù)。在這樣的裝置中，用戶使用快速前進(jìn)功能來(lái)搜索所記錄的活動(dòng)圖像 數(shù)據(jù)中感興趣的部分。然而，當(dāng)使活動(dòng)圖像快速前進(jìn)時(shí)，用戶常常在搜索期 間錯(cuò)過(guò)感興趣部分，并且有時(shí)感覺搜索不方便。
因此，在這個(gè)第二實(shí)施例中，將提供即使當(dāng)使活動(dòng)圖像快速前進(jìn)時(shí)也輸 出易于觀看的活動(dòng)圖像的圖像幀處理技術(shù)。
圖12示出了根據(jù)第二實(shí)施例的圖像幀處理設(shè)備200的硬件配置。主CPU 12、主存儲(chǔ)器14、顯示器26、顯示控制器28、輸入和輸出(I/O)端口 30和 外部存儲(chǔ)設(shè)備32與如圖l所示、根據(jù)第一實(shí)施例的塊相同，所以將相同的數(shù) 字分配給這些塊并且省略對(duì)這些塊的進(jìn)一步說(shuō)明。諸如數(shù)字視頻相機(jī)之類的 相機(jī)設(shè)備38連接到輸入和輸出端口 30。由相機(jī)設(shè)備38獲取的活動(dòng)圖像在諸 如DVD (數(shù)字多用途盤)驅(qū)動(dòng)器和硬盤驅(qū)動(dòng)器之類的外部存儲(chǔ)設(shè)備32中存 儲(chǔ)為數(shù)字?jǐn)?shù)據(jù)。圖形處理器80從存儲(chǔ)在外部存儲(chǔ)設(shè)備32中的活動(dòng)圖像數(shù)據(jù) 中挑選圖像幀序列，并且將其存儲(chǔ)在主存儲(chǔ)器14中。然后，圖形處理器80 對(duì)圖像幀序列執(zhí)行預(yù)定處理以創(chuàng)建更新的圖像幀序列，并且將該更新的序列 輸出到顯示器26。
圖像幀處理設(shè)備200可以并入到各種類型的活動(dòng)圖像顯示設(shè)備中，這些 顯示設(shè)備在顯示器26上顯示由圖像幀序列組成的活動(dòng)圖像。這樣的活動(dòng)圖像 顯示設(shè)備可以包括諸如DVD播放器和HDD視頻記錄器之類的用于存儲(chǔ)或者 播放電影內(nèi)容的各種裝置。此外，活動(dòng)圖像顯示設(shè)備還可以并入到個(gè)人計(jì)算 機(jī)、數(shù)字視頻相機(jī)、或者娛樂裝置中。
輸入設(shè)備84產(chǎn)生一些到圖像幀處理設(shè)備200的輸入。根據(jù)活動(dòng)圖像顯示 裝置的類型，可以使用各種類型的設(shè)備作為輸入設(shè)備84。例如，假定活動(dòng)圖 像顯示裝置是DVD播放器或者HDD視頻記錄器，則輸入設(shè)備84可以是在 遙控器或者活動(dòng)圖像顯示裝置上提供的各種按鈕。假定活動(dòng)圖像顯示裝置是 通用計(jì)算機(jī)，則輸入設(shè)備84可以是鍵盤或者鼠標(biāo)。
在這個(gè)第二實(shí)施例中，將描述當(dāng)從用戶接收到對(duì)事先創(chuàng)建并記錄在諸如 DVD驅(qū)動(dòng)器或者HDD驅(qū)動(dòng)器之類的大容量存儲(chǔ)設(shè)備中的電影內(nèi)容的快速前 進(jìn)請(qǐng)求時(shí)，創(chuàng)建快速前進(jìn)的圖像。如同第一實(shí)施例一樣，第二實(shí)施例可以應(yīng) 用于執(zhí)行呈現(xiàn)處理以便創(chuàng)建用于顯示在顯示器上的新圖像幀序列的娛樂裝 置。
現(xiàn)在，在圖12所示的幀圖像處理設(shè)備200中，將參考一些示例描述用于 創(chuàng)建被添加值的快速前進(jìn)活動(dòng)圖像的方法。
(示例4 )
圖13是根據(jù)示例4的圖像幀處理設(shè)備200的功能框圖。圖13中的特征 可以主要利用圖形處理器80、主CPU 12和主存儲(chǔ)器14實(shí)現(xiàn)。在這個(gè)示例4 中，說(shuō)明了一種用于響應(yīng)于來(lái)自用戶的快速前進(jìn)請(qǐng)求而提供快速前進(jìn)的、平 滑的活動(dòng)的圖像的方法。
接口單元202獲取由用戶經(jīng)由輸入設(shè)備84進(jìn)行的快速前進(jìn)請(qǐng)求。例如， 假定圖像幀處理設(shè)備200并入到DVD播放器中，則這個(gè)快速前進(jìn)請(qǐng)求對(duì)應(yīng)于 用在主體或者遙控器上提供的前進(jìn)按鈕或者撥號(hào)盤所指定的、諸如"雙倍速"、 "4x (四倍)速，，之類的快速前進(jìn)速度信息?？焖偾斑M(jìn)請(qǐng)求可以在活動(dòng)圖像 數(shù)據(jù)的頭部部分中指定而不是從用戶給出。接口單元202將所獲取的信息發(fā) 送到傳輸幀數(shù)目確定單元206。傳輸幀數(shù)目確定單元206確定以所收到的快 速前進(jìn)速度信息實(shí)現(xiàn)快速前進(jìn)活動(dòng)圖像所需要的圖像幀數(shù)目。幀傳輸單元208 以恒定定時(shí)從存儲(chǔ)在存儲(chǔ)單元250中的圖像幀序列中讀出由傳輸幀數(shù)目確定 單元206所確定的、圖像幀的確定數(shù)目。然后，該幀傳輸單元208將這些幀 傳輸?shù)娇焖偾斑M(jìn)單元220。例如，存儲(chǔ)單元250對(duì)應(yīng)于圖12中的主存儲(chǔ)器14。 然而，存儲(chǔ)單元250可以是諸如外部存儲(chǔ)設(shè)備32之類的在圖像幀處理設(shè)備 200中提供的任何存儲(chǔ)單元或者存儲(chǔ)器。此外，存儲(chǔ)單元250中的圖像幀可 以是未壓縮的圖像。存儲(chǔ)單元250中的圖像幀還可以是使用DCT (離散余弦 變換)的壓縮圖像。
快速前進(jìn)單元220包括幀序列獲取單元222和合并執(zhí)行單元224。幀序 列獲取單元222獲取所傳輸?shù)膱D像幀，并且暫時(shí)存儲(chǔ)它們。合并執(zhí)行單元224 執(zhí)行合并處理，其從存儲(chǔ)在幀序列獲取單元222中的多個(gè)圖像幀中生成一個(gè) 更新的圖像幀。這個(gè)合并處理可以是第一實(shí)施例中描述的混和處理。該更新 的圖像幀被稱為"快速前進(jìn)幀"。
以生成次序，將由合并執(zhí)行單元224生成的快速前進(jìn)幀傳輸?shù)疆嬅娼M成 單元240。畫面組成單元240以可以在顯示器26上顯示的預(yù)定幀頻輸出這些 快速前進(jìn)幀。由此，用戶可以在顯示器26上觀看期望的快速前進(jìn)畫面。
當(dāng)在多個(gè)圖像幀上執(zhí)行合并處理時(shí)，在快速前進(jìn)幀中產(chǎn)生偽余像 (afterimage)。通過(guò)順序地輸出這樣的快速前進(jìn)幀，可以獲取具有運(yùn)動(dòng)模糊效 應(yīng)的快速前進(jìn)畫面。這樣，用戶可以享受逼真和平滑的活動(dòng)畫面。
順便提及，可以進(jìn)行這樣的處理，其中每預(yù)定數(shù)目的幀從存儲(chǔ)單元250 中的圖像幀序列中提取圖像幀，并且以預(yù)定幀頻輸出所提取的幀而沒有給出 任何用于創(chuàng)建快速前進(jìn)畫面的合并處理?，F(xiàn)在，為了理解示例4的優(yōu)點(diǎn)，將 參考圖14描述由這樣的處理創(chuàng)建的快速前進(jìn)畫面的缺點(diǎn)。
圖14示出了這樣的處理原理，其包括步驟從事先準(zhǔn)備的圖像幀序列 300中提取恰當(dāng)數(shù)目的圖像幀；并創(chuàng)建快速前進(jìn)幀序列310。
圖像幀序列300包括圖像幀301-309和范圍在這些幀前后的大量其它圖 像幀。圖像幀301-309代表活動(dòng)圖像，其中圓形對(duì)象400從屏幕的左上方移 動(dòng)到右下方。實(shí)際上，除非使用了比幀301—309多得多的圖像幀，否則不可 能平滑地移動(dòng)圓形對(duì)象400。然而，為了簡(jiǎn)化圖14中的說(shuō)明，假定僅僅利用 圖像幀301-309就實(shí)現(xiàn)了圓形對(duì)象400的平滑移動(dòng)。
圖像幀303和307所示的星形401代表圓形對(duì)象400的閃爍。在該圖像 幀序列300中，圓形對(duì)象400出現(xiàn)在屏幕的左上角，然后移動(dòng)到右下角并閃 爍兩次。
在這個(gè)示例中，從每三個(gè)圖像幀中提取出一個(gè)圖像幀。更具體而言，在 圖像幀序列300中每三個(gè)圖像幀提取圖像幀301、 304和307。然后，這些提 取的圖像幀分別變?yōu)榭焖偾斑M(jìn)幀311、 312、 313而沒有采取任何處理。因此， 可以通過(guò)從每恰當(dāng)數(shù)目的圖像幀中提取一個(gè)圖像幀來(lái)創(chuàng)建快速前進(jìn)幀序列 310、并且以預(yù)定幀頻輸出該序列310來(lái)創(chuàng)建快速前進(jìn)畫面。在圖14所示的 這個(gè)示例中，可以獲取3X快速前進(jìn)畫面。
然而，利用這樣的處理，當(dāng)在從原始圖像幀序列中提取的圖像幀之間的 差別大時(shí)，特別是在非?？焖偾斑M(jìn)的情況下，畫面可能逐幀前進(jìn)。因此，對(duì) 于用戶來(lái)說(shuō)，該畫面變?yōu)檩^差的畫面。另外，圖像幀序列300包括代表圓形 對(duì)象400閃爍的圖像幀303。然而，快速前進(jìn)幀序列310不包括這個(gè)圖像幀 303。因此，觀看包含幀序列310的快速前進(jìn)畫面的用戶不能辨認(rèn)出圓形對(duì)象 400閃爍了兩次。
由此可以看出，在這樣的處理中，除了圖14中對(duì)象的閃爍之外，有可能 沒有將具有重要信息的圖像幀包括在快速前進(jìn)畫面中。換句話說(shuō)，雖然在原
始圖像幀序列中出現(xiàn)了一些事件，但是當(dāng)用戶觀看該快速前進(jìn)畫面中，他有 可能不能看到該事件。所以，當(dāng)用戶以特定信息作為線索從快速前進(jìn)畫面中 搜索感興趣場(chǎng)景時(shí)，如果快速前進(jìn)畫面缺乏該特定信息，則用戶不能找出該 場(chǎng)景。
接下來(lái)，將根據(jù)參考圖15的示例4描述用于創(chuàng)建快速前進(jìn)畫面的方法。 取代每三個(gè)圖像幀提取一個(gè)圖像幀，合并執(zhí)行單元224對(duì)圖像幀序列300中 的三個(gè)圖像幀執(zhí)行合并處理以創(chuàng)建一個(gè)快速前進(jìn)幀。更具體而言，合并執(zhí)行
單元224對(duì)圖像幀301-303執(zhí)行合并處理以創(chuàng)建快速前進(jìn)幀321。合并執(zhí)行單 元224對(duì)圖像幀304-306執(zhí)行合并處理以創(chuàng)建快速前進(jìn)幀322。合并執(zhí)行單元 224對(duì)圖像幀307-309執(zhí)行合并處理以創(chuàng)建快速前進(jìn)幀323。
這個(gè)合并處理對(duì)應(yīng)于創(chuàng)建這樣的圖像幀，該圖像幀中的每個(gè)像素是位于 圖像幀中相同位置處的加權(quán)平均像素。更具體而言，當(dāng)使用n個(gè)圖像幀F(xiàn)jm =n, n為正整數(shù))創(chuàng)建一個(gè)快速前進(jìn)幀F(xiàn)f時(shí)，
Ff=S am/Fm (4)
其中cu代表每個(gè)圖像幀的權(quán)重系數(shù)，并滿足i: a^l。如可從表示式(4) 中看出的那樣，對(duì)于每個(gè)圖像幀來(lái)說(shuō),權(quán)重比率可能不等。例如，可以將高 權(quán)重比率應(yīng)用于鄰近某個(gè)圖像幀的圖像幀，并且該圖像幀離某個(gè)圖像幀的位 置越遠(yuǎn)，應(yīng)用的權(quán)重比率可能越低。如何分布OCm的值取決于快速前進(jìn)幀F(xiàn)f 的特征。
依據(jù)如上所述的合并處理，獲取了具有在圖像幀之間移動(dòng)的圓形對(duì)象 400的偽余像的快速前進(jìn)幀321、 322、 323。在圖15中，圓形對(duì)象400的余 像表示為空?qǐng)A圈或者星形。由此，當(dāng)再現(xiàn)具有快速前進(jìn)幀321-323的快速前 進(jìn)幀序列320時(shí)，可以獲取運(yùn)動(dòng)模糊并且平滑活動(dòng)的畫面。因此，可以減輕 用戶的眼部疲勞。此外，如可以從快速前進(jìn)幀321和323看出，對(duì)象閃爍圖 像作為偽余像而保留在這些幀中。因此，在原始圖像幀中的信息可能不會(huì)由 于創(chuàng)建快速前進(jìn)幀而從幀中丟失。換句話說(shuō)，總是將原始圖像幀的部分信息 留在快速前進(jìn)幀中。因此，當(dāng)用戶以特定信息作為線索從快速前進(jìn)畫面中搜 索他感興趣的場(chǎng)景時(shí)，由于該殘留信息的原因，用戶感覺易于找出該場(chǎng)景。
圖16示出了增加或者減少被合并以創(chuàng)建具有不同前進(jìn)速度的快速前進(jìn) 畫面的圖像帕^t目的處理的原理。圖像幀序列350包括圖像幀351-362和范 圍在這些幀前后的大量圖像幀。當(dāng)創(chuàng)建正常的快速前進(jìn)畫面時(shí)，合并執(zhí)行單 元224對(duì)四個(gè)圖像幀執(zhí)行合并處理以創(chuàng)建一個(gè)快速前進(jìn)幀。更具體而言，合 并執(zhí)行單元224對(duì)圖像幀351-354執(zhí)行合并處理以創(chuàng)建快速前進(jìn)幀371,而且 合并執(zhí)行單元224對(duì)圖^f象幀355-358執(zhí)行合并處理以創(chuàng)建快速前進(jìn)幀372。
當(dāng)由幀序列獲取單元222在創(chuàng)建快速前進(jìn)幀期間才全測(cè)到具有特定條件的 特定圖像幀時(shí)，合并執(zhí)行單元224對(duì)每?jī)蓚€(gè)圖像幀執(zhí)行合并處理以創(chuàng)建一個(gè) 快速前進(jìn)幀。在圖16中，當(dāng)圖像幀359滿足該特定條件時(shí)，合并執(zhí)行單元 224對(duì)圖像幀359和360執(zhí)行合并處理以創(chuàng)建快速前進(jìn)幀373,而且合并執(zhí)行
單元224對(duì)圖像幀361和362執(zhí)行合并處理以創(chuàng)建快速前進(jìn)幀374。
包含包括快速前進(jìn)幀371-374在內(nèi)的快速前進(jìn)幀序列370的快速前進(jìn)畫 面首先具有4X前進(jìn)速度，但是在快速前進(jìn)幀373之后，前進(jìn)速度下降到兩 倍。因此，通過(guò)恰當(dāng)?shù)卦黾踊蛘邷p少被合并的圖像幀數(shù)目，可以獲取其速度 在任何時(shí)間點(diǎn)改變的快速前進(jìn)畫面。
為了檢測(cè)特定圖像幀，可以使用任何眾所周知的技術(shù)。例如，使用場(chǎng)景 改變檢測(cè)技術(shù)，可以在場(chǎng)景改變的地方獲得特定圖像幀。如此，可以在任何 特定場(chǎng)景處獲取具有降低的前進(jìn)速度的快速前進(jìn)畫面。做為選擇，計(jì)算在圖 像幀之間的運(yùn)動(dòng)矢量，然后可以檢測(cè)其運(yùn)動(dòng)矢量的絕對(duì)值大于預(yù)定值的特定 圖像幀。由此，通過(guò)檢測(cè)其中對(duì)象在屏幕中的移動(dòng)變大的圖像幀，可以獲取 在該特定幀之后具有降低的前進(jìn)速度的快速前進(jìn)畫面。
因?yàn)榧词褂脩羰乖摦嬅婵焖偾斑M(jìn)也在給定點(diǎn)之后自動(dòng)降低前進(jìn)速度，所 以用戶可以容易地找出感興趣或者重要的場(chǎng)景。此外，當(dāng)用戶以特定信息作 為線索從快速前進(jìn)畫面中搜索感興趣場(chǎng)景時(shí)，可以在具有該信息的幀處自動(dòng) 地降低前進(jìn)速度。因此，用戶可以更容易地找出該場(chǎng)景?？上胂蟪鱿铝袑?shí)際 的使用。假定畫面內(nèi)容是戲劇，則可以在快速前進(jìn)期間以降低的速度再現(xiàn)特 定演員出現(xiàn)時(shí)的場(chǎng)景。假定畫面內(nèi)容是英式足球比賽廣播，則可以在快速前 進(jìn)期間以降低的速度再現(xiàn)得分場(chǎng)景。
(示例5 )
在示例4中，沒有考慮每個(gè)圖像幀的特征而從圖像幀序列中提取預(yù)定數(shù) 目的圖像幀，并且對(duì)所提取的圖像幀執(zhí)行合并處理以創(chuàng)建快速前進(jìn)幀。這個(gè) 處理優(yōu)選為構(gòu)造平滑移動(dòng)的快速前進(jìn)畫面。然而，在有些情況下，通過(guò)優(yōu)先 級(jí)提取一些具有一些特征的圖像幀來(lái)創(chuàng)建快速前進(jìn)畫面是更優(yōu)選的。在這個(gè) 示例5中，提供了這樣一種圖像幀處理設(shè)備，其用于通過(guò)優(yōu)先級(jí)提取一些滿 足特定條件的圖像幀來(lái)創(chuàng)建具有高觀看效率的快速前進(jìn)畫面。
圖17示出了根據(jù)示例5的圖像幀處理設(shè)備的功能框圖。接口單元202、 傳輸幀凄t目確定單元206、幀傳輸單元208、幀序列獲取單元222、畫面合成 單元240和存儲(chǔ)單元250與圖13所示的塊相同，所以將相同的數(shù)字分配給這 些塊并且省略了對(duì)這些塊的進(jìn)一步說(shuō)明。
快速前進(jìn)單元220包括幀序列獲取單元222和特征幀提取單元226。特
征幀提取單元226基于圖像幀的亮度信息，從幀傳輸單元208傳輸過(guò)來(lái)的圖 像幀中提取滿足預(yù)定條件的圖像幀作為特征幀。例如，特征幀提取單元226 計(jì)算包括某個(gè)圖像幀在內(nèi)的十個(gè)正向和反向幀中所包括的每個(gè)像素的像素均 值，然后提取包括具有比平均值大50%的像素的圖像幀作為特征幀。特征幀 提取單元226提取除了這些特征幀之外的一些適當(dāng)數(shù)目的圖像幀，創(chuàng)建快速 前進(jìn)幀，并且將其發(fā)送到畫面合成單元240。畫面合成單元240以預(yù)定幀頻 輸出可以在顯示器26上顯示的快速前進(jìn)幀。
現(xiàn)在，將更具體地描述才艮據(jù)示例5的對(duì)特征幀的提取。圖18示出了基于 亮度信息從圖像幀序列中提取一些圖像幀的處理的原理。與圖14相同，圖像 幀序列300包括圖像幀301-309和范圍在這些幀前后的大量其它圖像幀。特 征幀提取單元226提取其中的像素亮度大于其它相鄰圖像幀中的像素亮度的 圖像幀作為特征圖像幀。如上所述，圓形對(duì)象400在圖像幀303和307中閃 爍。因此，因?yàn)閳D像幀303和307包括亮度大于相鄰圖像幀的像素亮度的像 素，所以分別提取它們作為特征幀。這些特征幀分別變?yōu)榭焖偾斑M(jìn)幀331和 332而沒有采取任何處理。
僅僅通過(guò)從圖像幀序列300中提取特征幀有可能未提取到以所請(qǐng)求的前 進(jìn)速度合成快速前進(jìn)畫面所需要的幀。因此，如果在預(yù)定數(shù)目的圖像幀中未 提取到特征幀，優(yōu)選為讓特征幀提取單元226從預(yù)定數(shù)目的圖像幀中提取一 個(gè)幀而不考慮亮度信息。相反地，如果在預(yù)定數(shù)目的圖像幀中提取了多個(gè)特 征幀，則優(yōu)選為讓特征幀提取單元僅僅提取一個(gè)幀。以這種方法，可以構(gòu)造 快速前進(jìn)幀序列330。
做為選擇，當(dāng)存在基于亮度信息在預(yù)定數(shù)目的圖像幀中提取的多個(gè)特征 幀時(shí)，被確定為特征幀的所有圖像幀都可以是快速前進(jìn)幀而與前進(jìn)速度信息 無(wú)關(guān)。以這種方法，為某個(gè)時(shí)段連續(xù)提取具有較大亮度的像素的圖像幀。因 此，在該時(shí)段中，可以獲取具有正常播放速度的降低了速度的快速前進(jìn)畫面。 由此，因?yàn)榧词乖诳焖偾斑M(jìn)畫面中，也可以在特征場(chǎng)景中獲取幾乎等于正常 播放的活動(dòng)圖像，這可以減少用戶錯(cuò)過(guò)特征場(chǎng)景中的重要信息的機(jī)會(huì)。優(yōu)選 為取決于用戶想要獲取的信息類型為特征幀設(shè)置條件。
在示例5中，因?yàn)橥ㄟ^(guò)基于亮度信息提取特征幀而創(chuàng)建快速前進(jìn)畫面， 所以減少了快速前進(jìn)畫面中錯(cuò)過(guò)的、具有重要信息的圖像幀的數(shù)目。
應(yīng)當(dāng)注意到，用于提取特征幀的信息不局限于亮度信息。例如，在圖像
幀之間的移動(dòng)信息也可以用于依據(jù)優(yōu)先級(jí)提取具有特定條件的一些圖像巾貞。
參見圖17，移動(dòng)信息檢測(cè)單元210接收從幀傳輸單元208傳輸過(guò)來(lái)的圖 像幀并且計(jì)算在這些圖像幀之間的移動(dòng)信息。例如，移動(dòng)信息檢測(cè)單元210 通過(guò)使用眾所周知的塊匹配方法獲得在圖像幀之間的對(duì)應(yīng)點(diǎn)。然后，移動(dòng)信 息檢測(cè)單元210根據(jù)在對(duì)應(yīng)點(diǎn)之間的差別計(jì)算運(yùn)動(dòng)矢量。將該運(yùn)動(dòng)矢量用于 移動(dòng)信息。如果作為數(shù)據(jù)而事先準(zhǔn)備了在圖像幀中的每個(gè)區(qū)域或者對(duì)象的一 些移動(dòng)信息，則也可以將這個(gè)婆t據(jù)用作移動(dòng)信息。
特征幀提取單元226基于移動(dòng)信息從所傳輸?shù)膱D像幀中提取滿足預(yù)定條 件的圖像幀作為特征幀。該條件例如是運(yùn)動(dòng)矢量的絕對(duì)值大于預(yù)定值。除了 這些特征幀之外，特征幀提取單元226提取一些恰當(dāng)數(shù)目的圖像幀，創(chuàng)建快 速前進(jìn)幀，并且將該快速前進(jìn)幀發(fā)送到畫面合成單元240。畫面合成單元240 以預(yù)定幀頻將該快速前進(jìn)幀輸出顯示器26。
在另 一示例中，特征幀提取單元226從接口單元202接收寫入到活動(dòng)圖 像數(shù)據(jù)的頭部中的信息，并基于該信息提取特征幀。例如，假定活動(dòng)圖像的 內(nèi)容是戲劇，則在場(chǎng)景改變點(diǎn)前后范圍內(nèi)的幾十或者幾百個(gè)圖像幀的頭部中 啟用了指示場(chǎng)景改變的位。特征幀提取單元226可以提取由這樣的位指示的 圖4象幀作為特征幀。以這種方法，即使在快速前進(jìn)畫面中，前進(jìn)速度也變?yōu)?等于正常的播放速度。因此，該用戶可以更容易地辨認(rèn)出快速前進(jìn)畫面中的 內(nèi)容。
(示例6 )
在示例5中，描述了使用亮度信息或者移動(dòng)信息提取滿足特定條件的圖 4象幀作為特征幀。換句話說(shuō)，在示例5中，在圖像幀序列中的圖像幀被分離 為兩個(gè)組。 一組包括對(duì)用戶有益的圖像幀(也就是說(shuō)，具有大量信息的圖像 幀)。另一個(gè)組包括對(duì)用戶的益處稍少的圖像幀(也就是說(shuō)，具有較少信息的 圖像幀)。然后，從第一組中拾取較多的圖像幀來(lái)創(chuàng)建快速前進(jìn)畫面。
在示例6中，將提供圖像幀處理設(shè)備來(lái)將一個(gè)圖像幀分離為兩個(gè)部分 具有較多信息的一部分以及具有較少信息的一部分。并且要么增強(qiáng)這些部分
要么使這些部分不易被察覺。由此，用戶可以更容易地從快速前進(jìn)畫面中獲
得信息。
圖19示出了根據(jù)示例6的圖像幀處理設(shè)備的功能框圖。接口單元202、
傳輸幀數(shù)目確定單元206、幀傳輸單元208、移動(dòng)信息檢測(cè)單元210和存儲(chǔ)單 元250與圖17所示的塊相同，所以將相同的數(shù)字分配給這些塊并且省略了對(duì) 這些塊的進(jìn)一步說(shuō)明。
快速前進(jìn)單元220包括分離單元228、合并執(zhí)行單元230和幀重新合成 單元232。分離單元228接收從幀傳輸單元208傳輸過(guò)來(lái)的圖像幀。分離單 元228將每個(gè)圖像幀分離為"特定圖像區(qū)域，，和"非特定圖像區(qū)域"?；趶?移動(dòng)信息檢測(cè)單元210接收的移動(dòng)信息進(jìn)行這個(gè)分離。特定圖像區(qū)域是其中 運(yùn)動(dòng)矢量的絕對(duì)值大于預(yù)定閾值的區(qū)域。非特定圖像區(qū)域是除了特定圖像區(qū) 域之外的區(qū)域。合并執(zhí)行單元230對(duì)在圖像幀之間的非特定圖像區(qū)域執(zhí)行合 并處理。另一方面，合并執(zhí)行單元230從圖像幀中拾取任何一個(gè)特定圖像區(qū) 域。
幀重新合成單元232合成所提取的特定圖像區(qū)域以及經(jīng)合并的非特定圖 像區(qū)域以創(chuàng)建更新的圖像幀。將更新的圖像幀作為快速前進(jìn)幀發(fā)送到畫面合 成單元240。畫面合成單元240以預(yù)定幀頻將該快速前進(jìn)幀輸出至顯示器26。
圖20示出了用于將圖像幀分離為特定圖像區(qū)域和非特定圖像區(qū)域的原 理。圖像幀序列380包括圖像幀381-384和范圍在這些圖像幀前后的大量圖 像幀。圖像幀序列380包括某個(gè)人的圖像?？梢匀缦滤鯺r測(cè)這個(gè)人的圖像。 用戶指定這個(gè)人穿著的衣服的顏色和圖案。然后，使用眾所周知的圖象匹配 技術(shù)，以該顏色和圖案作為線索來(lái)檢測(cè)這個(gè)人的圖像區(qū)域。
分離單元228將圖像幀381-384分離為用于這個(gè)人的圖像的特定圖像區(qū) 域和用于背景圖像的非特定圖像區(qū)域。該合并執(zhí)行單元230對(duì)圖像幀381-384 中的非特定圖像區(qū)域執(zhí)行合并處理。該合并單元230從圖像幀381-384中拾 取一個(gè)特定圖像區(qū)域。在圖20中，由合并執(zhí)行單元230拾取圖像幀382中的 特定圖像區(qū)域。然后，幀重新合成單元232將由合并執(zhí)行單元230所拾取的 特定圖像區(qū)域和所合并的非特定圖像區(qū)域放在一起以創(chuàng)建快速前進(jìn)幀385。 由于該合并處理，該快速前進(jìn)幀385具有模糊的背景圖像。因此，包括幀385 在內(nèi)的快速前進(jìn)畫面可以顯示具有運(yùn)動(dòng)模糊背景的某個(gè)人，所以該用戶可以 更容易地辨認(rèn)出這個(gè)人。
如上所述，根據(jù)示例6,可以在快速前進(jìn)畫面中明確地顯示圖像幀中的 重要部分。換句話說(shuō)，根據(jù)示例6，由于運(yùn)動(dòng)模糊，可以使圖像幀中的較不 重要的部分變得不易被察覺。以這種方法，當(dāng)活動(dòng)圖像的內(nèi)容是戲劇或者運(yùn)動(dòng)廣播時(shí)，可以在快速前 進(jìn)畫面中引人注意地顯示用戶喜歡的人員。
做為選擇，當(dāng)非特定圖像區(qū)域是靜止圖像時(shí)，合并單元230使用多個(gè)非 特定圖像區(qū)域來(lái)增強(qiáng)其圖像質(zhì)量。
(示例7 )
圖21示出了根據(jù)示例7的圖像幀處理設(shè)備的功能框圖。在這個(gè)示例7 中，在快速前進(jìn)畫面中顯示對(duì)象在圖像幀中的路徑(軌跡)。
接口單元202、傳輸幀數(shù)目確定單元206、幀傳輸單元208、移動(dòng)信息檢 測(cè)單元210、畫面合成單元240和存儲(chǔ)單元250與圖17所示的塊相同，所以 將相同的數(shù)字分配給這些塊并且省略了對(duì)這些塊的進(jìn)一步說(shuō)明。
快速前進(jìn)單元220包括路徑創(chuàng)建單元236和幀重新合成單元232。路徑 創(chuàng)建單元236使用從移動(dòng)信息檢測(cè)單元210接收的移動(dòng)信息創(chuàng)建路徑圖像。 這個(gè)路徑圖像是顯示預(yù)定對(duì)象在從幀傳輸單元208傳輸過(guò)來(lái)的圖像幀中的流 線(flow Iine)的圖像。幀重新合成單元232在原始圖像幀上重寫路徑圖像以創(chuàng) 建快速前進(jìn)幀。
圖22示出了根據(jù)示例7的路徑創(chuàng)建處理的原理。與圖14相同，圖像幀 序列300包括圖像幀301-309和范圍在這些幀前后的大量其它圖像幀。
路徑創(chuàng)建單元236根據(jù)在圖像幀301和圖像幀302之間的差別創(chuàng)建路徑 圖像411。路徑創(chuàng)建單元236根據(jù)在圖像幀302和圖像幀303之間的差別創(chuàng) 建路徑圖像412。幀重新合成單元232將路徑圖像411和412放到圖像幀303 中以創(chuàng)建快速前進(jìn)幀341。類似地，路徑創(chuàng)建單元236根據(jù)在圖像幀304和 圖像幀305之間的差別創(chuàng)建路徑圖像413。路徑創(chuàng)建單元236根據(jù)在圖像幀 305和圖像幀306之間的差別創(chuàng)建路徑圖像414。幀重新合成單元232將路徑 圖像413和414放到圖像幀306中以創(chuàng)建快速前進(jìn)幀342。對(duì)圖像幀307或 者后面的圖像幀重復(fù)相同的處理。
畫面合成單元240以預(yù)定幀頻輸出包括快速前進(jìn)幀341和342在內(nèi)的快 速前進(jìn)幀序列340。因此，可以獲取具有示出圓形對(duì)象400的移動(dòng)的路徑的 快速前進(jìn)畫面。
為了確定在存在于圖像幀中的對(duì)象當(dāng)中選擇哪個(gè)對(duì)象來(lái)顯示其路徑，可 以使用各種眾所周知的方法。例如，使用眾所周知的圖象識(shí)別技術(shù)在每個(gè)圖
像幀中檢測(cè)預(yù)定對(duì)象(例如，英式足球)，并且可以在快速前進(jìn)畫面中顯示英 式足球的路徑。
根據(jù)示例7,有可能在快速前進(jìn)畫面中顯示未出現(xiàn)在原始圖像幀中的信 息。換句話說(shuō)，通過(guò)使用在圖像幀之間的差別信息，有可能增強(qiáng)圖像幀中的
"f呂息。
(示例8 )
通過(guò)選擇根據(jù)如上所述的示例4到7的一個(gè)處理，可以產(chǎn)生適于內(nèi)容或 者用戶目的的快速前進(jìn)畫面。例如，取決于記錄在存儲(chǔ)設(shè)備中的活動(dòng)圖像的 內(nèi)容，可以選擇適當(dāng)?shù)目焖偾斑M(jìn)。
現(xiàn)在，假定圖像幀處理設(shè)備并入到活動(dòng)圖像播放裝置中，來(lái)描述快速前 進(jìn)畫面創(chuàng)建處理。
圖23示出了可以實(shí)現(xiàn)才艮據(jù)示例4到7的全部處理的圖像幀處理裝置的功 能框圖。接口單元202、傳輸幀數(shù)目確定單元206、幀傳輸單元208、移動(dòng)信 息才企測(cè)單元210、畫面合成單元240和存儲(chǔ)單元250與圖13所示的塊相同， 所以將相同的數(shù)字分配給這些塊并且省略了對(duì)這些塊的進(jìn)一步說(shuō)明。
快速前進(jìn)單元220被配置為能夠執(zhí)行在示例4到7中描述的全部處理。 圖像幀處理設(shè)備還包括內(nèi)容確定單元214。內(nèi)容確定單元214確定存儲(chǔ)在存 儲(chǔ)單元250中的活動(dòng)圖像的內(nèi)容類型。可以基于活動(dòng)圖像數(shù)據(jù)的頭部信息進(jìn) 行這個(gè)確定。做為選擇，可以基于用戶的輸入或者來(lái)自移動(dòng)信息檢測(cè)單元210 的移動(dòng)信息來(lái)進(jìn)行該確定。將所確定的內(nèi)容類型發(fā)送到快速前進(jìn)單元220。 快速前進(jìn)單元220接收從幀傳輸單元208傳輸過(guò)來(lái)的圖像幀，并且取決于內(nèi) 容類型執(zhí)行根據(jù)示例4到7的一個(gè)處理。
現(xiàn)在，將描述當(dāng)由內(nèi)容確定單元214確定的內(nèi)容類型是運(yùn)動(dòng)廣播、戲劇 或電影、或者用戶獨(dú)創(chuàng)的電影時(shí)，由快速前進(jìn)單元220執(zhí)行的特定處理。
A.運(yùn)動(dòng)廣播
當(dāng)內(nèi)容類型是英式足球比賽的視頻記錄時(shí)，有可能僅僅在得分場(chǎng)景時(shí)降 低快速前進(jìn)畫面的前進(jìn)速度?？梢匀缦滤鰴z測(cè)得分場(chǎng)景由指向球門柱的 固定位置相機(jī)獲取的活動(dòng)圖像。事先在由該相機(jī)獲取的圖像內(nèi)指定球門口區(qū) 域。當(dāng)英式足球圖像進(jìn)入球門口區(qū)域時(shí)(這可以通過(guò)圖像匹配方法檢測(cè))，快
速前進(jìn)單元220將其確定為得分場(chǎng)景并且提取在這個(gè)時(shí)間點(diǎn)前后的多個(gè)圖像 幀。此外，單元220可以使用圖象匹配技術(shù)、以顏色、圖案或者其一致性的 數(shù)目作為線索來(lái)確定特定的選手。然后可以通過(guò)對(duì)其它選手應(yīng)用運(yùn)動(dòng)模糊來(lái) 獲取增強(qiáng)了特定選手的運(yùn)動(dòng)的快速前進(jìn)畫面。另外，使用圖象匹配技術(shù)辨認(rèn) 出圖像幀中的英式足球，并且可以獲取具有該英式足球路徑的快速前進(jìn)畫面。
B. 戲劇/電影
當(dāng)內(nèi)容類型是戲劇節(jié)目時(shí)，例如，該單元提示用戶輸入在該戲劇中他/ 她喜歡的演員的顏色或者圖案。然后，快速前進(jìn)單元220通過(guò)眾所周知的圖 像匹配技術(shù)檢測(cè)具有對(duì)應(yīng)于所輸入的顏色和圖案的區(qū)域的對(duì)象。由此，單元 220可以識(shí)別出所喜歡的演員出現(xiàn)的場(chǎng)景，并且為所識(shí)別出的場(chǎng)景具創(chuàng)建具 有有降低的前進(jìn)速度的快速前進(jìn)畫面。
C. 用戶獨(dú)創(chuàng)的電影
當(dāng)存儲(chǔ)在存儲(chǔ)單元250中的活動(dòng)圖像是由用戶通過(guò)便攜式相機(jī)獲取的圖 像時(shí)，快速前進(jìn)單元220使用眾所周知的場(chǎng)景改變提取技術(shù)檢測(cè)場(chǎng)景的中斷。 通過(guò)將在場(chǎng)景中斷前后的圖像幀包括在快速前進(jìn)畫面中，可以容易地在快速 前進(jìn)畫面中掌握該內(nèi)容。此外，使用光流檢測(cè)利用便攜式相機(jī)追蹤拍攝(chase) 的對(duì)象。然后，在快速前進(jìn)畫面中使除了被追蹤拍攝的對(duì)象之外的背景圖像 運(yùn)動(dòng)模糊。由此，可以創(chuàng)建具有易于觀看的被追蹤拍攝的對(duì)象的快速前進(jìn)畫 面。
如上所述，根據(jù)圖23所示優(yōu)選圖像幀處理設(shè)備，可以獲取針對(duì)活動(dòng)圖像 的內(nèi)容類型或者用戶首選項(xiàng)進(jìn)行了適當(dāng)處理的快速前進(jìn)畫面。
根據(jù)本發(fā)明的第二實(shí)施例，基于事先存儲(chǔ)在DVD驅(qū)動(dòng)器或者硬盤驅(qū)動(dòng) 器等中的圖像幀序列，當(dāng)收到快速前進(jìn)請(qǐng)求時(shí)，對(duì)圖像幀序列執(zhí)行預(yù)定處理 以創(chuàng)建快速前進(jìn)幀。然后，以針對(duì)該快速前進(jìn)請(qǐng)求顯示快速前進(jìn)畫面所需要 的幀頻輸出該快速前進(jìn)幀。第二實(shí)施例的一個(gè)特征是通過(guò)對(duì)圖像幀序列執(zhí)行 各種處理，快速前進(jìn)畫面可以具有各種添加的值。這些添加的值包括盡可 能地將原始圖像幀序列的重要信息保持在快速前進(jìn)畫面中(示例4和5);在 快速前進(jìn)畫面中省略圖像幀序列的不需要的信息(示例6)。
在第二實(shí)施例中，在收到快速前進(jìn)請(qǐng)求信號(hào)之后，幾乎實(shí)時(shí)地創(chuàng)建快速 前進(jìn)幀并作為快速前進(jìn)畫面輸出。因此，每次收到快速前進(jìn)請(qǐng)求信號(hào)時(shí)，取 決于條件或者用戶的指示、有可能輸出由不同處理創(chuàng)建的各種快速前進(jìn)畫面。 換句話說(shuō)，在第二實(shí)施例中，在對(duì)應(yīng)于后處理處理的快速前進(jìn)單元中存在高 多用性，并且可以提供具有不同優(yōu)點(diǎn)的各種快速前進(jìn)畫面。
以與前進(jìn)速度無(wú)關(guān)的預(yù)定幀頻創(chuàng)建存儲(chǔ)在存儲(chǔ)單元250中的活動(dòng)圖像的 圖像幀序列。然而，快速前進(jìn)單元取決于快速前進(jìn)請(qǐng)求信號(hào)或者內(nèi)容類型執(zhí) 行該處理以創(chuàng)建經(jīng)更新的圖像幀序列以用于快速前進(jìn)。從上述可以看出，在
第一實(shí)施例和第二實(shí)施例中的共同原理在于通過(guò)對(duì)以比顯示速率更高的速 率準(zhǔn)備的圖像幀進(jìn)行采樣來(lái)創(chuàng)建要向用戶顯示的幀。第二實(shí)施例對(duì)應(yīng)于其中 用于采樣的時(shí)間軸被延長(zhǎng)的、第一實(shí)施例中的特殊情況。
應(yīng)當(dāng)注意到，第二實(shí)施例的應(yīng)用不局限于創(chuàng)建快速前進(jìn)畫面或者快速倒 帶畫面。例如，使用由高速相機(jī)所獲取的活動(dòng)圖像，可以根據(jù)第二實(shí)施例創(chuàng) 建具有上述一些效果的正常播放圖像。在這種情況下，應(yīng)該滿足下列條件
Ns>Np>N0
其中Ns代表由高速相機(jī)獲取的每個(gè)單位時(shí)間的圖像幀的數(shù)目，Np代表 存儲(chǔ)在存儲(chǔ)單元中的每個(gè)單位時(shí)間的圖像幀的數(shù)目，而N。代表最終輸出到顯 示器的、每個(gè)單位時(shí)間的圖像幀的數(shù)目。
已經(jīng)基于一些實(shí)施例描述了本發(fā)明。這些實(shí)施例本質(zhì)上是說(shuō)明性的，而 且對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)^艮明顯，在本發(fā)明的范圍內(nèi)可能有在組成元件 和處理方面的各種改變。在實(shí)施例中描述的組成元件的可選組合，以及以方 法、裝置、系統(tǒng)、計(jì)算機(jī)程序和記錄介質(zhì)形式的本發(fā)明的實(shí)現(xiàn)也可以作為本 發(fā)明的其他模式而被實(shí)踐。
權(quán)利要求
1.一種用于從存儲(chǔ)器中讀取圖像幀序列并且對(duì)所述圖像幀序列執(zhí)行合并處理以便顯示的活動(dòng)圖像顯示方法，包含:通過(guò)合并存儲(chǔ)器中的多個(gè)圖像幀來(lái)創(chuàng)建要顯示為快速前進(jìn)畫面的更新的圖像幀，其中圖像幀的數(shù)目依據(jù)快速前進(jìn)請(qǐng)求，在合并中使用包括在該圖像幀序列中的全部幀；以及顯示所述更新的圖像幀。
2、 一種通過(guò)使用包含存儲(chǔ)器中存儲(chǔ)的圖像幀序列的活動(dòng)圖像來(lái)創(chuàng)建快速 前進(jìn)幀的圖像幀處理方法，包含響應(yīng)于快速前進(jìn)請(qǐng)求，使用亮度信息或者移動(dòng)信息從存儲(chǔ)器中讀取其中 出現(xiàn)了預(yù)定特征的圖像幀；集成所讀取的圖像幀以創(chuàng)建所述快速前進(jìn)幀；以及 以預(yù)定幀頻顯示所創(chuàng)建的快速前進(jìn)幀作為快速前進(jìn)畫面。
3、 如權(quán)利要求2所述的圖像幀處理方法，還包含 將每個(gè)圖像幀分離為特定圖像區(qū)域和非特定圖像區(qū)域，其中所述特定圖像區(qū)域包括預(yù)定對(duì)象，而所述非特定圖像區(qū)域是除了特定圖像區(qū)域之外的區(qū) 域；集成圖像幀之間的非特定圖像區(qū)域；選擇圖像幀中的特定圖像區(qū)域當(dāng)中的一個(gè)區(qū)域；以及組合所集成的非特定圖像區(qū)域和所選擇的特定圖像區(qū)域以創(chuàng)建快速前進(jìn)幀。
4、 如權(quán)利要求2所述的圖像幀處理方法，還包含 檢測(cè)圖像幀內(nèi)移動(dòng)的預(yù)定對(duì)象的移動(dòng)信息； 基于該移動(dòng)信息創(chuàng)建顯示該預(yù)定對(duì)象的流線的路徑圖像；以及 組合該路徑圖像和從中檢測(cè)出移動(dòng)信息的圖像幀來(lái)創(chuàng)建該快速前進(jìn)幀。
5、 一種用于響應(yīng)于快速前進(jìn)請(qǐng)求創(chuàng)建快速前進(jìn)幀的圖像幀處理設(shè)備，包含存儲(chǔ)單元，用于存儲(chǔ)包含圖像幀序列的活動(dòng)圖像數(shù)據(jù)； 快速前進(jìn)處理單元，用于響應(yīng)于快速前進(jìn)請(qǐng)求、使用亮度信息或者移動(dòng) 信息從所述存儲(chǔ)單元中讀取其中出現(xiàn)了預(yù)定特征的圖像幀，該快速前進(jìn)處理 單元還集成所讀取的圖像幀來(lái)創(chuàng)建快速前進(jìn)幀；以及畫面合成單元，用于以預(yù)定幀頻顯示所創(chuàng)建的快速前進(jìn)幀以作為快速前 進(jìn)畫面。
6、 一種用于響應(yīng)于快速前進(jìn)請(qǐng)求創(chuàng)建快速前進(jìn)幀的圖像幀處理設(shè)備，包含存儲(chǔ)單元，用于存儲(chǔ)包含圖像幀序列的活動(dòng)圖像數(shù)據(jù)； 快速前進(jìn)處理單元，用于通過(guò)合并存儲(chǔ)器中的多個(gè)圖像幀來(lái)創(chuàng)建要顯示為快速前進(jìn)畫面的更新的圖像幀，其中圖像幀的數(shù)目依據(jù)快速前進(jìn)請(qǐng)求，在合并中使用包括在該圖像幀序列中的全部幀；以及畫面合成單元，用于以預(yù)定幀頻顯示所創(chuàng)建的快速前進(jìn)幀以作為快速前進(jìn)畫面。
7、 如權(quán)利要求5所述的圖像幀處理設(shè)備，所述快速前進(jìn)處理單元還包含 分離單元，用于將每個(gè)圖像幀分離為特定圖像區(qū)域和非特定圖像區(qū)域，其中所述特定圖像區(qū)域包括預(yù)定對(duì)象，而所述非特定圖像區(qū)域是除了特定圖 像區(qū)域之外的區(qū)域；合并執(zhí)行單元，用于集成所述圖像幀之間的非特定圖像區(qū)域，并且選擇所述圖像幀的特定圖像區(qū)域中的一個(gè)區(qū)域；以及幀重新合成單元，用于組合所集成的非特定圖像區(qū)域和所選擇的特定圖 像區(qū)域以創(chuàng)建快速前進(jìn)幀。
8、 如權(quán)利要求7所述的圖像幀處理設(shè)備，還包含移動(dòng)信息檢測(cè)單元， 用于計(jì)算所述圖像幀之間的移動(dòng)信息，其中所述分離單元基于所述移動(dòng)信息 確定特定圖像區(qū)域。
9、 如權(quán)利要求7所述的圖像幀處理設(shè)備，其中，當(dāng)所述非特定圖像區(qū)域 是靜止圖像時(shí)，所述合并執(zhí)行單元執(zhí)行非特定圖像區(qū)域的混合以增強(qiáng)圖像區(qū) 域的質(zhì)量，其中每個(gè)非特定圖像區(qū)域都是從所述圖像幀中分離出來(lái)。
10、 如權(quán)利要求5所述的圖像幀處理設(shè)備，還包含移動(dòng)信息檢測(cè)單元， 用于計(jì)算圖像幀之間的移動(dòng)信息；其中所述快速前進(jìn)處理單元包含路徑創(chuàng)建單元，用于基于該移動(dòng)信息創(chuàng)建代表預(yù)定對(duì)象在所述圖像幀內(nèi) 的移動(dòng)的路徑的路徑圖像；以及幀重新合成單元，用于組合該路徑圖像和原始圖像幀來(lái)創(chuàng)建該快速前進(jìn) 巾貞。
11、如權(quán)利要求5所述的圖像幀處理設(shè)備，還包含內(nèi)容類型確定單元， 用于確定所述活動(dòng)圖像的內(nèi)容類型，其中所述快速前進(jìn)處理單元根據(jù)所述內(nèi)容類型執(zhí)行集成處理。
全文摘要
分離了用于呈現(xiàn)圖像幀的呈現(xiàn)處理和用于使圖像幀適于顯示器的后處理。呈現(xiàn)處理單元42通過(guò)以預(yù)定幀頻執(zhí)行呈現(xiàn)、而不考慮為了輸出到顯示器而使圖像幀應(yīng)當(dāng)滿足的條件來(lái)生成圖像幀序列。后處理單元50使由呈現(xiàn)處理單元生成的圖像幀序列經(jīng)受合并處理，以便生成并輸出滿足該條件的更新的圖像幀序列。因?yàn)榉蛛x了呈現(xiàn)處理和后處理，所以可以生成圖像幀序列而不考慮諸如顯示器的分辨率和幀頻之類的顯示器規(guī)格。圖像幀處理方法及向各種顯示器顯示活動(dòng)圖像的設(shè)備。
文檔編號(hào)G09G5/36GK101373590SQ20081016191
公開日2009年2月25日 申請(qǐng)日期2005年5月18日 優(yōu)先權(quán)日2004年5月19日
發(fā)明者佐佐木伸夫, 岡正昭, 大場(chǎng)章男, 青木幸代 申請(qǐng)人:索尼計(jì)算機(jī)娛樂公司