專利名稱：用于檢測圖像序列中的漸變的過程及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于檢測包括像素或圖像點(diǎn)的圖像的序列中的漸 變的方法，每個(gè)所述像素或圖像點(diǎn)與至少一個(gè)亮度值相關(guān)聯(lián)。所述方法包括以下步驟
-針對被稱為檢測窗口的、長度為N幅連續(xù)圖像的窗口的每幅圖 像，并針對在所述檢測窗口之前的圖像，基于與每幅所述圖像的每個(gè) 所述像素相關(guān)聯(lián)的亮度值，計(jì)算(10)亮度級；
-針對所述檢測窗口的所述N幅圖像中的每幅圖像，基于同當(dāng)前圖 像相關(guān)聯(lián)的亮度級與同所述當(dāng)前圖像之前的圖像相關(guān)聯(lián)的亮度級之 差，檢測(11)漸變；以及
-如果針對所述檢測窗口的至少k幅圖像已檢測到漸變，其中
2≤k≤N，則由此推斷(12)所述檢測窗口存在漸變。
優(yōu)選地，與圖像相關(guān)聯(lián)的亮度級等于與該圖像的每個(gè)像素相關(guān)聯(lián) 的亮度值之和。
優(yōu)選地，該方法還包括如果與該檢測窗口相關(guān)聯(lián)的運(yùn)動(dòng)等級小于 預(yù)定閾值則對該檢測窗口中漸變的存在進(jìn)行驗(yàn)證的附加步驟。
優(yōu)選地，與當(dāng)前圖像相關(guān)聯(lián)的運(yùn)動(dòng)等級等于所計(jì)算的當(dāng)前圖像與 在當(dāng)前圖像之前的圖像(稱為在前圖像)之間的時(shí)間活動(dòng)性與針對當(dāng) 前圖像所計(jì)算的空間活動(dòng)性之間的比率。此外，與該檢測窗口相關(guān)聯(lián) 的運(yùn)動(dòng)等級等于與該檢測窗口的最末圖像相關(guān)聯(lián)的運(yùn)動(dòng)等級。
優(yōu)選地，該圖像與在前圖像之間的時(shí)間活動(dòng)性等于與該圖像的每 個(gè)像素相關(guān)聯(lián)的亮度值和與在先圖像的每個(gè)像素相關(guān)聯(lián)的亮度值之間 的逐個(gè)像素的差值的絕對值之和。此外，該圖像的空間活動(dòng)性等于與 該圖像的每個(gè)像素相關(guān)聯(lián)的亮度值的絕對值之和。
本發(fā)明還涉及一種用于檢測包括像素或圖像點(diǎn)的圖像的序列中的 漸變的設(shè)備，每個(gè)所述像素或圖像點(diǎn)與至少一個(gè)亮度值相關(guān)聯(lián)，所述
設(shè)備包括
-計(jì)算裝置(32， 33， 34)，用于針對被稱為檢測窗口的、長度為 N個(gè)連續(xù)圖像的窗口的每幅圖像，并針對在所述檢測窗口之前的圖像， 基于與每幅所述圖像的每個(gè)所述像素相關(guān)聯(lián)的亮度值，計(jì)算亮度級；
-檢測裝置(32， 33， 34)，用于針對所述檢測窗口的所述N幅圖 像中的每幅圖像，基于同當(dāng)前圖像相關(guān)聯(lián)的亮度級與同所述當(dāng)前圖像 之前的圖像相關(guān)聯(lián)的亮度級之差，檢測漸變；以及
-推斷裝置(32， 33， 34)，用于在所述檢測裝置已針對所述檢測 窗口的至少k幅圖像檢測到漸變時(shí)，推斷所述檢測窗口存在漸變，其中2≤K≤N
本發(fā)明還涉及一種視頻編碼設(shè)備，包括編碼裝置以及根據(jù)本發(fā)明 的用于檢測漸變的設(shè)備。
本發(fā)明還涉及一種用于構(gòu)造圖像序列的設(shè)備，其特征在于該設(shè)備 包括索引裝置以及根據(jù)本發(fā)明的用于檢測漸變的設(shè)備。


通過非限制性的優(yōu)選范例實(shí)施例和實(shí)施方式并參照附圖將更好地理解和示出本發(fā)明，其中
圖1示出了根據(jù)本發(fā)明的用于檢測漸變的方法；
圖2示出了判決窗口的位置；
圖3示出了判決窗口的位移；
圖4示出了判決窗口的另一位移；
圖5示出了根據(jù)本發(fā)明的設(shè)備；
圖6示出了根據(jù)本發(fā)明的圖像序列編碼設(shè)備；以及
圖7示出了根據(jù)本發(fā)明的圖像序列構(gòu)造設(shè)備。
具體實(shí)施例方式
本發(fā)明的目的是檢測圖像序列中的漸變，該序列是逐行掃描的或 者隔行掃描的，每幅圖像包括像素，每個(gè)像素具體與亮度值相關(guān)聯(lián)。 在隔行掃描序列的情況下，每幅圖像包括偶數(shù)場和奇數(shù)場。每個(gè)場自 身包括像素或圖像點(diǎn)，每個(gè)像素或圖像點(diǎn)具體與亮度值相關(guān)聯(lián)。考慮 圖像序列s和圖像序列f (例如黑色或大致均勻的圖像序列)，從f到s的漸變稱為淡入，反之，從s到f的漸變稱為淡出。包括從s到f或者從f到S的漸變的圖像序列定義如下
e(x，y，n)=(1-x(n)).s(x，y，n)+x(n)(x，y，n)
其中
-x (n)是漸變因子，
-n是該序列中圖像的索引，以及
-(x， y)是該圖像中像素的坐標(biāo)。
因子x (n)在圖像或幀內(nèi)部是均質(zhì)的(也即與x和y無關(guān))，并 位于0和1之間。對于給定的圖像或幀n，本發(fā)明采用以下方式來定 義亮度級"(n):
<formula>complex formula see original document page 7</formula>
由此得出
從而<formula>complex formula see original document page 7</formula>通過假設(shè)圖像f(x,y,n)
是均質(zhì)的，具有等于々的亮度級且<formula>complex formula see original document page 7</formula>則與圖像或幀n相
關(guān)聯(lián)的亮度級和與圖像或幀n+l相關(guān)聯(lián)的亮度級之差等于
<formula>complex formula see original document page 7</formula>考慮到<formula>complex formula see original document page 7</formula>則該亮度差等于
<formula>complex formula see original document page 7</formula>
如果漸變因子x (n)對于在從索引為0的圖像(或幀)到索引為 N的圖像(或幀)的N幅圖象或幀上持續(xù)的漸變而言是線性的，則以 如下方式分解x (n):
<formula>complex formula see original document page 7</formula>!
k1和k2是可以表現(xiàn)該漸變因子的線性本質(zhì)的兩個(gè)系數(shù)。在淡入 的情況下X仰=l且;c(7V戶0。在淡出的情況下義仰=0且1師=1。 由此得出圖像n和n+1之間的亮度級的變化等于
<formula>complex formula see original document page 7</formula>
相對于序列s和序列f之間的亮度變化而言，序列s的兩幅連續(xù) 圖像(或幀)之間的亮度級的變化通常是可忽略的，從而能夠?qū)⑸厦?的等式簡化如下
<formula>complex formula see original document page 8</formula>
通過假設(shè)序列s中的亮度級的平穩(wěn)性(stationary),以如下方式 簡化該等式
<formula>complex formula see original document page 8</formula>
只要大多數(shù)漸變是在弱運(yùn)動(dòng)序列的基礎(chǔ)上發(fā)生的，則后一假設(shè)在 大多數(shù)時(shí)間是有效的。因此在漸變期間，兩幅圖像(或幀)之間的亮 度級變化取決于漸變的起點(diǎn)和終點(diǎn)(Ls-Lf)之間的亮度級變化，并且 與該漸變的持續(xù)時(shí)間(N幅圖像或幀)成反比。因此根據(jù)本發(fā)明的方 法基于對兩幅連續(xù)圖像之間的亮度級變化的檢測。然后將該變化與根 據(jù)實(shí)驗(yàn)定義的閾值相比較。
根據(jù)圖1示出的優(yōu)選實(shí)施例，將該方法分解為標(biāo)記為10-13的4 個(gè)步驟。在該圖中，所示模塊是功能單元，該功能單元可以與或者不 與物理上可區(qū)別的單元相對應(yīng)。例如，這些模塊或其中的一些模塊可 以一起聚合到單個(gè)組件中，或者可以構(gòu)成同一軟件的功能。相對地， 特定模塊可以由分離的物理實(shí)體組成。在下文中，為了簡化描述，使 用術(shù)語"圖像"來指示由兩幀或者單獨(dú)一幀組成的圖像。
步驟IO包括在長度為N幅圖像的窗口 (稱為檢測窗口)上，針
對該檢測窗口的每幅圖像以及在該檢測窗口之前的序列中圖像，計(jì)算 亮度級。如上文所定義的，圖像的亮度級是在整幅圖像上與該圖像的 每個(gè)像素相關(guān)聯(lián)的亮度值之和。長度為N幅圖像的窗口是包括N幅連
續(xù)圖像的序列的一部分。
步驟11包括針對該檢測窗口的每幅圖像，通過將該圖像(稱為 當(dāng)前圖像)和該圖像之前的圖像之間的亮度級變化與閾值相比較，來 檢測漸變。該閾值是該圖像尺寸的倍數(shù)，圖像尺寸以像素?cái)?shù)目表示。 例如，該閾值等于以像素?cái)?shù)目表示的該圖像的寬度和高度乘以1.75。 如果該亮度級變化大于該閾值，則檢測到當(dāng)前圖像存在漸變。根據(jù)是 要檢測淡入還是淡出，來不同地計(jì)算該亮度級變化。因此，在淡入的 情況下，該亮度級變化等于在當(dāng)前圖像之前的圖像的亮度級與當(dāng)前圖
像的亮度級之差。在淡出的情況下，該亮度級變化等于當(dāng)前圖像的亮 度級與在當(dāng)前圖像之前的圖像的亮度級之差。該步驟能夠針對該檢測
窗口的每幅圖像，分離地檢測淡入和淡出。優(yōu)選地，可以定義不同的 閾值以檢測淡入和淡出。
步驟12包括基于步驟11中執(zhí)行的檢測對該檢測窗口的漸變的存 在進(jìn)行推斷。更確切地，該步驟包括計(jì)算該檢測窗口中己經(jīng)檢測到漸 變的圖像的數(shù)目。在該步驟期間，將根據(jù)先前的針對淡入和淡出的步 驟所獲得的結(jié)果相結(jié)合，從而不管是淡入還是淡出均能夠檢測到漸變。
為此，如果在步驟11中針對該檢測窗口的至少k幅圖像(2≤ k≤ N)檢
測到了淡入或淡出，則由此推斷該檢測窗口存在漸變。優(yōu)選地，該檢
測窗口的長度等于8， k等于6。特別地，該步驟可以避免確定由于
噪聲或者在序列期間的亮度的不穩(wěn)定而導(dǎo)致的偽漸變。
優(yōu)選地，在可選的步驟13期間，將先前步驟12的結(jié)果與對該判 決窗口的運(yùn)動(dòng)等級的局部評估相結(jié)合。這可以避免對圖像序列中具有 強(qiáng)運(yùn)動(dòng)的部分的過檢測(overdetection)，這些強(qiáng)運(yùn)動(dòng)可能被誤認(rèn)為漸 變。例如，可以由編碼設(shè)備的圖像級判決模塊(例如，對幀/圖像編碼 模式的判決，對圖像類型I， P或B…的判決)提供該運(yùn)動(dòng)等級?？梢?通過對所計(jì)算的該圖像與該圖像之前的圖像之間的時(shí)間活動(dòng)性(例如， 與該圖像的每個(gè)像素相關(guān)聯(lián)的亮度值和與該圖像之前的圖像的每個(gè)像 素相關(guān)聯(lián)的亮度值之差的絕對值的逐個(gè)像素之和)和針對該圖像所計(jì) 算的空間活動(dòng)性(例如，基于該圖像的與該圖像的每個(gè)像素相關(guān)聯(lián)的 亮度值的絕對值的總和)之間的比率，計(jì)算該圖像的運(yùn)動(dòng)等級。更確 切地，針對該判決窗口的最末圖像所計(jì)算的運(yùn)動(dòng)等級是與該判決窗口 相關(guān)聯(lián)的運(yùn)動(dòng)等級。如果在步驟12中已推斷出該檢測窗口存在漸變， 并且該窗口的運(yùn)動(dòng)等級小于特定閾值，則確認(rèn)該檢測窗口存在漸變。
在隔行掃描序列的具體情況下，優(yōu)選地是定義滑動(dòng)窗口 (稱為判 決窗口)。例如，該窗口的大小可以是三個(gè)幀。具體可以由圖像級判決 模塊在編碼設(shè)備中使用圖2中示出的窗口。在圖2中，定位該窗口以 進(jìn)行對于與標(biāo)記為Fw和Fi.2的幀相對應(yīng)的、標(biāo)記為Pk的圖像的圖像 級判決。更確切地，圖像Pk是包括兩個(gè)幀F(xiàn)w和Fi，2的聯(lián)合的圖像("幀
圖像")，或者是包括兩個(gè)獨(dú)立的幀F(xiàn)w和Fw的圖像("場圖像")。在 文獻(xiàn)ISO/IEC13818-2中定義的MPEG-2標(biāo)準(zhǔn)(標(biāo)題為"Information technology — Generic coding of moving pictures and associated audio information: Video")的情況下，該圖像級判決(例如，對"幀圖像" / "場圖像"編碼模式的判決，對圖像類型I、 P或B...的判決)至少 應(yīng)用于兩個(gè)連續(xù)的幀。在經(jīng)過了 24圖像(24-image)調(diào)整類型的變換 ("detdecine"或"3:2 pulldown")的序列的具體情況下，重復(fù)幀。因 此該判決窗口的尺寸是三個(gè)幀。為了將該漸變檢測與圖像級判決相聯(lián) 系，在位于該滑動(dòng)窗口中處的幀與位于該滑動(dòng)窗口中相同位置處 的幀之間計(jì)算步驟11中所計(jì)算的亮度級變化，以便針對標(biāo)記為 的在前圖像進(jìn)行圖像級判決。圖3和4示出了針對后續(xù)圖像Pk+1的判 決窗口的位置。具體地，如果Pk是由Fw和Fi.2的聯(lián)合組成并且Fi并 非重復(fù)的幀，或者如果Pk是由兩個(gè)獨(dú)立的幀F(xiàn)w和Fi-2組成，則圖3 示出了針對圖像Pk+1的該判決窗口的后續(xù)位置。另一方面，如果Pk 是由Fm禾P Fj.2的聯(lián)合組成并且Fi是重復(fù)的幀("detdecine"情況)， 則圖4示出了針對圖像Pk+1的該判決窗口的后續(xù)位置。
本發(fā)明還涉及一種實(shí)現(xiàn)前述方法的、用于檢測漸變的設(shè)備(圖5 中標(biāo)記為30)。在圖5中僅示出了該設(shè)備的必要元件。設(shè)備30包括 隨機(jī)存取存儲(chǔ)器32 (RAM或類似的組件)、只讀存儲(chǔ)器33 (硬盤或 類似的組件)、處理單元34 (例如微處理器或類似的組件)以及輸入/ 輸出接口 35。通過地址和數(shù)據(jù)總線31將這些元件鏈接到一起。只讀 存儲(chǔ)器33包含用于實(shí)現(xiàn)根據(jù)本發(fā)明方法的步驟10至12 (以及可選的 步驟13)的算法。在上電時(shí)，處理單元34加載和執(zhí)行這些算法的指 令。隨機(jī)存取存儲(chǔ)器32具體包括用于在該設(shè)備上電時(shí)操作處理單元 34的程序以及要處理的圖像。輸入/輸出接口 35具有接收輸入信號(例 如源圖像序列)以及輸出根據(jù)本發(fā)明方法的步驟10至12 (或13)的 漸變檢測結(jié)果的功能。
本發(fā)明應(yīng)用于圖像序列壓縮領(lǐng)域。具體地，用于檢測漸變的設(shè)備 30可以用在圖6中的編碼設(shè)備40中。該設(shè)備具體包括對源圖像序列 400進(jìn)行編碼的編碼裝置41。該編碼裝置至少包括能夠選擇圖像類型
(例如幀內(nèi)編碼圖像(I圖像)、預(yù)測圖像(P圖像)、雙向預(yù)測圖像(B圖像))的判決裝置。例如，該模塊可以實(shí)現(xiàn)在文獻(xiàn)ISO/IEC13818-2 (標(biāo)題為"Information technology誦-Generic coding of moving pictures and associated audio information: Video")中具體定義的MPEG-2編碼 標(biāo)準(zhǔn)。更具體地，該模塊可以實(shí)現(xiàn)任何用于圖像序列編碼的標(biāo)準(zhǔn)。具 體地，該模塊使用設(shè)備30提供的信息來動(dòng)態(tài)地調(diào)整圖像類型。這可以 降低壓縮成本和提高編碼圖像的質(zhì)量。
還可以將用于檢測漸變的設(shè)備30與圖5中用于構(gòu)造圖像序列的 設(shè)備50相結(jié)合。設(shè)備50具體包括能夠創(chuàng)建對源圖像序列400的描述 501 (例如漸變的起點(diǎn)和終點(diǎn)的時(shí)間標(biāo)記，或稱為"時(shí)間碼")的索引 裝置51。設(shè)備50具體能夠獲取鏡頭邊界和敘述性單元，以便能夠?qū)?該序列進(jìn)行非線性導(dǎo)航或者產(chǎn)生摘要。更確切地，當(dāng)用于檢測漸變的 設(shè)備30在編輯期間引入了漸變時(shí)，設(shè)備50可以獲取適當(dāng)?shù)溺R頭邊界， 從而為構(gòu)造成敘述性單元提供更好的基礎(chǔ)。此外，對漸變的獲知提供 了關(guān)于視頻構(gòu)造的高級信息。例如，在DVD上的圖像數(shù)字序列的情 況下，設(shè)備50能夠?qū)⑿蛄袠?gòu)造為章和子章。具體地，在影片中，漸變 為黑色或淡出之后，又從黑色開始漸變或淡入，這通常指示"章"的 改變。此外，在體育運(yùn)動(dòng)轉(zhuǎn)播中，通常通過漸變來對慢動(dòng)作(這使得 可以檢測到比賽的感興趣階段)進(jìn)行定界。
當(dāng)然，本發(fā)明并非限定于上述的示例性實(shí)施例。具體地，本領(lǐng)域 中的技術(shù)人員可以將任何變體引入所提出的實(shí)施例，并將其組合以受 益于多種優(yōu)點(diǎn)。
權(quán)利要求
1、一種用于檢測圖像序列中的漸變的方法，所述圖像包括像素或圖像點(diǎn)，每個(gè)所述像素或圖像點(diǎn)與至少一個(gè)亮度值相關(guān)聯(lián)，其特征在于所述方法包括以下步驟-針對被稱為檢測窗口的、長度為N幅連續(xù)圖像的窗口的每幅圖像，并針對在所述檢測窗口之前的圖像，基于與每幅所述圖像的每個(gè)所述像素相關(guān)聯(lián)的亮度值，計(jì)算(10)亮度級；-針對所述檢測窗口的所述N幅圖像中的每幅圖像，基于同當(dāng)前圖像相關(guān)聯(lián)的亮度級與同所述當(dāng)前圖像之前的圖像相關(guān)聯(lián)的亮度級之差，檢測(11)漸變；以及-如果針對所述檢測窗口的至少k幅圖像已檢測到漸變，其中2≤k≤N，則由此推斷(12)所述檢測窗口存在漸變。
2、 根據(jù)權(quán)利要求l所述的方法，其特征在于，與圖像相關(guān)聯(lián)的 亮度級等于與所述圖像的每個(gè)所述像素相關(guān)聯(lián)的亮度值之和。
3、 根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述方法還 包括附加步驟(13):如果與所述檢測窗口相關(guān)聯(lián)的運(yùn)動(dòng)等級低于預(yù)定 閾值，則確認(rèn)所述檢測窗口中存在漸變。
4、 根據(jù)權(quán)利要求3所述的方法，其特征在于，與圖像相關(guān)聯(lián)的 運(yùn)動(dòng)等級等于時(shí)間活動(dòng)性與針對所述圖像而計(jì)算的空間活動(dòng)性之比， 所述時(shí)間活動(dòng)性是在所述圖像與被稱為在前圖像的在所述圖像之前的 圖像之間計(jì)算的，并且與所述判決窗口相關(guān)聯(lián)的運(yùn)動(dòng)等級等于與所述 判決窗口的最末圖像相關(guān)聯(lián)的運(yùn)動(dòng)等級。
5、 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述圖像與所述 在前圖像之間的所述時(shí)間活動(dòng)性等于同所述圖像的每個(gè)像素相關(guān)聯(lián)的 亮度值與同所述在前圖像的每個(gè)像素相關(guān)聯(lián)的亮度值之間的逐個(gè)像素 的差值的絕對值之和，并且所述圖像的空間活動(dòng)性等于與所述圖像的 每個(gè)像素相關(guān)聯(lián)的亮度值的絕對值之和。
6、 一種用于檢測圖像序列中的漸變的設(shè)備，所述圖像包括像素或圖像點(diǎn)，每個(gè)所述像素或圖像點(diǎn)與至少一個(gè)亮度值相關(guān)聯(lián)，其特征 在于，所述設(shè)備包括-計(jì)算裝置(32， 33， 34)，用于針對被稱為檢測窗口的、長度為 N個(gè)連續(xù)圖像的窗口的每幅圖像，并針對在所述檢測窗口之前的圖像， 基于與每幅所述圖像的每個(gè)所述像素相關(guān)聯(lián)的亮度值，計(jì)算亮度級；-檢測裝置(32， 33， 34)，用于針對所述檢測窗口的所述N幅圖 像中的每幅圖像，基于同當(dāng)前圖像相關(guān)聯(lián)的亮度級與同所述當(dāng)前圖像 之前的圖像相關(guān)聯(lián)的亮度級之差，檢測漸變；以及-推斷裝置(32， 33， 34)，用于在所述檢測裝置已針對所述檢測 窗口的至少k幅圖像檢測到漸變時(shí)，推斷所述檢測窗口存在漸變，其中
7、 一種視頻編碼設(shè)備(40)，其特征在于包括編碼裝置(41) 和根據(jù)權(quán)利要求6所述的用于檢測漸變的設(shè)備(30)。
8、 一種用于構(gòu)造圖像序列的設(shè)備，其特征在于包括索引裝置 (51)和根據(jù)權(quán)利要求6所述的用于檢測漸變的設(shè)備(30)。
全文摘要
本發(fā)明涉及一種用于檢測圖像序列中的漸變的方法，包括以下步驟-針對被稱為檢測窗口的、長度為N幅連續(xù)圖像的窗口的每幅圖像，并針對在所述檢測窗口之前的圖像，基于與每幅所述圖像的每個(gè)所述像素相關(guān)聯(lián)的亮度值，計(jì)算(10)亮度級；-針對所述檢測窗口的所述N幅圖像中的每幅圖像，基于同當(dāng)前圖像相關(guān)聯(lián)的亮度級與同所述當(dāng)前圖像之前的圖像相關(guān)聯(lián)的亮度級之差，檢測(11)漸變；以及-如果針對所述檢測窗口的至少k幅圖像已檢測到漸變，其中2≤k≤N，則由此推斷(12)所述檢測窗口存在漸變。
文檔編號H04N7/26GK101204093SQ200680022280
公開日2008年6月18日 申請日期2006年6月20日 優(yōu)先權(quán)日2005年6月23日
發(fā)明者盧多維克·諾布萊, 埃里克·梅西耶, 邁克爾·焦恩 申請人:湯姆森許可貿(mào)易公司