專利名稱：檢測設備、檢測方法和計算機程序的制作方法
技術領域：
本發(fā)明涉及一種檢測設備、檢測方法以及計算機程序。更具體地，本發(fā)明涉及 一 種用于以高度#r測畫面變 <匕(cut change)的檢測設備、檢測方法以及計算機程序。
背景技術：
在圖l象的分析、加密以及搜索中，乂人圖傳j全測畫面變化的 處理是有用的。這里的"畫面(cut)"指空間中連續(xù)的圖像塊(圖像片段 (image clip)),畫面變化指畫面之間的連結點，即連結不連續(xù)圖 像片段的邊界。畫面變化還被稱為鏡頭變化(shot change)、場景變化或圖 像變化點。在本說明書中，使用術語"畫面變化"。現(xiàn)有的畫面變化#r測方法包括統(tǒng)計差分法(statistical difference method)、 像素差分法(pixel difference method)、 編碼 數(shù)據(jù)法、邊緣法等。直方圖差分法(histogram difference method) 被認為是最精確的畫面變化4企測方法。直方圖差分法使用直方圖之間的差。直方圖是圖像的亮度或者顏色的分布，并且根據(jù)每個像素 的亮度灰度級或者顏色灰度級(一般采用16 ~ 64個灰度級)，通 過將投票(ballot)放入格子(bin)中來生成直方圖。由此確定圖像 的亮度或顏色出現(xiàn)的頻率的分布。直方圖差分法分為簡單直方圖差分法和分割直方圖差分法。簡單直方圖差分法計算待處理的兩幀圖像的直方圖之間的
差，作為^M介^f直(力口由Akio NAGASAKA牙口Yuzuru TANAKA在 Transactions of Information Processing Society of Japan Vol. 33, No. 4， pp. 543-550中所公開的)。在簡單直方圖差分法中，計算直方圖相應格子之間的差的 絕對值的和(以下稱之為直方圖差的絕對和)作為評價值。在分割直方圖差分法中，將兩幀中的每一幀的完整圖像分 割為預定凄史量的塊(例如，由Akio NAGASAKA和Yuzuru TANAKA在Transactions of Information Processing Society of Japan Vol. 33, No. 4, pp. 543-550中所公開的16塊)，確定每塊中 的直方圖之間的差，并且僅利用從最小差開始的預定數(shù)量的塊 來計算評價值(由Akio NAGASAKA和Yuzuru TANAKA在 Transactions of Information Processing Society of Japan Vol. 33, No. 4， pp. 543-550中所公開的，以及由John S. Boreczky， Lawrence A. Rowe在Storage and Retrieval for Image and Video Database(SPIE)(1996) pp. 170-179中發(fā)表的標題為"Comparison of Video Short Boundary Detection Techniques"的論文)。圖像畫面的變化包括由照相才幾的運動、 一皮:攝體的運動和形 狀變化所引起的變化(以下還稱為位置、姿勢和形狀的變化)、光圏(aperture stop)的變化、色彩平衡的變化、被攝體的亮度和 顏色的變化(下面還稱之為亮度和顏色變化)、以及由滾動消息 (ticker)的出現(xiàn)和快速運動物體的出現(xiàn)或消失所引起的變化(以 下還稱之為出現(xiàn)觸發(fā)的變化)。如果使用直方圖差分法，則在直方圖的生成過程中，會丟 失與要拍攝的被攝體的形狀和空間位置相關的大多數(shù)信息。將 對于畫面中最頻繁發(fā)生的位置、姿勢以及形狀變化的靈敏度控 制到低水平。因此，采用直方圖差分法的畫面變化檢測的精度 高于其它畫面變化檢測方法的精度。
在直方圖差分法中，與要拍攝的被攝體的形狀和空間位置 相關的信息的丟失所產(chǎn)生的副作用是，對于亮度和顏色變化以 及出現(xiàn)觸發(fā)的變化的靈敏度變得不必要地高。由John S. Boreczky, Lawrence A. Rowe在Storage and Retrieval for Image and Video Database(SPIE)G996) pp. 170-179 中發(fā)表的標題為"Comparison of Video Short Boundary Detection Techniques，，的論文指出，在上述畫面4全測方法中，直方圖差分 法提供了最高的檢測精度水平，并且簡單直方圖差分法提供85 %的檢測率，分割直方圖差分法提供90%的一企測率。即使具有高精度的分割直方圖差分法也還有十分之一的畫 面變化不能檢測出來，即，錯過將十分之一的畫面變化檢測為 畫面變化，或者一全測出實際上不是畫面變化的畫面變化。所達 到的精度水平不是足夠地高。參考圖1A和1B以及圖2A和2B,結合直方圖差分法，對畫 面圖像中的變化與直方圖之間的關系進行說明。圖1A和1B示出直方圖隨著整個圖像的亮度水平的變化而 變化。如圖1A和1B所示，幀F(xiàn)1和幀F(xiàn)2是4寺處理的兩幀，它們在時 間上彼此相鄰。直方圖H1和直方圖H2分別是幀F(xiàn)1和幀F(xiàn)2的整個 圖像的亮度直方圖。如圖1 A和1B所示，被攝體的形狀和空間位置在幀F(xiàn)l與幀F(xiàn)2 之間通常保持不變。整個圖像的亮度降低。與直方圖H1相比， 直方圖H2通常被左移(向較低亮度值移位)。應該將幀F(xiàn)1與幀F(xiàn) 2之間圖像的變化看作畫面圖像的變化。 利用簡單直方圖差分法，如果直方圖H1與直方圖H2之間的差高 于預定閾值，則幀F(xiàn)l與幀F(xiàn)2之間的點可能被錯誤地當作畫面變 化。
利用分割直方圖差分法，如果整個圖像的亮度發(fā)生變化，則在幀F(xiàn)1與幀F(xiàn)2之間所有塊的每個直方圖發(fā)生變化，畫面變化也可能被錯誤地檢測為畫面變化。圖2A和2B示出在滾動消息出現(xiàn)的情況下的直方圖。 如圖2A和2B所示，幀F(xiàn)11和幀F(xiàn)12是4寺處理的兩幀，它們在時間上彼此相鄰。直方圖H11和直方圖H12是幀F(xiàn)11和幀F(xiàn)12的整個圖像的亮度直方圖。在圖2A和2B中，幀F(xiàn)11和幀F(xiàn)12的圖像之間的變化主要是突 然出現(xiàn)的滾動消息。與直方圖H11相比，直方圖H12包括與滾動 消息區(qū)域相對應的格子，而不包括與被滾動消息區(qū)域覆蓋的區(qū) 域相對應的纟各子。幀F(xiàn)11和幀F(xiàn)12的圖 <象之間的變4匕應該#1看作畫面內的變 化。如果在簡單直方圖差分法的情況下，直方圖H11和直方圖 H12之間的差大于預定閾值，則幀F(xiàn)11和幀F(xiàn)12之間的切換點可 能被錯誤地檢測為畫面變化。如果采用分割直方圖差分法，則滾動消息的塊之外的各塊 的直方圖之間的差是小的。如果在計算評價值時采用的塊數(shù)少， 則幀F(xiàn)11和幀F(xiàn)12的圖像之間的變化被識別為不是畫面變化。該 變化不可能被錯誤地檢測為畫面變化。根據(jù)分割直方圖差分法，在計算評價值時使用從最小的直 方圖之間的差開始的預定數(shù)量的塊。由于部分地使用與被攝體 的形狀和空間位置相關的信息，因而與簡單直方圖差分法相比， 提高了畫面變化精度水平。如果整個圖像的亮度如圖1A和1B 所示發(fā)生變化，或者如果被攝體以高速移動穿過各塊之間的邊 界，則錯誤畫面檢測的可能性提高。利用直方圖差分法(分割直方圖差分法和簡單直方圖差分 法)，可能將亮度的微小變化錯誤地檢測為畫面變化。
參考圖3~圖5A和5B,說明亮度的微小變化與直方圖差分 法中的直方圖之間的關系。圖3示出正確;險測到畫面變化的直方圖的變化。如圖3所示，幀F(xiàn)31 ~幀F(xiàn)33示出了在時間上連續(xù)的一系列 圖#^。以幀F(xiàn)31開始， 一次連續(xù)處理兩幀，以;險測畫面變化。 更具體地，處理幀F(xiàn)31和幀F(xiàn)32,然后處理幀F(xiàn)32和幀F(xiàn)33。直方圖H31 ~ H33分別是幀F(xiàn)31 ~幀F(xiàn)33的亮度直方圖。如圖3所示，幀F(xiàn)31和幀F(xiàn)32的圖像之間的變化主要是由作 為被攝體的移動的人引起的。直方圖H31的分布與直方圖H32 的分布基本相同。計算直方圖H 31與直方圖H 3 2之間的直方圖差的絕對和，作 為直方圖H31與直方圖H32之間的差。直方圖差的絕對和足夠 小。由于直方圖H31與直方圖H32之間的差足夠小，因而幀F(xiàn)31 與幀F(xiàn) 3 2之間的變化#L正確識別為不是畫面變4匕。相反，幀F(xiàn)32中的被攝體(人)與幀F(xiàn)33中的被攝體(山)大不相 同。直方圖H32才及大地不同于直方圖H33。計算直方圖H32與直方圖H33之間的直方圖差的絕對和，作 為直方圖H32與直方圖H33之間的差。直方圖差的絕對和足夠 大。由于直方圖H32與直方圖H33之間的差足夠大，因而幀F(xiàn)32 與幀F(xiàn)33之間的差別:帔正確識別為畫面變4匕。圖4示出亮度發(fā)生微小變化的直方圖。如圖4所示，幀F(xiàn)41 ~幀F(xiàn)45是在時間上連續(xù)的一系列圖像。 以幀F(xiàn)41開始，每兩個連續(xù)的幀一皮處理，以4全測畫面變化。首 先，處理幀F(xiàn)41和幀F(xiàn)42，然后，處理幀F(xiàn)42和幀F(xiàn)43。隨后，順 序處理每兩個連續(xù)的幀。直方圖H41 ~直方圖H45分別是幀F(xiàn)41 ~幀F(xiàn)45的亮度直方圖。
幀F(xiàn)41 ~ F45是單色圖像，而且整個圖像的亮度是均勻的。如圖4所示，直方圖的格子數(shù)量是64,每個格子具有四個灰 度級的寬度。例如，格子邊界存在于第76個灰度級與第77個灰 度級之間以及第80個灰度級與第81個灰度級之間。幀F(xiàn)41 ~ F45 在亮度發(fā)生微小變化的情況下具有亮度值73、 75、 77、 79和81。 整個圖〗象的亮度逐漸增加。由于幀F(xiàn)41 F45的每個幀的整個圖 像的亮度保持不變，因而在直方圖H41 ~ H45的每個直方圖中， 出現(xiàn)頻率集中于一個格子中。出現(xiàn)頻率集中于特定格子上的部 分被稱為直方圖峰值。幀F(xiàn)41 ~ F45的變化，即;隊小的亮度變化是畫面內的變化， 而不是畫面變4匕。幀F(xiàn)43具有略微高于幀F(xiàn)42的亮度值75的亮度值77。整個圖 像的亮度跨越亮度值76與亮度值77之間的格子邊界。在直方圖 H43中，使直方圖峰值移位到位于直方圖H42的格子右側的格 子。直方圖H42與直方圖H43之間的直方圖差的絕對值變?yōu)樽?大，并且?guī)現(xiàn)42與幀F(xiàn)43之間的切換點可能被4晉誤地檢測為畫面 變化。幀F(xiàn)45的整個圖像的亮度從幀F(xiàn)44的水平79略微地增加到 水平81。整個圖像的亮度升高到超過亮度值80與亮度值81之間 的格子邊界。在直方圖H45中，直方圖峰值移位到位于直方圖 H44的格子右側的格子。直方圖H44與直方圖H45之間的直方圖 差的絕對值變?yōu)樽畲?，并且?guī)現(xiàn) 4 4與幀F(xiàn) 4 5之間的切換點可能凈皮 錯誤地;險測為畫面變化。在處理單色圖像時，通常會錯誤地檢測到畫面變化。即使 在處理多色普通圖像時，如果響應于亮度或者顏色的微小變化 而移位越過格子邊界的直方圖峰值引起格子的像素數(shù)量的巨大 變化，則會進行錯誤檢測。隨著待處理的兩幀之間的亮度或顏 色的微小變化，在兩個圖像的直方圖之間發(fā)生變化。這樣導致 畫面變化的檢測精度降低。日本特開2006-121274號公報提出了 一種技術。根據(jù)所公開 的技術，使全部兩個圖像的亮度的平均值相等，以使這兩個圖 像的直方圖沿亮度軸移位(以下將該處理稱為直方圖移位)。在 直方圖移位后，計算直方圖之間的差。根據(jù)該技術，在直方圖 移位之后，直方圖基本上具有相同的形狀且位于相同的位置。 消除了直方圖之間的變化，使錯誤檢測得到控制。在如圖5A和5B所示的情況下，可能發(fā)生錯誤檢測。圖5A 和5 B示出在該圖像的左半部分和右半部分均發(fā)生微小變化時 發(fā)生的直方圖的變化。如圖5A和5B所示，幀F(xiàn)51和幀F(xiàn)52是在時間上連續(xù)的兩個圖 像。直方圖H51和H52分別是幀F(xiàn)51和幀F(xiàn)52的亮度直方圖。幀F(xiàn)51和幀F(xiàn)52各自的左半部分和右半部分都是單色圖像。如圖5A和5B所示，直方圖的格子數(shù)量是64，格子寬度是4 個灰度級。格子邊界可以在第76個灰度級與第77個灰度級之間 和第80個灰度級與第81個灰度級之間。幀F(xiàn)51的左半部分和右半部分的亮度值分別是75和81。幀 F52的左半部分和右半部分的亮度值分別是77和83。幀F(xiàn)51在包 括亮度值75和亮度值81的格子內具有直方圖峰值，幀F(xiàn)52在包 括亮度值77和亮度值83的格子內具有直方圖峰值。幀F(xiàn)51和幀F(xiàn)52的圖像之間的變化，即亮度的微小變化是畫 面內的變化。幀F(xiàn)51和幀F(xiàn)52之間的邊界不是畫面變化。幀F(xiàn)52的左半部分的亮度從幀F(xiàn)51的左半部分的亮度值75 略微增大到亮度值77。圖像的左半部分的亮度跨越亮度值76與 亮度值77之間的格子邊界。幀F(xiàn)52的右半部分的亮度從幀F(xiàn)51的 右半部分的亮度值81略微增大到亮度值83,但是圖像的亮度不 會跨越格子邊界。在直方圖H51與直方圖H52之間，僅左側直方 圖峰值穿過亮度值76與亮度值77之間的格子邊界移位到位于其 右側的格子。結果，如果直方圖H51與直方圖H52之間的直方圖 差的絕對和達到了預定閾值，則幀F(xiàn)51和幀F(xiàn)52的圖像之間的變 化有可能纟皮錯誤地一全測為畫面變化。如果直方圖的形狀響應于亮度的微小變化而變化，則單獨 的直方圖移位不能消除直方圖之間的變化。更具體地，如果圖 像的變化比圖4所示的變化復雜，則直方圖移位的有效性喪失。曰本特開2004-282318號公報公開了一種生成直方圖的技 術。根據(jù)所公開的技術，不僅將投票放入相應的格子中，而且 還以預定比例將投票放入與相應的格子相鄰的才各子中。如果與直方圖的格子寬度相比，整個圖像的亮度的變化小， 則這種技術緩和了直方圖之間的變化。如果整個圖像的亮度的 變化相對于格子寬度不能忽略不計，則不能通過將投票放入相 鄰格子中來消除直方圖之間的變化。直方圖差分法難以減少由亮度或者顏色的微小變化所引起 的畫面變化的錯誤檢測。通常在相鄰圖像之間發(fā)生畫面變化，并將該畫面變化稱為 標準畫面變化。相反，當兩個畫面在前后圖像的混合內連結時， 可能發(fā)生畫面變化。這種畫面變化^f皮稱為混合畫面變化。在標準畫面變化的檢測中，計算待處理的兩個圖像之間的 相似度作為評價值。如果相似度低于預定閾值，即，如果非相 似度高于預定閾值，則這兩個圖像之間的變化被確定為畫面變 化。利用這種方法，難以準確檢測混合畫面變化。圖6示出標準 畫面變化。幀F(xiàn)61 ~幀F(xiàn)63是在時間上連續(xù)的一系列圖像。以幀 F61開始，處理每兩個幀以一企測畫面變^f匕。更具體地i兌，處理
幀F(xiàn)61和幀F(xiàn)62，然后處理幀F(xiàn)62和幀F(xiàn)63。如圖6所示，具有作為被攝體的人的幀F(xiàn)61與具有作為被攝 體的房屋的幀F(xiàn) 6 2之間的相似度低。如果該相似度低于預定閾 值，則將幀F(xiàn)61和幀F(xiàn)62的圖像之間的變化確定為標準畫面變 化。具有作為被攝體的房屋的幀F(xiàn)62與具有作為被攝體的房屋 的幀F(xiàn)63之間的相似度高。如果該相似度高于預定閾值，則該 變化一皮確定為不是畫面變化。圖7示出混合畫面變化。如圖7所示，幀F(xiàn)71 幀F(xiàn)73是在時 間上連續(xù)的一系列圖像。以幀F(xiàn)71開始，處理每兩個連續(xù)圖像。 例如，處理幀F(xiàn)71和幀F(xiàn)72,然后處理幀F(xiàn)72和幀F(xiàn)73。具有作為被攝體的人和房屋的幀F(xiàn)72是具有作為被攝體的 人的幀F(xiàn) 71和具有作為被攝體的房屋的幀F(xiàn) 7 3的混合圖像。兩個 畫面在幀F(xiàn)72內連結。因此，幀F(xiàn)72是混合畫面變化。當在相同圖像場(field)之間發(fā)生畫面變化時(下面稱之為場 畫面變化)，當通過圖像濾波器使連續(xù)圖像混合時，當在加密或 解密期間使連續(xù)圖像混合時，或者當在編輯期間使連續(xù)圖像混 合時，會發(fā)生這種混合畫面變化。如圖7所示，幀F(xiàn)72包含類似于幀F(xiàn)71和幀F(xiàn)73的部分，并且 幀F(xiàn)72與幀F(xiàn)71和幀F(xiàn)73都具有高相似度?；趦蓚€連續(xù)圖像之 間的相似度檢測畫面變化的方法難以檢測到混合畫面變化。日本特開2000-295624號公報公開了 一種將場畫面變化檢 測為混合畫面變化之一的技術。根據(jù)所公開的技術，基于每三 個幀中的每個第二幀被跳過的兩幀之間的相似度，而不是基于 兩個連續(xù)幀之間的相似度，來檢測畫面變化。如果每幀中的圖像快速移動，則日本特開2000-295624號公 報公開的技術難以檢測到畫面變化。如圖8所示，幀F(xiàn)81 ~ F83是在時間上連續(xù)的 一 系列圖像， 并且它們表示人離開房屋向左行走的場景。幀F(xiàn)81 ~ F83示出在 畫面上快速向左移動的人。沒有發(fā)生畫面變化。如圖8所示，在圖像中具有作為被攝體的整個人的圖像和房 屋的左側部分的幀F(xiàn)81與在圖像中具有作為^皮攝體的整個人的 圖像和房屋的更多左側部分的幀82之間的相似度高。幀F(xiàn)82與 具有作為被攝體的人的圖像的右半部分和整個房屋圖像的幀 F83之間的相似度高。由于人快速移動，所以在圖像中具有作 為被攝體的整個人的圖像和房屋的左側部分的幀F(xiàn)81與具有作 為被攝體的人的圖像的右半部分和整個房屋圖像的幀F(xiàn)83之間 的相似度低。根據(jù)日本特開2000-295624號公報所公開的技術，可以對每 三個幀(幀F(xiàn)81 ~ F8"中的每個第二幀(幀F(xiàn)8^被跳過的的兩幀 (例如，幀F(xiàn)81和F83)進行畫面變化檢測。由于幀F(xiàn)81與幀F(xiàn)83之 間的相似度低，所以貫穿幀F(xiàn)81 ~ F83的變化可能被錯誤地識別 為混合畫面變4匕。日本特開2002-64823號公報公開了 一種利用加密數(shù)據(jù)進行 場畫面變化^r測的技術。然而，該技術采用對特定加密方法的 加密圖像唯一的特征量，因此，該技術只能應用于利用該加密 方法加密后的圖像。日本特開2000-324499號公報公開了另 一種用于檢測畫面 變化的技術。所7>開的4支術允許以;波此不同的標準畫面變化和 場畫面變化來4全測畫面變化。根據(jù)所公開的技術，確定待處理 的兩個圖像上的相應像素之間的差，對差的絕對值求和(以下稱 之為差的絕對和)，并且確定差的絕對和的和之間的差。該技術 也難以以高精度水平4全測混合畫面變化(包括場畫面變化)。

發(fā)明內容
現(xiàn)有技術難以準確;險測畫面變化。而且，由于在當前廣播 服務中，滾動消息被頻繁地插入到圖像中，因而準確檢測畫面 變化變得更加困難。需要一種以較高精度檢測畫面變化的方法。 因此，希望提供一種高精度畫面變化;險測方法。 根據(jù)本發(fā)明的實施例，用于使計算機基于第一圖像與第二 圖像之間的相似度#企測畫面變化的計算才幾程序和方法其中之一包括以下步驟直方圖生成步驟，用于生成所述第一圖像和所 述第二圖像各自的亮度直方圖和顏色直方圖其中之一；空間相 關圖像生成步驟，用于生成表示所迷第一圖像和所述第二圖像 的空間布局之間的相關性的空間相關圖像；直方圖相似度計算 步驟，用于計算表示所述第一圖像的直方圖與所述第二圖像的 直方圖之間的相似度的直方圖相似度；空間相關圖像相似度計 算步驟，用于計算表示所述第一圖像的空間相關圖像與所述第 二圖像的空間相關圖像之間的相似度的空間相關圖像相似度； 以及判斷步驟，用于基于所述直方圖相似度和所述空間相關圖 像相似度，判斷所述第 一 圖像與所迷第二圖像之間的邊界是否 是畫面變化。該計算機程序可以進一 步包括計算平均相似度的步驟，所 述平均相似度是在所述直方圖相似度計算步驟中計算出的多個 相鄰幀的圖像的直方圖相似度的平均和在所述空間相關圖像相 似度計算步驟中計算出的多個相鄰幀的圖像的空間相關圖像相 似度的平均中的至少一個，其中，所述判斷步驟包括基于所 述直方圖相似度、所述空間相關圖像相似度以及所述平均相似 度，判斷所述第 一 圖像與所述第二圖像之間的邊界是否是畫面 變化。該計算機程序可以進一 步包括計算相鄰平均顏色的步驟，
所述相鄰平均顏色是與所述第 一 圖像相鄰的多個幀的圖像的亮度或者顏色的平均，其中，所述判斷步驟包括基于所述直方 圖相似度、所述空間相關圖像相似度以及所述相鄰平均顏色， 判斷所述第 一 圖像與所述第二圖像之間的邊界是否是畫面變化。該計算機程序可以進一步包括以下步驟生成所述第一圖 像和所述第二圖像各自的亮度和顏色其中之一的精細直方圖； 通過對所述精細直方圖進行濾波，計算特征分布；計算所述第 一圖像的特征分布與所述第二圖像的特征分布之間的相似度； 提取與所述第 一 圖像和所述第二圖像不同的第三圖像的特征； 計算所述第 一 圖像、所述第二圖像以及所述第三圖像中的兩個 圖像之間的相似度；生成所述第一圖像、所述第二圖像以及所 述第三圖像各自的縮小圖像；生成所述第一圖像的縮小圖像和 所述第三圖像的縮小圖像的合成圖像；以及計算所述合成圖像 與所述第二圖像的縮小圖像之間的相似度，其中，所述判斷步 驟包括基于所述特征分布之間的相似度、所述第一圖像、所 述第二圖像和所述第三圖像中的兩個圖像之間的相似度以及所述合成圖像與所述第二圖像的縮小圖像之間的相似度，判斷所 述第一圖像與所述第二圖像之間的邊界是否是畫面變化。根據(jù)本發(fā)明的一個實施例， 一種基于第一圖像與第二圖像 之間的相似度檢測畫面變化的設備包括用于生成所述第一圖 像和所述第二圖像各自的亮度直方圖和顏色直方圖其中之一的 單元；用于生成表示所述第一圖像與所述第二圖像的空間布局 之間的相關性的空間相關圖像的單元；用于計算表示所述第一 圖像的直方圖與所述第二圖像的直方圖之間的相似度的直方圖 相似度的單元；用于計算表示所述第一圖像的空間相關圖像與 所述第二圖像的空間相關圖像之間的相似度的空間相關圖像相 似度的單元；以及用于基于所述直方圖相似度和所述空間相關圖像相似度，判斷所述第一圖像與所述第二圖像之間的邊界是否是畫面變化的單元。根據(jù)本發(fā)明的實施例，生成第一圖像和第二圖像各自的亮 度直方圖和顏色直方圖其中之一。生成作為表示第一圖像和第 二圖像的空間布局之間的相關性的圖像的空間相關圖像。計算 作為第 一 圖像的直方圖與第二圖像的直方圖之間的相似度的直 方圖相似度。計算作為第一圖像的空間相關圖像與第二圖像的 空間相關圖像之間的相似度的空間相關圖像相似度?；谥狈?圖相似度和空間相關圖像相似度，判斷第一圖像與第二圖像之 間的邊界是否是畫面變化。根據(jù)本發(fā)明的實施例，可以以高精度4全測畫面變化。


圖1A和1B示出整個圖像的亮度水平發(fā)生變化的直方圖；圖2A和2B示出響應于滾動消息的出現(xiàn)而引起的直方圖的 變化；圖3示出響應于畫面變化而引起的直方圖的變化； 圖4示出響應于亮度的微小變化而引起的直方圖的變化； 圖5A和5B示出響應于每幀的左半部分和右半部分亮度的 微小變化而引起的直方圖的變化； 圖6示出標準畫面變化的示例； 圖7示出混合畫面變化的示例； 圖8示出快速移動的被攝體的示例； 圖9是示出根據(jù)本發(fā)明 一 個實施例的檢測設備的框圖； 圖IO是示出根據(jù)本發(fā)明 一個實施例的畫面變化檢測器的框圖ll是示出畫面變化檢測處理的流程圖；圖12是示出根據(jù)本發(fā)明 一個實施例的第 一處理器的框圖；圖13是示出第一處理的流程圖；圖14是示出根據(jù)本發(fā)明 一個實施例的第 一處理器的功能框圖；圖15是示出圖14的第一處理器的第一處理的流程圖；圖16是示出根據(jù)本發(fā)明 一 個實施例的第 一 處理器的功能框圖；圖17是示出圖16的第一處理器的第一處理的流程圖；圖18是示出根據(jù)本發(fā)明 一 個實施例的第 一 處理器的功能框圖；圖19是示出圖18的第一處理器的第一處理的流程圖； 圖20示出原始圖像；圖21A ~ 21C示出直方圖、濾波圖像以及馬賽克圖像 (mosaic image);圖22示出生成濾波圖像的濾波器的濾波特性；圖23A ~ 23C示出直方圖的重疊率(overlapping rate);圖2 4是示出用于計算圖像的相似度的相似度計算處理的流程圖；圖25示出用于搜索最大相關值的搜索操作； 圖26是示出用于計算馬賽克圖像的相似度的相似度計算處 理的流程圖；圖27A 27C示出匹配像素的計數(shù)；圖28是示出根據(jù)本發(fā)明 一 個實施例的判斷器(determiner)的框圖；圖29是示出圖28的判斷器的判斷處理的流程圖；圖30是示出根據(jù)本發(fā)明 一個實施例的判斷器的功能框圖； 圖31是示出圖30的判斷器的判斷處理的流程圖；圖32是示出根據(jù)本發(fā)明 一個實施例的第 一處理器的功能框圖；圖33是示出圖32的第 一處理器的第 一處理的流程圖；圖34是示出根據(jù)本發(fā)明 一個實施例的第 一處理器的功能框圖；圖35是示出圖34的第 一處理器的第 一處理的流程圖；圖36是示出根據(jù)本發(fā)明 一個實施例的第二處理器的框圖；圖37是示出圖36的第二處理器的第二處理的流程圖；圖38示出精細直方圖和特征分布的變化；圖3 9示出低通濾波器的頻率響應特性；圖40A 40C示出非線性濾波器的濾波處理；圖41是示出根據(jù)本發(fā)明 一 個實施例的相似度計算器的框圖；圖42是示出圖37的步驟S404中的相似度計算處理的流程圖；圖43示出樣本之間的對應關系；圖44是示出根據(jù)本發(fā)明一個實施例的第三處理器的框圖； 圖45是示出第三處理器的第三處理的流程圖； 圖46示出合成圖像的生成；圖47是示出圖44的判斷器的判斷處理的流程圖；圖48A ~ 48G示出圖像圖案與畫面變化之間的關系；圖49示出相似度l 、相似度2以及畫面變化的判斷結果的關系；圖50是示出根據(jù)本發(fā)明 一 個實施例的圖10的判斷器的功能框圖；圖51是示出根據(jù)本發(fā)明 一個實施例的圖10的判斷器的功能
框圖；以及圖52示出畫面變化^r測的性能評^介。
具體實施方式
在說明本發(fā)明實施例之前，下面論述本發(fā)明的特征與本發(fā) 明的說明書或附圖中公開的實施例之間的對應關系。該聲明旨 在確保在說明書或者附圖中描述了支持所附權利要求的實施 例。因此，即4吏在本說明書或者附圖中描述了實施例，但該實 施例在此沒有被描述為與本發(fā)明的特征相關，這并不必然意味 著該實施例與本發(fā)明的該特征無關。相反地，即使實施例在此 被描述為與本發(fā)明的特定特征相關，這并不意味著該實施例與 本發(fā)明的其它特征無關。根據(jù)本發(fā)明的實施例，用于使計算機基于第 一 圖像與第二 圖像之間的相似度檢測畫面變化的計算機程序和方法其中之一 包括以下步驟直方圖生成步驟，用于生成所述第一圖像和所 述第二圖像各自的亮度直方圖和顏色直方圖其中之一(例如，在 圖13的步驟S31);空間相關圖像生成步驟，用于生成表示所述 第 一 圖像和所述第二圖像的空間布局之間的相關性的空間相關 圖像(例如，在圖13的步驟S32);直方圖相似度計算步驟，用于 計算表示所述第一圖像的直方圖與所述第二圖像的直方圖之間的相似度的直方圖相似度(例如，在圖13的步驟S34);空間相關 圖像相似度計算步驟，用于計算表示所述第一圖像的空間相關 圖像與所述第二圖像的空間相關圖像之間的相似度的空間相關 圖像相似度(例如，在圖13的步驟S35);以及判斷步驟，用于基 于所述直方圖相似度和所述空間相關圖像相似度，判斷所述第 一圖像與所述第二圖像之間的邊界是否是畫面變化(例如，在圖 11的步驟S5)。
該計算機程序可以進一 步包括計算平均相似度的步驟(例如，在圖33的步驟S248),所述平均相似度是在所述直方圖相似 度計算步驟中計算出的多個相鄰幀的圖像的直方圖相似度的平均和在所述空間相關圖像相似度計算步驟中計算出的多個相鄰 幀的圖像的空間相關圖像相似度的平均中的至少 一個，其中， 所述判斷步驟包括基于所述直方圖相似度、所述空間相關圖 像相似度以及所述平均相似度，判斷所述第一圖像與所述第二 圖像之間的邊界是否是畫面變化。該計算機程序可以進一 步包括計算相鄰平均顏色的步驟 (例如，在圖35的步驟S269),所述相鄰平均顏色是與所述第一 圖像相鄰的多個幀的圖像的亮度或者顏色的平均，其中，所述 判斷步驟包括基于所述直方圖相似度、所述空間相關圖像相 似度以及所述相鄰平均顏色，判斷所述第一圖像與所述第二圖 像之間的邊界是否是畫面變化。該計算機程序可以進一步包括以下步驟生成所述第一圖 像和所述第二圖像各自的亮度和顏色其中之一的精細直方圖 (例如，在圖37的步驟S401);通過對所述精細直方圖進行濾波， 計算特征分布(例如，在圖37的步驟S402);計算所述第一圖像的特征分布與所述第二圖像的特征分布之間的相似度(例如，在 圖37的步驟S404);提取與所述第 一 圖像和所述第二圖像不同的 第三圖像的特征(例如，在圖45的步驟S601);計算所述第一圖 像、所述第二圖像以及所述第三圖像中的兩個圖像之間的相似 度(例如，在圖45的步驟S602);生成所述第一圖像、所述第二 圖像以及所述第三圖像各自的縮小圖像(例如，在圖45的步驟 S603);生成所述第 一 圖像的縮小圖像和所述第三圖像的縮小圖 像的合成圖像(例如，在圖45的步驟S604);以及計算所述合成 圖像與所述第二圖像的縮小圖像之間的相似度(例如，在圖4 5
的步驟S605)，其中，所述判斷步驟包括基于所述特征分布之間的相似度、所述第一圖像、所述第二圖像和所述第三圖像中 的兩個圖像之間的相似度以及所述合成圖像與所述第二圖像的 縮小圖像之間的相似度，判斷所述第一圖像與所述第二圖像之 間的邊界是否是畫面變化。根據(jù)本發(fā)明的一個實施例， 一種基于第一圖像與第二圖像之間的相似度檢測畫面變化的設備(例如，圖9的個人計算機1) 包括用于生成所述第一圖像和所述第二圖像各自的亮度直方 圖和顏色直方圖其中之一的單元(例如，圖12的直方圖生成器 101);用于生成表示所述第一圖像與所述第二圖像的空間布局 之間的相關性的空間相關圖像的單元(例如，圖12的空間相關圖 像生成器102);用于計算表示所述第一圖像的直方圖與所述第 二圖像的直方圖之間的相似度的直方圖相似度的單元(例如，圖 12的直方圖相似度計算器104);用于計算表示所述第一圖像的 空間相關圖像與所述第二圖像的空間相關圖像之間的相似度的 空間相關圖像相似度的單元(例如，圖12的空間相關圖像相似度 計算器105);以及用于基于所述直方圖相似度和所述空間相關 圖像相似度，判斷所述第一圖像與所述第二圖像之間的邊界是 否是畫面變化的單元(例如，圖10的判斷器64)。 下面，參考

本發(fā)明的實施例。 圖9是示出根據(jù)本發(fā)明一個實施例的檢測設備的框圖。 如圖9所示，作為檢測設備的個人計算才幾l包括中央處理 單元(CPU)21 、只讀存儲器(ROM)22、隨機存取存儲器(RAM)23 、 總線24、輸入輸出接口25、輸入單元26、輸出單元27、存儲單 元28、通信單元29、驅動器30以及可移動介質31。總線24與CPU21、 ROM 22、 RAM 23以及輸入輸出接口 25 相連接。輸入輸出接口25依次與總線24、輸入單元26、輸出單 元27、存儲單元28、通信單元29以及驅動器30相連接。CPU 21根據(jù)存儲在R0M 22和存儲單元28其中之一上的程 序，進行各種處理。響應于從輸入單元26輸入的指令，CPU21 進行各種處理并且將處理結果輸出到輸出單元27。 ROM 22存儲CPU 21要執(zhí)行的程序。RAM 23存儲CPU 21要執(zhí)行的程序和必要的數(shù)據(jù)。RAM 23 還包括用于臨時存儲從外部輸入的圖像的緩沖器。 輸入單元26包括鍵盤、鼠標、麥克風等。 輸出單元27包括顯示器、揚聲器等。包括硬盤的存儲單元28存儲CPU 21要執(zhí)行的程序和各種數(shù)據(jù)。通過例如因特網(wǎng)或局域網(wǎng)等的網(wǎng)絡，通信單元29與外部裝 置進行通信?？梢酝ㄟ^通信單元29獲取程序，然后，將該程序存儲在存 儲單元28上。當裝載例如磁盤、光盤、磁光盤或者半導體存儲器等的可 移動介質31時，驅動器30驅動所裝載的介質，獲取存儲在該介 質上的程序和數(shù)據(jù)。必要時，將所獲取的程序和數(shù)據(jù)傳送到存 儲單元28進行存儲。用于存儲安裝在計算機上并且準備由計算機運行的程序的 程序記錄介質包括可移動介質31?？梢苿咏橘|31是包括磁盤(包 括軟盤)、光盤(例如，壓縮光盤只讀存儲器(CD-ROM)或數(shù)字通 用光盤(DVD))、磁光盤以及半導體存儲器在內的封裝介質中的利用包括局域網(wǎng)、因特網(wǎng)和數(shù)字廣播衛(wèi)星的有線或者無線通信 介質，通過例如路由器和調制解調器等的通信單元29,將程序 存儲在程序記錄介質上。
個人計算機1通過執(zhí)行存儲在R0M 22和存儲單元28其中之 一上的程序，發(fā)揮畫面變化檢測器51的功能。圖IO是示出由個人計算機l的軟件結構構造的畫面變化檢 測器51的框圖。如圖IO所示，畫面變化檢測器51通過從RAM 23的緩沖器讀 取圖像，從外部接收該圖像，并且進行畫面變化#全測處理。畫面變化檢測器51包括第一處理器61、第二處理器62、 第三處理器63以及判斷器64。第一處理器61、第二處理器62和第三處理器63中的每一個 接收輸入到畫面變化檢測器51的圖像數(shù)據(jù)。響應于提供的圖像數(shù)據(jù)，第 一 處理器61進行稍后說明的第 一處理，并且將由此產(chǎn)生的第 一相似度提供給判斷器64。響應于提供的圖像數(shù)據(jù)，第二處理器62進行稍后說明的第 二處理，并且將由此產(chǎn)生的第二相似度提供給判斷器6 4 。響應于提供的圖像數(shù)據(jù)，第三處理器63進行稍后說明的第 三處理，并且將由此產(chǎn)生的第三相似度提供給判斷器64。響應于第一處理器61提供的第一相似度、第二處理器62提 供的第二相似度以及第三處理器63提供的第三相似度，判斷器 64進行稍后說明的判斷處理。下面，參考圖ll所示的流程圖說明圖IO的畫面變化檢測器 51的畫面變化#全測處理。當用戶發(fā)出開始命令以開始進行畫面變化檢測處理時，啟 動畫面變化纟全測處理。在步驟Sl,畫面變化檢測器51中的第一處理器61、第二處 理器62和第三處理器63從RAM 23的緩沖器接收圖像數(shù)據(jù)。將畫面變化檢測器51接收到的最近三幀按時間順序稱為第 二最近幀、第一最近幀和當前幀。
在步驟S2，第一處理器61對之前剛接收到的兩幀，即第一最近幀和當前幀，進行第一處理，然后，將由此產(chǎn)生的的第一相似度提供給判斷器64。在第一處理中，從直方圖和空間相關 圖像來計算相似度。稍后，參考圖12~ 35詳細說明第一處理。在步驟S3，第二處理器62對之前剛接收到的兩幀，即第一 最近幀和當前幀，進行第二處理，然后，將由此產(chǎn)生的第二相 似度提供給判斷器64。在第二處理中，通過對特征分布進行間 取(decimate),獲得相似度。稍后，參考圖36 ~ 43詳細說明第二 處理。在步驟S4，第三處理器63對之前剛接收到的三幀，即第二 最近幀、第一最近幀和當前幀，進行第三處理。第三處理器63 將由此產(chǎn)生的第三相似度提供給判斷器64。在第三處理中，利 用由合成縮小圖像產(chǎn)生的圖像，計算相似度。稍后，參考圖44~ 51詳細說明第三處理。實際上，可并行執(zhí)行步驟S2 ~ S4中的第 一處理~第三處理。在步驟S5，判斷器64基于第一處理器61提供的第一處理的 相似度、第二處理器62提供的第二處理的相似度以及第三處理 器63提供的第三處理的相似度，進行判斷處理。判斷器64對在 第一處理~第三處理中確定的相似度進行整合，從而最終判斷 目標幀是否是畫面變化。稍后，參考圖28~ 31詳細說明判斷處 理。在步驟S6，判斷器64參考RAM 23的緩沖器，并且判斷是 否可獲得下一幀。如果在步驟S6中判斷為可獲得下一幀，則處 理返回步驟S1，以重復上述處理。如果在步驟S6中判斷為不能獲得下一幀，則畫面變化檢測 處理結束。
下面詳細說明第一處理。圖12是示出根據(jù)本發(fā)明一個實施例的圖10的第一處理器61的框圖。如圖12所示，第一處理器61包括直方圖生成器101、空間相 關圖像生成器102、緩沖器103、直方圖相似度計算器104以及空 間相關圖像相似度計算器105 。直方圖生成器101接收在第一處理器61的第一處理中處理 的第 一最近幀和當前幀的圖像數(shù)據(jù)。直方圖生成器101生成第一最近幀和當前幀各自的亮度直 方圖和顏色直方圖其中之一，然后，將所生成的亮度直方圖和 顏色直方圖其中之一提供給緩沖器103。亮度直方圖包括用于亮度信號(Y信號)的Y圖像直方圖，顏 色直方圖包括用于與紅色、綠色以及藍色(RGB)信號對應的R 圖像、G圖像和B圖像的直方圖。通常，顏色直方圖允許以較高精度4全測畫面變化?？臻g相關圖像生成器102接收在第 一 處理器61的第 一 處理 中處理的第 一最近幀和當前幀。空間相關圖像生成器102生成表示第 一 最近幀與當前幀的 空間布局之間的相關性的空間相關圖像，然后，將該空間相關 圖像提供給緩沖器103。緩沖器103存儲直方圖生成器101提供的第一最近幀和當前 幀的直方圖，同時，還存儲空間相關圖像生成器102提供的第一 最近幀和當前幀的空間相關圖^f象。直方圖相似度計算器104從緩沖器103讀取第一最近幀和當 前幀的直方圖，計算第一最近幀和當前幀的直方圖之間的相似 度，然后，將由此產(chǎn)生的直方圖相似度提供給判斷器64?？臻g相關圖像相似度計算器105從緩沖器103讀取第 一最近 幀和當前幀的空間相關圖像，計算第 一最近幀的空間相關圖像 與當前幀的空間相關圖像之間的空間相關圖像相似度，然后， 將由此產(chǎn)生的空間相關圖像相似度提供給判斷器64。下面，參考圖13的流程圖對圖12的第一處理器61的第一處 理進4iS兌明。直方圖生成器101接收在第一處理器61的第一處理中處理 的第一最近幀和當前幀的圖像數(shù)據(jù)。在步驟S31，直方圖生成 器101生成所提供的第 一 最近幀和當前幀的圖像數(shù)據(jù)的直方圖。空間相關圖像生成器10 2接收在第 一 處理器61的第 一 處理 中處理的第一最近幀和當前幀的圖像數(shù)據(jù)。在步驟S32,空間 相關圖像生成器102生成表示第一最近幀和當前幀的空間布局 之間的相關性的空間相關圖像。直方圖和空間相關圖像是表示原始圖像的特征的特征量。 步驟S31和S32是特征量提取處理。在步驟S33，緩沖器103存儲直方圖生成器101提供的第一 最近幀和當前幀的直方圖，同時，還存儲空間相關圖像生成器 102提供的第 一最近幀和當前幀的空間相關圖像。在步驟S34，直方圖相似度計算器104從緩沖器103讀取第 一最近幀和當前幀的直方圖，計算第一最近幀的直方圖與當前 幀的直方圖之間的直方圖相似度，然后，將直方圖相似度提供 給判斷器64。稍后，參考圖20、 21A~ 21C以及23A 23C具體 說明直方圖的生成和直方圖相似度的計算。在步驟S35 ，空間相關圖像相似度計算器105從緩沖器103 讀取第 一最近幀和當前幀的空間相關圖像，計算第 一最近幀的 空間相關圖像和當前幀的空間相關圖像之間的空間相關圖像相 似度，然后，將由此產(chǎn)生的空間相關圖像相似度提供給判斷器 64。處理返回到圖11的步驟S2?？臻g相關圖像的生成和空間相 關圖像的相似度計算對應于濾波圖像或者馬賽克圖像的生成和相似度的計算，參考圖20~22、 25以及27A 27C來說明空間相 關圖像的生成和空間相關圖像的相似度計算。下面將計算直方圖與空間相關圖像的特征量之間的相似度 的處理稱為相似度計算處理。圖13的步驟S34和S35是相似度計算處理。圖14是示出根據(jù)本發(fā)明 一 個實施例的圖10的第 一 處理器61 的另 一示例的功能框圖。如圖14所示，與圖12所示的元件相同的元件用相同的附圖 標記來指定，并且在此省略對這些元件的說明。這同樣適用于 其它附圖。如圖14所示，第一處理器61包括直方圖生成器101、緩沖器 103、直方圖相似度計算器104、用于空間相關圖像生成器102 的濾波圖像生成器121以及用于空間相關圖像相似度計算器105 的濾波圖像相似度計算器122。濾波圖像生成器121接收在第一處理器61的第一處理中處 理的第一最近幀和當前幀的圖像。濾波圖像生成器121從所提供的第 一最近幀和當前幀生成 作為空間相關圖像的濾波圖像，然后，將由此產(chǎn)生的濾波圖像 提供給緩沖器103。濾波圖像是通過減少原始圖像的空間頻率的低頻分量和高 頻分量而產(chǎn)生的圖像。通過利用濾波器對圖像數(shù)據(jù)進行濾波而獲得濾波圖像。該 濾波器具有低頻截止效果，以減少低頻分量特別是DC分量； 以及高頻截止效果，以減少高頻分量。高頻分量截止作用使細 圖案變鈍。高頻截止效果是通過將原始圖像分割為多個塊，并且求每
塊像素值的平均來實現(xiàn)的。低頻截止效果是通過從原始圖像的 每個像素值減去所有像素值的平均值來實現(xiàn)的。通過精確設計 的帶通濾波器來提供高頻截止效果和低頻截止效果。當通過從原始圖像減少高頻分量來生成濾波圖像時，減少 了有效像素的數(shù)量。因此，通過對實際無效的像素進行間取， 降低了空間采樣率。還減少了數(shù)據(jù)量，并且提高了后續(xù)階段的 計算效率。濾波圖像相似度計算器122從緩沖器103讀取第 一最近幀和 當前幀的濾波圖像，計算第 一最近幀和當前幀的濾波圖像之間 的濾波圖像相似度，并且將由此產(chǎn)生的濾波圖像相似度提供給 判斷器64。下面，參考圖15的流程圖對圖14的第一處理器61的第一處 理進行說明。圖14的直方圖生成器101接收在第 一處理器61的第 一處理 中處理的第一最近幀和當前幀。在步驟S51,直方圖生成器101 生成所提供的第一最近幀和當前幀的直方圖，然后，將由此產(chǎn) 生的直方圖提供給緩沖器103 。圖14的濾波圖像生成器121接收在第 一處理器61的第一處 理中處理的第一最近幀和當前幀。在步驟S52,濾波圖像生成 器121生成作為空間相關圖像的所提供的第 一 最近幀和當前幀 的濾波圖像，然后，將由此產(chǎn)生的濾波圖像提供給緩沖器103。處理S51和S52是特征量提取處理。在步驟S53,緩沖器103存儲直方圖生成器101提供的第一 最近幀和當前幀的直方圖，同時，還存儲濾波圖像生成器121 提供的第 一最近幀和當前幀的濾波圖像。在步驟S54,直方圖相似度計算器104從緩沖器103讀取第 一最近幀和當前幀的直方圖，計算第一最近幀與當前幀的直方
圖之間的直方圖相似度，然后，將由此產(chǎn)生的直方圖相似度提供給判斷器64。在步驟S 5 5 ，濾波圖像相似度計算器12 2從緩沖器10 3讀取 第 一 最近幀和當前幀的濾波圖像，計算第 一 最近幀的濾波圖像 和當前幀的濾波圖像之間的濾波圖像相似度，然后，將該濾波 圖像相似度提供給判斷器6 4 。處理返回到圖11的步驟S 2 。稍后， 參考圖2 0 、 2 2以及2 5對濾波圖像的生成和濾波圖像的相似度的 計算進行說明。步驟S54和S55是相似度計算處理。圖16是示出根據(jù)本發(fā)明一個實施例的圖10的第一處理器61 的另 一示例的功能框圖。如圖16所示，第一處理器61包括直方圖生成器101、緩沖器 103、直方圖相似度計算器104、用于空間相關圖像生成器102 的馬賽克圖像生成器131以及用于空間相關圖像相似度計算器 105的馬賽克圖像相似度計算器132。馬賽克圖像生成器131接收在第一處理器61的第一處理中 處理的第一最近幀和當前幀。馬賽克圖像生成器131生成所提供 的第 一 最近幀和當前幀的馬賽克圖像作為空間相關圖像，然后， 將由此產(chǎn)生的空間相關圖像提供給緩沖器103 。通過將原始圖像分割為塊，每塊的大小為水平8個像素和垂 直8個像素，或者水平32個像素和垂直32個像素，并且通過用每 塊的亮度平均值或者顏色平均值表示該塊，來產(chǎn)生馬賽克圖像。 通過原始圖像的亮度或顏色的粗略空間布局，來表示馬賽克圖 像。還可以將由水平8個像素x垂直8個像素的塊構成的整個圖 像稱為顏色布局。馬賽克圖像相似度計算器13 2讀取第 一 最近幀和當前幀的 馬賽克圖像，計算第一最近幀的馬賽克圖像與當前幀的馬賽克
圖像之間的馬賽克圖像相似度，然后，將由此產(chǎn)生的馬賽克圖像相似度提供給判斷器6 4 。下面，參考圖17的流程圖對圖16的第一處理器61的第一處 理進行說明。直方圖生成器101接收在第 一處理器61的第 一處理中處理 的第一最近幀和當前幀。在步驟S91,直方圖生成器101生成所 提供的第一最近幀和當前幀的直方圖，然后，將由此產(chǎn)生的直 方圖提供給緩沖器103。馬賽克圖像生成器131接收在第一處理器61的第一處理中 處理的第一最近幀和當前幀。在步驟S92,馬賽克圖像生成器 131生成所提供的第 一 最近幀和當前幀的馬賽克圖像作為空間 相關圖像，然后，將由此產(chǎn)生的馬賽克圖像提供給緩沖器103。步驟S91和S92是特征量提取處理。在步驟S93，緩沖器103存儲直方圖生成器101提供的第一 最近幀和當前幀的直方圖，同時，還存儲馬賽克圖像生成器131 提供的第 一最近幀和當前幀的馬賽克圖像。在步驟S94,直方圖相似度計算器104從緩沖器103讀取第 一最近幀和當前幀的直方圖，計算第一最近幀的直方圖與當前 幀的直方圖之間的直方圖相似度，然后，將由此產(chǎn)生的直方圖 相似度提供給判斷器64。在步驟S95,馬賽克圖像相似度計算器132從緩沖器103讀 取第一最近幀和當前幀的馬賽克圖像，計算第一最近幀的馬賽 克圖像和當前幀的馬賽克圖像之間的馬賽克圖像相似度，然后， 將由此產(chǎn)生的馬賽克圖像相似度提供給判斷器64。處理返回到 圖11的步驟S2。稍后，參考圖20、 21A~ 21C以及27A 27C說 明馬賽克圖像的生成和馬賽克圖像的相似度的計算。步驟S94和S95是相似度計算處理。 圖18是示出根據(jù)本發(fā)明一個實施例的圖10的第一處理器61 的另 一示例的功能框圖。如圖18所示，第一處理器61包括直方圖生成器101、空間相 關圖像生成器102、緩沖器103、直方圖相似度計算器104以及空 間相關圖像相似度計算器105?？臻g相關圖像生成器102包括濾 波圖像生成器121和馬賽克圖像生成器131。空間相關圖像相似 度計算器105包括濾波圖像相似度計算器122和馬賽克圖像相似 度計算器132。下面，參考圖19的流程圖對圖18的第一處理器61的第一處理進行說明。直方圖生成器101接收在第一處理器61的第一處理中處理 的第一最近幀和當前幀。在步驟S121,直方圖生成器101生成 所提供的第一最近幀和當前幀的直方圖，然后，將所產(chǎn)生的直 方圖提供給緩沖器103。該處理與圖13的步驟S31、圖15的步驟 S51以及圖17的步驟S91中的每個步驟相同。當接收到圖20的原始圖像PIOI的圖像數(shù)據(jù)時，生成圖21A 所示的直方圖。在圖21A中，橫軸表示亮度，縱軸表示出現(xiàn)頻率。原始圖 像P101包括灰度背景以及白色和黑色的圓形區(qū)域。直方圖HIOI 包括出現(xiàn)頻率高的較低亮度(黑色)、中間亮度(灰色)以及較高亮 度(白色)?？臻g相關圖像生成器102接收在第 一 處理器61的第 一 處理 中處理的第一最近幀和當前幀。將第一最近幀和當前幀提供給 濾波圖像生成器121和馬賽克圖像生成器131中的每一個。在步驟S122,濾波圖像生成器121生成所提供的第一最近 幀和當前幀的濾波圖^^作為空間相關圖^^。該處理與圖15的步 驟S52相同。 器121通過對輸入圖像數(shù)據(jù)應用具有圖22所示的特性C1的濾波器，生成濾波圖像。如圖22所示， 橫軸表示頻率，縱軸表示從濾波器輸出的圖像數(shù)據(jù)的水平。如圖2 2所示，濾波器特性C1是生成濾波圖像的濾波器的特 性，而濾波器特性C2是檢測邊緣的濾波器的特性。當通過濾波器特性C1生成濾波圖像時，輸出沒有DC分量的 低頻分量到中頻分量。該處理不同于通過濾波器特性C2提取中 頻分量到高頻分量的邊緣提取處理。不同于邊緣被去除的圖像， 濾波圖像使用較低頻分量到中頻分量的特征。通過對圖20的原始圖像P101進行濾波，生成圖21B的濾波 圖像PF101。由于低頻截止效果，濾波圖像PF101在原始圖像 P101的亮度變化小的區(qū)域內具有小的值，而在原始圖像P101的 亮度變化大的區(qū)域內具有大的值。例如，原始圖像P101的黑色 圓環(huán)的輪廓具有相對小的數(shù)值。由于高頻截止效果，濾波圖像 PF101通常有點模糊。在步驟S123,馬賽克圖像生成器131生成第一最近幀和當 前幀的馬賽克圖像作為空間相關圖像。步驟S123與圖17的步驟 S92相同。馬賽克圖像生成器131將濾波圖像PF101分割為多個塊，通 過每塊的平均像素值來表示該塊。因此，如圖21C所示，生成 具有10x8個塊的馬賽克圖像PMIOI。馬賽克圖像PM101粗略地表示原始圖像P101的亮度或顏色 的空間布局。圖19的步驟S121 ~ S123是特征量提取處理。在步驟S124，緩沖器103存儲直方圖生成器101提供的第一 最近幀和當前幀的直方圖、濾波圖像生成器121提供的第 一最近 幀和當前幀的濾波圖像以及馬賽克圖像生成器131提供的第一 最近幀和當前幀的馬賽克圖像。在步驟S125,直方圖相似度計算器104從緩沖器103讀取第一最近幀和當前幀的直方圖，計算第一最近幀的直方圖與當前 幀的直方圖之間的直方圖相似度，并且將由此產(chǎn)生的直方圖相似度提供給判斷器64。步驟S125與圖13的步驟S34、圖15的步驟S54以及圖17的步驟S94中的每一步驟相同。直方圖相似度是第一最近幀和當前幀的直方圖的重疊率。 如圖23所示，直方圖H111和直方圖H112的重疊率是直方圖H111和直方圖H112共有的區(qū)域(如通過直方圖上的陰影區(qū)域表示的)。直方圖相似度可以是包含直方圖的各要素(格子中)的出現(xiàn) 頻率的向量(以下稱之為直方圖向量)之間的相似度。直方圖向量之間的相似度可以是直方圖向量的絕對距離，即曼哈坦 (Manhattan)距離(等同于直方圖的重疊率)或者作為直方圖之間 距離的平方的歐幾里德(Euclidean)距離。直方圖相似度是幾乎沒有關于要拍攝的被攝體的形狀以及 該被攝體的空間布局的信息的直方圖的相似度。直方圖相似度 不可能受位置、姿勢以及形狀變化的影響。由于直方圖相似度 對亮度和顏色的靈敏度，因而直方圖相似度可以用作對亮度和 顏色變化進行量化的相似度。在步驟S126，濾波圖像相似度計算器122從緩沖器103讀取 第 一 最近幀和當前幀的濾波圖像，計算第 一 最近幀的濾波圖像 和當前幀的濾波圖像之間的濾波圖像相似度，然后，將由此產(chǎn) 生的濾波圖像相似度提供給判斷器64。步驟S126與圖13的步驟 S55相同。圖24的流程圖示出了濾波圖像相似度計算處理。濾波圖像相似度計算器122從緩沖器103讀取第 一 最近幀和
當前幀的濾波圖像，并且在步驟S151,提取例如第一最近幀的 濾波圖像的中央部分。在步驟S152,濾波圖像相似度計算器122使在步驟S151提 取的第 一 最近幀的中央部分相對于當前幀的濾波圖像相對移 位，同時，計算第一最近幀的濾波圖像的中央部分與當前幀的 濾波圖像之間的相關值。在步驟S153,濾波圖像相似度計算器122檢測在步驟S152 計算出的相關值的最大相關值。更具體地，如圖25所示，提取幀F(xiàn)111的濾波圖像PF111的 中央部分作為第 一最近幀。使濾波圖像PF111的中央部分相對 于作為當前幀的幀F(xiàn)112的濾波圖Y象PF112移位。4叟索4吏濾波圖 像PF111的中央部分與濾波圖像PF112之間的相關性最大化的 相對位置，從而獲得最大相關值?？蛇x地，計算整個濾波圖像或部分濾波圖像的絕對距離(絕 對差的和)或者整個濾波圖像或部分濾波圖像的距離平方(平方 差的和)，并且計算計算結果的最小值(以下稱之為最小距離)。 該最小值可以用作濾波圖像相似度。最小距離本身表示濾波圖 像之間的非相似度，并且需要例如通過反轉其符號而使其轉換 為相似度。濾波圖像相似度是DC分量被降低的濾波圖像之間的相似 度，而且亮度和顏色變化，例如整個圖像的亮度的變化，根本 不影響濾波圖像相似度。濾波圖像相似度是高頻分量被降低的 濾波圖像之間的相似度，因而它不受細圖案變化的影響。因此， 濾波圖像相似度量化位置、姿勢以及形狀變化。濾波圖像相似度是由最大相關值或第 一最近幀的濾波圖像 與當前幀的濾波圖像的最小距離產(chǎn)生的。因此，濾波圖像相似 度很少受由于照相機運動或正拍4聶的^皮4聶體的運動而引起的圖
像變化的影響。由于濾波圖像相似度幾乎不受整個圖像的亮度變化的影 響，因而如圖l所示，當整個圖像的亮度發(fā)生變化時，對直方圖 相似度的下降進行補償。返回到圖19，在步驟S127,馬賽克圖像相似度計算器132 從緩沖器103讀取第 一最近幀和當前幀的馬賽克圖像，計算第一 最近幀的馬賽克圖像與當前幀的馬賽克圖像之間的馬賽克圖像 相似度，并且將計算出的馬賽克圖像相似度提供給判斷器64。 處理返回到圖11的步驟S2。圖19的步驟S125 ~ S127是相似度計算處理。 圖26的流程圖示出馬賽克圖像相似度計算處理。 馬賽克圖像相似度計算器132從緩沖器103讀取第一最近幀 和當前幀的馬賽克圖像。在步驟S171,馬賽克圖像相似度計算 器132檢測差值等于或者小于預定閾值的第一最近幀的馬賽克 圖像與當前幀的馬賽克圖像的相應像素作為匹配像素。在步驟S172 ,馬賽克圖像相似度計算器132確定在步驟 S171檢測到的匹配像素的數(shù)量或者匹配像素的數(shù)量與所有像 素數(shù)量之比。圖27示出匹配像素的計數(shù)。如圖所示，空圓符號表示匹配 像素，字母x表示馬賽克圖像PM111與馬賽克圖像PM112之間的 不匹配像素。馬賽克圖像相似度不對兩個馬賽克圖像的像素之間的差進 行量化。如圖27所示，在馬賽克圖像PM111中沒有出現(xiàn)的滾動 消息出現(xiàn)在馬賽克圖像PM112中，因此，導致馬賽克圖像PM112 中的相應像素具有與其它像素基本不同的值。因此，馬賽克圖 像相似度防止這種像素變得比其它像素更突出。在如圖2所示出現(xiàn)滾動消息時，對出現(xiàn)觸發(fā)的變化的靈敏度
低的馬賽克圖像相似度對直方圖相似度的下降進行補償。生成濾波圖像或馬賽克圖像，作為表示在進行畫面變化檢 測時要處理的兩個圖像的空間布局之間的相關性的空間相關圖 像。亮度和顏色變化以及滾動消息的出現(xiàn)等出現(xiàn)觸發(fā)的變化沒 有被誤;險測為畫面變化。因此，提供了一種聲音畫面變化4全測 方法。如圖10所示，判斷器64基于與第一處理器61、第二處理器 6 2以及第三處理器6 3提供的相似度相關的信息，進行最終判斷 處理。這里所述的判斷器64僅基于圖18的第一處理器16提供的 相似度，進行判斷處理。圖28是示出僅基于第一處理器61提供的相似度進行判斷處 理的判斷器64的功能框圖。如圖28所示，判斷器64包括加權處理器151 ~ 153、加法器 154以及閾值判斷器155。加權處理器151從圖18的第一處理器61內的直方圖相似度 計算器10 4接收表示在進行畫面變化檢測時要處理的第 一 圖像 與第二圖像之間的直方圖相似度的直方圖相似度信息。加權處理器151將所提供的直方圖相似度信息與預定加權 系數(shù)W1相乘，然后，將由此產(chǎn)生的加權直方圖相似度信息提供 給加法器154。加權處理器152從圖18的第一處理器61內的濾波圖像相似 度計算器122接收表示在進行畫面變化檢測時要處理的第一圖 像與第二圖像之間的濾波圖像相似度的濾波圖像相似度信息。加權處理器15 2將所提供的濾波圖像相似度信息與預定加 權系數(shù)W2相乘，然后，將由此產(chǎn)生的加權濾波圖像相似度信息 提供給加法器154。加權處理器153從圖18的第一處理器61內的馬賽克圖像相 似度計算器132接收表示在進行畫面變化檢測時要處理的第一圖像與第二圖像之間的馬賽克圖像相似度的馬賽克圖像相似度自、加權處理器15 3將所提供的馬賽克圖像相似度信息與預定 加權系數(shù)W3相乘，然后，將由此產(chǎn)生的加權馬賽克圖像相似度 信息提供給加法器154。加法器154對從加權處理器15 l接收到的加權直方圖相似度 信息、從加權處理器152接收到的加權濾波圖像相似度信息以及 從加權處理器153接收到的加權馬賽克圖像相似度信息進行求 和，并且將表示累加相似度的累加相似度信息提供給閾值判斷 器155。閾值判斷器15 5將加法器15 4提供的累加相似度信息與預定 閾值進行比較，從而判斷第 一 圖像與第二圖像之間的邊界是否 是作為包括在圖像按時間的離散變化中的邊界的畫面變化。下面，參考圖29的流程圖對圖28的判斷器64的判斷處理進 行說明。加權處理器151從圖18的第一處理器61內的直方圖相似度 計算器10 4接收表示在進行畫面變化檢測時要處理的第 一 圖像 與第二圖像之間的直方圖相似度的直方圖相似度信息。加權處 理器152從圖18的第一處理器61內的濾波圖像相似度計算器122 接收表示在進行畫面變化檢測時要處理的第 一 圖像與第二圖像 之間的濾波圖像相似度的濾波圖像相似度信息。加權處理器153 從圖18的第一處理器61內的馬賽克圖像相似度計算器132接收 表示在進行畫面變化檢測時要處理的第一圖像與第二圖像之間 的馬賽克圖像相似度的馬賽克圖像相似度信息。在步驟S201,加權處理器151將所提供的直方圖相似度信 息與預定加權系數(shù)W1相乘，然后，將由此產(chǎn)生的加權直方圖相
似度信息提供給加法器154。加權處理器152將所提供的濾波圖 像相似度信息與預定加權系數(shù)W2相乘，然后，將由此產(chǎn)生的加 權濾波圖像相似度信息提供給加法器154。加權處理器153將所 提供的馬賽克圖像相似度信息與預定加權系數(shù)W3相乘，然后， 將由此產(chǎn)生的加權馬賽克圖像相似度信息提供給加法器154。在步驟S202,加法器154對從加權處理器151接收到的加權 直方圖相似度信息、從加權處理器15 2接收到的加權濾波圖像相 似度信息以及從加權處理器153接收到的加權馬賽克圖像相似 度信息進行求和，并且將表示累加相似度的累加相似度信息提 供給閾值判斷器155。在步驟S203 ,閾值判斷器155判斷加法器154提供的累加相 似度信息是否等于或低于預定閾值。如果在步驟S203判斷為累 加相似度信息等于或者低于預定閾值，則在步驟S204,閾值判 斷器155判斷為第 一 圖像與第二圖像之間的邊界是畫面變化。如果在步驟S203判斷為累加相似度信息高于預定閾值，則 在步驟S205 ，閾值判斷器155判斷為第一圖像與第二圖像之間 的邊界不是畫面變化。圖30是示出僅基于第一處理器61提供的相似度進行判斷處 理的判斷器64的功能框圖。如圖30所示，判斷器64除了包括圖28所示的加權處理器 151 ~ 153、加法器154和閾值判斷器155以外，還包括非線性變 換器161 ~ 163。非線性變換器161從圖18的第一處理器61內的直方圖相似 度計算器104接收表示在進行畫面變化檢測時要處理的第 一 圖 像與第二圖像之間的直方圖相似度的直方圖相似度信息。非線性變換器161對所提供的直方圖相似度信息進行非線 性變換，然后，將由此產(chǎn)生的非線性直方圖相似度信息提供給
加權處理器151。非線性變換器162從圖18的第一處理器61內的濾波圖像相 似度計算器122接收表示在進行畫面變化檢測時要處理的第一 圖像與第二圖像之間的濾波圖像相似度的濾波圖像相似度信 自、非線性變換器162對所提供的濾波圖像相似度信息進行非 線性變換，然后，將由此產(chǎn)生的非線性濾波圖像相似度信息提 供給加權處理器152。非線性變換器163從圖18的第一處理器61內的馬賽克圖像 相似度計算器132接收表示在進行畫面變化檢測時要處理的第 一圖像與第二圖像之間的馬賽克圖像相似度的馬賽克圖像相似 度信息。非線性變換器16 3對所提供的馬賽克圖像相似度信息進行 非線性變換，然后，將由此產(chǎn)生的非線性馬賽克圖像相似度信 息提供給加權處理器153。下面，參考圖31的流程圖對圖30的判斷器64的判斷處理進行說明。非線性變換器161從圖18的第一處理器61內的直方圖相似 度計算器104接收表示在進行畫面變化檢測時要處理的第 一圖 像與第二圖像之間的直方圖相似度的直方圖相似度信息。非線 性變換器162從圖18的第一處理器61內的濾波圖像相似度計算 器12 2接收表示在進行畫面變化檢測時要處理的第 一 圖像與第 二圖像之間的濾波圖像相似度的濾波圖像相似度信息。非線性 變換器163從圖18的第一處理器61內的馬賽克圖像相似度計算 器132接收表示在進行畫面變化檢測時要處理的第 一 圖像與第 二圖像之間的馬賽克圖像相似度的馬賽克圖像相似度信息。在步驟S221,非線性變換器161對所提供的直方圖相似度 信息進行非線性變換，然后，將由此產(chǎn)生的非線性直方圖相似度信息提供給加權處理器151 。非線性變換器162對所提供的濾 波圖像相似度信息進行非線性變換，然后，將由此產(chǎn)生的非線 性濾波圖像相似度信息提供給加權處理器15 2 。非線性變換器 163對所提供的馬賽克圖像相似度信息進行非線性變換，然后， 將由此產(chǎn)生的非線性馬賽克圖像相似度信息提供給加權處理器 153。在步驟S222,加權處理器151將所提供的直方圖相似度信 息與預定加權系數(shù)W1相乘，然后，將由此產(chǎn)生的加權直方圖相 似度信息提供給加法器154。加權處理器152將所提供的濾波圖 像相似度信息與預定加權系數(shù)W2相乘，然后，將由此產(chǎn)生的加 權濾波圖像相似度信息提供給加法器15 4 。加權處理器15 3將所 提供的馬賽克圖像相似度信息與預定加權系數(shù)W 3相乘，然后， 將由此產(chǎn)生的加權馬賽克圖像相似度信息提供給加法器154。在步驟S223,加法器154對從加權處理器151接收到的加權 直方圖相似度信息、從加權處理器152接收到的加權濾波圖像相 似度信息以及從加權處理器153接收到的加權馬賽克圖像相似 度信息進行求和，然后，將表示累加相似度的累加相似度信息 提供給閾值判斷器155。在步驟S224 ，閾值判斷器155判斷加法器154提供的累加相 似度信息是否等于或低于預定閾值。如果在步驟S 22 4判斷為累 加相似度信息等于或低于預定閾值，則在步驟S225,閾值判斷 器155判斷為第一圖像與第二圖像之間的邊界是畫面變化。如果在步驟S224判斷為累加相似度信息高于預定閾值，則 在步驟S226,閾值判斷器155判斷為第一圖像與第二圖像之間 的邊界不是畫面變化。代替使用與匹配像素的數(shù)量線性成比例的相似度作為馬賽
克圖像相似度，可以使用非線性變換后的相似度。例如，當至 少一半像素是匹配像素時，可通過賦予最大馬賽克相似度，進 行非線性變換。由此提高了畫面變化檢測精度。為了判斷畫面變化，除了上述判斷方法，判斷器64還可以 采用例如基于貝葉斯定理確定事件概率的貝葉斯識別、神經(jīng)網(wǎng) 絡、應用統(tǒng)計學習理論的支持向量機等的統(tǒng)計判別法。圖32是示出根據(jù)本發(fā)明一個實施例的圖10的第一處理器61的另一示例的框圖。第一處理器61除了包括圖18所示的直方圖生成器101、緩沖 器103、直方圖相似度計算器104、濾波圖像生成器121、濾波圖 像相似度計算器122、馬賽克圖像生成器131以及馬賽克圖像相 似度計算器132以外，還包括平均相似度計算器171。如圖32所示，平均相似度計算器171計算直方圖相似度計算 器104提供的預定數(shù)量的相鄰幀(in-close frame)(例如，8幀)的直 方圖相似度的平均，然后，將由此產(chǎn)生的平均直方圖相似度提 供給判斷器64。平均相似度計算器171計算濾波圖像相似度計算 器122提供的預定數(shù)量的相鄰幀的濾波圖像相似度的平均，然 后，將由此產(chǎn)生的平均濾波圖像相似度提供給判斷器64。平均 相似度計算器171計算馬賽克圖像相似度計算器132提供的預定 數(shù)量的相鄰幀的馬賽克圖像相似度的平均，然后，將由此產(chǎn)生 的平均馬賽克圖像相似度提供給判斷器6 4 。下面還將平均直方圖相似度、平均濾波圖像相似度以及平 均馬賽克圖像相似度均稱為平均相似度。下面，參考圖33的流程圖對圖32的第 一處理器61的第 一處 理進行說明。如圖33所示，步驟S241 ~ S247分另'J與圖19的步驟S121 ~ S127相同。 在步驟S248 ，圖32的平均相似度計算器171計算直方圖相 似度計算器104提供的預定數(shù)量的相鄰幀的直方圖相似度的平 均，然后，將由此產(chǎn)生的平均直方圖相似度提供給判斷器64。 平均相似度計算器171計算濾波圖像相似度計算器122提供的預 定數(shù)量的相鄰幀的濾波圖像相似度的平均，然后，將平均濾波 圖像相似度提供給判斷器64。平均相似度計算器171計算馬賽克 圖像相似度計算器132提供的預定數(shù)量的相鄰幀的馬賽克圖像 相似度的平均，然后，將平均馬賽克圖像相似度提供給判斷器 64。處理返回到圖11的步驟S2。在圖像快速運動的整個視頻段內，圖像之間的相似度下降， 不是真正的畫面變化的圖像之間的邊界常常^皮誤才全測為畫面變 化。在這種情況下，與其它相似度結合的平均相似度的使用可 以消除圖像快速運動的整個視頻段與圖像保持幾乎不運動的整 個視頻段之間的各種相似度的變化。因此，無論圖像快速運動 還是保持幾乎不運動，都可以提供高精度的畫面變化檢測能力。圖34是示出根據(jù)本發(fā)明一個實施例的圖10的第一處理器61 的另 一示例的框圖。第一處理器61除了包括圖18所示的直方圖生成器101、緩沖 器103、直方圖相似度計算器104、濾波圖像生成器121、濾波圖 像相似度計算器122、馬賽克圖像生成器131和馬賽克圖像相似 度計算器132以外，還包括平均顏色計算器181和相鄰平均顏色 生成器182。如圖34所示，平均顏色計算器181接收輸入到第 一 處理器61 的圖像。平均顏色計算器181計算整個輸入圖像的平均亮度或平均 顏色，并且將由此產(chǎn)生的平均亮度或平均顏色提供給相鄰平均 顏色生成器182。
相鄰平均顏色生成器182計算與進行畫面變化檢測要處理 的第 一 圖像相鄰的預定數(shù)量的幀內的、平均顏色計算器181提供 的平均亮度的平均值或者平均顏色計算器181提供的平均顏色 的平均值，作為相鄰平均顏色。然后，相鄰平均顏色生成器182 將計算出的相鄰平均顏色提供給判斷器64。下面，參考圖35的流程圖對圖34的第一處理器61的第一處 理進行說明。圖35所示的步驟S261 ~ S267分別與圖19所示的步驟 S121 ~ S127相同。平均顏色計算器181接收輸入到第一處理器61的圖像。在步 驟S268,平均顏色計算器181計算輸入圖像的平均亮度或者平 均顏色，然后，將計算出的平均亮度或者平均顏色提供給相鄰 平均顏色生成器182。在步驟S269,相鄰平均顏色生成器182計算與進行畫面變 化檢測要處理的第 一 圖像(當前幀)相鄰的預定數(shù)量的幀(例如， 8幀)內的、平均顏色計算器181提供的平均亮度的平均值或者平 均顏色計算器181提供的平均顏色的平均值，作為相鄰平均顏 色。然后，相鄰平均顏色生成器182將計算出的相鄰平均顏色提 供給判斷器64。處理返回到圖11的步驟S2。在例如夜間或者室內環(huán)境下拍攝的圖像等的整個圖像的亮 度值相對較低的整個視頻段內，直方圖之間或者濾波圖像之間 的差變小。直方圖相似度和濾波圖像相似度變高，從而導致檢 測不到畫面變化。如果亮度或者顏色低，則還采用相鄰平均顏 色。因此，在圖像暗時，即使微小變化也被判斷為畫面變化。 在圖像亮時，僅大的變化被判斷為畫面變化。這樣，通過對整 個圖像的亮度和顏色量值的變化進行補償，可以以高精度可靠 地進4于畫面變^R:4全測。
下面，說明第二處理。圖36是示出圖10的第二處理器62的框圖。參考圖36,第二處理器62包括精細直方圖生成器401、特 征分布計算器402、間取處理器403以及相似度計算器404。精細直方圖生成器4 01接收輸入到第二處理器6 2的圖像。精 細直方圖生成器401生成所提供圖像的精細直方圖，例如，256 級灰度直方圖中的一個灰度級的精細直方圖，然后，將該精細 直方圖提供給特征分布計算器402。特征分布計算器4 02對精細直方圖生成器4 01提供的精細直 方圖進行濾波，并且將由此產(chǎn)生的特征分布提供給間取處理器 403。特征分布計算器402優(yōu)選地采用低通濾波器對該精細直方 圖進行濾波?？蛇x地，還可以采用非線性響應濾波器。間取處理器403對特征分布計算器402提供的特征分布進行 間耳又處理。在間耳又處理中，間耳又處理器403以與落入可以忠實再 現(xiàn)特征分布(根據(jù)采樣原理)的范圍內的采樣頻率對應的間隔， 對特征分布進行間取。然后，將經(jīng)過了間取處理的特征分布提 供給相似度計算器404。進行間取處理器403的間取處理，以降低數(shù)據(jù)量，并且節(jié)省 存儲容量，如果不需要，則可以跳過該間取處理。相似度計算器404將間取處理器403提供的第 一 圖像的間取 后的特征分布與第二圖像的間取后的特征分布進行比較，然后， 計算第 一 圖像的間取后的特征分布與第二圖像的間取后的特征 分布之間的相似度?？梢砸耘c標準直方圖差分法相同的方式計算特征分布之間 的相似度。例如，確定第一圖像的特征分布與先于第一圖像的 第二圖像的特征分布之間的距離，該距離越小，所獲得的相似 度越高。 下面，參考圖37的流程圖，說明在圖11的步驟S3進行的圖 36的第二處理器62的第二處理。圖36的精細直方圖生成器401接收輸入到第二處理器62的 圖像。在步驟S401,精細直方圖生成器401生成所提供圖像的 精細直方圖，并且將所生成的精細直方圖提供給特征分布計算 器402。如圖38的第一行所示，幀F(xiàn)211和幀F(xiàn)212是待處理的圖像。 該圖像與圖5的幀F(xiàn)51和幀F(xiàn)52具有相同的亮度分布。幀F(xiàn)211的 圖像的左半部分的亮度值為75,幀F(xiàn)211的圖像的右半部分的亮 度值為81。幀F(xiàn)212的左半部分的亮度值為77，幀F(xiàn)212的右半部 分的亮度值為83。圖38的第二行示出的直方圖H211和H212是根 據(jù)幀F(xiàn)211和幀F(xiàn)212的圖像生成的精細直方圖。精細直方圖H211 在亮度值75和81處具有直方圖峰值，精細直方圖H212在亮度值 77和83處具有直方圖峰值。如果輸入圖像具有N個灰度級，則圖38的精細直方圖H211 優(yōu)選具有N個格子。這樣，直方圖生成計算中的不連續(xù)數(shù)量保 持與該圖像最初具有的量化水平的數(shù)量相等。由此防止引入新 的誤差。為了降低計算量和節(jié)省存儲容量，可以將格子的數(shù)量 設置為小于N。然而，與在通常的直方圖差分法中一樣，由于 直方圖生成計算中的不連續(xù)性，因而灰度級的數(shù)量越粗，引入 的i吳差才尤越大。在步驟S402，特征分布計算器402對精細直方圖生成器401 提供的濾波圖像進行濾波，并且將由此產(chǎn)生的特征分布提供給 間取處理器403。通過對精細直方圖H 211進行濾波，獲得圖3 8第三行所示的 特征分布C211。通過對精細直方圖H212進行濾波，獲得特征分 布C212。
在濾波處理中，優(yōu)選釆用圖39所示的低通濾波器。與將投 票放入下一個格子內的情況相同，低通濾波器對由于亮度的微 小變化而引起的直方圖的變化進行補償，而不會由于直方圖生 成計算中的不連續(xù)性而引入新的誤差。由低通濾波器的濾波處理所產(chǎn)生的特征分布具有比在直方 圖中減少更多的高頻分量。通過在采樣定理允許的范圍內進行 間取處理，可以減少計算量，同時在濾波處理和間取處理中不 引入誤差或者少引入誤差。如上所述，特征分布由于直方圖生成計算中的不連續(xù)性而 沒有誤差。實際上，直方圖差分法中包括這種誤差。由于利用 該特征分布計算待處理的圖像的相似度，因而可以以高精度檢測畫面變 <匕。在濾波處理中，特征分布計算器402還可以采用提供非線性 響應的非線性濾波器，來代替低通濾波器。利用特征分布的對數(shù)，非線性濾波器可以對特征值軸進行 對凄t縮小或力文大。圖40A 40C示出通過對特征分布集中在特定亮度的圖像 進行非線性濾波所獲得的特征分布。圖40A示出要濾波的圖像。圖40B示出通過對該圖像進行線 性濾波所獲得的特征分布。圖40C示出通過經(jīng)由非線性濾波器 對該圖像進行非線'性濾波所獲得的特征分布。圖40A是具有簡單顏色的物體被放置在復雜背景中的圖像。如圖40B所示，具有簡單顏色的物體的特征分布集中在特 定亮度值。如前所述，具有簡單顏色的物體的亮度變化對畫面 變化檢測結果起主導作用。如圖40C所示，通過非線性濾波操作限制過高亮度，以使 特征分布不集中在特定亮度值。在步驟S403 ,間取處理器403對特征分布計算器402提供的 特征分布進行間取處理，更具體地，每4個灰度級對特征分布進 行間取，然后，將間取后的特征分布提供給相似度計算器404。 對圖38的第三行所示的特征分布C211和特征分布C212進行間 取處理產(chǎn)生圖38的第四行所示的分布D211和特征分布D212。在步驟S404,相似度計算器404將間取處理器403提供的第 一圖像的間取后的特征分布與第二圖像(前一 幀)的間取后的特 征分布進行比較，并計算第 一 圖像的間取后的特征分布與第二 圖像(前一幀)的間取后的特征分布之間的相似度。處理返回到 圖11的步驟S3。為了進行相似度計算處理，如圖41所示構造圖36所示的相 似度計算器404。相似度計算器404包括對應樣本計算器431和相 似度確定器432。對應樣本計算器4 31將第 一 圖像的間取后的特征分布與第 二圖像的間取后的特征分布進行比較，確定提供第一圖像和第 二圖像的特征分布的形狀之間的最佳匹配的樣本的對應關系， 并將表示該對應關系的對應關系信息提供給相似度確定器432?；趯獦颖居嬎闫?31提供的對應關系信息，相似度確定 器432確定第 一 圖像的特征分布與第二圖像的特征分布之間的 距離，并將所確定的特征分布相似度提供給判斷器64。在特征 分布相似度中，該距離越短，相似度越高。下面，參考圖42的流程圖說明圖36的相似度計算器404的相 似度計算處理。在步驟S421 ，對應樣本計算器431將間取處理器403提供的 第 一 圖像的間取后的特征分布與第二圖像的間取后的特征分布 進行比較，確定提供如圖43所示的第 一 圖像和第二圖像的特征
分布的形狀之間的最佳匹配的樣本的對應關系，并將表示該對應關系的對應關系信息提供給相似度確定器4 3 2 。在此，單詞"樣 本"是指特征分布的格子。圖43的上部示出作為第 一 圖像的幀F(xiàn)231的特征分布，圖43 的下部示出作為第二圖像的幀F(xiàn)232的特征分布。如圖43所示，在幀F(xiàn)231的特征分布與幀F(xiàn)232的特征分布之 間，如箭頭線所示，樣本互相相關，乂人而j吏得這兩個特征分布 在形狀上互相匹酉己。現(xiàn)有的確定特征分布之間的對應關系的方法包括最大化特 征分布之間的相關性的方法、最小化特征分布的平方誤差的方 法以及4吏特征分布的重心對齊的方法。由于亮度變化導致特征分布的形狀失真，所以可以利用例 如動態(tài)規(guī)劃(DP, dynamic programming)匹配等的非線性方法來 確定該，于應關系。在步驟S422,相似度確定器432基于對應樣本計算器431提 供的對應關系信息，確定第 一 圖像的特征分布與第二圖像的特 征分布之間的距離。然后，將特征分布相似度提供給判斷器64。 在特征分布相似度中，該距離越短，相似度越高。如上所述，當亮度發(fā)生微小變化時，直方圖差分法可能存 在畫面變化檢測誤差。這是因為在計算直方圖時，跨越格子邊 界進行不連續(xù)計算。在特開2004-282318號公報中公開的技術可 以緩和計算中的不連續(xù)性，從而將畫面變化檢測誤差控制到一 定程度。然而，所公開的技術沒有完全克服格子邊界。所公開 的技術的有效性是有限的。相反，由于本實施例使樣本相互關 聯(lián)以使得特征分布在形狀上匹配，從而使格子邊界的影響最小 化。下面說明第三處理。
圖4 4是示出根據(jù)本發(fā)明 一 個實施例的圖10的判斷器6 4的框圖。如圖44所示，第三處理器63包括特征提取器811、特征量緩 沖器812、相似度計算器813、縮小圖像生成器814、縮小圖像緩 沖器815、合成圖像生成器816以及相似度計算器817。 特征提取器81 l接收輸入到第三處理器63的圖像。 將輸入到第三處理器63的三個圖像，即第二最近圖像、第 一最近圖像和當前圖像，按時間順序分別稱為第一 目標圖像、 第二目標圖像和第三目標圖像。特征提取器811從第一 ~第三目標圖像提取特征，然后，將 提取的特征提供給特征量緩沖器812 。根據(jù)本實施例，直方圖被用作特征量?？蛇x地，可以采用 濾波圖像、馬賽克圖像、特征分布或者由任何通常采用的畫面 變化檢測方法產(chǎn)生的其它特征量。例如，如由Akio NAGASAKA 和Yuzuru TANAKA在Transactions of Information Processing Society of Japan Vol. 33, No. 4, pp. 543-550中所公開的以及由 John S. Boreczky， Lawrence A. Rowe在Storage and Retrieval for Image and Video Database(SPIE)(;i996) pp. 170-179中發(fā)表的標 題為 "Comparison of Video Short Boundary Detection Techniques"的論文所公開的，可用作特征量的有亮度的平均值 或者方差、加密時所獲得的DCT系數(shù)或運動矢量、或者在邊緣 檢測中獲得的邊緣。特征量緩沖器812存儲特征提取器811提供的第一 ~第三目 標圖像。特征量緩沖器812存儲至少三個最近圖像，即第一 ~第 三目標圖像。相似度計算器813從特征量緩沖器812讀取第一 ~第三目標 圖像，并且計算第一 目標圖像的特征量與第三目標圖像的特征
量之間第一相似度1、第一 目標圖像的特征量與第二目標圖像的 特征量之間的第二相似度1、以及第二目標圖像的特征量與第三目標圖像的特征量之間的第三相似度1。然后，相似度計算器813 將第一 ~第三相似度1提供給判斷器64。在本實施例中，相似度l是直方圖相似度?？蛇x地，可以將 濾波圖像、馬賽克圖像、特征分布或者由任何通常采用的畫面 變化^r測方法產(chǎn)生的其它特征量用作相似度1 ?？梢圆捎糜葾kio NAGASAKA和Yuzuru TANAKA在Transactions of Information Processing Society of Japan Vol. 33, No. 4， pp. 543-550中所公開 的以及由John S. Boreczky, Lawrence A. Rowe在Storage and Retrieval for Image and Video Database(SPIE)(l996) pp. 170-179 中發(fā)表的標題為"Comparison of Video Short Boundary Detection Techniques"的論文中所公開的特征量。例如，兩個相鄰圖像的 平均亮度值或者方差值之間的差、兩個相鄰圖像的絕對差的和 或者平方差的和、直方圖絕對差的和、DCT系數(shù)的差值、利用 運動矢量預測的圖像與實際圖像之間的預測誤差的大小以及邊 緣數(shù)量或邊緣分布的差?？s小圖像生成器814接收輸入到第三處理器63的圖像，即第 一 ~第三目標圖像?？s小圖像生成器814生成第一 ~第三目標圖 像中的每個圖像的縮小圖像，然后，將縮小圖像提供給縮小圖 像緩沖器815。縮小圖像具有8像素x8像素或者16像素xl6像素 的縮小大小?？s小圖像緩沖器815存儲縮小圖像生成器814提供的第一 ~ 第三目標圖像的縮小圖像?？s小圖像緩沖器815存儲至少三個最 近圖像，即第一 第三目標圖像。合成圖像生成器816從縮小圖像緩沖器815讀取位于第二目 標圖像之前的第一 目標圖像和位于第二目標圖像之后的第三目
標圖像的縮小圖像，并由第一 目標圖像的縮小圖像和第三目標圖像的縮小圖像生成合成圖像。然后，合成圖像生成器816將合 成圖像提供給相似度計算器817。設F!(x，y)表示第一 目標圖像的縮小圖像的像素值，F(xiàn)3(x,y) 表示第三目標圖像的縮小圖像的像素值，利用預定常數(shù)a和b將 合成圖像中的點(x，y)處的像素值G(x，y)表示如下G(x,y) = aF"x,y) + bF3(x，y) …公式其中x和y分別表示每個圖像中的X坐標和Y坐標。相似度計算器817從縮小圖像緩沖器815讀取第二目標圖像 的縮小圖像，計算第二目標圖像的縮小圖像與合成圖像生成器 816提供的由第一 目標圖像的縮小圖像和第三目標圖像的縮小 圖像合成的圖像之間的相似度2，然后，將該相似度2提供給判 斷器64。相似度2可以是符號被反轉的、合成圖像與縮小圖像間的相 應像素之間的平方差的和，或者是合成圖像與縮小圖像之間的 最大相關值。下面，參考圖45的流程圖說明圖44的第三處理器63的第三處理。特征提取器81 l接收輸入到第三處理器63的圖像。 輸入到第三處理器63的三個最近圖像，即第二最近圖像、 第 一 最近圖像和當前圖像，按時間順序為圖4 6所示的幀F(xiàn) 511 、 幀F(xiàn)512和幀F(xiàn)513的圖像。人作為被攝體的幀F(xiàn)511與房屋作為被 攝體的幀F(xiàn)513之間的相似度低。幀F(xiàn)512是前一 幀F(xiàn)511和后 一 幀 F513的圖像的混合。幀F(xiàn)511的圖像和幀F(xiàn)512的圖像之間的相似 度以及幀F(xiàn)512的圖像與幀F(xiàn)513的圖像之間的相似度高。換句話 說，幀F(xiàn)512包含作為到幀F(xiàn)511的畫面與自幀F(xiàn)513之后的畫面之
間的邊界的混合畫面變化。在步驟S601,特征提取器811從所提供的幀F(xiàn)511 ~ F513中 提取特征量。更具體地，與圖19的步驟S121 —樣，生成直方圖。 將所生成的直方圖存儲在特征量緩沖器812上。在步驟S602,相似度計算器813讀取幀F(xiàn)511 ~ F513的特征 量，并且計算幀F(xiàn)511的特征量與幀F(xiàn)513的特征量之間的第一相 似度l、幀F(xiàn)511的特征量與幀F(xiàn)512的特征量之間的第二相似度l 以及幀F(xiàn)512的特征量與幀F(xiàn)513的特征量之間的第三相似度l。 然后，相似度計算器813將計算出的第一 ~第三相似度l提供給 判斷器64。更具體地，以與圖19的步驟S125相同的方式，計算 直方圖相似度?？s小圖像生成器814接收輸入到第三處理器6 3的圖像，即幀 F511 ~ F513的圖像。在步驟S603,縮小圖像生成器814生成幀F(xiàn)511 ~ F513的圖 像的縮小圖像，并且使縮小圖像緩沖器815存儲該縮小圖像。例 如，將要顯示在液晶顯示器(LCD)上的圖像縮小到8像素x8像素 的大小。可以通過將原始圖像分割為8x8個塊、并且確定各塊 的平均值，進行縮小處理。在步驟S604，合成圖像生成器816從縮小圖像緩沖器815讀 取幀F(xiàn)512之前的幀F(xiàn)511的縮小圖^象和幀F(xiàn)512之后的幀F(xiàn)513的 縮小圖像，根據(jù)所述公式，生成幀F(xiàn)511的縮小圖^f象和幀F(xiàn)513的 縮小圖像的合成圖像，并將該合成圖像提供給相似度計算器 817。在步驟S605,相似度計算器817從縮小圖像緩沖器815讀取 幀F(xiàn)512的縮小圖像，并且計算幀F(xiàn)512的縮小圖像與合成圖像生 成器816提供的幀F(xiàn)511的縮小圖像和幀F(xiàn)513的縮小圖像的合成 圖像之間的相似度2。更具體地，相似度2可以是符號被反轉的、
合成圖像與縮小圖像間的相應像素之間的平方差的和，或者是 合成圖像與縮小圖像之間的最大相關值。然后，將相似度2提供給判斷器64。處理返回到圖11的步驟S4。如圖10所示，判斷器64響應于第一處理器61、第二處理器 62以及第三處理器63提供的相似度，進行判斷處理。僅基于第 三處理器63提供的相似度，進行參考圖47的流程圖所述的由圖 44的判斷器64進行的判斷處理。當圖45的第三處理中的處理返回時，開始該判斷處理。判斷器64從圖44的相似度計算器813接收第——第三相似 度l，并且從圖44的相似度計算器817接收相似度2。在步驟S 6 31,判斷器6 4判斷幀F(xiàn) 511的圖像與幀F(xiàn) 513的圖像 之間的相似度l(第一相似度l)是否高于預定閾值。如果在步驟 S 6 31判斷為第 一 相似度1高于預定閾值，則判斷器6 4在步驟 S 6 3 5判斷為幀F(xiàn) 511 ~ F 513的圖像的變化不是畫面變化。如圖48A所示，在幀F(xiàn)511 ~ F513的圖4象中，幾乎沒有變化。 如圖48B所示，在幀F(xiàn)511與幀F(xiàn)513的圖l象之間，幾乎沒有變化， 但是幀F(xiàn)512的圖<象與幀F(xiàn)511和F513的圖^f象不同(例如，因為閃爍 或者幀丟失)。在這種情況下，該變化不是畫面變化。如果在步驟S631判斷為第 一相似度1不高于預定閾值，則 在步驟S632 ，判斷器64判斷幀F(xiàn)511與幀F(xiàn)512的圖像之間的第二 相似度l是否高于預定閾值。如果在步驟S632判斷為幀F(xiàn)511與F512的圖像之間的第二 相似度l高于預定閾值，則在步驟S633,判斷器64判斷幀F(xiàn)512 的圖像與幀F(xiàn)513的圖像之間的第三相似度l是否高于預定閾 值。如果在步驟S633判斷為第三相似度1高于其閾值，則在步 驟S 6 3 4 ，判斷器6 4判斷相似度2是否高于其預定閾值。 如果在步驟S634判斷為相似度2不高于閾值，換句話說， 幀F(xiàn)511與F513的圖像之間的相似度l低于其閾值，幀F(xiàn)511與 F512的圖^f象之間的相似度l高于其閾值，幀F(xiàn)512與F513的圖像 之間的相似度l高于其閾值，并且相似度2低于其閾值，則在步 驟S635，判斷器64判斷為幀F(xiàn)511 ~ F513的圖像中的變化不是畫 面變化。如圖48C所示，在幀F(xiàn)511 ~ F513的圖像中，人快速行走離 開房屋。幀F(xiàn)511的圖1象與幀F(xiàn)513的圖像不相似。幀F(xiàn)511的圖^f象 與幀F(xiàn)512的圖^象相似，幀F(xiàn)512的圖i"象與幀F(xiàn)513的圖#4目似。由 幀F(xiàn)511和F513的縮小圖像合成的圖像與幀F(xiàn)512的縮小圖像不 相似。判斷器64判斷為該圖像中的變化不是畫面變化。如果在步驟S634判斷為相似度2高于其閾值，換句話說， 幀F(xiàn)511與F513的圖4象之間的相似度l低于其閾值，幀F(xiàn)511與 F512的圖像之間的相似度l高于其閾值，幀F(xiàn)512與F513的圖^f象 之間的相似度l高于其閾值，并且相似度2高于其閾值，則在步 驟S636,判斷器64判斷為幀F(xiàn)511 ~ F513的圖像中的變化是混合 畫面變。如圖48G所示，幀F(xiàn)511中的人的圖像與幀F(xiàn)513中的房屋的 圖像不相似。由于幀F(xiàn)512的圖像是人和房屋的合成圖像，所以 幀F(xiàn)511的圖像與幀F(xiàn)512的圖像相似，并且?guī)現(xiàn)512的圖像與幀 F513的圖像相似。由幀F(xiàn)511和F513的縮小圖像合成的圖像與幀 F512的縮小圖像相似。判斷器64判斷為該變化是混合畫面變 化。如果在步驟S632判斷為第二相似度l低于其閾值，則在步 驟S637,判斷器64判斷幀F(xiàn)512與F513之間的第三相似度1是否 高于其預定閾值。如果在步驟S 6 3 7判斷為第三相似度1高于其 閾值，即，幀F(xiàn)511與F513的圖像之間的相似度l低于其閾值， 幀F(xiàn)511與F512的圖l象之間的相似度l低于其閾值，幀F(xiàn)512與 F513的圖像之間的相似度l高于其閾值，則在步驟S639,判斷 器64判斷為幀F(xiàn)511 ~ F513的圖像中的變化是標準畫面變化。如圖48D所示，幀F(xiàn)511中的人的圖4象與幀F(xiàn)513中的房屋的 圖像不相似，幀F(xiàn)513的圖像是房屋的圖像。幀F(xiàn)511和F512的圖 H^皮此不相似，而幀F(xiàn)512與幀F(xiàn)513的圖傳^皮此相似。然后，判 斷器64判斷為該圖像中的變化是標準畫面變化。如果在步驟S633判斷為第三相似度1低于其閾值，即，幀 F511與F513的圖像之間的相似度l低于其閾值，幀F(xiàn)511與F512 的圖像之間的相似度l高于其閾值，并且?guī)現(xiàn)512與F513的圖像 之間的相似度l低于其閾值，則在步驟S639,判斷器64判斷為 幀F(xiàn)511 ~ F513的圖像中的變化是畫面變化。如圖48E所示，幀F(xiàn)511中的人的圖l象與幀F(xiàn)513中的房屋的 圖像不相似，并且?guī)現(xiàn)512包括人的圖像。幀F(xiàn)511的圖像與幀 F512的圖像相似，并且?guī)現(xiàn)512的圖像與幀F(xiàn)513的圖像不相似。 判斷器64判斷為該圖像中的變化是標準畫面變化。如果在步驟S637判斷為第三相似度l低于其閾值，則在步 驟S638,判斷器64判斷相似度2是否高于其預定閾值。如果在 步驟S638判斷為相似度2高于其閾值，即，幀F(xiàn)511與F513的圖 像之間的相似度l低于其閾值，幀F(xiàn)511與F512的圖像之間的相 似度l低于其閾值，幀F(xiàn)512與F513的圖像之間的相似度l低于其 閾值，并且相似度2高于其閾值，則在步驟S636,判斷器64判 斷為幀F(xiàn)511 ~ F513的圖像中的變化是混合畫面變化。如圖48G所示，幀F(xiàn)511中的人的圖像與幀F(xiàn)513中的房屋的 圖像不相似，并且?guī)現(xiàn)512是人和房屋的合成圖像。判斷為幀 F511和F512的圖像彼此不相似，幀F(xiàn)512與F513的圖像彼此不相 似。在這種情況下，如果幀F(xiàn)11和F513的縮小圖像的合成圖像 與幀F(xiàn)512的縮小圖像相似，則判斷器64判斷為該圖像中的變化 是混合畫面變化。如果在步驟S638判斷為相似度2低于其閾值，即，幀F(xiàn)511 與F513的圖像之間的相似度l低于其閾值，幀F(xiàn)511與F512的圖 像之間的相似度l低于其閾值，幀F(xiàn)512與F513的圖像之間的相 似度l低于其閾值，并且相似度2低于其閾值，則在步驟S639, 判斷器64判斷為幀F(xiàn)511 ~ F513的圖像中的變化是標準畫面變 化。如圖48F所示，幀F(xiàn)511中的人的圖像與幀F(xiàn)513中的山的圖 像不相似，并且?guī)現(xiàn)512顯示房屋的圖像。幀F(xiàn)511與F512的圖像 彼此不相似，并且?guī)現(xiàn)512與F513的圖像彼此不相似。如果幀 F511和F513的縮小圖像的合成圖像與幀F(xiàn)512的縮小圖像不相 似，則判斷器64判斷為該圖像中的變化是標準畫面變化。如上所述，圖44的判斷器64基于相似度計算器813提供的第 一 ~第三相似度1以及相似度計算器817提供的相似度2,判斷幀 F511 ~ F513中的變化是標準畫面變化還是混合畫面變化。判斷器64判斷第——第三相似度1和相似度2是否分別高于 分別對其設置的閾值，從而基于該判斷結果，判斷變化是否是 畫面變化。即使相似度值等于各自的閾值，判斷器64也判斷為 該相似度值高于或者低于各自的閾值。圖49是總結圖47的判斷處理與圖48A 48G的三幀圖像的 圖像的圖案之間的關系的表。如圖49所示，相似度"大"表示該相似度高于其閾值。相似 度"小"表示該相似度低于其閾值。如果在圖49所示的第二行，幀F(xiàn)511與F513之間的相似度1 為"大"，則判斷器64判斷為該變化不是畫面變化，而與其它相 似度是"大"還是"小"無關。圖48A和48B示出了對應于這種情況
的圖像圖案。如果如圖49的第三行所示，幀F(xiàn)511與F513之間的相似度l 為"小"，幀F(xiàn)511與F512之間的相似度l為"大"，幀F(xiàn)512與F513 之間的相似度l為"大"，并且相似度2為"大"，則判斷器64判斷 為該變化是混合畫面變化。圖48G示出了對應于這種情況的圖 像圖案。如果如圖49的第四行所示，幀F(xiàn)511與F513之間的相似度1 為"小，，,幀F(xiàn)511與F512之間的相似度l為"大"，幀F(xiàn)512與F513 之間的相似度l為"大"，并且相似度2為"小"，則判斷器64判斷 為該變化不是畫面變化。圖48C示出了對應于這種情況的圖像 圖案。如果如圖49的第五行所示，幀F(xiàn)511與F513之間的相似度l 為"小"，幀F(xiàn)511與F512之間的相似度l為"大"，幀F(xiàn)512與F513 之間的相似度1為"小，，，則判斷器64判斷為該變化是標準畫面變 化，而與相似度2是"大"還是"小"無關。圖48E示出了對應于這 種情況的圖像圖案。如果如圖49的第六行所示，幀F(xiàn)511與F513之間的相似度l 為"小"，幀F(xiàn)511與F512之間的相似度l為"小"，幀F(xiàn)512與F513 之間的相似度1為"大"，則判斷器6 4判斷為該變化是標準畫面變 化，而與相似度2是"大"還是"小"無關。圖48D示出了對應于這 種情況的圖像圖案。如果如圖49的第七行所示，幀F(xiàn)511與F513之間的相似度l 為"小"，幀F(xiàn)511與F512之間的相似度l為"小"，幀F(xiàn)512與F513 之間的相似度l為"小"，并且相似度2為"大"，則判斷器64判斷 為該變化是混合畫面變化。圖48G示出了對應于這種情況的圖 像圖案。如果如圖49的第八行所示，幀F(xiàn)511與F513之間的相似度l
為"小"，幀F(xiàn)511與F512之間的相似度l為"小"，幀F(xiàn)512與F513 之間的相似度l為"小"，并且相似度2為"小"，則判斷器64判斷 為該變化是標準畫面變化。圖48F示出了對應于這種情況的圖像圖案?；旌袭嬅孀兓窃诓捎美绲?fade)、溶解(dissolve)、 擦除(w i p e)等包括連續(xù)變化的圖像效果的視頻段的連結處的圖 像中的變化。這種混合畫面變化^皮4企測為畫面變化。由此準確 :t也;險測混合畫面變^f匕。利用例如貝葉斯識別、神經(jīng)網(wǎng)絡、或支持向量才幾等的統(tǒng)計 判別法，圖44的判斷器64基于第——第三相似度1以及相似度2， 判斷畫面變化。結合第一處理，圖28和30示出了判斷器64。圖50和51也示 出了根據(jù)本發(fā)明一個實施例的圖10的判斷器64的示例。如圖50所示，加權處理器151從圖IO的第 一處理器61接收第 一處理的相似度。加權處理器151將所提供的第一處理的相似度 信息與預定加權系數(shù)W31相乘，然后，將第一處理的加權相似 度提供給加法器154。如果輸入直方圖相似度、空間相關圖像相 似度、濾波圖像相似度以及馬賽克圖像相似度作為第 一處理的 相似度，則將它們與各自的加權系數(shù)相乘，然后，將加權相似 度提供給加法器154。加權處理器152從圖10的第二處理器62接收第二處理的相 似度，即特征分布信息。加權處理器152將所提供的第二處理的 相似度與預定加權系數(shù)W32相乘，然后，將第二處理的加權相 似度提供給加法器154。加權處理器15 3從圖10的第三處理器6 3接收第三處理的相 似度。加權處理器153將第三處理器63提供的第三處理的相似度 與預定加權系數(shù)W33相乘，然后，將第三處理的加權相似度提 供給加法器154。如果輸入第——第三相似度1和相似度2，則將 它們與各自的加權系數(shù)相乘，然后，將加權相似度提供給加法器154。加法器15 4對加權處理器151提供的第 一 處理的相似度信 息、加權處理器15 2提供的第二處理的相似度信息以及加權處理 器153提供的第三處理的相似度信息進行求和。加法器154將表 示累加相似度的累加相似度信息提供給閾值判斷器15 5 。閾值判斷器155將加法器154提供的累加相似度信息與預定 閾值進行比較，從而判斷第 一 圖像與第二圖像之間的邊界和第 二圖像與第三圖像之間的邊界其中之一是否是作為包括時間上 的不連續(xù)變化的邊界的畫面變化。圖51的判斷器64包括分別在圖50的加權處理器151 ~ 153之 前的非線性變換器161 ~ 163。非線性變換器161 ~ 163的功能與 參考圖30所述的功能相同。圖52示出圖IO所示實施例的畫面變化檢測的性能評價結果。如圖52的第二行所示，分別捕獲12個單元的視頻，每個單 元持續(xù)約120分鐘，具有總共260個畫面。從該:枧頻中檢測畫面 變化。畫面變化#r測失敗的數(shù)量為5 ,畫面變化過測 (overdection)情況的數(shù)量為4 。 畫面變化#r測的再現(xiàn)率為 98.1(=(260-5)/260), 而畫面變化檢測的成功率為 98.5(=(260畫4)/260;)。如圖52的第三行所示，記錄在DVD記錄器或者電視個人計 算機上的廣播節(jié)目或者商務消息(CM, commercial message)具 有19個單元的視頻，每個單元持續(xù)約120分鐘，具有1891個畫面。 畫面變化檢測失敗的數(shù)量為15,畫面變化過#全測的數(shù)量為27。 再現(xiàn)率是 99.2(=(1891-15)/1891), 而成功率是 98.6(=(1891-27)/1891)。這才羊，本實施例以高^青度一全測畫面變化。在上面的說明中，以每幀為單位來處理圖像?？蛇x地，可 以以每場為單位來處理圖像。按照所述的時間序列順序，進行用于描述要存儲在程序記 錄介質上的程序的處理步驟。可選地，可以并行或者單獨進行 這些處理步驟。本發(fā)明實施例可以利用硬件來實現(xiàn)。可選地，本發(fā)明實施 例也可以利用軟件來實現(xiàn)。本發(fā)明可以應用于用于檢測圖像的各種4企測設備，例如， 廣播設備、圖像編輯設備、便攜式攝像機、用于圖像處理的個 人計算機、DVD記錄器以及硬盤記錄器。本領域的技術人員應該理解，可以根據(jù)設計要求以及其它 因素進行各種修改、組合、子組合以及改變，只要它們在所附 權利要求或者其等同物的范圍內即可。本發(fā)明包含與2006年9月27日在日本專利局提交的日本專 利申請JP2006-261867有關的主題，其全部內容通過引用包含于 此。
權利要求
1.一種用于使計算機基于第一圖像與第二圖像之間的相似度檢測畫面變化的計算機程序，該計算機程序包括以下步驟直方圖生成步驟，用于生成所述第一圖像和所述第二圖像各自的亮度直方圖和顏色直方圖其中之一；空間相關圖像生成步驟，用于生成表示所述第一圖像和所述第二圖像的空間布局之間的相關性的空間相關圖像；直方圖相似度計算步驟，用于計算表示所述第一圖像的直方圖與所述第二圖像的直方圖之間的相似度的直方圖相似度；空間相關圖像相似度計算步驟，用于計算表示所述第一圖像的空間相關圖像與所述第二圖像的空間相關圖像之間的相似度的空間相關圖像相似度；以及判斷步驟，用于基于所述直方圖相似度和所述空間相關圖像相似度，判斷所述第一圖像與所述第二圖像之間的邊界是否是畫面變化。
2. 根據(jù)權利要求l所述的計算機程序，其特征在于，所述 直方圖相似度是所述第一圖像的直方圖與所述第二圖像的直方 圖之間的重疊率。
3. 根據(jù)權利要求l所述的計算機程序，其特征在于，所述 空間相關圖像生成步驟包括生成濾波圖像和馬賽克圖像中的 至少一個，作為所述空間相關圖像，所述濾波圖像是通過減少 所述第一圖像和所述第二圖像各自的低頻分量和高頻分量而獲 得的圖像，所述馬賽克圖像由多個區(qū)域構成，所述第一圖像和 所述第二圖像各自的整個圖像被分割為所述多個區(qū)域，并且通 過各區(qū)域的平均亮度和各區(qū)域的平均顏色其中之一來表示該區(qū) 域。
4. 根據(jù)權利要求3所述的計算機程序，其特征在于，所述 空間相關圖像是所述濾波圖像，以及其中，所述空間相關圖像相似度是通過在相對位置內整個 或者部分地移位所述第 一 圖像和所述第二圖像的空間相關圖像 而計算出的相關值的最大值。
5. 根據(jù)權利要求3所述的計算機程序，其特征在于，所述 空間相關圖像是所述濾波圖像，以及其中，所述空間相關圖像相似度是通過在相對位置內整個 或者部分地移位所述第一圖像和所述第二圖像的空間相關圖像 而計算出的絕對差的和的最小值與平方差的和的最小值其中之
6. 根據(jù)權利要求3所述的計算機程序，其特征在于，所述 空間相關圖像是所述馬賽克圖像，以及其中，所述空間相關圖像相似度是差等于或者低于預定閾 值的、所述第 一 圖像和所述第二圖像的空間相關圖像之間的相 應像素的數(shù)量與差等于或者低于預定閾值的相應像素的數(shù)量對 全部像素的比值其中之一。
7. 根據(jù)權利要求l所述的計算機程序，其特征在于，所述 判斷步驟包括通過將由所述直方圖相似度和所述空間相關圖 像相似度的加權求和而產(chǎn)生的值與預定閾值進行比較，判斷所 述第 一 圖像與所述第二圖像之間的邊界是否是畫面變化。
8. 根據(jù)權利要求7所述的計算機程序，其特征在于，所述 判斷步驟包括通過將由非線性直方圖相似度和非線性空間相 關圖像相似度的加權求和而產(chǎn)生的值與預定閾值進行比較，判 斷所述第一圖像與所述第二圖像之間的邊界是否是畫面變化， 其中利用非線性函數(shù)將所述直方圖相似度變換為所述非線性直 方圖相似度，利用非線性函數(shù)將所述空間相關圖像相似度變換 為所述非線性空間相關圖像相似度。
9. 根據(jù)權利要求l所述的計算機程序，其特征在于，還包括計算平均相似度的步驟，所述平均相似度是在所述直方圖相 似度計算步驟中計算出的多個相鄰幀的圖像的直方圖相似度的 平均和在所述空間相關圖像相似度計算步驟中計算出的多個相 鄰幀的圖像的空間相關圖像相似度的平均中的至少 一個，其中，所述判斷步驟包括基于所述直方圖相似度、所述 空間相關圖像相似度以及所述平均相似度，判斷所述第 一 圖像 與所述第二圖像之間的邊界是否是畫面變化。
10. 根據(jù)權利要求l所述的計算機程序，其特征在于，還包 括計算相鄰平均顏色的步驟，所述相鄰平均顏色是與所述第一 圖像相鄰的多個幀的圖像的亮度或者顏色的平均，其中，所述判斷步驟包括基于所述直方圖相似度、所述 空間相關圖像相似度以及所述相鄰平均顏色，判斷所述第 一 圖 像與所述第二圖像之間的邊界是否是畫面變化。
11. 根據(jù)權利要求l所述的計算機程序，其特征在于，還包 括以下步驟生成所述第一圖像和所述第二圖像各自的亮度和顏色其中之一的精細直方圖；通過對所述精細直方圖進行濾波，計算特征分布； 計算所述第一圖像的特征分布與所述第二圖像的特征分布之間的相似度；提取與所述第 一 圖像和所述第二圖像不同的第三圖像的特征；計算所述第一圖像、所述第二圖像以及所述第三圖像中的兩個圖像之間的相似度；生成所述第一圖像、所述第二圖像以及所述第三圖像各自 的縮小圖像；生成所述第一圖像的縮小圖像和所述第三圖像的縮小圖像 的合成圖像；以及計算所述合成圖像與所述第二圖像的縮小圖像之間的相似度，其中，所述判斷步驟包括基于所述特征分布之間的相似 度、所述第一圖像、所述第二圖像和所述第三圖像中的兩個圖 像之間的相似度以及所述合成圖像與所述第二圖像的縮小圖像 之間的相似度，判斷所述第 一 圖像與所述第二圖像之間的邊界 是否是畫面變化。
12. —種基于第一圖像與第二圖像之間的相似度檢測畫面 變化的方法，該方法包括以下步驟生成所述第一圖像和所述第二圖像各自的亮度直方圖和顏 色直方圖其中之一；生成表示所述第 一 圖像與所述第二圖像的空間布局之間的 相關性的空間相關圖像；計算表示所述第一圖像的直方圖與所述第二圖像的直方圖 之間的相似度的直方圖相似度；計算表示所述第 一 圖像的空間相關圖像與所述第二圖像的 空間相關圖像之間的相似度的空間相關圖像相似度；以及基于所述直方圖相似度和所述空間相關圖像相似度，判斷 所述第一圖像與所述第二圖像之間的邊界是否是畫面變化。
13. —種基于第一圖像與第二圖像之間的相似度檢測畫面 變化的設備，該設備包括用于生成所述第一圖像和所述第二圖像各自的亮度直方圖 和顏色直方圖其中之一的部件；用于生成表示所述第 一 圖像與所述第二圖像的空間布局之 間的相關性的空間相關圖像的部件；用于計算表示所述第一圖像的直方圖與所述第二圖像的直 方圖之間的相似度的直方圖相似度的部件；用于計算表示所述第 一 圖像的空間相關圖像與所述第二圖 像的空間相關圖像之間的相似度的空間相關圖像相似度的部 件；以及用于基于所述直方圖相似度和所述空間相關圖像相似度， 判斷所述第 一 圖像與所述第二圖像之間的邊界是否是畫面變化的部件。
14. 一種基于第一圖像與第二圖像之間的相似度檢測畫面 變化的設備，該設備包括用于生成所述第一圖像和所述第二圖像各自的亮度直方圖 和顏色直方圖其中之一的單元；用于生成表示所述第一圖像與所述第二圖像的空間布局之 間的相關性的空間相關圖像的單元；用于計算表示所述第一圖像的直方圖與所述第二圖像的直 方圖之間的相似度的直方圖相似度的單元；用于計算表示所述第 一 圖像的空間相關圖像與所述第二圖 像的空間相關圖像之間的相似度的空間相關圖像相似度的單 元；以及用于基于所述直方圖相似度和所述空間相關圖像相似度， 判斷所述第 一 圖像與所述第二圖像之間的邊界是否是畫面變化 的單元。
全文摘要
本發(fā)明提供一種檢測設備、檢測方法和計算機程序，該檢測設備基于第一圖像與第二圖像之間的相似度檢測畫面變化，包括用于生成所述第一圖像和所述第二圖像各自的亮度直方圖和顏色直方圖其中之一的單元；用于生成表示所述第一圖像與所述第二圖像的空間布局之間的相關性的空間相關圖像的單元；用于計算表示所述第一圖像的直方圖與所述第二圖像的直方圖之間的相似度的直方圖相似度的單元；用于計算表示所述第一圖像的空間相關圖像與所述第二圖像的空間相關圖像之間的相似度的空間相關圖像相似度的單元；以及用于基于所述直方圖相似度和所述空間相關圖像相似度，判斷所述第一圖像與所述第二圖像之間的邊界是否是畫面變化的單元。
文檔編號G06T7/20GK101154290SQ20071015251
公開日2008年4月2日 申請日期2007年9月27日 優(yōu)先權日2006年9月27日
發(fā)明者安部素嗣, 西口正之 申請人:索尼株式會社