專利名稱：字幕信息段檢測方法、字幕信息段檢測設(shè)備以及字幕信息段檢測程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于檢測片頭片尾字幕(credit-title)段(例如，用于顯示版權(quán)持有者、演員表等的字卡(telop))的片頭片尾字幕段檢測方法、片頭片尾字幕段檢測設(shè)備以及片頭片尾字幕段檢測程序。具體地，本發(fā)明涉及實(shí)現(xiàn)對疊加在視頻內(nèi)容上的片頭片尾字幕的高速且高精確度檢測/識別的片頭片尾字幕段檢測方法、片頭片尾字幕段檢測設(shè)備以及片頭片尾字幕段檢測程序。
背景技術(shù)：
為了檢測和識別疊加在視頻內(nèi)容上的字卡，已經(jīng)提出了眾多的技術(shù)，這些技術(shù)關(guān)注于從字卡周圍的每幀圖像的一部分提取的特征(例如，邊緣成分)和該字卡的顯示持續(xù)時間。專利文獻(xiàn)1公開了從視頻自動提取固定的字卡(其不在屏幕上移動)的字卡信息顯示設(shè)備。專利文獻(xiàn)1的字卡信息顯示設(shè)備使用的字卡檢測方法包括兩個方法針對所輸入的視頻的所有幀的方法和專門針對在根據(jù)指定規(guī)則抽樣的幀處的方法。在任一情況下， 相應(yīng)地二進(jìn)制化通過執(zhí)行對抽樣圖像的邊緣檢測所產(chǎn)生的邊緣圖像，并在其后通過縮窄候選區(qū)域(字卡可以存在于其中)來進(jìn)行用于提取固定字卡的提取過程，縮窄是通過利用不動的邊緣圖像實(shí)現(xiàn)的，該不動的邊緣圖像通過計算二進(jìn)制化的圖像的邏輯乘積而獲得。在該檢測方法中，即使當(dāng)字卡存在于視頻內(nèi)容的最后階段或者字卡高度集中地存在于視頻內(nèi)容的最后階段時，也從打開視頻起執(zhí)行該檢測過程。專利文獻(xiàn)2公開了用于檢測在屏幕上邊移動邊顯示的字幕(credit)的字符(字母)的視頻內(nèi)字幕字符檢測方法。在專利文獻(xiàn)2的視頻內(nèi)字幕字符檢測方法中，從當(dāng)前時間段的視頻中獲取幀圖像。從所獲取的各個幀圖像檢測特征出現(xiàn)在屏幕的字符顯示部分中的特征點(diǎn)，并在其后基于所檢測到的特征點(diǎn)的空間分布，檢測各個幀圖像中字幕字符的出現(xiàn)。 然后，將幀圖像的特征點(diǎn)(在其中已經(jīng)檢測到字幕字符的出現(xiàn))與后續(xù)獲取的幀圖像的特征點(diǎn)相比較，從而計算所有字幕的移動距離(移動速度)。基于計算出的移動距離，對一個幀圖像的坐標(biāo)值進(jìn)行轉(zhuǎn)換，以使得該幀圖像中的(在兩個幀圖像中公共顯示的)所有字幕與另一個幀圖像中的字幕空間上重疊，從而檢測出字幕字符。同樣地，在該檢測方法(類似于針對專利文獻(xiàn)1的字卡信息顯示設(shè)備使用的檢測方法)中，即使當(dāng)字卡 高度集中地存在于視頻內(nèi)容的最后階段時，也從視頻的開始起執(zhí)行該檢測過程。此外，在該檢測方法中，即使在幀圖像中顯示的字幕字符的密度顯著改變時，也執(zhí)行相同的檢測處理?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1 JP-A-2001-285716專利文獻(xiàn)2 日本專利No. 343910
發(fā)明內(nèi)容
本發(fā)明要解決的問題在專利文獻(xiàn)1中描述的字卡檢測方法和專利文獻(xiàn)2中描述的字幕檢測方法中，通過利用字卡/字幕的針對一定的時間段連續(xù)地顯示字符的特性，以時間序列的順序執(zhí)行檢測。如果使用這些方法來從廣播節(jié)目的視頻內(nèi)容中檢測片頭片尾字幕(對應(yīng)于用于顯示版權(quán)持有者、演員表等的字卡)，則該檢測過程花費(fèi)很長的時間，因?yàn)槭菑墓?jié)目的開始起執(zhí)行對片頭片尾字幕(具有很高的概率出現(xiàn)在節(jié)目的最后階段)的搜索。此外，因?yàn)閷⑺蓄愋偷淖挚ㄗ鳛闄z測目標(biāo)進(jìn)行檢測，不可能從檢測到的字卡中分離出片頭片尾字幕。此外，在使用相同的參數(shù)統(tǒng)一執(zhí)行的字卡檢測過程中，字卡檢測在片頭片尾字幕的字符串密度為低的初始階段或者最后階段處容易失敗，涉及不能檢測到片頭片尾字幕的概率。因此，本發(fā)明的主要目的是提供能夠降低用于片頭片尾字幕檢測的處理時間、并且還實(shí)現(xiàn)了以高的精確度單獨(dú)對片頭片尾字幕進(jìn)行選擇性檢測的片頭片尾字幕段檢測方法、片頭片尾字幕段檢測設(shè)備和片頭片尾字幕段檢測程序。解決問題的方式依照本發(fā)明的示例性方面的片頭片尾字幕段檢測設(shè)備是用于從視頻內(nèi)容中檢測片頭片尾字幕的顯示段的設(shè)備。該片頭片尾字幕段檢測設(shè)備包括輸入單元，用于輸入視頻內(nèi)容的視頻數(shù)據(jù)；搜索開始點(diǎn)確定單元，用于基于片頭片尾字幕段中以高密度來顯示字符的片頭片尾字幕的高字符密度部分的存在概率確定開始點(diǎn)，該開始點(diǎn)表示開始片頭片尾字幕搜索處理的時間位置；以及顯示段判斷單元，用于通過首先對開始點(diǎn)執(zhí)行片頭片尾字幕搜索處理，并在其后從開始點(diǎn)向前和向后連續(xù)擴(kuò)展作為搜索處理的目標(biāo)的段，從而判斷片頭片尾字幕的顯示段。依照本發(fā)明的示例性方面的片頭片尾字幕段檢測方法是用于從視頻內(nèi)容中檢測片頭片尾字幕的顯示段的方法。該片頭片尾字幕段檢測方法包括步驟輸入視頻內(nèi)容的視頻數(shù)據(jù)；基于片頭片尾字幕段中以高密度來顯示字符的片頭片尾字幕的高字符密度部分的存在概率確定開始點(diǎn)，該開始點(diǎn)表示開始片頭片尾字幕搜索處理的時間位置；以及通過首先對開始點(diǎn)執(zhí)行片頭片尾字幕搜索處理，并在其后從開始點(diǎn)向前和向后連續(xù)擴(kuò)展作為搜索處理的目標(biāo)的段，從而判斷片頭片尾字幕的顯示段。依照本發(fā)明的示例性方面的片頭片尾字幕段檢測程序使得用于片頭片尾字幕段檢測設(shè)備的計算機(jī)執(zhí)行包括以下步驟的處理，其中該片頭片尾字幕段檢測設(shè)備用于從視頻內(nèi)容中檢測片頭片尾字幕的顯示段輸入視頻內(nèi)容的視頻數(shù)據(jù)；基于片頭片尾字幕段中以高密度來顯示字符的片頭片尾字幕的高字符密度部分的存在概率確定開始點(diǎn)，該開始點(diǎn)表示開始片頭片尾字幕搜索處理的時間位置；以及通過首先對開始點(diǎn)執(zhí)行片頭片尾字幕搜索處理，并在其后從開始點(diǎn)向前和向后連續(xù)擴(kuò)展作為搜索處理的目標(biāo)的段，從而判斷片頭片尾字幕的顯示段。本發(fā)明的有利效果通過本發(fā)明，可以加速對疊加在視頻內(nèi)容上的片頭片尾字幕的檢測處理，并提高了該片頭片尾字幕檢測處理的精確度。


圖1描述了對依照本發(fā)明的片頭片尾字幕段檢測設(shè)備的第一示例性實(shí)施例的一般配置進(jìn)行示出的方框圖。圖2描述了對圖1中示出的片頭片尾字幕段檢測設(shè)備所執(zhí)行的處理進(jìn)行示出的流程圖。圖3描述了對片頭片尾字幕搜索開始點(diǎn)確定單元的配置示例進(jìn)行示出的方框圖。圖4描述了對片頭片尾字幕搜索開始點(diǎn)確定單元的另一配置示例進(jìn)行示出的方框圖。圖5描述了對片頭片尾字幕段判斷單元的配置示例進(jìn)行示出的方框圖。圖6描述了對包括片頭片尾字幕的高確信段檢測單元的配置示例進(jìn)行示出的方框圖。圖7描述了對包括片頭片尾字幕的高確信段檢測單元的操作示例進(jìn)行示出的流程圖。圖8描述了對用于確定包括片頭片尾字幕的高確信段的開始點(diǎn)的處理進(jìn)行示出的流程圖。圖9描述了對用于確定包括片頭片尾字幕的高確信段的結(jié)束點(diǎn)的處理進(jìn)行示出的流程圖。圖10描述了對片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元的配置示例進(jìn)行示出的方框圖。圖11描述了對片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元的另一配置示例進(jìn)行示出的方框圖。圖12描述了對依照本發(fā)明的片頭片尾字幕段檢測設(shè)備的第二示例性實(shí)施例的一般配置進(jìn)行示出的方框圖。圖13描述了對圖12中示出的片頭片尾字幕搜索開始點(diǎn)確定單元的配置示例進(jìn)行示出的方框圖。圖14描述了對圖12中示出的片頭片尾字幕搜索開始點(diǎn)確定單元的另一配置示例進(jìn)行示出的方框圖。圖15描述了對頭部信息分析單元的配置示例進(jìn)行示出的方框圖。圖16描述了對頭部信息分析單元的另一配置示例進(jìn)行示出的方框圖。圖17描述了對依照本發(fā)明的片頭片尾字幕段檢測設(shè)備的主要部分進(jìn)行示出的方框圖。
具體實(shí)施例方式<第一示例性實(shí)施例> 下面將參考附圖來描述依照本發(fā)明的片頭片尾字幕段檢測設(shè)備的第一示例性實(shí)施例(示例性實(shí)施例1)。圖1是對依照本發(fā)明的片頭片尾字幕段檢測設(shè)備的第一示例性實(shí)施例的一般配置進(jìn)行示出的方框圖。第一示例性實(shí)施例的片頭片尾字幕段檢測設(shè)備包括輸入單元11、片頭片尾字幕搜索開始點(diǎn)確定單元12、片頭片尾字幕段判斷單元13和輸出單元14。輸入單元 11向片頭片尾字幕段判斷單元13輸入圖像數(shù)據(jù)，作為處理的目標(biāo)。片頭片尾字幕搜索開始點(diǎn)確定單元12確定對用于開始片頭片尾字幕搜索處理的時間位置進(jìn)行表示的開始點(diǎn)。片頭片尾字幕段判斷單元13針對片頭片尾字幕搜索開始點(diǎn)確定單元12所確定的搜索開始點(diǎn)執(zhí)行搜索處理。當(dāng)在搜索開始點(diǎn)處不存在片頭片尾字幕時，片頭片尾字幕段判斷單元13向片頭片尾字幕搜索開始點(diǎn)確定單元12返回判斷結(jié)果。當(dāng)在搜索開始點(diǎn)處存在片頭片尾字幕時，片頭片尾字幕段判斷單元13從搜索開始點(diǎn)向前和向后擴(kuò)展搜索處理的目標(biāo)，并從而判斷片頭片尾字幕的顯示段。輸出單元14輸出關(guān)于片頭片尾字幕段的判斷結(jié)果。在輸入單元11處，輸入壓縮視頻或者通過對壓縮視頻解碼而得到的視頻來作為視頻數(shù)據(jù)。當(dāng)輸入壓縮視頻時，只要解碼是可能的，可以將任何壓縮格式(MPEG、H. 264、 MJPEG (運(yùn)動 JPEG)、WMV ( Windows Media Video)、RealVideo 等)用于壓縮(編碼)。當(dāng)對從輸入單元11輸入的視頻數(shù)據(jù)執(zhí) 行片頭片尾字幕搜索處理時，片頭片尾字幕搜索開始點(diǎn)確定單元12確定搜索處理的開始點(diǎn)，并向片頭片尾字幕段判斷單元13輸出代表搜索開始點(diǎn)的信息。當(dāng)從片頭片尾字幕段判斷單元13返回指示不存在片頭片尾字幕段的判斷結(jié)果時，片頭片尾字幕搜索開始點(diǎn)確定單元12再次確定搜索開始點(diǎn)。由例如加載有使用根據(jù)預(yù)設(shè)規(guī)則操作的程序的CPU實(shí)現(xiàn)片頭片尾字幕搜索開始點(diǎn)確定單元12。稍后將描述片頭片尾字幕搜索開始點(diǎn)確定單元12的細(xì)節(jié)。片頭片尾字幕段判斷單元13關(guān)于片頭片尾字幕搜索開始點(diǎn)確定單元12確定的搜索開始點(diǎn)，對從輸入單元11輸入的視頻數(shù)據(jù)執(zhí)行搜索處理。當(dāng)發(fā)現(xiàn)片頭片尾字幕時，片頭片尾字幕段判斷單元13通過將搜索處理的目標(biāo)從搜索開始點(diǎn)向前和向后擴(kuò)展來判斷片頭片尾字幕段，并向輸出單元14輸出關(guān)于顯示段(例如，開始幀和結(jié)束幀)的信息。相反，當(dāng)沒有發(fā)現(xiàn)片頭片尾字幕時，片頭片尾字幕段判斷單元13向片頭片尾字幕搜索開始點(diǎn)確定單元12返回判斷結(jié)果，并在其后關(guān)于再次確定的搜索開始點(diǎn)進(jìn)行片頭片尾字幕段判斷。由例如加載有使用根據(jù)預(yù)設(shè)規(guī)則操作的程序的CPU實(shí)現(xiàn)片頭片尾字幕段判斷單元13。稍后將描述片頭片尾字幕段判斷單元13的細(xì)節(jié)。當(dāng)片頭片尾字幕段判斷單元13判斷存在片頭片尾字幕時，輸出單元14輸出關(guān)于片頭片尾字幕的顯示段的信息。例如，當(dāng)將依照本發(fā)明的片頭片尾字幕段檢測方法實(shí)現(xiàn)為程序，并且經(jīng)由存儲器向用于執(zhí)行后續(xù)處理的程序提供關(guān)于顯示段的信息時，輸出單元14 向該存儲器輸出關(guān)于顯示段的信息。圖2是對圖1中示出的片頭片尾字幕段檢測設(shè)備所執(zhí)行的處理進(jìn)行示出的流程圖。將參考圖2解釋圖1的片頭片尾字幕段檢測設(shè)備所執(zhí)行的處理的一般概要。在步驟Sll中，從輸入單元11輸入視頻數(shù)據(jù)(步驟S101)。在步驟S12中，片頭片尾字幕搜索開始點(diǎn)確定單元12確定對用于開始片頭片尾字幕搜索處理的時間位置進(jìn)行表示的開始點(diǎn)(步驟S102)。在步驟S13中，片頭片尾字幕段判斷單元13判斷在該開始點(diǎn)處是否存在片頭片尾字幕(步驟S103)。當(dāng)在步驟S103中不存在片頭片尾字幕時，片頭片尾字幕段判斷單元13 向片頭片尾字幕搜索開始點(diǎn)確定單元12告知判斷結(jié)果。在這種情況下，片頭片尾字幕搜索開始點(diǎn)確定單元12再次確定片頭片尾字幕搜索開始點(diǎn)(步驟S102)。當(dāng)在步驟S103中存在片頭片尾字幕時，片頭片尾字幕段判斷單元13通過將搜索的范圍從搜索開始點(diǎn)向前和向后擴(kuò)展，以確定片頭片尾字幕開始/結(jié)束點(diǎn)(步驟S104)。在步驟S104中的片頭片尾字幕開始/結(jié)束點(diǎn)確定之后的步驟S14中，輸出單元14輸出關(guān)于片頭片尾字幕段的信息(步驟S105)，由此，處理結(jié)束。
圖3和圖4是對片頭片尾字幕搜索開始點(diǎn)確定單元的配置示例進(jìn)行示出的方框圖。下面將參考圖3和圖4來說明作為片頭片尾字幕搜索開始點(diǎn)確定單元12的配置示例的片頭片尾字幕搜索開始點(diǎn)確定單元12a和12b。
圖3中示出的片頭片尾字幕搜索開始點(diǎn)確定單元12a包括視頻學(xué)習(xí)結(jié)果存儲單元 IOla和搜索開始點(diǎn)選擇單元102。視頻學(xué)習(xí)結(jié)果存儲單元IOla存儲與通過學(xué)習(xí)多個節(jié)目所獲得的片頭片尾字幕的特性有關(guān)的信息。特別地，圖3中示出的視頻學(xué)習(xí)結(jié)果存儲單元 IOla累積通過從大量的節(jié)目獲取時間位置信息(與片頭片尾字幕的字符(字母)密度增大處的時間位置有關(guān))而估計的高密度片頭片尾字幕部分的出現(xiàn)概率信息，該獲取時間位置信息是例如通過觀看節(jié)目(視覺識別)來實(shí)現(xiàn)的。在通過除視覺識別之外的方法來進(jìn)行節(jié)目學(xué)習(xí)的情況中，基于例如已經(jīng)存在的字卡檢測方法獲得的在各個節(jié)目中的字卡檢測結(jié)果，估計在各個節(jié)目中顯示片頭片尾字幕的時間段以及在該時間段中的字符密度。視頻學(xué)習(xí)結(jié)果存儲單元IOla中累積的信息可以是分別針對各種類型的片頭片尾字幕(垂直移動片頭片尾字幕，水平移動片頭片尾字幕等)獲得的，并取決于片頭片尾字幕的類型進(jìn)行切換。
在片頭片尾字幕搜索開始點(diǎn)確定單元12a中，搜索開始點(diǎn)選擇單元102從視頻學(xué)習(xí)結(jié)果存儲單元IOla中讀取高密度片頭片尾字幕部分的出現(xiàn)概率信息，基于該信息確定搜索開始點(diǎn)，并向片頭片尾字幕段判斷單元13輸出表示搜索開始點(diǎn)的信息。例如，將高密度片頭片尾字幕部分的出現(xiàn)概率的分布中概率值達(dá)到最大值的時間位置(幀)確定為搜索開始點(diǎn)。片頭片尾字幕段判斷單元13判斷在該搜索開始點(diǎn)處是否存在片頭片尾字幕。當(dāng)從片頭片尾字幕段判斷單元13返回指示在搜索開始點(diǎn)處不存在片頭片尾字幕的判斷結(jié)果時，搜索開始點(diǎn)選擇單元102將搜索開始點(diǎn)重新確定為在例如除了已經(jīng)選擇過一次的開始點(diǎn)之外的時間位置中，高密度片頭片尾字幕部分的出現(xiàn)概率的分布中概率值達(dá)到最大值處的時間位置(幀)。然后，搜索開始點(diǎn)選擇單元102向片頭片尾字幕段判斷單元 13輸出指示搜索開始點(diǎn)的信息。在這種情況下，可以在排除已經(jīng)選擇過一次的開始點(diǎn)附近的時間位置的情況下重新確定搜索開始點(diǎn)。附帶地，片頭片尾字幕搜索開始點(diǎn)確定單元12a還可以不將搜索開始點(diǎn)確定為具體的時間位置(幀)，而是確定為具有一時間寬度的搜索開始段。在這種情況下，例如，搜索開始點(diǎn)選擇單元102將一窗口(具有一定寬度)關(guān)于高密度片頭片尾字幕部分的出現(xiàn)概率的分布逐漸地進(jìn)行移動。搜索開始點(diǎn)選擇單元102對各個窗口框中的概率值積分，并將使積分值最大的窗口區(qū)域確定為搜索開始段。當(dāng)從片頭片尾字幕段判斷單元13返回指示搜索開始段中不存在片頭片尾字幕的判斷結(jié)果時，搜索開始點(diǎn)選擇單元102將搜索開始段重新確定為在除了已經(jīng)選擇過一次的窗口之外的窗口中，使(窗口框中的概率值的)積分值最大的另一窗口區(qū)域，并向片頭片尾字幕段判斷單元13輸出表示該搜索開始段的信息。備選地，搜索開始點(diǎn)選擇單元102還可以考慮在高密度片頭片尾字幕部分的出現(xiàn)概率的分布中概率值到達(dá)局部最大值處的點(diǎn)，并將搜索開始段確定為在局部最大值點(diǎn)周圍具有一定寬度的時間區(qū)域。搜索開始點(diǎn)選擇單元102還可以將搜索開始段確定為其中出現(xiàn)概率保持大于或等于指定值的連續(xù)的段。同時，圖4中示出的片頭片尾字幕搜索開始點(diǎn)確定單元12b包括視頻學(xué)習(xí)結(jié)果存儲單元101b、搜索開始點(diǎn)選擇單元102和高密度片頭片尾字幕部分的出現(xiàn)概率信息計算單元103。圖4中的搜索開始點(diǎn)選擇單元102的功能與圖3中的搜索開始點(diǎn)選擇單元102的功能相似，并從而省略對其的詳細(xì)說明。視頻學(xué)習(xí)結(jié)果存儲單元IOlb存儲內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息和片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息。例如通過視覺識別來從大量的節(jié)目獲取片頭片尾字幕的顯示開始/結(jié)束時間位置，以此對內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息進(jìn)行估計。內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息是對表示片頭片尾字幕中的具體位置的(時間) 點(diǎn)的出現(xiàn)概率進(jìn)行指示的信息。例如，可以使用多份片頭片尾字幕的開始點(diǎn)來獲取內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息。還可能替代開始點(diǎn)，使用預(yù)先確定的任意的點(diǎn)(結(jié)束點(diǎn)、中點(diǎn)等)。同時，例如通過視覺識別來從大量的節(jié)目中獲取對片頭片尾字幕進(jìn)行顯示的段中的字符密度變化，以此對片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息進(jìn)行估計。片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息是指示在片頭片尾字幕段中以高密度顯示字符的(時間)點(diǎn)的出現(xiàn)概率的信息。還可以從大量的節(jié)目數(shù)據(jù)片段中獲取片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息。當(dāng)對片頭片尾字幕進(jìn)行顯示的時間段的長度(連續(xù)的幀所形成的大量的片頭片尾字幕的幀持續(xù)時間)改變時，可以通過對片頭片尾字幕的長度進(jìn)行歸一化來確定片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息?？梢酝ㄟ^例如將片頭片尾字幕序列的長度(取決于節(jié)目數(shù)據(jù)而變化)映射到單位時間長度來實(shí)現(xiàn)字幕的歸一化。視頻學(xué)習(xí)結(jié)果存儲單元IOlb中存儲的信息可以是分別針對各種類型的片頭片尾字幕(垂直移動片頭片尾字幕、水平移動片頭片尾字幕等)獲得的，并取決于片頭片尾字幕的類型進(jìn)行切換。高密度片頭片尾字幕部分的出現(xiàn)概率信息計算單元103從視頻學(xué)習(xí)結(jié)果存儲單元IOlb讀出內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息和片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息。例如，高密度片頭片尾字幕部分出現(xiàn)概率信息計算單元103通過將片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息像窗口功能一樣覆蓋到內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息上，對高密度片頭片尾字幕部分的出現(xiàn)概率信息進(jìn)行計算。備選地，高密度片頭片尾字幕部分的出現(xiàn)概率信息計算單元103還從視頻學(xué)習(xí)結(jié)果存儲單元IOlb單獨(dú)讀出內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息，并通過假定內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息基本上在片頭片尾字幕段的中心處具有其分布峰值，對高密度片頭片尾字幕部分的出現(xiàn)概率信息進(jìn)行計算。接下來，將詳細(xì)解釋片頭片尾字幕段判斷單元13。圖5是對片頭片尾字幕段判斷單元的配置示例進(jìn)行示出的方框圖。圖5中示出的片頭片尾字幕段判斷單元13包括高確信段(high confident segment)，該高確信段包括片頭片尾字幕檢測單元201和片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202。向包括片頭片尾字幕的高確信段檢測單元201提供從輸入單元11輸入的視頻數(shù)據(jù)和從片頭片尾字幕搜索開始點(diǎn)確定單元12輸入的搜索開始點(diǎn)信息。包括片頭片尾字幕的高確信段檢測單元201考慮包括搜索開始點(diǎn)并具有一定時間寬度的分析窗口，并通過使用分析窗口中的幀來判斷片頭片尾字幕的存在/不存在。當(dāng)通過該判斷確定存在片頭片尾字幕時，包括片頭片尾字幕的高確信段檢測單元201前進(jìn)到高可靠性的片頭片尾字幕搜索處理。高可靠性的片頭片尾字幕搜索處理是用于以高的可靠性對被判斷為包含片頭片尾字幕的段進(jìn)行確定的處理。特別地，包括片頭片尾字幕的高確信段檢測單元201使分析窗口在時間上從分析窗口的初始位置向前和向后連續(xù)移動，并且還在各個分析窗口位置處對片頭片尾字幕的存在/不存在進(jìn)行判斷。在這種情況下，將通過對判斷為其中顯示片頭片尾字幕的分析窗口進(jìn)行連接所形成的段視為其中顯示片頭片尾字幕的可靠性高的段，并且輸出表示該段的信息，以作為高可靠性片頭片尾字幕段信息。當(dāng)在第一判斷中判斷在分析窗口位置處不存在片頭片尾字幕時，包括片頭片尾字幕的高確信段檢測單元201向片頭片尾字幕搜索開始點(diǎn)確定單元12返回判斷結(jié)果。在從片頭片尾字幕搜索開始點(diǎn)確定單元12輸入的信息不是表示具體的時間點(diǎn) (幀)的搜索開始點(diǎn)，而是具有一時間寬度的搜索開始段的情況下，包括片頭片尾字幕的高確信段檢測單元201檢查在該搜索開始段中是否存在有效的搜索開始點(diǎn)，S卩，片頭片尾字幕是否實(shí)際存在于該搜索開始段中。用于判斷片頭片尾字幕的存在/不存在的方法與輸入搜索開始點(diǎn)的情況下的判斷方法相似。在發(fā)現(xiàn)有效的搜索開始點(diǎn)后，包括片頭片尾字幕的高確信段檢測單元201前進(jìn)到高可靠性片頭片尾字幕搜索處理。后續(xù)處理與在從片頭片尾字幕搜索開始點(diǎn)確定單元12輸入搜索開始點(diǎn)的情況下的處理類似。當(dāng)判斷在搜索開始段中不存在有效的搜索開始點(diǎn)時，包括片頭片尾字幕的高確信段檢測單元201向片頭片尾字幕搜索開始點(diǎn)確定單元12返回判斷結(jié)果。附帶地，在包括片頭片尾字幕的高確信段檢測單元201執(zhí)行的片頭片尾字幕搜索處理中進(jìn)行對存在/不存在片頭片尾字幕的判斷。通過使用例如被判斷為顯示字卡的幀的連續(xù)性以及在執(zhí)行字卡檢測處理的情況下這種幀的數(shù)目與作為搜索處理的目標(biāo)的分析窗口中的幀的比率，可以實(shí)現(xiàn)該判斷處理。可以使用各種常規(guī)的字卡檢測方法來執(zhí)行字卡檢測處理。在這種情況下，考慮到一開始已經(jīng)確定分析窗口放置在的段有高的字符密度這一事實(shí)，不要求字卡檢測有高精度(fineness)/精確度。稍后將解釋包括片頭片尾字幕的高確信段檢測單元201的其他細(xì)節(jié)。向片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202提供從輸入單元11輸入的視頻數(shù)據(jù)以及從包括片頭片尾字幕的高確信段檢測單元201輸入的高可靠性片頭片尾字幕段信息。片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202通過將搜索處理的目標(biāo)從視頻數(shù)據(jù)中包括片頭片尾字幕的高確信段向前和向后連續(xù)擴(kuò)展，來檢測片頭片尾字幕段的開始點(diǎn)和結(jié)束點(diǎn)。其后，片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202輸出由搜索處理獲得的關(guān)于片頭片尾字幕段的信息。例如，片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202僅輸出片頭片尾字幕段的開始幀編號和結(jié)束幀編號。稍后將解釋片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202的其他細(xì)節(jié)。圖6是對包括片頭片尾字幕的高確信段檢測單元的配置示例進(jìn)行示出的方框圖。 下面將參考圖6詳細(xì)解釋包括片頭片尾字幕的高確信段檢測單元201。包括片頭片尾字幕的高確信段檢測單元201包括處理目標(biāo)幀控制單元2001、文本疊加幀檢測單元2002和片頭片尾字幕存在/不存在判斷單元2003。處理目標(biāo)幀控制單元2001從片頭片尾字幕搜索開始點(diǎn)確定單元12接收表示具體時間位置(幀)的搜索開始點(diǎn)或者具有一時間寬度的搜索開始段。當(dāng)從片頭片尾字幕搜索開始點(diǎn)確定單元12輸入的信息是表示具體時間位置(幀)的搜索開始點(diǎn)時，處理目標(biāo)幀控制單元2001利用片頭片尾字幕段在很多情況下比其他字卡顯示段長的特性，在包含搜索開始點(diǎn)的段中確定具有特定寬度的幀分析窗口。處理目標(biāo)幀控制單元2001從所確定的分析窗口中包含的幀中選擇作為字卡檢測處理的目標(biāo)的幀，并向文本疊加幀檢測單元2002 輸出所選擇的幀的幀編號。當(dāng)從片頭片尾字幕搜索開始點(diǎn)確定單元12輸入的信息是具有一時間寬度的搜索開始段時，處理目標(biāo)幀控制單元2001通過將搜索開始段中的各個幀位置視為搜索開始點(diǎn)， 從分析窗口中包含的幀的集合中選擇作為字卡檢測處理的目標(biāo)的幀。其后，處理目標(biāo)幀控制單元2001向文本疊加幀檢測單元2002輸出所選擇的幀的幀編號。例如，可以從幀集合中的最前面的幀開始根據(jù)時間序列的順序，或者從幀集合中的最后一幀開始按逆時間方向， 選擇作為處理目標(biāo)的幀。向文本疊加幀檢測單元2002提供從輸入單元11輸入的視頻數(shù)據(jù)和處理目標(biāo)幀控制單元2001輸入的幀編號。文本疊加幀檢測單元2002判斷在視頻數(shù)據(jù)中具有所輸入的幀編號的幀中是否顯示字卡，并向片頭片尾字幕存在/不存在判斷單元2003輸出判斷結(jié)果。 例如，文本疊加幀檢測單元2002首先產(chǎn)生視頻數(shù)據(jù)中具有該幀編號的幀的幀圖像。當(dāng)視頻數(shù)據(jù)是壓縮視頻時，文本疊加幀檢測單元2002通過解碼與幀編號對應(yīng)的數(shù)據(jù)來構(gòu)建幀圖像。隨后，文本疊加幀檢測單元2002通過向所產(chǎn)生的幀圖像應(yīng)用邊緣檢測濾波器(二維拉普拉斯濾波器、Canny濾波器等)，以產(chǎn)生幀邊緣圖像。在本文中，所產(chǎn)生的幀邊緣圖像是指示字卡存在候選區(qū)域的圖像，因?yàn)橥ㄟ^來自存在字卡的部分進(jìn)行的計算獲得很多邊緣成分。通過使用幀邊緣圖像來檢測文本疊加幀。在文本疊加幀的檢測中，也可以使用在專利文獻(xiàn)2中描述的視頻內(nèi)字幕字符檢測方法中所使用的邊緣對特征量(edge pair feature quantity)。在這種情況下，可以從處理的開始點(diǎn)起的任意時間方向上執(zhí)行該檢測處理。片頭片尾字幕存在/不存在判斷單元2003從文本疊加幀檢測單元2002接收文本疊加幀檢測結(jié)果。片頭片尾字幕存在/不存在判斷單元2003通過檢查文本疊加幀是否連續(xù)地出現(xiàn)在(處理目標(biāo)幀控制單元2001所確定的幀的)分析窗口中并具有指定的比率或更高的比率，文本疊加幀是否以指定的比率或更高的比率存在于分析窗口中等，對是否存在片頭片尾字幕進(jìn)行判斷。其后，片頭片尾字幕存在/不存在判斷單元2003向處理目標(biāo)幀控制單元2001輸出判斷結(jié)果，以作為片頭片尾字幕存在/不存在的判斷結(jié)果。當(dāng)從片頭片尾字幕存在/不存在判斷單元2003向處理目標(biāo)幀控制單元2001輸出指示存在片頭片尾字幕的判斷結(jié)果，以作為對從片頭片尾字幕搜索開始點(diǎn)確定單元12輸入的搜索開始點(diǎn)或搜索開始段所指定的幀執(zhí)行的片頭片尾字幕搜索處理的結(jié)果時，如下進(jìn)行后續(xù)處理。片頭片尾字幕存在/不存在判斷單元2003使分析窗口在時間上從起始的幀位置(在搜索開始點(diǎn)處或者在搜索開始段中)向前或向后連續(xù)移動，并進(jìn)一步判斷各個分析窗口位置處的片頭片尾字幕的存在/不存在。在從片頭片尾字幕存在/不存在判斷單元 2003輸出指示不存在片頭片尾字幕的判斷結(jié)果的點(diǎn)處，處理目標(biāo)幀控制單元2001將通過對已經(jīng)被判斷為顯示片頭片尾字幕的分析窗口進(jìn)行連接而形成的段視為高可靠性片頭片尾字幕段，并向片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202輸出表示該高可靠性片頭片尾字幕段的信息，以作為高可靠性片頭片尾字幕段信息。相反，當(dāng)從片頭片尾字幕存在/不存在判斷單元2003向處理目標(biāo)幀控制單元2001 輸出指示不存在片頭片尾字幕的判斷結(jié)果，以作為對從片頭片尾字幕搜索開始點(diǎn)確定單元12輸入的搜索開始點(diǎn)或搜索開始段所指定的幀執(zhí)行的片頭片尾字幕搜索處理的結(jié)果時，處理目標(biāo)幀控制單元2001向片頭片尾字幕搜索開始點(diǎn)確定單元12發(fā)送判斷結(jié)果，以作為片頭片尾字幕存在/不存在的判斷結(jié)果。圖7是對包括片頭片尾字幕的高確信段檢測單元的操作示例進(jìn)行示出的流程圖。 下面將參考圖7解釋包括片頭片尾字幕的高確信段檢測單元201的操作示例。圖7示出了向圖6中示出的處理目標(biāo)幀控制單元2001輸入表示具體時間位置(幀)的搜索開始點(diǎn)的情況。首先，處理目標(biāo)幀控制單元2001獲取搜索開始點(diǎn)(搜索開始幀編號假定為“幀 I。”)(步驟S2001)。處理目標(biāo)幀控制單元2001設(shè)置在搜索開始點(diǎn)附近具有窗口寬度2w+l 的幀分析窗口，并將分析窗口內(nèi)部(假定為幀I1-I2)指定為搜索段(步驟S2002)。隨后，處理目標(biāo)幀控制單元2001將在步驟S2002中指定的搜索段中的最前面的幀(幀I1)指定為第一處理目標(biāo)幀(步驟S2003)。文本疊加幀檢測單元2002執(zhí)行對處理目標(biāo)幀的字卡檢測處理(步驟S2004)。在該步驟S2004中，判斷是否在該幀中顯示字卡，并且當(dāng)顯示字卡時，將判斷結(jié)果f (I)設(shè)置為l(f(I) = 1)或者當(dāng)不顯示字卡時，將判斷結(jié)果f (I)設(shè)置為0(f(I) =0)。然后，文本疊加幀檢測單元2002移動處理目標(biāo)幀(圖7中表達(dá)為“I++”)(步驟 S2005)并執(zhí)行相同的處理。當(dāng)完成字卡檢測處理直至搜索段中的最后一幀(步驟S2006)， 即，當(dāng)滿足I》I2時，片頭片尾字幕存在/不存在判斷單元2003通過檢查在搜索段中是否包括超過指定比率(Nth)的字卡檢測幀，來判斷是否存在片頭片尾字幕(步驟S2007)。當(dāng)判斷不存在片頭片尾字幕時，片頭片尾字幕存在/不存在判斷單元2003向片頭片尾字幕搜索開始點(diǎn)確定單元12發(fā)送判斷結(jié)果(步驟S2008)。當(dāng)判斷存在片頭片尾字幕時，片頭片尾字幕存在/不存在判斷單元2003檢測在其中顯示片頭片尾字幕的可靠性高的段的開始點(diǎn) (Istart)和結(jié)束點(diǎn)(Iend)(步驟S2009)。其后，片頭片尾字幕存在/不存在判斷單元2003向片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202輸出通過檢測處理獲得的高可靠性片頭片尾字幕段信息(步驟S2010)。稍后將解釋步驟S2009的操作的另一詳細(xì)示例。附帶地，同樣，當(dāng)在步驟S2001中輸入了具有一時間寬度的搜索開始段時，通過將搜索開始段中的點(diǎn)視為步驟S2002-2010的處理中的搜索開始點(diǎn)，可以在不進(jìn)行改變的情況下使用步驟S2002-2010 的處理流程。圖8是對用于確定包括片頭片尾字幕的高確信段的開始點(diǎn)的處理進(jìn)行示出的流程圖，該處理包括在圖7中的步驟S2009中。首先，處理目標(biāo)幀控制單元2001通過在時間上向前移動(在圖7的步驟S2002 中設(shè)置的)幀分析窗口，改變用于片頭片尾字幕存在/不存在判斷的段(步驟S2011)。文本疊加幀檢測單元2002執(zhí)行對新增加到分析窗口(假定為幀J1-J2)的幀(幀J1)的文本疊加幀檢測處理(步驟S2003)。片頭片尾字幕存在/不存在判斷單元2003通過檢查在分析窗口中是否包括超過指定比率的字卡檢測幀，對是否存在片頭片尾字幕進(jìn)行判斷(步驟 S2007)。當(dāng)判斷存在片頭片尾字幕時，進(jìn)一步向前移動幀分析窗口(圖8中表達(dá)為“Λ-” 和“J2-”)(步驟S2012)并執(zhí)行相同的處理。當(dāng)判斷不存在片頭片尾字幕時，將在該點(diǎn)處的幀分析窗口的最前面的幀確定為高可靠性片頭片尾字幕段的開始點(diǎn)(Istot)。雖然在本示例中將最前面的幀確定為開始點(diǎn)，還可能將與該最前面的幀距離指定幀數(shù)目的幀確定為開
17始點(diǎn)。例如，可能通過評估可靠性，在最前面的幀處采用小的余量M，并將幀J1+Μ確定為開始幀。圖9是對用于確定包括片頭片尾字幕的高確信段的結(jié)束點(diǎn)的處理進(jìn)行示出的流程圖，該處理包括在圖7中的步驟S2009中。首先，處理目標(biāo)幀控制單元2001通過在時間上向后移動(在圖7的步驟S2002中設(shè)置的)幀分析窗口，改變用于片頭片尾字幕存在/不存在判斷的段(步驟S2014)。文本疊加幀檢測單元2002執(zhí)行對新增加到分析窗口的幀(幀K2)的文本疊加幀檢測處理(步驟 S2003)。片頭片尾字幕存在/不存在判斷單元2003通過檢查在分析窗口中是否包括超過指定比率的字卡檢測幀，對是否存在片頭片尾字幕進(jìn)行判斷(步驟S2007)。當(dāng)判斷存在片頭片尾字幕時，進(jìn)一步向后移動幀分析窗口 (圖9中表達(dá)為‘％++”和“K2++”)(步驟S2015) 并執(zhí)行相同的處理。當(dāng)判斷不存在片頭片尾字幕時，將在該點(diǎn)處的幀分析窗口的結(jié)束幀確定為高可靠性片頭片尾字幕段的結(jié)束點(diǎn)。雖然在本示例中將結(jié)束幀確定為結(jié)束點(diǎn)，還可能將與該結(jié)束幀距離指定幀數(shù)目的幀確定為結(jié)束點(diǎn)。例如，可能通過評估可靠性，在結(jié)束幀K2 處采用小的余量Μ,并將幀K2-M確定為結(jié)束幀。用于確定高可靠性片頭片尾字幕段的開始點(diǎn)和結(jié)束點(diǎn)的處理(圖8，圖9)中的任何處理都可以首先執(zhí)行。圖10和圖11是對片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元的配置示例進(jìn)行示出的方框圖。下面將參考圖10和圖11來說明作為片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202 的配置示例的片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202a和202b圖10中示出的片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202a包括片頭片尾字幕段判斷控制單元2101、包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102、文本疊加幀檢測單元2013以及片頭片尾字幕存在/不存在判斷單元2003。片頭片尾字幕段判斷控制單元2101從包括片頭片尾字幕的高確信段檢測單元 201接收高可靠性片頭片尾字幕段信息。片頭片尾字幕段判斷控制單元2101從由高可靠性片頭片尾字幕段信息指定的包括片頭片尾字幕的高確信段的開始點(diǎn)或結(jié)束點(diǎn)毗鄰的幀開始連續(xù)選擇處理目標(biāo)幀，并連續(xù)向文本疊加幀檢測單元2103輸出所選擇的幀的幀編號。在本文中，與圖6中示出的處理目標(biāo)幀控制單元2001對幀分析窗口的設(shè)置類似，片頭片尾字幕段判斷控制單元2101設(shè)置具有一定寬度的幀分析窗口。片頭片尾字幕段判斷控制單元 2101所設(shè)置的幀分析窗口的窗口寬度可以等于或者不同于處理目標(biāo)幀控制單元2001所確定的幀分析窗口的窗口寬度。向包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102提供從輸入單元11輸入的視頻數(shù)據(jù)和從包括片頭片尾字幕的高確信段檢測單元201輸入的包括片頭片尾字幕的高確信段信息。包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102對包括片頭片尾字幕的高確信段中的視頻數(shù)據(jù)進(jìn)行分析。包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102向文本疊加幀檢測單元2103輸出分析結(jié)果，特別是利用片頭片尾字幕中的字符(字母)的公共特征的分析結(jié)果，作為包括視頻內(nèi)片頭片尾字幕的高確信段分析結(jié)果。執(zhí)行該處理，以提取對文本疊加幀檢測單元2103的檢測精確度的提高做出貢獻(xiàn)的信息。包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102的分析所獲得的信息可以包括各種信息，例如，如字符移動距離信息(專用于移動類型的片頭片尾字幕)、字符字體信息(字符顏色、有/沒有邊緣、邊緣顏色、字符筆畫寬度、字符縱橫比、字符大小、字符版式設(shè)計等)以及字符顯示區(qū)域信息。在片頭片尾字幕是移動類型的情況下，包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102計算在包括片頭片尾字幕的高確信段中的各個幀圖像中的場間(inter-field) 字符移動距離(可以針對各個幀來計算)。利用片頭片尾字幕中的字符一般具有在恒定方向上以恒定速度移動的特性這一事實(shí)，可以將本處理中在包括片頭片尾字幕的高確信段中計算的場間字符移動距離的模式(最頻繁的值)用作表示片頭片尾字幕中的字符移動速度的數(shù)值。當(dāng)關(guān)注字符字體(特別是字符顏色)時，特別地，包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102首先計算包括片頭片尾字幕的高確信段中的幀邊緣圖像，并將在連續(xù)的幀中以高密度出現(xiàn)邊緣的區(qū)域確定為幀內(nèi)高精確度字符顯示區(qū)域。然后，包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102獲取在幀內(nèi)高精確度字符顯示區(qū)域中的從其提取出邊緣的像素的顏色信息?？紤]到在很多情況下片頭片尾字幕使用相同顏色的字符這一特性，本文中所獲取的顏色信息包括片頭片尾字幕中的多數(shù)字符的顏色。同樣地，當(dāng)關(guān)注于除字符顏色之外的字符字體信息時，與關(guān)注于字符顏色的情況相似，包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102可以通過首先確定幀內(nèi)高精確度字符顯示區(qū)域來獲取信息。當(dāng)關(guān)注于字符顯示區(qū)域(字符顯示于其中)時，包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102通過利用片頭片尾字幕在屏幕上的具體區(qū)域中連續(xù)顯示一定長度的時間這一特性以及幀內(nèi)高精確度字符顯示區(qū)域在整個包括片頭片尾字幕的高確信段上的連續(xù)性，確定片頭片尾字幕中顯示字符的概率高的區(qū)域。特別地，包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102考慮具有特定寬度的分析窗口，使用分析窗口中的幀來計算幀內(nèi)高精確度字符顯示區(qū)域，以及在之后移動分析窗口并類似地執(zhí)行對幀內(nèi)高精確度字符顯示區(qū)域的計算。針對包括片頭片尾字幕的整個高確信段執(zhí)行本處理。可以將交疊的幀內(nèi)高精確度字符顯示區(qū)域(在各個分析窗口位置處對各個區(qū)域進(jìn)行計算)的數(shù)目最大的區(qū)域視為其中顯示片頭片尾字幕中的字符的概率高的區(qū)域。文本疊加幀檢測單元2103執(zhí)行與圖6中示出的文本疊加幀檢測單元2002所執(zhí)行的字卡檢測處理相類似的字卡檢測處理，區(qū)別在于以下不同文本疊加幀檢測單元2103從包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102接收對包括片頭片尾字幕的高確信段的視頻分析結(jié)果，并通過使用該視頻分析結(jié)果來執(zhí)行字卡檢測處理。例如，在從包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102輸入關(guān)于字符移動距離的信息，以作為對包括片頭片尾字幕的高確信段的視頻分析結(jié)果的情況下，文本疊加幀檢測單元2103通過分析由執(zhí)行與字符移動距離相對應(yīng)的運(yùn)動補(bǔ)償而造成的幀圖像中的邊緣數(shù)目的改變，執(zhí)行字卡檢測處理。在輸入關(guān)于字符顏色的信息的情況下，文本疊加幀檢測單元2103還通過計算幀內(nèi)高精確度字符顯示區(qū)域中的字符顏色占有率，獲取與幀內(nèi)高精確度字符顯示區(qū)域有關(guān)的信息并執(zhí)行字卡檢測處理。在輸入字符顯示區(qū)域的信息的情況下，文本疊加幀檢測單元2103在對幀圖像中的字符顯示區(qū)域進(jìn)行加權(quán)之后執(zhí)行字卡檢測處理。片頭片尾字幕存在/不存在判斷單元2003針對片頭片尾字幕段判斷控制單元 2101所設(shè)置的分析窗口對片頭片尾字幕的存在/不存在進(jìn)行判斷，該判斷通過檢查文本疊加幀是否連續(xù)地出現(xiàn)在分析窗口中并具有指定的比率或更高的比率，文本疊加幀是否以指定的比率或更高的比率存在于分析窗口中等來進(jìn)行。其后，片頭片尾字幕存在/不存在判斷單元2003向片頭片尾字幕段判斷控制單元2101輸出判斷結(jié)果，作為片頭片尾字幕存在/ 不存在的判斷結(jié)果。該功能與圖6中示出的片頭片尾字幕存在/不存在判斷單元2003的功能相同。附帶地，片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元20 能夠按時間向前或者向后執(zhí)行片頭片尾字幕搜索處理。在按時間向前的搜索中，片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元20 使用分析窗口從高可靠性片頭片尾字幕段(其最前面的幀已在圖8中的步驟S2013 中確定，并已經(jīng)輸入到片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元20 )的開始點(diǎn)的前一幀的位置開始搜索。在按反向時間的搜索中，片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元20 使用分析窗口從高可靠性片頭片尾字幕段(其結(jié)束幀已在圖9中的步驟S2016中確定，并已經(jīng)輸入到片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202a)的結(jié)束點(diǎn)的后一幀的位置開始搜索。 當(dāng)從片頭片尾字幕存在/不存在判斷單元2003返回指示分析窗口中存在片頭片尾字幕的判斷結(jié)果，以作為關(guān)于分析窗口中的幀的片頭片尾字幕存在/不存在的判斷結(jié)果時，片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元20 連續(xù)移動分析窗口，并且還在各個分析窗口位置處執(zhí)行片頭片尾字幕存在/不存在的判斷處理。在當(dāng)返回指示不存在片頭片尾字幕的判斷結(jié)果時的點(diǎn)處，片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元20 將對已經(jīng)被判斷為顯示片頭片尾字幕的分析窗口進(jìn)行連接而形成的段視為片頭片尾字幕段，并向輸出單元14輸出表示片頭片尾字幕段的信息。同時，圖11中示出的片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202b包括包括片頭片尾字幕的高確信段的前/后相鄰段的參數(shù)重新確定單元2104、文本疊加幀檢測單元 2105、以及片頭片尾字幕存在/不存在判斷單元2003。包括片頭片尾字幕的高確信段的前/后相鄰段的參數(shù)重新確定單元2104具有包括圖10中示出的片頭片尾字幕段判斷控制單元2101的功能在內(nèi)的功能。包括片頭片尾字幕的高確信段的前/后相鄰段的參數(shù)重新確定單元2104從包括片頭片尾字幕的高確信段檢測單元201接收包括片頭片尾字幕的高確信段信息，并重新確定處理目標(biāo)幀以及關(guān)于與包括片頭片尾字幕的高確信段的前端和后端相鄰的段的參數(shù)值。特別地，與包括片頭片尾字幕的高確信段檢測單元201中執(zhí)行的操作相比，包括片頭片尾字幕的高確信段的前/后相鄰段的參數(shù)重新確定單元2104在利于文本疊加幀檢測的方向上改變用于邊緣檢測的參數(shù)值等。其后，包括片頭片尾字幕的高確信段的前/后相鄰段的參數(shù)重新確定單元2104向文本疊加幀檢測單元2105輸出已改變的參數(shù)值以及與處理目標(biāo)幀有關(guān)的幀編號信息。文本疊加幀檢測單元2105執(zhí)行與圖6中示出的文本疊加幀檢測單元2002所執(zhí)行的字卡檢測處理相似的字卡檢測處理，不同在于文本疊加幀檢測單元2105使用包括片頭片尾字幕前/后相鄰段參數(shù)重確定單元2104重新確定的參數(shù)值來執(zhí)行字卡檢測處理。因此，為了簡潔起見，省略對該處理的詳細(xì)解釋。片頭片尾字幕存在/不存在判斷單元2003 執(zhí)行與圖10中示出的片頭片尾字幕存在/不存在判斷單元2003所執(zhí)行的片頭片尾字幕存在/不存在判斷處理相類似的判斷處理。在第一示例性實(shí)施例的片頭片尾字幕檢測中，通過利用大量的節(jié)目實(shí)現(xiàn)了不是從視頻數(shù)據(jù)的最前面的幀，而是從存在片頭片尾字幕的概率高的區(qū)域開始檢測處理，由此，使得對片頭片尾字幕檢測處理的加速成為可能。首先檢測看起來在其中顯示片頭片尾字幕的概率高的段，并在其后對搜索和檢測片頭片尾字幕段的開始點(diǎn)和結(jié)束點(diǎn)的范圍進(jìn)行擴(kuò)展， 這種兩級處理實(shí)現(xiàn)了對片頭片尾字幕段檢測處理的精確度的提高。〈第二示例性實(shí)施例〉下面將參考附圖來描述依照本發(fā)明的片頭片尾字幕段檢測設(shè)備的第二示例性實(shí)施例(示例性實(shí)施例2)。圖12是對依照本發(fā)明的片頭片尾字幕段檢測設(shè)備的第二示例性實(shí)施例的一般配置進(jìn)行示出的方框圖。第二示例性實(shí)施例的一般配置與第一示例性實(shí)施例的一般配置的不同之處在于從輸入單元21向片頭片尾字幕搜索開始點(diǎn)確定單元22輸入視頻數(shù)據(jù)。其他組件與圖1中示出的第一示例性實(shí)施例的一般配置的組件相等效，并從而省略對其的詳細(xì)解釋。片頭片尾字幕搜索開始點(diǎn)確定單元22不是使用視頻學(xué)習(xí)結(jié)果，而是通過從輸入單元 21直接接收視頻數(shù)據(jù)并使用該視頻數(shù)據(jù)，來確定搜索開始點(diǎn)。下面將解釋片頭片尾字幕搜索開始點(diǎn)確定單元22的進(jìn)一步細(xì)節(jié)。圖13和圖14是對圖12中示出的片頭片尾字幕搜索開始點(diǎn)確定單元的配置示例進(jìn)行示出的方框圖。下面將參考圖13和圖14來說明作為片頭片尾字幕搜索開始點(diǎn)確定單元22的配置示例的片頭片尾字幕搜索開始點(diǎn)確定單元2 和22b。圖13中示出的片頭片尾字幕搜索開始點(diǎn)確定單元2 包括幀圖像產(chǎn)生單元111、 幀邊緣圖像產(chǎn)生單元112、內(nèi)容內(nèi)邊緣數(shù)目分布分析單元113、以及搜索開始點(diǎn)選擇單元 102。搜索開始點(diǎn)選擇單元102等效于第一示例性實(shí)施例中的搜索開始點(diǎn)選擇單元102，并從而省略對其的詳細(xì)解釋。幀圖像產(chǎn)生單元111從輸入單元21接收視頻數(shù)據(jù)，并從視頻數(shù)據(jù)產(chǎn)生各個視頻圖像。當(dāng)視頻數(shù)據(jù)是壓縮視頻時，幀圖像產(chǎn)生單元111通過對壓縮視頻進(jìn)行解碼來構(gòu)建幀圖像。當(dāng)視頻數(shù)據(jù)是已經(jīng)被解碼的非壓縮視頻時，幀圖像產(chǎn)生單元111通過提取來構(gòu)建幀圖像。在這種情況下，理想的是，不是將每個幀而是將在指定段處選擇的幀作為處理目標(biāo)幀來進(jìn)行處理。幀邊緣圖像產(chǎn)生單元112從幀圖像產(chǎn)生單元111接收幀圖像，并通過使用邊緣檢測濾波器(二維拉普拉斯濾波器、Carmy濾波器等)從該幀圖像產(chǎn)生幀邊緣圖像。內(nèi)容內(nèi)邊緣數(shù)目分布分析單元113從幀邊緣圖像產(chǎn)生單元112接收幀邊緣圖像中的邊緣的數(shù)目，并從幀圖像產(chǎn)生單元111接收作為處理目標(biāo)的幀圖像的幀號，并因此計算高密度片頭片尾字幕部分的出現(xiàn)概率信息。在邊緣數(shù)目大的區(qū)域中(由預(yù)設(shè)的幀段處的幀組成)，該概率呈現(xiàn)出高的值，因?yàn)檫@種區(qū)域被判斷為具有片頭片尾字幕中的高的字符密度。相反，在邊緣的數(shù)目小的區(qū)域中，該概率呈現(xiàn)出低的值。同時，圖14中示出的片頭片尾字幕搜索開始點(diǎn)確定單元22b包括頭部信息提取單元121、頭部信息分析單元122和搜索開始點(diǎn)選擇單元102。搜索開始點(diǎn)選擇單元102與第一示例性實(shí)施例中的搜索開始點(diǎn)選擇單元102等效，并從而省略對其的詳細(xì)解釋。頭部信息提取單元121提取包含在從輸入單元21輸入的壓縮視頻中的頭部信息。 例如，當(dāng)輸入以MPEG格式壓縮的視頻時，與針對各個宏塊確定的運(yùn)動矢量有關(guān)的信息包含在頭部信息中。該信息由頭部信息提取單元121所獲取。頭部信息還包含與在宏塊的單元中使用的DCT模式(幀DCT或場DCT)有關(guān)的信息。該信息也由頭部信息提取單元121獲取。
21
頭部信息分析單元122從頭部信息提取單元121接收頭部信息，并計算高密度片頭片尾字幕部分的出現(xiàn)概率信息。下面將解釋頭部信息分析單元122的進(jìn)一步細(xì)節(jié)。圖15和16是對頭部信息分析單元的配置示例進(jìn)行示出的方框圖。下面將參考圖 15和16解釋作為頭部信息分析單元122的配置示例的頭部信息分析單元12 和122b?？梢酝ㄟ^幀內(nèi)圖像運(yùn)動矢量分析單元1221來實(shí)現(xiàn)圖15中示出的頭部信息分析單元12加。然而，僅當(dāng)片頭片尾字幕是移動類型時，該配置才是可能的。在這種配置中，幀內(nèi)圖像運(yùn)動矢量分析單元1221從頭部信息提取單元121提取運(yùn)動矢量信息和幀編號，并通過使用所提取的信息來計算高密度片頭片尾字幕部分的出現(xiàn)概率信息。在幀圖像中的運(yùn)動矢量方向的一致性程度高并且在固定的幀段中運(yùn)動矢量方向沒有太大改變的區(qū)域中，該概率呈現(xiàn)出高的值，因?yàn)檫@種區(qū)域被判斷為包括片頭片尾字幕中的高字符密度區(qū)域。相反，在幀圖像中的運(yùn)動矢量方向的一致性程度低的區(qū)域中，該概率呈現(xiàn)出低的值。這些趨勢是由在移動類型的片頭片尾字幕中移動方向和移動速度是恒定的這一片頭片尾字幕的特性所導(dǎo)致的。同時，可以通過幀內(nèi)圖像高頻率組件存在/不存在分析單元1222來實(shí)現(xiàn)圖16中示出的頭部信息分析單元122b。然而同樣地，僅當(dāng)片頭片尾字幕是移動類型時，該配置才是可能的。在這種配置中，幀內(nèi)圖像高頻率組件存在/不存在分析單元1222從頭部信息提取單元121提取關(guān)于所選擇的DCT模式和幀編號的信息，并通過使用所提取的信息來計算高密度片頭片尾字幕部分的出現(xiàn)概率信息。在幀圖像中對場DCT進(jìn)行多次選擇并且在固定的幀段中繼續(xù)該趨勢的區(qū)域中，該概率呈現(xiàn)出高的值，因?yàn)檫@種區(qū)域被判斷為具有片頭片尾字幕中的高字符密度區(qū)域。相反，在對幀DCT進(jìn)行多次選擇的區(qū)域中，該概率呈現(xiàn)出低的值。這些趨勢是由以下原因造成的。在片頭片尾字幕所疊加到的段中，各個幀圖像包括了其中在垂直方向上對齊的像素交替地呈現(xiàn)出高值和低值的大量區(qū)域。在這種段中，由于高頻成分的增加，傾向于選擇場DCT。在第二示例性實(shí)施例的片頭片尾字幕檢測中，首先粗略地檢測存在片頭片尾字幕的概率高的區(qū)域，并在其后從該區(qū)域開始檢測處理。因此，在不需要從視頻數(shù)據(jù)的最前面的幀開始檢測處理的情況下，也可能加速片頭片尾字幕檢測處理。首先檢測看起來其中顯示片頭片尾字幕的概率高的段，并在其后從該段起擴(kuò)展搜索范圍以及檢測片頭片尾字幕段的開始點(diǎn)和結(jié)束點(diǎn)，這種兩級處理實(shí)現(xiàn)了對片頭片尾字幕段檢測處理的精確度的提高。圖17是對依照本發(fā)明的片頭片尾字幕段檢測設(shè)備的主要部分進(jìn)行示出的方框圖。如圖17中所示的，片頭片尾字幕段檢測設(shè)備1包括輸入單元2(例如，圖1中示出的輸入單元11)，用于輸入視頻內(nèi)容的視頻數(shù)據(jù)；搜索開始點(diǎn)確定單元3 (例如，圖1中示出的片頭片尾字幕搜索開始點(diǎn)確定單元12)，用于確定開始點(diǎn)，該開始點(diǎn)表示基于片頭片尾字幕段中以高密度來顯示字符的片頭片尾字幕的高字符密度部分的存在概率來開始片頭片尾字幕搜索處理的時間位置；以及顯示段判斷單元4 (例如，圖1中示出的片頭片尾字幕段判斷單元13)，用于通過首先對開始點(diǎn)執(zhí)行片頭片尾字幕搜索處理，并在其后從該開始點(diǎn)向前和向后對作為搜索處理的目標(biāo)的段連續(xù)進(jìn)行擴(kuò)展，以此判斷片頭片尾字幕的顯示段。在以上配置的片頭片尾字幕段檢測設(shè)備中，通過從高字符密度部分開始搜索，對片頭片尾字幕的顯示段進(jìn)行判斷(在高字符密度部分中，片頭片尾字幕中的字符串密度高，并且檢測到片頭片尾字幕的概率高)，以及執(zhí)行對該顯示段中的片頭片尾字幕的搜索。因此，可以加速對片頭片尾字幕的檢測，并且可以增大片頭片尾字幕檢測處理的精確度。以上示例性實(shí)施例還已公開了如下(1)-(16)所配置的片頭片尾字幕段檢測設(shè)備。(1)當(dāng)在針對開始點(diǎn)執(zhí)行的片頭片尾字幕搜索處理中判斷不存在片頭片尾字幕時，顯示段判斷單元請求搜索開始點(diǎn)確定單元重新確定搜索處理的開始點(diǎn)，直至發(fā)現(xiàn)存在片頭片尾字幕的時間位置，并在其后通過從作為已被判斷為存在片頭片尾字幕的位置的重新確定的開始點(diǎn)開始搜索處理，以此對片頭片尾字幕的顯示段進(jìn)行判斷(例如，由步驟 S102-S104實(shí)現(xiàn))。在以上配置的片頭片尾字幕段檢測設(shè)備中，可以提高片頭片尾字幕檢測的速度。(2)片頭片尾字幕段檢測設(shè)備還可以包括學(xué)習(xí)結(jié)果存儲單元(例如，圖3中示出的視頻學(xué)習(xí)結(jié)果存儲單元101)，用于通過學(xué)習(xí)多個視頻內(nèi)容項(xiàng)目對片頭片尾字幕的高字符密度部分的存在概率進(jìn)行確定，并將所確定的概率信息存儲為高密度片頭片尾字幕部分的出現(xiàn)概率信息。搜索開始點(diǎn)確定單元(例如，由第一示例性實(shí)施例中的片頭片尾字幕搜索開始點(diǎn)確定單元1 實(shí)現(xiàn))，基于存儲在學(xué)習(xí)結(jié)果存儲單元中的高密度片頭片尾字幕部分的出現(xiàn)概率信息，確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。在以上配置的片頭片尾字幕段檢測設(shè)備中，基于之前已經(jīng)學(xué)習(xí)和累計的與片頭片尾字幕的特性有關(guān)的信息，搜索和確定搜索開始點(diǎn)。因此，可以提高片頭片尾字幕檢測的速度。(3)學(xué)習(xí)結(jié)果存儲單元(例如，圖4中示出的視頻學(xué)習(xí)結(jié)果存儲單元101b)，存儲通過學(xué)習(xí)多個視頻內(nèi)容項(xiàng)目中的顯示片頭片尾字幕的段而計算出的內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息，以及存儲通過學(xué)習(xí)這種顯示片頭片尾字幕的段中的字符密度而計算出的片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息。學(xué)習(xí)結(jié)果存儲單元包括出現(xiàn)概率信息計算單元，用于基于內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息和片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息計算高密度片頭片尾字幕部分的出現(xiàn)概率信息。搜索開始點(diǎn)確定單元(例如，由第一示例性實(shí)施例中的片頭片尾字幕搜索開始點(diǎn)確定單元12b實(shí)現(xiàn))基于出現(xiàn)概率信息計算單元計算出的的高密度片頭片尾字幕部分的出現(xiàn)概率信息，確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。在以上配置的片頭片尾字幕段檢測設(shè)備中，基于之前已經(jīng)學(xué)習(xí)和累計的與片頭片尾字幕的特性有關(guān)的信息，搜索和確定搜索開始點(diǎn)。因此，可以提高片頭片尾字幕檢測的速度。(4)學(xué)習(xí)結(jié)果存儲單元將被認(rèn)為在其中心部分附近具有高值的分布存儲為片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息(例如，第一示例性實(shí)施例中的高密度片頭片尾字幕部分的出現(xiàn)概率信息計算單元103所進(jìn)行的處理示例中所描述的)。在如上配置的片頭片尾字幕段檢測設(shè)備中，可以提高用于計算高密度片頭片尾字幕部分的出現(xiàn)概率信息的處理的速度(通過讀出片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息來計算)。(5)搜索開始點(diǎn)確定單元(例如，由第二示例性實(shí)施例中的片頭片尾字幕搜索開始點(diǎn)確定單元22所實(shí)現(xiàn))通過使用分析所輸入的視頻內(nèi)容的視頻數(shù)據(jù)而獲取的特征量，估計片頭片尾字幕的高字符密度部分的存在概率，以此確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。在上述配置的片頭片尾字幕段檢測設(shè)備中，首先粗略地檢測片頭片尾字幕的存在概率高的區(qū)域，并在其后從該區(qū)域開始檢測處理，例如，由此可以消除從視頻數(shù)據(jù)的最前面的幀執(zhí)行檢測處理的需要，并實(shí)現(xiàn)了對片頭片尾字幕檢測處理的加速。
(6)該特征量是邊緣數(shù)目的分布。搜索開始點(diǎn)確定單元從輸入的視頻數(shù)據(jù)產(chǎn)生幀圖像(例如，幀圖像產(chǎn)生單元111)，通過計算所產(chǎn)生的幀圖像的邊緣成分來產(chǎn)生幀邊緣圖像(例如，幀邊緣圖像產(chǎn)生單元112)，通過分析內(nèi)容中的幀邊緣圖像的邊緣數(shù)目的分布來計算高密度片頭片尾字幕部分的出現(xiàn)概率信息(例如，內(nèi)容內(nèi)邊緣數(shù)目分布分析單元 113)，并基于所計算出的高密度片頭片尾字幕部分的出現(xiàn)概率信息來確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)(例如，由第二示例性實(shí)施例中的片頭片尾字幕搜索開始點(diǎn)確定單元2 實(shí)現(xiàn))。在如上配置的片頭片尾字幕段檢測設(shè)備中，通過利用對邊緣數(shù)目的分析， 可以提高用于確定片頭片尾字幕搜索處理的開始點(diǎn)的處理的精確度，由此可以提高在所確定的開始點(diǎn)處片頭片尾字幕的存在概率。(7)特征量是從頭部信息獲取的統(tǒng)計量，并且視頻數(shù)據(jù)是壓縮數(shù)據(jù)。搜索開始點(diǎn)確定單元提取所輸入的壓縮視頻數(shù)據(jù)中包含的頭部信息(例如，頭部信息提取單元121)，通過分析所提取的頭部信息來計算高密度片頭片尾字幕部分的出現(xiàn)概率信息(例如，頭部信息分析單元122)，并基于所計算出的高密度片頭片尾字幕部分的出現(xiàn)概率信息來確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)(例如，由第二示例性實(shí)施例中的片頭片尾字幕搜索開始點(diǎn)確定單元22b實(shí)現(xiàn))。在如上配置的片頭片尾字幕段檢測設(shè)備中，通過使用頭部信息，可以提高用于確定片頭片尾字幕搜索處理的開始點(diǎn)的處理的精確度，由此可以提高在所確定的開始點(diǎn)處片頭片尾字幕的存在概率。(8)統(tǒng)計量是針對各個宏塊確定的運(yùn)動矢量。搜索開始點(diǎn)確定單元通過分析幀圖像中運(yùn)動矢量方向的一致性程度，計算高密度片頭片尾字幕部分的出現(xiàn)概率信息(例如， 幀內(nèi)圖像運(yùn)動矢量分析單元1221)。在如上配置的片頭片尾字幕段檢測設(shè)備中，通過分析幀圖像中運(yùn)動矢量方向的一致性程度，可以提高用于確定片頭片尾字幕搜索處理的開始點(diǎn)的處理的精確度，由此可以提高在所確定的開始點(diǎn)處片頭片尾字幕的存在概率。(9)統(tǒng)計量是針對各個宏塊確定的DCT模式。搜索開始點(diǎn)確定單元通過使用幀圖像中的對場DCT的選擇的頻率或分布來分析高頻成分的存在/不存在，由此計算高密度片頭片尾字幕部分的出現(xiàn)概率信息(例如，幀內(nèi)圖像高頻成分存在/不存在分析單元1222)。 在如上配置的片頭片尾字幕段檢測設(shè)備中，通過分析幀圖像中高頻成分的存在/不存在， 可以提高用于確定片頭片尾字幕搜索處理的開始點(diǎn)的處理的精確度，由此可以提高在所確定的開始點(diǎn)處片頭片尾字幕的存在概率。(10)顯示段判斷單元，通過首先將可以高可靠性地檢測到片頭片尾字幕的段檢測為包括片頭片尾字幕的高確信段，并在然后將作為片頭片尾字幕搜索處理的目標(biāo)的段從包括片頭片尾字幕的高確信段向前和向后連續(xù)擴(kuò)展，以此檢測片頭片尾字幕段的開始點(diǎn)和結(jié)束點(diǎn)(例如，由片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202實(shí)現(xiàn))。在如上配置的片頭片尾字幕段檢測設(shè)備中，首先檢測看起來顯示片頭片尾字幕的可靠性高的段，并在其后擴(kuò)展對片頭片尾字幕段的開始點(diǎn)和結(jié)束點(diǎn)進(jìn)行搜索和檢測的范圍，通過這樣的兩階段處理可以提高片頭片尾字幕段檢測處理的精確度。(11)顯示段判斷單元通過首先對從輸入單元輸入的視頻數(shù)據(jù)的片頭片尾字幕段的開始點(diǎn)的候選點(diǎn)執(zhí)行文本疊加幀檢測處理，并在然后利用片頭片尾字幕段在很多情況下比其他字卡顯示段長的特性判斷文本疊加幀的連續(xù)性，以此計算包括片頭片尾字幕的高確信段信息(例如，由步驟S2001-2010實(shí)現(xiàn))。在如上配置的片頭片尾字幕段檢測設(shè)備中，可以提高片頭片尾字幕段檢測處理的效率，因?yàn)榛谖谋警B加幀的連續(xù)性計算與存在片頭片尾字幕的可靠性高的段有關(guān)的信息。(12)顯示段判斷單元，通過關(guān)于與包括片頭片尾字幕的高確信段的前端和后端相鄰的段來重新確定在文本疊加幀確定處理中使用的參數(shù)值，以便促進(jìn)文本疊加幀檢測(例如，包括片頭片尾字幕的高確信段的前/后相鄰段的參數(shù)重新確定單元2104)，并使用重新確定的參數(shù)值來執(zhí)行文本疊加幀檢測處理(例如，文本疊加幀檢測單元210 ，以此判斷片頭片尾字幕段(例如，在片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元202b中包括的片頭片尾字幕存在/不存在判斷單元200 。在以上配置的片頭片尾字幕段檢測設(shè)備中，可以提高文本疊加幀檢測處理的效率。(13)顯示段判斷單元，通過使用涉及字卡的特征量來分析與包括片頭片尾字幕的高確信段的前端和后端相鄰的段，以此判斷片頭片尾字幕段，其中該涉及字卡的特征量是通過針對從輸入單元輸入的視頻數(shù)據(jù)，對包括片頭片尾字幕的高確信段所指定的段執(zhí)行視頻分析而獲取的(例如，包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102)。在如上配置的片頭片尾字幕段檢測設(shè)備中，通過使用涉及字卡的特征量，可以提高文本疊加幀的檢測精確度。(14)該涉及字卡的特征量是字卡的字符移動距離。顯示段判斷單元，通過分析因在與包括片頭片尾字幕的高確信段的前端和后端相鄰的段中執(zhí)行與字符移動距離相對應(yīng)的運(yùn)動補(bǔ)償所導(dǎo)致的幀圖像中的邊緣數(shù)目的變化，判斷片頭片尾字幕段(例如，在片頭片尾字幕是移動類型的情況下，由包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102的操作實(shí)現(xiàn))。在如上配置的片頭片尾字幕段檢測設(shè)備中，通過使用涉及字卡的特征量，可以提高文本疊加幀的檢測精確度。(15)該涉及字卡的特征量是在幀圖像中具有顯示字符串的高概率的區(qū)域中的字符顏色。顯示段判斷單元，通過分析幀圖像中的該區(qū)域中的字符顏色在與包括片頭片尾字幕的高確信段的前端和后端相鄰的段中的占有率，判斷片頭片尾字幕段(例如，由包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102當(dāng)關(guān)注于字符顏色時的操作來實(shí)現(xiàn))。在如上配置的片頭片尾字幕段檢測設(shè)備中，通過使用涉及字卡的特征量，可以提高文本疊加幀的檢測精確度。(16)該涉及字卡的特征量是與字卡有關(guān)的顯示區(qū)域信息。顯示段判斷單元，通過對由與包括片頭片尾字幕的高確信段的前端和后端相鄰的段中的顯示區(qū)域信息所指定的幀圖像中的區(qū)域進(jìn)行加權(quán)后執(zhí)行字卡檢測處理，判斷片頭片尾字幕段(例如，由包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2102當(dāng)關(guān)注字符顯示區(qū)域時的操作來實(shí)現(xiàn))。在如上配置的片頭片尾字幕段檢測設(shè)備中，通過使用涉及字卡的特征量，可以提高文本疊加幀的檢測精確度。雖然以上已經(jīng)參考示例性實(shí)施例和示例對本發(fā)明進(jìn)行了描述，然而本發(fā)明不局限于具體的示意性示例實(shí)施例和示例?？梢栽诒景l(fā)明的范圍內(nèi)對本發(fā)明的配置和細(xì)節(jié)進(jìn)行本領(lǐng)域技術(shù)人員能夠理解的各種修改。本申請要求日本專利申請No. 2009-1172的優(yōu)先權(quán)，該專利于2009年1月6日提交，其全部公開以參考方式并入本文。工業(yè)應(yīng)用性
25
本發(fā)明實(shí)現(xiàn)了對在廣播節(jié)目等等中使用的片頭片尾字幕段(例如，用于顯示版權(quán)持有者、演員表等的字卡)的檢測，能夠應(yīng)用在用來提取與廣播節(jié)目的二次使用的權(quán)利有關(guān)的信息的系統(tǒng)。參考符號列表1片頭片尾字幕段檢測設(shè)備2輸入單元3搜索開始點(diǎn)確定單元4顯示段判斷單元11輸入單元12，12a, 12b，22，22a, 22b片頭片尾字幕搜索開始點(diǎn)確定單元13片頭片尾字幕段判斷單元14輸出單元101，101a, IOlb視頻學(xué)習(xí)結(jié)果存儲單元102搜索開始點(diǎn)選擇單元103高密度片頭片尾字幕部分的出現(xiàn)概率信息計算單元111幀圖像產(chǎn)生單元112幀邊緣圖像產(chǎn)生單元113內(nèi)容內(nèi)邊緣數(shù)目分布分析單元121頭部信息提取單元122，122a，122b頭部信息分析單元201包括片頭片尾字幕的高確信段檢測單元202, 202a, 202b片頭片尾字幕段開始/結(jié)束點(diǎn)檢測單元1221幀內(nèi)圖像運(yùn)動矢量分析單元1222幀內(nèi)圖像高頻成分存在/不存在分析單元2001處理目標(biāo)幀控制單元2002文本疊加幀檢測單元2003片頭片尾字幕存在/不存在判斷單元2101片頭片尾字幕段判斷控制單元2102包括視頻內(nèi)片頭片尾字幕的高確信段分析單元2103文本疊加幀檢測單元2104包括片頭片尾字幕的高確信段的前/后相鄰段的參數(shù)重新確定單元2105文本疊加幀檢測單元
權(quán)利要求
1.一種用于從視頻內(nèi)容中檢測片頭片尾字幕的顯示段的片頭片尾字幕段檢測設(shè)備，包括輸入裝置，用于輸入視頻內(nèi)容的視頻數(shù)據(jù)；搜索開始點(diǎn)確定裝置，用于基于片頭片尾字幕段中的片頭片尾字幕的高字符密度部分的存在概率確定開始點(diǎn)，所述開始點(diǎn)表示用于開始片頭片尾字幕搜索處理的時間位置；顯示段判斷裝置，用于通過首先針對所述開始點(diǎn)執(zhí)行片頭片尾字幕搜索處理，并在其后從所述開始點(diǎn)向前和向后連續(xù)擴(kuò)展作為搜索處理的目標(biāo)的段，以此判斷所述片頭片尾字幕的顯示段。
2.根據(jù)權(quán)利要求1所述的片頭片尾字幕段檢測設(shè)備，其中，當(dāng)在針對所述開始點(diǎn)執(zhí)行的片頭片尾字幕搜索處理中判斷不存在片頭片尾字幕時，所述顯示段判斷裝置請求所述搜索開始點(diǎn)確定裝置重新確定搜索處理的開始點(diǎn)，直至發(fā)現(xiàn)存在片頭片尾字幕的時間位置， 并在其后通過從作為已被判斷為存在片頭片尾字幕的位置的重新確定的開始點(diǎn)開始搜索處理，判斷所述片頭片尾字幕的顯示段。
3.根據(jù)權(quán)利要求1或2所述的片頭片尾字幕段檢測設(shè)備，還包括學(xué)習(xí)結(jié)果存儲裝置，用于通過學(xué)習(xí)多個視頻內(nèi)容項(xiàng)目確定片頭片尾字幕的高字符密度部分的存在概率，并將所確定的概率信息存儲為高密度片頭片尾字幕部分的出現(xiàn)概率信息？其中，所述搜索開始點(diǎn)確定裝置基于存儲在所述學(xué)習(xí)結(jié)果存儲裝置中的高密度片頭片尾字幕部分的出現(xiàn)概率信息，確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
4.根據(jù)權(quán)利要求1或2所述的片頭片尾字幕段檢測設(shè)備，其中所述學(xué)習(xí)結(jié)果存儲裝置存儲通過學(xué)習(xí)多個視頻內(nèi)容項(xiàng)目中顯示片頭片尾字幕的段而計算出的內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息，以及存儲通過學(xué)習(xí)這種顯示片頭片尾字幕的段中的字符密度而計算出的片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息，以及所述片頭片尾字幕段檢測設(shè)備還包括出現(xiàn)概率信息計算裝置，用于基于所述內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息和所述片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息，計算所述高密度片頭片尾字幕部分的出現(xiàn)概率信息，以及所述搜索開始點(diǎn)確定裝置基于所述出現(xiàn)概率信息計算裝置計算出的高密度片頭片尾字幕部分的出現(xiàn)概率信息，確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
5.根據(jù)權(quán)利要求4所述的片頭片尾字幕段檢測設(shè)備，其中，所述學(xué)習(xí)結(jié)果存儲裝置將被認(rèn)為在其中心部分附近具有高值的分布存儲為所述片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息。
6.根據(jù)權(quán)利要求1或2所述的片頭片尾字幕段檢測設(shè)備，其中，所述搜索開始點(diǎn)確定裝置通過使用分析所輸入的視頻內(nèi)容的視頻數(shù)據(jù)而獲取的特征量，估計所述片頭片尾字幕的高字符密度部分的存在概率，以此確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
7.根據(jù)權(quán)利要求6所述的片頭片尾字幕段檢測設(shè)備，其中所述特征量是邊緣數(shù)目的分布，以及所述搜索開始點(diǎn)確定裝置根據(jù)所輸入的視頻數(shù)據(jù)產(chǎn)生幀圖像，通過計算所產(chǎn)生的幀圖像的邊緣成分來產(chǎn)生幀邊緣圖像，通過分析內(nèi)容中的幀邊緣圖像的邊緣數(shù)目的分布來計算所述高密度片頭片尾字幕部分的出現(xiàn)概率信息，并基于所計算出的高密度片頭片尾字幕部分的出現(xiàn)概率信息來確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
8.根據(jù)權(quán)利要求6所述的片頭片尾字幕段檢測設(shè)備，其中所述特征量是從頭部信息獲取的統(tǒng)計量，所述視頻數(shù)據(jù)是壓縮數(shù)據(jù)，以及所述搜索開始點(diǎn)確定裝置提取所輸入的壓縮視頻數(shù)據(jù)中包含的頭部信息，通過分析所提取的頭部信息來計算所述高密度片頭片尾字幕部分的出現(xiàn)概率信息，并基于所計算出的高密度片頭片尾字幕部分的出現(xiàn)概率信息來確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)ο
9.根據(jù)權(quán)利要求8所述的片頭片尾字幕段檢測設(shè)備，其中所述統(tǒng)計量是針對各個宏塊確定的運(yùn)動矢量，以及所述搜索開始點(diǎn)確定裝置通過分析幀圖像中運(yùn)動矢量方向的一致性程度，計算所述高密度片頭片尾字幕部分的出現(xiàn)概率信息。
10.根據(jù)權(quán)利要求8所述的片頭片尾字幕段檢測設(shè)備，其中所述統(tǒng)計量是針對各個宏塊確定的DCT模式，以及所述搜索開始點(diǎn)確定裝置通過使用幀圖像中的對場DCT的選擇的頻率或分布來分析高頻成分的存在/不存在，以此計算所述高密度片頭片尾字幕部分的出現(xiàn)概率信息。
11.根據(jù)權(quán)利要求1或2所述的片頭片尾字幕段檢測設(shè)備，其中，所述顯示段判斷裝置通過首先將能夠高可靠性地檢測到片頭片尾字幕的段檢測為包括片頭片尾字幕的高確信段，然后將作為片頭片尾字幕搜索處理的目標(biāo)的段從所述包括片頭片尾字幕的高確信段向前和向后連續(xù)進(jìn)行擴(kuò)展，以此檢測片頭片尾字幕段的開始點(diǎn)和結(jié)束點(diǎn)。
12.根據(jù)權(quán)利要求11所述的片頭片尾字幕段檢測設(shè)備，其中，所述顯示段判斷裝置通過首先針對從所述輸入裝置輸入的視頻數(shù)據(jù)的片頭片尾字幕段的開始點(diǎn)的候選點(diǎn)執(zhí)行文本疊加幀檢測處理，并在然后利用片頭片尾字幕段在很多情況下比其他字卡顯示段長的特性來判斷文本疊加幀的連續(xù)性，以此計算所述包括片頭片尾字幕的高確信段信息。
13.根據(jù)權(quán)利要求12所述的片頭片尾字幕段檢測設(shè)備，其中，所述顯示段判斷裝置通過關(guān)于與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段來重新確定在文本疊加幀檢測處理中使用的參數(shù)值，以便促進(jìn)文本疊加幀檢測，以及使用重新確定的參數(shù)值來執(zhí)行文本疊加幀檢測處理，以此判斷片頭片尾字幕段。
14.根據(jù)權(quán)利要求12所述的片頭片尾字幕段檢測設(shè)備，其中，所述顯示段判斷裝置通過使用涉及字卡的特征量來分析與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段，以此判斷片頭片尾字幕段，其中所述涉及字卡的特征量是通過針對從所述輸入裝置輸入的視頻數(shù)據(jù)，對所述包括片頭片尾字幕的高確信段信息所指定的段執(zhí)行視頻分析而獲取的。
15.根據(jù)權(quán)利要求14所述的片頭片尾字幕段檢測設(shè)備，其中所述涉及字卡的特征量是字卡的字符移動距離，以及所述顯示段判斷裝置通過分析因在與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段中執(zhí)行與所述字符移動距離相對應(yīng)的運(yùn)動補(bǔ)償所導(dǎo)致的幀圖像中的邊緣數(shù)目的變化，判斷片頭片尾字幕段。
16.根據(jù)權(quán)利要求14所述的片頭片尾字幕段檢測設(shè)備，其中所述涉及字卡的特征量是在具有顯示字符串的高概率的幀圖像中的區(qū)域中的字符顏色，以及所述顯示段判斷裝置通過分析所述幀圖像中的區(qū)域中的字符顏色在與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段中的占有率，判斷片頭片尾字幕段。
17.根據(jù)權(quán)利要求14所述的片頭片尾字幕段檢測設(shè)備，其中所述涉及字卡的特征量是與字卡有關(guān)的顯示區(qū)域信息，以及所述顯示段判斷裝置通過對由與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段中的顯示區(qū)域信息所指定的幀圖像中的區(qū)域進(jìn)行加權(quán)后執(zhí)行字卡檢測處理，判斷片頭片尾字幕段。
18.一種用于從視頻內(nèi)容中檢測片頭片尾字幕的顯示段的片頭片尾字幕段檢測方法， 包括步驟輸入視頻內(nèi)容的視頻數(shù)據(jù)；基于片頭片尾字幕段中的片頭片尾字幕的高字符密度部分的存在概率確定開始點(diǎn)，所述開始點(diǎn)表示用于開始片頭片尾字幕搜索處理的時間位置；通過首先針對所述開始點(diǎn)執(zhí)行片頭片尾字幕搜索處理，并在其后從所述開始點(diǎn)向前和向后連續(xù)擴(kuò)展作為搜索處理的目標(biāo)的段，以此判斷所述片頭片尾字幕的顯示段。
19.根據(jù)權(quán)利要求18所述的片頭片尾字幕段檢測方法，其中，當(dāng)在針對所述開始點(diǎn)執(zhí)行的片頭片尾字幕搜索處理中判斷不存在片頭片尾字幕時，重新確定搜索處理的開始點(diǎn)， 直至發(fā)現(xiàn)存在片頭片尾字幕的時間位置，并在其后通過從作為已被判斷為存在片頭片尾字幕的位置的重新確定的開始點(diǎn)開始搜索處理，判斷所述片頭片尾字幕的顯示段。
20.根據(jù)權(quán)利要求18或19所述的片頭片尾字幕段檢測方法，包括步驟通過學(xué)習(xí)多個視頻內(nèi)容項(xiàng)目來確定片頭片尾字幕的高字符密度部分的存在概率；將所確定的概率信息存儲為高密度片頭片尾字幕部分的出現(xiàn)概率信息；以及基于所述高密度片頭片尾字幕部分的出現(xiàn)概率信息，確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
21.根據(jù)權(quán)利要求18或19所述的片頭片尾字幕段檢測方法，包括步驟存儲通過學(xué)習(xí)多個視頻內(nèi)容項(xiàng)目中顯示片頭片尾字幕的段而計算出的內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息，以及存儲通過學(xué)習(xí)這種顯示片頭片尾字幕的段中的字符密度而計算出的片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息；基于所述內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息和所述片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息，計算高密度片頭片尾字幕部分的出現(xiàn)概率信息；以及基于所述高密度片頭片尾字幕部分的出現(xiàn)概率信息，確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
22.根據(jù)權(quán)利要求21所述的片頭片尾字幕段檢測方法，其中，將被認(rèn)為在其中心部分附近具有高值的分布存儲為所述片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息。
23.根據(jù)權(quán)利要求18或19所述的片頭片尾字幕段檢測方法，其中，通過使用分析所輸入的視頻內(nèi)容的視頻數(shù)據(jù)而獲取的特征量，估計所述片頭片尾字幕的高字符密度部分的存在概率，以此確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
24.根據(jù)權(quán)利要求23所述的片頭片尾字幕段檢測方法，其中所述特征量是邊緣數(shù)目的分布，以及所述片頭片尾字幕段檢測方法包括步驟根據(jù)所輸入的視頻數(shù)據(jù)產(chǎn)生幀圖像；通過計算所產(chǎn)生的幀圖像的邊緣成分來產(chǎn)生幀邊緣圖像；通過分析內(nèi)容中的幀邊緣圖像的邊緣數(shù)目的分布，計算高密度片頭片尾字幕部分的出現(xiàn)概率信息；以及基于所述高密度片頭片尾字幕部分的出現(xiàn)概率信息，確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
25.根據(jù)權(quán)利要求23所述的片頭片尾字幕段檢測方法，其中所述特征量是從頭部信息獲取的統(tǒng)計量，所述視頻數(shù)據(jù)是壓縮數(shù)據(jù)，以及所述片頭片尾字幕段檢測方法包括步驟 提取所輸入的壓縮視頻數(shù)據(jù)中包含的頭部信息；通過分析所提取的頭部信息來計算高密度片頭片尾字幕部分的出現(xiàn)概率信息；以及基于所述高密度片頭片尾字幕部分的出現(xiàn)概率信息，確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
26.根據(jù)權(quán)利要求25所述的片頭片尾字幕段檢測方法， 其中所述統(tǒng)計量是針對各個宏塊確定的運(yùn)動矢量，以及通過分析幀圖像中運(yùn)動矢量方向的一致性程度，計算所述高密度片頭片尾字幕部分的出現(xiàn)概率信息。
27.根據(jù)權(quán)利要求25所述的片頭片尾字幕段檢測方法， 其中所述統(tǒng)計量是針對各個宏塊確定的DCT模式，以及通過使用幀圖像中的對場DCT的選擇的頻率或分布來分析高頻成分的存在/不存在， 計算所述高密度片頭片尾字幕部分的出現(xiàn)概率信息。
28.根據(jù)權(quán)利要求18或19所述的片頭片尾字幕段檢測方法，包括步驟將能夠高可靠性地檢測到片頭片尾字幕的段檢測為包括片頭片尾字幕的高確信段；以及通過將作為片頭片尾字幕搜索處理的目標(biāo)的段從所述包括片頭片尾字幕的高確信段向前和向后連續(xù)進(jìn)行擴(kuò)展，檢測片頭片尾字幕段的開始點(diǎn)和結(jié)束點(diǎn)。
29.根據(jù)權(quán)利要求28所述的片頭片尾字幕段檢測方法，其中，通過首先針對所輸入的視頻數(shù)據(jù)的片頭片尾字幕段的開始點(diǎn)的候選點(diǎn)執(zhí)行文本疊加幀檢測處理，并在然后利用片頭片尾字幕段在很多情況下比其他字卡顯示段長的特性來判斷文本疊加幀的連續(xù)性，以此計算所述包括片頭片尾字幕的高確信段信息。
30.根據(jù)權(quán)利要求29所述的片頭片尾字幕段檢測方法，其中，通過關(guān)于與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段來重新確定在文本疊加幀檢測處理中使用的參數(shù)值，以便促進(jìn)文本疊加幀檢測，以及使用重新確定的參數(shù)值來執(zhí)行文本疊加幀檢測處理，以此判斷片頭片尾字幕段。
31.根據(jù)權(quán)利要求29所述的片頭片尾字幕段檢測方法，其中，通過使用涉及字卡的特征量來分析與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段，以此判斷片頭片尾字幕段，其中所述涉及字卡的特征量是通過針對所輸入的視頻數(shù)據(jù)，對所述包括片頭片尾字幕的高確信段信息所指定的段執(zhí)行視頻分析而獲取的。
32.根據(jù)權(quán)利要求31所述的片頭片尾字幕段檢測方法， 其中所述涉及字卡的特征量是字卡的字符移動距離，以及通過分析因在與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段中執(zhí)行與所述字符移動距離相對應(yīng)的運(yùn)動補(bǔ)償所導(dǎo)致的幀圖像中的邊緣數(shù)目的變化，判斷片頭片尾字幕段。
33.根據(jù)權(quán)利要求31所述的片頭片尾字幕段檢測方法，其中所述涉及字卡的特征量是在具有顯示字符串的高概率的幀圖像中的區(qū)域中的字符顏色，以及通過分析所述幀圖像中的區(qū)域中的字符顏色在與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段中的占有率，判斷片頭片尾字幕段。
34.根據(jù)權(quán)利要求31所述的片頭片尾字幕段檢測方法，其中所述涉及字卡的特征量是與字卡有關(guān)的顯示區(qū)域信息，以及通過對由與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段中的顯示區(qū)域信息所指定的幀圖像中的區(qū)域進(jìn)行加權(quán)后執(zhí)行字卡檢測處理，判斷片頭片尾字幕段。
35.一種片頭片尾字幕段檢測程序，使得用于片頭片尾字幕段檢測設(shè)備的計算機(jī)執(zhí)行包括以下步驟的處理，所述片頭片尾字幕段檢測設(shè)備用于從視頻內(nèi)容中檢測片頭片尾字幕的顯示段輸入視頻內(nèi)容的視頻數(shù)據(jù)；基于片頭片尾字幕段中以高密度來顯示字符的片頭片尾字幕的高字符密度部分的存在概率確定開始點(diǎn)，所述開始點(diǎn)表示用于開始片頭片尾字幕搜索處理的時間位置；通過首先針對所述開始點(diǎn)執(zhí)行片頭片尾字幕搜索處理，并在其后從所述開始點(diǎn)向前和向后連續(xù)擴(kuò)展作為搜索處理的目標(biāo)的段，以此判斷所述片頭片尾字幕的顯示段。
36.根據(jù)權(quán)利要求35所述的片頭片尾字幕段檢測程序，其中，當(dāng)在針對所述開始點(diǎn)執(zhí)行的片頭片尾字幕搜索處理中判斷不存在片頭片尾字幕時，重新確定搜索處理的開始點(diǎn)， 直至發(fā)現(xiàn)存在片頭片尾字幕的時間位置，并在其后通過從作為已被判斷為存在片頭片尾字幕的位置的重新確定的開始點(diǎn)開始搜索處理，判斷所述片頭片尾字幕的顯示段。
37.根據(jù)權(quán)利要求35或36所述的片頭片尾字幕段檢測程序，所述處理包括步驟 通過學(xué)習(xí)多個視頻內(nèi)容項(xiàng)目來確定片頭片尾字幕的高字符密度部分的存在概率； 將所確定的概率信息存儲為高密度片頭片尾字幕部分的出現(xiàn)概率信息；以及基于所述高密度片頭片尾字幕部分的出現(xiàn)概率信息，確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
38.根據(jù)權(quán)利要求35或36所述的片頭片尾字幕段檢測程序，所述處理包括以下步驟 存儲通過學(xué)習(xí)多個視頻內(nèi)容項(xiàng)目中顯示片頭片尾字幕的段而計算出的內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息，以及存儲通過學(xué)習(xí)這種顯示片頭片尾字幕的段中的字符密度而計算出的片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息，以及基于所述內(nèi)容內(nèi)片頭片尾字幕的出現(xiàn)概率信息和所述片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息，計算高密度片頭片尾字幕部分的出現(xiàn)概率信息；以及基于所述高密度片頭片尾字幕部分的出現(xiàn)概率信息，確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
39.根據(jù)權(quán)利要求38所述的片頭片尾字幕段檢測程序，其中，所述處理包括步驟 將被認(rèn)為在其中心部分附近具有高值的分布存儲為所述片頭片尾字幕內(nèi)高字符密度部分的出現(xiàn)概率信息。
40.根據(jù)權(quán)利要求35或36所述的片頭片尾字幕段檢測程序，其中，通過使用分析所輸入的視頻內(nèi)容的視頻數(shù)據(jù)而獲取的特征量，估計所述片頭片尾字幕的高字符密度部分的存在概率，以此確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
41.根據(jù)權(quán)利要求40所述的片頭片尾字幕段檢測程序， 其中所述特征量是邊緣數(shù)目的分布，以及所述處理包括步驟根據(jù)所輸入的視頻數(shù)據(jù)產(chǎn)生幀圖像；通過計算所產(chǎn)生的幀圖像的邊緣成分來產(chǎn)生幀邊緣圖像；通過分析內(nèi)容中的幀邊緣圖像的邊緣數(shù)目的分布，計算高密度片頭片尾字幕部分的出現(xiàn)概率信息；以及基于所述高密度片頭片尾字幕部分的出現(xiàn)概率信息，確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
42.根據(jù)權(quán)利要求40所述的片頭片尾字幕段檢測程序， 其中所述特征量是從頭部信息獲取的統(tǒng)計量，以及當(dāng)所述視頻內(nèi)容已被壓縮時，所述處理包括步驟 提取所輸入的壓縮視頻數(shù)據(jù)中包含的頭部信息；通過分析所提取的頭部信息來計算高密度片頭片尾字幕部分的出現(xiàn)概率信息；以及基于所述高密度片頭片尾字幕部分的出現(xiàn)概率信息，確定用于開始片頭片尾字幕搜索處理的開始點(diǎn)。
43.根據(jù)權(quán)利要求42所述的片頭片尾字幕段檢測程序， 其中所述統(tǒng)計量是針對各個宏塊確定的運(yùn)動矢量，以及通過分析幀圖像中運(yùn)動矢量方向的一致性程度，計算所述高密度片頭片尾字幕部分的出現(xiàn)概率信息。
44.根據(jù)權(quán)利要求42所述的片頭片尾字幕段檢測程序， 其中所述統(tǒng)計量是針對各個宏塊確定的DCT模式，以及通過使用幀圖像中的對場DCT的選擇的頻率或分布來分析高頻成分的存在/不存在， 計算所述高密度片頭片尾字幕部分的出現(xiàn)概率信息。
45.根據(jù)權(quán)利要求35或36所述的片頭片尾字幕段檢測程序，所述處理包括步驟 將能夠高可靠性地檢測到片頭片尾字幕的段檢測為包括片頭片尾字幕的高確信段；以及通過將作為片頭片尾字幕搜索處理的目標(biāo)的段從所述包括片頭片尾字幕的高確信段向前和向后連續(xù)進(jìn)行擴(kuò)展，以此檢測片頭片尾字幕段的開始點(diǎn)和結(jié)束點(diǎn)。
46.根據(jù)權(quán)利要求45所述的片頭片尾字幕段檢測程序，所述處理包括步驟針對所輸入的視頻數(shù)據(jù)的片頭片尾字幕段的開始點(diǎn)的候選點(diǎn)執(zhí)行文本疊加幀檢測處理；以及通過利用片頭片尾字幕段在很多情況下比其他字卡顯示段長的特性來判斷文本疊加幀的連續(xù)性，計算包括片頭片尾字幕的高確信段信息。
47.根據(jù)權(quán)利要求46所述的片頭片尾字幕段檢測程序，所述處理包括步驟關(guān)于與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段來重新確定在文本疊加幀檢測處理中使用的參數(shù)值，以便促進(jìn)文本疊加幀檢測；以及通過使用重新確定的參數(shù)值來執(zhí)行文本疊加幀檢測處理，判斷片頭片尾字幕段。
48.根據(jù)權(quán)利要求46所述的片頭片尾字幕段檢測程序，其中，通過使用涉及字卡的特征量來分析與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段，以此判斷片頭片尾字幕段，其中所述涉及字卡的特征量是通過針對所輸入的視頻數(shù)據(jù)，對所述包括片頭片尾字幕的高確信段信息所指定的段執(zhí)行視頻分析而獲取的。
49.根據(jù)權(quán)利要求48所述的片頭片尾字幕段檢測程序， 其中所述涉及字卡的特征量是字卡的字符移動距離，以及通過分析因在與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段中執(zhí)行與所述字符移動距離相對應(yīng)的運(yùn)動補(bǔ)償所導(dǎo)致的幀圖像中的邊緣數(shù)目的變化，判斷片頭片尾字幕段。
50.根據(jù)權(quán)利要求48所述的片頭片尾字幕段檢測程序，其中所述涉及字卡的特征量是在具有顯示字符串的高概率的幀圖像中的區(qū)域中的字符顏色，以及通過分析所述幀圖像中的區(qū)域中的字符顏色在與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段中的占有率，判斷片頭片尾字幕段。
51.根據(jù)權(quán)利要求48所述的片頭片尾字幕段檢測程序，其中所述涉及字卡的特征量是與字卡有關(guān)的顯示區(qū)域信息，以及通過對由與所述包括片頭片尾字幕的高確信段的前端和后端相鄰的段中的顯示區(qū)域信息所指定的幀圖像中的區(qū)域進(jìn)行加權(quán)后執(zhí)行字卡檢測處理，判斷片頭片尾字幕段。
全文摘要
字幕信息段檢測設(shè)備包括輸入裝置，用于輸入視頻內(nèi)容的視頻數(shù)據(jù)；搜索開始點(diǎn)確定裝置，基于以高密度顯示文本的字幕信息高文本密度部分在字幕顯示段中存在的概率，確定對用于開始字幕信息搜索處理的時間位置進(jìn)行指示的開始點(diǎn)；以及顯示段判斷裝置，在已經(jīng)關(guān)于開始點(diǎn)執(zhí)行字幕信息搜索處理之后，通過在開始點(diǎn)之前和之后擴(kuò)展執(zhí)行該搜索處理的段，確定字幕信息顯示段。
文檔編號G06T7/20GK102273193SQ20098015391
公開日2011年12月7日 申請日期2009年12月21日 優(yōu)先權(quán)日2009年1月6日
發(fā)明者間瀨亮太 申請人:日本電氣株式會社