專利名稱：運(yùn)動(dòng)圖像處理裝置、運(yùn)動(dòng)圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及運(yùn)動(dòng)圖像處理裝置、運(yùn)動(dòng)圖像處理方法和程序。
背景技術(shù)：
一般地，視頻(或運(yùn)動(dòng)圖像)包括多個(gè)剪切片段(cut)。在視頻表現(xiàn)中，存在一種情況，其中剪切片段結(jié)構(gòu)被設(shè)計(jì)為例如根據(jù)制作者的意圖在時(shí)間上間隔地布置具有相同內(nèi)容的剪切片段。

發(fā)明內(nèi)容
另外，存在必須了解視頻的剪切片段結(jié)構(gòu)以便觀看或使用視頻的情況。在這種情況下，通過將視頻劃分成多個(gè)剪切片段并將相似的剪切片段分組成共同的剪切片段群組來了解視頻的剪切片段結(jié)構(gòu)。然而，當(dāng)剪切片段未被適當(dāng)分組時(shí)，可能不能適當(dāng)?shù)亓私饧羟衅谓Y(jié)構(gòu)。鑒于上述情況，希望提供一種能夠適當(dāng)?shù)貙?duì)視頻的剪切片段分組的運(yùn)動(dòng)圖像處理裝置、運(yùn)動(dòng)圖像處理方法和程序。根據(jù)本公開的實(shí)施例，提供了一種運(yùn)動(dòng)圖像處理裝置，包括相似度判定單元，被配置為基于從運(yùn)動(dòng)圖像中包括的第一剪切片段群組的提取圖像生成的特征量和從運(yùn)動(dòng)圖像中包括的第二剪切片段群組的提取圖像生成的特征量，來判定后續(xù)剪切片段與第一剪切片段群組和第二剪切片段群組之間的相似程度；剪切片段分組單元，被配置為當(dāng)后續(xù)剪切片段與第一剪切片段群組或第二剪切片段群組相似時(shí)，將后續(xù)剪切片段分組到作為第一剪切片段群組和第二剪切片段群組之一的、與后續(xù)剪切片段相似的相似剪切片段群組中，而當(dāng)后續(xù)剪切片段不與第一剪切片段群組和第二剪切片段群組中的任一個(gè)相似時(shí)，將后續(xù)剪切片段分組到第三剪切片段群組中；特征量生成單元，被配置為當(dāng)后續(xù)剪切片段不與第一剪切片段群組和第二剪切片段群組中的任一個(gè)相似時(shí)，把從第三剪切片段群組中提取的提取圖像與從第一剪切片段群組和第二剪切片段群組中提取的提取圖像相比較，并且生成第三剪切片段群組的特征量；以及圖像提取單元，被配置為從每個(gè)剪切片段群組中包括的圖像中優(yōu)先提取運(yùn)動(dòng)圖像的時(shí)間碼較遲的圖像，從而獲得每個(gè)剪切片段群組的提取圖像。當(dāng)后續(xù)剪切片段與第一剪切片段群組或第二剪切片段群組相似時(shí)，特征量生成單元可以把從包括后續(xù)剪切片段的相似剪切片段群組中提取的提取圖像與從不與后續(xù)剪切片段相似的剪切片段群組中提取的提取圖像相比較，并且可以生成相似剪切片段群組的特征量。當(dāng)后續(xù)剪切片段與第一剪切片段群組或第二剪切片段群組相似時(shí)，圖像提取單元可以從后續(xù)剪切片段和與后續(xù)剪切片段相似的剪切片段群組中提取出提取圖像。當(dāng)后續(xù)剪切片段與第一剪切片段群組或第二剪切片段群組相似時(shí)，圖像提取單元可以從后續(xù)剪切片段中提取出提取圖像。特征量生成單元可以把從第一剪切片段群組中提取的提取圖像與從第二剪切片段群組中提取的提取圖像相比較，并且可以生成第一剪切片段群組的特征量和第二剪切片段群組的特征量。圖像提取單元可以從每個(gè)剪切片段群組中包括的圖像中從最遲的時(shí)間碼起按順序提取出位置具有固定間隔的圖像。圖像提取單元可以從每個(gè)剪切片段群組中包括的圖像中從最遲的時(shí)間碼起按順序提取出位置具有由等比數(shù)列表達(dá)的間隔的圖像。圖像提取單元可以從每個(gè)剪切片段群組中包括的圖像中從最遲的時(shí)間碼起按順序提取出位置具有由階差數(shù)列表達(dá)的間隔的圖像。根據(jù)本公開的另一實(shí)施例，提供了一種運(yùn)動(dòng)圖像處理方法，包括基于從運(yùn)動(dòng)圖像中包括的第一剪切片段群組的提取圖像生成的特征量和從運(yùn)動(dòng)圖像中包括的第二剪切片段群組的提取圖像生成的特征量，來判定后續(xù)剪切片段與第一剪切片段群組和第二剪切片段群組之間的相似程度；當(dāng)后續(xù)剪切片段與第一剪切片段群組或第二剪切片段群組相似時(shí)，將后續(xù)剪切片段分組到作為第一剪切片段群組和第二剪切片段群組之一的、與后續(xù)剪切片段相似的相似剪切片段群組中；以及當(dāng)后續(xù)剪切片段不與第一剪切片段群組和第二剪切片段群組中的任一個(gè)相似時(shí)，將后續(xù)剪切片段分組到第三剪切片段群組中，并且把從第三剪切片段群組中提取的提取圖像與從第一剪切片段群組和第二剪切片段群組中提取的提取圖像相比較以生成第三剪切片段群組的特征量。每個(gè)剪切片段群組的提取圖像是通過從每個(gè)剪切片段群組中包括的圖像中優(yōu)先提取運(yùn)動(dòng)圖像的時(shí)間碼較遲的圖像來獲得的。根據(jù)本公開的另一實(shí)施例，提供了一種程序，其使得計(jì)算機(jī)執(zhí)行該運(yùn)動(dòng)圖像處理方法。該程序可在計(jì)算機(jī)可讀介質(zhì)中提供或經(jīng)由通信等手段提供。根據(jù)以上所述的本公開的實(shí)施例，可以提供一種能夠?qū)σ曨l的剪切片段適當(dāng)分組的運(yùn)動(dòng)圖像處理裝置、運(yùn)動(dòng)圖像處理方法和程序。


圖1是示出根據(jù)本公開的實(shí)施例的運(yùn)動(dòng)圖像處理方法的概要的示圖2是示出根據(jù)本公開的實(shí)施例的運(yùn)動(dòng)圖像處理裝置的配置的框圖3是示出運(yùn)動(dòng)圖像處理裝置的操作過程的流程圖4是示出從剪切片段轉(zhuǎn)變的檢測結(jié)果獲得的剪切片段結(jié)構(gòu)的示例的示圖
圖5是示出剪切片段分組處理的過程的流程圖6是示出特征量生成處理的過程的流程圖7是示出圖像的提取規(guī)則的示例的示圖8是示出特征量的再生成規(guī)則的示例的示圖9是示出剪切片段分組處理的結(jié)果的示例的示圖10是示出特征量生成處理的過程的示例的示圖；并且
圖11是示出剪切片段結(jié)構(gòu)圖像的示例的示圖。
具體實(shí)施例方式
下面，將參考附圖詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意，在本說明書和附圖中，用相同的標(biāo)號(hào)來標(biāo)示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)說明。[1.運(yùn)動(dòng)圖像處理方法的概要]首先，將參考圖1來描述根據(jù)本公開的實(shí)施例的運(yùn)動(dòng)圖像處理方法的概要。圖1 示出了根據(jù)本公開的實(shí)施例的運(yùn)動(dòng)圖像處理方法的概要。如圖1中所示，在運(yùn)動(dòng)圖像處理方法中，在運(yùn)動(dòng)圖像MP中包括的第一剪切片段群組的圖像之中，優(yōu)先提取運(yùn)動(dòng)圖像MP的時(shí)間碼較遲的圖像(步驟Si)。以同樣的方式，在運(yùn)動(dòng)圖像MP中包括的第二剪切片段群組的圖像之中，優(yōu)先提取運(yùn)動(dòng)圖像MP的時(shí)間碼較遲的圖像(步驟S2)。接下來，基于從第一剪切片段群組的提取圖像生成的特征量Sl和從第二剪切片段群組的提取圖像生成的特征量S2來判定后續(xù)剪切片段與第一和第二剪切片段群組之間的相似程度(步驟S3)。然后，判定后續(xù)剪切片段是否與第一或第二剪切片段群組相似(步驟S4)。當(dāng)后續(xù)剪切片段與第一或第二剪切片段群組相似時(shí)(步驟S4中的“是”)，后續(xù)剪切片段被分組到作為第一和第二剪切片段群組之一的、與后續(xù)剪切片段相似的相似剪切片段群組(例如第一剪切片段群組)中(步驟S5)。同時(shí)，當(dāng)后續(xù)剪切片段不與第一和第二剪切片段群組中的任何一個(gè)相似時(shí)(步驟 S4中的“否”)，后續(xù)剪切片段被分組到第三剪切片段群組中(步驟S6)。此外，在包括后續(xù)剪切片段的第三剪切片段群組的圖像之中，優(yōu)先提取運(yùn)動(dòng)圖像MP的時(shí)間碼較遲的圖像(步驟S7)。然后，將第三剪切片段群組的提取圖像與第一和第二剪切片段群組的提取圖像相比較，并且生成第三剪切片段群組的特征量S3 (步驟S8)。這里，關(guān)于每個(gè)剪切片段群組的提取圖像，從每個(gè)剪切片段群組中包括的圖像之中，優(yōu)先提取運(yùn)動(dòng)圖像MP的時(shí)間碼較遲的圖像。另外，通過基于運(yùn)動(dòng)圖像MP的時(shí)間碼，在每個(gè)剪切片段群組中包括的圖像之中，重視與要經(jīng)歷相似度判定的后續(xù)剪切片段靠近的圖像的特征量，來生成每個(gè)剪切片段群組的特征量S (剪切片段群組的特征量的總稱)。結(jié)果， 可以通過充分考慮剪切片段之間的時(shí)間情境(運(yùn)動(dòng)圖像MP的故事等等)來適當(dāng)?shù)貙?duì)后續(xù)剪切片段分組。[2.運(yùn)動(dòng)圖像處理裝置1的配置]接下來，將參考圖2描述根據(jù)本公開的實(shí)施例的運(yùn)動(dòng)圖像處理裝置1。圖2示出了運(yùn)動(dòng)圖像處理裝置1的主要功能配置。如圖2中所示，運(yùn)動(dòng)圖像處理裝置1包括數(shù)據(jù)獲取單元11、剪切片段轉(zhuǎn)變檢測單元13、剪切片段分組處理單元15、剪切片段結(jié)構(gòu)圖像生成單元17、剪切片段結(jié)構(gòu)圖像輸出單元19、剪切片段結(jié)構(gòu)信息輸出單元21、以及數(shù)據(jù)存儲(chǔ)單元 23。數(shù)據(jù)獲取單元11獲取包括多個(gè)剪切片段的運(yùn)動(dòng)圖像數(shù)據(jù)MP，并將運(yùn)動(dòng)圖像數(shù)據(jù) MP提供給剪切片段轉(zhuǎn)變檢測單元13、剪切片段分組處理單元15和剪切片段結(jié)構(gòu)圖像生成單元17。一般地，運(yùn)動(dòng)圖像數(shù)據(jù)MP是幀格式的數(shù)據(jù)，并且可以僅是圖像數(shù)據(jù)或者是圖像數(shù)據(jù)和聲音數(shù)據(jù)的組合?？蓮臄?shù)據(jù)存儲(chǔ)單元23或外部裝置(未示出)獲取運(yùn)動(dòng)圖像數(shù)據(jù)MP。剪切片段轉(zhuǎn)變檢測單元13檢測運(yùn)動(dòng)圖像數(shù)據(jù)MP中的剪切片段轉(zhuǎn)變，并將檢測結(jié)果提供給剪切片段分組單元15。剪切片段轉(zhuǎn)變表示運(yùn)動(dòng)圖像MP中的剪切片段的變化。獲得連續(xù)的幀中的圖像和/或聲音的特征量并且基于特征量的相似程度來檢測剪切片段轉(zhuǎn)變。作為圖像和/或聲音的特征量，可以使用顏色直方圖和臉部圖像檢測，和/或聲音的音量、音調(diào)/節(jié)奏等等。此外，剪切片段轉(zhuǎn)變的檢測結(jié)果除了被提供給剪切片段分組處理單元 15以外，還可被提供給剪切片段結(jié)構(gòu)信息輸出單元21、數(shù)據(jù)存儲(chǔ)單元23、外部裝置等等。另外，當(dāng)檢測剪切片段轉(zhuǎn)變時(shí)獲得的特征量可被存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元23等等中并用于其他處理。剪切片段分組處理單元15基于剪切片段間的相似程度將多個(gè)剪切片段分組成剪切片段群組，這將在下文中詳細(xì)描述。剪切片段分組結(jié)果與剪切片段轉(zhuǎn)變的檢測結(jié)果一起被提供給剪切片段結(jié)構(gòu)圖像生成單元17。然而，剪切片段分組結(jié)果可被提供給剪切片段結(jié)構(gòu)信息輸出單元21、數(shù)據(jù)存儲(chǔ)單元23、外部裝置等等。剪切片段分組處理單元15基于剪切片段分組結(jié)果向剪切片段賦予表示剪切片段群組的群組ID。剪切片段分組處理單元15充當(dāng)圖像提取單元、相似度判定單元、剪切片段分組單元和特征量生成單元。剪切片段間相似程度是根據(jù)剪切片段中包括的圖像和/或聲音的顏色直方圖和臉部圖像的檢測結(jié)果和/或包括聲音的音量、音調(diào)/節(jié)奏等等的剪切片段的特征量來計(jì)算的。剪切片段群組表示具有相似的特征量的剪切片段的組合。為了生成剪切片段結(jié)構(gòu)圖像Cl，剪切片段結(jié)構(gòu)圖像生成單元17根據(jù)預(yù)定的標(biāo)準(zhǔn)， 基于剪切片段轉(zhuǎn)變的檢測結(jié)果，從每個(gè)剪切片段中包括的圖像中提取代表圖像I (代表圖像的總稱)。代表圖像I是代表每個(gè)剪切片段的圖像，并且例如是以與剪切片段的中央幀相對(duì)應(yīng)的圖像的形式來提取的。然后，剪切片段結(jié)構(gòu)圖像生成單元17基于運(yùn)動(dòng)圖像數(shù)據(jù)MP和剪切片段分組結(jié)果，生成指示運(yùn)動(dòng)圖像MP的剪切片段結(jié)構(gòu)的剪切片段結(jié)構(gòu)圖像Cl。例如， 剪切片段結(jié)構(gòu)圖像CI是包括按剪切片段轉(zhuǎn)變的順序布置的每個(gè)剪切片段的代表圖像I并指示剪切片段分組的圖像。剪切片段結(jié)構(gòu)圖像輸出單元19輸出從剪切片段結(jié)構(gòu)圖像生成單元17提供來的剪切片段結(jié)構(gòu)圖像Cl，以便用戶能夠容易地了解運(yùn)動(dòng)圖像MP的剪切片段結(jié)構(gòu)。剪切片段結(jié)構(gòu)圖像CI可被輸出到與運(yùn)動(dòng)圖像處理裝置1相連接的顯示裝置、打印裝置、存儲(chǔ)裝置或外部裝置(未示出)。剪切片段結(jié)構(gòu)信息輸出單元21輸出剪切片段分組結(jié)果等等作為剪切片段結(jié)構(gòu)信息，以便用戶能夠使用剪切片段結(jié)構(gòu)信息來了解剪切片段結(jié)構(gòu)。剪切片段結(jié)構(gòu)信息可被輸出到與運(yùn)動(dòng)圖像處理裝置1相連接的顯示裝置、打印裝置、存儲(chǔ)裝置或外部裝置(未示出)。 剪切片段結(jié)構(gòu)信息可用作用于執(zhí)行考慮剪切片段結(jié)構(gòu)的運(yùn)動(dòng)圖像搜索的數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)單元23存儲(chǔ)運(yùn)動(dòng)圖像數(shù)據(jù)MP和屬于運(yùn)動(dòng)圖像數(shù)據(jù)MP的數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)單元23可存儲(chǔ)與運(yùn)動(dòng)圖像數(shù)據(jù)MP相關(guān)聯(lián)的諸如剪切片段轉(zhuǎn)變的檢測結(jié)果和剪切片段分組結(jié)果之類的剪切片段結(jié)構(gòu)信息以及剪切片段結(jié)構(gòu)圖像Cl。此外，在圖2中，省略了數(shù)據(jù)存儲(chǔ)單元23與其他元件之間的連接關(guān)系的一部分。這里，在功能配置中，數(shù)據(jù)獲取單元11、剪切片段轉(zhuǎn)變檢測單元13、剪切片段分組處理單元15、剪切片段結(jié)構(gòu)圖像生成單元17、剪切片段結(jié)構(gòu)圖像輸出單元19和剪切片段結(jié)構(gòu)信息輸出單元21包括諸如CPU或數(shù)字信號(hào)處理裝置(DSP)之類的運(yùn)算處理單元。數(shù)據(jù)存儲(chǔ)單元23包括諸如閃存之類的內(nèi)部存儲(chǔ)設(shè)備或者諸如硬盤驅(qū)動(dòng)器或藍(lán)光盤驅(qū)動(dòng)器之類的外部存儲(chǔ)設(shè)備。CPU在RAM上展開并執(zhí)行從ROM等等讀取的程序，從而執(zhí)行運(yùn)動(dòng)圖像處理方法。此外，功能配置的至少一部分可由諸如專用邏輯之類的硬件來實(shí)現(xiàn)。[3.運(yùn)動(dòng)圖像處理裝置1的操作]
接下來，將參考圖3至11來描述根據(jù)本公開的實(shí)施例的運(yùn)動(dòng)圖像處理裝置1的操作。圖3示出了運(yùn)動(dòng)圖像處理裝置1的操作過程。如圖3中所示，數(shù)據(jù)獲取單元11首先獲取運(yùn)動(dòng)圖像數(shù)據(jù)MP (步驟Sll)，并將運(yùn)動(dòng)圖像數(shù)據(jù)MP提供給剪切片段轉(zhuǎn)變檢測單元13等等。剪切片段轉(zhuǎn)變檢測單元13基于運(yùn)動(dòng)圖像數(shù)據(jù)MP檢測運(yùn)動(dòng)圖像MP中的剪切片段轉(zhuǎn)變(步驟S13)，并將檢測結(jié)果提供給剪切片段分組處理單元15等等?；谶B續(xù)的幀中的圖像和/或聲音的特征量來檢測剪切片段轉(zhuǎn)變。圖4示出了從剪切片段轉(zhuǎn)變的檢測結(jié)果獲得的剪切片段結(jié)構(gòu)的示例。為了幫助理解，圖4利用各個(gè)剪切片段的代表圖像Il至17示出剪切片段結(jié)構(gòu)。此外，代表圖像I是由剪切片段結(jié)構(gòu)圖像生成單元17從運(yùn)動(dòng)圖像數(shù)據(jù)MP中提取的，這將在下文中描述。如圖4 中所示，剪切片段1、3和6相互相似，剪切片段2、4和7相互相似，并且剪切片段5不與剪切片段1至4、6和7中的任何一個(gè)相似。返回圖3的描述，接下來，剪切片段分組處理單元15執(zhí)行將剪切片段分組成剪切片段群組的剪切片段分組處理(步驟S15)。圖5示出了剪切片段分組處理的過程。如圖5 中所示，在剪切片段分組處理中，首先執(zhí)行初始化處理(步驟S31)。在初始化處理中，初始化群組的數(shù)目m。另外，向剪切片段1賦予等于1的群組ID，并且向剪切片段2賦予等于2 的群組ID。這里，群組的數(shù)目m指示從運(yùn)動(dòng)圖像數(shù)據(jù)MP確定的剪切片段群組的數(shù)目(在初始化處理中確定了剪切片段群組1和2)。向每個(gè)剪切片段賦予群組ID以便表示每個(gè)剪切片段所屬的剪切片段群組。然后，生成剪切片段1的特征量并將其作為剪切片段群組1的特征量Sl存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元23等等中(步驟S33)。以相同的方式，生成剪切片段2的特征量并將其作為剪切片段群組2的特征量S2存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元23等等中(步驟S3。。圖6示出了特征量生成處理的過程。如圖6中所示，首先從剪切片段1的圖像中提取預(yù)定數(shù)目的圖像作為第一提取圖像，并且從剪切片段2的圖像中提取預(yù)定數(shù)目的圖像作為第二提取圖像(步驟S71和S73)。 通常，每個(gè)剪切片段包括數(shù)十到數(shù)千幀的圖像，并且例如大約10幀的圖像被分別提取來作為第一和第二提取圖像。第一和第二提取圖像例如是根據(jù)以下的提取規(guī)則來提取的。圖7示出了圖像的提取規(guī)則。圖7示出了如下情況按運(yùn)動(dòng)圖像數(shù)據(jù)MP的時(shí)間碼的順序，即根據(jù)運(yùn)動(dòng)圖像數(shù)據(jù)MP的再現(xiàn)方向，來執(zhí)行剪切片段分組處理。時(shí)間碼是賦予給運(yùn)動(dòng)圖像MP的每個(gè)幀(圖像)的時(shí)間信息，并且是通過采用起始幀作為起始點(diǎn)來賦予的。在圖7中，在剪切片段1的圖像之中，優(yōu)先在從剪切片段1到剪切片段2的剪切片段轉(zhuǎn)變時(shí)間點(diǎn)處提取第一提取圖像，即優(yōu)先從剪切片段1的靠近最終幀η的圖像中提取第一提取圖像。此外，在圖7中，提取的圖像(幀)帶有點(diǎn)狀陰影。根據(jù)圖7的規(guī)則1，當(dāng)將剪切片段1的最終幀設(shè)定為幀η時(shí)，按4幀的固定間隔(公差為4的等差數(shù)列)提取預(yù)定數(shù)目的圖像(例如，幀η-1、η-5、η-9、η-13、η-17、……)。根據(jù)圖7的規(guī)則2，以相同的方式，按2幀、4幀、8幀、16幀的間隔(公比為2的等比數(shù)列)提取預(yù)定數(shù)目的圖像(例如，幀n-l、n-3、n-7、n-15、n-31、……)。根據(jù)圖7的規(guī)則3，以相同的方式，按2幀、3幀、4幀、5幀的間隔(公差為1的階差數(shù)列(progression of differences)) 提取預(yù)定數(shù)目的圖像(例如，幀11-1、11-3、11-6、11-10、11-15、……)。
此外，在規(guī)則1至3的任何一個(gè)中，公差和公比分別被設(shè)定為任意值。以相同的方式，提取圖像可以被提取成包括最終幀，或者通過排除最終幀附近的若干幀來提取。另外， 雖然在圖7中沒有示出，但可以提取相對(duì)于鄰近幀具有較大的像素差異的預(yù)定數(shù)目的幀。 另外，例如可以通過將規(guī)則1與規(guī)則2相組合來按等差數(shù)列或等比數(shù)列的間隔提取出提取圖像。在步驟S71和S73的處理中，關(guān)于第一提取圖像，根據(jù)提取規(guī)則，從剪切片段1的圖像中優(yōu)先提取與剪切片段1的最終幀靠近的圖像。關(guān)于第二提取圖像，從剪切片段2的圖像中優(yōu)先提取與剪切片段2的最終幀靠近的圖像。接下來，計(jì)算被提取為第一和第二提取圖像的圖像的各種特征量。各種特征量例如是以顏色直方圖和臉部圖像檢測和/或聲音的音量、音調(diào)/節(jié)奏等等或其組合的形式來計(jì)算的。計(jì)算出的圖像的特征量被存儲(chǔ)在數(shù)據(jù)存儲(chǔ)單元23等等中以便用于下文中將描述的處理(步驟S75和S77)。然后，向第一提取圖像賦予“正確”標(biāo)簽，并且向第二提取圖像賦予“不正確”標(biāo)簽 (步驟S79和S81)。這里，向從剪切片段1中提取的第一提取圖像賦予“正確”標(biāo)簽，因?yàn)榕c第二提取圖像相比，第一提取圖像包括剪切片段群組1的特征量Sl的可能性很高，并且向第二提取圖像賦予“不正確”標(biāo)簽，因?yàn)榕c第一提取圖像相比，第二提取圖像包括剪切片段群組1的特征量Sl的可能性較低。然后，與被賦予了“正確”標(biāo)簽的第一提取圖像相對(duì)應(yīng)并且不與被賦予了“不正確” 標(biāo)簽的第二提取圖像相對(duì)應(yīng)的特征量被生成作為剪切片段群組1的特征量Sl (步驟S83)。 即，剪切片段群組1的特征量Sl是作為用于將第一提取圖像與第二提取圖像區(qū)分開來的特征量生成的。例如，假定任意的特征量A在第一提取圖像中具有預(yù)定的定量或定性值，而在第二提取圖像中不具有該預(yù)定的定量或定性值。在此情況下，生成其中特征量A具有該預(yù)定的定量或定性值的特征量(特征)S1。當(dāng)然，對(duì)于任意特征量A、B、……的組合，以相同的方式生成特征量(特征)。接下來，向第二提取圖像賦予“正確”標(biāo)簽并且向第一提取圖像賦予“不正確”標(biāo)簽(步驟S85和S87)。然后，與被賦予了“正確”標(biāo)簽的第二提取圖像相對(duì)應(yīng)并且不與被賦予了 “不正確”標(biāo)簽的第一提取圖像相對(duì)應(yīng)的特征量被生成作為剪切片段群組2的特征量 S2 (步驟S89)。即，剪切片段群組2的特征量S2是作為用于將第二提取圖像與第一提取圖像區(qū)分開來的特征量生成的。返回圖5的描述，檢查是否存在要處理的后續(xù)剪切片段(步驟S37)。每當(dāng)執(zhí)行步驟S37的處理時(shí)，按剪切片段3、剪切片段4、……的順序檢查后續(xù)剪切片段。當(dāng)存在后續(xù)剪切片段時(shí)(步驟S37中的“是”)，生成后續(xù)剪切片段的特征量S’(步驟S39)，并且在后續(xù)剪切片段與剪切片段群組1至m之間判定特征量的相似度(步驟S41)。在相似度的判定中，首先從后續(xù)剪切片段的圖像中提取預(yù)定數(shù)目的圖像作為比較圖像。以代表后續(xù)剪切片段的圖像的預(yù)定數(shù)目的圖像的形式提取比較圖像?？梢愿鶕?jù)圖7 所示的提取規(guī)則或其他提取規(guī)則來提取出比較圖像。接下來，判定在比較圖像與剪切片段群組1至m的圖像之間特征量是否相似，即后續(xù)剪切片段是否與剪切片段群組1至m相似。
這里，剪切片段群組1至m的特征量Sl至Sm是通過基于運(yùn)動(dòng)圖像MP的時(shí)間碼， 在每個(gè)剪切片段群組的圖像之中重視與要經(jīng)歷相似度判定的后續(xù)剪切片段靠近的圖像的特征量來生成的。例如，剪切片段群組1的特征量Sl是通過在剪切片段1的圖像之中重視與剪切片段ι的最終幀靠近的圖像的特征量來生成的。因此，基于運(yùn)動(dòng)圖像MP的時(shí)間碼， 在比較圖像與剪切片段群組1至m的圖像之中靠近后續(xù)剪切片段的圖像之間判定特征量的相似度。此外，在相似度判定中，可以優(yōu)先在后續(xù)剪切片段與具有比前一剪切片段的群組 ID更大的群組ID的剪切片段群組之間判定特征量的相似程度。這是因?yàn)椋?dāng)重復(fù)剪切片段時(shí)，包括后續(xù)剪切片段的剪切片段群組的群組ID比前一剪切片段的大。當(dāng)在后續(xù)剪切片段與剪切片段群組1至m中的任何一個(gè)之間特征量的相似程度等于或大于預(yù)定閾值時(shí)(步驟S41中的“是”)，向后續(xù)剪切片段賦予具有最高相似度的剪切片段群組的群組ID (步驟S43)。例如，當(dāng)后續(xù)剪切片段與剪切片段群組1之間的相似程度滿足預(yù)定閾值時(shí)，后續(xù)剪切片段被分組到剪切片段群組1中。在這種情況下，根據(jù)以下過程再生成并存儲(chǔ)剪切片段群組1的特征量Sl (步驟S45)。首先，從包括后續(xù)剪切片段的剪切片段群組1中包括的圖像之中提取預(yù)定數(shù)目的圖像作為第一提取圖像。也根據(jù)圖7中所示的提取規(guī)則來提取第一提取圖像。圖8示出了特征量再生成處理的規(guī)則。圖8示出了包括剪切片段1、剪切片段2和與剪切片段1相似的剪切片段3的剪切片段結(jié)構(gòu)。此外，在圖8中，被優(yōu)先提取作為剪切片段群組的提取圖像的圖像的位置帶有濃密陰影。根據(jù)圖8的規(guī)則a，在被分組到剪切片段群組1中的剪切片段3中包括的圖像之中，與剪切片段3的最終幀靠近的圖像被優(yōu)先提取作為第一提取圖像。在這種情況下，不提取剪切片段1中的圖像。同時(shí)，根據(jù)圖8的規(guī)則b，在被分組到剪切片段群組1中的剪切片段1和剪切片段3中包括的圖像之中，與剪切片段3的最終幀靠近的圖像被優(yōu)先提取作為第一提取圖像。在這種情況下，也提取了剪切片段1中包括的圖像。此外，第一提取圖像的數(shù)目可等于或大于初始生成特征量時(shí)的提取圖像的數(shù)目。 另外，可以在與步驟S33的處理時(shí)的提取圖像相同的條件下或不同的條件下提取第一提取圖像。例如，在初始生成特征量時(shí)，可以使用不同的公差和公比，或者可以使用不同的規(guī)則 (例如，在初始生成特征量時(shí)使用規(guī)則1，在再生成特征量時(shí)使用規(guī)則2，等等)。另外，可以通過將多個(gè)不同的條件相互組合來提取第一提取圖像。例如，可以將規(guī)則a與規(guī)則1相組合，將規(guī)則b與規(guī)則2相組合。在這種情況下，從后續(xù)剪切片段中按等差數(shù)列的間隔以及按等比數(shù)列表達(dá)的間隔提取圖像，而從除后續(xù)剪切片段以外的剪切片段中按階差數(shù)列表達(dá)的間隔提取圖像。接下來，計(jì)算被提取作為剪切片段群組1的第一提取圖像的圖像的各種特征量。 此外，作為剪切片段群組2至m的第二至第m提取圖像的特征量，使用在生成每個(gè)剪切片段群組時(shí)生成的特征量。然后，向第一提取圖像賦予“正確”標(biāo)簽并且向第二至第m提取圖像賦予“不正確” 標(biāo)簽。這里，向第一提取圖像賦予“正確”標(biāo)簽，因?yàn)榕c第二至第m提取圖像相比，從剪切片段群組1中提取的第一提取圖像包括剪切片段群組1的特征量的可能性很高，并且向第二至第m提取圖像賦予“不正確”標(biāo)簽，因?yàn)榕c第一提取圖像相比，第二至第m提取圖像包括剪切片段群組1的特征量的可能性較低。然后，與被賦予了“正確”標(biāo)簽的第一提取圖像相對(duì)應(yīng)并且不與被賦予了“不正確” 標(biāo)簽的第二至第m提取圖像相對(duì)應(yīng)的特征量被生成作為剪切片段群組1的特征量Si。艮口， 剪切片段群組1的特征量Sl是作為用于將第一提取圖像與第二至第m提取圖像區(qū)分開來的特征量生成的。這樣，以通過從剪切片段群組1的圖像中優(yōu)先提取與后續(xù)剪切片段的最終幀靠近的圖像而獲得的第一提取圖像的特征量的形式生成剪切片段群組1的特征量Si。以相同的方式，當(dāng)比較圖像與剪切片段群組x(l <x<m)之間的相似程度滿足預(yù)定閾值時(shí)，后續(xù)剪切片段被分組到剪切片段群組X中。在這種情況下，以與剪切片段群組1 相同的方式，再生成剪切片段群組χ的特征量Sx。這樣，以通過從剪切片段群組χ的圖像中優(yōu)先提取與后續(xù)剪切片段的最終幀靠近的圖像而獲得的第χ提取圖像的特征量的形式來計(jì)算包括后續(xù)剪切片段的剪切片段群組X的特征量&C。同時(shí)，當(dāng)在后續(xù)剪切片段與所有剪切片段群組1至m之間特征量的相似程度都小于預(yù)定閾值時(shí)(步驟S41中的“否”)，群組數(shù)m被遞增1以便生成新的剪切片段群組(步驟 S47)。向作為新剪切片段群組的后續(xù)剪切片段賦予與群組數(shù)m相當(dāng)?shù)娜航MID (步驟S49)。 在這種情況下，根據(jù)以下過程來生成和存儲(chǔ)剪切片段群組m的特征量Sm(步驟S51)。首先，從后續(xù)剪切片段中包括的圖像之中提取預(yù)定數(shù)目的圖像作為第m提取圖像。也根據(jù)圖7中所示的提取規(guī)則來提取第m提取圖像。這里，通過從剪切片段群組m的圖像之中優(yōu)先提取與后續(xù)剪切片段的最終幀靠近的圖像來獲得第m提取圖像。接下來，計(jì)算被提取作為剪切片段群組m的第m提取圖像的圖像的各種特征量。此外，作為剪切片段群組1至m-Ι的第一至第m-1提取圖像的特征量，使用在生成每個(gè)剪切片段群組時(shí)生成的特征量。然后，向第m提取圖像賦予“正確”標(biāo)簽并且向第一至第m-Ι提取圖像賦予“不正確”標(biāo)簽。這里，向從剪切片段群組m中提取的第m提取圖像賦予“正確”標(biāo)簽，因?yàn)榕c第一至第m-Ι提取圖像相比，第m提取圖像包括剪切片段群組m的特征量Sm的可能性很高，并且向第一至第m-Ι提取圖像賦予“不正確”標(biāo)簽，因?yàn)榕c第m提取圖像相比，第一至第m-Ι提取圖像包括剪切片段群組m的特征量Sm的可能性較低。然后，與被賦予了“正確”標(biāo)簽的第m提取圖像相對(duì)應(yīng)并且不與被賦予了“不正確” 標(biāo)簽的第一至第m-Ι提取圖像相對(duì)應(yīng)的特征量被生成作為剪切片段群組m的特征量Sm。即， 剪切片段群組m的特征量Sm是作為用于將第m提取圖像與第一至第m-Ι提取圖像區(qū)分開來的特征量生成的。這樣，以通過從剪切片段群組m的圖像中優(yōu)先提取與后續(xù)剪切片段的最終幀靠近的圖像而獲得的第m提取圖像的特征量的形式生成剪切片段群組m的特征量Sm。返回圖5的描述，重復(fù)步驟537、539、541、543、545、547、549和S51的處理，直到?jīng)]有后續(xù)剪切片段為止。當(dāng)沒有后續(xù)剪切片段時(shí)(步驟S37中的“否”)，剪切片段分組處理結(jié)束，并且如圖3中所示執(zhí)行下一步驟S17的處理。剪切片段分組處理單元15將剪切片段轉(zhuǎn)變的檢測結(jié)果和剪切片段分組結(jié)果提供給剪切片段結(jié)構(gòu)圖像生成單元17。圖9示出了剪切片段分組處理的結(jié)果的示例。圖10示出了特征量生成處理的過程的示例。圖9和10示出了針對(duì)圖4所示的剪切片段結(jié)構(gòu)執(zhí)行剪切片段分組處理的情況。 此外，在圖10中，被優(yōu)先提取作為剪切片段群組的提取圖像的圖像的位置帶有濃密陰影。
首先，如圖9中所示，向剪切片段1和2分別賦予等于1和2的群組ID。如圖10 的狀態(tài)1中所示，以通過從剪切片段1的圖像中優(yōu)先提取與剪切片段1的最終幀靠近的圖像而獲得的圖像的特征量的形式生成剪切片段群組1的特征量Si，并且以通過從剪切片段 2的圖像中優(yōu)先提取與剪切片段2的最終幀靠近的圖像而獲得的圖像的特征量的形式生成剪切片段群組2的特征量S2。接下來，判定剪切片段3與剪切片段群組1和2之間的相似度。如圖10的狀態(tài)1 中所示，剪切片段3的相似度是利用在剪切片段群組1和2的圖像之中基于運(yùn)動(dòng)圖像MP的時(shí)間碼與剪切片段3靠近的圖像的特征量來判定的。在圖9的示例中，剪切片段3對(duì)于剪切片段群組1和2分別具有相似程度0. 9和0. 2。從而，判定剪切片段3與剪切片段群組1 相似，而不與剪切片段群組2相似(相似度判定的閾值被設(shè)定為等于或大于相似度0. 5)。 因此，向剪切片段3賦予等于1的群組ID。如圖10的狀態(tài)2中所示，以通過從剪切片段1 和3的圖像之中優(yōu)先提取與剪切片段3的最終幀靠近的圖像而獲得的圖像的特征量的形式再生成剪切片段群組1的特征量Si。然后，判定剪切片段4與剪切片段群組1和2之間的相似度。如圖10的狀態(tài)2中所示，剪切片段4的相似度是利用在剪切片段群組1和2的圖像之中基于運(yùn)動(dòng)圖像MP的時(shí)間碼與剪切片段4靠近的圖像的特征量來判定的。在圖9的示例中，剪切片段4對(duì)于剪切片段群組1和2分別具有相似程度0. 3和0. 8。從而，判定剪切片段4與剪切片段群組2相似，而不與剪切片段群組1相似。因此，向剪切片段4賦予等于2的群組ID。如圖10的狀態(tài)3中所示，以通過從剪切片段2和4的圖像之中優(yōu)先提取與剪切片段4的最終幀靠近的圖像而獲得的圖像的特征量的形式再生成剪切片段群組2的特征量S2。然后，判定剪切片段5與剪切片段群組1和2之間的相似度。如圖10的狀態(tài)3中所示，剪切片段5的相似度是利用在剪切片段群組1和2的圖像之中基于運(yùn)動(dòng)圖像MP的時(shí)間碼與剪切片段5靠近的圖像的特征量來判定的。在圖9的示例中，剪切片段5對(duì)于剪切片段群組1和2分別具有相似程度0. 1和0. 2。從而，判定剪切片段5不與剪切片段群組1 和2的任何一個(gè)相似。因此，生成剪切片段群組3并且向剪切片段5賦予等于3的群組ID。 如圖10的狀態(tài)4中所示，以通過從剪切片段5的圖像之中優(yōu)先提取與剪切片段5的最終幀靠近的圖像而獲得的圖像的特征量的形式來生成剪切片段群組3的特征量S3。接下來，判定剪切片段6與剪切片段群組1至3之間的相似度。如圖10的狀態(tài)4 中所示，剪切片段6的相似度是利用在剪切片段群組1至3的圖像之中基于運(yùn)動(dòng)圖像MP的時(shí)間碼與剪切片段6靠近的圖像的特征量來判定的。在圖9的示例中，剪切片段6對(duì)于剪切片段群組1至3分別具有相似程度0. 8,0. 3和0. 2。從而，判定剪切片段6與剪切片段群組1相似，而不與剪切片段群組2和3相似。因此，向剪切片段6賦予等于1的群組ID。 如圖10的狀態(tài)5中所示，以通過從剪切片段1、3和6的圖像之中優(yōu)先提取與剪切片段6的最終幀靠近的圖像而獲得的圖像的特征量的形式再生成剪切片段群組1的特征量Si。然后，判定剪切片段7與剪切片段群組1至3之間的相似度。如圖10的狀態(tài)5中所示，剪切片段7的相似度是利用在剪切片段群組1至3的圖像之中基于運(yùn)動(dòng)圖像MP的時(shí)間碼與剪切片段7靠近的圖像的特征量來判定的。在圖9的示例中，剪切片段7對(duì)于剪切片段群組1至3分別具有相似程度0. 1,0. 9和0. 1。從而，判定剪切片段7與剪切片段群組 2相似，而不與剪切片段群組1和3相似。因此，向剪切片段7賦予等于2的群組ID。如圖10的狀態(tài)6中所示，以通過從剪切片段2、4和7的圖像之中優(yōu)先提取與剪切片段7的最終幀靠近的圖像而獲得的圖像的特征量的形式再生成剪切片段群組2的特征量S2。結(jié)果，如圖9中所示，對(duì)于圖4中示出的剪切片段結(jié)構(gòu)，剪切片段1、3和6被分組到剪切片段群組1中，剪切片段2、4和7被分組到剪切片段群組2中，并且剪切片段5被分組到剪切片段群組3中。返回圖3的描述，當(dāng)剪切片段分組處理結(jié)束時(shí)，剪切片段結(jié)構(gòu)圖像生成單元17首先根據(jù)預(yù)定的標(biāo)準(zhǔn)，基于運(yùn)動(dòng)圖像數(shù)據(jù)MP和剪切片段轉(zhuǎn)變的檢測結(jié)果，從每個(gè)剪切片段中包括的一系列圖像中提取代表圖像I (步驟S17)。此外，可在檢測剪切片段轉(zhuǎn)變時(shí)預(yù)先提取每個(gè)剪切片段的代表圖像I。接下來，基于剪切片段群組的確定結(jié)果生成剪切片段結(jié)構(gòu)圖像 CI (步驟S19)。以包括按剪切片段轉(zhuǎn)變的順序布置的每個(gè)剪切片段的代表圖像I并指示剪切片段群組的圖像的形式生成剪切片段結(jié)構(gòu)圖像Cl。圖11示出了從圖9中所示的剪切片段群組的確定結(jié)果生成的剪切片段結(jié)構(gòu)圖像 CI的示例。在圖11中所示的剪切片段結(jié)構(gòu)圖像CI中，橫向布置了剪切片段1和2的代表圖像Il和12，在剪切片段1和2的代表圖像Il和12的下方橫向布置了剪切片段3至5的代表圖像13至15，并且在剪切片段3和4的代表圖像13和14的下方橫向布置了剪切片段6和7的代表圖像16和17。利用如上所述的剪切片段結(jié)構(gòu)圖像Cl，容易了解剪切片段結(jié)構(gòu)。此外，剪切片段結(jié)構(gòu)圖像CI的結(jié)構(gòu)不限于圖11中所示的結(jié)構(gòu)。[4.結(jié)論]如上所述，根據(jù)本公開的實(shí)施例的運(yùn)動(dòng)圖像處理裝置1和運(yùn)動(dòng)圖像處理方法，通過基于運(yùn)動(dòng)圖像MP的時(shí)間碼，在每個(gè)剪切片段群組中包括的圖像之中，重視與要經(jīng)歷相似度判定的后續(xù)剪切片段靠近的圖像的特征量，來生成每個(gè)剪切片段群組的特征量S。結(jié)果， 可以通過充分考慮剪切片段之間的時(shí)間情境(運(yùn)動(dòng)圖像MP的故事等等)來適當(dāng)?shù)貙?duì)后續(xù)剪切片段分組。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求和其他因素，可以進(jìn)行各種修改、組合、子組合和變更，只要它們處于所附權(quán)利要求或其等同物的范圍之內(nèi)即可。本公開包含與2010年8月10日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP 2010-179696中公開的主題相關(guān)的主題，特此通過引用將該申請(qǐng)的全部內(nèi)容并入。
權(quán)利要求
1.一種運(yùn)動(dòng)圖像處理裝置，包括相似度判定單元，被配置為基于從運(yùn)動(dòng)圖像中包括的第一剪切片段群組的提取圖像生成的特征量和從所述運(yùn)動(dòng)圖像中包括的第二剪切片段群組的提取圖像生成的特征量，來判定后續(xù)剪切片段與所述第一剪切片段群組和第二剪切片段群組之間的相似程度；剪切片段分組單元，被配置為當(dāng)所述后續(xù)剪切片段與所述第一剪切片段群組或第二剪切片段群組相似時(shí)，將所述后續(xù)剪切片段分組到作為所述第一剪切片段群組和第二剪切片段群組之一的、與所述后續(xù)剪切片段相似的相似剪切片段群組中，而當(dāng)所述后續(xù)剪切片段不與所述第一剪切片段群組和第二剪切片段群組中的任一個(gè)相似時(shí)，將所述后續(xù)剪切片段分組到第三剪切片段群組中；特征量生成單元，被配置為當(dāng)所述后續(xù)剪切片段不與所述第一剪切片段群組和第二剪切片段群組中的任一個(gè)相似時(shí)把從所述第三剪切片段群組中提取的提取圖像與從所述第一剪切片段群組和第二剪切片段群組中提取的提取圖像相比較，并且生成所述第三剪切片段群組的特征量；以及圖像提取單元，被配置為從每個(gè)剪切片段群組中包括的圖像中優(yōu)先提取所述運(yùn)動(dòng)圖像的時(shí)間碼較遲的圖像，從而獲得每個(gè)剪切片段群組的提取圖像。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像處理裝置，其中，當(dāng)所述后續(xù)剪切片段與所述第一剪切片段群組或第二剪切片段群組相似時(shí)，所述特征量生成單元把從包括所述后續(xù)剪切片段的所述相似剪切片段群組中提取的提取圖像與從不與所述后續(xù)剪切片段相似的剪切片段群組中提取的提取圖像相比較，并且生成所述相似剪切片段群組的特征量。
3.根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)圖像處理裝置，其中，當(dāng)所述后續(xù)剪切片段與所述第一剪切片段群組或第二剪切片段群組相似時(shí)，所述圖像提取單元從所述后續(xù)剪切片段和與所述后續(xù)剪切片段相似的剪切片段群組中提取所述提取圖像。
4.根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)圖像處理裝置，其中，當(dāng)所述后續(xù)剪切片段與所述第一剪切片段群組或第二剪切片段群組相似時(shí)，所述圖像提取單元從所述后續(xù)剪切片段中提取所述提取圖像。
5.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像處理裝置，其中，所述特征量生成單元把從所述第一剪切片段群組中提取的提取圖像與從所述第二剪切片段群組中提取的提取圖像相比較， 并且生成所述第一剪切片段群組的特征量和所述第二剪切片段群組的特征量。
6.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像處理裝置，其中，所述圖像提取單元從每個(gè)剪切片段群組中包括的圖像中從最遲的時(shí)間碼起按順序提取出位置具有固定間隔的圖像。
7.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像處理裝置，其中，所述圖像提取單元從每個(gè)剪切片段群組中包括的圖像中從最遲的時(shí)間碼起按順序提取出位置具有由等比數(shù)列表達(dá)的間隔的圖像。
8.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像處理裝置，其中，所述圖像提取單元從每個(gè)剪切片段群組中包括的圖像中從最遲的時(shí)間碼起按順序提取出位置具有由階差數(shù)列表達(dá)的間隔的圖像。
9.一種運(yùn)動(dòng)圖像處理方法，包括基于從運(yùn)動(dòng)圖像中包括的第一剪切片段群組的提取圖像生成的特征量和從所述運(yùn)動(dòng)圖像中包括的第二剪切片段群組的提取圖像生成的特征量，來判定后續(xù)剪切片段與所述第一剪切片段群組和第二剪切片段群組之間的相似程度；當(dāng)所述后續(xù)剪切片段與所述第一剪切片段群組或第二剪切片段群組相似時(shí)，將所述后續(xù)剪切片段分組到作為所述第一剪切片段群組和第二剪切片段群組之一的、與所述后續(xù)剪切片段相似的相似剪切片段群組中；以及當(dāng)所述后續(xù)剪切片段不與所述第一剪切片段群組和第二剪切片段群組中的任一個(gè)相似時(shí)，將所述后續(xù)剪切片段分組到第三剪切片段群組中，并且把從所述第三剪切片段群組中提取的提取圖像與從所述第一剪切片段群組和第二剪切片段群組中提取的提取圖像相比較以生成所述第三剪切片段群組的特征量，其中，每個(gè)剪切片段群組的提取圖像是通過從每個(gè)剪切片段群組中包括的圖像中優(yōu)先提取所述運(yùn)動(dòng)圖像的時(shí)間碼較遲的圖像來獲得的。
10. 一種程序，使得計(jì)算機(jī)執(zhí)行運(yùn)動(dòng)圖像處理方法，該方法包括 基于從運(yùn)動(dòng)圖像中包括的、包括第一剪切片段的第一剪切片段群組的提取圖像生成的特征量和從所述運(yùn)動(dòng)圖像中包括的、包括第二剪切片段的第二剪切片段群組的提取圖像生成的特征量，來判定后續(xù)剪切片段與所述第一剪切片段群組和第二剪切片段群組之間的相似程度；當(dāng)所述后續(xù)剪切片段與所述第一剪切片段群組或第二剪切片段群組相似時(shí)，將所述后續(xù)剪切片段分組到作為所述第一剪切片段群組和第二剪切片段群組之一的、與所述后續(xù)剪切片段相似的相似剪切片段群組中；以及當(dāng)所述后續(xù)剪切片段不與所述第一剪切片段群組和第二剪切片段群組中的任一個(gè)相似時(shí)，將所述后續(xù)剪切片段分組到第三剪切片段群組中，并且把從所述第三剪切片段群組中提取的提取圖像與從所述第一剪切片段群組和第二剪切片段群組中提取的提取圖像相比較以生成所述第三剪切片段群組的特征量，其中，每個(gè)剪切片段群組的提取圖像是通過從每個(gè)剪切片段群組中包括的圖像中優(yōu)先提取所述運(yùn)動(dòng)圖像的時(shí)間碼較遲的圖像來獲得的。
全文摘要
提供了運(yùn)動(dòng)圖像處理裝置、運(yùn)動(dòng)圖像處理方法和程序。該裝置包括相似度判定單元，基于從運(yùn)動(dòng)圖像中包括的第一和第二剪切片段群組各自的提取圖像生成的特征量判定后續(xù)剪切片段與第一和第二剪切片段群組間的相似程度；剪切片段分組單元，當(dāng)后續(xù)剪切片段與第一或第二剪切片段群組相似時(shí)，將其分組到與后續(xù)剪切片段相似的相似剪切片段群組中，而當(dāng)不相似時(shí)將其分組到第三剪切片段群組中；特征量生成單元，當(dāng)不相似時(shí)把從第三剪切片段群組提取的提取圖像與從第一和第二剪切片段群組提取的提取圖像相比較并生成第三剪切片段群組的特征量；和圖像提取單元，從每個(gè)剪切片段群組包括的圖像中優(yōu)先提取運(yùn)動(dòng)圖像的時(shí)間碼較遲的圖像來獲得其提取圖像。
文檔編號(hào)H04N7/26GK102378005SQ20111022532
公開日2012年3月14日 申請(qǐng)日期2011年8月3日 優(yōu)先權(quán)日2010年8月10日
發(fā)明者高木芳德 申請(qǐng)人:索尼公司