專利名稱：表示圖像組的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種表示圖像組尤其是用色彩表示圖像組，和用于搜索及恢復(fù)圖像的方法和裝置。
背景技術(shù)：
有各種已知的使用可視特征例如圖像中呈現(xiàn)的色彩來表示圖像的技術(shù)。例如，在一項(xiàng)已知的技術(shù)中，每個(gè)像素被指定一個(gè)顏色值，并且通過為多個(gè)顏色值范圍設(shè)置框(bin)和對(duì)圖像中的像素?cái)?shù)進(jìn)行計(jì)數(shù)可得到顏色直方圖，所述像素在每個(gè)范圍中具有一個(gè)顏色值。然后顏色直方圖可用于表示圖像。在另一項(xiàng)已知的技術(shù)中，圖像中的一個(gè)或多個(gè)主色被識(shí)別，并且該主色被用于表示圖像。
本發(fā)明特別關(guān)心的是圖像組。例如，圖像組可以是視頻圖像(幀或畫面)序列，或者是圖像以某種方式與之關(guān)聯(lián)的任何源的任何圖像組。例如，圖像組可以是影像中的單一場(chǎng)景或連續(xù)鏡頭?，F(xiàn)有技術(shù)中已知的這樣一個(gè)圖像組的術(shù)語為GroupOfFrames/GroupOfPictures(幀組/圖像組)。下面該術(shù)語將被稱作GoFGoP。在本說明中，術(shù)語圖像將被用于說明組中的幀/畫面，而不管其是否是視頻幀或鏡頭還是靜態(tài)畫面。此外，術(shù)語圖像和圖像區(qū)域是可互換的，除非從上下文是顯而易見的。
用于表示圖像組的一個(gè)方法是從圖像組中選擇一單個(gè)圖像，并且將該單個(gè)圖像作為整個(gè)圖像組的表示。然后使用表示單個(gè)圖像的已知技術(shù)來表示該單個(gè)圖像。例如，該單個(gè)圖像可以是圖像序列中出現(xiàn)的最先或最后的圖像，或者根據(jù)感興趣的可視特征對(duì)圖像組進(jìn)行分析以識(shí)別所述組中的圖像，該圖像特別的在某些方面代表所述圖像組。
另一個(gè)方法為集結(jié)圖像組?，F(xiàn)有的MPEG-7 Visual Standard(可視標(biāo)準(zhǔn))(ISO/IEC 15938-3)允許使用GoFGoP色彩描述符對(duì)視頻段或圖像組中的色彩進(jìn)行描述。例如，這在Manjunath、Salembier和Sikora編寫的書Introduction to MPEG-7 Multimedia content descriptioninterface(ISBN 0-471-48678-7)的部分13.5中有詳細(xì)的介紹。其中介紹了三種聚集圖像組的技術(shù)均值、中值和交集。
在每一個(gè)技術(shù)中，色彩直方圖被得到用于組中的每個(gè)圖像，如上所述。在求均值技術(shù)中，色彩直方圖被累積，然后每個(gè)累積的框(bin)值被N除以產(chǎn)生一平均直方圖，其中N為所述組中圖像的數(shù)量。在中間值技術(shù)中，對(duì)于每個(gè)框值，圖像組的直方圖值以升序或降序排列，并且為各個(gè)框指定中間值。對(duì)于每個(gè)框，通過采用圖像組直方圖中的最小直方圖值而獲得交集直方圖。換句話說，交集直方圖表示所有圖像中出現(xiàn)的特定顏色或顏色范圍(相當(dāng)于一個(gè)框)的像素的數(shù)量。
那么，在每種情況下，使用一可升級(jí)的顏色描述符(見上述書中的部分13.4)來表示聚集直方圖(均值、中值和交集)，其是將基于哈爾變換的編碼方案應(yīng)用于顏色直方圖的值。
Tong Lin和Hong-Jiang Zhang的論文“通過連續(xù)畫面編組進(jìn)行自動(dòng)視頻場(chǎng)景提取”涉及將連續(xù)的畫面編組成場(chǎng)景。對(duì)形成連續(xù)鏡頭的一組幀進(jìn)行分析以確定每個(gè)幀中的主色對(duì)象，然后確定持續(xù)整個(gè)幀組的主色對(duì)象。這對(duì)于一個(gè)連續(xù)鏡頭將產(chǎn)生一個(gè)主色直方圖。對(duì)不同連續(xù)鏡頭的主色直方圖進(jìn)行比較。如果兩個(gè)連續(xù)鏡頭之間的相關(guān)性是高的，則所述連續(xù)鏡頭被編組成一個(gè)場(chǎng)景。

發(fā)明內(nèi)容
本發(fā)明的各個(gè)方面在后附的權(quán)利要求中闡明。


將參照附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行說明，其中圖1為根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)的方框圖；圖2a、2b和圖3至5為說明根據(jù)本發(fā)明的實(shí)施例的合并圖像描述符的方法的坐標(biāo)圖；圖6表示合并圖像以形成一超級(jí)圖像。
具體實(shí)施例方式
根據(jù)本發(fā)明一實(shí)施例的系統(tǒng)在圖1中示出。該系統(tǒng)包括一控制單元12，例如用于控制系統(tǒng)操作的計(jì)算機(jī)，該控制單元12至少包括一存儲(chǔ)器和一處理器，所述系統(tǒng)還包括一連接到控制單元12的顯示單元14，例如監(jiān)視器，用于顯示包括圖像和文本的輸出，和一指示(pointing)設(shè)備16，例如鼠標(biāo)，用于給控制單元12輸入指令。該系統(tǒng)還包括一存儲(chǔ)數(shù)字形式的多個(gè)圖像組的圖像數(shù)據(jù)庫(kù)18和存儲(chǔ)描述符信息的描述符數(shù)據(jù)庫(kù)，將在下面更加詳細(xì)的說明，所述描述符信息用于存儲(chǔ)在圖像數(shù)據(jù)庫(kù)8中的每組圖像。在該例子中，每組圖像對(duì)應(yīng)于視頻序列中的一連續(xù)鏡頭。有各種已知的技術(shù)用于將視頻序列分割成連續(xù)鏡頭，這里將不對(duì)其進(jìn)行詳細(xì)說明。本發(fā)明能夠應(yīng)用于任何圖像組，或圖像區(qū)域，包括圖像中的區(qū)域。圖像能夠以組的形式存儲(chǔ)，或者，例如，可以有一個(gè)識(shí)別符指示哪些圖像屬于相同的組。
圖像數(shù)據(jù)庫(kù)18和描述符數(shù)據(jù)庫(kù)20的每一個(gè)都被連接到控制單元12。該系統(tǒng)還包括一個(gè)搜索引擎22，它是一個(gè)在控制單元12控制下的計(jì)算機(jī)程序，并且運(yùn)行在描述符數(shù)據(jù)庫(kù)20上。
在本實(shí)施例中，該系統(tǒng)的元件提供在單一位置上，例如圖像庫(kù)，其中該系統(tǒng)的部件被永久連接。
描述符數(shù)據(jù)庫(kù)20存儲(chǔ)儲(chǔ)存在圖像數(shù)據(jù)庫(kù)中的所有圖像的描述符和額外的該圖像數(shù)據(jù)庫(kù)中的所有圖像組的描述符。該圖像和圖像組描述符如下所述的得到。
每個(gè)圖像具有一個(gè)與之相關(guān)的圖像描述符，其根據(jù)圖像中的主顏色表示各個(gè)圖像。在本實(shí)施例中，圖像描述符基本上如在我們同時(shí)未決的申請(qǐng)WO00/67203中所述的獲得，其內(nèi)容通過參考而被并入本文。
獲得圖像描述符的簡(jiǎn)短概述如下。每個(gè)圖像具有多個(gè)像素，并且每個(gè)像素在有關(guān)的顏色空間中具有一個(gè)與之相關(guān)的顏色值，例如RGB。
顏色值和相應(yīng)的像素在顏色域中被集結(jié)成群以便確定主色和哪些顏色對(duì)應(yīng)于各個(gè)主色。這可使用合適的群集算法來實(shí)現(xiàn)，例如廣義勞埃德算法，如在上述的MPEG-7書中的部分13.3.1中所述的。
從該聚類過程得到的簇矩心被用作主色值，并且用于形成各個(gè)簇的像素組被存儲(chǔ)用于計(jì)算另外的域(權(quán)值和顏色方差)，如下所述。
可選擇的，可使用直方圖方法獲得主色，如在WO00/67203中所述。
在那種情況下，通過在有關(guān)的顏色空間中選擇預(yù)定數(shù)量的顏色值或顏色值的范圍而獲得圖像的顏色直方圖，并且圖像中的具有每個(gè)顏色值或具有有關(guān)范圍中的一個(gè)值的像素?cái)?shù)被計(jì)數(shù)。
通常，直方圖將具有一個(gè)或多個(gè)峰值，并且各個(gè)峰值(或者其子集，例如預(yù)定數(shù)量的最高峰值)被選作為主色，同時(shí)顏色值/像素在顏色域中關(guān)于主色被聚類。
一旦顏色值已經(jīng)被聚類，則對(duì)于每個(gè)主色就確定了顏色方差值，表示對(duì)于每個(gè)主色各個(gè)簇的顏色值以主色為中心變化。主色可被看作是有關(guān)簇中顏色分布的平均值。
可使用下式表示方差的計(jì)算CVj=1NΣk=0N-1(mj-Pkj)2]]>其中j指明顏色分量，mj為主色的第j個(gè)分量，pkj為第k個(gè)像素值的第j個(gè)分量，且總和超過了與所考慮的主色相應(yīng)的N個(gè)像素。
所述描述符也包括一個(gè)對(duì)于每個(gè)主色的加權(quán)值，其是圖像中每個(gè)主色的相關(guān)有效值的量度。在該例子中，加權(quán)值為對(duì)應(yīng)于主色值的簇中的像素?cái)?shù)與圖像中的像素的總數(shù)的比。加權(quán)值可以表示為百分?jǐn)?shù)。
主色值和它們的各個(gè)方差和加權(quán)值被結(jié)合以形成圖像的顏色描述符。描述符也可以具有其它的分量，例如次數(shù)n，表示主色的數(shù)量。描述符也可以包括協(xié)方差值Cij，其中對(duì)于每個(gè)主色和簇，以及方差值，i和j代表有關(guān)顏色空間中的顏色分量。
每個(gè)圖像的顏色描述符被存儲(chǔ)在描述符數(shù)據(jù)庫(kù)中。
著重注意主色描述符與圖像的直方圖表示不同。主色描述符包括圖像中的主色的值，其在早先的處理步驟中已經(jīng)被確定。圖像的直方圖表示包括主色，但是沒有識(shí)別主色。主色描述符也可以包括其它值，例如對(duì)應(yīng)于關(guān)于該主色或每個(gè)主色的顏色分布的方差，但直方圖表示不涉及計(jì)算或確定該方差或其它值。例如，主色描述符的其它分量可以包括表示圖像中的主色的影響的加權(quán)值、圖像中的主色數(shù)和對(duì)應(yīng)于圖像中的主色的像素的空間同質(zhì)性。
根據(jù)一第一實(shí)施例，一組圖像組的描述符如下獲得。
圖像組中的每個(gè)圖像的圖像描述符從描述符數(shù)據(jù)庫(kù)中被恢復(fù)。然后圖像描述符被結(jié)合以形成一個(gè)組描述符。
組描述符具有類似于圖像描述符(主色、方差、加權(quán)值等)的格式。優(yōu)選的，組描述符中的主色數(shù)在1和8之間。然而，主色數(shù)可以不受限制或者可以設(shè)置一個(gè)預(yù)定最大值。圖像描述符中的主色數(shù)也可以不受限制或者可以通過一預(yù)定的最大值進(jìn)行限制。圖像描述符的最大值和組描述符的最大值可以不必相同，使得，例如，圖像描述符具有比組描述符多的主色。
在該例子中，在一組中有兩個(gè)圖像，并且兩個(gè)各自的圖像描述符被如下合并。
概括的，圖像描述符基于顏色空間中的簇的接近度通過合并圖像中的簇而被結(jié)合。
圖2a和2b為兩個(gè)圖像的顏色空間中的簇的抽象表示。圖2a表示第一圖像，而圖2b表示第二圖像。在每種情況下，圓圈表示各自主色的一個(gè)簇。為了簡(jiǎn)化的目的，顏色空間以二維形式示出，雖然顏色空間通常處于三維中。此外，簇不必對(duì)應(yīng)于顏色空間中的圓圈，但為了簡(jiǎn)化的目的而被這樣示出，而且圓圈并未給出簇的加權(quán)值的任何指示。下面，諸如在圖2a和2b中所示的表示(也就是，根據(jù)主色和各個(gè)簇的表示)將被描述為簇描述符。
圖2a和2b的兩個(gè)簇描述符被結(jié)合以形成簇超級(jí)描述符。這在圖3中示出。
接著，使用顏色空間中的適當(dāng)?shù)木嚯x測(cè)量，超級(jí)描述符中的每對(duì)簇(如上所定義的)之間的距離被確定。在該例子中，所述距離為顏色空間中的歐幾里得距離。
在該例子中，在第一圖像中有兩個(gè)主色和兩個(gè)簇，而在第二圖像中具有三個(gè)主色和三個(gè)簇，分別從1到5編號(hào)。每個(gè)主色對(duì)應(yīng)于RGB顏色空間中的一個(gè)點(diǎn)，由圖2到5中的叉表示。一對(duì)簇之間的距離為3-D RGB空間中的簇矩心之間的距離。第一和第二圖像中的每對(duì)主色之間的距離被計(jì)算，在本例子中包括來自相同圖像的簇。選擇給出最小距離測(cè)量的主色對(duì)。
下面，對(duì)應(yīng)于該兩個(gè)主色的簇被合并。
在該例子中，如圖3所示，兩個(gè)最靠近的簇為簇1和3，并且它們被如下合并。
合并簇的主要的或有代表性的顏色值為兩個(gè)簇的主色的加權(quán)均值，其中加權(quán)值被如上定義。因此，對(duì)于兩個(gè)主色m1、m2和各自的加權(quán)值W1、W2，所述合并的主色m具有值m＝w1m1+w2m2其中w1、w2分別為有關(guān)的加權(quán)值，W1/W1+W2和W2/W1+W2。
使用合并起來的兩個(gè)簇的方差，合并的簇的方差也被計(jì)算。在該例子中，每個(gè)顏色分量被獨(dú)立的處理，并且假定合并的簇的方差為兩個(gè)高斯分布的加權(quán)和。這將產(chǎn)生下面的合并簇的方差的公式σ2=w1σ12+w2σ22+(m1+m2)2]]>其中σ12、σ22為分簇的方差，m1、m2為它們的平均數(shù)，而w1、w2為有關(guān)的加權(quán)值，如上所定義的。
合并簇的加權(quán)值W為W1+W2。
合并簇被看作是新簇，具有如上所述的加權(quán)值、平均值和方差。
這表示在圖4中，其中簇1和3被合并以形成一新簇6。
接著進(jìn)行所述合并步驟的另一次迭代。在第一次迭代中合并的兩個(gè)簇1和3被排除在進(jìn)一步的考慮之外，并且由合并的簇6代替，如圖4所示。
然后通過在顏色空間中識(shí)別包括合并簇6的最近的簇對(duì)并合并它們，合并步驟被重復(fù)，如上面略述的。
在本例子中，在第二次迭代中，簇2和4為最近的簇對(duì)。它們被合并以產(chǎn)生一新的簇7，其具有主色、加權(quán)值和方差，它們?nèi)缬缮鲜龅膱D2和4的主色、加權(quán)值和方差獲得。合并的簇7代替簇2和4，如圖5所示。
合并迭代被重復(fù)直到預(yù)定條件被滿足。例如，預(yù)定條件可以是合并被繼續(xù)直到留下預(yù)定數(shù)量的和簇(合并的簇的和，在第一和第二圖像中原始保留的簇)?？蛇x擇的，預(yù)定條件可以是合并被繼續(xù)直到每個(gè)保留的簇對(duì)之間的距離大于一給定值。可選擇的，該方法可包含預(yù)定數(shù)量的迭代。一個(gè)以上的預(yù)定條件可被結(jié)合。
在目前情況下，合并被重復(fù)直到留下預(yù)定數(shù)量(三個(gè))的簇。
在上面的例子中，合并的簇在進(jìn)一步的迭代中被考慮。然而，也可將它們排除在進(jìn)一步的迭代之外。此外，在上面的例子中，在第一和/或任何隨后的迭代中，簇可與相同的圖像中的其它簇合并，但是可選擇的，簇可以僅與出現(xiàn)在另外的圖像中的簇合并。這減小了距離測(cè)量的數(shù)目。
雖然根據(jù)簇進(jìn)行了說明，但應(yīng)該理解合并對(duì)描述符中的值起作用，也就是主色、方差和加權(quán)值，并且不需要分析簇本身。
一旦完成了迭代，留下的簇就用于形成組描述符。尤其是，對(duì)于每個(gè)最后的簇，存在一個(gè)有代表性的或主要的顏色、各自的方差和各自的加權(quán)值。它們連同表示最后簇?cái)?shù)的次數(shù)m一起被結(jié)合以形成組描述符。組描述符也可以包括其它因數(shù)，例如顏色空間的指數(shù)，或表示中使用的顏色量化。該組描述符為GoFGoP主色描述符。
在上面的例子中，在圖象組中只有兩個(gè)圖像。然而，該方法也可以應(yīng)用于包含多于兩個(gè)圖像的組。組中的每個(gè)圖像的簇描述符可都被結(jié)合，以形成一個(gè)超級(jí)描述符，如上所述。可選擇的，圖像組可被結(jié)合成子圖像組，例如兩個(gè)或三個(gè)組，在序列中或不在序列中，然后子組的描述符以相似的方式結(jié)合。
當(dāng)組中的圖像的數(shù)目巨大時(shí)，上面的方法潛在的涉及巨大數(shù)量的簇，并且涉及巨大數(shù)量的簇之間的距離的計(jì)算。
考慮到上述，上述方法的方差考慮了這樣的事實(shí)視頻連續(xù)鏡頭或視頻集中的多數(shù)圖像將是非常相似的并且相應(yīng)的描述符將是類似的。這意味著多數(shù)簇在每幀的基礎(chǔ)上能被合并而沒有精度的重大損失。
更詳細(xì)的說，方差考慮的是序列中一組圖像的圖像。如在上述的例子中，圖像描述符已經(jīng)被導(dǎo)出并且存儲(chǔ)在描述符數(shù)據(jù)庫(kù)中。一組圖像中的第一和第二圖像的簇描述符被恢復(fù)。接著，圖像對(duì)中的每個(gè)簇之間的距離被確定。如果任何簇對(duì)之間的距離小于預(yù)定的閾值，則簇對(duì)被合并。圖像對(duì)中的合并的簇和任何剩下的簇被集中成一個(gè)超級(jí)描述符，如在上面的例子中所述的。然后通過合并靠近的簇并形成一個(gè)新的超級(jí)描述符，下一個(gè)圖像的簇描述符被恢復(fù)并以相同的方式與前兩個(gè)圖像的超級(jí)描述符合并。當(dāng)所有圖像的簇描述符都已經(jīng)被考慮了時(shí)，使用所有剩下的簇合并結(jié)果得到的超級(jí)描述符，如在第一個(gè)例子中所述。
在上面的說明中，簇描述符已經(jīng)被導(dǎo)出?？蛇x擇的，圖像可被恢復(fù)或提供，并且在進(jìn)行簇合并之前就能從圖像導(dǎo)出描述符。
在上述的第一實(shí)施例中，通過集結(jié)組中的每個(gè)圖像的描述符而導(dǎo)出GoFGoP描述符。
在第二實(shí)施例中，圖像在圖像或像素域中被集結(jié)，然后從集結(jié)的圖像導(dǎo)出主色描述符以產(chǎn)生GoFGoP主色描述符。因此，如果在組中有N個(gè)圖像8，每個(gè)圖像包含m×m個(gè)像素，則超級(jí)圖像9可被看作是(N×m)×m的像素陣列，如圖6所示。
與第一實(shí)施例形成對(duì)比，第二實(shí)施例不使用每幅圖像的圖像描述符，而是直接對(duì)圖像起作用。
在圖象已經(jīng)被集結(jié)之后，使用上述的與第一實(shí)施例有關(guān)的技術(shù)，從超級(jí)圖像導(dǎo)出主色描述符。
第二實(shí)施例的優(yōu)點(diǎn)為在提取處理中沒有精度損失。然而，在考慮所有圖像時(shí)，就需要大量的復(fù)雜性，尤其是需要大量的存儲(chǔ)器。為了克服復(fù)雜性的問題，在時(shí)間和/或空間上可對(duì)圖像進(jìn)行二次取樣。
上面，圖像在圖像或像素域中被集結(jié)，然后從集結(jié)的圖像導(dǎo)出主色描述符以產(chǎn)生GoFGoP主色描述符。可選擇的，每個(gè)圖像在顏色域中被集結(jié)(例如，以每個(gè)圖像的直方圖的形式)并且從集結(jié)的直方圖導(dǎo)出主色描述符。例如，可從存儲(chǔ)器中導(dǎo)出或恢復(fù)每個(gè)圖像的顏色直方圖。接著，通過將它們加起來而結(jié)合顏色直方圖以形成一超級(jí)圖像直方圖，其可通過形成超級(jí)圖像的圖像數(shù)標(biāo)準(zhǔn)化。最后，使用上述的與第一實(shí)施例有關(guān)的技術(shù)從超級(jí)圖像直方圖導(dǎo)出主色描述符。換句話說，超級(jí)圖像直方圖的峰值(主色)以及各自的方差和加權(quán)值被選擇。
可使用在導(dǎo)出主色描述符之前集結(jié)圖像的其它技術(shù)。例如，不是將每幅圖像的直方圖加起來，而是計(jì)算圖像組的均值、中值或交集。然后從得到的均值、中值或交集直方圖導(dǎo)出主色組描述符。
在第二實(shí)施例的方差中，其在圖像/像素域和顏色/直方圖域中用于集結(jié)，圖像組在時(shí)間上被二次取樣，如下所述。在該例子中，每幅圖像的簇描述符被導(dǎo)出或恢復(fù)。基于簇描述符的相似性決定使用哪一幅圖像來導(dǎo)出GoFGoP描述符。
來自圖像組的序列中的第一圖像形成初始超級(jí)圖像。下列圖像被放棄直到一圖像和加到超級(jí)圖像(最初為第一圖像)的最后的圖像的簇描述符之間的相似性滿足預(yù)定的決定條件。如果一個(gè)圖像滿足該條件，則它就被加到超級(jí)圖像。然后將組中的下列圖像與加到超級(jí)圖像的最后圖像進(jìn)行比較直到預(yù)定的條件被再次滿足，或者直到組中的所有圖像都已經(jīng)被考慮，等等。然后從得到的超級(jí)圖像導(dǎo)出主色描述符。
圖像相似性的一個(gè)可能決定判據(jù)為各個(gè)主色描述符之間的匹配函數(shù)的值，例如在我們共同的未決申請(qǐng)WO00/67203中所述的，或者使用如在上述的MPEG-7書中所述的匹配函數(shù)。另外的判據(jù)可以是上面所述的“即時(shí)”合并的結(jié)果。如果所有簇都已經(jīng)被并入現(xiàn)有的描述符，則在這種情況下的“決定判據(jù)”將被滿足。避免提取所有圖像的主色的另外一種方法是計(jì)算一個(gè)粗略顏色直方圖并使用該直方圖匹配函數(shù)值作為判據(jù)。
所有這些判據(jù)都需要指定另外的參數(shù)在第一種情況下低于它匹配函數(shù)值被認(rèn)為是小的的閾值，以及在第二種情況下的合并閾值。一個(gè)可選擇的方法是適應(yīng)該閾值以便收集的圖像數(shù)不會(huì)超過一個(gè)規(guī)定的界限，該方法特別適用于有限存儲(chǔ)器的情況。
第三實(shí)施例從圖像組的主色描述符組導(dǎo)出GoFGoP主色描述符。更加特別的，對(duì)于一組圖像，從描述符數(shù)據(jù)庫(kù)檢索各個(gè)主色描述符(或者如果他們還未導(dǎo)出，則導(dǎo)出它們)。
對(duì)于每個(gè)主色描述符，所述描述符和該組中的剩余描述符中的每個(gè)之間的距離被測(cè)量。對(duì)于每個(gè)描述符這將產(chǎn)生一組距離測(cè)量結(jié)果，所述距離測(cè)量結(jié)果可被加起來以為每個(gè)描述符給出一個(gè)總的距離測(cè)量結(jié)果。具有最小總的距離測(cè)量結(jié)果的描述符被選作為代表描述符，并被看作是GoFGoP主色描述符。
選擇有代表性的描述符的其他方法可被使用，優(yōu)選的包含測(cè)試或比較，其至少涉及該組的圖像的一些圖像描述符。作為另外的例子，如果被實(shí)現(xiàn)用于整個(gè)描述符，則這可基于如在MPEG-7中定義的失真測(cè)量完成。
能夠預(yù)先丟棄非常近的描述符以減少計(jì)算。
上面闡明了用于導(dǎo)出GoFGoP描述符，尤其是GoFGoP主色描述符的各種方法。
對(duì)于GoFGoP描述符有各種應(yīng)用，例如用于搜索和恢復(fù)圖像組。例如，用戶希望搜索與輸入圖像或圖像組對(duì)應(yīng)的圖像組。
下面概略的說明了一種搜索方法。
參照?qǐng)D1，通過用戶使用一適當(dāng)?shù)难b置，例如掃描儀或數(shù)字相機(jī)，或者通過從計(jì)算機(jī)顯示的圖像范圍中選擇一個(gè)詢問圖像，或者通過選擇任何這種圖像的一個(gè)區(qū)域而輸入了一個(gè)詢問圖像。該圖像的主色描述符被導(dǎo)出，如上所述。然后將詢問主色描述符與存儲(chǔ)在描述符數(shù)據(jù)庫(kù)中的每個(gè)GoFGoP主色描述符進(jìn)行比較。GoFGoP主色描述符與單圖像主色描述符的格式相同，于是進(jìn)行匹配，例如，使用如在WO00/67203或類似物中的匹配函數(shù)，或者如在上述的MPEG-7書的部分13.3.2中所述的匹配函數(shù)。詢問描述符也可以選擇的與存儲(chǔ)在所述數(shù)據(jù)庫(kù)中的單圖像描述符進(jìn)行比較。
匹配函數(shù)的結(jié)果被整理，并且匹配函數(shù)為其指示最接近的匹配的圖像組被恢復(fù)。最接近的匹配的一個(gè)或多個(gè)圖像被顯示。
可使用提出詢問的其他方法?？赏ㄟ^選擇一組圖像并為該組提取如上所述的GoFGoP描述符來提出詢問。例如，通過選擇一個(gè)幀范圍或隱含性，例如通過在一視頻中選擇一關(guān)鍵幀，則可明確選擇該組，然后使用合適的算法導(dǎo)出包括該關(guān)鍵幀的一“連續(xù)鏡頭”。
例如，根據(jù)本發(fā)明的系統(tǒng)可提供在一圖像庫(kù)中?？蛇x擇的，數(shù)據(jù)庫(kù)可遠(yuǎn)離系統(tǒng)的控制單元定位，可通過臨時(shí)的線路例如電話線或通過網(wǎng)絡(luò)例如互聯(lián)網(wǎng)而被連接到控制單元。例如，圖像和描述符數(shù)據(jù)庫(kù)可提供在永久儲(chǔ)存器中或便攜式數(shù)據(jù)存儲(chǔ)介質(zhì)上，例如CD-ROM或DVD。
如上面根據(jù)本發(fā)明第一實(shí)施例所述的系統(tǒng)為計(jì)算機(jī)系統(tǒng)的形式。計(jì)算機(jī)可以是標(biāo)準(zhǔn)計(jì)算機(jī)，使用適當(dāng)?shù)某绦蛞呀?jīng)對(duì)所述計(jì)算機(jī)進(jìn)行了編程以用于執(zhí)行根據(jù)本發(fā)明實(shí)施例的方法。所述程序可存儲(chǔ)在任何適當(dāng)?shù)拇鎯?chǔ)介質(zhì)上，包括固定的或永久的儲(chǔ)存器或可移動(dòng)存儲(chǔ)裝置。使用特定的硬件和/或軟件，包括，例如特定芯片可對(duì)該系統(tǒng)進(jìn)行修改。在特定適合的裝置中也可實(shí)現(xiàn)本發(fā)明，所述裝置包括特定的硬件和/或軟件。
在上面的說明中，已經(jīng)根據(jù)紅、綠和藍(lán)顏色分量對(duì)顏色表示進(jìn)行了說明。當(dāng)然，可使用其它表示，例如使用色調(diào)、飽和度和亮度表示或者YUV坐標(biāo)系，或者在任何其它顏色空間中的顏色分量的子集，例如在HIS中僅使用色調(diào)和飽和度。
如上所述的本發(fā)明的實(shí)施例使用了為圖像和圖像組導(dǎo)出的描述符。然而，圖像描述符可以用于圖像的區(qū)域，并且相似的GoFGoP描述符可基于圖像的區(qū)域產(chǎn)生。區(qū)域可以是矩形框，或者可以使用不同形狀和尺寸的區(qū)域?？蛇x擇的，可為對(duì)應(yīng)于目標(biāo)的圖像的區(qū)域?qū)С雒枋龇?，例如汽車、房子或人。在其中任何一種情況下，可為所有圖像或其一部分導(dǎo)出描述符。此外，通過將上面的方法應(yīng)用于形成一組圖像區(qū)域的圖像中的多個(gè)區(qū)域可為單一圖像導(dǎo)出GoFGoP描述符。
在檢索過程中，用戶例如使用指示設(shè)備通過繞其旋轉(zhuǎn)來描述圖像的一個(gè)區(qū)，而不是輸入單一顏色查詢或選擇一個(gè)圖像塊，于是控制單元為該區(qū)域?qū)С鲆粋€(gè)描述符并使用它以上述相似的方式進(jìn)行檢索。此外，不是利用已經(jīng)存儲(chǔ)在圖像數(shù)據(jù)庫(kù)中的圖像來引發(fā)檢索，而是使用例如圖像掃描儀或數(shù)字相機(jī)來將圖像輸入到系統(tǒng)中。在了在這樣的情形下進(jìn)行檢索，該系統(tǒng)又會(huì)首先自動(dòng)的或者通過用戶確定來為該圖像或圖像的區(qū)域?qū)С雒枋龇?br> 可以使用硬件或軟件來實(shí)現(xiàn)本發(fā)明的適當(dāng)方面。
在上述實(shí)施例中，使用高斯函數(shù)來對(duì)每一種代表顏色的簇分布進(jìn)行近似，并且這些函數(shù)的平均值、方差和協(xié)方差被用于描述符值。然而，可使用其它函數(shù)或參數(shù)來對(duì)分量分布進(jìn)行近似，例如，使用類似正弦和余弦的基函數(shù)，描述符是基于這些函數(shù)的。
權(quán)利要求
1.一種表示圖像組(8)的方法，該方法包括為該圖像組確定一個(gè)或多個(gè)主色值(1-5)和根據(jù)所述主色值中的一個(gè)或多個(gè)導(dǎo)出一個(gè)表現(xiàn)該圖像組的主色表示，其中至少該圖像組中的一些圖像是由各自的根據(jù)該圖像的一個(gè)或多個(gè)主色值的主色表示所代表，并且其中每個(gè)主色表示具有一個(gè)或多個(gè)包括至少一個(gè)主色值的分量，該方法還包括結(jié)合多個(gè)所述主色表示或選擇一個(gè)主色表示作為該組的代表，其特征在于在顏色空間中基于主色的接近度結(jié)合所述表示中的一個(gè)或多個(gè)分量。
2.如權(quán)利要求1所述的方法，其中每個(gè)主色表示具有一個(gè)或多個(gè)包括可選地用于每個(gè)主色值的分量，表明圖像關(guān)于主色值的顏色分布方差的方差，表明圖像中主色的影響的加權(quán)值，圖像中主色的數(shù)量，和對(duì)應(yīng)于圖像中的主色的像素的空間同質(zhì)性。
3.如前述任何一個(gè)權(quán)利要求所述的方法，包括在時(shí)間或空間上對(duì)所述圖像組(8)進(jìn)行二次取樣。
4.如權(quán)利要求3所述的方法，其中根據(jù)它們與所述組中的其它圖像的相似性而省略或包括圖像。
5.如權(quán)利要求3或權(quán)利要求4所述的方法，其中所述二次取樣包括權(quán)利要求1所述的步驟。
6.一種表示圖像組(8)的裝置，該裝置包括為該圖像組確定一個(gè)或多個(gè)主色值(1-5)和根據(jù)所述主色值中的一個(gè)或多個(gè)導(dǎo)出一個(gè)表現(xiàn)該圖像組的主色表示的裝置，其中至少該圖像組中的一些圖像是由各自的根據(jù)該圖像的一個(gè)或多個(gè)主色值的主色表示所代表，并且其中每個(gè)主色表示具有一個(gè)或多個(gè)包括至少一個(gè)主色值的分量；以及結(jié)合裝置，用于結(jié)合多個(gè)所述主色表示或選擇一個(gè)主色表示作為該組的代表，并且在顏色空間中基于主色的接近度結(jié)合所述表示中的一個(gè)或多個(gè)分量。
7.如權(quán)利要求6所速的裝置，包括用于存儲(chǔ)圖像數(shù)據(jù)和/或描述符數(shù)據(jù)的存儲(chǔ)裝置，處理裝置，和包括用于執(zhí)行權(quán)利要求1到5的任何一個(gè)所述的方法的指令的控制裝置。
全文摘要
一種表示圖像組的方法包括為該圖像組確定一個(gè)或多個(gè)主色值和根據(jù)所述主色值中的一個(gè)或多個(gè)導(dǎo)出一個(gè)表現(xiàn)該圖像組的主色表示。
文檔編號(hào)G06T7/40GK101038593SQ20071008527
公開日2007年9月19日 申請(qǐng)日期2004年7月5日 優(yōu)先權(quán)日2003年7月4日
發(fā)明者L·西普林斯基 申請(qǐng)人:三菱電機(jī)株式會(huì)社