專利名稱：代表可視動(dòng)畫(huà)數(shù)據(jù)基于內(nèi)容索引和檢索的移動(dòng)對(duì)象軌跡的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及圖象檢索系統(tǒng)和，更確切涉及代表動(dòng)畫(huà)視覺(jué)數(shù)據(jù)中移動(dòng)對(duì)象或部位的軌跡的系統(tǒng)用于連續(xù)的基于內(nèi)容索引，檢索，編輯，分析和增強(qiáng)形象化。
背景技術(shù)：
數(shù)字電視(DTV)的出現(xiàn)，因特網(wǎng)的日益普及，和民用多媒體電器的使用，如密致盤(pán)(CD)和數(shù)字視頻盤(pán)(DVD)，給消費(fèi)者帶來(lái)了極大的多媒體信息。隨著錄象和動(dòng)畫(huà)圖象內(nèi)容應(yīng)用和使用它們的產(chǎn)品進(jìn)入市場(chǎng)，查尋，索引和識(shí)別大量多媒體數(shù)據(jù)變得更加復(fù)雜和重要了。
術(shù)語(yǔ)“可視動(dòng)畫(huà)數(shù)據(jù)”，其中公開(kāi)內(nèi)容中指通常的錄象，還有合成的2D或3D世界(如VRML)，或錄象和圖象的結(jié)合(如MPEG-4)。不同的標(biāo)準(zhǔn)用來(lái)尋找和索引可視動(dòng)畫(huà)數(shù)據(jù)的內(nèi)容，如圖象片段。為搜索可視動(dòng)畫(huà)數(shù)據(jù)幀開(kāi)發(fā)出來(lái)的圖象處理系統(tǒng)，用來(lái)檢測(cè)、識(shí)別和標(biāo)記一個(gè)形狀或顏色特別的對(duì)象，或檢測(cè)幀中的文本，如副標(biāo)題，廣告文本，或背景圖象文本，如一個(gè)路牌或“HOTEL”標(biāo)志。
然而，多媒體基于內(nèi)容的索引和檢索系統(tǒng)很少考慮到可視動(dòng)畫(huà)數(shù)據(jù)幀內(nèi)的對(duì)象軌跡。很多已開(kāi)發(fā)的系統(tǒng)只是用于靜止圖象檢索。有些系統(tǒng)后來(lái)被延伸到動(dòng)畫(huà)數(shù)據(jù)通過(guò)先把它們總結(jié)為連續(xù)鏡頭，然后用主幀代表每個(gè)鏡頭，然后在主幀上應(yīng)用靜止圖象使用的技巧。有些系統(tǒng)中，考慮了一個(gè)鏡頭中的照相機(jī)的運(yùn)動(dòng)，但還沒(méi)有考慮對(duì)象軌跡。
VideoQ，由哥倫比亞大學(xué)ADVENT Project of the Image andAdvanced TV Lab研制的，是一個(gè)處理對(duì)象運(yùn)動(dòng)的多媒體基于內(nèi)容索引和檢索的系統(tǒng)。VideoQ允許查尋基于對(duì)象的運(yùn)動(dòng)痕跡。對(duì)象的運(yùn)動(dòng)痕跡由這個(gè)對(duì)象的重心(質(zhì)心)軌跡向量有序序列在序列中的每個(gè)時(shí)間瞬時(shí)描述。
在不同的處理可視動(dòng)畫(huà)數(shù)據(jù)應(yīng)用程序的任務(wù)中，其它表示是用來(lái)處理視頻幀中的運(yùn)動(dòng)的。在編碼標(biāo)準(zhǔn)如MPEG-1,MPEG-2,MPEG-4,H.261和H.263中，運(yùn)動(dòng)表示為每個(gè)圖象之間和象素塊的“運(yùn)動(dòng)”對(duì)應(yīng)的2維向量的字段。運(yùn)動(dòng)向量在任何圖象塊上的任何時(shí)間瞬時(shí)都能被跳過(guò)。但是，這個(gè)塊在那個(gè)時(shí)間瞬時(shí)會(huì)被認(rèn)為是不動(dòng)的。因?yàn)橄笏貕K通常只有尺寸8×8到16×16，這個(gè)表示導(dǎo)致彼此類似的鄰近段和/或連續(xù)圖象的大量向量。
還有，盡管這一信息在以上標(biāo)準(zhǔn)中叫做“運(yùn)動(dòng)”，它并不是設(shè)計(jì)來(lái)符合動(dòng)畫(huà)可視物質(zhì)中真正的“運(yùn)動(dòng)”。相反，這個(gè)信息是用來(lái)發(fā)現(xiàn)周圍圖象的類似點(diǎn)從而減少當(dāng)前圖象的編碼消耗。因此，這種運(yùn)動(dòng)向量并不適用于多媒體數(shù)據(jù)索引和檢索。
目前正在研制中的是一個(gè)新的MPEG標(biāo)準(zhǔn)，MPEG-7，旨在建立一套標(biāo)準(zhǔn)的“描述性部件”來(lái)描述多媒體數(shù)據(jù)的不同方面，包括對(duì)象的運(yùn)動(dòng)。這些描述性部件，叫做描述符(Descriptor)和描述方案(Description Scheme)，直接描述可視動(dòng)畫(huà)數(shù)據(jù)的內(nèi)容，如一個(gè)圖象片段，從而提供了一個(gè)快速而有效的從錄象文件夾和動(dòng)畫(huà)圖象文件夾中搜尋的方法。除了這些描述符(D)和描述方案(DS)，MPEG-7還會(huì)標(biāo)準(zhǔn)化一種語(yǔ)言來(lái)表示描述(DDL)。描述被編碼成能夠有效的傳遞和儲(chǔ)存。然而，MPEG-7標(biāo)準(zhǔn)遠(yuǎn)未完成而且有些目標(biāo)可能永遠(yuǎn)也不會(huì)實(shí)現(xiàn)。誰(shuí)也不能保證能恰當(dāng)?shù)恼f(shuō)明對(duì)象的軌跡。
因此對(duì)于在一系列可視動(dòng)畫(huà)數(shù)據(jù)幀中描述的對(duì)象軌跡需要改進(jìn)的系統(tǒng)和方法。尤其是，需要對(duì)于能夠確定可視動(dòng)畫(huà)數(shù)據(jù)幀中對(duì)象軌跡并代表描述符或描述方案中的能在基于內(nèi)容索引和檢索的系統(tǒng)中使用的被查到的對(duì)象軌跡的系統(tǒng)。
發(fā)明概述要解決上述已有技術(shù)的缺陷，本發(fā)明的主要目的就是提供一個(gè)靈活的和類屬的更容易查尋和索引對(duì)象軌跡的說(shuō)明。這個(gè)公開(kāi)既沒(méi)有針對(duì)描述的編碼也沒(méi)有針對(duì)描述定義語(yǔ)言(DDL)中它的表述。所述的描述性數(shù)據(jù)結(jié)構(gòu)，在使用MPEG-7術(shù)語(yǔ)時(shí)，既可被認(rèn)為是一個(gè)合成的描述符或一個(gè)簡(jiǎn)單的初級(jí)描述方案。
本發(fā)明并不局限于一個(gè)或多個(gè)特別的應(yīng)用程序的需要或任何特別的數(shù)據(jù)源格式。本發(fā)明把描述符同人類的感覺(jué)標(biāo)準(zhǔn)和那個(gè)數(shù)據(jù)所描述的實(shí)際語(yǔ)義內(nèi)容連接起來(lái)。人類在較高的階段獲取運(yùn)動(dòng)。據(jù)此，本發(fā)明通過(guò)在場(chǎng)景中對(duì)象于某一點(diǎn)上的軌跡代表它的對(duì)象軌跡使用一個(gè)高級(jí)描述，如它的重心(即質(zhì)心)。為了進(jìn)一步描述一個(gè)場(chǎng)景的運(yùn)動(dòng)，基于對(duì)象的描述可用一個(gè)照相機(jī)(或觀察點(diǎn))的運(yùn)動(dòng)描述來(lái)補(bǔ)充。如果有的話，微小的細(xì)節(jié)可用一個(gè)對(duì)象變形的描述來(lái)補(bǔ)充而被加上去。
在本發(fā)明的一個(gè)有利的實(shí)施方案中，提供了在可視動(dòng)畫(huà)數(shù)據(jù)幀序列中檢測(cè)被選對(duì)象運(yùn)動(dòng)的系統(tǒng)，和一個(gè)能產(chǎn)生代表被選對(duì)象軌跡的描述符數(shù)據(jù)結(jié)構(gòu)的視頻處理設(shè)備。這個(gè)視頻處理設(shè)備由一個(gè)能在第一個(gè)可視動(dòng)畫(huà)數(shù)據(jù)幀和至少第二個(gè)可視動(dòng)畫(huà)數(shù)據(jù)幀中識(shí)別被選對(duì)象并由此確定被選對(duì)象在一個(gè)有至少第一維和第二維的坐標(biāo)空間中的軌跡的圖象處理器。圖象處理器從軌跡中生成描述符數(shù)據(jù)結(jié)構(gòu)，通過(guò)產(chǎn)生至少其中兩個(gè)a)代表坐標(biāo)空間內(nèi)對(duì)象位置的第一數(shù)據(jù)軌跡；b)第二數(shù)據(jù)軌跡，由此確定在坐標(biāo)空間內(nèi)對(duì)象的速度；c)第三數(shù)據(jù)軌跡，由此確定坐標(biāo)空間內(nèi)對(duì)象的加速度。
因此本發(fā)明使用可以理解的通用的，類屬的方法來(lái)代表對(duì)象的軌跡。那么，用戶可在可視動(dòng)畫(huà)數(shù)據(jù)幀序列(如錄象帶)中查尋一個(gè)對(duì)象，只要給出一個(gè)示范序列或有特定的速度，加速度，或在幀中的位置，或者以上的組合。視頻處理器然后可以為錄象帶中每個(gè)對(duì)象快速的查尋軌跡描述符表以便尋找與用戶指定的查尋標(biāo)準(zhǔn)一致的對(duì)象。
在本發(fā)明的一個(gè)實(shí)施方案中，坐標(biāo)空間由第一維，與第一維垂直的第二維，和與第一第二維垂直的第三維組成。因此本發(fā)明可以用來(lái)創(chuàng)造和查尋對(duì)象在二維中移動(dòng)的描述符表，如正在移動(dòng)的汽車經(jīng)過(guò)監(jiān)視照相機(jī)的錄象帶中的描述符表。因此本發(fā)明可以用來(lái)創(chuàng)造和查尋對(duì)象在三維中移動(dòng)的描述符表，如在VRML環(huán)境中對(duì)象的描述符表。
在本發(fā)明的另一個(gè)實(shí)施方案中，第二軌跡數(shù)據(jù)包括一個(gè)表示對(duì)象速度的速率值。在本發(fā)明的又一實(shí)施方案中，第二軌跡數(shù)據(jù)包括一個(gè)表示第一可視動(dòng)畫(huà)數(shù)據(jù)幀中對(duì)象的位置的起始位置，和一個(gè)表示至少在第二可視動(dòng)畫(huà)數(shù)據(jù)幀中對(duì)象的位置的結(jié)束位置，和一個(gè)用于在第一可視動(dòng)畫(huà)數(shù)據(jù)幀和至少是第二可視動(dòng)畫(huà)數(shù)據(jù)幀之間的消逝的時(shí)間值，其中對(duì)象的速度由起始時(shí)間，結(jié)束時(shí)間，和消逝的時(shí)間值確定。那么，本發(fā)明就能計(jì)算出對(duì)象的速度并直接把速度值存到描述符表上。另外，本發(fā)明還可以把對(duì)象的起始位置存入一個(gè)幀而把結(jié)束位置存入另一個(gè)幀，還有幀之間消逝的時(shí)間而間接地儲(chǔ)存速度，從而在需要時(shí)計(jì)算出速度。
然而在本發(fā)明的另一個(gè)實(shí)施方案中，從第二軌跡數(shù)據(jù)中確定的速度是一個(gè)與可視動(dòng)畫(huà)數(shù)據(jù)幀的邊界有關(guān)的絕對(duì)速度。在本發(fā)明進(jìn)一步的實(shí)施方案中，從第二軌跡數(shù)據(jù)中確定的速度是一個(gè)與可視動(dòng)畫(huà)數(shù)據(jù)幀的背景場(chǎng)景有關(guān)的相對(duì)速度。這使本發(fā)明能考慮到，如果有的話，記錄動(dòng)畫(huà)的可視數(shù)據(jù)幀順序的照相機(jī)或其它應(yīng)用的觀察點(diǎn)(如3D游戲中游戲桿的模擬)的運(yùn)動(dòng)。對(duì)象的軌跡也可由在幀邊界(如一個(gè)固定的照相機(jī))之內(nèi)的速度或與相對(duì)于背景對(duì)象(如照相機(jī)與對(duì)象同時(shí)運(yùn)動(dòng))的速度來(lái)代表。
在本發(fā)明更進(jìn)一步的實(shí)施方案中，視頻處理裝置通過(guò)將描述符數(shù)據(jù)結(jié)構(gòu)與可視動(dòng)畫(huà)數(shù)據(jù)幀序列零星起來(lái)而修改可視動(dòng)畫(huà)數(shù)據(jù)幀序列。那么，視頻處理裝置為視頻數(shù)據(jù)文件或其他可視動(dòng)畫(huà)數(shù)據(jù)文件中的一個(gè)或多個(gè)對(duì)象產(chǎn)生軌跡描述符表并把軌跡描述符表同錄象文件聯(lián)系起來(lái)，如通過(guò)把它連接到文件或合并到文件里，等等。使用的連接可以包括用來(lái)連接描述到對(duì)象的語(yǔ)義引用，用來(lái)連接描述到區(qū)域的特定引用，或用來(lái)連接描述到文件中臨時(shí)位置的臨時(shí)引用。這使后面的查尋更容易了，因?yàn)槊枋龇募沁@個(gè)文件的一部分并且在查尋的時(shí)候不用被生成。
代表在可視動(dòng)畫(huà)數(shù)據(jù)幀序列中對(duì)象軌跡的軌跡描述符表可被實(shí)施于依據(jù)本發(fā)明的一個(gè)可被視頻處理裝置產(chǎn)生并查尋的新的信號(hào)中。新信號(hào)包括1)一個(gè)組成描述被選對(duì)象的可視動(dòng)畫(huà)數(shù)據(jù)幀序列的可視動(dòng)畫(huà)數(shù)據(jù)信號(hào)；2)一個(gè)代表被選對(duì)象軌跡的對(duì)象軌跡描述符信號(hào)，對(duì)象軌跡描述符信號(hào)包括專用在有至少第一和第二維的坐標(biāo)空間內(nèi)被選對(duì)象的軌跡描述符數(shù)據(jù)結(jié)構(gòu)，其中描述符數(shù)據(jù)結(jié)構(gòu)包括以下兩個(gè)a)代表坐標(biāo)空間內(nèi)對(duì)象位置的第一軌跡數(shù)據(jù)；b)第二軌跡數(shù)據(jù)，由此確定在坐標(biāo)空間內(nèi)對(duì)象的速度；3)第三軌跡數(shù)據(jù)，由此確定在坐標(biāo)空間內(nèi)對(duì)象的加速度。
新的對(duì)象軌跡描述符信號(hào)可被嵌入形成可視動(dòng)畫(huà)數(shù)據(jù)信號(hào)的可視動(dòng)畫(huà)數(shù)據(jù)幀序列，并與此序列傳送?；蛘撸碌膶?duì)象軌跡描述符信號(hào)可與可視動(dòng)畫(huà)數(shù)據(jù)幀序列分立，并單獨(dú)傳送或存儲(chǔ)。
在依據(jù)本發(fā)明的一個(gè)信號(hào)的實(shí)施方案中，坐標(biāo)的空間包括第一維，與第一維垂直的第二維，和與第一維和第二維垂直的第三維。
在依據(jù)本發(fā)明的一個(gè)信號(hào)的實(shí)施方案中，第二軌跡數(shù)據(jù)包括一個(gè)表示被選對(duì)象速度的速率值。
在依據(jù)本發(fā)明的另一個(gè)信號(hào)實(shí)施方案中，第二軌跡數(shù)據(jù)包括表示第一可視動(dòng)畫(huà)數(shù)據(jù)幀中被選對(duì)象位置的起始位置，和指示第二可視動(dòng)畫(huà)數(shù)據(jù)幀中被選對(duì)象位置的結(jié)束位置，和指示第一可視動(dòng)畫(huà)數(shù)據(jù)幀和至少是第二可視動(dòng)畫(huà)數(shù)據(jù)幀之間消逝的時(shí)間值，其中對(duì)象的速度由起始時(shí)間、結(jié)束時(shí)間和消逝的時(shí)間值確定。
在依據(jù)本發(fā)明的另一個(gè)信號(hào)的實(shí)施方案中，從第二軌跡數(shù)據(jù)中確定的速度是一個(gè)與可視動(dòng)畫(huà)數(shù)據(jù)幀的邊界有關(guān)的絕對(duì)速度。
在本發(fā)明的進(jìn)一步的實(shí)施方案中，從第二軌跡數(shù)據(jù)中確定的速度是一個(gè)與可視動(dòng)畫(huà)數(shù)據(jù)幀的背景場(chǎng)景有關(guān)的相對(duì)速度。
以上只是大概的講述了本發(fā)明的性能和優(yōu)點(diǎn)以便使本領(lǐng)域的技術(shù)人員更好的理解下文中本發(fā)明的詳細(xì)描述。本發(fā)明其他的性能和優(yōu)點(diǎn)將在發(fā)明的權(quán)利要求主題中講述。本領(lǐng)域的技術(shù)人員應(yīng)該理解本發(fā)明的構(gòu)想和特定實(shí)施方案而對(duì)它們進(jìn)行修改。他們還應(yīng)該認(rèn)識(shí)到那些同等的結(jié)構(gòu)并沒(méi)有脫離本發(fā)明最廣泛形式的精神和范圍。
在進(jìn)行詳細(xì)描述之前，把此專利文件中要用到的個(gè)別單詞和詞組的定義先列出來(lái)術(shù)語(yǔ)“包括”和“組成”，還有其他衍生詞，表示無(wú)限制的包括；術(shù)語(yǔ)“或者”是包括的，表示和/或；詞組“與…相關(guān)”和“與此相關(guān)”，還有其他衍生，可以表示成包括，包括在，與…互相連接，包含，包含于，連到或相連，接到或相接，與…聯(lián)系，與…配合，插入，把…并列，靠近，限制或限制與，有，有…的性能，或類似的；術(shù)語(yǔ)“處理器”或“控制器”表示任何裝置，系統(tǒng)或其中部件控制至少一個(gè)操作，如一個(gè)可在硬件，固件或軟件，或至少兩種的組合中執(zhí)行的裝置?！皩?duì)象”，其中表示任何從一個(gè)序列中選出的語(yǔ)義實(shí)體或象素組。注意與任何特別控制器有關(guān)的功能可以被局部的或遠(yuǎn)程的集中或分散。對(duì)于某些單詞和句子的定義在整個(gè)專利文件中都有提供，即使是技術(shù)不熟悉的人也能讀懂大多數(shù)情況，那些定義對(duì)被定義的詞和句子此前或此后的使用都適用。
附圖簡(jiǎn)述為了更充分的理解本發(fā)明，和其中的優(yōu)點(diǎn)，以下描述和附圖可一起來(lái)參照，其中類似數(shù)字代表類似對(duì)象，并且，其中

圖1示出依據(jù)本發(fā)明的實(shí)施方案的示范的對(duì)象軌跡分析系統(tǒng)。
圖2示出包括一系列圖象幀示范的可視動(dòng)畫(huà)數(shù)據(jù)片段(clip)。
圖3示出代表對(duì)象在可視動(dòng)畫(huà)數(shù)據(jù)片段中軌跡描述符示范的模板實(shí)施方案。
圖4示出圖1中依據(jù)本發(fā)明的實(shí)施方案的視頻處理裝置中示范描述符的產(chǎn)生的流程圖。
詳細(xì)描述圖1到圖4，用來(lái)描述此專利文件中本發(fā)明不同實(shí)施方案的原理只是用來(lái)說(shuō)明的方式并且在任何時(shí)候都不應(yīng)該局限在本發(fā)明的范圍之內(nèi)。熟悉此技術(shù)的人都明白本發(fā)明的原理可以在任何適當(dāng)安排的視頻處理系統(tǒng)中執(zhí)行。
圖1示出依據(jù)本發(fā)明的實(shí)施方案的示范的對(duì)象軌跡分析系統(tǒng)100。示范的對(duì)象軌跡分析系統(tǒng)100包括視頻處理裝置110，可視動(dòng)畫(huà)數(shù)據(jù)源180，顯示器185，和用戶裝置190。視頻處理裝置110分析收到的可視動(dòng)畫(huà)數(shù)據(jù)圖象并依據(jù)本發(fā)明的原理來(lái)基于移動(dòng)對(duì)象重心(或質(zhì)心)確定圖象(各幀)之間對(duì)象軌跡。視頻處理裝置110然后產(chǎn)生代表每個(gè)對(duì)象軌跡的高級(jí)描述符并把描述符合并到原始的可視動(dòng)畫(huà)數(shù)據(jù)信號(hào)中并從此產(chǎn)生一個(gè)全新的信號(hào)。新的信號(hào)可通過(guò)把描述符中存儲(chǔ)的軌跡信息與視頻處理系統(tǒng)本身或用戶選擇的軌跡標(biāo)準(zhǔn)相匹配的視頻處理系統(tǒng)來(lái)查尋。
可視動(dòng)畫(huà)數(shù)據(jù)源180提供視頻處理裝置110內(nèi)的視頻圖象傳送?？梢晞?dòng)畫(huà)數(shù)據(jù)源180可以是電纜，VTR，天線，網(wǎng)絡(luò)檔案(包括因特網(wǎng))，CD播放器/記錄器，DVD播放器/記錄器，或者類似的能提供和存儲(chǔ)數(shù)字化動(dòng)畫(huà)視頻圖象的裝置(有或沒(méi)有音頻)中的一個(gè)或多個(gè)?？梢晞?dòng)畫(huà)數(shù)據(jù)源180有提供幾個(gè)很短的錄象片段或多個(gè)片段的能力，包括長(zhǎng)的數(shù)字化的動(dòng)畫(huà)視頻圖象。可視動(dòng)畫(huà)數(shù)據(jù)源180也可在任何已知格式中提供動(dòng)畫(huà)視頻數(shù)據(jù)，如D-1格式。
顯示器185展示動(dòng)畫(huà)視頻圖象，如果需要的話也可裝音頻。用戶裝置190包括一個(gè)或多個(gè)由對(duì)象軌跡分析系統(tǒng)100的用戶操縱的外圍設(shè)備來(lái)提供系統(tǒng)的用戶輸入。典型的輔助用戶輸入設(shè)備包括計(jì)算機(jī)鼠標(biāo)，鍵盤(pán)，光筆，游戲桿，感觸板和有關(guān)的指示筆，和/或其它任何能選擇性的用來(lái)進(jìn)入，選擇，或處理包括全部或部分被展示的視頻圖象的數(shù)據(jù)的裝置。用戶裝置190可以來(lái)選擇要求的動(dòng)畫(huà)可視序列，對(duì)象，和/或用來(lái)輸入到視頻處理裝置110的軌跡識(shí)別屬性。用戶裝置190還可包括輸出裝置，如用來(lái)打印個(gè)別圖象復(fù)制件的彩色打印機(jī)。
視頻處理裝置110包括圖象處理器120，RAM130，硬盤(pán)存儲(chǔ)器140，用戶I/O卡150，圖象卡160，I/O緩沖器170，和處理器總線175。處理器總線175在視頻處理裝置110的不同部件之間傳送數(shù)據(jù)。RAM130還包括軌跡工作空間132和對(duì)象軌跡控制器134。圖象處理器120提供視頻處理裝置110的全部控制并實(shí)現(xiàn)對(duì)象軌跡分析系統(tǒng)100必需的圖象處理，還包括實(shí)現(xiàn)對(duì)用戶/系統(tǒng)選擇屬性的可視動(dòng)畫(huà)數(shù)據(jù)幀中軌跡的分析。這包括編輯處理的實(shí)現(xiàn)，存儲(chǔ)于磁盤(pán)存儲(chǔ)器140或傳送到顯示器185的數(shù)字化可視動(dòng)畫(huà)數(shù)據(jù)幀的處理，對(duì)象軌跡分析系統(tǒng)100的不同部件之間的數(shù)據(jù)傳送的控制。在本發(fā)明中如不需要不會(huì)對(duì)圖象處理器120的要求和功能做詳細(xì)解釋。
RAM130為視頻處理裝置110產(chǎn)生的數(shù)據(jù)提供臨時(shí)儲(chǔ)存的隨機(jī)存取存儲(chǔ)器，這就不需要系統(tǒng)中的其它部件來(lái)提供了。RAM130包括軌跡工作空間132和對(duì)象軌跡控制器134的存儲(chǔ)器，還有其它圖象處理器120及其相關(guān)裝置所需的其它存儲(chǔ)器。軌跡工作空間132代表RAM130與特別錄象片段有關(guān)的視頻圖象和描述符在軌跡分析處理中被臨時(shí)存儲(chǔ)的部分。軌跡工作空間132允許一個(gè)片段內(nèi)的幀無(wú)須影響原始數(shù)據(jù)就能被分析和修改，這樣，在需要時(shí)，原始數(shù)據(jù)才能被復(fù)原。
對(duì)象軌跡控制器134代表RAM130中專用于由圖象處理器120執(zhí)行的應(yīng)用程序的存儲(chǔ)部分來(lái)實(shí)現(xiàn)在系統(tǒng)/用戶定義屬性基礎(chǔ)之上的視頻圖象的對(duì)象軌跡分析。對(duì)象軌跡控制器134可作為裝在CD-ROM，計(jì)算機(jī)磁盤(pán)，或其它能裝進(jìn)磁盤(pán)存儲(chǔ)器140的可移動(dòng)磁盤(pán)端口或如視頻片段源180的其它地方的存儲(chǔ)媒介上的一個(gè)程序。
磁盤(pán)存儲(chǔ)器140包括一個(gè)或多個(gè)磁盤(pán)系統(tǒng)，還包括可移動(dòng)磁盤(pán)，永久性存儲(chǔ)程序和其它數(shù)據(jù)，包括所需的動(dòng)畫(huà)視頻和音頻數(shù)據(jù)。根據(jù)系統(tǒng)需要，磁盤(pán)存儲(chǔ)器140是配置成成與一個(gè)或多個(gè)雙向總線連接的來(lái)傳送錄象(和音頻)數(shù)據(jù)到可視動(dòng)畫(huà)數(shù)據(jù)源180或從可視動(dòng)畫(huà)數(shù)據(jù)源180傳送至其余的系統(tǒng)。磁盤(pán)存儲(chǔ)器140在需要時(shí)能用視頻速度傳送數(shù)據(jù)。作為最小的，磁盤(pán)存儲(chǔ)器140除了給程序及其相關(guān)數(shù)據(jù)的必要空間，還提供用于對(duì)象軌跡分析用途的幾分鐘錄象的足夠的存儲(chǔ)空間。根據(jù)特定的應(yīng)用程序和圖象處理器120的功能，磁盤(pán)存儲(chǔ)器140可能配置成能提供大數(shù)量錄象片段和與它們相關(guān)的對(duì)象軌跡信息的存儲(chǔ)。
用戶I/O卡150可用來(lái)連接用戶裝置190到對(duì)象軌跡分析系統(tǒng)100的其它部分上。用戶I/O卡150把從用戶裝置190收到的數(shù)據(jù)轉(zhuǎn)換成連接總線175的格式從而傳送到圖象處理器120或RAM130并以由圖象處理器120以后進(jìn)行訪問(wèn)。用戶I/O卡150還傳送數(shù)據(jù)到用戶輸出裝置如打印機(jī)上。顯卡160在數(shù)據(jù)總線175中提供顯示器185和其它的視頻處理裝置110的連接。
I/O緩沖器170在總線175中提供可視動(dòng)畫(huà)數(shù)據(jù)源180和其它的對(duì)象軌跡分析系統(tǒng)100之間的連接。如前所述，可視動(dòng)畫(huà)數(shù)據(jù)源180有至少一個(gè)雙向總線來(lái)連接I/O緩沖器170。I/O緩沖器170能傳送數(shù)據(jù)，包括含有依據(jù)本發(fā)明原理的軌跡描述符的新信號(hào)，以最低的要求把視頻圖象傳送速度從或向可視動(dòng)畫(huà)數(shù)據(jù)源180傳送。
I/O緩沖器170按要求把從可視動(dòng)畫(huà)數(shù)據(jù)源180收到的數(shù)據(jù)傳到磁盤(pán)存儲(chǔ)器140，圖象處理器120，和RAM130上，提供對(duì)象軌跡的分析，編輯，和監(jiān)視顯示的臨時(shí)存儲(chǔ)效果。視頻數(shù)據(jù)到圖象處理器120和顯卡160的同步傳送使得系統(tǒng)能夠消逝收到的視頻圖象。
圖2示出包括一系列圖象幀201-204的示范可視動(dòng)畫(huà)數(shù)據(jù)片段200?？梢晞?dòng)畫(huà)數(shù)據(jù)片段200可以是，例如，一個(gè)“真實(shí)世界”場(chǎng)景的標(biāo)準(zhǔn)錄象片段或計(jì)算機(jī)產(chǎn)生的動(dòng)畫(huà)幀。圖象幀201-204展示了兩個(gè)對(duì)象的運(yùn)動(dòng)，任意標(biāo)號(hào)為01和02，從圖象幀201的起始位置到圖象幀204的結(jié)束位置。圖象幀201在時(shí)間t=t0出現(xiàn)，圖象幀204在時(shí)間t=t1出現(xiàn)。圖象幀201到圖象幀204的時(shí)間流逝是(t1-t0)。
圖2示出示范描述符220和230，任意的標(biāo)號(hào)為D1和D2。描述符D1代表對(duì)象01的軌跡描述符D2代表對(duì)象02的軌跡。描述符D1和D2基于從幀201-204的質(zhì)心的運(yùn)動(dòng)分別為對(duì)象01和02提供軌跡信息。每個(gè)對(duì)象的質(zhì)心在每個(gè)用來(lái)分析對(duì)象運(yùn)動(dòng)的幀里提供一個(gè)單一的參照點(diǎn)。對(duì)象質(zhì)心的軌跡是描述從幀201到204的對(duì)象軌跡或運(yùn)動(dòng)的基礎(chǔ)。
在本發(fā)明的一個(gè)實(shí)施方案中，特定對(duì)象的軌跡描述符可以包括這個(gè)對(duì)象的開(kāi)始和結(jié)束位置。圖象處理器120依據(jù)第一幀與第二幀之間對(duì)象位置的改變和第一幀與第二幀之間時(shí)間段的流逝計(jì)算對(duì)象的速度。在本發(fā)明的另一個(gè)實(shí)施方案中，描述符可以直接包括對(duì)象的速度，而不是通過(guò)位置改變和時(shí)間的流逝來(lái)計(jì)算它。
視頻處理裝置110通過(guò)使用力學(xué)的基本物理法則來(lái)代表一個(gè)對(duì)象的軌跡從而產(chǎn)生對(duì)象軌跡的類屬描述符。在(x,y)坐標(biāo)系中對(duì)象的二維(2D)軌跡的示范描述符包含對(duì)象的位置，x-維中的速度和加速度及對(duì)象的位置，y-維中的速度和加速度。在(x,y,z)坐標(biāo)系中對(duì)象3D軌跡的示范描述符還會(huì)包含對(duì)象的位置，z-維中的速度和加速度。
在本發(fā)明的一個(gè)實(shí)施方案中，下面的二級(jí)近似法是用來(lái)表示移動(dòng)著的對(duì)象的最后的x-坐標(biāo)t∈[t0,t1]x(t-t0)=x0+νx(t-t0)+1/2αx(t-t0)2其中t∈[t0,t1] 表示這個(gè)等式適用于t0和t1之間的所有時(shí)間。t0是第一個(gè)幀的時(shí)間。x0是對(duì)象在t0的x-位置。vx是x-維中對(duì)象的速率，假設(shè)t0和t1之間是常量。ax是x-維中對(duì)象的加速度，假設(shè)t0和t1之間是常量。
同樣，對(duì)象的y-維軌跡和z-維軌跡是t∈[t0,t1]y(t-t0)=y0+νy(t-t0)+1/2αy(t-t0)2z(t-t0)=z0+νx(t-t0)+1/2αx(t-t0)2三維圖象中z-坐標(biāo)是必要的，如建筑和動(dòng)畫(huà)計(jì)算機(jī)游戲的計(jì)算機(jī)輔助的設(shè)計(jì)系統(tǒng)。這種三維軌跡表達(dá)因?yàn)樗c人眼的感覺(jué)視點(diǎn)相似而尤其有吸引力。
在本發(fā)明的一個(gè)實(shí)施方案中，示范描述符可作為定義對(duì)象軌跡的對(duì)象編碼而產(chǎn)生。示范對(duì)象編碼的實(shí)施方案可表現(xiàn)為<pre listing-type="program-listing"><![CDATA[Object-Trajectory: (Number_of_time_instants Spatial_reference Camera_followed) For each time_instant: Time_start,Time_end Starting_Positions(x,y,z)/Confidence Speeds(x,y,z)/Confidence Accelerations(x,y,z)/Confidence。]]></pre>“Object_Trajectory”代表特定對(duì)象在移動(dòng)著的圖象如錄象片段中移動(dòng)時(shí)的軌跡描述符?！癗umber_of_time_instants”代表在描述對(duì)象的軌跡中使用的時(shí)間段的個(gè)數(shù)或幀組?！癝patial_reference”明確數(shù)據(jù)是由圖象參照(選定的錄象片段)確定的還是由整體運(yùn)動(dòng)信息(即背景運(yùn)動(dòng))確定的?！癋or each time_instant”代表在識(shí)別一個(gè)選定視頻圖象的特定時(shí)間間區(qū)(time_instant)中對(duì)象軌跡所必須的信息?！癟ime_start”和“Time_end”代表選定的time_instant的第一(開(kāi)始)和最后(結(jié)束)幀。
“Starting_Positions(x,y,z)/置信”在考慮了位置置信度的情況下代表在選定的time_instant的Time_start處對(duì)象重心的開(kāi)始坐標(biāo)x-,y-,z-?！癝peeds(x,y,z)/置信”在考慮了速率置信度的情況下代表質(zhì)心的速率?！癆ccelerations(x,y,z)/置信”在考慮了加速度置信度的情況下代表質(zhì)心的加速度。最后，“Camera_followed”表明照相機(jī)的角度是固定的還是跟隨對(duì)象的。
如果照相機(jī)是不動(dòng)的，關(guān)于對(duì)象速率和加速度的信息在沒(méi)有對(duì)照相機(jī)有更多要求的情況下可以由對(duì)象在錄象片段或幀組中的移動(dòng)來(lái)描述。如果照相機(jī)是移動(dòng)的，對(duì)象的速率和加速度將受照相機(jī)或背景的速率和加速度影響。
軌跡是在兩個(gè)描述移動(dòng)的對(duì)象是否由照相機(jī)跟蹤的基本分類的基礎(chǔ)上分析的。當(dāng)對(duì)象由照相機(jī)跟蹤時(shí)，它會(huì)在幀中展示極少的運(yùn)動(dòng)而對(duì)象的軌跡也只能由照相機(jī)的起伏移動(dòng)產(chǎn)生。在這種情形中，用由用戶指定查尋標(biāo)準(zhǔn)來(lái)比較不連貫的軌跡是毫無(wú)意義的。因此，識(shí)別一個(gè)對(duì)象是否由照相機(jī)跟蹤是很有幫助的。
由照相機(jī)跟蹤的對(duì)象可被進(jìn)一步被靠近圖象中心位置的靜止對(duì)象或有不規(guī)則的小的位移(即運(yùn)動(dòng))的在靠近圖象中心位置周圍移動(dòng)的對(duì)象來(lái)識(shí)別。當(dāng)照相機(jī)的運(yùn)動(dòng)為已知時(shí)，照相機(jī)運(yùn)動(dòng)可被進(jìn)一步的用來(lái)確定是否被跟蹤對(duì)象要用于軌跡匹配。當(dāng)從用戶-提供或系統(tǒng)-提供的數(shù)據(jù)中不能知道照相機(jī)的運(yùn)動(dòng)時(shí)，照相機(jī)的軌跡速度/加速度可以由背景和/或已知對(duì)象軌跡的運(yùn)動(dòng)來(lái)確定。除了考慮照相機(jī)和背景運(yùn)動(dòng)的軌跡，移動(dòng)對(duì)象的位置、速度和加速度可與圖象比例無(wú)關(guān)地標(biāo)準(zhǔn)化。
而且，如果應(yīng)用程序不要求這種信息，所有參照的軌跡數(shù)據(jù)不需要在軌跡描述符中表現(xiàn)出來(lái)。例如，一個(gè)軌跡描述符在需要時(shí)可以定義為被確定的對(duì)象位置的速率和加速度。反之，描述符部件(如一個(gè)2維圖象中的z-坐標(biāo))不一定與此特定的應(yīng)用程序相關(guān)。貫穿時(shí)間間區(qū)的置信度是選擇性的定義并與每個(gè)部件相關(guān)。比如，置信度可以把預(yù)期的數(shù)據(jù)準(zhǔn)確性表示為數(shù)據(jù)是怎樣被選出的一個(gè)函數(shù)。
其中前和此后的描述中，示范描述符定義一個(gè)對(duì)象或區(qū)域的質(zhì)心的軌跡。然而，這不是必要的。在本發(fā)明的另一個(gè)實(shí)施方案中，示范描述符可以參照對(duì)象的其它一些點(diǎn)來(lái)定義對(duì)象的軌跡，如右上沿邊角點(diǎn)，前邊緣最前點(diǎn)等等。
圖3示出描述對(duì)象01和02在如圖2所示的錄象片段200的幀中運(yùn)動(dòng)的軌跡描述符D1和D2(220和230)的示范樣板實(shí)施方案。描述符220和230的域里包括軌跡部件。多個(gè)描述符表，在相關(guān)的錄象片段的每個(gè)被選對(duì)象中都有一個(gè)，當(dāng)它們穿過(guò)片段時(shí)是必須的，以描述所有被選對(duì)象的軌跡。
每一個(gè)描述符220和230都包括含有與描述符有關(guān)的識(shí)別對(duì)象01或02的標(biāo)記的對(duì)象標(biāo)識(shí)(ID)域301。時(shí)間瞬時(shí)個(gè)數(shù)(N)域302，和空間基準(zhǔn)域304。每個(gè)描述符220和230更進(jìn)一步包括“N”數(shù)據(jù)塊。每個(gè)N數(shù)據(jù)塊相應(yīng)于在時(shí)間瞬時(shí)個(gè)數(shù)域302中指定的時(shí)間片刻“N”中的一個(gè)。
對(duì)象ID域301包括在識(shí)別如起始位置，顏色，大小，形狀等特征的基礎(chǔ)上描述的對(duì)象信息。有些實(shí)施方案中，對(duì)象ID域301可以是另一個(gè)描述符位置的連接或是定義對(duì)象的描述方案。時(shí)間瞬時(shí)個(gè)數(shù)(N)域302是被用戶或系統(tǒng)作為給被分析的錄象片段的時(shí)間分界選定的區(qū)間數(shù)量。例如，包含100個(gè)幀的錄象片段200可以被分成為每20個(gè)幀一組的子組。在這種情況下，時(shí)間瞬時(shí)個(gè)數(shù)(N)域302等于5并且描述符中的5個(gè)數(shù)據(jù)單元中的每一個(gè)都從屬于這5個(gè)子組中的一個(gè)。數(shù)值N可以是用戶或系統(tǒng)定義的。
Spatial Reference域304提供應(yīng)該指示，說(shuō)明目標(biāo)的運(yùn)動(dòng)是否是基于指定圖象幀參照的對(duì)象的位置或是相對(duì)于更全局或外部的參照。照相機(jī)跟隨域305提供照相機(jī)是否與對(duì)象一起移動(dòng)的指示。
在示范的實(shí)施方案中，每個(gè)N數(shù)據(jù)單元包括代表對(duì)象在被參照的時(shí)間瞬間內(nèi)的運(yùn)動(dòng)的5個(gè)數(shù)據(jù)域。例如，第一個(gè)時(shí)間瞬間由以下數(shù)據(jù)域代表開(kāi)始時(shí)間1/結(jié)束時(shí)間1域311，開(kāi)始位置1(x,y,z)/置信域312，速度1(x,y,z)/置信域313，和加速度1(x,y,z)/置信域314。
如前所述，數(shù)據(jù)單元的每個(gè)域或域的一部分沒(méi)有必要為了一個(gè)支持特定應(yīng)用程序所需要的描述符表的功能而出現(xiàn)。比如，如果對(duì)象只在兩個(gè)平面(x和y)中代表，在軌跡分析中要忽略z-平面。還有，依據(jù)應(yīng)用程序，描述符表可能只有對(duì)象標(biāo)識(shí)，加速度，和速率分量就足夠了。圖象處理器120也可以在它們需要實(shí)現(xiàn)一個(gè)特別的任務(wù)時(shí)計(jì)算“失蹤的”標(biāo)識(shí)。例如，一個(gè)特別對(duì)象的結(jié)束位置坐標(biāo)可以只在需要對(duì)象最終位置時(shí)才被確定。另外，Speed域可以通過(guò)一個(gè)End Position值被放在描述符220和230中。對(duì)象的速度然后可以用開(kāi)始時(shí)間，結(jié)束時(shí)間，開(kāi)始位置和結(jié)束位置算出來(lái)。
被描述對(duì)象軌跡描述符表的特征在分析錄象段中移動(dòng)對(duì)象的軌跡時(shí)有很多益處。軌跡描述符基于視頻圖象內(nèi)容，接近物理“真實(shí)”場(chǎng)景，并如人類感覺(jué)一樣來(lái)代表它的運(yùn)動(dòng)。而且，它是一個(gè)不依賴于任何特別的應(yīng)用程序或數(shù)據(jù)格式的類屬形式。再有，代表性的描述符模板包含軌跡的不同感覺(jué)方面，(即位置，速度和加速度)。這為在不同的立體平面中完全而準(zhǔn)確的描述對(duì)象的軌跡提供了可能，還允許了特別運(yùn)動(dòng)部件的隔離從而能檢驗(yàn)出特別特征的影響。因?yàn)檫@三個(gè)基本數(shù)據(jù)部件在表示中是分別訪問(wèn)的。例如，在恒速的情況下，為了檢測(cè)對(duì)象的運(yùn)動(dòng)，可以忽略對(duì)象的加速度。
使用前面等式的計(jì)數(shù)法，兩個(gè)軌跡描述D和D’之間距離的普通表示可被簡(jiǎn)單的表示為位置，速度和加速度的歐幾里德距離的加權(quán)和，如下d(D,D′)=∑iα((xi-xi′)2+(yi-yi′)2+(zi-zi′)2)/(Δti)+β((νxi-νxi′)2+(νyi-νyi′)2+(νzi-νzi′)2)/(Δti)+X((αxi-αxi′)2+(αyi-αyi′)2+(αzi-αzi′)2)/(Δti)，其中i代表兩個(gè)描述符中描述的所有的連續(xù)時(shí)間瞬間?；卷?xiàng)屬于D’。項(xiàng)Δti是第i次時(shí)間瞬間的長(zhǎng)度。項(xiàng)α，β和χ依賴于選定的匹配要求(如果有)和置信度。
圖4示出依據(jù)本發(fā)明的一個(gè)實(shí)施方案的視頻處理裝置110中使用對(duì)象軌跡控制器134的示范描述符的產(chǎn)生的流程圖400。可視動(dòng)畫(huà)數(shù)據(jù)片段從可視動(dòng)畫(huà)數(shù)據(jù)源180中恢復(fù)并儲(chǔ)存到磁盤(pán)存儲(chǔ)器140和軌跡工作空間132(處理步驟405)。用戶-定義或系統(tǒng)-定義的標(biāo)準(zhǔn)從用戶I/O卡150中收到并被存入軌跡工作空間132。這些標(biāo)準(zhǔn)用來(lái)識(shí)別對(duì)象和用于軌跡分析的質(zhì)心的確定(處理步驟410)。如果需要，分段程序(如顏色/形狀識(shí)別)可用來(lái)分段或隔離用于軌跡分析程序的對(duì)象。要求的對(duì)象識(shí)別信息存在示范數(shù)據(jù)域301中。
下一步，圖象處理器120確定空間基準(zhǔn)，由用戶選定或系統(tǒng)指定，指示軌跡數(shù)據(jù)是否要考慮全面運(yùn)動(dòng)信息(處理步驟415)?？臻g基準(zhǔn)存儲(chǔ)在示范的數(shù)據(jù)域304中。
時(shí)間瞬時(shí)個(gè)數(shù)(N)從與可視數(shù)據(jù)、用戶選定數(shù)據(jù)或系統(tǒng)設(shè)定值數(shù)據(jù)一起收到的時(shí)間數(shù)據(jù)參照的恢復(fù)取得。在本發(fā)明的一個(gè)實(shí)施方案中，圖象處理器120可以計(jì)算N并把錄象片段分段成基于用戶/系統(tǒng)定義的特征的時(shí)間瞬間，如對(duì)象的方向或速度的改變。對(duì)這個(gè)示例，假設(shè)一個(gè)系統(tǒng)缺省設(shè)定為N來(lái)代表錄象片段分為每個(gè)子組中有同樣數(shù)量的錄象幀的N個(gè)子組(即每個(gè)時(shí)間瞬時(shí)將會(huì)有一個(gè)流逝的時(shí)間等于可視動(dòng)畫(huà)數(shù)據(jù)片段200的全部時(shí)間的1/N)。時(shí)間瞬時(shí)個(gè)數(shù)N儲(chǔ)存在數(shù)據(jù)域302中(處理步驟420)。另外，時(shí)間瞬時(shí)個(gè)數(shù)N可以由圖象處理器120根據(jù)對(duì)象的軌跡適當(dāng)?shù)拇_定。
接著，圖象處理器120確定在每個(gè)幀中被選對(duì)象的重心位置并計(jì)算每個(gè)N時(shí)間瞬間開(kāi)始時(shí)間，結(jié)束時(shí)間，開(kāi)始位置(x,y,z)和置信，速度(x,y,z)和置信，加速度(x,y,z)和置信(處理步驟425)。照相機(jī)跟隨變量可通過(guò)假設(shè)根據(jù)空間基準(zhǔn)對(duì)象相對(duì)于圖象或一個(gè)穩(wěn)定的背景而言對(duì)象是不動(dòng)的來(lái)確定。另外，如果對(duì)象相對(duì)照相機(jī)只移動(dòng)一點(diǎn)點(diǎn)而背景移動(dòng)很大，可以假設(shè)照相機(jī)是同對(duì)象一起移動(dòng)的。
還有，當(dāng)一個(gè)時(shí)間瞬間有大量幀出現(xiàn)時(shí)，時(shí)間瞬間可以再分而且每個(gè)再分部分的重心速度能被計(jì)算出來(lái)。貫穿時(shí)間瞬間的加速度的平均值也能計(jì)算。如上所述，依據(jù)初始數(shù)據(jù)的性質(zhì)，數(shù)據(jù)樣本的數(shù)量等可給每個(gè)軌跡分配置信度。
每個(gè)時(shí)間瞬間的對(duì)象速度或速率可被計(jì)算為重心位置的局部一次導(dǎo)數(shù)，并由圖象大小來(lái)標(biāo)準(zhǔn)化。換句話說(shuō)，速度可以由開(kāi)始和結(jié)束位置及流逝的時(shí)間量的差異確定。(如果需要，z信息可以從連續(xù)幀之間的大小變化推斷出來(lái)，考慮到在圖象和/或它的形狀變化中對(duì)象的完全存在。)同樣，加速度可以作為重心位置的局部二階導(dǎo)數(shù)計(jì)算，由圖象大小標(biāo)準(zhǔn)化。
最后，圖象處理器120把在處理步驟425確定的數(shù)據(jù)存入與被選對(duì)象相關(guān)的描述符中并把新的描述符同可視動(dòng)畫(huà)數(shù)據(jù)片段200聯(lián)系起來(lái)(處理步驟425)。描述符可以通過(guò)把它同可視動(dòng)畫(huà)數(shù)據(jù)片段200結(jié)合或?qū)⑺c可視動(dòng)畫(huà)數(shù)據(jù)片段200分開(kāi)存儲(chǔ)并與可視動(dòng)畫(huà)數(shù)據(jù)片段200連接而與可視動(dòng)畫(huà)數(shù)據(jù)片段200相關(guān)。
被選對(duì)象產(chǎn)生的軌跡描述符表按要求存入軌跡工作空間132，磁盤(pán)儲(chǔ)存140，和外部可視動(dòng)畫(huà)數(shù)據(jù)源180中。還有，作為結(jié)果的軌跡描述符表可放入一個(gè)新的信號(hào)格式來(lái)傳送與動(dòng)畫(huà)可視數(shù)據(jù)片段相關(guān)的其它數(shù)據(jù)，用于其它來(lái)源的恢復(fù)和使用。
盡管本發(fā)明已經(jīng)詳細(xì)的描述了，本領(lǐng)域的技術(shù)人員可以理解在沒(méi)有偏離本發(fā)明主要結(jié)構(gòu)的精神和范圍上做出不同的改變，替換和修改。
權(quán)利要求
1．在可視動(dòng)畫(huà)幀序列中能夠檢測(cè)被選對(duì)象運(yùn)動(dòng)的系統(tǒng)(100)，一種視頻處理裝置(110)能夠產(chǎn)生代表被選對(duì)象運(yùn)動(dòng)的描述符數(shù)據(jù)結(jié)構(gòu)(220,230)，所述視頻處理裝置(110)包括能夠在第一可視動(dòng)畫(huà)數(shù)據(jù)幀(201)和至少第二可視動(dòng)畫(huà)數(shù)據(jù)幀(202)中識(shí)別被選對(duì)象并且由此確定被選對(duì)象在至少有第一維和第二維的坐標(biāo)空間內(nèi)的軌跡的圖象處理器(120)，其中圖象處理器(120)從所述軌跡中產(chǎn)生描述符數(shù)據(jù)結(jié)構(gòu)(220,230)，通過(guò)以下至少兩個(gè)實(shí)現(xiàn)第一軌跡數(shù)據(jù)(312)代表所述坐標(biāo)空間內(nèi)所述被選對(duì)象的位置；第二軌跡數(shù)據(jù)(313)，由此確定坐標(biāo)空間內(nèi)的被選對(duì)象的速度；第三軌跡數(shù)據(jù)(314)，由此確定坐標(biāo)空間內(nèi)的被選對(duì)象的加速度。
2．權(quán)利要求1中的視頻處理裝置(110)，其中坐標(biāo)空間包括第一維，與第一維垂直的第二維，和與所述第一和所述第二維垂直的第三維。
3．權(quán)利要求1中的視頻處理裝置(110)，其中所述第二軌跡數(shù)據(jù)(313)包括指示被選對(duì)象的速度的一個(gè)速率值。
4．權(quán)利要求1中的視頻處理裝置(110)，其中所述第二軌跡數(shù)據(jù)(313)包括表示在第一可視動(dòng)畫(huà)數(shù)據(jù)幀中被選對(duì)象位置的開(kāi)始位置，表示在至少一個(gè)第二可視動(dòng)畫(huà)數(shù)據(jù)幀中被選對(duì)象的位置的結(jié)束位置，和一個(gè)用于在第一可視動(dòng)畫(huà)數(shù)據(jù)幀和至少第二可視動(dòng)畫(huà)數(shù)據(jù)幀之間的消逝的時(shí)間值，其中對(duì)象的速度由起始時(shí)間，結(jié)束時(shí)間，和消逝的時(shí)間值確定。
5．權(quán)利要求1中的視頻處理裝置(110)，其中由第二軌跡數(shù)據(jù)(313)確定的速度是與所述可視動(dòng)畫(huà)數(shù)據(jù)幀的邊界有關(guān)的絕對(duì)速度。
6．權(quán)利要求1中的視頻處理裝置(110)，其中由第二軌跡數(shù)據(jù)確定的速度是與可視動(dòng)畫(huà)數(shù)據(jù)幀的背景場(chǎng)景有關(guān)的相對(duì)速度。
7．權(quán)利要求1中的視頻處理裝置(110)，其中視頻處理裝置(110)通過(guò)聯(lián)系描述符數(shù)據(jù)結(jié)構(gòu)(220,230)和可視動(dòng)畫(huà)數(shù)據(jù)幀序列來(lái)修改可視動(dòng)畫(huà)數(shù)據(jù)幀序列。
8．一種信號(hào)包括一個(gè)包含描述被選對(duì)象可視動(dòng)畫(huà)數(shù)據(jù)幀序列的可視動(dòng)畫(huà)數(shù)據(jù)信號(hào)；一個(gè)代表被選對(duì)象運(yùn)動(dòng)的對(duì)象運(yùn)動(dòng)描述符信號(hào)，所述對(duì)象運(yùn)動(dòng)描述符信號(hào)包括指示在有至少第一或第二維的坐標(biāo)空間內(nèi)被選對(duì)象的軌跡的描述符數(shù)據(jù)結(jié)構(gòu)(220,230)，其中描述符數(shù)據(jù)結(jié)構(gòu)(220,230)包括至少以下兩個(gè)第一軌跡數(shù)據(jù)(312)，代表坐標(biāo)空間內(nèi)被選對(duì)象位置；第二軌跡數(shù)據(jù)(313)，由此確定所述坐標(biāo)空間內(nèi)被選對(duì)象的速度；第三軌跡數(shù)據(jù)(314)，由此確定所述坐標(biāo)空間內(nèi)被選對(duì)象的加速度。
9．權(quán)利要求8中的信號(hào)，其中所述坐標(biāo)空間包括第一維，與所述第一維垂直的第二維，和與所述第一維和所述第二維垂直的第三維。
10．權(quán)利要求8中的信號(hào)，其中第二軌跡數(shù)據(jù)(313)包括指示被選對(duì)象速度的速率值。
11．權(quán)利要求8中的信號(hào)，其中所述第二軌跡數(shù)據(jù)(313)包括指示在第一可視動(dòng)畫(huà)數(shù)據(jù)幀中被選對(duì)象位置的開(kāi)始位置，指示在至少一個(gè)第二可視動(dòng)畫(huà)數(shù)據(jù)幀中被選對(duì)象位置的結(jié)束位置，和用于第一可視動(dòng)畫(huà)數(shù)據(jù)幀和至少是第二可視動(dòng)畫(huà)數(shù)據(jù)幀之間的消逝的時(shí)間值，其中對(duì)象的速度由起始時(shí)間，結(jié)束時(shí)間，和消耗時(shí)間值確定。
12．權(quán)利要求8中的信號(hào)，其中由第二軌跡數(shù)據(jù)(313)確定的速度是一個(gè)與可視動(dòng)畫(huà)數(shù)據(jù)幀的邊界有關(guān)的絕對(duì)速度。
13．權(quán)利要求8中的信號(hào)，其中由第二軌跡數(shù)據(jù)確定的速度是一個(gè)與可視動(dòng)畫(huà)數(shù)據(jù)幀的背景場(chǎng)景有關(guān)的相對(duì)速度。
14．一種儲(chǔ)存在計(jì)算機(jī)可讀存儲(chǔ)媒介(140)的計(jì)算機(jī)可處理的可視動(dòng)畫(huà)數(shù)據(jù)文件，包括描述被選對(duì)象的可視動(dòng)畫(huà)數(shù)據(jù)幀序列；和指示被選對(duì)象在有至少第一和第二維的坐標(biāo)空間內(nèi)的軌跡的描述符數(shù)據(jù)結(jié)構(gòu)(220,230)，其中描述符數(shù)據(jù)結(jié)構(gòu)(220,230)包括至少以下兩個(gè)第一軌跡數(shù)據(jù)(312)，代表坐標(biāo)空間內(nèi)被選對(duì)象位置的；第二軌跡數(shù)據(jù)(313)，由此確定在所述坐標(biāo)空間內(nèi)被選對(duì)象的速度；第三軌跡數(shù)據(jù)(314)，由此確定在所述坐標(biāo)空間內(nèi)被選對(duì)象的加速度。
15．如權(quán)利要求14的儲(chǔ)存在計(jì)算機(jī)可讀存儲(chǔ)媒介(140)中的計(jì)算機(jī)可處理的可視動(dòng)畫(huà)數(shù)據(jù)文件，其中由第二軌跡數(shù)據(jù)確定的速度是一個(gè)與可視動(dòng)畫(huà)數(shù)據(jù)幀的背景場(chǎng)景有關(guān)的相對(duì)速度。
16．在一個(gè)能夠檢測(cè)被選對(duì)象在可視動(dòng)畫(huà)數(shù)據(jù)幀序列中的運(yùn)動(dòng)的系統(tǒng)中，一種產(chǎn)生代表被選對(duì)象運(yùn)動(dòng)的描述符數(shù)據(jù)結(jié)構(gòu)(220,230)的方法，包括步驟在第一可視動(dòng)畫(huà)數(shù)據(jù)幀和至少第二可視動(dòng)畫(huà)數(shù)據(jù)幀中識(shí)別被選對(duì)象；確定被選對(duì)象在有至少第一維和第二維的坐標(biāo)空間內(nèi)的軌跡；從軌跡中產(chǎn)生描述符數(shù)據(jù)結(jié)構(gòu)(220,230)，通過(guò)以下至少兩個(gè)第一軌跡數(shù)據(jù)(312)，代表坐標(biāo)空間內(nèi)被選對(duì)象位置；第二軌跡數(shù)據(jù)(313)，由此確定在所述坐標(biāo)空間內(nèi)被選對(duì)象的速度；第三數(shù)據(jù)(314)，由此確定在所述坐標(biāo)空間內(nèi)被選對(duì)象的加速度。
17．權(quán)利要求16中的方法，其中從第二軌跡數(shù)據(jù)(313)中確定的速度是一個(gè)與可視動(dòng)畫(huà)數(shù)據(jù)幀的背景場(chǎng)景有關(guān)的相對(duì)速度。
全文摘要
公開(kāi)了用于能夠探測(cè)被選對(duì)象在可視動(dòng)畫(huà)數(shù)據(jù)幀序列中的運(yùn)動(dòng)的系統(tǒng),視頻處理裝置能夠產(chǎn)生代表被選對(duì)象運(yùn)動(dòng)的描述符數(shù)據(jù)結(jié)構(gòu)。視頻處理裝置包括一個(gè)在可視動(dòng)畫(huà)數(shù)據(jù)幀中識(shí)別被選對(duì)象的圖象處理器并確定被選對(duì)象在二維(2D)或三維(3D)坐標(biāo)空間內(nèi)的軌跡。圖象處理器產(chǎn)生含有坐標(biāo)空間內(nèi)對(duì)象位置(通常是開(kāi)始位置)的描述符數(shù)據(jù)結(jié)構(gòu);坐標(biāo)空間內(nèi)對(duì)象的速度;和坐標(biāo)空間內(nèi)對(duì)象的加速度。
文檔編號(hào)G06T7/20GK1297552SQ00800429
公開(kāi)日2001年5月30日 申請(qǐng)日期2000年1月10日 優(yōu)先權(quán)日1999年1月28日
發(fā)明者S·簡(jiǎn)寧 申請(qǐng)人:皇家菲利浦電子有限公司