專利名稱：基于多幀的數(shù)據(jù)流分割的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過參數(shù)系或參數(shù)的子空間的推導(dǎo)和分析在大信號(hào)流中實(shí)現(xiàn)分組或分割的方法。尤其涉及視頻信號(hào)的時(shí)空分割的方法。
背景大信號(hào)流(如視頻信號(hào)或聲音信號(hào))的數(shù)學(xué)參數(shù)化法存在統(tǒng)計(jì)估計(jì)問題和計(jì)算容量問題。信號(hào)流的分割可以減少這兩個(gè)問題。
首先，通過將信號(hào)流分成兩個(gè)或更多個(gè)特殊相互關(guān)聯(lián)的子組信號(hào)或分割信號(hào)，可以使產(chǎn)生的數(shù)據(jù)的數(shù)學(xué)表述需要更少的獨(dú)立參數(shù)。這就簡(jiǎn)化了統(tǒng)計(jì)模型。
其次，因?yàn)楦o湊，每一分割模型還可以更易于控制和解釋，例如用于編輯時(shí)。
第三，在對(duì)信號(hào)流進(jìn)行分割以后，各分割的計(jì)算處理可以比對(duì)整個(gè)數(shù)據(jù)流的處理在計(jì)算上更簡(jiǎn)單，例如，減少了有效計(jì)算所需的高速存儲(chǔ)器。
為了從對(duì)數(shù)據(jù)流的分割獲得統(tǒng)計(jì)、計(jì)算上的這些優(yōu)點(diǎn)，分割過程本身必須是在統(tǒng)計(jì)和計(jì)算上是有效的。本發(fā)明涉及如何獲取有關(guān)的可靠分割。
然而，本發(fā)明還可以應(yīng)用于其他類型的信號(hào)如聲音信號(hào)，多幀數(shù)字視頻信號(hào)是一種主要的應(yīng)用，因而將作為例子來描述。
視頻編碼中分割的使用在基于模型的視頻編碼中，圖象分割很重要應(yīng)當(dāng)將顯示隨各組幀而變化的一致相關(guān)空間圖形的象素組一起建模(model)，因?yàn)檫@樣提供了最好的壓縮、可編輯性和可解釋性。
一個(gè)分割可以對(duì)應(yīng)于一個(gè)物理對(duì)象，但也可以僅對(duì)應(yīng)于一部分物理對(duì)象，或?qū)?yīng)于一組幾個(gè)這樣的物理對(duì)象。也可以對(duì)應(yīng)于非有形對(duì)象或現(xiàn)象，如陰影。
在基于面向統(tǒng)計(jì)模型的視頻編碼中，分割(‘holon’)的最佳定義不同于編碼的目的對(duì)于純粹的壓縮目的，分割理想地對(duì)應(yīng)于經(jīng)最有效壓縮的象素組，但如果目的是為了對(duì)以后的視頻操作進(jìn)行編碼，如編輯或視頻游戲，那么分割就理想地更加與物理對(duì)象有關(guān)。
分割過程必須是很穩(wěn)健(robust)的，即，必須明顯地提供可接受的、統(tǒng)計(jì)有用的分割，可應(yīng)用于許多相關(guān)的圖象幀。并且，它在計(jì)算上必須適合于cpu時(shí)間和存儲(chǔ)器要求。
某些現(xiàn)有的分割方法可參見Boyer，K.L.，Mirza，M.J.和Ganguly，G.(1994)，The Robust Sequential EstimatorA General Approach and its Application to Surface Organization in Range Data.IEEETransactions on Pattern Analysis and Machine Intelligence 16，1994年10月10日，第987-1001頁；Guensel，B.和Panayirci，E.(1994)，Segmentation of Range and Intensity ImageUsing Multiscale Markov Random Field Representation.Proceedings，IEEE Intl.Conf.on Image Proc.，Austin Texas，1994年11月13-16日，第II卷，第187-191頁，IEEEComputer Soc.Press Los Alamitos，CA，USA；Dellepiane，S.，F(xiàn)ontanta，F(xiàn).和Vernazza，G.(1994)，A Robust Non-IterativeMethod for Image Labelling Using Context.Proceedings，IEEE Intl.Conf.on ImageProc.，Austin Texas，1994年11月13-16日，第II卷，IEEE第207-211頁，ComputerSoc.Press Los Alamitos，CA，USA；以及Russ，J.C.(1995)The Image Processing Handbook，第2版，IEEEPress/CRCRPress，倫敦，第347-401頁，上述論文在此引述供參考。
視頻編碼的分割方法主要有兩種主要的類型靜態(tài)圖象分割和基于運(yùn)動(dòng)的分割。
靜態(tài)圖象分割是基于在單獨(dú)的圖象中限定空間強(qiáng)度模式。這種類型的分割的缺點(diǎn)是較難區(qū)分物體邊緣的內(nèi)部和沿物體邊緣的空間的輪廓。
基于運(yùn)動(dòng)的分割涉及圖象強(qiáng)度是如何在圖象之間變化的。在自動(dòng)視頻編碼中，分割通常是基于后者，并且是通過運(yùn)動(dòng)場(chǎng)的估計(jì)分析而獲得的。一種已建立的分割方法是估計(jì)兩個(gè)幀之間的運(yùn)動(dòng)場(chǎng)(比方說從參考幀R和另一幀n(這里稱為‘地址差別’DARn))，并且搜尋具有相似運(yùn)動(dòng)的DARn中的象素組。另外，重要的是象素在物理上是至少在其中一個(gè)圖象內(nèi)相互靠近。DARn可以有一個(gè)、兩個(gè)或更多個(gè)運(yùn)動(dòng)維度。
可以使基于運(yùn)動(dòng)的分割一般化成基于變化的分割，這里，變化還可以包括‘強(qiáng)度差別’，即，各對(duì)幀對(duì)之間的強(qiáng)度變化D1Rn，例如，經(jīng)運(yùn)動(dòng)補(bǔ)償和在不同的色彩信道上。
在將分割用于許多幀的情況下，由于統(tǒng)計(jì)過擬合(overfitting)的現(xiàn)象，并且因?yàn)檫x擇的幀可以是沒有充分代表了問題中其余幀時(shí)，將分割基于僅僅一個(gè)幀或一對(duì)幀是不能令人滿意的。然而對(duì)分割中實(shí)際使用的幀或幀對(duì)會(huì)是很好的分割時(shí)，所獲得的分割對(duì)其他幀可以表示為很壞的分組。
為了在統(tǒng)計(jì)上找到對(duì)許多幀均有效的分割，必須搜尋許許多多這樣的幀，比方說，5-50個(gè)，找到在統(tǒng)計(jì)上相關(guān)的象素聚類。這樣是有缺點(diǎn)的。為了對(duì)這些幀單獨(dú)地進(jìn)行分割，需要隨后協(xié)調(diào)不同的幀分割結(jié)果。每一幀分割對(duì)該幀輸入數(shù)據(jù)中的噪聲是敏感的。同時(shí)，為了存儲(chǔ)用于許多獨(dú)立幀的運(yùn)動(dòng)場(chǎng)，可以需要許多存儲(chǔ)器，并且為了同時(shí)執(zhí)行對(duì)所有這些運(yùn)動(dòng)場(chǎng)的分割分析，在計(jì)算上是昂貴的。
發(fā)明目的本發(fā)明的目的是便于找到信號(hào)流中信號(hào)的分組，從而分組或分割對(duì)數(shù)個(gè)信號(hào)幀具有高統(tǒng)計(jì)穩(wěn)健性和高有效性。
本發(fā)明的進(jìn)一步目的是在使分割中所需數(shù)據(jù)量下降的有效計(jì)算方式下執(zhí)行多幀分割。
本發(fā)明的進(jìn)一步目的是確保分割可以按照前向或后向更新遞歸進(jìn)行。
本發(fā)明的再一個(gè)目的是能夠在分割中采用不同類型的現(xiàn)象-時(shí)間運(yùn)動(dòng)和強(qiáng)度變化信息以及空間的連續(xù)性和間斷信息。
本發(fā)明的進(jìn)一步的目的是估計(jì)分割信息，以便對(duì)后續(xù)運(yùn)動(dòng)信息和強(qiáng)度變化進(jìn)行估計(jì)以及對(duì)這些信息進(jìn)行雙線性(bilinear)建模(modelling)。
本發(fā)明的又一個(gè)目的是使分割能夠部分重疊。
本發(fā)明的再一個(gè)目的是使分割能夠部分透明(transparent)。
本發(fā)明的又一個(gè)目的是定義分割，從而一方面(對(duì)于統(tǒng)計(jì)穩(wěn)定性)在內(nèi)部系統(tǒng)相似性和嚴(yán)格性而另一方面(對(duì)于輸入數(shù)據(jù)的理想描述)在內(nèi)部不均勻性和靈活性之間具有恰當(dāng)?shù)钠胶狻?br> 發(fā)明概述本發(fā)明中，分割是根據(jù)數(shù)個(gè)相關(guān)幀的變化信息進(jìn)行的，變化不僅僅在兩個(gè)幀之間。因而獲得的分割在統(tǒng)計(jì)上更可靠并具有更高的有效性。
在分割計(jì)算中表示許多變化的方式最好是通過公共的參數(shù)系或子空間模型，主要是采用根據(jù)公共參考位置的雙線性模型(modelling)。由于可以忽略某些基于噪聲的和其他的不重要的變化類型，這進(jìn)一步提高了分割的統(tǒng)計(jì)準(zhǔn)確性和有效性。通過減少分割中需要分析的變化數(shù)據(jù)的維度，這還減少了分割工作的計(jì)算復(fù)雜性。
在子空間表述本身是遞歸更新的情況下，子空間分割可以遞歸更新，這提供了計(jì)算上的優(yōu)點(diǎn)。
分割中使用的變化信息可以多種多樣，可以是運(yùn)動(dòng)信息，也可以是密度變化信息。
本發(fā)明一般可以應(yīng)用于信號(hào)流。尤其可以應(yīng)用于數(shù)字信號(hào)的時(shí)空分割和數(shù)字聲音數(shù)據(jù)的時(shí)間分割。
附圖簡(jiǎn)述

圖1描述的是如何沿運(yùn)動(dòng)方向(這里，DVRn是將每一象素沿縱向移動(dòng))從圖象R移動(dòng)(卷繞)到接近的圖象n使一幀大小(具有nv×nh個(gè)象素)的運(yùn)動(dòng)場(chǎng)排列起來作為一維矢量(具有nv*nh個(gè)元素)。
圖2描述的是在同時(shí)形成兩個(gè)運(yùn)動(dòng)方向的情況下，縱向和橫向的兩個(gè)幀大小(每一幀有nv×nh個(gè)象素)的運(yùn)動(dòng)場(chǎng)DARn＝[DVRn和DHRn]是如何排列起來的。更多維(例如深度變化)可以類似地包括在DARn中。
圖3描述的是如何通過兩個(gè)低階秩矩陣T*PT的雙線性積加上一個(gè)剩余矩陣來構(gòu)成一矩陣D(例如用于許多幀n＝1，2，…的運(yùn)動(dòng)場(chǎng)DARn)的模型。
圖4描述的是從圖3得到的有關(guān)一個(gè)幀的參數(shù)。
圖5描述的是第三個(gè)較佳實(shí)施例，其中的運(yùn)動(dòng)估計(jì)和分割是分開執(zhí)行的。
圖6描述的是第四個(gè)較佳實(shí)施例，其中的運(yùn)動(dòng)估計(jì)和分割是同時(shí)進(jìn)行的。
描述標(biāo)記和定義下文中，符號(hào)‘*’需要時(shí)用作乘。符號(hào)‘x’用來表示矩陣的維數(shù)(例如大?。絥行×n列)。黑體字上標(biāo)字母用來表示數(shù)據(jù)矩陣，黑體字下標(biāo)字母用來表示數(shù)據(jù)矢量。
提取許多運(yùn)動(dòng)場(chǎng)的雙線性累計(jì)本發(fā)明的某些背景在專利申請(qǐng)WO 95/08240和WO 95/34172中給出。有關(guān)多幀分割、運(yùn)動(dòng)估計(jì)和雙線性模型之間協(xié)調(diào)的附加信息在上述專利申請(qǐng)“Methodand Apparatus for Coordination of Motion Determination over Multiple Frames”中給出。對(duì)數(shù)個(gè)幀分割阻塞之間有關(guān)深度估計(jì)的信息在上述專利申請(qǐng)“Method andApparatus for Depth Modelling and Providing Depth Information of Moving Objects”中給出。
運(yùn)動(dòng)場(chǎng)描述了一個(gè)圖象(比方說是參考幀R)中的象素是如何運(yùn)動(dòng)以便逼近另一圖象(比方說是n)的。這樣一個(gè)運(yùn)動(dòng)場(chǎng)其自身可以被看成是‘圖象’，對(duì)每一運(yùn)動(dòng)維度具有一定值，例如，對(duì)于水平移動(dòng)的一個(gè)圖象DHRn(零值＝無水平移動(dòng)，負(fù)值＝左移，正值＝右移)，對(duì)于垂直移動(dòng)的一個(gè)圖象DVRn(零值＝無縱向移動(dòng)，負(fù)值＝上移，正值＝下移)。
如圖1所示，每一運(yùn)動(dòng)場(chǎng)圖象(例如DVRn)可以排列起來，作為具有n個(gè)象素元素的一維矢量dn，每一個(gè)元素用于已給出移動(dòng)信息的參照?qǐng)D象中的每一象素。
如圖2所示，不同的運(yùn)動(dòng)維度可以在一個(gè)相同的矢量中一個(gè)個(gè)地排列起來，并且該矢量具有多重n個(gè)象素的元素。
當(dāng)已經(jīng)估計(jì)了一組這樣的運(yùn)動(dòng)場(chǎng)矢量時(shí)，對(duì)于幾個(gè)幀dn，n＝1，2，...，n幀，它們可以作為矩陣D一起分析。
良好地建立起的雙線性模型(BLM)，可作為逼近相關(guān)矢量組的方法(圖3)。雙線性因子模型(bilinear factor model)可以寫成一雙線性矩陣乘積加上一剩余矩陣(參見H.Martens & Naes，T.(1989)Multivariate Calibration.J.Wiley & Sons LtdChichester UK，在此引述供參考)D＝T*PT+E (1)這里，D是要模擬的數(shù)據(jù)，-它的每一行用于要模擬的每一幀，并且每一列用于要同時(shí)模擬的每一象素變量(例如每一象素的一個(gè)水平運(yùn)動(dòng)元素和一個(gè)垂直運(yùn)動(dòng)元素。)T是所謂雙線性因子的時(shí)間標(biāo)記，-它對(duì)每一已模擬的幀就有一行，而對(duì)每一已模擬的雙線性因子，(f，＝1，2，…nf)則有一列。
PT是所謂的雙線性因子的空間標(biāo)記(score)，-它的每一列用于要同時(shí)模擬的每一象素變量，以及每一行用于每一雙線性因子模型f＝1，2，...，nf。上角標(biāo)T表示‘轉(zhuǎn)置’。
E表示誤差或未模擬的剩余-具有相同矩陣維度D。
對(duì)于幀R和給定幀n之間的運(yùn)動(dòng)場(chǎng)，雙線性模型(圖4)寫成dn＝tn*PT+en(2)當(dāng)來自一組幀或子幀的運(yùn)動(dòng)場(chǎng)DARn，n＝1，2，...，或這些運(yùn)動(dòng)場(chǎng)的修改形式被定義為數(shù)據(jù)D時(shí)，跨越最大有效行空間D的載荷子空間PT多少代表了對(duì)序列中的幾個(gè)幀公共的移動(dòng)信息。單獨(dú)用每一幀估計(jì)或用許多幀聯(lián)合估計(jì)(見下述)的幀的標(biāo)記矢量(score vector)tn，n＝1，2，...，用來將這一公共運(yùn)動(dòng)信息PT傳送回每一單獨(dú)的幀對(duì)。
幾個(gè)不同的幀可以用來從多幀分割的當(dāng)前上下關(guān)系(context)中從D提取雙線性模型T*PT，例如，具有或沒有自適應(yīng)前向和后向更新的基于QR規(guī)則的加權(quán)奇異值分解。下文中，它們將被稱為雙線性模擬(BLM)或主分量分析(PCA)。
有關(guān)雙線性模型方法的細(xì)節(jié)可參見Martens，H.and Naes，T.(1989)Multivariate Calibration.J.Wiley & Sons Ltd，Chichester UK，by Martens，M.and Martens，H.1986Partial Least Squaresregression.InStatistical procedures in Food Research(J.R.piggott，ed.)ElsevierApplied Sciences London p.293-360，by Jackson，J.E.(1991)A User’s guide toprincipal components.J.Wiley & Sons，Inc.New York，by Jolliffe，I.T.(1986)Principal Component Analysis.Springer Series in Statistics，Springer-Verlag NewYork，by Mardia，K.V.，Kent，J.T.and Bibby，J.M.(1979)Multivariate Analysis.Academic Press，Inc.，New York，by Sharat M.A.，IIIman，D.L.，and Kowalski，B.R.Chemometrics，J.Wiley & Sons，New Youk 1986 and by Kung，S.Y.，Diamantaras，K.I.and Tauer，J.S.(1991)Neural Networks for extracting pure/constrainted/orientedprincipal components.InR.Vaccaro(ed)SVD and signal processing II.ElsevierScience Publishers 1991，pp57-81.這些文獻(xiàn)在此引述供參考。
重要的是要注意，對(duì)于本目的，雙線性模型不會(huì)是完全收斂的或相對(duì)于正交性、本征值的分離等來說不會(huì)是最佳的；重要的事情是要找到用于逼近數(shù)據(jù)D的適當(dāng)?shù)淖涌臻g基。
正如上文中標(biāo)題為“Method and Apparatus for Coordination of MotionDetermination”中所述及的那樣，雙線性模型可以遞增更新。
雙線性模型可以在由減去每一列的平均值構(gòu)成的預(yù)處理以后執(zhí)行。也可以取每一行的中間數(shù)據(jù)作為平均值。在根據(jù)雙線性模型進(jìn)行重構(gòu)時(shí)，必須將這些平均數(shù)據(jù)加回去。也可以采用更先進(jìn)的預(yù)處理方法，比如，由J.Wiley & Sons Ltd(英國(guó)Chichester)的Martens，H和Naes，T(1989)在Multivariate Calibration中描述的乘性散射校正(MSC)及其推廣(multiplicative scatter correction and its extensions)，在此引述供參考。也可以采用包含平滑標(biāo)記和載荷(smoothing of score and loadings)或?qū)?shù)據(jù)矩陣D中各個(gè)數(shù)據(jù)元素修改的雙線性模型參數(shù)估計(jì)方法。
如果信息對(duì)各個(gè)幀中的各個(gè)象素具有相當(dāng)?shù)目煽啃曰蛴行?，那么該信息可以被用來?quán)衡不同輸入數(shù)據(jù)的相對(duì)重要性可以接著對(duì)加權(quán)數(shù)據(jù)(weighted data)執(zhí)行因子的雙線性性提取(bilinear extraction of factors)假設(shè)G＝運(yùn)動(dòng)場(chǎng)DARn，n＝1，2，...，(可能在確定列中心(column centering)以后)或?qū)@些運(yùn)動(dòng)場(chǎng)修改，從一組幀對(duì)或分組幀對(duì)，并且假設(shè)D＝V幀*G*V象素(3)這里，V幀＝幀的加權(quán)矩陣，例如，diag(1/sn，n＝1，2，...)，并且sn＝幀n的不確定性標(biāo)準(zhǔn)偏差的估計(jì)量V象素＝象素的加權(quán)矩陣，例如，diag(1/s象素，象素＝1，2，...)，并且s象素＝象素pel的不確定性標(biāo)準(zhǔn)偏差的估計(jì)量。
這樣，具有高不確定性的象素(G中的列)降低加權(quán)(weighted down)，但仍與其他比較確定的象素一起模擬。另外，確定象素和不確定象素的這種分開可以通過兩塊而不是一塊BLM來實(shí)現(xiàn)?？梢詫⒉淮_定的象素從較確定的象素的雙線性性模型中除去。可以通過如前述Martens & Naes 1989的主分量回歸(principalcomponent regression，PCR)和部分最小平方回歸(partial least squares regression，PLSR)所描述的對(duì)不確定象素的載荷可用確定象素表的標(biāo)記(score)的回歸來估計(jì)。這也適用于將象素從一個(gè)分割重新分配到另一分割，這里，重新分配的象素的載荷必須相對(duì)于它們的新分割分配來估計(jì)。
雙線性模型的一個(gè)主要目的是實(shí)現(xiàn)大量輸入數(shù)據(jù)的緊縮表示。為了實(shí)現(xiàn)該目的，模型T*PT中所使用的‘有效’因子數(shù)必須少，即，模型必須具有行秩(row rank)。該有效因子數(shù)可以用各種方式來估計(jì)，例如，如上述Marten & Naes 1989所描述的在改變因子數(shù)以后通過交叉有效(cross validation)或從剩余(residual)及杠桿作用(leverage)來估計(jì)。
前面定義或估計(jì)的載荷(‘偽載荷’)可以用作數(shù)據(jù)矩陣D的模型的一部分。在這種情況下，通過將D投影到這些偽載荷來估計(jì)這些先驗(yàn)因子(a priori factor)的標(biāo)記(score)，并且在該投影(加權(quán)回歸)以后對(duì)剩余數(shù)據(jù)(residuals)進(jìn)行雙線性模擬。
采用某種加權(quán)的或穩(wěn)健再加權(quán)(robustly reweighted)的最小平方最小化，根據(jù)線性回歸、將dRn投影到PT上，來估計(jì)一個(gè)個(gè)別幀的標(biāo)記。另外，也可以由如SIMPLEX最佳化(J.A.Nelder和R.Mead，’A simplex method for functionminimization’，Computer Journal，第7卷，第308-313頁)根據(jù)非線性迭代曲線擬合來進(jìn)行。在該情況下，準(zhǔn)則也可以是基于采用這些標(biāo)記時(shí)所產(chǎn)生的譯碼強(qiáng)度差錯(cuò)(decoding intensity error)。
正如這里所描述的那樣，變化信息dRn表示為參考位置中的運(yùn)動(dòng)場(chǎng)DARn，從而它與也在參考位置中表示的雙線性載荷P兼容。另外，變化信息可以表示在幀n中象素的位置上，例如，逆向運(yùn)動(dòng)場(chǎng)DAnR，并投影到載荷P的兼容形式上，即，用運(yùn)動(dòng)場(chǎng)DA將P暫時(shí)移動(dòng)到同一位置上。
在一個(gè)公共圖象位置上表示來自許多幀的空間信息。
運(yùn)動(dòng)的雙線性模型的有效性取決于運(yùn)動(dòng)場(chǎng)是如何表示的。當(dāng)某一剛體在一攝像機(jī)前的3維空間中移動(dòng)(平移、旋轉(zhuǎn)，尺度改變(scaling))時(shí)，相應(yīng)的運(yùn)動(dòng)場(chǎng)可以用低維度的雙線性模型來描述。非剛體的系統(tǒng)運(yùn)動(dòng)(例如，開始微笑的臉0也可以近似地用雙線性模型來逼近。
然而，當(dāng)運(yùn)動(dòng)場(chǎng)(或其他的變化場(chǎng))存儲(chǔ)在一個(gè)給定的代表系統(tǒng)中的D中時(shí)，低維度的雙線性模型基本上是有效的，從而有關(guān)某一對(duì)象的所有信息對(duì)所有幀來說均被存儲(chǔ)在同一象素位置上。這可以通過讓一組相關(guān)幀中的每一個(gè)幀的運(yùn)動(dòng)與一個(gè)給定的‘參考圖象’R相關(guān)、并且存儲(chǔ)在該參考圖象的坐標(biāo)系統(tǒng)中來實(shí)現(xiàn)。該參考圖象可以是如序列n＝1，2，...，N中第一個(gè)、中間或最后的圖象或具有來自幾個(gè)幀的部分的某些合成圖象模型。
一個(gè)例子是IDLE編譯碼型(按照WO 95/08240和WO95/34172)，這里，幾個(gè)(連續(xù))幀的運(yùn)動(dòng)、強(qiáng)度變化和其他模型變化信息是直接或間接地相對(duì)于給定的相關(guān)幀組中給定的一類象素(空間‘holon’)的公共的‘?dāng)U展參考圖象模型’(‘extended reference image model’)來表示的。在已經(jīng)開始分割以前，整個(gè)起始參考圖象(例如序列中的第一個(gè)幀)被視為一個(gè)holon?？臻g分割的主要目的是接著將該起始空間holon分成各種數(shù)據(jù)結(jié)構(gòu)，它們每一個(gè)自身都是簡(jiǎn)單的、低維度的數(shù)學(xué)模型。
運(yùn)動(dòng)場(chǎng)估計(jì)可以直接從參考圖象IR到幀In執(zhí)行，并且直接在D中分析。另外，運(yùn)動(dòng)場(chǎng)可以根據(jù)該參考圖象的運(yùn)動(dòng)(卷繞)形式來估計(jì)Im＝移動(dòng)(IR，由DARm)到In，-局部運(yùn)動(dòng)場(chǎng)DAmn被估計(jì)并且接著移動(dòng)回到參考位置，例如通過產(chǎn)生Im的運(yùn)動(dòng)場(chǎng)的逆，產(chǎn)生運(yùn)動(dòng)估計(jì)DARn＝DARm+移動(dòng)(DAmn乘(by)DAmR)。
因此，本發(fā)明的一個(gè)優(yōu)點(diǎn)是利用幾個(gè)幀的運(yùn)動(dòng)場(chǎng)的合成緊致的、低秩(low-rank)累計(jì)(summary)和其他的變化場(chǎng)來增強(qiáng)和穩(wěn)定視頻編碼中的分割。
類似地，分割可以在時(shí)間域中進(jìn)行，以求得找到的某種空間模式的幀的分組。時(shí)間分割接著采用從相關(guān)時(shí)間系列的時(shí)間平移形式(例如，通過等式(1)描述的變化場(chǎng)的雙線性模擬得到的靜態(tài)幀標(biāo)記的時(shí)間平移形式)的雙線性模擬得到的子空間信息(H.Martens & M.Martens(1992)NIR Spectroscopy-appliedphilosophy.Proceedings，5th Internatl Conf.NIR Spectroscopy(K.I.Hildrum.ed)NorthHolland；pp1-10)。
基于多幀運(yùn)動(dòng)的分割的應(yīng)用多幀運(yùn)動(dòng)場(chǎng)的雙線性累計(jì)(bilinear summary)可以以幾種方式應(yīng)用在分割中。
在最佳實(shí)施例中模擬幀的次序是前向(forward)和順序(sequential)的。然而，次序也可以按照其他的準(zhǔn)則來選擇，例如，按照在給定時(shí)刻是哪一個(gè)幀顯示出對(duì)模型改進(jìn)是最需要的和最有潛力的(potential)。
基于雙線性模型的分割可以按金字塔方式(pyramidally)使用。一個(gè)這樣的例子是以減小的分辨率(resolution)的方式對(duì)幀進(jìn)行分割，以便識(shí)別序列中的主要的holons，并且接著用這些結(jié)果，作為在更高的幀分辨率下同一過程的初步的臨時(shí)(tentative)輸入。
在較佳實(shí)施例中，運(yùn)動(dòng)估計(jì)、雙線性模擬和分割可以針對(duì)各個(gè)已經(jīng)識(shí)別的holon(‘輸入holons’)或針對(duì)完整的未分割的圖象In來進(jìn)行。在任一種情況下，需要對(duì)所獲得的運(yùn)動(dòng)場(chǎng)作多個(gè)holon預(yù)處理或后處理、雙線建模和分割，以便解決輸入的holon之間的重疊。
一個(gè)這樣的預(yù)處理或后處理是基于存儲(chǔ)具有不確定holon資格(membership)的相鄰象素‘暈圈(halo)’的每一holon的，即，僅可以暫時(shí)賦予某一holon的那一個(gè)(并且因此也暫時(shí)存儲(chǔ)在其他的holon中或作為獨(dú)立的不清楚象素表存儲(chǔ))。在運(yùn)動(dòng)估計(jì)中，這種臨時(shí)的暈圈象素是特別處理的，例如，要被所有相關(guān)的holon所擬合，并且它們對(duì)不同holon的資格是按照運(yùn)動(dòng)估計(jì)的成功來更新的。這樣的暈圈象素具有低權(quán)(weight)或在雙線性模擬中是被動(dòng)擬合的(fitted passively)(參見Principal Component Regression，Martens，H.和Naes，T.(1989)，MultivariateCalibration.J.Wiley & Sons Ltd，Chichester UK，在此引述供參考)。
附加變量原始數(shù)據(jù)矩陣G(等式(3))中的附加列可以從其他的數(shù)據(jù)塊的‘外標(biāo)記(externalscores’形成。這種‘外標(biāo)記’來源是來自某些其他數(shù)據(jù)域的雙線性模擬的標(biāo)記，(例如，相同holon的運(yùn)動(dòng)補(bǔ)償?shù)膹?qiáng)度剩余)，來自其他holon的標(biāo)記，最好呈非線性表示(見A.GifiNonlinear Multi-variateAnalysis.J.Wiley & Sons Ltd Chichester 1990)，使每一量化標(biāo)記矢量量化并分析，作為指示矩陣(67頁)或在順序級(jí)(187頁)，在此引述供參考，或來自不同空間分辨率的相同holon的標(biāo)記，來自外部數(shù)據(jù)如聲音的標(biāo)記(例如這些相同幀的聲音振動(dòng)能量譜的雙線性模擬以后)必須修改這種附加變量的權(quán)，從而它們的不確定性變得與要模擬的最終數(shù)據(jù)矩陣D(等式(1)和(2))中的經(jīng)加權(quán)的象素的不確定性相似。
另一種柔和地組合不確定相似或外部標(biāo)記而不強(qiáng)迫將信息加入到雙線性模型中去的方式是用二次模擬(two-modelling)來替換一塊(one-block)雙線性模擬，例如PLS回歸(見Martens，H.和Naes，T.(1989)Multivariate Calibration.J.Wiley & SonsLtd，Chichester UK)，或采用多塊或N方式(N-way)模擬，如Parafac(Sharaf，M.A.，IIIman，D.L.和Kowalski，B.R。Chemometrics，J.Wiley & Sons，New York 1986)或Consensus PCA/PLS(參見Martens，M.和Martens，H.1986在Statistical Procedurein Food Research(J.R.Piggott出版)中的Partial Least Squares Regression，ElsevierApplied Sciences London第293-360頁，和Geladi，P.，Martens，H，Marten，M.，Kalvenes，S.和Esbensen，K.(1988)Multivariate Compearison of Laboratory ResultsProceding，Symp.Applied Statistics，Copenhagen，1988年1月25-27日(Per Thorboell出版)，Uni.C，Copenhagen第16-30頁。這些在此引述供參考)。
這樣，不確定象素和外標(biāo)記如果擬合良好則對(duì)模擬有正面貢獻(xiàn)，但如果不適合也不會(huì)對(duì)模擬有強(qiáng)的負(fù)面影響。不管怎樣，這些不確定的象素和外標(biāo)記就被加入到所獲得的雙線性模型中。
來自當(dāng)前分辨率中和當(dāng)前域的當(dāng)前holon模型的標(biāo)記可以接著用作其他holon或其他分辨率下或其他域中的‘外標(biāo)記’。
較佳實(shí)施例采用多幀累計(jì)(summary)的分割的穩(wěn)定性可以以不同的方式來實(shí)施。
在第一較佳實(shí)施例中，雙線性分割過程采用自頂向下的方法，除去來自輸入holon的分割不適合于一般holon模型的運(yùn)動(dòng)子空間中的象素區(qū)域被檢測(cè)作為局外者(outlier)，并從其余的輸入holon中分割出去。
在第二個(gè)較佳實(shí)施例中，分割采用自底向上的方法，試圖使穩(wěn)定的種子點(diǎn)在輸入holon中生長(zhǎng)成均勻、連貫的分割。
在第三個(gè)較佳實(shí)施例中，分割與運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償(圖5)分開，其間發(fā)生幀的運(yùn)動(dòng)場(chǎng)和其他被估計(jì)變化數(shù)據(jù)的雙線性模擬。
在第四個(gè)較佳實(shí)施例中，運(yùn)動(dòng)估計(jì)和實(shí)際分割組合(圖6)，隨后是雙線性模擬。
在第五個(gè)較佳實(shí)施例中，雙線性模擬和分割過程是對(duì)一整個(gè)序列(sequence)完成的。
在第六個(gè)較佳實(shí)施例中，運(yùn)動(dòng)估計(jì)、雙線性模擬和分割及模型是對(duì)各個(gè)幀逐漸更新的。
在第七個(gè)較佳實(shí)施例中，將用于分割的雙線性模擬方法擴(kuò)展成包括附加準(zhǔn)則，而不只是說明的協(xié)方差，-在這種情況下，空間和時(shí)間平滑用作附加準(zhǔn)則。還包括在雙線性模擬中加入輸入數(shù)據(jù)的行和列的再加權(quán)。
在第八個(gè)較佳實(shí)施例中，雙線性模擬與最佳標(biāo)度改變相組合。從而在模型估計(jì)過程中不僅是加權(quán)而且是輸入數(shù)據(jù)本身也變化只要從初始低秩(low-rank)雙線性模型的數(shù)據(jù)元素(element)的預(yù)測(cè)不給出比元素的輸入值有明顯更壞的譯碼結(jié)果，其輸入值就被其雙線性預(yù)測(cè)所取代。
較佳實(shí)施例第一個(gè)較佳實(shí)施例基于有關(guān)空間模型的局外(outlier)分析的分割圖5示出的是基于雙線性模型的分割的主要結(jié)構(gòu)塊一運(yùn)動(dòng)估計(jì)器單元EstMov 520，一雙線性模擬單元EstBLM 540和一分割單元EstSegm 560，以及在它們之間的數(shù)據(jù)流。數(shù)據(jù)流的更詳細(xì)細(xì)節(jié)將在第三個(gè)較佳實(shí)施例中給出。
兩個(gè)第一實(shí)施例代表了分割單元EstSeg 560-自頂向下或自底向上的兩種結(jié)構(gòu)。
在第一個(gè)較佳實(shí)施例中，盡可能原樣保留EstSeg單元560的holon輸入，但是如果該holon包含比其余holon具有更明顯且一致性(consistently)不同的特性的部分，那么，這些部分將被分裂(split)成分開的新的分割。另外，獨(dú)立的象素，例如沿holon的邊緣，其初步分類會(huì)有問題，那么這些獨(dú)立的象素將被去掉，或者被識(shí)別為不可靠的局外者。
在下面具有線路編號(hào)的偽碼中描述實(shí)現(xiàn)該自頂向下holon分割的方法
單個(gè)幀分割首先描述一個(gè)單個(gè)幀和用于剛性運(yùn)動(dòng)物體的檢測(cè)的方法。
采用再加權(quán)的線性最小平方(squares)空間模擬，制作每一個(gè)這樣的潛在(potential)分割的空間模型假設(shè)一個(gè)給定幀n相對(duì)于參考幀R的縱向和橫向運(yùn)動(dòng)估計(jì)量在空間模擬中被當(dāng)作被回歸量(regressand)Y處理Y＝[DVRnDHRn] (701)。
假設(shè)回歸量X＝[1vh](702)。
這里v是象素縱向地址的列，而h是它們的橫向地址。
那么由仿射變換的運(yùn)動(dòng)模型是Y＝XB+F， (703)通過再加權(quán)的最小平方回歸估計(jì)3×2回歸系數(shù)矩陣B估計(jì)每一象素(行)的不確定性標(biāo)準(zhǔn)偏差s＝[spel，pel＝1，2，...，n象素](704)定義初始象素加權(quán)的矩陣W，例如，對(duì)所有象素表示為W＝diag(1，1，1，1，......1npels)(705)當(dāng)再加權(quán)過程是不收斂時(shí) (706)B＝(XTWX)-1XTWY(回歸系數(shù)估計(jì))(710)F＝Y(jié)-XB(剩余)(720)R＝f(F，S)(相對(duì)于噪聲電平矩陣s的剩余)(730)這里，Y中每一列的每一象素的剩余f(pel，j)按象素的不定性標(biāo)準(zhǔn)偏差s(pel)劃分成r(pel，j)＝f(pel，j)/s(pel) (735)W＝f(R)(象素的更新加權(quán)) (740)例如，在所有Y變量j＝1，2，...上累計(jì)的相對(duì)剩余的函數(shù)w(pel，pel)＝c/(c+r(pel，1)2+r(pel，2)2+...) (745)這里，靈敏度系數(shù)c＝例如1.0。
檢查收斂性例如，B是否穩(wěn)定？(750)當(dāng)再加權(quán)過程收斂時(shí)結(jié)束 (750)也可以采用除相對(duì)剩余的和r(pel，1)2+r(pel，2)2+...以外的其他估計(jì)量，例如中值或某些其他的穩(wěn)健的(robust)距離測(cè)度(measure)。
在該過程中，與多數(shù)象素所支持的空間模型不能良好擬合的象素將有較顯著大的相對(duì)剩余R并因此被降低加權(quán)，以便減小它們?cè)谙乱坏袑?duì)系數(shù)B的估計(jì)量的影響，在下一迭代中它們的剩余將更大，從而它們對(duì)收斂時(shí)最終空間模型B的估計(jì)量影響很小。
具有低最終加權(quán)(例如，w(pel，pel)＜0.1)的象素被定義為不屬于輸入holon的局外者，并收集到一個(gè)新的分割內(nèi)。該新的局外分割可以被提供到同樣的再加權(quán)回歸模擬，以檢查是否應(yīng)當(dāng)進(jìn)一步分成更小的分割。所得的分割接著代表輸出結(jié)果565。
在重新定義(740)中象素的加權(quán)時(shí)，還可以引入相鄰的象素，以加強(qiáng)holon的空間連續(xù)性。也可以修改先驗(yàn)的加權(quán)(705)，例如，采用象素的更低的初始加權(quán)，而這些象素是由于閉塞而已知潛在無效或由于不滿意的雙線性模擬而尤其不確定的。
Y中每一元素(pel，j)的不確定性度量s(pel，j)可能已經(jīng)估計(jì)，并且可以用來取代(745)中每一象素的總不確定性。該單獨(dú)的不確定性度量可以是不對(duì)稱的，從而可以不同地評(píng)估正的和負(fù)的剩余。這相應(yīng)于靠近強(qiáng)度邊緣的平坦強(qiáng)度區(qū)域中的象素的運(yùn)動(dòng)估計(jì)量(不對(duì)稱松弛部分(assymmetric slack))。象素可以移動(dòng)遠(yuǎn)離該邊緣，而不影響缺乏適合的合成強(qiáng)度，但不能移動(dòng)到該邊緣以外的地方。
(710)中采用的全秩回歸(full-rank regression)可以用其他的估計(jì)器來取代，例如，如Martens，H.和Naes，T.(1989)在Multivariate Calibration(J.Wiley & Sons Ltd，Chichester UK)中描述的類似于PLS回歸或其某些推廣的降秩的回歸方法(reduced-rank regression method)。
多幀分割這一基本自頂向下的分割方法可以用作多幀分割而不是將分割僅基于一個(gè)單幀的holon的運(yùn)動(dòng)場(chǎng)，采用被回歸量(regressand)Y＝[DVRnDHRn]它可以基于幾個(gè)幀的運(yùn)動(dòng)場(chǎng)Y＝[DVR1DHR1，DVR2DHR2，...，DVRnDHRk，...] (760)在該第一個(gè)較佳實(shí)施例中，它是基于比例載荷空間的，該空間跨越幾個(gè)模擬幀中holon的這些運(yùn)動(dòng)模式Y(jié)＝[PVPH]＝[pVR1pVR2，...，pVRJ，pHR1pHR2，...，pHRK] (770)這里，選擇縱向和橫向移動(dòng)的雙線性因子數(shù)(這里是J和K)，從而只采用有效的和可靠的因子(例如由對(duì)幀的交叉有效確認(rèn)所判斷的)。例如，應(yīng)當(dāng)對(duì)因子載荷(PV和PH中的列)取比例，從而它們的不確定性方差是相同的。
回歸算子Y還可以被定義成包括強(qiáng)度信息，例如經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膹?qiáng)度差圖象。
Y＝[D1R1D1R2D1R3......D1Rn](775)這里，D1Rn＝為各個(gè)彩色度量(例如RGB)定義或定義為類似于亮度的某種累計(jì)的幀n與公共參考幀R之間經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膹?qiáng)度差。另外，可以根據(jù)經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膹?qiáng)度差用作來自雙線性性強(qiáng)度因子的載荷(loading)。
使這樣的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膹?qiáng)度差介于幀n和參考幀R之間的較佳方式是首先在運(yùn)動(dòng)估計(jì)器EstMov 520中建立幀的運(yùn)動(dòng)場(chǎng)，DA＝[DVRnDHRn]和相應(yīng)的深度估計(jì)量等，隨后用該DARn來移動(dòng)(卷繞(warp))參考圖象，以產(chǎn)生InHat(即基于IR的幀In的近似)，接著計(jì)算InHat和In之間的強(qiáng)度差，并最終用移動(dòng)算子的逆DAnR1D1Rn＝Move((InHat-In)乘DAnR)，將該差移動(dòng)回到參考位置。
這樣的強(qiáng)度信息可以與運(yùn)動(dòng)信息一起使用，或與運(yùn)動(dòng)信息分開使用。不管是在哪一種情況下，應(yīng)當(dāng)對(duì)列Y取比例，以反映它們對(duì)分割相對(duì)的所要求的影響，例如，與它們相對(duì)的平均估計(jì)不確定性方差成反比。
另一種空間結(jié)構(gòu)模型計(jì)算有關(guān)(703)中剩余F的空間結(jié)構(gòu)模型可以是除(702)中采用的那一個(gè)以外的另一種類型。例如，X還可以包含地址v和h的平方和叉積項(xiàng)(參見Lancaster，P.和Salkauskas，K.(1986)，Curve and Survace fitting，Academic Press，第133頁，在此引述供參考)。也可以采用樣條或分段多項(xiàng)式(Lancaster & Salkauskas 1986，第245頁，在此引述供參考)。這樣的更高級(jí)模型可以有助于區(qū)分局外象素和起主要作用的平滑構(gòu)成的不是仿射變換(affine transformation)的運(yùn)動(dòng)的象素。
X還可以包含一空間自回歸部分，該部分中具有包括在X中Y的空間平移形式，并且采用了秩減小回歸方法，如PLS回歸(參見H.Martens & M.Martens(1992)NIR Spectroscopy-Applied Philosophy，Proceedings，5th Internatl Conf.NIRSpectroscopy(K.I.Hildrum，ed)North Holland；pp1-10)。該空間自回歸模型部分使得一方面可以區(qū)分應(yīng)當(dāng)降低加權(quán)的局外象素(outlier pixel)，另一方面可以區(qū)分起主要作用的平滑運(yùn)動(dòng)的象素，它們既不是仿射變換結(jié)構(gòu)，也不是holon中的空間多項(xiàng)式結(jié)構(gòu)所良好描述的。
另一種分割邊界檢測(cè)機(jī)構(gòu)可以引入附加信息，以便使分割邊界的精確定位最佳。一種這樣的信息源是如用Sobel濾波器(filter)檢測(cè)的參考圖象IR中的強(qiáng)度邊緣(J.C.RussThe ImageProcessing Handbook，2nd ed.，IEEE Press 1995，在此引述供參考)。如果Y的空間模擬以后的相對(duì)加權(quán)W 740表示某一分割邊界接近于這樣一個(gè)強(qiáng)度邊緣，那么該分割邊界就移到該強(qiáng)度邊緣。
也可以采用更先進(jìn)的統(tǒng)計(jì)方法來判斷分割邊緣。這種方法的一個(gè)例子可參見(Kok，F(xiàn).Lai，’Deformable ContoursModelling，Extrction，Detection andClassification’，PhD Thesis，University of Wisconsin-Madison 1995，在此引述供參考)；對(duì)于本申請(qǐng)，輸入信息可以是強(qiáng)度IR、強(qiáng)度剩余DIRn(或這些的BLM累計(jì))、空間剩余F720、R730或模型加權(quán)W 740、以及/或Y數(shù)據(jù)本身。
第二個(gè)較佳實(shí)施例基于聚類分析的分割第二個(gè)較佳實(shí)施例代表輸入holon的分割的自底向上的方法。它由多幀運(yùn)動(dòng)數(shù)據(jù)或它們的雙線性累計(jì)的聚類分析組成。
幾個(gè)不同的聚類技術(shù)可以用來尋找象素組。聚類標(biāo)準(zhǔn)則和聚類算法的選擇定義了聚類的統(tǒng)計(jì)特性。例如，對(duì)每一運(yùn)動(dòng)方向(縱向、橫向、深度)可以選擇分開進(jìn)行聚類分析或在各個(gè)方向上聯(lián)合進(jìn)行分析。后者是一種較佳實(shí)施方法(但可以不選擇深度方向，至少是在編碼開始的時(shí)候)。
可以采用兩組主要的聚類技術(shù)對(duì)圖象平面不采用有關(guān)參數(shù)光滑性或相鄰關(guān)系的空間假設(shè)的聚類分析以及采用這種假設(shè)的聚類分析。
常規(guī)的聚類分析現(xiàn)在的目的是尋找顯示至少與P中的某些因子維度具有類似的運(yùn)動(dòng)模式的象素聚類，-即，至少在某些有效維度上顯示類似運(yùn)動(dòng)模式的象素。
根據(jù)雙線性運(yùn)動(dòng)子空間，可以采用幾種不同的聚類原則。根據(jù)公共或加權(quán)的Pythagorean距離度量以及歸一化(Mahalanobis)距離，可以計(jì)算時(shí)空距離。一種方法是標(biāo)準(zhǔn)的非分層聚類分析技術(shù)(Mardia，K.V.，Kent，J.T.and Bibby，J.M.(1979)Multivariate Analysis，Academic Press，Inc.，New York.，Gudersen，Bob(1983)AnAdaptive FCV Cluster Algorithm.International J.of Man-Machine Studies 19，第97-104頁，Benadek et al.Detection and Characteristics of Cluster Sub-Structures.SIAM J.of Applied Math 40，(2)1981年4月，Bezdek，J.C.and Pal，S.K.(1992)Fuzzy Models for Pattern Recognition.IEEE New York)。這種類型的聚類分析的一個(gè)例子是由Mardia，K.V.，Kent，J.T.and Bibby，J.M.(1979)Multivariate Analysis，Academic Press，Inc.New York第361-368頁中描述的劃分技術(shù)，該文獻(xiàn)在此引述供參考。
更詳細(xì)的聚類分析可參見Mardia，K.V.，Kent，J.T.和Bibby，J.M.(1979)Multivariate Analysis.Academic Press，Inc.，New York，第360-390頁，Benzdek etal.Detection and Characteristics of Cluster Sub-Structures.SIAM J.of Applied Math.40，(2)1981年4月，以及Bezdek，J.C.和S.K.(1992)Fuzzy Models for PatternRecognition.IEEE New York)。尤其是模糊聚類技術(shù)(見Gudersen，Bob(1983)AnAdaptive FCV Cluster Algorithm.International J.of Man-Machine Studies 19第97-104頁)更有用；在該技術(shù)中，雙線性模擬被用來使聚類的內(nèi)部結(jié)構(gòu)參數(shù)化，并且聚類可以部分重疊。分層聚類分析見Shraf，M.A.，Illman，D.L.和Kowalski，B.R.Chemometrics，J.Wiley & Sons，紐約，1986年，第219頁。這些參考文獻(xiàn)在此引述供參考。
在圖象平面中具有空間連續(xù)性假設(shè)的聚類分析本實(shí)施例中，聚類分析搜尋具有類似運(yùn)動(dòng)模式的空間相關(guān)的象素。Boyer等人在1994年公開了一種圖象分割的方法，使得可以廣泛的-但不是唯一使用空間連續(xù)性(Boyer，K.L.，Mirza，M.J.和Ganguly，G.(1994)The Robust SequentialEstimatorA General Approach and Its Application to Surface Organization in RangeData.IEEE Transactions on Pattern Analysis and Machine Intelligence 16，1994年10月10日，第987-1001頁，在此引述供參考)。本發(fā)明的一個(gè)實(shí)施例是將他們從以一維(距離)測(cè)量一個(gè)幀(單個(gè)雷達(dá)圖象Z)的方法推廣到以采用來自幾個(gè)幀和多維(縱向移動(dòng)、橫向移動(dòng)和其他可能的特征，見下述)的測(cè)量。
上述Boyer等人的分割技術(shù)可以小結(jié)如下*分析空間數(shù)據(jù)(在上述Boyer等人1994年的情況下范圍數(shù)據(jù)(rangedata)Z)，以找到可以用作潛在(potential)分割起始點(diǎn)的充分大的平滑空間區(qū)域。
*采用再加權(quán)最小平方空間模擬，形成每一這種起始點(diǎn)的空間模型。
圍繞每一起始點(diǎn)，使Y變量(Y＝Z)擬合空間模型和估計(jì)剩余。在本較佳實(shí)施例中，采用的是線性模型Y＝XB+F，它是用如上所述用于仿射變換(702)的運(yùn)動(dòng)模型X通過再加權(quán)最小平方最小化來擬合的。但在Z中也可以采用多項(xiàng)式和/或自回歸推廣(extension)。
*通過包括看上去是適合初步分割模型的相鄰象素、逐漸更新分割模型來使這樣的的潛在分割在局部地增長(zhǎng)。這一增長(zhǎng)過程一直繼續(xù)到?jīng)]有新的象素良好地適合holon的空間分割模型為止。
*試圖將每一空間模型擴(kuò)展到圖象的其余部分，以便搜尋可能屬于該分割的更多的遠(yuǎn)端象素。
*合并與空間模型兼容的潛在分割。
*刪除(prune)并填入局外部分，并解決(resolve)沿分割邊緣部分的模糊點(diǎn)。
分割的精確邊緣可以用第一個(gè)實(shí)施例中描述的方法來使之最佳。
本發(fā)明中，上述技術(shù)除由Boyer等人用于雷達(dá)測(cè)距數(shù)據(jù)以外，還用于其他的空間參數(shù)數(shù)據(jù)。不再將Y定義為圖象的深度Z，而是將Y按照(701，760或770)定義為來自幾個(gè)幀的運(yùn)動(dòng)信息。也可以像第三個(gè)較佳實(shí)施例所描述的那樣，還包括強(qiáng)度信息(775)。
其他參數(shù)表示的模型在將數(shù)據(jù)變換成頻率域以后，另一個(gè)實(shí)施例將該分割技術(shù)應(yīng)用于適用于1D、2D及更高維度(dimensional)的數(shù)據(jù)，該實(shí)施例在此不再詳述。經(jīng)變換的數(shù)據(jù)可以表示成直接FFT的結(jié)果、以實(shí)部和虛部表示或以相位和幅度表示。也可以采用更復(fù)雜的表示。一個(gè)例子是采用相位相關(guān)表示。
應(yīng)當(dāng)指出，可以將應(yīng)用于多幀分割的自頂向下和自底向上方法組合起來。例如，首先，對(duì)輸入holon進(jìn)行自頂向下的分割分析，以便識(shí)別holon中不適合于大多數(shù)或主導(dǎo)結(jié)構(gòu)的局外部分區(qū)域。其次，用自底向上的分割分析來搜尋局外部分區(qū)域內(nèi)的均勻區(qū)域。
下面的兩個(gè)較佳實(shí)施例區(qū)分將運(yùn)動(dòng)估計(jì)與分割組合起來的兩種方式。
第三個(gè)較佳實(shí)施例分開的運(yùn)動(dòng)估計(jì)和分割在第三個(gè)較佳實(shí)施例(圖5)中，用于各個(gè)幀In，n＝1，2，...的強(qiáng)度數(shù)據(jù)以及參考圖象IR505的強(qiáng)度數(shù)據(jù)被輸入到運(yùn)動(dòng)估計(jì)器520中。所得的運(yùn)動(dòng)估計(jì)DARn525被傳送到雙線性模擬單元EstBLM 540。形成的雙線性模型參數(shù)545被傳送到分割單元EstSegm 560，它產(chǎn)生分割結(jié)果565。
EstMov運(yùn)算器520可以包含檢測(cè)內(nèi)部初步分割指示符(indicator)如IR或In中的邊緣以及深度和空間新息的裝置，可以采用這些裝置，以便增強(qiáng)運(yùn)動(dòng)估計(jì)DARn525(例如，不使得運(yùn)動(dòng)場(chǎng)在明顯的初步分割邊界處模糊)，并與運(yùn)動(dòng)估計(jì)一起傳送到其他的單元。
雙線性模型參數(shù)545主要由參數(shù)模擬運(yùn)動(dòng)數(shù)據(jù)DARn及其不確定性的參數(shù)構(gòu)成，但也可以再包括有關(guān)經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膹?qiáng)度變化DIRn等的參數(shù)。
在上述標(biāo)題為“Method and Apparatus for Coordination of MotionDetermination Over Multiple Frames”的專利申請(qǐng)中給出了協(xié)調(diào)運(yùn)動(dòng)估計(jì)和雙線性模擬的一些相關(guān)的方法。
在該第一個(gè)實(shí)施例中采用了幾個(gè)反饋環(huán)路級(jí)首先，運(yùn)動(dòng)估計(jì)器EstMov 520采用了先前建立的初步分割信息，以便使邊緣、閉塞和深度的處理最佳運(yùn)動(dòng)場(chǎng)在跨越可靠初步分割邊界處不被平滑。
EstMov 520還采用了前述建立的雙線性模擬結(jié)果522，以便使運(yùn)動(dòng)估計(jì)對(duì)不確定的模糊和噪聲靈敏度穩(wěn)定。這些初步信息521和522已經(jīng)在用于前面的幀、其它金字塔形(pyramidal)幀鑒別或前面的迭代的單元EstNLB 540和EstSeg 560中分別獲得。
在雙線性模擬單元EstBLM 540中，雙線性模型是根據(jù)初步分割信息521單獨(dú)為每一初步分割(holon)而開發(fā)(develop)的。在雙線性模擬塊EstBLM 540中，可以處理來自其他相關(guān)holon和來自其holon關(guān)系不清楚的象素的信息，從而不會(huì)對(duì)雙線性模型產(chǎn)生不利的影響(例如，在類似于單個(gè)變量塊的雙線性模擬中具有低加權(quán)的額外(extra)X變量，或者如類似于X塊和Y塊的PLS2或PCR雙線性模擬的Y變量)。
因此相同，初步雙線性模型參數(shù)估計(jì)522可以與新的運(yùn)動(dòng)場(chǎng)DAR，n(n＝1，2，...，525)一起形成(modelled)，以產(chǎn)生用于運(yùn)動(dòng)以及選擇用于經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膹?qiáng)度變化等的更新雙線性序列模型545。
第四個(gè)較佳實(shí)施例聯(lián)合運(yùn)動(dòng)估計(jì)和分割運(yùn)動(dòng)估計(jì)、深度評(píng)估和分割是相互獨(dú)立的過程，它們應(yīng)當(dāng)以整體(integrated)的方式來最佳地處理對(duì)待。在第三個(gè)較佳實(shí)施例中，運(yùn)動(dòng)估計(jì)和分割算子(operator)是通過初步雙線性結(jié)果521、522的反饋來協(xié)調(diào)的。在第四個(gè)較佳實(shí)施例中，這些算子是完全集成在一起的。在這種情況下，雙線性估計(jì)可以用較少的計(jì)算機(jī)工作量(power)來完成，這是因?yàn)樗菃为?dú)對(duì)相對(duì)完全獨(dú)立的分割進(jìn)行運(yùn)算的。
在該實(shí)施例中。按照?qǐng)D6，輸入數(shù)據(jù)605和初步分割和雙線性模擬結(jié)果623被輸入到EstMov/EstSeg 620，該EstMov/EstSeg 620傳送有關(guān)找到的holon的運(yùn)動(dòng)場(chǎng)DARn及其估計(jì)的不確定性、閉塞等625和分割信息665。在EstBLM 640中，雙線性模型幾種針對(duì)每一holon單獨(dú)進(jìn)行更新。另外，正如在第三個(gè)較佳實(shí)施例中所描述的那樣，可以臨時(shí)(tentatively)將holon間的關(guān)系和具有不清楚holon分類的象素降低加權(quán)，或定義為Y變量。
應(yīng)當(dāng)注意，對(duì)于圖5和圖6中描述的反饋結(jié)構(gòu)，運(yùn)動(dòng)估計(jì)和分割也可以看成是雙線性模型估計(jì)的整體構(gòu)成部分。在EstBLM540、640中，與傳統(tǒng)的奇異值分解或本征值分解一樣，在收斂或完全穩(wěn)定以前，不必進(jìn)行估計(jì)過程。每一holon545所獲得的子空間改進(jìn)了下一輪的運(yùn)動(dòng)估計(jì)和分割已經(jīng)足夠了。因此，通過改進(jìn)的運(yùn)動(dòng)估計(jì)和分割對(duì)輸入到EstBLM的輸入數(shù)據(jù)修改進(jìn)可以被當(dāng)成是雙線性估計(jì)過程分一部分。
下面的兩個(gè)實(shí)施例涉及在序列的幀之間進(jìn)行協(xié)調(diào)。
第五個(gè)較佳實(shí)施例在一步中模擬整個(gè)幀序列。
在第五個(gè)較佳實(shí)施例中，整個(gè)序列要經(jīng)過運(yùn)動(dòng)估計(jì)；接著將整個(gè)序列的這些運(yùn)動(dòng)估計(jì)提交進(jìn)行雙線性模擬。最后，序列中holon的雙線性模型或多個(gè)模型用來進(jìn)行分割。采用圖5進(jìn)行描述，來自前一迭代(或金字塔形(pyramidal)分辨級(jí))的雙線性模型結(jié)果522和分割521結(jié)果被反饋到運(yùn)動(dòng)估計(jì)520和雙線性模擬540中以便使這些估計(jì)過程穩(wěn)定和方便。
采用經(jīng)更新的雙線性運(yùn)動(dòng)和強(qiáng)度變化模型以及經(jīng)更新的分割，可以接著重復(fù)整個(gè)序列的模擬。
第六個(gè)較佳實(shí)施例序列模型的逐漸更新在第六個(gè)較佳實(shí)施例中，雙線性模型545是在對(duì)每一幀n＝1，2，...進(jìn)行運(yùn)動(dòng)估計(jì)結(jié)束以后進(jìn)行更新的。這可以對(duì)每一已經(jīng)分開的holon分割而進(jìn)行的，但也可以對(duì)幀中所有的holon來進(jìn)行。分割565同樣可以在每一幀以后來更新。在較佳實(shí)施例中，除了沿holon邊緣進(jìn)行的刪除過程以外，主要的再分割只有當(dāng)運(yùn)動(dòng)數(shù)據(jù)清楚地顯示出需要這樣做時(shí)才是被允許的。
有關(guān)雙線性模型更新的進(jìn)一步細(xì)節(jié)見上述專利申請(qǐng)“對(duì)多個(gè)幀進(jìn)行運(yùn)動(dòng)判斷協(xié)調(diào)的方法和裝置”。
同樣，將各個(gè)幀引入模擬和分割的順序可以是不固定的。一旦對(duì)所有的幀進(jìn)行了模擬和分割以后，可以再次對(duì)分割開始整個(gè)過程，但現(xiàn)在對(duì)雙線性模型和分割具有了更好的起始值。
估計(jì)的分割邊界中的估計(jì)不確定性與分割邊界信息一起被存儲(chǔ)起來，并用作后續(xù)的編碼步驟中。具有不清楚分割分類的象素，例如在圍繞所選分割邊界的區(qū)域中的象素被當(dāng)作具有高不確定性來對(duì)待。在后續(xù)運(yùn)動(dòng)估計(jì)和雙線性模擬中，不確定性象素是如前所述給出低加權(quán)或通過主分量回歸(Martens & Naes 1989)來被動(dòng)擬合(passively fitted)的。在后續(xù)分割中，不確定性的象素包括在新的分割估計(jì)中，但給予低的先驗(yàn)輸入加權(quán)(705)。
下面的兩個(gè)實(shí)施例涉及使雙線性模型參數(shù)估計(jì)適合于分割應(yīng)用的特殊技術(shù)。
第七個(gè)較佳實(shí)施例采用附加平滑準(zhǔn)則(smoothness criteria)來修改雙線性模擬用來獲取上述雙線性模型的雙線性參數(shù)估計(jì)可以被修改成需要或支持要被滿足的附加統(tǒng)計(jì)限制，比如需要或偏離要被平滑的T中的時(shí)間標(biāo)記矢量或P中空間載荷矢量，至少在沒有發(fā)現(xiàn)初步分割邊界的地方。
這是在用于每一因子a的NIPALS算法迭代的內(nèi)部完成的(見Marten，H.和Naes，T.(1989)Multivariate Calaibration.J.Wiley & Sons Ltd，Chichester UK.)，如用具有線標(biāo)號(hào)的偽碼所示出的那樣對(duì)于每一因子a，每一新的迭代定義如下(810)通過將在前一因子以后將D中的剩余數(shù)據(jù)投影到從前一迭代得到的平滑的比例標(biāo)記矢量ta上來估計(jì)空間載荷矢量pa，raw的原始(raw)估計(jì)。
(820)提交這些原始空間載荷矢量pa，raw進(jìn)行空間平滑pa＝f(pa，raw)。平滑方法可以是簡(jiǎn)單的箱車(boxcar)濾波器，或者是尋求一種方法，在跨越應(yīng)當(dāng)讓其不被平滑的明顯邊緣時(shí)，避免平滑。平滑載荷pa相對(duì)于先前估計(jì)因子[p1，p2，...，pa-1]的載荷正交化。
(830)通過將剩余數(shù)據(jù)投影到被平滑的載荷pa上來估計(jì)原始標(biāo)記ta，raw。
(840)提交該原始標(biāo)記矢量，進(jìn)行時(shí)間平滑，例如箱車平滑或更先進(jìn)的平滑ta＝f(ta，raw)。
(850)對(duì)經(jīng)平滑的標(biāo)記矢量ta取比例成長(zhǎng)度1，并迭代重復(fù)該過程，直到充分收斂為止。
本實(shí)施例中雙線性模擬的進(jìn)一步加強(qiáng)是將雙線性模型的迭代再加權(quán)最小平方擬合應(yīng)用于該數(shù)據(jù)，以便減小局外幀或局外象素的影響等式(3)中的行的加權(quán)Vframes和列Vpels加權(quán)可以根據(jù)來自先前迭代中的低秩雙線性模型的校正剩余，按照行和列的平均不確定性標(biāo)準(zhǔn)偏差的更新估計(jì)的逆來迭代更新。
其更詳細(xì)的描述見上述專利申請(qǐng)“Method and Apparatus for Coordination ofMotion Determination”。
第八個(gè)較佳實(shí)施例作為雙線性模擬一部分的基于規(guī)則的最佳標(biāo)度在雙線性模擬540、640中，不僅可以改變雙線性模擬參數(shù)以獲取更好的模擬，而且在雙線性模型參數(shù)估計(jì)過程中可以改變輸入數(shù)據(jù)中的值，例如DARn。可以迭代修改用于幀和象素的運(yùn)動(dòng)數(shù)據(jù)dan，pel中的各個(gè)元素，從而更加符合從其他幀或象素得到的模型dan，pel＝f(dan，pel(input(輸入))，dan，pelHat，Rules(規(guī)則))，這里，對(duì)于雙線性模擬dan，pelHat＝tn*Ppel。
規(guī)則的一個(gè)例子是if(如果dan，pelHat給出的運(yùn)動(dòng)擬合din，pel與dan，pel(input)給出的一樣或更好)，and(dan，pelHat位于dan，pel(input)的統(tǒng)計(jì)不確定性范圍內(nèi))，then(dan，pel＝dan，pelHat)
else(dan，pel＝dan，pel(input))。
除了數(shù)據(jù)元素dan，pel的這種離散定義以外，也可以采用dan，pelHat和dan，pel(input)比較連續(xù)的加權(quán)平均函數(shù)。
更詳細(xì)的描述見上述專利申請(qǐng)“Method and Apparatus for Coordination ofMotion Determination”。
上述組合又是一種實(shí)施例。
其他應(yīng)用時(shí)間域中的雙線性結(jié)構(gòu)分割上述分割/聚類技術(shù)可以用來判定適合于一起分析的幀(序列)的分組-以及檢測(cè)景象(scene)平移。一種實(shí)施例這進(jìn)行幀強(qiáng)度的簡(jiǎn)單雙線性模擬(可能的分組取樣(subsample))，并在標(biāo)記空間T中進(jìn)行非分層聚類分析(non-hierarchical clusteranalysis)，以便尋找具有更多公共圖象材料的幀聚類。本實(shí)施例中最好進(jìn)行穩(wěn)健的單個(gè)聚類分析(robust single cluster analysis)，以便能夠跟隨一單個(gè)聚類內(nèi)的景象中的運(yùn)動(dòng)。
其他類型數(shù)據(jù)的應(yīng)用另一個(gè)實(shí)施例是將上述原則應(yīng)用于時(shí)間系列的數(shù)據(jù)，例如，聲音數(shù)據(jù)，以便定義時(shí)間分割。在這種情況下，空間運(yùn)動(dòng)場(chǎng)數(shù)據(jù)與時(shí)間卷繞(time warp)估計(jì)對(duì)應(yīng)，而空間強(qiáng)度變化時(shí)間與時(shí)間強(qiáng)度變化數(shù)據(jù)對(duì)應(yīng)。
用于譯碼(幀的重構(gòu))的本發(fā)明的輸出的使用見WO 95/34172中的說明。
專業(yè)人員可以在后文中的權(quán)利要求的范圍內(nèi)對(duì)本發(fā)明作各種修改。尤其是，術(shù)語“多個(gè)”可以被解釋成是“一個(gè)或一個(gè)以上’的意義。
權(quán)利要求
1.一種對(duì)圖象序列進(jìn)行分割的方法，所述序列由幀構(gòu)成，每一幀由輸入信號(hào)的取樣組成，其特征在于，所述方法包含下述步驟(1)形成一參考圖象，所述參考圖象由從多個(gè)所述幀得到的取樣組成，(2)對(duì)從所述參考圖象到每一所述參考幀的運(yùn)動(dòng)進(jìn)行估計(jì)，(3)將所述經(jīng)估計(jì)的運(yùn)動(dòng)重新格式化成行矢量，(4)將所述行矢量集合到一運(yùn)動(dòng)矩陣內(nèi)，(5)對(duì)所述運(yùn)動(dòng)矩陣進(jìn)行主分量分析(Principal Component Analysis)，從而得到一個(gè)由多個(gè)稱作為行矢量的載荷矢量組成的標(biāo)記矩陣，和由多個(gè)稱作為行矢量的載荷矢量組成的載荷矩陣，從而每一標(biāo)記矩陣對(duì)應(yīng)于用于每一幀的一個(gè)元素，從而每一載荷矢量的每一元素對(duì)應(yīng)于參考圖象的一個(gè)元素，從而所述標(biāo)記矩陣的一列和一個(gè)載荷矢量一起構(gòu)成一個(gè)因子，并且從而所述因子數(shù)小于或等于所述幀的數(shù)量，(6)將每一載荷重新格式化回到用作運(yùn)動(dòng)的同樣的格式，(7)根據(jù)所述重新格式化的載荷中的第一個(gè)進(jìn)行分割。
2.如權(quán)利要求1所述的方法，其特征在于，步驟(7)中的分割包含下述步驟(7a)在第一載荷中選擇一個(gè)位置，(7b)根據(jù)與所述選擇位置相鄰的元素形成一局部運(yùn)動(dòng)模型，(7c)在還沒有被分割的元素中選擇所述參考圖象的候選元素，(7d)確定所述第一載荷的所述候選元素與所述局部運(yùn)動(dòng)模型適配的良好程度，(7e)將滿足某一保真度的那些候選元素包括到所述局部運(yùn)動(dòng)模型中，其中，與所述局部運(yùn)動(dòng)模型適配的元素的集合代表了一個(gè)分割。
3.如權(quán)利要求2所述的方法，其特征在于，所述局部運(yùn)動(dòng)模型包含了模型運(yùn)動(dòng)，作為仿射變換。
4.如權(quán)利要求2所述的方法，其特征在于，所述局部運(yùn)動(dòng)模型包含了模型運(yùn)動(dòng)，作為多個(gè)分割多項(xiàng)式變換。
5.如權(quán)利要求2至4中任何一個(gè)權(quán)利要求所述的方法，其特征在于，所述步驟(7d)由下述步驟代替(7d1)判定所述第一載荷中的多個(gè)進(jìn)一步候選元素與所述局部模型中已經(jīng)包括的元素子集適配的良好程度，所述子集是根據(jù)所述候選元素的位置為每一候選元素而選擇的。
6.如權(quán)利要求2至5中任何一個(gè)權(quán)利要求所述的方法，其特征在于，有關(guān)所述保真度準(zhǔn)則的步驟(7e)包含為每一候選元素，計(jì)算由候選元素的位置的局部運(yùn)動(dòng)模型而外插的運(yùn)動(dòng)與由載荷數(shù)量而通過乘以標(biāo)記矢量而計(jì)算得到的運(yùn)動(dòng)之間的差異。
7.如權(quán)利要求2至6中任何一個(gè)權(quán)利要求所述的方法，其特征在于，所述保真度準(zhǔn)則還考慮到所述參考圖象中的每一元素的與所述運(yùn)動(dòng)場(chǎng)對(duì)應(yīng)的不確定性。
8.如權(quán)利要求7所述的方法，其特征在于，所述保真度準(zhǔn)則是為所述參考圖象中的每一個(gè)元素而計(jì)算并作為與所述運(yùn)動(dòng)場(chǎng)對(duì)應(yīng)的所述差異和所述不確定性之間的比值。
9.如權(quán)利要求8所述的方法，其特征在于，所述不確定性對(duì)于多個(gè)空間方向中的每一個(gè)方向就有一個(gè)值與之對(duì)應(yīng)，所述值中的一個(gè)被選擇用來計(jì)算與所述差異的方向有關(guān)的所述保真度準(zhǔn)則。
10.如權(quán)利要求2至9中任何一個(gè)權(quán)利要求所述的方法，其特征在于，所述方法進(jìn)一步包含下述步驟(7f)更新所述局部運(yùn)動(dòng)模型。
11.如權(quán)利要求10所述的方法，其特征在于，所述更新包含按照所述保真度準(zhǔn)則來調(diào)整與元素對(duì)應(yīng)的加權(quán)的步驟。
12.如權(quán)利要求10或11所述的方法，其特征在于，步驟(7c)到(7f)重復(fù)多次。
13.如權(quán)利要求2至12中任何一個(gè)所述的方法，其特征在于，它還進(jìn)一步包含下述步驟(7g)使?jié)M足所述保真度準(zhǔn)則的元素的位置被分割，(7h)在已經(jīng)被標(biāo)記為分割的那些位置中選擇一個(gè)新的位置，(7I)重復(fù)步驟(7c)到(7h)，直到滿足一個(gè)給定的收斂準(zhǔn)則。
14.如權(quán)利要求1至13所述的方法，其特征在于，除了采用所述第一因子以外，還采用多個(gè)因子。
15.如權(quán)利要求1至14中任何一個(gè)權(quán)利要求所述的方法，其特征在于，除了執(zhí)行有關(guān)主分量分析的步驟(5)以外，后續(xù)步驟除了直接對(duì)所述載荷矢量進(jìn)行運(yùn)算以外，是針對(duì)與每一所述幀對(duì)應(yīng)的所述運(yùn)動(dòng)場(chǎng)而進(jìn)行操作的。
16.一種提高對(duì)某一圖象序列分割的方法，所述序列由幀組成，每一幀由某一輸入信號(hào)的取樣組成，所述分割由所述參考圖象的多個(gè)分割代表，其特征在于，所述方法包含下述步驟(1)對(duì)每一給定的輸入分割，執(zhí)行權(quán)利要求1中的步驟(1)到(6)，采用與所述給定輸入分割對(duì)應(yīng)的強(qiáng)度加上相鄰元素層作為參考圖象，分割參考圖象的集合一起構(gòu)成一個(gè)總的參考圖象，這里，總的參考圖象中的每一個(gè)元素可以在一個(gè)以上的分割參考圖象中表示，(2)對(duì)于每一所述分割參考圖象中的每一元素，計(jì)算一保真度準(zhǔn)則，(3)對(duì)于一個(gè)以上的分割參考圖象中表示的總的參考圖象中的每一元素，尋找哪一個(gè)分割給出最好的保真度，并從其他分割中除去該元素。
17.如權(quán)利要求1至15中任何一個(gè)權(quán)利要求所述的方法，其特征在于，所述方法還包含下述步驟(8)根據(jù)保真度指示，形成勢(shì)能圖象，(9)對(duì)于每一分割，尋找與相鄰分割相鄰的邊界，(10)對(duì)于每一邊界，迭代地使其位置最佳，從而使能量和沿其軌跡最小，這里，每一邊界內(nèi)的參考圖象元素代表各個(gè)分割。
18.如權(quán)利要求17所述的方法，其特征在于，所述勢(shì)能函數(shù)也還基于參考圖象強(qiáng)度梯度。
19.如權(quán)利要求17至18中任何一個(gè)權(quán)利要求所述的方法，其特征在于，它還包含(11)對(duì)于序列中的每一幀，用通過將標(biāo)記值與載荷矢量乘而計(jì)算的運(yùn)動(dòng)場(chǎng)或其重構(gòu)的運(yùn)動(dòng)場(chǎng)，將該幀移回到參考位置，(12)將經(jīng)運(yùn)動(dòng)的幀重新格式化成行矢量，(13)將所述行矢量集合到一強(qiáng)度矩陣中，(14)對(duì)強(qiáng)度矩陣進(jìn)行主分量分析，產(chǎn)生稱為強(qiáng)度載荷矢量的行矢量和稱為強(qiáng)度標(biāo)記矢量的列矢量，其中，所述勢(shì)能圖象也獨(dú)立于強(qiáng)度載荷矢量和強(qiáng)度標(biāo)記矢量。
20.如權(quán)利要求17至19中任何一個(gè)權(quán)利要求所述的方法，其特征在于，所述邊界的所述最佳化還包括使邊界的空間簡(jiǎn)化最佳。
21.一種使某一圖象序列分割的方法，所述圖象序列由幀組成，每一幀由輸入信號(hào)的取樣組成，其特征在于，所述方法包含下述步驟(1)形成一參考圖象，(2)估計(jì)一個(gè)幀的運(yùn)動(dòng)，為所述參考圖象中的每一元素產(chǎn)生一個(gè)在所述幀中的位置，(3)形成一回歸矩陣，所述回歸矩陣由列矢量構(gòu)成，從而有一個(gè)與參考圖象的每一空間維度對(duì)應(yīng)的列矢量，每一所述列對(duì)于所述參考圖象中的每一列包含所述元素的空間位置的一個(gè)元素，以及含有一的一個(gè)列矢量，(4)形成一個(gè)被回歸量矩陣，所述被回歸量矩陣由列矢量組成，從而有一個(gè)與參考圖象的每一空間維度對(duì)應(yīng)的列矢量，每一列對(duì)每一元素包含所述幀中的估計(jì)位置的一個(gè)元素，(4)估計(jì)一回歸系數(shù)矩陣，從而所述被回歸量矩陣由所述回歸系數(shù)矩陣和所述回歸量矩陣的乘積來近似，(5)根據(jù)回歸剩余，對(duì)所述參考圖象中的每一元素計(jì)算一資格測(cè)量，所述回歸剩余計(jì)算為所述被回歸量矩陣減去回歸系數(shù)矩陣和回歸量矩陣的乘積，(6)根據(jù)步驟(5)中計(jì)算的資格測(cè)量形成一分割，其中，步驟(6)中形成的分割代表所述圖象序列的分割。
22.如權(quán)利要求21所述的方法，其特征在于，步驟(4)中的所述估計(jì)是用穩(wěn)健加權(quán)的最小平方回歸來進(jìn)行的。
23.如權(quán)利要求21或22中所述的方法，其特征在于，所述運(yùn)動(dòng)估計(jì)是對(duì)多個(gè)幀進(jìn)行的，并且所述被回歸量矩陣含有用于每一合成運(yùn)動(dòng)場(chǎng)的每一空間維度的一個(gè)列矢量。
24.如權(quán)利要求21或22所述的方法，其特征在于，運(yùn)動(dòng)估計(jì)是對(duì)所述系列中的每一幀進(jìn)行的，主分量分析是對(duì)來自所述運(yùn)動(dòng)估計(jì)的結(jié)果進(jìn)行的，被回歸量矩陣包含用于每一載荷矢量的一個(gè)列矢量。
25.如權(quán)利要求21至24中任何一個(gè)權(quán)利要求所述的方法，其特征在于，所述被回歸量矩陣對(duì)每一幀還包含一個(gè)含有經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膹?qiáng)度剩余的列，所述運(yùn)動(dòng)補(bǔ)償?shù)膹?qiáng)度剩余是按照估計(jì)的運(yùn)動(dòng)并減去參考圖象通過將每一幀運(yùn)動(dòng)到參考位置來形成的。
26.如權(quán)利要求21至24中的任何一個(gè)權(quán)利要求所述的方法，其特征在于，主元素分析是對(duì)經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)膹?qiáng)度剩余進(jìn)行的，并且所述被回歸量矩陣還包括作為列的合成載荷矢量。
27.如權(quán)利要求21至26中任何一個(gè)權(quán)利要求所述的方法，其特征在于，所述回歸量矩陣還包括作為列的所述空間位置的多項(xiàng)式。
28.如權(quán)利要求22至27中任何一個(gè)權(quán)利要求所述的方法，其特征在于，所述經(jīng)空間平移的被回歸量形式也包括在回歸量矩陣中的列中。
29.一種使圖象序列分割的方法，所述圖象序列由幀組成，每一幀由輸入信號(hào)的取樣構(gòu)成，其特征在于，所述方法由形式步驟構(gòu)成(1)按照權(quán)利要求21至28中的任何一個(gè)權(quán)利要求所述的方法進(jìn)行分割，(2)重復(fù)步驟(1)，將分割以外處已經(jīng)找到的所述參考圖象的那些部分廢棄掉，其中，每一步驟(1)的重復(fù)中找到的分割代表所述分割。
30.如權(quán)利要求21至28中任何一個(gè)權(quán)利要求所述的方法，其特征在于，所述回歸是用區(qū)域增長(zhǎng)的方法進(jìn)行的。
31.一種使圖象序列分割的方法，所述圖象序列由幀構(gòu)成，每一幀由輸入信號(hào)的取樣構(gòu)成，其特征在于，所述方法包含下述步驟(1)按照權(quán)利要求30中所述的方法進(jìn)行分割，(2)重復(fù)步驟(1)，將在該分割外已經(jīng)找到的所述參考圖象的那些部分廢棄，其中，步驟(1)的每一重復(fù)中找到的分割一起代表所述分割。
32.如權(quán)利要求21至31中任何一個(gè)權(quán)利要求中所述的方法，其特征在于所述被回歸量的不確定性是計(jì)算得到的，并且所述不確定性被用于估計(jì)所述回歸系數(shù)矩陣的時(shí)候。
33.如權(quán)利要求21至32中任何一個(gè)權(quán)利要求所述的方法，其特征在于，被回歸量的不確定性是計(jì)算得到的，并且所述不確定性被用于計(jì)算所述資格測(cè)量的時(shí)候。
34.如權(quán)利要求21或23至33中任何一個(gè)權(quán)利要求所述的方法，其特征在于，所述步驟(4)和(5)包含(4)在被回歸量列的空間中對(duì)取樣進(jìn)行群分析，(5)根據(jù)所述群分析計(jì)算一資格測(cè)量。
35.一種使某一圖象序列分割的裝置，所述序列由幀構(gòu)成，每一幀由輸入信號(hào)的取樣組成，其特征在于，所述裝置包含(1)形成參考圖象的裝置，所述參考圖象由從多個(gè)所述幀得到的取樣組成，(2)估計(jì)從所述參考圖象到每一所述幀的運(yùn)動(dòng)，(3)將經(jīng)估計(jì)的運(yùn)動(dòng)重新格式化成行矢量的裝置，(4)將所述行矢量集合到一運(yùn)動(dòng)矩陣中去的裝置，(5)對(duì)運(yùn)動(dòng)矩陣進(jìn)行主分量分析的裝置，從而獲得由稱為標(biāo)記矢量的多個(gè)列矢量構(gòu)成的標(biāo)記矩陣和由稱為載荷矢量的多個(gè)行矢量構(gòu)成的載荷矩陣，從而每一標(biāo)記矢量與用于每一幀的一個(gè)元素對(duì)應(yīng)，從而每一載荷矢量的每一元素與參考圖象的一個(gè)元素對(duì)應(yīng)，從而所述標(biāo)記矩陣的一個(gè)列和一個(gè)載荷矢量一起構(gòu)成一個(gè)因子，并且從而所述因子的數(shù)量小于或等于所述幀的數(shù)量，(6)將每一載荷重新格式化成與用作運(yùn)動(dòng)的同樣的格式的裝置，(7)根據(jù)多個(gè)重新格式化的載荷進(jìn)行分割的裝置。
36.如權(quán)利要求35所述的裝置，其特征在于，所述裝置適合于權(quán)利要求2至34中任何一個(gè)權(quán)利要求所述的方法。
全文摘要
本發(fā)明涉及通過開發(fā)和分析參數(shù)系或參數(shù)子空間在大的信號(hào)流中實(shí)現(xiàn)分組或分割的方法。對(duì)輸入信號(hào)的幀中的取樣分割的方法包含下述步驟:(1)形成一參考圖象,該圖象由從多個(gè)所述幀得到的取樣組成,(2)估計(jì)從所述參考圖象到每一所述幀的運(yùn)動(dòng),(3)將經(jīng)估計(jì)的運(yùn)動(dòng)重新格式化成行矢量,(4)將所述行矢量集合到一運(yùn)動(dòng)矩陣中,(5)對(duì)運(yùn)動(dòng)矩陣進(jìn)行主分量分析,從而獲得由稱為標(biāo)記矢量的多個(gè)列矢量構(gòu)成的標(biāo)記矩陣和由稱為載荷矢量的多個(gè)行矢量構(gòu)成的載荷矩陣,從而每一標(biāo)記矢量與用于每一幀的一個(gè)元素對(duì)應(yīng),從而每一載荷矢量的每一元素與參考圖象的一個(gè)元素對(duì)應(yīng),從而所述標(biāo)記矩陣的一個(gè)列和一個(gè)載荷矢量一起構(gòu)成一個(gè)因子,并且從而所述因子的數(shù)量小于或等于所述幀的數(shù)量,(6)將每一載荷重新格式化成與用作運(yùn)動(dòng)的同樣的格式,(7)根據(jù)多個(gè)重新格式化的載荷進(jìn)行分割。
文檔編號(hào)G06T7/20GK1179223SQ96192717
公開日1998年4月15日 申請(qǐng)日期1996年3月22日 優(yōu)先權(quán)日1996年3月22日
發(fā)明者哈拉爾德·奧高·馬滕斯, 讓·奧托·雷伯格 申請(qǐng)人:德國(guó)Idt國(guó)際數(shù)字技術(shù)有限公司