本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，更為具體地講，涉及一種基于運(yùn)動(dòng)目標(biāo)時(shí)序信息的視頻序列同步方法。

背景技術(shù)：

在不同攝像頭，如雙目攝像頭的實(shí)際應(yīng)用中，不同攝像頭所拍攝的視頻，會(huì)由于機(jī)器開(kāi)機(jī)卡頓、延遲等原因?qū)е聝蓚€(gè)視頻在時(shí)間上存在一定程度的偏差。而在很多寬范圍場(chǎng)景下，需要對(duì)雙目攝像頭拍攝的視頻進(jìn)行拼接，再對(duì)基于拼接后的視頻進(jìn)行目標(biāo)追蹤等操作，如果存在這樣的時(shí)間偏差會(huì)對(duì)視頻拼接的效果及目標(biāo)跟蹤的準(zhǔn)確性造成較大影響。因此，對(duì)于不同攝像頭所進(jìn)行的視頻序列同步研究，即找到兩個(gè)攝像頭下相同幀即視頻序列進(jìn)行同步具有一定的現(xiàn)實(shí)意義。

目前，針對(duì)不同攝像頭，如雙目攝像頭所拍視頻序列的同步研究還不是特別多，主要方法是基于視頻序列中的單組對(duì)應(yīng)幀之間的匹配或基于場(chǎng)景中的運(yùn)動(dòng)對(duì)象軌跡的分析。這些方法，往往忽視了不同攝像頭所拍攝圖像在空間中存在的視角差異以及圖像在時(shí)間上的序列相關(guān)性信息，造成兩路視頻序列時(shí)間偏差計(jì)算不準(zhǔn)確，同步的效果不佳。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種基于運(yùn)動(dòng)目標(biāo)時(shí)序信息的視頻序列同步方法，以提高兩路視頻序列時(shí)間偏差計(jì)算的準(zhǔn)確度，從而提升其同步效果。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明基于運(yùn)動(dòng)目標(biāo)時(shí)序信息的視頻序列同步方法，其特征在于，包括以下步驟：

(1)、計(jì)算兩個(gè)攝像頭對(duì)存在運(yùn)動(dòng)目標(biāo)的同一場(chǎng)景所拍攝視頻圖像i1、i2之間的單應(yīng)矩陣h

1.1)、對(duì)于兩個(gè)攝像頭分別同時(shí)拍攝的、存在運(yùn)動(dòng)目標(biāo)的同一場(chǎng)景的兩段視頻序列，首先分別選取一幀視頻圖像i1、i2進(jìn)行surf(加速魯棒特征)特征點(diǎn)檢測(cè)，得到兩幀帶特征點(diǎn)的視頻圖像i1′、i2′，然后通過(guò)人工剔除其中(視頻圖像i1′、i2′中)那些位于運(yùn)動(dòng)目標(biāo)內(nèi)的特征點(diǎn)，得到視頻圖像i1″、i2″，再后將視頻圖像i1″的中特征點(diǎn)與視頻圖像i2″中的特征點(diǎn)進(jìn)行匹配，得到一系列的特征點(diǎn)匹配對(duì)；

1.2)、基于ransac(隨機(jī)抽樣一致)算法，對(duì)特征點(diǎn)匹配對(duì)進(jìn)行篩選，去除誤匹配的特征點(diǎn)匹配對(duì)，得到的特征點(diǎn)匹配對(duì)集s；

1.3)、根據(jù)特征點(diǎn)匹配對(duì)集合s，計(jì)算兩段視頻序列的視頻圖像之間的變換矩陣即單應(yīng)矩陣h，單應(yīng)矩陣h根據(jù)以下公式計(jì)算：

其中，(x1,y1)為特征點(diǎn)匹配對(duì)位于視頻圖像i1″中的特征點(diǎn)坐標(biāo)，(x2,y2)特征點(diǎn)匹配對(duì)位于視頻圖像i2″中的特征點(diǎn)坐標(biāo)；

(2)、將查找視頻序列映射至參考視頻序列平面

取視頻序列v2中長(zhǎng)度不小于運(yùn)動(dòng)目標(biāo)一個(gè)運(yùn)動(dòng)周期的小段視頻序列為查找視頻序列vs，將視頻序列v1作為參考視頻序列vr；然后根據(jù)公式(1)中得到的單應(yīng)矩陣h，將查找視頻序列vs映射至參考視頻序列vr所在平面，即查找視頻序列vs中的每一幀視頻圖像的每個(gè)像素點(diǎn)坐標(biāo)作為(x2,y2)代入公式(1)中，計(jì)算出其新的像素點(diǎn)坐標(biāo)(x1,y1)，得到查找視頻序列vs′；

(3)、背景減除與獲取運(yùn)動(dòng)目標(biāo)輪廓

基于混合高斯背景建模，針對(duì)查找視頻序列vs′和參考視頻序列vr分別獲取場(chǎng)景背景，再分別與各自對(duì)應(yīng)的視頻序列進(jìn)行背景減除處理；在背景減除結(jié)果中獲取運(yùn)動(dòng)目標(biāo)輪廓，得到兩個(gè)輪廓序列，分別為查找輪廓序列q和參考輪廓序列y；

(4)、基于運(yùn)動(dòng)目標(biāo)輪廓匹配對(duì)視頻序列進(jìn)行同步

4.1)、查找匹配視頻序列的終點(diǎn)幀序數(shù)

令查找輪廓序列q＝(q1,q2,…,ql)，參考輪廓序列y＝(y1,y2,…,qm)，定義價(jià)值矩陣c，其元素為：

其中，l為查找輪廓序列q的幀數(shù)，m為參考輪廓序列y的幀數(shù)，為輪廓qi與輪廓yj的相似度；

定義累積價(jià)值矩陣d，其元素根據(jù)以下方式計(jì)算得到：

第1列元素為：

其中，1≤i≤l；

第1行元素：

d1,j＝c1,j，其中，1≤j≤m；

然后，按行或按列依據(jù)以下公式得到，其他元素：

di,j＝min(di-1,j-1,di-1,j,di,j-1)+c1,j，其中，2≤i≤l，2≤j≤m(3)；

得到累積價(jià)值矩陣d后，進(jìn)行配準(zhǔn)即求查找視頻序列在參考視頻序列上的匹配視頻序列的終點(diǎn)幀序數(shù)b^*：

其中，argmin表示l行的元素dl,b取極小值時(shí)，列變量b的值，即終點(diǎn)幀序數(shù)b^*；

4.2)、獲取匹配視頻序列

根據(jù)步驟4.2)中方法，獲取的匹配視頻序列的終點(diǎn)幀序數(shù)b^*多個(gè)，如果終點(diǎn)幀序數(shù)b^*小于l，則刪除，這樣得到p個(gè)終點(diǎn)幀序數(shù)b^*，記為：然后，根據(jù)最優(yōu)規(guī)整路徑(owp)算法，求得p個(gè)匹配視頻序列，其在參考視頻序列的位置分別表示為：其中，分別p個(gè)匹配視頻序列的起始點(diǎn)幀序數(shù)；

4.3)、篩選匹配視頻序列

設(shè)定一個(gè)閾值slope，如果匹配視頻序列的斜率不滿(mǎn)足：

則予以剔除。此外，匹配視頻序列的數(shù)量為p*；

再分別計(jì)算經(jīng)過(guò)斜率篩選的每個(gè)匹配視頻序列與查找視頻序列q＝(q1,q2,…,ql)中對(duì)應(yīng)幀基于r變換的縮放比例其中，計(jì)算每個(gè)匹配視頻序列中所有幀的縮放比例均值α^p：

α^p最小即均值最接近1的匹配視頻序列即為最終篩選得到的匹配視頻序列；

4.4)、計(jì)算視頻序列的時(shí)間偏差

查找視頻序列vs的第一幀序數(shù)為n，最終篩選得到的匹配視頻序列第一幀序數(shù)為m，兩個(gè)攝像頭拍攝視頻的幀率為均為f，則視頻序列的時(shí)間偏差為t＝|n-m|/f，若n>m，則查找視頻序列所在視頻在時(shí)間上落后參考視頻序列所在視頻t秒，反之，則參考視頻序列所在視頻在時(shí)間上落后查找視頻序列所在視頻t秒；

4.5)、根據(jù)得到時(shí)間偏差t對(duì)兩個(gè)攝像頭所拍視頻序列進(jìn)行調(diào)整，完成二者的同步。

本發(fā)明的目的是這樣實(shí)現(xiàn)的。

本發(fā)明基于運(yùn)動(dòng)目標(biāo)時(shí)序信息的視頻序列同步方法，對(duì)于存在運(yùn)動(dòng)目標(biāo)的場(chǎng)景，采用兩個(gè)攝像頭進(jìn)行拍攝，然后進(jìn)行同步：首先計(jì)算兩個(gè)攝像頭所拍攝視頻圖像之間的單應(yīng)矩陣，根據(jù)該矩陣，將查找視頻序列映射到參考視頻序列平面，對(duì)視頻序列進(jìn)行背景減除處理，分別獲取兩個(gè)視頻序列中運(yùn)動(dòng)目標(biāo)輪廓序列，然后進(jìn)行配準(zhǔn)，獲得匹配視頻序列，并進(jìn)行篩選，得到一個(gè)最終的匹配視頻序列，這樣獲得時(shí)間偏差用于視頻序列的同步。本發(fā)明引入單應(yīng)矩陣，將將查找視頻序列映射到參考視頻序列平面，解決了視頻圖像之間的視覺(jué)差異問(wèn)題，提高了視頻圖像相似度比較的準(zhǔn)確性；同時(shí)，本發(fā)明拍攝的場(chǎng)景中存在運(yùn)動(dòng)目標(biāo)，可以利用運(yùn)動(dòng)目標(biāo)在時(shí)間上的序列信息，通過(guò)運(yùn)動(dòng)目標(biāo)輪廓的相似度來(lái)進(jìn)行視頻序列的匹配，而運(yùn)動(dòng)目標(biāo)的姿態(tài)變化是一個(gè)合適的特征，可以準(zhǔn)確匹配，從而進(jìn)一步提高時(shí)間偏差計(jì)算的準(zhǔn)確度，從而提升其同步效果。

附圖說(shuō)明

圖1是本發(fā)明基于運(yùn)動(dòng)目標(biāo)時(shí)序信息的視頻序列同步方法的一種具體實(shí)施方式流程圖；

圖2是映射前后的查找視頻序列的視頻圖像與參考視頻序列的視頻圖像的對(duì)比圖，其中，(a)為映射前的查找視頻序列的視頻圖像、(b)為映射后的查找視頻序列的視頻圖像、(c)為參考視頻序列的視頻圖像；

圖3是獲取的部分運(yùn)動(dòng)目標(biāo)輪廓圖；

圖4是輪廓縮放配準(zhǔn)前后對(duì)比圖，其中，(a)為縮放配準(zhǔn)前、(b)為縮放配準(zhǔn)后；

圖5是輪廓位置配準(zhǔn)前后對(duì)比圖，其中，(a)為重合配準(zhǔn)前、(b)為重合配準(zhǔn)后；

圖6是累積距離矩陣末行曲線(xiàn)圖；

圖7是dtw累積矩陣中的匹配路徑；

圖8是查找輪廓序列終點(diǎn)幀與參考輪廓序列潛在對(duì)應(yīng)幀對(duì)比圖；

圖9是同步前后視頻拼接對(duì)比圖，其中，(a)為同步前、(b)為同步后。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行描述，以便本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計(jì)的詳細(xì)描述也許會(huì)淡化本發(fā)明的主要內(nèi)容時(shí)，這些描述在這里將被忽略。

圖1是本發(fā)明基于運(yùn)動(dòng)目標(biāo)時(shí)序信息的視頻序列同步方法的一種具體實(shí)施方式流程圖。

在本實(shí)施例中，如圖1所示，本發(fā)明基于運(yùn)動(dòng)目標(biāo)時(shí)序信息的視頻序列同步方法包括以下步驟：

步驟s1：計(jì)算單應(yīng)矩陣

針對(duì)不同攝像頭，如雙目攝像頭所拍攝視頻圖像在空間中存在的視角差異問(wèn)題，本發(fā)明引入單應(yīng)矩陣的相關(guān)概念。在計(jì)算機(jī)視覺(jué)中，平面的單應(yīng)性被定義為一個(gè)平面到另外一個(gè)平面的投影映射。從幾何意義上講，單應(yīng)矩陣是用來(lái)計(jì)算在同一個(gè)三維平面上的點(diǎn)在不同的二維圖像中的投影位置的，即確定了同一場(chǎng)景的兩幅圖像點(diǎn)之間的一一對(duì)應(yīng)關(guān)系。根據(jù)雙目攝像頭所拍攝兩幅視頻圖像之間的單應(yīng)矩陣，可將兩幅視頻圖像映射到同一平面下即查找視頻序列映射至參考視頻序列平面(反之也一樣)，這樣解決了視頻圖像之間的視角差異問(wèn)題。

1.1)、對(duì)于兩個(gè)攝像頭分別同時(shí)拍攝的、存在運(yùn)動(dòng)目標(biāo)的同一場(chǎng)景的兩段視頻序列，首先分別選取一幀視頻圖像i1、i2進(jìn)行surf(加速魯棒特征)特征點(diǎn)檢測(cè)，得到兩幀帶特征點(diǎn)的視頻圖像i1′、i2′，然后通過(guò)人工剔除其中(視頻圖像i1′、i2′中)那些位于運(yùn)動(dòng)目標(biāo)內(nèi)的特征點(diǎn)，得到視頻圖像i1″、i2″，再后將視頻圖像i1″的中特征點(diǎn)與視頻圖像i2″中的特征點(diǎn)進(jìn)行匹配，得到一系列的特征點(diǎn)匹配對(duì)；

1.2)、基于ransac(隨機(jī)抽樣一致)算法，對(duì)特征點(diǎn)匹配對(duì)進(jìn)行篩選，去除誤匹配的特征點(diǎn)匹配對(duì)，得到的特征點(diǎn)匹配對(duì)集s；

1.3)、根據(jù)特征點(diǎn)匹配對(duì)集合s，計(jì)算兩段視頻序列的視頻圖像之間的變換矩陣即單應(yīng)矩陣h，單應(yīng)矩陣h根據(jù)以下公式計(jì)算：

其中，(x1,y1)為特征點(diǎn)匹配對(duì)位于視頻圖像i1″中的特征點(diǎn)坐標(biāo)，(x2,y2)特征點(diǎn)匹配對(duì)位于視頻圖像i2″中的特征點(diǎn)坐標(biāo)。

單應(yīng)矩陣h是通過(guò)將特征點(diǎn)匹配對(duì)集合s的所有特征點(diǎn)匹配對(duì)代入公式(1)中，然后計(jì)算得到。計(jì)算時(shí)，可以通過(guò)多組(根據(jù)特征點(diǎn)匹配對(duì)數(shù)量確定)，每組7個(gè)特征點(diǎn)匹配對(duì)構(gòu)建方程組，計(jì)算出多組單應(yīng)矩陣h的參數(shù)h1～h7，最后平均得到。

步驟s2：將查找視頻序列映射至參考視頻序列平面

取視頻序列v2中長(zhǎng)度不小于運(yùn)動(dòng)目標(biāo)一個(gè)運(yùn)動(dòng)周期的小段視頻序列為查找視頻序列vs，將視頻序列v1作為參考視頻序列vr。查找視頻序列vs的長(zhǎng)度l小于參考視頻序列vr的長(zhǎng)度m，以便在參考視頻序列vr中找到其匹配視頻序列。

根據(jù)公式(1)中得到的單應(yīng)矩陣h，將查找視頻序列vs映射至參考視頻序列vr所在平面，即查找視頻序列vs中的每一幀視頻圖像的每個(gè)像素點(diǎn)坐標(biāo)作為(x2,y2)代入公式(1)中，計(jì)算出其新的像素點(diǎn)坐標(biāo)(x1,y1)，得到查找視頻序列vs′。

在本實(shí)施例中，映射前后的查找視頻序列的視頻圖像與參考視頻序列的視頻圖像如圖2所示。從圖2可以看出，映射后的查找視頻序列的視頻圖像比映射前出現(xiàn)了一定的邊沿?fù)p失，這是由于不同攝像頭所拍攝圖像在空間中存在的視角差異造成的，映射后的視頻圖像可以與參考視頻圖像進(jìn)行拼接。

步驟s3：背景減除與獲取運(yùn)動(dòng)目標(biāo)輪廓

基于混合高斯背景建模，針對(duì)查找視頻序列vs′和參考視頻序列vr分別獲取場(chǎng)景背景，再分別與各自對(duì)應(yīng)的視頻序列進(jìn)行背景減除處理；在背景減除結(jié)果中獲取運(yùn)動(dòng)目標(biāo)輪廓，得到兩個(gè)輪廓序列，分別為查找輪廓序列q和參考輪廓序列y。

在本實(shí)施例中，如圖3所示，獲取的部分運(yùn)動(dòng)目標(biāo)輪廓為部分運(yùn)動(dòng)人體輪廓，為了便于計(jì)算，運(yùn)動(dòng)目標(biāo)輪廓為二值化圖像。

步驟s4：基于運(yùn)動(dòng)目標(biāo)輪廓匹配對(duì)視頻序列進(jìn)行同步

4.1)、查找匹配視頻序列的終點(diǎn)幀序數(shù)

令查找輪廓序列q＝(q1,q2,…,ql)，參考輪廓序列y＝(y1,y2,…,qm)，定義價(jià)值矩陣c，其元素為：

其中，l為查找輪廓序列q的幀數(shù)，m為參考輪廓序列y的幀數(shù)，sqi,yj為輪廓qi與輪廓yj的相似度。

在本實(shí)施例中，輪廓的相似度計(jì)算如下：

4.1.1)、兩幅輪廓的縮放(尺度)配準(zhǔn)

首先，求輪廓qi與輪廓yj的r變換，然后根據(jù)r變換確定輪廓qi與輪廓yj的縮放比例。圖像進(jìn)行參數(shù)為α的尺度變換后，其r變換大小會(huì)以α³倍相對(duì)于原圖的r變換發(fā)生變化。因此，可以根據(jù)圖像r變化計(jì)算兩幅輪廓在尺度上的縮放比例。再后，根據(jù)求得的縮放比例，將兩幅輪廓縮放至同一尺度下(縮放配準(zhǔn))，兩幅輪廓縮放配準(zhǔn)前后對(duì)比圖如圖4所示。從圖4可以看出，縮放前，兩幅輪廓大小不同，縮放后大小相同，即尺度相同。

4.1.2)、兩幅輪廓的配準(zhǔn)位置

計(jì)算輪廓qi與輪廓yj內(nèi)部所有像素點(diǎn)坐標(biāo)的均值作為各自輪廓的參考中心位置，參考中心位置分別為(ax,ay)和(bx,by)。

由于輪廓的縮放和輪廓的參考中心點(diǎn)選取可能存在一定的誤差和偶然，僅僅以(ax,ay)和(bx,by)為基準(zhǔn)進(jìn)行配準(zhǔn)可能對(duì)相似度的計(jì)算產(chǎn)生較大誤差影響。

因此，我們?cè)谳喞獃j中，選取以參考中心位置(bx,by)為中心的21像素×21像素范圍，該范圍中任一個(gè)點(diǎn)(bx′,by′)均作為輪廓yj的中心位置與(ax,ay)為基準(zhǔn)進(jìn)行配準(zhǔn)，其中：

bx′∈[bx-10,bx+10],by′∈[by-10,by+10]。

由此獲得輪廓qi與輪廓yj的441種配準(zhǔn)方式。

4.1.3)、計(jì)算輪廓相似度

輪廓qi與輪廓yj完成配準(zhǔn)后可進(jìn)行相似度的計(jì)算，令輪廓內(nèi)部像素點(diǎn)為1，輪廓外部像素點(diǎn)為0，定義輪廓qi與輪廓yj的輪廓相似度sqi,yj為：

其中，qi∩yj為輪廓qi與輪廓yj中像素點(diǎn)進(jìn)行與運(yùn)算后結(jié)果為1的點(diǎn)數(shù)，qi∪yj為輪廓qi與輪廓yj中像素點(diǎn)進(jìn)行或運(yùn)算后結(jié)果為1的點(diǎn)數(shù)。即重疊部分與重疊部分加上非重疊部分的比值。

在本實(shí)施例中，輪廓qi與輪廓yj存在441種不同位置配準(zhǔn)方式，完成所有配準(zhǔn)位置相似度sqi,yj計(jì)算后，取最大值，作為輪廓qi與輪廓yj最終的相似度sqi,yj用于公式(2)的計(jì)算。

在本實(shí)施例中，輪廓位置配準(zhǔn)前后對(duì)比圖如圖5所示，從圖5可以看出，位置配準(zhǔn)后，輪廓qi與輪廓yj大部分重合在一起。

定義累積價(jià)值矩陣d，其元素根據(jù)以下方式計(jì)算得到：

第1列元素為：

其中，1≤i≤l；

第1行元素：

d1,j＝c1,j，其中，1≤j≤m；

然后，按行或按列依據(jù)以下公式得到，其他元素：

di,j＝min(di-1,j-1,di-1,j,di,j-1)+c1,j，其中，2≤i≤l，2≤j≤m(3)；

得到累積價(jià)值矩陣d后，進(jìn)行配準(zhǔn)即求查找視頻序列在參考視頻序列上的匹配視頻序列的終點(diǎn)幀序數(shù)b^*：

其中，argmin表示l行的元素dl,b取極小值，列變量b的值，即終點(diǎn)幀序數(shù)b^*。

在本實(shí)施例中，累積價(jià)值矩陣d第l行(末行)的元素dl,b構(gòu)成曲線(xiàn)如圖6所示，其中l(wèi)為查找序列長(zhǎng)度，1＜b＜m，由圖6可以觀察到，曲線(xiàn)在多處可以取得極小值，即存在多個(gè)不同幀可能是匹配視頻序列的終點(diǎn)幀。

4.2)、獲取匹配視頻序列

根據(jù)步驟4.2)中方法，獲取的匹配視頻序列的終點(diǎn)幀序數(shù)b^*多個(gè)，如果終點(diǎn)幀序數(shù)b^*小于l，則刪除，這樣得到p個(gè)終點(diǎn)幀序數(shù)b^*，記為：然后，根據(jù)最優(yōu)規(guī)整路徑(owp)算法，求得p個(gè)匹配視頻序列，其在參考視頻序列的位置分別表示為：其中，分別p個(gè)匹配視頻序列的起始點(diǎn)幀序數(shù)。

在本實(shí)施例中，如圖7所示，獲得了7個(gè)匹配視頻序列。其中，白色的線(xiàn)條為查找輪廓序列與參考輪廓序列的對(duì)應(yīng)關(guān)系即規(guī)整路徑。

4.3)、篩選匹配視頻序列

設(shè)定一個(gè)閾值slope，如果匹配視頻序列的斜率不滿(mǎn)足：

則予以剔除。此外，匹配視頻序列的數(shù)量為p*；

再分別計(jì)算經(jīng)過(guò)斜率篩選的每個(gè)匹配視頻序列與查找視頻序列q＝(q1,q2,…,ql)中對(duì)應(yīng)幀基于r變換的縮放比例其中，計(jì)算每個(gè)匹配視頻序列中所有幀的縮放比例均值α^p：

α^p最小即均值最接近1的匹配視頻序列即為最終篩選得到的匹配視頻序列。

在具體實(shí)施過(guò)程，匹配視頻序列的長(zhǎng)度與查找視頻序列長(zhǎng)度不一致，則可以采用動(dòng)態(tài)時(shí)間規(guī)整算法，將查找視頻序列長(zhǎng)度規(guī)整到匹配視頻序列的長(zhǎng)度，則可以建立二者幀依據(jù)順序的一一對(duì)應(yīng)關(guān)系。

4.4)、計(jì)算視頻序列的時(shí)間偏差

查找視頻序列vs的第一幀序數(shù)為n，最終篩選得到的匹配視頻序列第一幀序數(shù)為m，兩個(gè)攝像頭拍攝視頻的幀率為均為f，則視頻序列的時(shí)間偏差為t＝|n-m|/f，若n>m，則查找視頻序列所在視頻在時(shí)間上落后參考視頻序列所在視頻t秒，反之，則參考視頻序列所在視頻在時(shí)間上落后查找視頻序列所在視頻t秒；

4.5)、根據(jù)得到時(shí)間偏差t對(duì)兩個(gè)攝像頭所拍視頻序列進(jìn)行調(diào)整，完成二者的同步。

實(shí)例

在本實(shí)例中，我們使用雙目攝像頭拍攝了兩段具有一定時(shí)間偏差的視頻序列進(jìn)行測(cè)試。其中，一段作為參考視頻序列，長(zhǎng)度m＝122幀，序數(shù)為1至122，記為x1至x122。在另一段中，選取長(zhǎng)度不小于運(yùn)動(dòng)目標(biāo)一個(gè)運(yùn)動(dòng)周期的小段視頻序列作為查找視頻序列，其長(zhǎng)度l＝16幀，序數(shù)為35至50，記為t35至t50。

根據(jù)以上方法，對(duì)于查找視頻序列中的終點(diǎn)幀t50，我們?cè)趨⒖家曨l序列中找到的極值點(diǎn)對(duì)應(yīng)幀分別為x11,x27,x42,x58,x73,x89,x105,x120，其中x11序數(shù)小于l＝16，被剔除，即這些幀是潛在匹配視頻序列的終點(diǎn)幀，其輪廓對(duì)比如圖8所示。

使用最優(yōu)規(guī)整路徑算法，通過(guò)這些終點(diǎn)幀計(jì)算得到其相應(yīng)的匹配視頻序列，再通過(guò)匹配視頻序列的篩選方法，計(jì)算得到最終匹配視頻序列為x58所對(duì)應(yīng)匹配視頻序列，具體為x43至x58幀。所以，查找視頻序列對(duì)應(yīng)視頻的第35幀與參考序列對(duì)應(yīng)視頻的43幀對(duì)應(yīng)。在本實(shí)施例中，視頻幀率為29幀/秒，故查找視頻序列所在視頻在時(shí)間上領(lǐng)先參考視頻序列所在視頻約0.276秒。雙目攝像頭所拍攝視頻在進(jìn)行同步處理前后的拼接效果如圖9所示，從圖9中對(duì)比可以看出，未經(jīng)同步處理的視頻在拼接后，運(yùn)動(dòng)目標(biāo)通過(guò)拼接過(guò)渡區(qū)域時(shí)會(huì)出現(xiàn)明顯的目標(biāo)割裂現(xiàn)象，而經(jīng)過(guò)同步處理后，運(yùn)動(dòng)目標(biāo)在通過(guò)拼接過(guò)渡區(qū)域是無(wú)明顯割裂現(xiàn)象。

盡管上面對(duì)本發(fā)明說(shuō)明性的具體實(shí)施方式進(jìn)行了描述，以便于本技術(shù)領(lǐng)域的技術(shù)人員理解本發(fā)明，但應(yīng)該清楚，本發(fā)明不限于具體實(shí)施方式的范圍，對(duì)本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)講，只要各種變化在所附的權(quán)利要求限定和確定的本發(fā)明的精神和范圍內(nèi)，這些變化是顯而易見(jiàn)的，一切利用本發(fā)明構(gòu)思的發(fā)明創(chuàng)造均在保護(hù)之列。