專利名稱：一種物體跟蹤方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及物體跟蹤，更具體地講，涉及一種使用三維模型和三維紋理進(jìn)行物體跟蹤的方法和設(shè)備。
背景技術(shù)：
根據(jù)目標(biāo)表達(dá)方式的不同，常見的物體跟蹤方法可以分為基于外觀的方法和基于特征的方法。在基于外觀的跟蹤方法中，模型和輸入圖像中被跟蹤目標(biāo)的整個(gè)外觀紋理圖像都參與匹配過程，通過最小化二者之間的差距找到狀態(tài)參數(shù)?；谔卣鞯姆椒ㄍǔ＿x擇一些容易跟蹤，且對光照、角度、變形等比較魯棒的圖像特征，如顏色、邊緣、角點(diǎn)等，通過這些特征獲得物體狀態(tài)的估計(jì)。物體跟蹤算法還可以被分為確定性的方法和隨機(jī)性的方法兩類。確定性方法有梯度下降法，最大期望算法，回歸技術(shù)等。隨機(jī)方法有Condensation算法，動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)寸。物體跟蹤算法還可以分為基于運(yùn)動(dòng)的方法和基于模型的方法。在基于運(yùn)動(dòng)的方法中，首先使用光流算法，或者基于塊結(jié)構(gòu)的運(yùn)動(dòng)估計(jì)算法，或者基于圖像特征匹配的方法，估計(jì)出前后幀之間物體或者物體上某些部分的位移。然后，根據(jù)位移信息計(jì)算目標(biāo)模型的運(yùn)動(dòng)參數(shù)。在基于模型的跟蹤方法中，使用模型描述目標(biāo)狀態(tài)，通過改變模型參數(shù)，可以使模型描述與當(dāng)前輸入圖像中相應(yīng)信息之間的誤差最小，實(shí)現(xiàn)對物體的跟蹤。WO 2008/106725介紹了一種對三維人臉進(jìn)行實(shí)時(shí)跟蹤的方法。這是一種基于特征的方法。使用當(dāng)前模型參數(shù)，如位置、姿態(tài)、形狀等，可以渲染出處于此種參數(shù)條件下的人臉圖像，從圖像上選擇有利于跟蹤的角點(diǎn)特征，并對每個(gè)特征點(diǎn)在輸入圖像上尋找對應(yīng)的位置，從而使用特征點(diǎn)的對應(yīng)關(guān)系，計(jì)算出圖像中的人臉相對于當(dāng)前模型參數(shù)的變化，實(shí)現(xiàn)跟
S示ο然而，在現(xiàn)有的物體跟蹤方法中，需要使用從大量訓(xùn)練樣本學(xué)習(xí)得到模型。這種基于模型學(xué)習(xí)的方法存在的主要問題是，模型所描述對象的范圍受到訓(xùn)練模型時(shí)使用的樣本的限制，模型無法表達(dá)出樣本集中沒有出現(xiàn)過的模式。對于物體跟蹤來說，如果目標(biāo)形變的范圍或方式超出了樣本集中所包含的內(nèi)容，由于模型無法跟蹤目標(biāo)的變化，會(huì)導(dǎo)致跟蹤中斷。此外，在現(xiàn)有的跟蹤方法中，被跟蹤目標(biāo)被假設(shè)為剛性物體。即在跟蹤過程中，物體的形狀不發(fā)生變化，只有位置和尺寸發(fā)生變化。然而，很多實(shí)際物體(如人臉、人體器官等)均為非剛性物體。由于個(gè)體差異的存在，其形狀和表觀本來就存在差異，又可能在運(yùn)動(dòng)過程中產(chǎn)生形狀的改變，使得跟蹤的難度增加。此外，在現(xiàn)有的跟蹤方法中，被跟蹤目標(biāo)的面外旋轉(zhuǎn)角度必須在一個(gè)比較小的范圍內(nèi)，如果超出了這一范圍，由于目標(biāo)在圖像中的外觀變化過大，就會(huì)導(dǎo)致跟蹤中斷。以人臉為例，大部分跟蹤方法對于正面人臉上的特征，如眼睛、眉毛、嘴等，具有良好的跟蹤能力。然而如果頭部姿態(tài)發(fā)生變化，圖像中的人臉不再是正面情況時(shí)，跟蹤效果就會(huì)變差。
因此，需要一種能夠即使被跟蹤目標(biāo)在跟蹤過程中發(fā)生形狀改變并且姿態(tài)變化很大的情況下也能實(shí)現(xiàn)精確跟蹤的方法和設(shè)備。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種物體跟蹤方法和設(shè)備，該物體跟蹤方法和設(shè)備在被跟蹤目標(biāo)在跟蹤過程中發(fā)生形狀改變并且姿態(tài)變化很大的情況下也能實(shí)現(xiàn)精確跟蹤，從而獲得被跟蹤目標(biāo)的位置、姿態(tài)和形狀變化參數(shù)。本發(fā)明的一方面提供一種物體跟蹤方法，所述方法包括接收用于跟蹤的圖像；基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)；在跟蹤當(dāng)前幀圖像中的被跟蹤對象時(shí)，根據(jù)在先前幀圖像中獲得的三維形狀模型的參數(shù)，從紋理模板庫中選擇紋理模板，以對當(dāng)前幀圖像中的被跟蹤對象進(jìn)行跟蹤；更新三維形狀模型的參數(shù)，以使得從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與選擇的紋理模板對齊至第一預(yù)定程度。所述方法還可包括根據(jù)更新的三維形狀模型的參數(shù)確定當(dāng)前幀圖像是否是關(guān)鍵幀；當(dāng)確定當(dāng)前幀圖像為關(guān)鍵幀時(shí)，基于更新了參數(shù)的三維形狀模型重新獲得被跟蹤物體的規(guī)范化紋理；將基于更新了參數(shù)的三維形狀模型而重新獲得的規(guī)范化紋理設(shè)置為紋理模板，以產(chǎn)生或更新與更新的參數(shù)對應(yīng)的紋理模板，其中，當(dāng)確定當(dāng)前幀圖像為非關(guān)鍵幀時(shí)，結(jié)束對當(dāng)前幀的跟蹤。三維形狀模型的參數(shù)可包括位置參數(shù)、姿態(tài)參數(shù)和形變參數(shù)。在先前幀圖像中獲得的三維形狀模型的參數(shù)可以是姿態(tài)參數(shù)。將三維形狀模型的頂點(diǎn)投影到圖像上，連接投影在圖像上的頂點(diǎn)形成網(wǎng)格，該網(wǎng)格所覆蓋的像素作為被跟蹤物體的紋理，通過去除該紋理的形變特性而獲得規(guī)范化紋理。三維形狀模型的三維姿態(tài)空間可被劃分多個(gè)區(qū)域，每個(gè)區(qū)域表示一個(gè)姿態(tài)范圍并且能夠?qū)?yīng)于一個(gè)紋理模板，存在的對應(yīng)的紋理模板的集合形成紋理模板庫。判斷當(dāng)前幀圖像是否是關(guān)鍵幀的步驟可包括當(dāng)更新的參數(shù)中的姿態(tài)參數(shù)所在的區(qū)域沒有對應(yīng)的紋理模板時(shí)，確定當(dāng)前幀圖像是關(guān)鍵幀。判斷當(dāng)前幀圖像是否是關(guān)鍵幀的步驟還可包括當(dāng)更新的參數(shù)中的姿態(tài)參數(shù)所在的區(qū)域存在對應(yīng)的紋理模板時(shí)，當(dāng)更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)比該對應(yīng)的紋理模板被生成時(shí)三維形狀模型的姿態(tài)更接近該對應(yīng)的區(qū)域的中心的坐標(biāo)所表示的姿態(tài)時(shí)，確定當(dāng)前幀圖像是關(guān)鍵幀。判斷當(dāng)前幀圖像是否是關(guān)鍵幀的步驟還可包括確定與更新的參數(shù)中的姿態(tài)參數(shù)對應(yīng)的區(qū)域；確定該對應(yīng)的區(qū)域是否存在對應(yīng)的紋理模板；如果存在對應(yīng)的紋理模板，則確定更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)是否比該對應(yīng)的紋理模板被生成時(shí)三維形狀模型的姿態(tài)更接近該對應(yīng)的區(qū)域的中心的坐標(biāo)所表示的姿態(tài)；如果確定不更接近，則將當(dāng)前幀設(shè)置為非關(guān)鍵幀。判斷當(dāng)前幀圖像是否是關(guān)鍵幀的步驟還可包括如果確定更接近，則確定從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應(yīng)的紋理模板是否對齊到至第二預(yù)定程度；如果確定對齊至第二預(yù)定程度，將當(dāng)前幀設(shè)置為關(guān)鍵幀；如果確定沒有對齊至第二預(yù)定程度，則將當(dāng)前幀設(shè)置為非關(guān)鍵幀；如果確定更接近，則在確定從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應(yīng)的紋理模板是否對齊到至第二預(yù)定程度之前，確定更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)是否比在前一幀圖像更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)更遠(yuǎn)離該對應(yīng)的區(qū)域的中心的坐標(biāo)所表示的姿態(tài)；如果確定更遠(yuǎn)離，則確定從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應(yīng)的紋理模板是否對齊到至第二預(yù)定程度；如果確定不更遠(yuǎn)離，則將當(dāng)前幀設(shè)置為非關(guān)鍵幀。判斷當(dāng)前幀圖像是否是關(guān)鍵幀的步驟還可包括如果不存在對應(yīng)的紋理模板，則確定從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應(yīng)的紋理模板是否對齊到至第二預(yù)定程度；如果確定對齊至第二預(yù)定程度，將當(dāng)前幀設(shè)置為關(guān)鍵幀；如果確定沒有對齊至第二預(yù)定程度，則將當(dāng)前幀設(shè)置為非關(guān)鍵幀。第一預(yù)定程度可小于等于第二預(yù)定程度?；诘谝粠瑘D像初始化被跟蹤物體的三維形狀模型的參數(shù)的步驟可包括通過調(diào)整三維形狀模型的參數(shù)使得三維形狀模型的頂點(diǎn)投影到第一幀圖像上時(shí)與第一幀圖像上的對應(yīng)頂點(diǎn)重合至預(yù)定程度。形變參數(shù)可包括個(gè)性化形變參數(shù)和運(yùn)動(dòng)形變參數(shù)?；诘谝粠瑘D像初始化被跟蹤物體的三維形狀模型的參數(shù)的步驟可包括通過調(diào)整個(gè)性化形變參數(shù)、位置參數(shù)和姿態(tài)參數(shù)使得三維形狀模型的頂點(diǎn)投影到第一幀圖像上時(shí)與第一幀圖像上的對應(yīng)頂點(diǎn)重合至預(yù)定程度。將三維形狀模型的頂點(diǎn)投影到圖像上，連接投影在圖像上的頂點(diǎn)形成網(wǎng)格，該網(wǎng)格所覆蓋的像素作為被跟蹤物體的紋理，通過去除該紋理的形變特性而獲得規(guī)范化紋理，其中，通過去除該紋理的形變特性而獲得規(guī)范化紋理的步驟包括將在形變參數(shù)為零的條件下的三維形狀模型的頂點(diǎn)投影到二維平面，根據(jù)每個(gè)網(wǎng)格的頂點(diǎn)的坐標(biāo)與每個(gè)網(wǎng)格所覆蓋的像素的位置關(guān)系，將每個(gè)網(wǎng)格所覆蓋的像素變換到該二維平面，從而得到規(guī)范化紋理。三維形狀模型的形狀可被表示如下S = & + Σ + Σ bAi
i i其中，&為平均形狀，Σ 為為可變部分，可變部分包括個(gè)性化形變
IJ
和運(yùn)動(dòng)形變'Ai和B」為形變的基向量，ai為個(gè)性化形變參數(shù)，h為運(yùn)動(dòng)形變參
ι./·當(dāng)選擇的與在先前幀圖像中獲得的三維形狀模型的參數(shù)對應(yīng)的紋理模板被生成時(shí)三維形狀模型的姿態(tài)與在跟蹤先前幀圖像時(shí)使用的紋理模板被生成時(shí)三維形狀模型的姿態(tài)之差在預(yù)定范圍內(nèi)時(shí)，使用在跟蹤先前幀圖像時(shí)使用的紋理模板。從紋理模板庫中選擇具有與在先前幀圖像中獲得的三維形狀模型的參數(shù)所表示的姿態(tài)相接近的姿態(tài)的紋理模板，以對當(dāng)前幀圖像中的被跟蹤對象進(jìn)行跟蹤。本發(fā)明的另一方面提供一種物體跟蹤設(shè)備，所述設(shè)備包括接收單元，接收用于跟蹤的圖像；初始化單元，基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)；紋理模板選擇單元，在跟蹤當(dāng)前幀圖像中的被跟蹤對象時(shí)，根據(jù)在先前幀圖像中獲得的三維形狀模型的參數(shù)，從紋理模板庫中選擇紋理模板，以對當(dāng)前幀圖像中的被跟蹤對象進(jìn)行跟蹤；更新單元，更新三維形狀模型的參數(shù)，以使得從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與選擇的紋理模板對齊至第一預(yù)定程度。
7
所述物體跟蹤設(shè)備還可包括關(guān)鍵幀確定單元，根據(jù)更新的三維形狀模型的參數(shù)確定當(dāng)前幀圖像是否是關(guān)鍵幀；規(guī)范化紋理計(jì)算單元，在關(guān)鍵幀確定單元確定當(dāng)前幀圖像為關(guān)鍵幀時(shí)，基于更新了參數(shù)的三維形狀模型重新獲得被跟蹤物體的規(guī)范化紋理；紋理模板設(shè)置單元，將基于更新了參數(shù)的三維形狀模型而重新獲得的規(guī)范化紋理設(shè)置為紋理模板，以產(chǎn)生或更新與更新的參數(shù)對應(yīng)的紋理模板，其中，當(dāng)關(guān)鍵幀確定單元確定當(dāng)前幀圖像為非關(guān)鍵幀時(shí)，結(jié)束對當(dāng)前幀的跟蹤。在本發(fā)明中，為了使被跟蹤物體在產(chǎn)生較大幅度姿態(tài)變化時(shí)仍能被跟蹤到，使用了三維形狀模型和多個(gè)紋理模板。用三維形狀模型的位置和姿態(tài)參數(shù)描述被跟蹤物體的位置和姿態(tài)狀態(tài)，當(dāng)被跟蹤物體形狀變化時(shí)，三維形狀模型的狀態(tài)參數(shù)同步變化，實(shí)現(xiàn)較大幅度姿態(tài)變化條件下的穩(wěn)定跟蹤。多個(gè)紋理模板用來表示被跟蹤物體在不同姿態(tài)條件下的外觀狀態(tài)，提高跟蹤方法對物體姿態(tài)變化的穩(wěn)定性。此外，為了使被跟蹤物體發(fā)生形變時(shí)仍能被跟蹤到，本發(fā)明使用的三維形狀模型中包含了變形參數(shù)。也就是說，在跟蹤過程中，三維形狀模型與被跟蹤物體同步產(chǎn)生形變，用三維形狀模型的形變參數(shù)描述物體的形變狀態(tài)。此外，為了減少跟蹤方法對于訓(xùn)練樣本的依賴，本發(fā)明中使用的形狀模型，既可以通過統(tǒng)計(jì)的方式獲得，也可以使用手工設(shè)計(jì)的方式獲得。另外，跟蹤過程中所依賴的紋理信息，在跟蹤起始階段及跟蹤過程中，從輸入圖像中獲得，從而減少對訓(xùn)練樣本的依賴。


通過下面結(jié)合附圖進(jìn)行的詳細(xì)描述，本發(fā)明的上述和其它目的、特點(diǎn)和優(yōu)點(diǎn)將會(huì)變得更加清楚，其中圖1示出根據(jù)本發(fā)明實(shí)施例的物體跟蹤設(shè)備的框圖；圖2示出根據(jù)本發(fā)明實(shí)施例的物體跟蹤方法；圖3示出根據(jù)本發(fā)明實(shí)施例的獲得初始紋理模板的流程圖；圖4示出根據(jù)本發(fā)明實(shí)施例的調(diào)整三維形狀模型的參數(shù)的流程圖；圖5示出根據(jù)本發(fā)明實(shí)施例的劃分三維姿態(tài)空間的示意圖；圖6示出根據(jù)本發(fā)明實(shí)施例的判斷當(dāng)前幀圖像是否是關(guān)鍵幀的流程圖。
具體實(shí)施例方式現(xiàn)在，將參照附圖更充分地描述不同的示例實(shí)施例。圖1示出根據(jù)本發(fā)明實(shí)施例的物體跟蹤設(shè)備的框圖。如圖1所示，根據(jù)本發(fā)明的物體跟蹤設(shè)備包括接收單元101、初始化單元102、紋理模板選擇單元103和更新單元104。接收單元101接收用于跟蹤的圖像，該圖像可由各種圖像獲取裝置產(chǎn)生，例如，相機(jī)、攝像機(jī)等。初始化單元102基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)。紋理模板選擇單元103在跟蹤當(dāng)前幀圖像中的被跟蹤對象時(shí)，基于在跟蹤先前幀圖像時(shí)獲得的三維形狀模型的參數(shù)，從紋理模板庫中選擇合適的紋理模板，以跟蹤當(dāng)前幀圖像中的被跟蹤對象。
更新單元104更新三維形狀模型的參數(shù)，以使得從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與選擇的紋理模板對齊至預(yù)定程度。在另外的實(shí)施例中，根據(jù)本發(fā)明的物體跟蹤設(shè)備還可包括關(guān)鍵幀確定單元105、規(guī)范化紋理計(jì)算單元106和紋理模板設(shè)置單元107。關(guān)鍵幀確定單元105根據(jù)更新的三維形狀模型的參數(shù)確定當(dāng)前幀圖像是否是關(guān)鍵幀，以生產(chǎn)新的紋理模板或更新當(dāng)前存在的紋理模板。規(guī)范化紋理計(jì)算單元106在關(guān)鍵幀確定單元105確定當(dāng)前幀圖像為關(guān)鍵幀時(shí)，基于更新了參數(shù)的三維形狀模型重新獲得被跟蹤物體的規(guī)范化紋理。紋理模板設(shè)置單元107將基于更新了參數(shù)的三維形狀模型而重新獲得的規(guī)范化紋理設(shè)置為紋理模板，以產(chǎn)生或更新與更新的參數(shù)對應(yīng)的紋理模板。圖2示出根據(jù)本發(fā)明實(shí)施例的物體跟蹤方法。下面根據(jù)圖2詳細(xì)描述本發(fā)明的物體跟蹤方法，同時(shí)更詳細(xì)地說明圖1的各單元所執(zhí)行的處理和具有的功能。在步驟S101，接收單元101接收用于跟蹤的圖像。該圖像可由各種圖像獲取裝置產(chǎn)生，例如，相機(jī)、攝像機(jī)等。在步驟S102，初始化單元102基于輸入的第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)。在本發(fā)明中，被跟蹤物體的三維形狀模型預(yù)先被建立，三維形狀模型的參數(shù)可包括位置參數(shù)、姿態(tài)參數(shù)和形變參數(shù)，從而能夠?qū)ξ矬w進(jìn)行位置、姿態(tài)和形變的跟蹤。將三維形狀模型的頂點(diǎn)投影到輸入的圖像上，連接投影在圖像上的頂點(diǎn)形成網(wǎng)格，該網(wǎng)格所覆蓋的像素作為被跟蹤物體的紋理，將該紋理的坐標(biāo)變換到形變參數(shù)為零的三維形狀模型得到規(guī)范化紋理。在初始化被跟蹤物體的三維形狀模型的參數(shù)時(shí)，初始化單元102調(diào)整三維形狀模型的參數(shù)，使得三維形狀模型的頂點(diǎn)投影到第一幀圖像上時(shí)與第一幀圖像上的頂點(diǎn)重合。當(dāng)實(shí)現(xiàn)重合時(shí)獲得的三維形狀模型的參數(shù)就是初始化的三維形狀模型的參數(shù)。初始化的參數(shù)能夠準(zhǔn)確反映被跟蹤物體的初始狀態(tài)。通過調(diào)整三維形狀模型的參數(shù)，使得三維形狀模型的頂點(diǎn)投影到第一幀圖像上時(shí)與第一幀圖像上的頂點(diǎn)重合時(shí)獲得的被跟蹤物體的紋理的規(guī)范化紋理為初始規(guī)范化紋理。在跟蹤過程中，如果三維形狀模型的參數(shù)是準(zhǔn)確的，即三維形狀模型上的每個(gè)頂點(diǎn)始終與被跟蹤物體上固定的位置對應(yīng)，則按照上述方式得到的規(guī)范化紋理具有不變性。不變性的含義是，在跟蹤過程中，忽略光照條件變化的影響，同一物體的規(guī)范化紋理不隨物體位置、姿態(tài)、形變參數(shù)的改變而改變。因此，反過來，規(guī)范化紋理是否保持不變，可以衡量作為跟蹤結(jié)果的三維模型的參數(shù)是否準(zhǔn)確?？梢詫⑷S形狀模型的參數(shù)準(zhǔn)確時(shí)獲得的規(guī)范化紋理保存下來，作為實(shí)現(xiàn)跟蹤的依據(jù)的紋理模板。當(dāng)通過調(diào)整三維形狀模型的參數(shù)使得被跟蹤物體的規(guī)范化紋理與紋理模板對齊時(shí)，可使用此時(shí)的三維形狀模型的參數(shù)來表示被跟蹤物體的狀態(tài)(即，位置、姿態(tài)和形變中的至少一個(gè))。實(shí)際上，由于非均勻光照和可視范圍的影響，即使模型參數(shù)準(zhǔn)確，在物體姿態(tài)不同時(shí)，規(guī)范化紋理也是不同的。因此，需要對于不同的物體姿態(tài)來設(shè)置不同的紋理模板，紋理模板的集合稱為紋理模板庫。在一個(gè)示例中，三維形狀模型可通過向量被表示。三維形狀模型可包括被跟蹤物體的頂點(diǎn)在模型坐標(biāo)系中的三維坐標(biāo)S = (x1 Y1, Z1, x2, J2, Z2, ···, xn, yn, ζη)τ,其中，η為頂點(diǎn)的數(shù)量，(Xi，Zi)T為第i個(gè)頂點(diǎn)的坐標(biāo)。在本發(fā)明中，三維形狀模型的形狀被劃分為平均形狀和可變部分。由于形狀實(shí)質(zhì)上可由坐標(biāo)表示，因此三維坐標(biāo)S可被轉(zhuǎn)換為包括平均形狀和可變部分，表示如下S = S0+J^j CtiAi + bjBj
其中，&為被跟蹤物體的平均形狀，為被跟蹤物體的可變
部分?？勺儾糠挚砂▊€(gè)性化形變4.和適動(dòng)形敘Σ6/5/，個(gè)性化形變表示
. · _ ..... / /
被跟蹤物體相對于這一類物體平均形狀之間的差別，運(yùn)動(dòng)形變表示跟蹤過程中被跟蹤物體的形狀可能發(fā)生的變化。Ai和B」為形變的基向量，Bi和h為形變系數(shù)。形變系數(shù) 和bj也可分別用向量a和b表示，向量a和b為三維形狀模型的形變參數(shù)。即，在本發(fā)明中，形變參數(shù)包括個(gè)性化形變參數(shù)a和運(yùn)動(dòng)形變參數(shù)b。三維形狀模型的頂點(diǎn)坐標(biāo)與其在圖像平面上的投影坐標(biāo)之間的關(guān)系可被表示為(ui Vi)1 = M(xi; Yi, zi;l)T其中，M為投影變換矩陣，由三個(gè)旋轉(zhuǎn)角度θχ、0y、θζ，兩個(gè)平移系數(shù)、、~，和一個(gè)縮放系數(shù)s確定。投影變換相關(guān)的這六個(gè)參數(shù)用向量q表示，即，q= (θχ, 0y, θζ, tx, ty, tz)T0三維形狀模型的位置參數(shù)和姿態(tài)參數(shù)可由向量q表示，其中，θχ、0y> θζ為姿態(tài)參數(shù)η，、、、、億為位置參數(shù)(1?？梢詫⑷S形狀模型的頂點(diǎn)投影到圖像中的被跟蹤物體上，將通過連接投影在圖像上的頂點(diǎn)而形成的網(wǎng)格所覆蓋的圖像上的像素作為被跟蹤物體的紋理。將a = b = 0條件下的三維形狀模型的頇點(diǎn)投影到二維平面，根據(jù)每個(gè)網(wǎng)格的頂點(diǎn)的坐標(biāo)與每個(gè)網(wǎng)格所覆蓋的像素的位置關(guān)系，將每個(gè)網(wǎng)格所覆蓋的像素(即，被跟蹤物體的紋理)變換到該二維平面，從而得到規(guī)范化紋理。即，通過去除被跟蹤物體的紋理的形變特性而獲得規(guī)范化紋理。例如，當(dāng)網(wǎng)格為三角形時(shí)，根據(jù)每個(gè)三角形網(wǎng)格的三個(gè)頂點(diǎn)的坐標(biāo)與每個(gè)三角形網(wǎng)格所覆蓋的像素的位置關(guān)系，將每個(gè)三角形網(wǎng)格所覆蓋的像素變換到該二維平面，從而得到規(guī)范化紋理。根據(jù)輸入的圖像I和模型參數(shù)計(jì)算規(guī)范化紋理χ的過程可被表示如下χ = ff(I, a, b, q)在跟蹤過程中，個(gè)性化形變參數(shù)a不發(fā)生改變，上述關(guān)系式可以簡化為χ = ff(I, b, q)在完成三維形狀模型的參數(shù)的初始化并且獲得初始的紋理模板之后，就可以進(jìn)行
足艮S宗。在步驟S103，開始進(jìn)行跟蹤，紋理模板選擇單元103根據(jù)三維形狀模型的當(dāng)前參數(shù)，從紋理模板庫中選擇合適的紋理模板。即，在對當(dāng)前幀中的被跟蹤對象進(jìn)行跟蹤時(shí)，紋理模板選擇單元103使用在跟蹤先前幀圖像時(shí)獲得的三維形狀模型的參數(shù)，從紋理模板庫
10中選擇與之對應(yīng)的紋理模板。在跟蹤第二幀圖像時(shí)，由于三維形狀模型的參數(shù)還沒有被調(diào)整，因此三維形狀模型的當(dāng)前參數(shù)就是初始化的參數(shù)。類似地，在跟蹤第三幀圖像時(shí)，三維形狀模型的當(dāng)前參數(shù)就是在跟蹤第二幀輸入圖像時(shí)調(diào)整后的參數(shù)；在跟蹤第i幀圖像時(shí)，三維形狀模型的當(dāng)前參數(shù)就是在跟蹤第i-Ι幀圖像時(shí)調(diào)整后的參數(shù)。根據(jù)前面所述，當(dāng)被跟蹤物體處于不同的姿態(tài)時(shí)，需要使用不同的紋理模板。艮口，在跟蹤過程中，由于可視范圍有限以及非均勻光照的影響，當(dāng)物體姿態(tài)發(fā)生變化時(shí)，產(chǎn)生的規(guī)范化紋理圖像也會(huì)發(fā)生變化，與生成的初始紋理模板之間會(huì)存在偏差，導(dǎo)致跟蹤過程出現(xiàn)誤差。物體姿態(tài)與生成的初始紋理模板時(shí)的姿態(tài)差別越大，這種偏差就越顯著。物體姿態(tài)變化引起的規(guī)范化紋理圖像與紋理模板之間的偏差是不可避免的，為了減少這種偏差對跟蹤的影響，本發(fā)明針對不同的姿態(tài)使用不同的紋理模板。例如，可以劃分多個(gè)姿態(tài)范圍，一個(gè)姿態(tài)范圍可使用一個(gè)紋理模板。可根據(jù)前一幀圖像中被跟蹤物體的姿態(tài)來選擇對應(yīng)的紋理模板。由于三維形狀模型的當(dāng)前參數(shù)實(shí)際上表示前一幀圖像中被跟蹤物體的狀態(tài)，因此可根據(jù)三維形狀模型的當(dāng)前參數(shù)中的姿態(tài)參數(shù)來確定對應(yīng)的紋理模板。在步驟S104，更新單元104更新三維形狀模型的參數(shù)，使得從當(dāng)前幀圖像獲得的規(guī)范化紋理與在步驟S103選擇的紋理模板對齊。此時(shí)，獲得的三維形狀模型的參數(shù)表示當(dāng)前幀圖像中被跟蹤物體的狀態(tài)。在本發(fā)明的一個(gè)實(shí)施例中，可預(yù)先設(shè)置不同姿態(tài)的紋理模板形成紋理模板庫。利用姿態(tài)接近在跟蹤先前幀圖像時(shí)獲得的三維形狀模型的參數(shù)所表示的姿態(tài)的紋理模板來跟蹤當(dāng)前幀。優(yōu)選地，選擇姿態(tài)最接近在跟蹤先前幀圖像時(shí)獲得的三維形狀模型的參數(shù)所表示的姿態(tài)的紋理模板。然而，由于預(yù)先設(shè)置不同姿態(tài)的紋理模板需要大量的具有不同姿態(tài)的被跟蹤物體的圖像作為樣本，并分別獲得各個(gè)紋理模板，增加了工作量和計(jì)算量。在本發(fā)明的另一實(shí)施例中，可在跟蹤過程中獲得紋理模板來形成紋理模板庫，并且在跟蹤過程中可更新已經(jīng)存在的紋理模板。下面結(jié)合圖2和圖5詳細(xì)描述在跟蹤過程中獲得以及更新紋理模板的處理。如圖5所示，在三維姿態(tài)空間劃分多個(gè)區(qū)域，每個(gè)區(qū)域表示一個(gè)姿態(tài)范圍。例如，當(dāng)旋轉(zhuǎn)角度θχ、9y、θ z的變化范圍為正負(fù)90度時(shí)，每隔10度劃分一個(gè)區(qū)域，則可劃分出5832個(gè)姿態(tài)范圍。每個(gè)區(qū)域可被表示為Ci,每個(gè)區(qū)域的中心的坐標(biāo)可被表示為Pi，這里i為區(qū)域的編號。在跟蹤過程(包括初始化階段)中，每個(gè)區(qū)域可以被產(chǎn)生一個(gè)紋理模板Ti，并且每個(gè)區(qū)域的紋理模板Ti可以被更新。然而并不是每個(gè)區(qū)域一定會(huì)被產(chǎn)生紋理模板，這取決于被跟蹤物體在跟蹤過程中的姿態(tài)變化情況。存在的紋理模板的集合形成紋理模板庫。由于前面提到的初始規(guī)范化紋理是在將三維形狀模型的參數(shù)調(diào)整準(zhǔn)確的情況下獲得的，因此可以將初始規(guī)范化紋理設(shè)置為初始的紋理模板。再參照圖2，在步驟S105，關(guān)鍵幀確定單元105根據(jù)更新的三維形狀模型的參數(shù)判斷當(dāng)前幀圖像是否是關(guān)鍵幀，以產(chǎn)生新的紋理模板或更新已經(jīng)存在的紋理模板。如果在步驟S105確定當(dāng)前幀圖像為關(guān)鍵幀，則在步驟S106，規(guī)范化紋理計(jì)算單元106基于更新了參數(shù)的三維形狀模型重新計(jì)算被跟蹤物體的規(guī)范化紋理。隨后，在步驟S107，紋理模板設(shè)置單元107將在步驟S106計(jì)算的規(guī)范化紋理設(shè)置為紋理模板，以產(chǎn)生或更新與當(dāng)前幀圖像的姿態(tài)對應(yīng)的區(qū)域的紋理模板。如果在步驟S105確定當(dāng)前幀圖像為非關(guān)鍵幀，則結(jié)束對當(dāng)前幀的跟蹤過程。在該實(shí)施例中，紋理模板主要是在跟蹤過程中產(chǎn)生的，因此將在當(dāng)前幀更新的姿態(tài)參數(shù)所在的區(qū)域還沒有對應(yīng)的紋理模板時(shí)，將當(dāng)前幀設(shè)置為關(guān)鍵幀，以產(chǎn)生對應(yīng)的紋理模板。此外，在該實(shí)施例中，在跟蹤過程中更新已經(jīng)存在的紋理模板。然而在產(chǎn)生與區(qū)域?qū)?yīng)的紋理模板時(shí)，更新的姿態(tài)參數(shù)可能不是該區(qū)域的中心，而是偏離該區(qū)域的中心。這樣，在三維姿態(tài)空間中，雖然各個(gè)區(qū)域是均勻劃分的，然而各個(gè)區(qū)域?qū)?yīng)的紋理模板的姿態(tài)參數(shù)并不是均勻分布的。因此為了使得紋理模板的姿態(tài)參數(shù)在三維姿態(tài)空間中也均勻分布，當(dāng)存在對應(yīng)的紋理模板時(shí)，如果當(dāng)前幀的更新的姿態(tài)參數(shù)比該對應(yīng)的紋理模板的姿態(tài)參數(shù)更接近對應(yīng)的區(qū)域的中心，則可將通過已經(jīng)更新了參數(shù)的三維形狀模型從當(dāng)前幀獲得的規(guī)范化紋理設(shè)置為紋理模板來更新該存在的紋理模板。可選地，為了保證紋理模板的精度，在產(chǎn)生或更新紋理模板前需要確定從當(dāng)前幀獲得的規(guī)范化紋理是否達(dá)到預(yù)定的精度要求。將在下面參照圖6進(jìn)行詳細(xì)描述。圖3示出根據(jù)本發(fā)明實(shí)施例的獲得初始紋理模板的流程圖。在步驟S201，對輸入的第一幀圖像中的被跟蹤物體的關(guān)鍵點(diǎn)(或，頂點(diǎn))進(jìn)行定位。在步驟S202，通過調(diào)整三維形狀模型的參數(shù)，使得當(dāng)三維形狀模型上的與定位的關(guān)鍵點(diǎn)對應(yīng)的頂點(diǎn)投影到第一幀圖像上時(shí)，所述對應(yīng)的頂點(diǎn)與關(guān)鍵點(diǎn)對齊。在步驟S203，計(jì)算規(guī)范化紋理圖像，并將其作為初始紋理模板。其中，在步驟S202調(diào)整三維形狀模型的參數(shù)時(shí)，由于第一幀圖像還不存在運(yùn)動(dòng)變形，此時(shí)可僅調(diào)整形變參數(shù)中的個(gè)性形變參數(shù)a以及位置參數(shù)和姿態(tài)參數(shù)q，對齊過程可被表示如下
N fU λ (S \ 2E(a,q) = ‘-‘ ,
=1 vviV KtI y其中，N為要對齊的關(guān)鍵點(diǎn)的數(shù)量，Ui, Vi為三維形狀模型的頂點(diǎn)在第一幀圖像上投影的二維坐標(biāo)，S”、為定位得到的關(guān)鍵點(diǎn)的位置坐標(biāo)，E(a，q)表示對齊程度，E(a，q)越小表示對齊程度越高。在確定最優(yōu)參數(shù)a和q的時(shí)候，使用分階段優(yōu)化的方式。在每個(gè)階段之中，令優(yōu)化對象分別為參數(shù)a和q，判斷誤差E (a，q)是否小于第一預(yù)定閾值。當(dāng)誤差小于第一預(yù)定閾值時(shí)，說明優(yōu)化過程可以結(jié)束，保存這時(shí)的模型參數(shù)；否則，繼續(xù)進(jìn)行優(yōu)化a和q，直到誤差小于預(yù)定閾值或者迭代次數(shù)超過一閾值時(shí)結(jié)束調(diào)整。此時(shí)，認(rèn)為映射的三維形狀模型的頂點(diǎn)與關(guān)鍵點(diǎn)對齊或重合，即，當(dāng)達(dá)到一定對齊或重合程度時(shí)，可認(rèn)為實(shí)現(xiàn)對齊。由于根據(jù)實(shí)際情況可能需要不同的跟蹤精度，判斷是否對齊的標(biāo)準(zhǔn)可能不同，當(dāng)要求跟蹤精度高時(shí)，可減小第一預(yù)定閾值；反之，可增大第一預(yù)定閾值。換句話說，當(dāng)?shù)谝活A(yù)定閾值小時(shí)，要求的對齊程度高；當(dāng)?shù)谝活A(yù)定閾值大時(shí)，要求的對齊程度低。下面參照圖4說明調(diào)整三維形狀模型的參數(shù)。圖4示出根據(jù)本發(fā)明實(shí)施例的在獲得初始紋理模板時(shí)調(diào)整三維形狀模型的參數(shù)的流程圖。在步驟S301，調(diào)整參數(shù)q。在步驟S302，確定E (a，q)是否小于第一預(yù)定閾值。如果在步驟S302確定小于第一預(yù)定閾值，則結(jié)束調(diào)整。如果在步驟S302確定不小于第一預(yù)定閾值，則在步驟S303調(diào)整參數(shù)a。在步驟S304，確定E(a，q)是否小于第一預(yù)定閾值。如果在步驟S304確定小于第一預(yù)定閾值，則結(jié)束調(diào)整。如果在步驟S304確定不小于第一預(yù)定閾值，則進(jìn)行步驟S301?？蛇x地，圖4所示的方法還包括步驟S305，其中，確定調(diào)整次數(shù)是否小于一閾值。如果確定調(diào)整次數(shù)小于閾值，則進(jìn)行步驟S301 ；如果確定調(diào)整次數(shù)不小于閾值，則結(jié)束調(diào)離
iF. ο應(yīng)該理解，也以可首先調(diào)整參數(shù)a然后調(diào)整參數(shù)q，或者可以同時(shí)調(diào)整a和q。在圖2的步驟S 104中更新三維形狀模型的當(dāng)前參數(shù)時(shí)，也可利用圖4的分階段優(yōu)化的方式。在步驟S104調(diào)整三維形狀模型的參數(shù)時(shí)，處于跟蹤過程中，個(gè)性形變參數(shù)a不變，可針對運(yùn)動(dòng)形變參數(shù)b以及位置參數(shù)和姿態(tài)參數(shù)q進(jìn)行更新，更新過程可被表示如下E(b，q) = Il ff(I,b, q) -T || 2其中，T為在步驟S103選擇的紋理模板，I為輸入的當(dāng)前幀圖像。在優(yōu)化參數(shù)b和q的時(shí)候，使用分階段優(yōu)化的方式。在每個(gè)階段之中，令優(yōu)化對象分別為參數(shù)b或q，判斷誤差E(b，q)是否小于第二預(yù)定閾值。當(dāng)誤差小于第二預(yù)定閾值時(shí)，說明優(yōu)化過程可以結(jié)束，保存這時(shí)的模型參數(shù)；否則，繼續(xù)進(jìn)行優(yōu)化b和q，直到誤差小于第二預(yù)定閾值或者迭代次數(shù)超過一閾值時(shí)結(jié)束調(diào)整。此時(shí)，認(rèn)為規(guī)范化紋理與紋理模板對齊。此外，也可同時(shí)調(diào)整b和q。圖6示出根據(jù)本發(fā)明實(shí)施例的關(guān)鍵幀確定單元105判斷當(dāng)前幀圖像是否是關(guān)鍵幀的流程圖。在步驟S501，獲得當(dāng)前幀圖像中的被跟蹤物體的姿態(tài)參數(shù)nt?？筛鶕?jù)在圖2的步驟S104獲得的被跟蹤物體的狀態(tài)獲得姿態(tài)參數(shù)nt。在步驟S502，基于姿態(tài)參數(shù)確定對應(yīng)的區(qū)域C”即，將姿態(tài)參數(shù)所在的姿態(tài)范圍的區(qū)域確定為對應(yīng)的區(qū)域Ci。在步驟S503，確定區(qū)域Ci是否存在對應(yīng)的紋理模板凡。如果在步驟S503確定存在對應(yīng)的紋理模板Ti,則在步驟S504，確定姿態(tài)參數(shù)nt所表示的姿態(tài)是否比紋理模板Ti被生成時(shí)三維形狀模型的姿態(tài)參數(shù)Mni更接近姿態(tài)參數(shù)Pi所表示的姿態(tài)，即確定Il Ht-Pi Il < Il Mni-Pi Il。如果在步驟S504確定更接近姿態(tài)參數(shù)nt所表示的姿態(tài)，則在步驟S505確定姿態(tài)參數(shù)nt所表示的姿態(tài)是否比前一幀圖像的被跟蹤物體的姿態(tài)參數(shù)IV1所表示的姿態(tài)更遠(yuǎn)離姿態(tài)參數(shù)PiK表示的姿態(tài)，即確定IInt-PiII > Il IV1-Pi II。如果在步驟S505確定更遠(yuǎn)離姿態(tài)參數(shù)Pi所表示的姿態(tài)時(shí)，則在步驟S506，確定E(b，q)是否小于第三預(yù)定閾值。這里，第三預(yù)定閾值小于等于第二預(yù)定閾值。如果在步驟S506確定E(b，q)是小于第三預(yù)定閾值時(shí)，則在步驟S507，將當(dāng)前幀設(shè)置為關(guān)鍵幀。如果在步驟S506確定E(b，q)是不小于第三預(yù)定閾值時(shí)，則在步驟S508，將當(dāng)前幀設(shè)置為非關(guān)鍵幀。如果在步驟S503確定不存在對應(yīng)的紋理模板Ti,則進(jìn)行到步驟S506。如果在步驟S504確定沒有更接近姿態(tài)參數(shù)nt所表示的姿態(tài)，則進(jìn)行到步驟S508。
13
如果在步驟S505確定不更遠(yuǎn)離近姿態(tài)參數(shù)Pi所表示的姿態(tài)，則進(jìn)行到步驟S508，從而避免了重復(fù)建立紋理模板。在另一實(shí)施例中，可省略步驟S505。即，如果在步驟S504確定更接近姿態(tài)參數(shù)nt所表示的姿態(tài)，則進(jìn)行到步驟S506。在跟蹤過程中，需要從紋理模板庫中選擇出適當(dāng)?shù)募y理模板。選擇的依據(jù)是前一幀進(jìn)行跟蹤后得到的姿態(tài)參數(shù)IV1。即，選擇具有與姿態(tài)參數(shù)IV1接近(即，接近到預(yù)定程度)或最接近的姿態(tài)的紋理模板來跟蹤當(dāng)前幀圖像中的被跟蹤對象。例如，在所有的區(qū)域中，選擇已經(jīng)設(shè)置過紋理模板并且其中心姿態(tài)接近或最接近姿態(tài)參數(shù)IV1的區(qū)域Ci的紋理模板用于跟蹤當(dāng)前幀。換句話說，如果姿態(tài)參數(shù)IV1所在的區(qū)域存在相應(yīng)的紋理模板，則使用該紋理模板用于跟蹤當(dāng)前幀；如果姿態(tài)參數(shù)IV1所在的區(qū)域不存在相應(yīng)的紋理模板，則使用存在的紋理模板中姿態(tài)接近或最接近IV1的紋理模板來跟蹤當(dāng)前幀。當(dāng)被跟蹤物體的姿態(tài)處于兩個(gè)區(qū)域邊界時(shí)，可能發(fā)生頻繁更換紋理模板的現(xiàn)象，導(dǎo)致跟蹤結(jié)果跳動(dòng)，所以可以根據(jù)需要提高更換紋理模板所需的條件。在一個(gè)實(shí)施例中，在前一幀使用的紋理模板Th被生成時(shí)被跟蹤物體的姿態(tài)Mrv1，根據(jù)在前一幀的更新的姿態(tài)參數(shù)IV1確定的在當(dāng)前幀要使用的紋理模板為Ti,其被生成時(shí)被跟蹤物體(或三維形狀模型)的姿態(tài)Mnitl如果IlMni-IV1II-IlMrV1-IV1II在預(yù)定范圍內(nèi)，則可以仍然使用前一幀使用的紋理模板Th。在另外的實(shí)施例中，也可選擇存在的紋理模板中的生成時(shí)三維形狀模型的姿態(tài)參數(shù)接近(即，接近到預(yù)定程度)或最接近姿態(tài)參數(shù)IV1的紋理模板來跟蹤當(dāng)前幀。即，僅考慮紋理模板自身的姿態(tài)，而非紋理模板所對應(yīng)的區(qū)域的中心的姿態(tài)。在此使用的術(shù)語“單元”的意思是，但不限于，軟件和硬件組件，諸如可執(zhí)行特定任務(wù)的現(xiàn)場可編程門陣列(FPGA)或?qū)Ｓ眉呻娐?ASIC)。在本發(fā)明中，為了使被跟蹤物體在產(chǎn)生較大幅度姿態(tài)變化時(shí)仍能被跟蹤到，使用了三維形狀模型和多個(gè)紋理模板。用三維形狀模型的位置和姿態(tài)參數(shù)描述被跟蹤物體的位置和姿態(tài)狀態(tài)，當(dāng)被跟蹤物體形狀變化時(shí)，三維形狀模型的狀態(tài)參數(shù)同步變化，實(shí)現(xiàn)較大幅度姿態(tài)變化條件下的穩(wěn)定跟蹤。多個(gè)紋理模板用來表示被跟蹤物體在不同姿態(tài)條件下的外觀狀態(tài)，提高跟蹤方法對物體姿態(tài)變化的穩(wěn)定性。此外，為了使被跟蹤物體發(fā)生形變時(shí)仍能被跟蹤到，本發(fā)明使用的三維形狀模型中包含了變形參數(shù)。也就是說，在跟蹤過程中，三維形狀模型與被跟蹤物體同步產(chǎn)生形變，用三維形狀模型的形變參數(shù)描述物體的形變狀態(tài)。此外，為了減少跟蹤方法對于訓(xùn)練樣本的依賴，本發(fā)明中使用的形狀模型，既可以通過統(tǒng)計(jì)的方式獲得，也可以使用手工設(shè)計(jì)的方式獲得。另外，跟蹤過程中所依賴的紋理信息，在跟蹤起始階段及跟蹤過程中，從輸入圖像中獲得，從而減少對訓(xùn)練樣本的依賴。盡管已經(jīng)參照其示例性實(shí)施例具體顯示和描述了本發(fā)明，但是本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離權(quán)利要求所限定的本發(fā)明的精神和范圍的情況下，可以對其進(jìn)行形式和細(xì)節(jié)上的各種改變。
權(quán)利要求
1.一種物體跟蹤方法，所述方法包括接收用于跟蹤的圖像；基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)；在跟蹤當(dāng)前幀圖像中的被跟蹤對象時(shí)，根據(jù)在先前幀圖像中獲得的三維形狀模型的參數(shù)，從紋理模板庫中選擇紋理模板，以對當(dāng)前幀圖像中的被跟蹤對象進(jìn)行跟蹤；更新三維形狀模型的參數(shù)，以使得從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與選擇的紋理模板對齊至第一預(yù)定程度。
2.根據(jù)權(quán)利要求1所述的方法，還包括根據(jù)更新的三維形狀模型的參數(shù)確定當(dāng)前幀圖像是否是關(guān)鍵幀；當(dāng)確定當(dāng)前幀圖像為關(guān)鍵幀時(shí)，基于更新了參數(shù)的三維形狀模型重新獲得被跟蹤物體的規(guī)范化紋理；將基于更新了參數(shù)的三維形狀模型而重新獲得的規(guī)范化紋理設(shè)置為紋理模板，以產(chǎn)生或更新與更新的參數(shù)對應(yīng)的紋理模板，其中，當(dāng)確定當(dāng)前幀圖像為非關(guān)鍵幀時(shí)，結(jié)束對當(dāng)前幀的跟蹤。
3.根據(jù)權(quán)利要求1所述的方法，其中，三維形狀模型的參數(shù)包括位置參數(shù)、姿態(tài)參數(shù)和形變參數(shù)。
4.根據(jù)權(quán)利要求3所述的方法，其中，在先前幀圖像中獲得的三維形狀模型的參數(shù)是姿態(tài)參數(shù)。
5.根據(jù)權(quán)利要求1所述的方法，其中，將三維形狀模型的頂點(diǎn)投影到圖像上，連接投影在圖像上的頂點(diǎn)形成網(wǎng)格，該網(wǎng)格所覆蓋的像素作為被跟蹤物體的紋理，通過去除該紋理的形變特性而獲得規(guī)范化紋理。
6.根據(jù)權(quán)利要求1或2所述的方法，其中，三維形狀模型的三維姿態(tài)空間被劃分多個(gè)區(qū)域，每個(gè)區(qū)域表示一個(gè)姿態(tài)范圍并且能夠?qū)?yīng)于一個(gè)紋理模板，存在的對應(yīng)的紋理模板的集合形成紋理模板庫。
7.根據(jù)權(quán)利要求6所述的方法，其中，判斷當(dāng)前幀圖像是否是關(guān)鍵幀的步驟包括當(dāng)更新的參數(shù)中的姿態(tài)參數(shù)所在的區(qū)域沒有對應(yīng)的紋理模板時(shí)，確定當(dāng)前幀圖像是關(guān)鍵幀。
8.根據(jù)權(quán)利要求7所述的方法，其中，判斷當(dāng)前幀圖像是否是關(guān)鍵幀的步驟還包括當(dāng)更新的參數(shù)中的姿態(tài)參數(shù)所在的區(qū)域存在對應(yīng)的紋理模板時(shí)，當(dāng)更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)比該對應(yīng)的紋理模板被生成時(shí)三維形狀模型的姿態(tài)更接近該對應(yīng)的區(qū)域的中心的坐標(biāo)所表示的姿態(tài)時(shí)，確定當(dāng)前幀圖像是關(guān)鍵幀。
9.根據(jù)權(quán)利要求8所述的方法，其中，判斷當(dāng)前幀圖像是否是關(guān)鍵幀的步驟還包括確定與更新的參數(shù)中的姿態(tài)參數(shù)對應(yīng)的區(qū)域；確定該對應(yīng)的區(qū)域是否存在對應(yīng)的紋理模板；如果存在對應(yīng)的紋理模板，則確定更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)是否比該對應(yīng)的紋理模板被生成時(shí)三維形狀模型的姿態(tài)更接近該對應(yīng)的區(qū)域的中心的坐標(biāo)所表示的姿態(tài)；如果確定不更接近，則將當(dāng)前幀設(shè)置為非關(guān)鍵幀。
10.根據(jù)權(quán)利要求9所述的方法，其中，判斷當(dāng)前幀圖像是否是關(guān)鍵幀的步驟還包括如果確定更接近，則確定從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應(yīng)的紋理模板是否對齊到至第二預(yù)定程度；如果確定對齊至第二預(yù)定程度，將當(dāng)前幀設(shè)置為關(guān)鍵幀；如果確定沒有對齊至第二預(yù)定程度，則將當(dāng)前幀設(shè)置為非關(guān)鍵幀；如果確定更接近，則在確定從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應(yīng)的紋理模板是否對齊到至第二預(yù)定程度之前，確定更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)是否比在前一幀圖像更新的參數(shù)中的姿態(tài)參數(shù)所表示的姿態(tài)更遠(yuǎn)離該對應(yīng)的區(qū)域的中心的坐標(biāo)所表示的姿態(tài)；如果確定更遠(yuǎn)離，則確定從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應(yīng)的紋理模板是否對齊到至第二預(yù)定程度；如果確定不更遠(yuǎn)離，則將當(dāng)前幀設(shè)置為非關(guān)鍵幀。
11.根據(jù)權(quán)利要求9所述的方法，其中，判斷當(dāng)前幀圖像是否是關(guān)鍵幀的步驟還包括如果不存在對應(yīng)的紋理模板，則確定從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與該對應(yīng)的紋理模板是否對齊到至第二預(yù)定程度；如果確定對齊至第二預(yù)定程度，將當(dāng)前幀設(shè)置為關(guān)鍵幀；如果確定沒有對齊至第二預(yù)定程度，則將當(dāng)前幀設(shè)置為非關(guān)鍵幀。
12.根據(jù)權(quán)利要求9所述的方法，其中，第一預(yù)定程度小于等于第二預(yù)定程度。
13.根據(jù)權(quán)利要求1所述的方法，其中，基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)的步驟包括通過調(diào)整三維形狀模型的參數(shù)使得三維形狀模型的頂點(diǎn)投影到第一幀圖像上時(shí)與第一幀圖像上的對應(yīng)頂點(diǎn)重合至預(yù)定程度。
14.根據(jù)權(quán)利要求3所述的方法，其中，形變參數(shù)包括個(gè)性化形變參數(shù)和運(yùn)動(dòng)形變參數(shù)。
15.根據(jù)權(quán)利要求14所述的方法，其中，基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)的步驟包括通過調(diào)整個(gè)性化形變參數(shù)、位置參數(shù)和姿態(tài)參數(shù)使得三維形狀模型的頂點(diǎn)投影到第一幀圖像上時(shí)與第一幀圖像上的對應(yīng)頂點(diǎn)重合至預(yù)定程度。
16.根據(jù)權(quán)利要求3所述的方法，其中，將三維形狀模型的頂點(diǎn)投影到圖像上，連接投影在圖像上的頂點(diǎn)形成網(wǎng)格，該網(wǎng)格所覆蓋的像素作為被跟蹤物體的紋理，通過去除該紋理的形變特性而獲得規(guī)范化紋理，其中，通過去除該紋理的形變特性而獲得規(guī)范化紋理的步驟包括將在形變參數(shù)為零的條件下的三維形狀模型的頂點(diǎn)投影到二維平面，根據(jù)每個(gè)網(wǎng)格的頂點(diǎn)的坐標(biāo)與每個(gè)網(wǎng)格所覆蓋的像素的位置關(guān)系，將每個(gè)網(wǎng)格所覆蓋的像素變換到該二維平面，從而得到規(guī)范化紋理。
17.根據(jù)權(quán)利要求14所述的方法，其中，三維形狀模型的形狀被表示如下S = S0+ ^aiAi+TbJnjIi其中，&為平均形狀，為可變部分，可變部分包括個(gè)性化形變和運(yùn)動(dòng)形變A ‘，Α,和錢為形變的基向量，a,為個(gè)性化形變參數(shù)， j . .!bj為運(yùn)動(dòng)形變參數(shù)。
18.根據(jù)權(quán)利要求6所述的方法，其中，當(dāng)選擇的與在先前幀圖像中獲得的三維形狀模型的參數(shù)對應(yīng)的紋理模板被生成時(shí)三維形狀模型的姿態(tài)與在跟蹤先前幀圖像時(shí)使用的紋理模板被生成時(shí)三維形狀模型的姿態(tài)之差在預(yù)定范圍內(nèi)時(shí)，使用在跟蹤先前幀圖像時(shí)使用的紋理模板。
19.根據(jù)權(quán)利要求1所述的方法，其中，從紋理模板庫中選擇具有與在先前幀圖像中獲得的三維形狀模型的參數(shù)所表示的姿態(tài)相接近的姿態(tài)的紋理模板，以對當(dāng)前幀圖像中的被跟蹤對象進(jìn)行跟蹤。
20.一種物體跟蹤設(shè)備，所述設(shè)備包括接收單元，接收用于跟蹤的圖像；初始化單元，基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)；紋理模板選擇單元，在跟蹤當(dāng)前幀圖像中的被跟蹤對象時(shí)，根據(jù)在先前幀圖像中獲得的三維形狀模型的參數(shù)，從紋理模板庫中選擇紋理模板，以對當(dāng)前幀圖像中的被跟蹤對象進(jìn)行跟蹤；更新單元，更新三維形狀模型的參數(shù)，以使得從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與選擇的紋理模板對齊至第一預(yù)定程度。
21.如權(quán)利要求20所述的物體跟蹤設(shè)備，還包括關(guān)鍵幀確定單元，根據(jù)更新的三維形狀模型的參數(shù)確定當(dāng)前幀圖像是否是關(guān)鍵幀；規(guī)范化紋理計(jì)算單元，在關(guān)鍵幀確定單元確定當(dāng)前幀圖像為關(guān)鍵幀時(shí)，基于更新了參數(shù)的三維形狀模型重新獲得被跟蹤物體的規(guī)范化紋理；紋理模板設(shè)置單元，將基于更新了參數(shù)的三維形狀模型而重新獲得的規(guī)范化紋理設(shè)置為紋理模板，以產(chǎn)生或更新與更新的參數(shù)對應(yīng)的紋理模板，其中，當(dāng)關(guān)鍵幀確定單元確定當(dāng)前幀圖像為非關(guān)鍵幀時(shí)，結(jié)束對當(dāng)前幀的跟蹤。
全文摘要
提供一種物體跟蹤方法和設(shè)備，所述方法包括接收用于跟蹤的圖像；基于第一幀圖像初始化被跟蹤物體的三維形狀模型的參數(shù)；在跟蹤當(dāng)前幀圖像中的被跟蹤對象時(shí)，根據(jù)在先前幀圖像中獲得的三維形狀模型的參數(shù)，從紋理模板庫中選擇紋理模板；更新三維形狀模型的參數(shù)，以使得從當(dāng)前幀圖像獲得的被跟蹤物體的規(guī)范化紋理與選擇的紋理模板對齊至預(yù)定程度。
文檔編號G06T7/00GK102385754SQ20101026864
公開日2012年3月21日 申請日期2010年8月30日 優(yōu)先權(quán)日2010年8月30日
發(fā)明者馮雪濤, 沈曉璐, 金培亭, 黃向生 申請人:三星電子株式會(huì)社, 北京三星通信技術(shù)研究有限公司