專利名稱：并行化實時無標記人體運動跟蹤方法
技術領域：
本發(fā)明涉及一 種視覺和圖像處理相關技術，尤其是涉及一種并行化實時無標記人體運動跟蹤方法。
背景技術：
基于視覺信息的三維人體運動跟蹤，是計算機視覺領域的重要且富有挑戰(zhàn)性的研究方向，相關技術具有廣闊的應用前景，主要應用包括虛擬現(xiàn)實，電影動畫，智能監(jiān)控，高級人機交互，視頻傳輸和壓縮以及用于體育和醫(yī)學方面的運動分析。傳統(tǒng)的基于粒子濾波(particle filter)的方法能夠跟蹤高維人體鉸接三維模型的運動，但是由于對粒子似然函數(shù)的計算密集而且耗吋，時間開銷一直很大，因此無法用于實際應用。隨著計算機硬件系統(tǒng)的不斷升級和計算機視覺理論的繼續(xù)完善，目前，建立應用級的人體運動跟蹤系統(tǒng)已經(jīng)成為極具商業(yè)前景的研究重點，而異構計算(heterogeneous computing)在計算機視覺中的普及應用為實時、快速人體運動跟蹤系統(tǒng)的建立提供了契機。人體運動跟蹤的主要目標是從圖像和視頻信息中恢復和估計以參數(shù)表示的人體姿態(tài)，求解真實人體在三維世界坐標系中的位置和姿態(tài)參數(shù)。M. Isard等人在Visualtracking by stochastic propagation of conditional density (通過條件密度隨機擴散的視覺跟蹤)中提出了粒子濾波(particle filter)的方法，提供了用于人體運動跟蹤的魯棒貝葉斯框架。J. Deutscher 等人在 Articulated Body Motion Capture by AnnealedParticle Filtering(通過退火粒子濾波的鉸接人體運動跟蹤)中提出了退火粒子濾波算法，它將模擬退火的過程納入粒子濾波的框架，能夠跟蹤高維人體三維鉸接模型的運動。但是，作為ー種粒子濾波算法的變體，它不可避免地每ー步都要對每個粒子計算似然函數(shù)，這也導致它的計算開銷很大(Matlab實現(xiàn)45秒鐘每幀)。由于人體三維運動重建問題的復雜性，使得相關算法的計算復雜度較高，在CPU上運算會遇到較大的瓶頸，而異構計算是很好的選擇。異構框架包括主處理器(比如傳統(tǒng)的CPU)和附屬處理器(attached processor),附屬處理器是包含成千上萬的輕量級核心的專屬流加速器，比如圖形處理單元(Graphic Processing Units)和可編程門陣列(FieldProgrammable Gate Arrays)。異構計算的主要目的是結合主處理器的通用計算能力和附屬處理器的高度密集計算能力對具體應用進行加速。開放計算語言(Open ComputingLanguage)是可以在不同類型的硬件上執(zhí)行的異構編程框架。當前，異構計算在計算機視覺學術界使用日益廣泛。最近的ー個是Jan-Michael Frahm教授等人在Building Rome ona Cloudless Day(萬里無云的一天重建羅馬城)中的工作，他們利用網(wǎng)上得到的大量圖片(百萬級)，通過GPU加速技術，一天之內(nèi)在一臺工作站上實現(xiàn)了對羅馬城的三維數(shù)字重建。值得注意的是，之前SameerAgarwal等人在Building Rome in a day (—天重建羅馬城)上發(fā)表的羅馬城重建的成果則是利用了云計算技術，其使用了 62臺用于云計算的計算機，而處理的圖片數(shù)目僅僅是150000，比上述的圖片處理量小了ー個數(shù)量級。由此可以明顯的看到異構計算對計算機視覺技術的巨大推動作用。

發(fā)明內(nèi)容
本發(fā)明的目的就是為了克服上述現(xiàn)有技術存在的缺陷而提供一種能夠利用普通民用計算機上的異構計算資源、實時準確的進行三維人體運動跟蹤、而且當粒子數(shù)目或視角數(shù)目增多時計算時間基本保持恒定、具有很好的擴展性的并行化實時無標記人體運動跟蹤方法。本發(fā)明的目的可以通過以下技術方案來實現(xiàn)一種并行化實時無標記人體運動跟蹤方法，其特征在于，包括以下步驟步驟SI :在主處理器上根據(jù)初始人體姿態(tài)產(chǎn)生初始粒子并讀取已經(jīng)得到的邊緣和前景數(shù)據(jù)；步驟S2 :將Nview個邊緣和前景數(shù)據(jù)傳輸?shù)礁綄偬幚砥魃希徊襟ES3 :將Np個粒子數(shù)據(jù)傳輸?shù)礁綄偬幚砥魃?；步驟S4 :在附屬處理器上快速并行計算每個粒子的邊緣和前景似然函數(shù)；步驟S5 :在主處理器上計算粒子權重；步驟S6 :在主處理器上進行粒子擴散；步驟S7 :在附屬處理器上并行快速地進行粒子選擇；步驟S8 :判斷粒子數(shù)目是否達到設定值，若為是，執(zhí)行步驟S9，否則，返回步驟S6 ；步驟S9 :判斷退火層數(shù)是否大于0，若為是，返回步驟S3，否則，由結果粒子計算跟
蹤結果。所述的步驟S4 :在附屬處理器上快速并行計算每個粒子的邊緣和前景似然函數(shù)具體如下步驟S4. I :在附屬處理器上由每個粒子的配置參數(shù)并行計算Nte個圓臺的三維變換矩陣，對于每個粒子獨立進行，其并行度是粒子數(shù)目Np ；步驟S4. 2 :在附屬處理器上將每個圓臺投影到每個ニ維相機平面，該過程以高度并行執(zhí)行，并行度是Np*Ntc;*NviOT ；步驟S4. 3 :在附屬處理器上并行計算前景似然函數(shù)；對于第m個退火層的某個粒子ん> (i = 1，. . .，Np)通過以下公式計算前景似然函數(shù)
權利要求
1.一種并行化實時無標記人體運動跟蹤方法，其特征在于，包括以下步驟 步驟SI :在主處理器上根據(jù)初始人體姿態(tài)產(chǎn)生初始粒子并讀取已經(jīng)得到的邊緣和前景數(shù)據(jù)； 步驟S2 :將Nview個邊緣和前景數(shù)據(jù)傳輸?shù)礁綄偬幚砥魃希? 步驟S3 :將Np個粒子數(shù)據(jù)傳輸?shù)礁綄偬幚砥魃希? 步驟S4 :在附屬處理器上快速并行計算每個粒子的邊緣和前景似然函數(shù)； 步驟S5 :在主處理器上計算粒子權重； 步驟S6 :在主處理器上進行粒子擴散； 步驟S7 :在附屬處理器上并行快速地進行粒子選擇； 步驟S8 :判斷粒子數(shù)目是否達到設定值，若為是，執(zhí)行步驟S9，否則，返回步驟S6 ； 步驟S9 :判斷退火層數(shù)是否大于O，若為是，返回步驟S3，否則，由結果粒子計算跟蹤結果O
2.根據(jù)權利要求I所述的ー種并行化實時無標記人體運動跟蹤方法，其特征在于，所述的步驟S4 :在附屬處理器上快速并行計算每個粒子的邊緣和前景似然函數(shù)具體如下 步驟S4. I :在附屬處理器上由每個粒子的配置參數(shù)并行計算Nt。個圓臺的三維變換矩陣，對于每個粒子獨立進行，其并行度是粒子數(shù)目Np ； 步驟S4. 2 :在附屬處理器上將每個圓臺投影到每個ニ維相機平面，該過程以高度并行執(zhí)行，并行度是Np*Ntc;*NviOT ； 步驟S4. 3 :在附屬處理器上并行計算前景似然函數(shù)； 對于第m個退火層的某個粒子xit,m(i = 1，. . .，Np)通過以下公式計算前景似然函數(shù)
3.根據(jù)權利要求2所述的ー種并行化實時無標記人體運動跟蹤方法，其特征在干，所述的每個粒子均通過ー個工作組來計算，每個工作組采用ニ維索引空間表示，兩個坐標分別為圓臺數(shù)目和視角數(shù)目。
4.根據(jù)權利要求2所述的ー種并行化實時無標記人體運動跟蹤方法，其特征在干，所述的步驟S5 :在主處理器上計算粒子權重具體如下 對于第m個退火層的某個粒子xit,m(i = I, . . . , Np),其權重由下式計算
5.根據(jù)權利要求I所述的ー種并行化實時無標記人體運動跟蹤方法，其特征在于，所述的步驟S6 :在主處理器上進行粒子擴散具體如下 對于第m個退火層的某個粒子Xし(i = 1，. . .，Np)，相應的第m-1層的粒子為 其中Bm是ー個高斯隨機變量。
6.根據(jù)權利要求I所述的ー種并行化實時無標記人體運動跟蹤方法，其特征在于，所述的步驟S7 :在附屬處理器上并行快速地進行粒子選擇具體為 步驟S7. I :將擴散后的粒子數(shù)據(jù)傳輸?shù)礁綄偬幚砥魃希? 步驟S7. 2 :在附屬處理器上進行粒子選擇并將粒子選擇結果傳輸回主處理器。
7.根據(jù)權利要求6所述的ー種并行化實時無標記人體運動跟蹤方法，其特征在干，所述的粒子選擇標準為通過去除壞的粒子來減少搜索空間，其中壞的粒子為對應了不可能的人體姿態(tài)的粒子。
全文摘要
本發(fā)明涉及一種并行化實時無標記人體運動跟蹤方法，包括以下步驟S1在主處理器上根據(jù)初始人體姿態(tài)產(chǎn)生初始粒子并讀取已經(jīng)得到的邊緣和前景數(shù)據(jù)；S2將Nview個邊緣和前景數(shù)據(jù)傳輸?shù)礁綄偬幚砥魃希籗3將Np個粒子數(shù)據(jù)傳輸?shù)礁綄偬幚砥魃?；S4在附屬處理器上快速并行計算每個粒子的邊緣和前景似然函數(shù)；S5在主處理器上計算粒子權重；S6在主處理器上進行粒子擴散；S7在附屬處理器上并行快速地進行粒子選擇；S8判斷粒子數(shù)目是否達到設定值，若為是，執(zhí)行S9，否則，返回S6；S9判斷退火層數(shù)是否大于0，若為是，返回S3，否則，由結果粒子計算跟蹤結果。與現(xiàn)有技術相比，本發(fā)明具有實時準確的進行三維人體運動跟蹤等優(yōu)點。
文檔編號G06T3/20GK102663674SQ201210129429
公開日2012年9月12日 申請日期2012年4月27日 優(yōu)先權日2012年4月27日
發(fā)明者劉允才, 卞亞濤, 宋健, 趙旭 申請人:上海交通大學