專利名稱：：精確測量和預(yù)測乒乓球軌跡系統(tǒng)與系統(tǒng)運行方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及快速運動的乒乓球的實時檢測、定位、跟蹤和運動軌跡預(yù)測，以及對乒乓球的運動軌跡進(jìn)行三維虛擬場景實時顯示和歷史記錄回放的裝置，尤其涉及利用多個任意位置的攝像機同步采集快速運動的乒乓球圖像后，快速精確地估計出其飛行的軌跡的方法和系統(tǒng)。
背景技術(shù)：
："鷹眼"系統(tǒng)應(yīng)用于網(wǎng)球賽事的裁判和仿真演示已經(jīng)有六七年的歷史，在網(wǎng)球轉(zhuǎn)播中得到了廣泛的推廣，對網(wǎng)球運動的研究和網(wǎng)球比賽的公正性起到了非常積極的作用。"鷹眼"系統(tǒng)的正式名稱為"即時回放系統(tǒng)"，該系統(tǒng)由8個或者10個高速攝像頭、四臺電腦和大屏幕組成。"鷹眼"系統(tǒng)所采集得到的圖像數(shù)據(jù)量非常龐大，計算相當(dāng)復(fù)雜，它從數(shù)據(jù)采集到結(jié)果演示整個過程所耗用的時間在10秒左右，不具備強實時性。在正式比賽中，保證比賽的流暢和連續(xù)對比賽的公正性和觀賞性有非常重要的意義，"鷹眼"只能作為比賽裁判的輔助手段，球員每局比賽挑戰(zhàn)鷹眼的次數(shù)也是有限制的。因此目前"鷹眼"系統(tǒng)更多的只能是用于電視轉(zhuǎn)播的事后處理，而不能做到在線判斷。而且該系統(tǒng)造價成本很高，在中小比賽場合并不適合推廣，也不適用于一般的體育輔助訓(xùn)練。國內(nèi)也有研究機構(gòu)提出了基于較少攝像頭(2臺)的小型鷹眼系統(tǒng)，但是系統(tǒng)的實時性問題仍沒有解決。在乒乓球運動中，引入"鷹眼"系統(tǒng)來進(jìn)行輔助裁判和輔助訓(xùn)練也具有非常積極的作用。乒乓球運動不同于網(wǎng)球運動。乒乓球非常小，乒乓球表面和乒乓球桌表面都很光滑容易反光，而且兵乓球行程很短，在高速運動(3-5m/s)時整個有效行程僅持續(xù)0.5s左右，使得準(zhǔn)確檢測和識別乒乓球任務(wù)非常困難。而且由于乒乓球相對輕薄，其飛行軌跡更多地受到了乒乓球自旋轉(zhuǎn)、空氣溫度、濕度條件以及現(xiàn)場通風(fēng)等諸多因素的影響，很難建立一個通用的運動模型，因此給乒乓球運動軌跡生成和預(yù)測帶來了很大的困難。其中最為關(guān)鍵的問題在于為了保證實時性，需要系統(tǒng)能夠在極短的時間內(nèi)完成計算，準(zhǔn)確的識別、定位和跟蹤高速運動的乒乓球飛行軌跡。
發(fā)明內(nèi)容本發(fā)明的目的是提供一種可以精確測量、預(yù)測和三維虛擬重現(xiàn)高速飛行乒乓球軌跡的實時處理系統(tǒng)。該系統(tǒng)可以根據(jù)場地和環(huán)境的需要架設(shè)多個攝像機進(jìn)行觀測，價格低廉、適合普遍使用和推廣。為達(dá)到上述發(fā)明目的，本發(fā)明提供了一種利用多個攝像機的高速實時乒乓球定位、軌跡生成和預(yù)測的方法與系統(tǒng)。本發(fā)明提供的系統(tǒng)是一個面向乒乓球運動的"快速鷹眼"系統(tǒng)，能夠?qū)ζ古仪蜻\動進(jìn)行實時跟蹤和軌跡預(yù)測分析，既可以提供乒乓球當(dāng)前的實時信息給上層自動化系統(tǒng)，也可以在比賽中給出實時裁判結(jié)果輔助裁判對一些擦邊球等爭議球進(jìn)行即時準(zhǔn)確判罰，還可以記錄軌跡數(shù)據(jù)，實現(xiàn)比賽過程的3維重現(xiàn)。本發(fā)明提供的精確測量和預(yù)測高速飛行乒乓球軌跡的系統(tǒng)，由兩個以上攝像機，控制多攝像機同步進(jìn)行圖像采集的硬件同步裝置，圖像數(shù)據(jù)采集傳輸裝置，計算機主控設(shè)備和視覺軟件運行的系統(tǒng)環(huán)境，以及外接顯示屏構(gòu)成；其特征在于，包括如下組成模塊a)基于自定義特征線攝像機標(biāo)定模塊；b)多攝像機視頻同步采集模塊；C)基于顏色和輪廓特征的運動目標(biāo)快速檢測與識別跟蹤模塊；d)運動目標(biāo)空間定位和軌跡生成、預(yù)測模塊；e)基于OpenGL的三維虛擬場景重現(xiàn)模塊。所述的基于自定義特征線攝像機標(biāo)定模塊根據(jù)自定義的桌面上的線條特征半自動地進(jìn)行攝像機的精確自標(biāo)定，給出各個攝像機的內(nèi)外參數(shù)；采用一個可以產(chǎn)生多路頻率脈沖信號的硬件裝置連接多個攝像機，主動同步控制多個攝像機同步采集視頻圖像，并通過數(shù)據(jù)傳輸裝置將采集到的多路圖像數(shù)據(jù)傳送到計算機進(jìn)行處理。所述的基于顏色和輪廓特征的運動目標(biāo)快速檢測與識別跟蹤模塊基于顏色和輪廓特征對多攝像機獲取的圖像數(shù)據(jù)進(jìn)行快速目標(biāo)分割，分析出每幅圖像上的乒乓球位置信息，并結(jié)合攝像機的自標(biāo)定結(jié)果計算出當(dāng)前乒乓球的三維空間坐標(biāo)。所述的運動目標(biāo)空間定位和軌跡生成、預(yù)測模塊建立乒乓球飛行模型的運動學(xué)方程，結(jié)合當(dāng)前和歷史的乒乓球觀測數(shù)據(jù)進(jìn)行乒乓球運動狀態(tài)濾波和運動軌跡平滑，并預(yù)測出乒乓球在未來時刻的飛行軌跡。所述的基于0penGL的三維虛擬場景重現(xiàn)模塊可以根據(jù)上層處理結(jié)果在三維虛擬場景中實時顯示或者記錄回放當(dāng)時乒乓球比賽，可根據(jù)用戶需求切換任意視角，并輸出到顯示屏幕上。所述的多攝像機視頻同步采集模塊，多攝像機是采用兩臺或兩臺以上的攝像機布置在乒乓球臺的上方，攝像機視野交叉覆蓋乒乓球可能出現(xiàn)的空間位置。本發(fā)明提供的精確測量和預(yù)測高速飛行乒乓球軌跡系統(tǒng)的運行方法，所述的運行步驟如下(1)搭建完硬件系統(tǒng)后，利用自定義特征攝像機標(biāo)定模塊，依據(jù)球桌上的線特征半自動地標(biāo)定各攝像機內(nèi)外參數(shù)。并離線學(xué)習(xí)和確定乒乓球運動模型參數(shù)，進(jìn)一步得到分析兵乓球運動的濾波器和預(yù)測器的參數(shù)。(2)系統(tǒng)運行時，多個攝像機通過同步采集模塊控制裝置，同步高速采集視頻圖像，獲得不同視角下的飛行中乒乓球的圖像，傳輸?shù)街骺貦C圖像處理程序。(3)獲得的圖像經(jīng)過運動目標(biāo)快速檢測與識別跟蹤模塊，進(jìn)行顏色和輪廓的快速提取之后，分割出圖像中的乒乓球目標(biāo)。(4)將乒乓球在不同視角下的觀測結(jié)果輸入到運動目標(biāo)空間定位和軌跡生成、預(yù)測模塊，根據(jù)多個攝像機的標(biāo)定參數(shù)信息和空間幾何關(guān)系，定位出球乒乓球在當(dāng)前的三維空間坐標(biāo)。(5)將本周期和前幾個周期的觀測定位結(jié)果輸入到乒乓球運動濾波器和預(yù)測器中，生成和預(yù)測乒乓球的飛行軌跡。(6)最后將處理結(jié)果輸入到三維虛擬場景重現(xiàn)模塊，在外接的顯示屏中進(jìn)行比賽的實時播放或記錄回放。其中上述方法中利用自定義特征標(biāo)定攝像機參數(shù)采用如下方法(1)手動輸入特征線參數(shù)并在攝像機采集的圖像中進(jìn)行半自動地線條匹配。(2)自動計算各特征線的相互交叉點和對應(yīng)圖像與世界坐標(biāo)。(3)自動將對應(yīng)點隊列輸入Tsai標(biāo)定模塊進(jìn)行攝像機參數(shù)標(biāo)定。其中上述方法中識別圖像中的乒乓球目標(biāo)采用如下方法(1)事先設(shè)定或者在線采集每個攝像頭對應(yīng)的背景圖像。(2)根據(jù)前幾幀圖像的識別結(jié)果和乒乓球軌跡預(yù)測結(jié)果設(shè)定當(dāng)前幀圖像中的目標(biāo)搜索窗口。(3)在搜索窗口中根據(jù)估計目標(biāo)大小分散布置種子點，當(dāng)該種子點像素值與背景值差異大于某個閾值時、判別顏色屬性是否與目標(biāo)顏色符合，當(dāng)判斷該點為疑似目標(biāo)點時，在該點周圍搜索符合目標(biāo)顏色特征的像素區(qū)域塊的目標(biāo)輪廓，并根據(jù)輪廓特征判斷該輪廓區(qū)域是否屬于目標(biāo)候選區(qū)域。若在當(dāng)前搜索區(qū)域沒有發(fā)現(xiàn)疑似目標(biāo)，則擴大搜索區(qū)域繼續(xù)尋找目標(biāo)。(4)根據(jù)乒乓球軌跡預(yù)測信息從目標(biāo)候選區(qū)域中選擇最終目標(biāo)位置。其中上述方法中通過離散觀測點生成和預(yù)測乒乓球的飛行軌跡采用如下方法(1)離線構(gòu)建乒乓球的運動學(xué)模型，生成狀態(tài)轉(zhuǎn)移矩陣和觀測矩陣，得到其運動方程。推導(dǎo)出基于該運動學(xué)模型的乒乓球運動濾波器和預(yù)測器。(2)根據(jù)每個攝像機的空間分布信息和其視角內(nèi)的目標(biāo)觀測位置，通過空間幾何運算得到當(dāng)前時刻乒乓球的3維空間位置。(3)將當(dāng)前的觀測值輸入濾波器，更新乒乓球的當(dāng)前運動狀態(tài)(包含3維空間位置和速度)。(4)利用預(yù)測器分析乒乓球的歷史運動軌跡，預(yù)測出乒乓球的未來時刻運動軌跡。其中上述方法中三維虛擬場景顯示重新采用如下方法(1)三維虛擬場景顯示模塊通過OpenGL實現(xiàn)，可以離線設(shè)定虛擬場景內(nèi)靜態(tài)物體(球桌、房間等)的繪制參數(shù)。(2)將比賽實時數(shù)據(jù)或者歷史記錄數(shù)據(jù)傳入三維虛擬場景顯示模塊，可以直觀地三維顯示實時比賽狀態(tài)和乒乓球歷史運動軌跡圖像，并根據(jù)用戶需要任意切換視角，輸出到顯示屏幕中。本系統(tǒng)最大的特點是具有實時處理功能，能為實時裁判、網(wǎng)絡(luò)直播、在線決策自動化系統(tǒng)的即時反應(yīng)提供條件，可以很容易地推廣到其它運動項目及民用、軍工等類似場景中。本發(fā)明具有的有益效果—1)提出一種可以精確測量和預(yù)測高速飛行乒乓球軌跡的系統(tǒng)與方法，可快速地為用戶或自動化系統(tǒng)提供高速運動中乒乓未來時刻的飛行軌跡；2)本發(fā)明中的方法和系統(tǒng)可以應(yīng)用與乒乓球運動員的訓(xùn)練，擊球數(shù)據(jù)分析以及乒乓球比賽自動裁判系統(tǒng)和電視轉(zhuǎn)播中。因此，本發(fā)明是一種非常實用、有效的高速乒乓球軌跡預(yù)測解決方案，具有很好的應(yīng)用前景。圖1系統(tǒng)硬件結(jié)構(gòu)框圖圖2系統(tǒng)架構(gòu)流程圖圖3程序運行界面圖圖4標(biāo)定程序界面圖圖5目標(biāo)識別流程圖圖6目標(biāo)的顏色特征示意7輪廓搜索示意圖，圖7A是相鄰像素點排布順序示意圖，圖7B是像素點邊過程的示意圖，圖7C是像素點可能的后繼點可能情況的示意圖，圖7D是前繼點和后繼點屬于不同像素點的八種情況圖8空間定位示意圖圖9乒乓球運動受力分析圖，圖9A是乒乓球運動軌跡在X-Z平面的投影示意圖，圖9B是乒乓球運動過程受力分析圖圖IO乒乓球軌跡濾波效果圖，圖10A是濾波前觀測值，圖10B是濾波結(jié)果圖ll乒乓球軌跡預(yù)測效果圖圖12三維虛擬場景仿真模塊工作示意圖具體實施例方式下面結(jié)合附圖，詳細(xì)描述本發(fā)明利用多攝像機的高速實時乒乓球定位、軌跡生成和預(yù)測的方法與系統(tǒng)的實施方式。在該實施例中，本系統(tǒng)能夠控制2個以上攝像機高速同步采集不同視角下的乒乓球比賽場景圖，根據(jù)圖像信息定位出乒乓球的三維空間位置，計算其運動軌跡，并進(jìn)行三維虛擬空間的場景重現(xiàn)。圖1給出了系統(tǒng)的硬件結(jié)構(gòu)框圖，整個系統(tǒng)由兩個以上攝像機1、控制多攝像機同步進(jìn)行采圖的硬件同步裝置2，圖像數(shù)據(jù)釆集傳輸裝置3、主控計算機4和視覺軟件運行的系統(tǒng)環(huán)境5、以及外接顯示屏6構(gòu)成。攝像機固定在乒乓球桌上空，視野交叉覆蓋乒乓球運動的有效區(qū)域；同步裝置產(chǎn)生多路周期脈沖信號，通過控制線連接攝像機，控制多攝像機進(jìn)行同步采圖；攝像機通過數(shù)據(jù)線與圖像數(shù)據(jù)采集卡相連；數(shù)據(jù)采集卡通過主控機的PCI總線將采集到的數(shù)據(jù)傳送到處理器進(jìn)行處理；處理結(jié)果輸出到主控機的外接顯示屏上進(jìn)行顯示。圖2是系統(tǒng)的運行流程圖，系統(tǒng)場地搭建完成后，首先要離線標(biāo)定每個攝像機的內(nèi)外參數(shù)，并且學(xué)習(xí)好乒乓球的運動模型方程參數(shù)。系統(tǒng)運行時，同步裝置2控制多個攝像機1同步采集圖像后經(jīng)傳輸裝置3傳輸?shù)街骺赜嬎銠C4，視覺處理軟件先對每個攝像機采集的圖像進(jìn)行目標(biāo)識別處理，得到在各個視角圖像中目標(biāo)所處的位置和形狀大小信息；然后結(jié)合各個攝像機的標(biāo)定結(jié)果，運用空間幾何關(guān)系確定目標(biāo)乒乓球在三維空間中的位置；將當(dāng)前乒乓球位置結(jié)果輸入到根據(jù)離線學(xué)習(xí)好的乒乓球運動模型建立的乒乓球運動濾波器和預(yù)測器中，對乒乓球的當(dāng)前運動狀態(tài)和運動軌跡進(jìn)行分析；最后將得到的乒乓球運動信息輸入三維虛擬場景重現(xiàn)模塊，根據(jù)用戶需求顯示乒乓球的狀態(tài)信息，并在外接的顯示屏中6顯示。在之后的段落中將對各個部分的實現(xiàn)做詳細(xì)地介紹。圖3是視覺系統(tǒng)的軟件程序運行界面圖，界面大體可以分為6個功能區(qū)域。區(qū)域a是三維虛擬場景重現(xiàn)窗口，可以實時顯示現(xiàn)在乒乓球的運動狀態(tài)；區(qū)域b是各個攝像機的當(dāng)前捕獲圖像和攝像機的簡單運行參數(shù)(包括采圖幀率和識別幀率)，在識別過程中，識別的結(jié)果也在當(dāng)前圖像中進(jìn)行標(biāo)識；區(qū)域c是程序運行狀態(tài)、結(jié)果信息提示窗口，顯示攝像機參數(shù)、運行狀態(tài)、目標(biāo)識別結(jié)果和目標(biāo)定位結(jié)果信息；區(qū)域d是程序的主控界面；區(qū)域e是攝像機標(biāo)定控制界面；區(qū)域f是程序運行的所需參數(shù)設(shè)定界面。圖4是攝像機標(biāo)定的程序界面圖，每次標(biāo)定過程只標(biāo)定一個攝像機，標(biāo)定程序采用的是經(jīng)典的Tsai標(biāo)定算法。將乒乓球桌上的白線作為特征線，事先需要測量好桌面上所有特征線的位置參數(shù)輸入標(biāo)定程序。本實施例中，采用的特征線如圖4中右上角的仿真圖像所示。為了屏蔽圖像中乒乓球桌面以外區(qū)域的干擾，用戶可以設(shè)定處理區(qū)域，如圖4左上角圖像中的多邊形框所示。在標(biāo)定時，載入對應(yīng)攝像機的圖像，通過Canny算法提取圖像中的所有邊緣線，如圖4左下角圖像中所示；提取邊緣線后，利用Hough算法提取興趣區(qū)域內(nèi)的直線，如圖4右下角圖像中的直線所示；調(diào)整Canny算法和Hough算法的參數(shù)直到得到較理想的直線后，點擊開始選線按鈕，根據(jù)仿真圖像的加亮線提示信息將提取的直線與實際特征線對應(yīng)起來，如果圖像中某一條特征線所對應(yīng)的直線被遮擋或者不清晰可以忽略跳過，得到的有效特征線如圖4右下角圖像粗線條所示。之后程序自動將特征線的圖像位置與實際位置對應(yīng)起來，計算在圖像和現(xiàn)實桌面中的兩兩直線交點，如圖4右下角圖像中的白點所示；得到選定的特征線所生成的特征點的圖像坐標(biāo)和實際世界坐標(biāo)后，將這些點對數(shù)據(jù)傳入到Tsai算法進(jìn)行計算，得到攝像機的內(nèi)外參數(shù)；在實踐中可以反復(fù)進(jìn)行多次試驗，選取一組比較好的參數(shù)保存，為后續(xù)的處理過程提供條件。圖5給出了目標(biāo)識別過程的算法流程圖，采用背景差分和特征匹配結(jié)合的方法。首先設(shè)定每個攝像機的背景圖像，可以由在線采集或者是讀入圖像文件的方式設(shè)定。在背景差分過程中，為了提高識別速率，本實施例中采用降采樣技術(shù)，即避免遍歷圖像所有像素點，而是設(shè)定一個步長參數(shù)St印，當(dāng)前圖像中上下左右間隔St印步長的像素點與背景對應(yīng)像素點值進(jìn)行差分，實驗中考慮到目標(biāo)乒乓球在圖像中的直徑大小一般大于9個像素點寬度，因此將step值設(shè)定為4。若當(dāng)前圖像某一像素點的值與背景差值大于設(shè)定的閾值，則表示像素點上可能有前景物體。再檢查該點的顏色特征，目標(biāo)乒乓球的顏色特征與背景存在著明顯的差別，如圖6所示，在HSV顏色空間的色彩H通道上，乒乓球所在區(qū)域的特征值明顯區(qū)別與桌面和墻壁等背景區(qū)域。如果該點的符合實現(xiàn)設(shè)置好的目標(biāo)顏色特征，則該點為目標(biāo)疑似點。以目標(biāo)疑似點為起點，搜索它附近屬于目標(biāo)顏色特征像素點區(qū)域塊的輪廓，將該輪廓數(shù)據(jù)儲存到目標(biāo)候選區(qū)域中，目標(biāo)候選區(qū)域中的像素點不再重復(fù)進(jìn)行搜索。輪廓搜索算法采用后繼點和邊過程的方法，如圖7所示，其中圖7A是對像素點的相鄰點和邊過程排序的示意圖，圖7B是對像素點后繼邊過程可能情況的示意圖，圖7C是對像素點可能的后繼點可能情況的示意圖，通過推算，可以得到以下的規(guī)律<table>tableseeoriginaldocumentpage10</column></row><table>當(dāng)輪廓搜索過程回到起始像素點，而且邊過程方向與初始方向相同時，該輪廓搜索完畢。當(dāng)整幅圖像都已經(jīng)搜索完成以后，得到一個目標(biāo)候選區(qū)域序列，結(jié)合前幾幀圖像的目標(biāo)識別結(jié)果，給出本圖像中最可能的目標(biāo)區(qū)域輪廓作為識別結(jié)果。圖8給出了在各個攝像機圖像中目標(biāo)識別完成以后，進(jìn)行目標(biāo)乒乓球三維空間定位的過程示意圖。目標(biāo)識別的結(jié)果可以轉(zhuǎn)換為目標(biāo)與攝像機之間的角度關(guān)系，再結(jié)合該攝像機的自標(biāo)定結(jié)果，可以得到一條目標(biāo)有可能出現(xiàn)位置的射線。兩條攝像機引出的射線交叉就可以確定空間中的一個點，即目標(biāo)所在的空間位置。在實際實驗中的大多數(shù)情況下，由于誤差影響兩條射線基本不會相交，因此在實施例中取兩條射線的公垂線與兩條直線的交點，再根據(jù)事先設(shè)定的權(quán)重系數(shù)將兩個交點加權(quán)取平均，結(jié)果作為目標(biāo)定位結(jié)果。攝像機如果多于2個，則將所有得到的射線兩兩求交點，然后根據(jù)每個攝像機所分配到的權(quán)重進(jìn)行加權(quán)平均。在本實施例子中，如圖采用3個攝像機進(jìn)行實驗。為了確定當(dāng)前乒乓球的運動狀態(tài)及預(yù)測乒乓球之后的飛行軌跡，需要對乒乓球運動過程進(jìn)行建模。圖9給出了乒乓球運動過程中的受力分析。為了簡化模型方便對乒乓球的運動軌跡進(jìn)行學(xué)習(xí)和預(yù)測，假定乒乓球運動中不帶旋轉(zhuǎn)，其運動在3個方向上獨立，且其運動過程中只受到重力和空氣摩擦力的作用，而且空氣摩擦力與乒乓球速度呈正比<formula>formulaseeoriginaldocumentpage11</formula>其中F為乒乓球受的合力，f為空氣摩擦力，m為乒乓逑的重量，g為重力加速度,K為空氣摩擦系數(shù)，V為乒乓球運動速度，下標(biāo)x、y、z代表方向。由此推導(dǎo)得到運動速度方程如下<formula>formulaseeoriginaldocumentpage11</formula>其中a為加速度，t表示當(dāng)前時間。令yt-^，上式可以簡化為-附<formula>formulaseeoriginaldocumentpage11</formula>其中e為自然對數(shù)。將方程離散化，按相機采樣周期為At，令v(0^0'+l)-力')，得:由此建立乒乓球運動的狀態(tài)方程如下<formula>formulaseeoriginaldocumentpage11</formula>其中，該運動模型的狀態(tài)量包括位置P和速度v，系統(tǒng)誤差方差為w。該狀態(tài)方程顯示了系統(tǒng)狀態(tài)量(位置、速度)隨周期推移的變化過程。得到狀態(tài)方程以后，就可以代入Kalman濾波器對乒乓球的運動過程進(jìn)行濾波。濾波效果如圖10所示，圖10a是濾波前觀測值，可以看出觀測存在一定的誤差，乒乓球的運動軌跡存在波動；圖10b是濾波后的兵乓球軌跡，經(jīng)過基于上面的模型方程所建立的Kalman濾波器有效地對兵乓球運動過程進(jìn)行的修正，得到了一條比較理想的乒乓球運動軌跡。得到了乒乓球本周期的狀態(tài)，又已知乒乓球運動狀態(tài)轉(zhuǎn)移過程方程，通過遞推便可得到乒乓球以后周期的運動狀態(tài)，由此預(yù)測乒乓球之后的運動軌跡，預(yù)測結(jié)果如圖11所示，黑色球是當(dāng)前觀測到的乒乓球所在位置，白色球是前幾個周期乒乓球的歷史觀測位置，灰色球是結(jié)合濾波和預(yù)測之后的乒乓球軌跡分析結(jié)果。圖12給出了三維仿真虛擬場景模塊的工作流程圖，在線分析得到乒乓球的運動狀態(tài)和軌跡數(shù)據(jù)，或者離線載入之前在線記錄的乒乓球運動軌跡數(shù)據(jù)后，輸入仿真模塊，仿真模塊可以重構(gòu)乒乓球比賽三維場景，包括房間、地板、球桌等固定物體，還可以根據(jù)觀測值、濾波和預(yù)測等不同屬性在該場景中的指定位置添加乒乓球、以及輔助球、直線等圖形，并根據(jù)用戶手動輸入命令來調(diào)節(jié)觀看視角和遠(yuǎn)近。最后將顯示信息輸出到屏幕中。圖10與圖11都是采自虛擬場景的效果圖。權(quán)利要求1、一種精確測量和預(yù)測高速飛行乒乓球軌跡的系統(tǒng)，由兩個以上攝像機(1)，控制多攝像機同步進(jìn)行采集圖像的同步裝置(2)，圖像數(shù)據(jù)采集傳輸裝置(3)，主控計算機(4)，視覺軟件運行的系統(tǒng)環(huán)境(5)，以及外接顯示屏(6)構(gòu)成；其特征在于，包括如下組成模塊a)基于自定義特征線攝像機標(biāo)定模塊；b)多攝像機視頻同步采集模塊；c)基于顏色和輪廓特征的運動目標(biāo)快速檢測與識別跟蹤模塊；d)運動目標(biāo)空間定位和軌跡生成、預(yù)測模塊；e)基于OpenGL的三維虛擬場景重現(xiàn)模塊；所述的基于自定義特征線攝像機標(biāo)定模塊根據(jù)自定義的桌面上的線條特征半自動地進(jìn)行攝像機的精確自標(biāo)定，給出各個攝像機的內(nèi)外參數(shù)；所述的多攝像機視頻同步采集模塊采用一個可以產(chǎn)生多路頻率脈沖信號的同步裝置(2)連接多個攝像機(1)，主動同步控制多個攝像機同步采集視頻圖像，并通過數(shù)據(jù)傳輸裝置(3)將采集到的多路圖像數(shù)據(jù)傳送到主控計算機(4)進(jìn)行處理；所述的基于顏色和輪廓特征的運動目標(biāo)快速檢測與識別跟蹤模塊基于顏色和輪廓特征對多攝像機獲取的圖像數(shù)據(jù)進(jìn)行快速目標(biāo)分割，分析出每幅圖像上的乒乓球位置信息，并結(jié)合攝像機的自標(biāo)定結(jié)果計算出當(dāng)前乒乓球的三維空間坐標(biāo)；所述的運動目標(biāo)空間定位和軌跡生成、預(yù)測模塊建立乒乓球飛行模型的運動學(xué)方程，結(jié)合當(dāng)前和歷史的乒乓球觀測數(shù)據(jù)進(jìn)行乒乓球運動狀態(tài)濾波和運動軌跡平滑，并預(yù)測出乒乓球在未來時刻的飛行軌跡；所述的基于OpenGL的三維虛擬場景重現(xiàn)模塊；根據(jù)上層處理結(jié)果在三維虛擬場景中實時顯示或者記錄回放當(dāng)時乒乓球比賽，根據(jù)用戶需求切換任意視角，并輸出到顯示屏幕上。2、根據(jù)權(quán)利要求1所述的乒乓球軌跡的系統(tǒng)，其特征在于，所述的多攝像機，是采用兩臺或兩臺以上的攝像機布置在乒乓球臺的上方，攝像機視野交叉覆蓋乒乓球可能出現(xiàn)的空間位置。3、根據(jù)權(quán)利要求1所述的乒乓球軌跡系統(tǒng)的運行方法，其特征在于，系統(tǒng)運行步驟如下(1)搭建完硬件系統(tǒng)后，利用自定義特征攝像機標(biāo)定模塊，依據(jù)球桌上的線特征半自動地標(biāo)定各攝像機內(nèi)外參數(shù)，并離線學(xué)習(xí)和確定乒乓球運動模型參數(shù)，進(jìn)一步得到分析乒乓球運動的濾波器和預(yù)測器的參數(shù)；(2)系統(tǒng)運行時，多個攝像機通過同步采集模塊控制裝置，同步高速采集視頻圖像，獲得不同視角下的飛行中乒乓球的圖像，經(jīng)傳輸裝置傳輸?shù)街骺貦C圖像處理程序；(3)獲得的圖像經(jīng)過運動目標(biāo)快速檢測與識別跟蹤模塊，進(jìn)行顏色和輪廓的快速提取之后，分割出圖像中的乒乓球目標(biāo)；(4)將兵乓球在不同視角下的觀測結(jié)果輸入到運動目標(biāo)空間定位和軌跡生成、預(yù)測模塊，根據(jù)多個攝像機的標(biāo)定參數(shù)信息和空間幾何關(guān)系，定位出球乒乓球在當(dāng)前的三維空間坐標(biāo)；(5)將本周期和前幾個周期的觀測定位結(jié)果輸入到乒乓球運動濾波器和預(yù)測器中，生成和預(yù)測乒乓球的飛行軌跡；(6)將處理結(jié)果輸入到三維虛擬場景重現(xiàn)模塊，在外接的顯示屏中進(jìn)行比賽的實時播放或記錄回放。4、根據(jù)權(quán)利要求3所述的乒乓球軌跡系統(tǒng)的運行方法，其特征在于，利用自定義特征標(biāo)定攝像機參數(shù)采用如下方法(1)手動輸入特征線參數(shù)并在攝像機采集的圖像中進(jìn)行半自動地線條匹配；(2)自動計算各特征線的相互交叉點和對應(yīng)圖像與世界坐標(biāo)；(3)自動將對應(yīng)點隊列輸入Tsai標(biāo)定模塊進(jìn)行攝像機參數(shù)標(biāo)定。5、根據(jù)權(quán)利要求3所述的乒乓球軌跡系統(tǒng)的運行方法，其特征在于，識別圖像中的乒乓球目標(biāo)采用如下方法(1)事先設(shè)定或者在線采集每個攝像頭對應(yīng)的背景圖像；(2)根據(jù)前幾幀圖像的識別結(jié)果和兵乓球軌跡預(yù)測結(jié)果設(shè)定當(dāng)前幀圖像中的目標(biāo)搜索窗口；(3)在搜索窗口中根據(jù)估計目標(biāo)大小分散布置種子點，當(dāng)該種子點像素值與背景值差異大于某個閾值時、判別顏色屬性是否與目標(biāo)顏色符合，當(dāng)判斷該點為疑似目標(biāo)點時，在該點周圍搜索符合目標(biāo)顏色特征的像素區(qū)域塊的目標(biāo)輪廓，并根據(jù)輪廓特征判斷該輪廓區(qū)域是否屬于目標(biāo)候選區(qū)域。若在當(dāng)前搜索區(qū)域沒有發(fā)現(xiàn)疑似目標(biāo)，則擴大搜索區(qū)域繼續(xù)尋找目標(biāo)；(4)根據(jù)兵乓球軌跡預(yù)測信息從目標(biāo)候選區(qū)域中選擇最終目標(biāo)區(qū)域。6、根據(jù)權(quán)利要求3所述的'兵乓球軌跡系統(tǒng)的運行方法，其特征在于，通過離散觀測點生成和預(yù)測乒乓球的飛行軌跡采用如下方法(1)離線構(gòu)建乒乓球的運動學(xué)模型，生成狀態(tài)轉(zhuǎn)移矩陣和觀測矩陣，得到其運動方程。推導(dǎo)出基于該運動學(xué)模型的乒乓球運動濾波器和預(yù)測器；(2)根據(jù)每個攝像機的空間分布信息和其視角內(nèi)的目標(biāo)觀測位置，通過空間幾何運算得到當(dāng)前時刻乒乓球的3維空間位置；(3)將當(dāng)前的觀測值輸入濾波器，更新乒乓球的當(dāng)前運動狀態(tài)，包含3維空間位置和速度；(4)利用預(yù)測器分析乒乓球的歷史運動軌跡，預(yù)測出乒乓球的未來時刻運動軌跡。7、根據(jù)權(quán)利要求3所述的乒乓球軌跡系統(tǒng)的運行方法，其特征在于，三維虛擬場景顯示采用如下方法(1)三維虛擬場景顯示模塊通過OpenGL實現(xiàn)，離線設(shè)定虛擬場景內(nèi)靜態(tài)物體，包括球桌、房間的繪制參數(shù)；(2)將比賽實時數(shù)據(jù)或者歷史記錄數(shù)據(jù)傳入三維虛擬場景顯示模塊，進(jìn)行直觀地三維顯示實時比賽狀態(tài)和乒乓球歷史運動軌跡圖像，并根據(jù)用戶需要任意切換視角，輸出到顯示屏幕中。全文摘要一種精確測量和預(yù)測高速飛行乒乓球軌跡的實時處理系統(tǒng)，由兩個以上攝像機，控制多攝像機同步采集圖像的同步裝置，圖像數(shù)據(jù)采集傳輸裝置，主控計算機，視覺軟件運行的系統(tǒng)環(huán)境，以及外接顯示屏構(gòu)成；該系統(tǒng)可以精確測量和預(yù)測高速飛行乒乓球軌跡，具有實時處理功能，應(yīng)用與自動化控制系統(tǒng)，乒乓球運動員的訓(xùn)練，擊球數(shù)據(jù)分析以及乒乓球比賽自動裁判系統(tǒng)、網(wǎng)絡(luò)直播和電視轉(zhuǎn)播中。文檔編號G03B15/00GK101458434SQ20091009529公開日2009年6月17日申請日期2009年1月8日優(yōu)先權(quán)日2009年1月8日發(fā)明者勇劉,蓉熊,章逸豐,健褚申請人:浙江大學(xué)