專利名稱：用于基于2d運(yùn)動(dòng)估計(jì)相對3d速度和加速度投影函數(shù)的數(shù)據(jù)挖掘方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本公開涉及一種用于確定用于將第一圖像轉(zhuǎn)換成第二圖像的轉(zhuǎn)換矩陣，以及用于將第一圖像轉(zhuǎn)換成第二圖像的系統(tǒng)和方法。
背景技術(shù)：
隨著對于視頻監(jiān)測系統(tǒng)的需要的增長，對于更加自動(dòng)化的系統(tǒng)的需要變得更加明顯。這些系統(tǒng)被配置為探測移動(dòng)物體并且分析其行為。為了優(yōu)化這些系統(tǒng)，重要的是該系統(tǒng)能夠相對于彼此和相對于正被照相機(jī)監(jiān)視的空間而地理空間地定位物體。已經(jīng)提出的一種方案是使用經(jīng)校準(zhǔn)的照相機(jī)，其能夠被提供用于物體探測和定位。然而，這些照相機(jī)要求大量的時(shí)間以人工方式校準(zhǔn)照相機(jī)。此外，照相機(jī)的人工校準(zhǔn)是非常復(fù)雜的過程并且要求使用物理幾何圖案，諸如棋盤、照明圖案或者陸標(biāo)基準(zhǔn)。因?yàn)榻?jīng)常 在停車場、大廳中或者在廣闊空間中置放視頻監(jiān)測照相機(jī)，所以照相機(jī)的視場(FOV)經(jīng)常是非常大的，并且校準(zhǔn)物體例如棋盤太小以至不能在這種大的FOV中校準(zhǔn)照相機(jī)。因此，存在對于具有更加易于校準(zhǔn)并且改進(jìn)物體定位的照相機(jī)的視頻監(jiān)測系統(tǒng)的需要。該部分提供與本公開有關(guān)的背景信息，其并不是必要地是現(xiàn)有技術(shù)。

發(fā)明內(nèi)容
公開了一種用于確定轉(zhuǎn)換矩陣的方法，該轉(zhuǎn)換矩陣被用于將數(shù)據(jù)從空間的第一圖像轉(zhuǎn)換到該空間的第二圖像。該方法包括從監(jiān)視該空間的視頻照相機(jī)接收圖像數(shù)據(jù)，其中該視頻照相機(jī)產(chǎn)生穿過該空間移動(dòng)的物體的圖像數(shù)據(jù)，并且從圖像數(shù)據(jù)確定該物體關(guān)于照相機(jī)的視場的空間-時(shí)間位置。該方法進(jìn)一步包括基于物體的空間-時(shí)間位置，相對于照相機(jī)的視場來確定該物體的運(yùn)動(dòng)的觀察屬性，觀察屬性包括該物體關(guān)于照相機(jī)視場的速度和該物體關(guān)于照相機(jī)視場的加速度中的至少一項(xiàng)。該方法還包括基于該物體的運(yùn)動(dòng)的觀察屬性確定轉(zhuǎn)換矩陣。該部分提供本公開的總體簡介，而非將其的全部范圍或者其的所有特征進(jìn)行全面披露。根據(jù)在這里提供的說明，進(jìn)一步的適用領(lǐng)域?qū)⒆兊们宄?。在該簡介中的說明和具體實(shí)例僅僅出于示意的意圖，而非旨在限制本公開的范圍。


圖I是示意示例性視頻監(jiān)測系統(tǒng)的框圖；圖2是示意監(jiān)測系統(tǒng)的示例性構(gòu)件的框圖；圖3A是示意視頻照相機(jī)的示例性視場(FOV)的視圖；圖3B是示意帶有在FOV上覆蓋的柵格的照相機(jī)的示例性FOV的視圖；圖4是示意具有不同分辨率的柵格和相對于每一個(gè)柵格的物體運(yùn)動(dòng)的視圖5是示意數(shù)據(jù)挖掘模塊的示例性構(gòu)件的框圖；圖6是示意被分類成方向卦限的數(shù)據(jù)單元(data cell)的視圖；圖7是示意處理模塊的示例性構(gòu)件的框圖；圖8是示意關(guān)于具有不同分辨率的柵格的運(yùn)動(dòng)數(shù)據(jù)的視圖；圖9是示意具有沿著各種方向的矢量的示例性速度映射的視圖；圖10是示意具有僅僅沿著優(yōu)勢(dominant)流方向的矢量的示例性速度映射的視圖；圖11是示意數(shù)據(jù)單元的融合的視圖；圖12是示意用于執(zhí)行數(shù)據(jù)融合的示例性方法的流程圖； 圖13是示意被用于轉(zhuǎn)換的示例性柵格的視圖；圖14是示意用于確定轉(zhuǎn)換矩陣的示例性方法的流程圖；圖15是示意校準(zhǔn)模塊的示例性構(gòu)件的框圖；圖16是示意正被轉(zhuǎn)換成第二圖像的圖像的視圖；并且圖17是示意在正被轉(zhuǎn)換成第二圖像的第一圖像中的物體的視圖。在這里描述的附圖僅僅出于示意選定的實(shí)施例的目的，而非示意所有可能的實(shí)現(xiàn)的目的，并且也無意限制本公開的范圍。貫穿附圖中的全部的幾個(gè)視圖地，相應(yīng)的引用數(shù)字示意相應(yīng)的部分。
具體實(shí)施例方式在這里描述了一種自動(dòng)化視頻監(jiān)測系統(tǒng)。視頻照相機(jī)監(jiān)視空間，諸如門廳或者停車場。視頻照相機(jī)產(chǎn)生對應(yīng)于在照相機(jī)的視場(FOV)中觀察的空間的圖像數(shù)據(jù)。該系統(tǒng)被配置為探測觀察到在照相機(jī)的FOV中移動(dòng)的物體，在下文中被稱作“運(yùn)動(dòng)物體”。圖像數(shù)據(jù)得到處理并且運(yùn)動(dòng)物體關(guān)于FOV的位置得到分析?；谶\(yùn)動(dòng)物體的位置，觀察到的運(yùn)動(dòng)物體關(guān)于FOV的運(yùn)動(dòng)數(shù)據(jù)，諸如，速度和加速度能夠得以計(jì)算和內(nèi)插。設(shè)想到這是對于多個(gè)運(yùn)動(dòng)物體執(zhí)行的。使用觀察到的運(yùn)動(dòng)數(shù)據(jù)，轉(zhuǎn)換矩陣能夠得以確定，從而該空間的圖像能夠被轉(zhuǎn)換成第二圖像。例如，第二圖像可以是該空間的鳥瞰視圖，即從在該空間的地面上方并且基本平行于此的角度看到的視圖。一旦圖像被轉(zhuǎn)換成鳥瞰視圖，運(yùn)動(dòng)物體關(guān)于該空間的實(shí)際運(yùn)動(dòng)數(shù)據(jù)，例如，運(yùn)動(dòng)物體的速度和/或加速度，和該物體在該空間中的地理空間位置便能夠容易地被以更高的精度確定。該系統(tǒng)還能夠被配置為是自動(dòng)校準(zhǔn)的。例如，計(jì)算機(jī)產(chǎn)生的物體，例如，3D體現(xiàn)能夠被插入第一圖像中，并且被配置為通過所觀察的空間“移動(dòng)”。該圖像然后被轉(zhuǎn)換。如果在經(jīng)轉(zhuǎn)換圖像中的3D體現(xiàn)具有與在第二圖像中的3D體現(xiàn)大致相同的尺寸，或者在第二圖像中觀察到的運(yùn)動(dòng)對應(yīng)于第一圖像的運(yùn)動(dòng)，則轉(zhuǎn)換矩陣的元素被確定為是足夠的。然而，如果3D體現(xiàn)大得多或者小得多，或者運(yùn)動(dòng)并不對應(yīng)于在第一圖像中觀察到的運(yùn)動(dòng)，則元素是不正確的并且應(yīng)該加以調(diào)節(jié)。轉(zhuǎn)換矩陣或者其它參數(shù)被調(diào)節(jié)并且重復(fù)該過程。一旦轉(zhuǎn)換矩陣被適當(dāng)?shù)卣{(diào)節(jié)，照相機(jī)便被校準(zhǔn)。這允許更加有效的空間監(jiān)視。例如，一旦空間被轉(zhuǎn)換，便能夠更加準(zhǔn)確地估計(jì)物體的地理空間位置。此外，實(shí)際速度和加速度，即，關(guān)于空間的速度和加速度能夠得以確定?，F(xiàn)在參考圖1，示出示例性視頻監(jiān)測系統(tǒng)10。該系統(tǒng)可以包括感測裝置，例如，視頻照相機(jī)12a-12n，和監(jiān)測模塊20。應(yīng)該理解，感測裝置可以是其它類型的監(jiān)測照相機(jī)，諸如，紅外照相機(jī)等。出于解釋的目的，感測裝置在這里將被稱作視頻照相機(jī)。此外，對于單一照相機(jī)12的引用可以延伸至照相機(jī)12a-12n。視頻照相機(jī)12a_12n監(jiān)視空間，并且產(chǎn)生與照相機(jī)的視場(FOV)和在FOV內(nèi)觀察的物體相關(guān)的圖像數(shù)據(jù)，并且將圖像數(shù)據(jù)傳送到監(jiān)測模塊20。監(jiān)測模塊20能夠被配置為處理圖像數(shù)據(jù)以確定運(yùn)動(dòng)事件是否已經(jīng)發(fā)生。運(yùn)動(dòng)事件是何時(shí)在照相機(jī)12a的FOV中觀察到運(yùn)動(dòng)物體。一旦探測到運(yùn)動(dòng)物體，對應(yīng)于運(yùn)動(dòng)物體的軌跡的運(yùn)動(dòng)的觀察軌跡便能夠由監(jiān)測模塊20產(chǎn)生。監(jiān)測模塊20分析運(yùn)動(dòng)物體的行為或者運(yùn)動(dòng)，以確定是否觀察到異常行為。如果確定觀察軌跡是異常的，則例如能夠產(chǎn)生報(bào)警通知。監(jiān)測模塊20還能夠管理視頻保留策略，由此監(jiān)測模塊20決定哪些視頻應(yīng)該被存儲(chǔ)和哪些視頻應(yīng)該被從視頻數(shù)據(jù)存儲(chǔ)器26清除。視頻數(shù)據(jù)存儲(chǔ)器26能夠被包括在容納監(jiān)測模塊20的裝置，例如，記錄器中，或者可以是經(jīng)由網(wǎng)絡(luò)而被連接到該裝置的計(jì)算機(jī)可讀介質(zhì)。圖2示意監(jiān)測模塊20的示例性構(gòu)件。視頻照相機(jī)12產(chǎn)生對應(yīng)于在視頻照相機(jī)12的FOV中觀察到的情景的圖像數(shù)據(jù)。示例性視頻照相機(jī)12a包括產(chǎn)生對應(yīng)于圖像數(shù)據(jù)的元數(shù)據(jù)的元數(shù)據(jù)產(chǎn)生模塊28。設(shè)想到可以可替代地在監(jiān)測模塊20中包括元數(shù)據(jù)產(chǎn)生模塊28。數(shù)據(jù)挖掘模塊30接收元數(shù)據(jù)并且確定運(yùn)動(dòng)物體的觀察軌跡。觀察軌跡能夠包括但是不限于在照相機(jī)的FOV中的各種空間-時(shí)間位置處運(yùn)動(dòng)物體的速度和加速度。應(yīng)該理解的·是，運(yùn)動(dòng)數(shù)據(jù)，例如，速度和加速度是關(guān)于照相機(jī)的FOV的。因此，可以以像素/秒，或者每單位時(shí)間關(guān)于照相機(jī)的FOV的距離的等價(jià)測度來表示速度。應(yīng)該理解的是，能夠在照相機(jī)的FOV中觀察多于一個(gè)運(yùn)動(dòng)物體，并且因此可以由數(shù)據(jù)挖掘模塊30產(chǎn)生多個(gè)觀察軌跡。所產(chǎn)生的軌跡最終可以被用于確定異常行為的存在性。然而，在本公開的一個(gè)方面，軌跡被傳送到處理模塊32。處理模塊32接收軌跡，并且能夠被配置為產(chǎn)生對應(yīng)于在照相機(jī)的FOV中觀察到的運(yùn)動(dòng)物體的速度映射、加速度映射和/或發(fā)生映射。處理模塊32能夠進(jìn)一步被配置為對其他的運(yùn)動(dòng)數(shù)據(jù)進(jìn)行內(nèi)插，從而所產(chǎn)生的映射是基于更加豐富的數(shù)據(jù)集合的。處理模塊32進(jìn)一步被配置為確定轉(zhuǎn)換矩陣，其用于將在FOV中觀察的空間的圖像轉(zhuǎn)換成第二圖像，諸如該空間的鳥瞰視圖。轉(zhuǎn)換模塊32使用關(guān)于照相機(jī)而觀察到的運(yùn)動(dòng)數(shù)據(jù)產(chǎn)生轉(zhuǎn)換矩陣。能夠在挖掘元數(shù)據(jù)數(shù)據(jù)存儲(chǔ)器36中與各種元數(shù)據(jù)一起地存儲(chǔ)轉(zhuǎn)換矩陣。挖掘元數(shù)據(jù)數(shù)據(jù)存儲(chǔ)器36存儲(chǔ)各種類型的數(shù)據(jù)，包括元數(shù)據(jù)、運(yùn)動(dòng)數(shù)據(jù)、融合數(shù)據(jù)、轉(zhuǎn)換矩陣、3d物體和由記錄模塊20使用的其它類型的數(shù)據(jù)。校準(zhǔn)模塊34校準(zhǔn)轉(zhuǎn)換矩陣，由此優(yōu)化從第一圖像到第二圖像的轉(zhuǎn)換。校準(zhǔn)模塊34從處理模塊32或者從存儲(chǔ)器，例如，挖掘數(shù)據(jù)數(shù)據(jù)存儲(chǔ)器36接收轉(zhuǎn)換矩陣。校準(zhǔn)矩陣接收第一圖像并且將計(jì)算機(jī)產(chǎn)生的物體嵌入該圖像中。此外，校準(zhǔn)模塊34能夠被配置為跟蹤計(jì)算機(jī)產(chǎn)生的物體的軌跡。校準(zhǔn)模塊34然后轉(zhuǎn)換帶有嵌入的計(jì)算機(jī)產(chǎn)生的物體的圖像。如果計(jì)算機(jī)產(chǎn)生的物體曾“移動(dòng)”穿過該空間，則校準(zhǔn)模塊34然后評價(jià)在經(jīng)轉(zhuǎn)換空間中的嵌入的計(jì)算機(jī)產(chǎn)生的物體及其軌跡。校準(zhǔn)模塊34比較經(jīng)轉(zhuǎn)換的計(jì)算機(jī)產(chǎn)生的物體與初始計(jì)算機(jī)產(chǎn)生的物體，并且確定轉(zhuǎn)換矩陣是否準(zhǔn)確地將第一圖像轉(zhuǎn)換成第二圖像。這是通過比較物體自身和/或物體的運(yùn)動(dòng)而實(shí)現(xiàn)的。如果轉(zhuǎn)換矩陣并不準(zhǔn)確地轉(zhuǎn)換圖像，則轉(zhuǎn)換矩陣的值被校準(zhǔn)模塊34調(diào)節(jié)。設(shè)想到能夠以在計(jì)算機(jī)可讀介質(zhì)，諸如，RAM、ROM、⑶-ROM、硬盤驅(qū)動(dòng)器等中嵌入的計(jì)算機(jī)可讀指令來實(shí)現(xiàn)監(jiān)測模塊20及其構(gòu)件。此外，指令能夠由與視頻監(jiān)測系統(tǒng)相關(guān)聯(lián)的處理器執(zhí)行。此外，可以作為專用硬件來實(shí)現(xiàn)監(jiān)測模塊的某些構(gòu)件或者子構(gòu)件。元數(shù)據(jù)產(chǎn)生模塊28接收圖像數(shù)據(jù)，并且產(chǎn)生對應(yīng)于圖像數(shù)據(jù)的元數(shù)據(jù)。元數(shù)據(jù)的實(shí)例能夠包括但是不限于運(yùn)動(dòng)物體標(biāo)識符、圍繞運(yùn)動(dòng)物體的邊界框、在邊界框上的特定點(diǎn)，例如，左上角或者中心點(diǎn)的(x，y)坐標(biāo)、邊界框的高度和寬度、以及幀數(shù)或者時(shí)間戳。圖3A描繪在照相機(jī)的FOV中的邊界框310的一個(gè)實(shí)例。如能夠看到地，左上角被用作基準(zhǔn)點(diǎn)或者邊界框的位置。還在圖中示出能夠提取的元數(shù)據(jù)的實(shí)例，其包括U，y)坐標(biāo)、邊界框310的高度和寬度。軌跡未必是元數(shù)據(jù)，并且其被示出以僅僅用于示出運(yùn)動(dòng)物體的路徑。此外，F(xiàn)OV可以被劃分成多個(gè)單元。圖3B描繪被劃分成5X5柵格，即，25個(gè)單元的示例性F0V。作為參考，還描繪了邊界框和運(yùn)動(dòng)物體。當(dāng)FOV被劃分成柵格時(shí)，能夠通過在運(yùn)動(dòng)物體或者邊界框上的特定點(diǎn)位于其處的單元，來描述運(yùn)動(dòng)物體的位置。此外，用于特定的單元或者照相機(jī)的區(qū)域的時(shí)間-序列的元數(shù)據(jù)能夠被格式化成數(shù)據(jù)立方體(data cube)。另外地，每一個(gè)單元的數(shù)據(jù)立方體可以包含有關(guān)觀察到的運(yùn)動(dòng)和當(dāng)運(yùn)動(dòng)物體通過這些單元時(shí)從運(yùn)動(dòng)物體獲得的出現(xiàn)樣本的統(tǒng)計(jì)數(shù)據(jù)。
如能夠理解地，每次已經(jīng)探測到運(yùn)動(dòng)事件時(shí)，時(shí)間戳或者幀數(shù)均能夠被用于以時(shí)間方式對于運(yùn)動(dòng)物體排序。在每一個(gè)事件處，均可以為具體的幀或者時(shí)間戳產(chǎn)生元數(shù)據(jù)。此外，用于所有的幀或者時(shí)間戳的元數(shù)據(jù)能夠被格式化成有序元組。例如，以下可以代表一系列運(yùn)動(dòng)事件，其中對應(yīng)于運(yùn)動(dòng)物體的元數(shù)據(jù)的元組根據(jù)<t，x, y, h，w, obj_id>而被格式化<t1；5,5,4,2,l>, <t2,4,4,4, 2,1>, ... <t5，1，1，4，2，1>如能夠看到地，其邊界框?yàn)樗膫€(gè)單位高和兩個(gè)單位寬的、具有id標(biāo)簽I的運(yùn)動(dòng)物體在五個(gè)樣本中從點(diǎn)(5，5)移動(dòng)到點(diǎn)(1，I)。如能夠看到地，運(yùn)動(dòng)物體由一組空間-時(shí)間坐標(biāo)限定。還應(yīng)該理解的是，現(xiàn)在已知或者在以后發(fā)展起來的、從圖像數(shù)據(jù)產(chǎn)生元數(shù)據(jù)的任何手段均可以由元數(shù)據(jù)產(chǎn)生模塊28使用，以產(chǎn)生元數(shù)據(jù)。進(jìn)而，F(xiàn)OV能夠具有被劃分成多個(gè)單元的疊置的柵格。圖3B描繪被劃分成5X5柵格，S卩，25個(gè)單元的示例性F0V。作為參考，還描繪了邊界框和運(yùn)動(dòng)物體。當(dāng)FOV被劃分成柵格時(shí)，能夠利用在運(yùn)動(dòng)物體或者邊界框上的特定點(diǎn)位于其處的單元來描述運(yùn)動(dòng)物體的位置。另外地，在本公開的一個(gè)方面，元數(shù)據(jù)產(chǎn)生模塊28能夠被配置為記錄運(yùn)動(dòng)物體關(guān)于多個(gè)柵格的空間-時(shí)間位置。如將在下面示出地，跟蹤運(yùn)動(dòng)物體關(guān)于多個(gè)柵格的位置允許轉(zhuǎn)換模塊32執(zhí)行更加準(zhǔn)確的運(yùn)動(dòng)數(shù)據(jù)內(nèi)插。圖4示意被用于跟蹤物體的運(yùn)動(dòng)的多個(gè)柵格的一個(gè)實(shí)例。如能夠從圖看到地，存在所描繪的相同情景的三個(gè)F0V，每一個(gè)FOV均帶有相應(yīng)的柵格。FOV 402具有4X4柵格，F(xiàn)OV 404具有3X3柵格，并且FOV 406具有8X8柵格。FOV 408是在彼此頂上疊置的所有的三個(gè)柵格的視圖。如能夠在每一個(gè)FOV中看到地，物體開始于位置410處并且結(jié)束于位置412處。元數(shù)據(jù)產(chǎn)生模塊28通過識別在特定時(shí)間處物體位于每一個(gè)柵格中的哪一個(gè)單元處，從而跟蹤物體的運(yùn)動(dòng)。如能夠在圖4的實(shí)例中理解地，對于每一個(gè)運(yùn)動(dòng)事件，元數(shù)據(jù)產(chǎn)生模塊28能夠輸出對應(yīng)于物體關(guān)于每一個(gè)柵格的位置的三個(gè)單兀標(biāo)識符。元數(shù)據(jù)產(chǎn)生模塊28還能夠被配置為從元數(shù)據(jù)移除界外值(outlier)。例如如果對于特定時(shí)間樣本所接收的元數(shù)據(jù)與其余的元數(shù)據(jù)不一致，則元數(shù)據(jù)產(chǎn)生模塊28確定樣本是界外值，并且將其從元數(shù)據(jù)移除。元數(shù)據(jù)產(chǎn)生模塊28向元數(shù)據(jù)挖掘倉庫36并且向數(shù)據(jù)挖掘模塊30輸出所產(chǎn)生的元數(shù)據(jù)。元數(shù)據(jù)產(chǎn)生模塊28還將元數(shù)據(jù)傳送到轉(zhuǎn)換模塊38，轉(zhuǎn)換模塊38轉(zhuǎn)換空間的圖像，并且將經(jīng)轉(zhuǎn)換圖像傳送到監(jiān)測模塊40。圖5示意數(shù)據(jù)挖掘模塊30的示例性構(gòu)件。數(shù)據(jù)挖掘模塊30從元數(shù)據(jù)產(chǎn)生模塊28或者從挖掘元數(shù)據(jù)數(shù)據(jù)存儲(chǔ)器36接收元數(shù)據(jù)。示例性數(shù)據(jù)挖掘模塊30包括矢量產(chǎn)生模塊50、界外值探測模塊52、速度計(jì)算模塊54、和加速度計(jì)算模塊56。矢量產(chǎn)生模塊50接收元數(shù)據(jù)，并且確定所要產(chǎn)生的矢量的數(shù)量。例如，如果兩個(gè)物體在單一情景中移動(dòng)，則可以產(chǎn)生兩個(gè)矢量。矢量產(chǎn)生模塊50能夠具有存儲(chǔ)達(dá)預(yù)定數(shù)量的軌跡矢量的矢量緩沖器。此外，因?yàn)樵谑噶恐械臈l目的數(shù)量將等于在其中具有探測到的運(yùn)動(dòng)物體的幀或者帶有時(shí)間戳的幀的數(shù)量，所以矢量產(chǎn)生模塊50能夠?yàn)閷?yīng)于運(yùn)動(dòng)物體的每一個(gè)矢量分派適當(dāng)數(shù)量的存儲(chǔ)器。在矢量產(chǎn)生被實(shí)時(shí)地執(zhí)行的情形中，當(dāng)接收新的元 數(shù)據(jù)時(shí)，矢量產(chǎn)生模塊50能夠?yàn)樵谲壽E中的新的點(diǎn)分派另外的存儲(chǔ)器。矢量產(chǎn)生模塊50還將位置數(shù)據(jù)和時(shí)間數(shù)據(jù)插入軌跡矢量中。從元數(shù)據(jù)確定了位置數(shù)據(jù)。能夠以實(shí)際的(X，y)坐標(biāo)或者通過識別在其中觀察到運(yùn)動(dòng)物體的單元而列出位置數(shù)據(jù)。界外值探測模塊66接收軌跡矢量并且讀出在各種時(shí)間采樣處的運(yùn)動(dòng)物體的值。界外值是與數(shù)據(jù)集合的其余部分不一致的數(shù)據(jù)樣本。例如，如果運(yùn)動(dòng)物體在樣本tl和t3中在FOV的左上角處被探測到，但是在樣本t2中位于右下角中，則界外值探測模塊52能夠確定對于時(shí)間t2的時(shí)間樣本是界外值。設(shè)想到可以在界外值探測模塊中實(shí)施探測界外值的任何手段。此外，如將在下面討論地，如果探測到界外值，則可以基于其它數(shù)據(jù)樣本內(nèi)插運(yùn)動(dòng)物體的位置。設(shè)想到界外值探測模塊52能夠?qū)嵤┙缤庵荡_定的任何手段。速度計(jì)算模塊54計(jì)算運(yùn)動(dòng)物體在各種時(shí)間樣本處的速度。應(yīng)該理解的是，在每個(gè)時(shí)間段的速度將具有兩個(gè)分量，即速度矢量的方向和幅值。幅值涉及運(yùn)動(dòng)物體的速率。能夠根據(jù)
ΛΙ χ( ~)-x(i . ))2 + ((v(lI — y(t~............,.....W
T/ff \(mrcmtrA" 'U、amr ^ J、cmtr-l"^、
V ^hiwr) =TT— , ____11 J
( ~~j j、aU4F Π ΜΓ-Ι I為在的軌跡計(jì)算速度矢量的幅值，或者運(yùn)動(dòng)物體的速率?？商娲?，可以以速度矢量的單獨(dú)的分量來表示速度矢量的幅值，即辦(|謙)=和辦U^ J(Wl))(2)
^cmir I γ-! )Vcimr ^cunr-I)進(jìn)一步理解的是，如果使用數(shù)據(jù)單元表示，S卩，運(yùn)動(dòng)物體的位置由在其中發(fā)現(xiàn)運(yùn)動(dòng)物體的數(shù)據(jù)單元限定，則對應(yīng)于數(shù)據(jù)單元或者單元標(biāo)識符的預(yù)定(X，y)值能夠替代實(shí)際位置。此外，如果實(shí)現(xiàn)了多個(gè)柵格，則能夠關(guān)于多個(gè)柵格表示運(yùn)動(dòng)物體的位置和速度，即，對于每一個(gè)柵格單獨(dú)地表示。應(yīng)該理解的是，計(jì)算速度將是相對于照相機(jī)的FOV的，例如，像素每秒。因此，盡管兩個(gè)物體可以以相同或者類似的速率行進(jìn)的事實(shí)，但是更加遠(yuǎn)離的物體看起來仍將慢于更加靠近照相機(jī)的物體。進(jìn)一步設(shè)想到可以實(shí)現(xiàn)計(jì)算相對速度的其它手段。能夠通過將每一個(gè)數(shù)據(jù)單元?jiǎng)澐殖深A(yù)定的子單元，例如，8個(gè)卦限而相對于它在數(shù)據(jù)單元中的方向來表示速度矢量的方向。圖6示意被分成8個(gè)卦限1-8的數(shù)據(jù)單元70的一個(gè)實(shí)例。根據(jù)在t?！ず蜆颖局g的軌跡的方向，可以通過確定軌跡能夠落入哪一個(gè)卦限中來近似該方向。例如，沿著靠近NNE的任何方向，例如，沿著基本向上的方向并且稍微向右地行進(jìn)的軌跡能夠被給予單個(gè)軌跡方向，如由標(biāo)記62示出地。因此，用于數(shù)據(jù)單元的任何速度矢量可以由數(shù)據(jù)單元卦限標(biāo)識符和幅值來表示。加速度計(jì)算模塊56以與速度計(jì)算模塊54基本相同的方式操作。替代位置值，可以使用在各種時(shí)間樣本處的速度矢量的幅值。因此，可以通過
權(quán)利要求
1.一種用于將數(shù)據(jù)從空間的第一圖像轉(zhuǎn)換到所述空間的第二圖像的方法，所述方法包括 從監(jiān)視所述空間的視頻照相機(jī)接收圖像數(shù)據(jù)，其中所述視頻照相機(jī)產(chǎn)生移動(dòng)穿過所述空間的物體的圖像數(shù)據(jù)； 從所述圖像數(shù)據(jù)確定所述物體關(guān)于所述照相機(jī)的視場的空間-時(shí)間位置； 基于所述物體的所述空間-時(shí)間位置確定所述物體相對于所述照相機(jī)的視場的運(yùn)動(dòng)的觀察屬性，所述觀察屬性包括所述物體關(guān)于所述照相機(jī)的視場的速度和所述物體關(guān)于所述照相機(jī)的視場的加速度中的至少一項(xiàng)；以及 基于所述物體的運(yùn)動(dòng)的所述觀察屬性來確定轉(zhuǎn)換矩陣。
2.根據(jù)權(quán)利要求I所述的方法，進(jìn)一步包括將所述空間的第一圖像轉(zhuǎn)換成所述空間的第二圖像。
3.根據(jù)權(quán)利要求2所述的方法，進(jìn)一步包括校準(zhǔn)所述轉(zhuǎn)換矩陣，其通過以下步驟進(jìn)行 將計(jì)算機(jī)產(chǎn)生的物體插入所述第一圖像中； 將所述計(jì)算機(jī)產(chǎn)生的物體轉(zhuǎn)換成在所述第二圖像中的、經(jīng)轉(zhuǎn)換的物體； 比較所述計(jì)算機(jī)產(chǎn)生的物體和所述經(jīng)轉(zhuǎn)換的物體；并且 基于所述比較來調(diào)節(jié)在所述轉(zhuǎn)換矩陣中的元素。
4.根據(jù)權(quán)利要求I所述的方法，其中所述確定所述轉(zhuǎn)換矩陣進(jìn)一步基于關(guān)于所述空間的運(yùn)動(dòng)的實(shí)際屬性，其中，所述運(yùn)動(dòng)的實(shí)際屬性包括所述物體和另一個(gè)物體中的至少一個(gè)關(guān)于所述空間的恒定速度。
5.根據(jù)權(quán)利要求I所述的方法，其中所述照相機(jī)的視場被劃分成多個(gè)單元。
6.根據(jù)權(quán)利要求5所述的方法，其中所述物體的空間-時(shí)間位置是關(guān)于所述多個(gè)單元而限定的。
7.根據(jù)權(quán)利要求6所述的方法，進(jìn)一步包括產(chǎn)生速度映射和單元速度，所述速度映射指示所述多個(gè)單元中的每一個(gè)單元的優(yōu)勢流方向，并且所述單元速度指示在沿著所述優(yōu)勢流方向移動(dòng)的單元中多個(gè)被觀察物體的速度，其中，所述單元速度是關(guān)于所述照相機(jī)的視場限定的，并且其中所述多個(gè)被觀察物體包括所述物體。
8.根據(jù)權(quán)利要求7所述的方法，其中所述轉(zhuǎn)換矩陣的所述確定是基于所述速度映射的。
9.根據(jù)權(quán)利要求8所述的方法，其中所述轉(zhuǎn)換矩陣的所述確定進(jìn)一步基于關(guān)于所述空間的運(yùn)動(dòng)的實(shí)際屬性的，其中，所述運(yùn)動(dòng)的實(shí)際屬性包括所述物體和另一個(gè)物體中的至少一個(gè)關(guān)于所述空間的恒定速度。
10.根據(jù)權(quán)利要求6所述的方法，進(jìn)一步包括產(chǎn)生加速度映射和單元加速度，所述加速度映射指示所述多個(gè)單元中的每一個(gè)單元的優(yōu)勢流方向，并且所述單元加速度指示在沿著所述優(yōu)勢流方向移動(dòng)的單元中的多個(gè)被觀察物體的加速度，其中，所述單元加速度是關(guān)于所述照相機(jī)的視場而限定的，并且其中所述多個(gè)被觀察物體包括所述物體。
11.根據(jù)權(quán)利要求10所述的方法，其中所述轉(zhuǎn)換矩陣的所述確定是基于所述加速度映射 的。
12.根據(jù)權(quán)利要求8所述的方法，其中所述轉(zhuǎn)換矩陣的所述確定進(jìn)一步基于關(guān)于所述空間的運(yùn)動(dòng)的實(shí)際屬性，其中所述運(yùn)動(dòng)的實(shí)際屬性包括具有零值的加速度，其中，所述加速度是關(guān)于所述空間的，并且對應(yīng)于所述物體和另一個(gè)物體中的至少一個(gè)。
13.根據(jù)權(quán)利要求3所述的方法，其中所述校準(zhǔn)被以迭代的方式執(zhí)行。
14.一種用于將數(shù)據(jù)從空間的第一圖像轉(zhuǎn)換到所述空間的第二圖像的系統(tǒng)，所述系統(tǒng)包括 元數(shù)據(jù)處理模塊，所述元數(shù)據(jù)處理模塊被配置為從監(jiān)視所述空間的視頻照相機(jī)接收圖像數(shù)據(jù)，其中，所述視頻照相機(jī)產(chǎn)生移動(dòng)穿過所述空間的物體的圖像數(shù)據(jù)，并且從所述圖像數(shù)據(jù)確定所述物體關(guān)于所述照相機(jī)的視場的空間-時(shí)間位置； 處理模塊，所述處理模塊被配置為基于所述物體的所述空間-時(shí)間位置來確定所述物體相對于所述照相機(jī)的視場的運(yùn)動(dòng)的觀察屬性，所述觀察屬性包括所述物體關(guān)于所述照相機(jī)的視場的速度和所述物體關(guān)于所述照相機(jī)的視場的加速度中的至少一項(xiàng)；以及 轉(zhuǎn)換模塊，所述轉(zhuǎn)換模塊被配置為基于所述物體的運(yùn)動(dòng)的所述觀察屬性來確定轉(zhuǎn)換矩陣。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中，所述轉(zhuǎn)換模塊進(jìn)一步被配置為將所述空間的第一圖像轉(zhuǎn)換成所述空間的第二圖像。
16.根據(jù)權(quán)利要求15所述的系統(tǒng)，進(jìn)一步包括校準(zhǔn)模塊，所述校準(zhǔn)模塊被配置為 將計(jì)算機(jī)產(chǎn)生的物體插入所述第一圖像中； 將所述計(jì)算機(jī)產(chǎn)生的物體轉(zhuǎn)換成在所述第二圖像中的經(jīng)轉(zhuǎn)換的物體； 比較所述計(jì)算機(jī)產(chǎn)生的物體和所述經(jīng)轉(zhuǎn)換的物體；和 基于所述比較來調(diào)節(jié)在所述轉(zhuǎn)換矩陣中的元素。
17.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中所述轉(zhuǎn)換矩陣進(jìn)一步基于關(guān)于所述空間的運(yùn)動(dòng)的實(shí)際屬性，其中所述運(yùn)動(dòng)的實(shí)際屬性包括所述物體和另一個(gè)物體中的至少一個(gè)關(guān)于所述空間的恒定速度。
18.根據(jù)權(quán)利要求14所述的系統(tǒng)，其中所述照相機(jī)的視場被劃分成多個(gè)單元。
19.根據(jù)權(quán)利要求18所述的系統(tǒng)，其中所述物體的空間-時(shí)間位置是關(guān)于所述多個(gè)單元而限定的。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，進(jìn)一步包括數(shù)據(jù)融合模塊，所述數(shù)據(jù)融合模塊被配置為產(chǎn)生速度映射和單元速度，所述速度映射指示所述多個(gè)單元中的每一個(gè)單元的優(yōu)勢流方向，并且所述單元速度指示在沿著所述優(yōu)勢流方向移動(dòng)的單元中多個(gè)被觀察物體的速度，其中，所述單元速度是關(guān)于所述照相機(jī)的視場限定的，并且其中所述多個(gè)被觀察物體包括所述物體。
21.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中所述轉(zhuǎn)換矩陣是基于所述速度映射的。
22.根據(jù)權(quán)利要求21所述的系統(tǒng)，其中所述轉(zhuǎn)換矩陣進(jìn)一步基于關(guān)于所述空間的運(yùn)動(dòng)的實(shí)際屬性，其中，所述運(yùn)動(dòng)的實(shí)際屬性包括所述物體和另一個(gè)物體中的至少一個(gè)關(guān)于所述空間的恒定速度。
23.根據(jù)權(quán)利要求19所述的系統(tǒng)，進(jìn)一步包括數(shù)據(jù)融合模塊，所述數(shù)據(jù)融合模塊產(chǎn)生加速度映射和單元加速度，所述加速度映射指示所述多個(gè)單元中的每一個(gè)單元的優(yōu)勢流方向，并且所述單元加速度指示在沿著所述優(yōu)勢流方向移動(dòng)的單元中多個(gè)被觀察物體的加速度，其中，所述單元加速度是關(guān)于所述照相機(jī)的視場而限定的，并且其中所述多個(gè)被觀察物體包括所述物體。
24.根據(jù)權(quán)利要求23所述的系統(tǒng)，其中所述轉(zhuǎn)換矩陣是基于所述加速度映射的。
25.根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述轉(zhuǎn)換矩陣進(jìn)一步基于關(guān)于所述空間的運(yùn)動(dòng)的實(shí)際屬性，其中所述運(yùn)動(dòng)的實(shí)際屬性包括具有零值的加速度，其中，所述加速度是關(guān)于所述空間的，并且對應(yīng)于所述物體和另一個(gè)物體中的至少一個(gè)。
全文摘要
公開了一種用于確定用于將數(shù)據(jù)從空間的第一圖像轉(zhuǎn)換到空間的第二圖像的轉(zhuǎn)換矩陣的方法。該方法包括從監(jiān)視該空間的視頻照相機(jī)接收圖像數(shù)據(jù)，其中，該視頻照相機(jī)產(chǎn)生移動(dòng)穿過該空間的物體的圖像數(shù)據(jù)，并且從該圖像數(shù)據(jù)確定該物體關(guān)于照相機(jī)的視場的空間-時(shí)間位置。該方法進(jìn)一步包括基于該物體的空間-時(shí)間位置，確定相對于照相機(jī)的視場的該物體的運(yùn)動(dòng)的觀察屬性，觀察屬性包括該物體關(guān)于照相機(jī)的視場的速度和該物體關(guān)于照相機(jī)的視場的加速度中的至少一項(xiàng)。該方法還包括基于該物體的運(yùn)動(dòng)的觀察屬性來確定轉(zhuǎn)換矩陣。
文檔編號G06T7/00GK102870137SQ201080064191
公開日2013年1月9日 申請日期2010年12月16日 優(yōu)先權(quán)日2010年2月19日
發(fā)明者劉禮斌, 李國柱 申請人:松下電器產(chǎn)業(yè)株式會(huì)社