專(zhuān)利名稱(chēng)：一種基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于交通技術(shù)領(lǐng)域，涉及交通事件快速響應(yīng)、交通事件監(jiān)測(cè)和公安及路政系統(tǒng)車(chē)輛追蹤，尤其是一種基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置。
背景技術(shù)：
無(wú)人駕駛飛機(jī)是一種用來(lái)觀測(cè)地表目標(biāo)或投放對(duì)地武器的空中飛行平臺(tái)，被廣泛應(yīng)用于軍事戰(zhàn)爭(zhēng)，用來(lái)進(jìn)行情報(bào)偵察，其可以通過(guò)其觀測(cè)地表目標(biāo)的功能用來(lái)檢測(cè)交通信息。與傳統(tǒng)的交通信息檢測(cè)設(shè)備相比，其特點(diǎn)是部署靈活、單設(shè)備監(jiān)測(cè)視野廣、成本低，并可采集車(chē)輛運(yùn)行軌跡等微觀交通信息，應(yīng)用前景廣闊。無(wú)人駕駛飛機(jī)可通過(guò)成像設(shè)備采集道路交通視頻信息，這些視頻信息具有明顯的時(shí)空屬性，且蘊(yùn)含明確的交通語(yǔ)義。交通語(yǔ)義是指描述出行者交通行為的語(yǔ)言，如車(chē)輛跟馳、換道、加速、減速以及交通流的流量、速度和密度參數(shù)等描述性參數(shù)。如何從海量視頻數(shù)據(jù)中快速查找，符合指定的文本檢索條件或與指定車(chē)輛圖像相似的視頻片段，是無(wú)人機(jī)在交通中應(yīng)用的關(guān)鍵問(wèn)題之一。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置，可確定交通信息，并構(gòu)建數(shù)據(jù)庫(kù)，該實(shí)現(xiàn)交通視頻的海量信息存儲(chǔ)和快速檢索。為達(dá)到以上目的，本發(fā)明所采用的解決方案是一種基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置，其包括無(wú)人機(jī)和處理設(shè)備，無(wú)人機(jī)上裝設(shè)有成像設(shè)備、定位設(shè)備和傳輸設(shè)備，所述成像設(shè)備采集地面交通視頻，所述定位設(shè)備，確定飛行參數(shù)，獲得交通視頻對(duì)應(yīng)的時(shí)空信息，所述傳輸設(shè)備，將成像設(shè)備和定位設(shè)備所采集的信息傳輸至處理設(shè)備；處理設(shè)備結(jié)合交通視頻及與其一一對(duì)應(yīng)的時(shí)空信息計(jì)算獲得交通信息。所述飛行參數(shù)包括無(wú)人機(jī)的經(jīng)緯度、無(wú)人機(jī)的傾斜角、翻滾角、方向角和飛行高度。所述處理設(shè)備包括車(chē)輛位置識(shí)別模塊和交通語(yǔ)義提取模塊，所述車(chē)輛位置識(shí)別模塊通過(guò)對(duì)采集交通視頻的成像設(shè)備參數(shù)標(biāo)定，利用圖像邊緣檢測(cè)carmy算法和圖像板塊輪廓，確定道路區(qū)域；統(tǒng)計(jì)道路區(qū)域灰度值直方圖峰值，作為背景灰度信息，分割圖像；通過(guò)圖像斑塊分析，利用車(chē)輛的幾何形狀特征作為模板，檢測(cè)移動(dòng)和靜止車(chē)輛；利用 Kanade-Lucas-Tomasi特征跟蹤算法，結(jié)合K均值聚類(lèi)，跟蹤運(yùn)動(dòng)車(chē)輛，車(chē)輛速度在道路方向值大于指定的閾值時(shí)，判定為運(yùn)動(dòng)車(chē)輛，除去運(yùn)動(dòng)車(chē)輛，剩余圖像斑塊為靜止車(chē)輛；通過(guò)透視成像模型的幾何關(guān)系、相機(jī)的焦距和圖像主點(diǎn)位置，利用空間幾何圖形的相似關(guān)系計(jì)算車(chē)輛尺寸；利用成像設(shè)備參數(shù)將圖像坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)，車(chē)輛圖像斑塊中心所對(duì)應(yīng)的世界坐標(biāo)即為車(chē)輛實(shí)際空間坐標(biāo)；所述交通語(yǔ)義提取模塊根據(jù)車(chē)輛的實(shí)際空間坐標(biāo)以及每一視頻幀所對(duì)應(yīng)的時(shí)間和車(chē)輛的編號(hào)，獲取車(chē)輛的行駛軌跡，并按照交通工程學(xué)的定義統(tǒng)計(jì)獲取交通量、交通密度和平均速度。
所述成像設(shè)備參數(shù)包括成像設(shè)備內(nèi)部參數(shù)和外部參數(shù)，內(nèi)部參數(shù)包括焦距、圖像主點(diǎn)位置和五個(gè)畸變參數(shù)，外部參數(shù)包括旋轉(zhuǎn)矩陣R和平移向量T。所述處理設(shè)備還包括交通安全判別模塊，根據(jù)道路的限速信息，當(dāng)從視頻檢測(cè)到的車(chē)輛速度達(dá)到閾值時(shí)則認(rèn)為車(chē)輛危險(xiǎn)駕駛；檢測(cè)到靜態(tài)車(chē)輛，若車(chē)輛不在路邊則認(rèn)為非常有可能是交通事故；根據(jù)車(chē)輛的行駛軌跡，判斷車(chē)輛的方向，如果車(chē)輛方向與道路方向不一致則認(rèn)為是逆向行駛。所述處理設(shè)備還包括視頻檢索模塊，根據(jù)視頻對(duì)應(yīng)的交通語(yǔ)義和時(shí)空信息，建立交通視頻文件與交通語(yǔ)義的關(guān)聯(lián)，構(gòu)成檢索數(shù)據(jù)庫(kù)。所述交通視頻文件與交通語(yǔ)義的關(guān)聯(lián)，是將描述交通行為的信息記錄至對(duì)應(yīng)的數(shù)據(jù)庫(kù)，在數(shù)據(jù)庫(kù)中建立外鍵字段，該外鍵字段使得數(shù)據(jù)庫(kù)與視頻文件信息表格建立索引關(guān)系，完成視頻文件交通語(yǔ)義的自動(dòng)標(biāo)注。由于采用了上述方案，本發(fā)明具有以下特點(diǎn)利用該方法，用戶可快速查找符合條件的交通視頻片段及其對(duì)應(yīng)的時(shí)空信息，結(jié)合人工視頻識(shí)別，可確認(rèn)交通事件或進(jìn)行特定車(chē)輛追蹤。本發(fā)明在交通事件管理和公安及路政系統(tǒng)特定車(chē)輛追蹤領(lǐng)域有較好的應(yīng)用前
旦
ο


圖1是本發(fā)明涉及的硬件及其數(shù)據(jù)流圖。圖2是基于交通語(yǔ)義的無(wú)人機(jī)視頻檢索方法實(shí)施流程。
具體實(shí)施例方式以下結(jié)合附圖所示實(shí)施例對(duì)本發(fā)明作進(jìn)一步的說(shuō)明。本發(fā)明一種基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置包括無(wú)人駕駛飛機(jī)(攜帶成像設(shè)備、差分 GPS、陀螺儀和信息傳輸設(shè)備)、地面控制站、硬盤(pán)錄像機(jī)和業(yè)務(wù)主機(jī)等，如圖1所示成像設(shè)備按照預(yù)先設(shè)置的采樣率拍攝檢測(cè)目標(biāo)的視頻；無(wú)人機(jī)配置的定位設(shè)備如陀螺儀和差分 GPS確定飛機(jī)的經(jīng)緯度、飛機(jī)的傾斜角、翻滾角和方向角以及飛行高度，還可獲得拍攝交通視頻時(shí)的時(shí)間信息；無(wú)人機(jī)配置的通訊設(shè)備將視頻數(shù)據(jù)和無(wú)人機(jī)飛行參數(shù)數(shù)據(jù)通過(guò)無(wú)人機(jī)與其基站的專(zhuān)用無(wú)線通道，將數(shù)據(jù)傳輸至無(wú)人機(jī)基站。在實(shí)際工作時(shí)，拍攝交通視頻時(shí)的時(shí)間信息也可通過(guò)成像設(shè)備計(jì)時(shí)獲得。本發(fā)明的裝置進(jìn)行交通監(jiān)測(cè)的具體實(shí)施步驟如圖2所示第一步交通視頻采集按照需求規(guī)劃無(wú)人飛機(jī)飛行線路和飛行高度，根據(jù)天氣和光照條件選擇合適的視頻采集鏡頭(如適合穿透大霧的鏡頭或弱光照條件下的鏡頭)，檢查無(wú)人飛機(jī)設(shè)備狀態(tài)，檢查無(wú)人駕駛飛機(jī)、地面控制站、硬盤(pán)錄像機(jī)和業(yè)務(wù)主機(jī)之間的通信鏈路，執(zhí)行飛行任務(wù)，通過(guò)成像設(shè)備(相機(jī))獲取地面交通視頻，通過(guò)定位設(shè)備獲取交通視頻所對(duì)應(yīng)的時(shí)空信息。第二步視頻文件存儲(chǔ)設(shè)置地面控制站視頻存儲(chǔ)格式，將無(wú)人駕駛飛機(jī)采集的視頻流轉(zhuǎn)換為指定格式的視頻文件并存儲(chǔ)至硬盤(pán)錄像機(jī)，同時(shí)將視頻文件相應(yīng)的文件信息和無(wú)人機(jī)飛行參數(shù)(包括飛機(jī)的經(jīng)緯度、飛機(jī)的傾斜角、翻滾角和方向角和飛行高度)存儲(chǔ)至業(yè)務(wù)主機(jī)的MYSQL數(shù)據(jù)
4庫(kù)。第三步車(chē)輛識(shí)別與跟蹤通過(guò)無(wú)人飛機(jī)相機(jī)參數(shù)標(biāo)定，獲取相機(jī)內(nèi)部參數(shù)(焦距、圖像主點(diǎn)位置和五個(gè)畸變參數(shù))和外部參數(shù)(旋轉(zhuǎn)矩陣R和平移向量T)，然后利用圖像邊緣檢測(cè)canny算法和圖像板塊輪廓，確定道路區(qū)域；統(tǒng)計(jì)道路區(qū)域灰度值直方圖峰值，作為背景灰度信息，分割圖像；通過(guò)圖像斑塊分析，利用車(chē)輛的幾何形狀特征作為模板，檢測(cè)移動(dòng)和靜止車(chē)輛；利用 Kanade-Lucas-Tomasi特征跟蹤算法，結(jié)合K均值聚類(lèi)，跟蹤運(yùn)動(dòng)車(chē)輛，車(chē)輛速度在道路方向值大于指定的閾值時(shí)，判定為運(yùn)動(dòng)車(chē)輛，并且可以確定車(chē)輛的位置信息，除去運(yùn)動(dòng)車(chē)輛， 剩余圖像斑塊為靜止車(chē)輛。結(jié)合相機(jī)參數(shù)標(biāo)定信息、焦距信息、無(wú)人機(jī)飛行姿態(tài)數(shù)據(jù)(包括經(jīng)緯度、飛機(jī)的傾斜角、翻滾角和方向角和飛行高度)，根據(jù)空間幾何關(guān)系，計(jì)算確定車(chē)輛的尺寸、空間位置。車(chē)輛的尺寸可以通過(guò)透視成像模型的幾何關(guān)系、相機(jī)的焦距和圖像主點(diǎn)位置，利用空間幾何圖形的相似關(guān)系計(jì)算(具體計(jì)算公式可參照計(jì)算機(jī)視覺(jué)或遙感圖像處理教程)；利用相機(jī)外部參數(shù)(相機(jī)坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換矩陣R和平移向量T)，可以將圖像坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)，車(chē)輛圖像斑塊中心所對(duì)應(yīng)的世界坐標(biāo)即為車(chē)輛實(shí)際空間坐標(biāo)。第四步視頻文件交通語(yǔ)義提取通過(guò)第三步(車(chē)輛識(shí)別與跟蹤)，可以得到視頻中車(chē)輛對(duì)應(yīng)的實(shí)際空間坐標(biāo)、每一視頻幀所對(duì)應(yīng)的時(shí)間和車(chē)輛的編號(hào)(車(chē)輛追蹤算法所追蹤到的相同車(chē)輛在不同視頻幀中編號(hào)相同)。利用第三步(車(chē)輛識(shí)別與追蹤)所得到的車(chē)輛空間及時(shí)間信息，按照交通工程學(xué)的定義統(tǒng)計(jì)交通量(懸停狀態(tài)，經(jīng)過(guò)檢測(cè)區(qū)域的車(chē)輛版塊數(shù)目)、交通密度(單位長(zhǎng)度上車(chē)輛圖像斑塊個(gè)數(shù))和平均速度(利用車(chē)輛在若干幀的空間位置間隔和從幀數(shù)計(jì)算的時(shí)間間隔計(jì)算)，可直接計(jì)算基本的交通流參數(shù)交通密度、平均速度和交通量。利用先驗(yàn)知識(shí)分析視頻對(duì)應(yīng)的交通語(yǔ)義，如超速、低速、車(chē)輛拋錨和車(chē)輛危險(xiǎn)駕駛行為等。車(chē)輛的行駛軌跡和方向可由第三步(車(chē)輛識(shí)別與追蹤)直接獲得。根據(jù)道路的限速信息，當(dāng)從視頻檢測(cè)到的車(chē)輛速度達(dá)到閾值時(shí)則認(rèn)為車(chē)輛危險(xiǎn)駕駛；檢測(cè)到靜態(tài)車(chē)輛，若車(chē)輛不在路邊則認(rèn)為非常有可能是交通事故；根據(jù)上述車(chē)輛追蹤方法追蹤的結(jié)果，判斷車(chē)輛的方向，如果車(chē)輛方向與道路方向不一致則認(rèn)為是逆向行駛。第五步交通視頻文件自動(dòng)標(biāo)定利用第四步所提取的車(chē)輛平均速度、交通密度、交通流量，根據(jù)車(chē)輛速度和所在道路的限速信息判斷車(chē)輛是否為安全駕駛，根據(jù)車(chē)輛的行駛方向是否與道路一致，判斷車(chē)輛是否為逆向行駛，判斷車(chē)輛速度是否超出限速范圍，獲得視頻對(duì)應(yīng)的交通語(yǔ)義和時(shí)空信息， 并將這些信息和硬盤(pán)錄像機(jī)的視頻文件信息存儲(chǔ)到業(yè)務(wù)主機(jī)的MYSQL，建立視頻文件與交通語(yǔ)義的關(guān)聯(lián)。關(guān)聯(lián)方法將這些描述交通行為的信息記錄對(duì)應(yīng)的數(shù)據(jù)表，在數(shù)據(jù)庫(kù)表中的建立外鍵字段，該外鍵字段使得這個(gè)表格與視頻文件信息表格建立索引關(guān)系，完成視頻文件交通語(yǔ)義的自動(dòng)標(biāo)注。第六步基于交通語(yǔ)義文本的視頻在線檢索(1)用戶輸入交通語(yǔ)義查詢條件文本，該方法對(duì)查詢語(yǔ)句進(jìn)行語(yǔ)法分析，轉(zhuǎn)換為關(guān)系型數(shù)據(jù)庫(kù)所支持的SQL查詢語(yǔ)句。( 將解析后的查詢語(yǔ)句，提交至MYSQL，返回符合條件的視頻標(biāo)注信息對(duì)應(yīng)的數(shù)據(jù)庫(kù)表格記錄。(4)從記錄中讀取視頻文件在硬盤(pán)錄像機(jī)的存儲(chǔ)路徑和起始的幀號(hào)，利用硬盤(pán)錄像機(jī)提供的應(yīng)用程序開(kāi)發(fā)接口(Application ProgramInterface)讀取對(duì)應(yīng)的視頻文件所支持的檢索條件，獲取相應(yīng)的視頻文件片段。第七步基于車(chē)輛圖像柵格數(shù)據(jù)的在線檢索(1)用戶選擇一幅圖像中的特定車(chē)輛圖像區(qū)域，將該選定區(qū)域的柵格圖像數(shù)據(jù)作為檢索條件，同時(shí)也可輸入時(shí)空查詢條件和交通語(yǔ)義查詢條件。( 按照上述的方法檢索符合條件的視頻片段，進(jìn)而大大縮小搜索范圍，提高搜索速度。( 利用SIFT特征匹配方法，對(duì)輸入圖像和上一步驟中輸出的圖像進(jìn)行特征匹配，特征匹配點(diǎn)較多的視頻為匹配的視頻，特征匹配點(diǎn)的數(shù)量可以根據(jù)檢索的精度要求設(shè)置。返回符合條件的交通視頻片段以及對(duì)應(yīng)的時(shí)空信息，結(jié)合人工視頻識(shí)別，實(shí)現(xiàn)對(duì)特定車(chē)輛的追蹤。上述的對(duì)實(shí)施例的描述是為便于該技術(shù)領(lǐng)域的普通技術(shù)人員能理解和應(yīng)用本發(fā)明。熟悉本領(lǐng)域技術(shù)的人員顯然可以容易地對(duì)這些實(shí)施例做出各種修改，并把在此說(shuō)明的一般原理應(yīng)用到其他實(shí)施例中而不必經(jīng)過(guò)創(chuàng)造性的勞動(dòng)。因此，本發(fā)明不限于這里的實(shí)施例，本領(lǐng)域技術(shù)人員根據(jù)本發(fā)明的揭示，不脫離本發(fā)明的范疇所做出的改進(jìn)和修改都應(yīng)該在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置，其特征在于其包括無(wú)人機(jī)和處理設(shè)備，無(wú)人機(jī)上裝設(shè)有成像設(shè)備、定位設(shè)備和傳輸設(shè)備，所述成像設(shè)備采集地面交通視頻，所述定位設(shè)備，確定飛行參數(shù)，獲得交通視頻對(duì)應(yīng)的時(shí)空信息，所述傳輸設(shè)備，將成像設(shè)備和定位設(shè)備所采集的信息傳輸至處理設(shè)備；處理設(shè)備結(jié)合交通視頻及與其一一對(duì)應(yīng)的時(shí)空信息計(jì)算獲得交通信息。
2.如權(quán)利要求1所述的基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置，其特征在于所述飛行參數(shù)包括無(wú)人機(jī)的經(jīng)緯度、無(wú)人機(jī)的傾斜角、翻滾角、方向角和飛行高度。
3.如權(quán)利要求1所述的基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置，其特征在于所述處理設(shè)備包括車(chē)輛位置識(shí)別模塊和交通語(yǔ)義提取模塊，所述車(chē)輛位置識(shí)別模塊通過(guò)對(duì)采集交通視頻的成像設(shè)備參數(shù)標(biāo)定，利用圖像邊緣檢測(cè)canny算法和圖像板塊輪廓，確定道路區(qū)域；統(tǒng)計(jì)道路區(qū)域灰度值直方圖峰值，作為背景灰度信息，分割圖像；通過(guò)圖像斑塊分析，利用車(chē)輛的幾何形狀特征作為模板，檢測(cè)移動(dòng)和靜止車(chē)輛；利用Kanade-Lucas-Tomasi特征跟蹤算法， 結(jié)合K均值聚類(lèi)，跟蹤運(yùn)動(dòng)車(chē)輛，車(chē)輛速度在道路方向值大于指定的閾值時(shí)，判定為運(yùn)動(dòng)車(chē)輛，除去運(yùn)動(dòng)車(chē)輛，剩余圖像斑塊為靜止車(chē)輛；通過(guò)透視成像模型的幾何關(guān)系、相機(jī)的焦距和圖像主點(diǎn)位置，利用空間幾何圖形的相似關(guān)系計(jì)算車(chē)輛尺寸；利用成像設(shè)備參數(shù)將圖像坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)，車(chē)輛圖像斑塊中心所對(duì)應(yīng)的世界坐標(biāo)即為車(chē)輛實(shí)際空間坐標(biāo)；所述交通語(yǔ)義提取模塊根據(jù)車(chē)輛的實(shí)際空間坐標(biāo)以及每一視頻幀所對(duì)應(yīng)的時(shí)間和車(chē)輛的編號(hào)， 獲取車(chē)輛的行駛軌跡，并按照交通工程學(xué)的定義統(tǒng)計(jì)獲取交通量、交通密度和平均速度。
4.如權(quán)利要求3所述的基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置，其特征在于所述成像設(shè)備參數(shù)包括成像設(shè)備內(nèi)部參數(shù)和外部參數(shù)，內(nèi)部參數(shù)包括焦距、圖像主點(diǎn)位置和五個(gè)畸變參數(shù)，外部參數(shù)包括旋轉(zhuǎn)矩陣R和平移向量T。
5.如權(quán)利要求3所述的基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置，其特征在于所述處理設(shè)備還包括交通安全判別模塊，根據(jù)道路的限速信息，當(dāng)從視頻檢測(cè)到的車(chē)輛速度達(dá)到閾值時(shí)則認(rèn)為車(chē)輛危險(xiǎn)駕駛；檢測(cè)到靜態(tài)車(chē)輛，若車(chē)輛不在路邊則認(rèn)為非常有可能是交通事故；根據(jù)車(chē)輛的行駛軌跡，判斷車(chē)輛的方向，如果車(chē)輛方向與道路方向不一致則認(rèn)為是逆向行駛。
6.如權(quán)利要求3或5所述的基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置，其特征在于所述處理設(shè)備還包括視頻檢索模塊，根據(jù)視頻對(duì)應(yīng)的交通語(yǔ)義和時(shí)空信息，建立交通視頻文件與交通語(yǔ)義的關(guān)聯(lián)，構(gòu)成檢索數(shù)據(jù)庫(kù)。
7.如權(quán)利要求6所述的基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置，其特征在于所述交通視頻文件與交通語(yǔ)義的關(guān)聯(lián)，是將描述交通行為的信息記錄至對(duì)應(yīng)的數(shù)據(jù)庫(kù)，在數(shù)據(jù)庫(kù)中建立外鍵字段，該外鍵字段使得數(shù)據(jù)庫(kù)與視頻文件信息表格建立索引關(guān)系，完成視頻文件交通語(yǔ)義的自動(dòng)標(biāo)注。
全文摘要
本發(fā)明公開(kāi)了一種基于無(wú)人機(jī)的交通監(jiān)測(cè)裝置，其包括無(wú)人機(jī)和處理設(shè)備，無(wú)人機(jī)上裝設(shè)有成像設(shè)備、定位設(shè)備和傳輸設(shè)備，所述成像設(shè)備采集地面交通視頻，所述定位設(shè)備，確定飛行參數(shù)，獲得交通視頻對(duì)應(yīng)的時(shí)空信息，所述傳輸設(shè)備，將成像設(shè)備和定位設(shè)備所采集的信息傳輸至處理設(shè)備；處理設(shè)備結(jié)合交通視頻及與其一一對(duì)應(yīng)的時(shí)空信息計(jì)算獲得交通信息。本發(fā)明還可以根據(jù)該交通信息和時(shí)空信息，建立與視頻文件的關(guān)聯(lián)數(shù)據(jù)庫(kù)，實(shí)現(xiàn)交通視頻快速檢索和視頻片段定位。
文檔編號(hào)G08G1/01GK102436738SQ201110287250
公開(kāi)日2012年5月2日 申請(qǐng)日期2011年9月26日 優(yōu)先權(quán)日2011年9月26日
發(fā)明者孫健, 常云濤, 張立業(yè), 彭仲仁 申請(qǐng)人:同濟(jì)大學(xué)