本發(fā)明屬于汽車安全領域，具體涉及基于深度數(shù)據(jù)和魚眼圖像的汽車a柱盲區(qū)透視方法。

背景技術：

總所周知，汽車有a柱、b柱和c柱。駕駛員在駕駛中經(jīng)常會受到a柱盲區(qū)的干擾。

汽車盲區(qū)透視系統(tǒng)在國內(nèi)有一定的研究基礎，杭州鴻泉數(shù)字設備有限公司設計的鴻泉盲區(qū)監(jiān)控系統(tǒng)。大眾和一汽公司也進行了相關的研究，但是他們設計的系統(tǒng)都存在以下一些共同的問題：

1、大多數(shù)系統(tǒng)在汽車上安裝固定的攝像頭，人體移動的時候只能看到固定的畫面，缺乏真實感；

2、人體在遠離或靠近攝像頭時，攝像頭所呈現(xiàn)的畫面沒有改變；

3、對人體移動來說，缺乏深度信息；從司機觀察角度來說，視角比較小。

技術實現(xiàn)要素：

發(fā)明目的：本發(fā)明針對上述現(xiàn)有技術存在的問題做出改進，即本發(fā)明公開了基于深度數(shù)據(jù)和魚眼圖像的汽車a柱盲區(qū)透視方法。

為了解決上述問題，選取了韓國meerecompany公司的cubeeye深度攝像頭、pc機以及魚眼相機搭建了一個透視系統(tǒng)：

其中采用cubeeye深度攝像頭采集深度數(shù)據(jù)視頻信息，采用魚眼相機獲取魚眼視頻流數(shù)據(jù)，

深度攝像頭設于司機座位的右上方，能監(jiān)測到司機頭部和基本的肢體運動，

魚眼相機設于車輛a柱的中央，鏡頭對外，鏡頭光心方向與地面平行,

深度攝像頭的輸出端、魚眼相機的輸出端與通過usb通信方式與pc機通信互聯(lián)，pc機的輸出端通過藍牙與報警模塊的輸入端相連。當檢測到司機頭部超出范圍，則通過藍牙發(fā)出報警信息，報警模塊(喇叭)隨即發(fā)出警報。

技術方案：基于深度數(shù)據(jù)和魚眼圖像的汽車a柱盲區(qū)透視方法，包括以下步驟：

(1)、獲取前景深度信息；

(2)、對步驟(1)得到的前景深度信息進行去噪處理，通過位置關系，提取頭部位置的二值圖像，實時計算駕駛員與深度攝像頭的距離；

(3)、通過魚眼相機采集魚眼視頻流數(shù)據(jù)，將采集到的魚眼視頻流數(shù)據(jù)的每一幀圖像基于球面模型依次校正徑向誤差、切向誤差、光心誤差后生成球面圖像；

(4)、以深度攝像頭探測的頭部移動的距離構(gòu)成以深度攝像頭為坐標中心的世界坐標系，得到x、y、z三個坐標值；

(5)、將獲取頭部x、y、z坐標作為球面圖像的球心，z為球面圖像的焦距，生成不同視角大小的透視圖像；

(6)、實時檢測司機的頭部移動是否超出預先設置的范圍，若超出，則通過報警模塊發(fā)出警報。

進一步地，步驟(1)包括以下步驟：

(11)通過深度攝像頭實時采集深度數(shù)據(jù)視頻流；

(12)將采集的深度數(shù)據(jù)視頻流的每一幀圖像采用高斯濾波獲取濾波圖像；

(13)對所得的高斯圖像與背景圖像進行差分得到差分圖像，

(14)將差分圖像進行拉伸變換得到拉伸后的差分圖像；

(15)將將拉伸后的差分圖像進行腐蝕膨脹濾波，計算圖像的平均像素值作為閾值，基于該閾值獲取二值圖像；

(16)將二值圖像中的小塊區(qū)域去除，獲取二值圖像中的大塊區(qū)域，其中：大塊區(qū)域包括駕駛員的頭部和身體部分；

(17)從二值圖像的第一行開始掃描，獲取最大程度接近橢圓的部分作為駕駛員頭部區(qū)域，即得到前景深度信息。

有益效果：本發(fā)明公開的基于深度數(shù)據(jù)和魚眼圖像的汽車a柱盲區(qū)透視方法具有以下有益效果：

1、深度相機和魚眼相機都連接在pc上，所以使得整個系統(tǒng)快速可靠；

2、不僅可以實時檢測人的頭部坐標，即駕駛員頭部移動信息，同時借助于球面模型可以實時生成透視圖像，消除汽車的a柱盲區(qū)；

3、提出了基于深度數(shù)據(jù)的人體頭部檢測方法。

附圖說明

圖1為透視系統(tǒng)的示意圖；

圖2為本發(fā)明公開的基于深度數(shù)據(jù)和魚眼圖像的汽車a柱盲區(qū)透視方法的流程圖；

圖3是獲取前景深度信息的流程圖；

圖4是基于球面圖像的透視圖像示意圖。

具體實施方式：

下面對本發(fā)明的具體實施方式詳細說明。

如圖1所示，選取了韓國meerecompany公司的cubeeye深度攝像頭、pc機以及魚眼相機搭建了一個透視系統(tǒng)：

其中采用cubeeye深度攝像頭采集深度數(shù)據(jù)視頻信息，采用魚眼相機獲取魚眼視頻流數(shù)據(jù)，

深度攝像頭設于司機座位的右上方，能監(jiān)測到司機頭部和基本的肢體運動，

魚眼相機設于車輛a柱的中央，鏡頭對外，鏡頭光心方向與地面平行,

深度攝像頭的輸出端、魚眼相機的輸出端與通過usb通信方式與pc機通信互聯(lián)，pc機的輸出端通過藍牙與報警模塊的輸入端相連。當檢測到司機頭部超出范圍，則通過藍牙發(fā)出報警信息，報警模塊(喇叭)隨即發(fā)出警報。

如圖2所示，基于深度數(shù)據(jù)和魚眼圖像的汽車a柱盲區(qū)透視方法，包括以下步驟：

(1)、獲取前景深度信息；

(2)、對步驟(1)得到的前景深度信息進行去噪處理，通過位置關系，提取頭部位置的二值圖像，實時計算駕駛員與深度攝像頭的距離；

(3)、通過魚眼相機采集魚眼視頻流數(shù)據(jù)，將采集到的魚眼視頻流數(shù)據(jù)的每一幀圖像基于球面模型依次校正徑向誤差、切向誤差、光心誤差后生成球面圖像；

(4)、以深度攝像頭探測的頭部移動的距離構(gòu)成以深度攝像頭為坐標中心的世界坐標系，得到x、y、z三個坐標值；

(5)、將獲取頭部x、y、z坐標作為球面圖像的球心，z為球面圖像的焦距，生成不同視角大小的透視圖像；

(6)、實時檢測司機的頭部移動是否超出預先設置的范圍，若超出，則通過報警模塊發(fā)出警報。

進一步地，如圖3所示，步驟(1)包括以下步驟：

(11)通過深度攝像頭實時采集深度數(shù)據(jù)視頻流；

(12)將采集的深度數(shù)據(jù)視頻流的每一幀圖像采用高斯濾波獲取濾波圖像；

(13)對所得的高斯圖像與背景圖像進行差分得到差分圖像，

(14)將差分圖像進行拉伸變換得到拉伸后的差分圖像，即將差分圖像中最大值映射到255，最小值映射到0；

(15)將將拉伸后的差分圖像進行腐蝕膨脹濾波，計算圖像的平均像素值作為閾值，基于該閾值獲取二值圖像，即大于該閾值為255小于該閾值為0；

(16)將二值圖像中的小塊區(qū)域去除，獲取二值圖像中的大塊區(qū)域，其中：大塊區(qū)域包括駕駛員的頭部和身體部分；

(17)從二值圖像的第一行開始掃描，獲取最大程度接近橢圓的部分作為駕駛員頭部區(qū)域，即得到前景深度信息。

步驟(2)根據(jù)頭部圖像塊計算頭部二值圖像的重心(x,y)，再次統(tǒng)計頭部圖像塊中每個像素的深度信息，

假設圖像塊中有n個像素，pn對應的深度值，則深度信息即z為頭部到相機的距離。本系統(tǒng)假設駕駛員正坐時檢測到頭部和相機之間的距離為1.4m，此時的焦距為f＝220像素值，

距離是指深度圖像上像素的值，重心是指通過差分圖像得到的二值圖像后獲取頭部區(qū)域的重心位置。在二值圖像上計算的重心位置即頭部的中心，該位置在深度圖像上對應于像素點的值為頭部到相機的距離。所以距離值深度圖像上的值，重心是二值圖像上的位置。

如圖4所示，步驟(5)中，當檢測到頭部遠離相機時，距離為d0(d0>1.4m)，焦距f發(fā)生變化，即f＝220+(d0-1.4)*50；當檢測到頭部靠近相機時，距離為d0(d0<1.4m)，焦距f發(fā)生變化，即f＝220-(1.4-d0)*50；即深度圖像寬為x0，長為y0。則深度圖像的中心坐標(x0/2,y0/2)作為球面模型的球心，即為視點方向,球的半徑為f。當視點方向改變時，即(x0/2+δx,y0/2+δy)計算出魚眼圖像上對應坐標(xs，ys)，借助于球面模型將魚眼圖像投影到球面模型上計算魚眼圖像上對應極坐標為(θ，β)。進一步基于坐標(θ，β)為中心點，獲取透視圖像。

上面對本發(fā)明的實施方式做了詳細說明。但是本發(fā)明并不限于上述實施方式，在所屬技術領域普通技術人員所具備的知識范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。