本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,尤其是涉及一種基于機(jī)器視覺的方向盤及操作手檢測(cè)方法及系統(tǒng)。
背景技術(shù):
交通事故的發(fā)生與駕駛員不正確的駕駛操作有密切關(guān)系,一些駕駛行為極易被駕駛員輕視,但卻容易造成非常嚴(yán)重的后果,尤其是駕駛員雙手離開方向盤。當(dāng)遇到緊急情況,如突發(fā)的車輛爆胎、道路情況發(fā)生變化或前方突然出現(xiàn)車輛等,極易造成駕駛員無法對(duì)車輛進(jìn)行快速有效的控制,從而造成極其嚴(yán)重的后果。
基于生理信號(hào)測(cè)量方向盤上操作手的方法受檢測(cè)設(shè)備復(fù)雜程度和價(jià)格因素影響的同時(shí),還需要駕駛員佩戴儀器,對(duì)駕駛員的駕駛操作有一定的影響,因此難以推廣實(shí)現(xiàn)。
基于傳感器檢測(cè)車輛狀態(tài)從而檢測(cè)方向盤上操作手的方法測(cè)量結(jié)果易受駕駛操作存在個(gè)體差異因素的影響,同時(shí)還存在測(cè)量數(shù)據(jù)不夠準(zhǔn)確和硬件成本較高等問題的限制,導(dǎo)致誤報(bào)警率較高,因此也未能取得較好的應(yīng)用效果。
現(xiàn)有的方向盤上操作手檢測(cè)算法操作簡(jiǎn)單,主要是先標(biāo)定出圖像中方向盤的位置,然后進(jìn)行感興趣區(qū)域的截取,最后在感興趣區(qū)域上進(jìn)行操作手檢測(cè)?,F(xiàn)有方法需要人工手動(dòng)標(biāo)出方向盤的位置,并且感興趣區(qū)域的截取中采取傾斜的矩形,后期進(jìn)行檢測(cè)時(shí)需要將角度做歸一化處理,增大了算法處理時(shí)間,并且感興趣區(qū)域的尺寸固定,判斷是否有操作手的比例閾值固定,不能自適應(yīng)各種場(chǎng)景類型,若駕駛員手臂自然垂下放在腿上時(shí),會(huì)產(chǎn)生誤檢。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于克服上述技術(shù)不足,提出一種基于機(jī)器視覺的方向盤及操作手檢測(cè)方法及系統(tǒng),解決現(xiàn)有技術(shù)中的上述技術(shù)問題。
為達(dá)到上述技術(shù)目的,本發(fā)明的技術(shù)方案提供一種基于機(jī)器視覺的方向盤及操作手檢測(cè)方法,包括:
s1、采集一幀方向盤圖像,使用hough橢圓檢測(cè)算法檢測(cè)方向盤圖像獲取方向盤所在的橢圓線,并以每間隔1°確定橢圓線上的一個(gè)點(diǎn)的方式確定橢圓線上的360個(gè)點(diǎn)為橢圓線檢測(cè)點(diǎn);
s2、從方向盤圖像中截取方向盤所在的外接矩形作為第一圖片,第一圖片的全部范圍為感興趣區(qū)域,對(duì)感興趣區(qū)域進(jìn)行預(yù)處理;
s3、獲取一個(gè)單一感興趣區(qū)域,所述單一感興趣區(qū)域是先在第一圖片上選取橢圓線檢測(cè)點(diǎn)中的任一個(gè)點(diǎn),然后以選取的點(diǎn)為中心,截取大小為size,角度為0的矩形作為單一感興趣區(qū)域,size的大小根據(jù)感興趣區(qū)域大小自適應(yīng)變化;
s4、獲取s3中獲取的單一感興趣區(qū)域的二值化圖像,將該二值化圖像表示在二維坐標(biāo)系中并向x軸方向投影,得到該二值化圖像每一列的灰度值為255的像素點(diǎn)數(shù)a,尋找該二值化圖像特定的連續(xù)的若干列并計(jì)算連續(xù)的若干列的長(zhǎng)度l,該二值化圖像特定的連續(xù)的若干列滿足其中每列的像素點(diǎn)數(shù)a均大于第一閾值t1;
s5、對(duì)s3獲取的單一感興趣區(qū)域進(jìn)行膚色檢測(cè),獲取該單一感興趣區(qū)域的二值化圖像,二值化圖像中手部膚色灰度值為255,識(shí)別橢圓線檢測(cè)點(diǎn)落在該單一感興趣區(qū)域的點(diǎn)集,檢測(cè)點(diǎn)集中的點(diǎn)的灰度值為255的個(gè)數(shù)n;
s6、當(dāng)l>第二閾值t2且n>第三閾值t3時(shí),判斷s3獲取的單一感興趣區(qū)域存在操作手,否則,判斷s3獲取的單一感興趣區(qū)域不存在操作手;
s7、循環(huán)執(zhí)行s3-s6步驟,以s3獲取的單一感興趣區(qū)域的中心點(diǎn)為起始點(diǎn),以1°為步長(zhǎng)按照順時(shí)針方向逐個(gè)獲取單一感興趣區(qū)域,判斷以橢圓線檢測(cè)點(diǎn)為中心的360個(gè)單一感興趣區(qū)域是否存在操作手;
s8、判斷存在操作手的單一感興趣區(qū)域是否連續(xù),計(jì)算連續(xù)的存在操作手的單一感興趣區(qū)域的個(gè)數(shù)b,當(dāng)b>第四閾值t4時(shí),判斷s1中采集的一幀方向盤圖像中存在操作手,否則,判斷s1中采集的一幀方向盤圖像中不存在操作手;
s9、循環(huán)執(zhí)行步驟s1-s8,采集設(shè)定幀數(shù)的方向盤圖像,綜合設(shè)定幀數(shù)的方向盤圖像的操作手判斷結(jié)果決定是否提醒駕駛員。
本發(fā)明還提供一種基于機(jī)器視覺的方向盤及操作手檢測(cè)系統(tǒng),包括:
橢圓檢測(cè)模塊:采集一幀方向盤圖像,使用hough橢圓檢測(cè)算法檢測(cè)方向盤圖像獲取方向盤所在的橢圓線,并以每間隔1°確定橢圓線上的一個(gè)點(diǎn)的方式確定橢圓線上的360個(gè)點(diǎn)為橢圓線檢測(cè)點(diǎn);
感興趣區(qū)域獲取模塊:從方向盤圖像中截取方向盤所在的外接矩形作為第一圖片,第一圖片的全部范圍為感興趣區(qū)域,對(duì)感興趣區(qū)域進(jìn)行預(yù)處理;
單一感興趣區(qū)域獲取模塊:獲取一個(gè)單一感興趣區(qū)域,所述單一感興趣區(qū)域是先在第一圖片上選取橢圓線檢測(cè)點(diǎn)中的任一個(gè)點(diǎn),然后以選取的點(diǎn)為中心,截取大小為size,角度為0的矩形作為單一感興趣區(qū)域,size的大小根據(jù)感興趣區(qū)域大小自適應(yīng)變化;
第一檢測(cè)模塊:獲取單一感興趣區(qū)域獲取模塊中獲取的單一感興趣區(qū)域的二值化圖像,將該二值化圖像表示在二維坐標(biāo)系中并向x軸方向投影,得到該二值化圖像每一列的灰度值為255的像素點(diǎn)數(shù)a,尋找該二值化圖像特定的連續(xù)的若干列并計(jì)算連續(xù)的若干列的長(zhǎng)度l,該二值化圖像特定的連續(xù)的若干列滿足其中每列的像素點(diǎn)數(shù)a均大于第一閾值t1;
第二檢測(cè)模塊:對(duì)單一感興趣區(qū)域獲取模塊獲取的單一感興趣區(qū)域進(jìn)行膚色檢測(cè),獲取該單一感興趣區(qū)域的二值化圖像,二值化圖像中手部膚色灰度值為255,識(shí)別橢圓線檢測(cè)點(diǎn)落在該單一感興趣區(qū)域的點(diǎn)集,檢測(cè)點(diǎn)集中的點(diǎn)的灰度值為255的個(gè)數(shù)n;
單一感興趣區(qū)域判斷模塊:當(dāng)l>第二閾值t2且n>第三閾值t3時(shí),判斷單一感興趣區(qū)域獲取模塊獲取的單一感興趣區(qū)域存在操作手,否則,判斷單一感興趣區(qū)域獲取模塊獲取的單一感興趣區(qū)域不存在操作手;
第一循環(huán)模塊:循環(huán)執(zhí)行單一感興趣區(qū)域獲取模塊至單一感興趣區(qū)域判斷模塊的操作,以單一感興趣區(qū)域獲取模塊獲取的單一感興趣區(qū)域的中心點(diǎn)為起始點(diǎn),以1°為步長(zhǎng)按照順時(shí)針方向逐個(gè)獲取單一感興趣區(qū)域,判斷以橢圓線檢測(cè)點(diǎn)為中心的360個(gè)單一感興趣區(qū)域是否存在操作手;
單幀判斷模塊:判斷存在操作手的單一感興趣區(qū)域是否連續(xù),計(jì)算連續(xù)的存在操作手的單一感興趣區(qū)域的個(gè)數(shù)b,當(dāng)b>第四閾值t4時(shí),判斷橢圓檢測(cè)模塊中采集的一幀方向盤圖像中存在操作手,否則,判斷橢圓檢測(cè)模塊中采集的一幀方向盤圖像中不存在操作手;
多幀判斷模塊:循環(huán)執(zhí)行橢圓檢測(cè)模塊至單幀判斷模塊的操作,采集設(shè)定幀數(shù)的方向盤圖像,綜合設(shè)定幀數(shù)的方向盤圖像的操作手判斷結(jié)果決定是否提醒駕駛員。
與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果包括:本發(fā)明采取hough橢圓檢測(cè)進(jìn)行方向盤的定位,能夠由算法自動(dòng)定位出方向盤所在橢圓線,自動(dòng)化程度高;采取旋轉(zhuǎn)角度為0的單一感興趣區(qū)域,方法簡(jiǎn)單,實(shí)時(shí)性高;現(xiàn)有技術(shù)中只通過判斷單一感興趣區(qū)域的二值化圖像確定該區(qū)域是否存在類似手形,若存在駕駛員手臂自然垂下并且靠近方向盤,從成像的角度看類似手在方向盤上,容易造成誤檢的情況,而本發(fā)明添加一個(gè)約束條件,利用橢圓線在方向盤中央(方向盤形狀可看做兩個(gè)橢圓,橢圓線一定在兩個(gè)橢圓中間),即使存在手臂自然垂下的情況,方向盤所在橢圓線上依然不會(huì)存在手部,只有當(dāng)手真正覆蓋在方向盤上,橢圓線才會(huì)被覆蓋,提高了算法的準(zhǔn)確率;現(xiàn)有技術(shù)中的多個(gè)閾值均采用固定閾值的方法,不能自適應(yīng)各種場(chǎng)景和不同大小的圖像,本發(fā)明根據(jù)感興趣區(qū)域的尺寸大小自適應(yīng)確定單一感興趣區(qū)域尺寸,同時(shí)根據(jù)單一感興趣尺寸自適應(yīng)確定閾值t1、t2、t3,提高算法的魯棒性;本發(fā)明采用多幀判斷決定是否提醒駕駛員,提高準(zhǔn)確性和穩(wěn)定性以及算法速度。
附圖說明
圖1是本發(fā)明提供的一種基于機(jī)器視覺的方向盤及操作手檢測(cè)方法流程圖;
圖2是本發(fā)明提供的一種基于機(jī)器視覺的方向盤及操作手檢測(cè)系統(tǒng)結(jié)構(gòu)框圖。
附圖中:1、基于機(jī)器視覺的方向盤及操作手檢測(cè)系統(tǒng),11、橢圓檢測(cè)模塊,12、感興趣區(qū)域獲取模塊,13、單一感興趣區(qū)域獲取模塊,14、第一檢測(cè)模塊,15、第二檢測(cè)模塊,16、單一感興趣區(qū)域判斷模塊,17、第一循環(huán)模塊,18、單幀判斷模塊,19、多幀判斷模塊。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖及實(shí)施例,對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解,此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
本發(fā)明提供了一種基于機(jī)器視覺的方向盤及操作手檢測(cè)方法,包括:
s1、采集一幀方向盤圖像,使用hough橢圓檢測(cè)算法檢測(cè)方向盤圖像獲取方向盤所在的橢圓線,并以每間隔1°確定橢圓線上的一個(gè)點(diǎn)的方式確定橢圓線上的360個(gè)點(diǎn)為橢圓線檢測(cè)點(diǎn);
s2、從方向盤圖像中截取方向盤所在的外接矩形作為第一圖片,第一圖片的全部范圍為感興趣區(qū)域,對(duì)感興趣區(qū)域進(jìn)行預(yù)處理;
s3、獲取一個(gè)單一感興趣區(qū)域,所述單一感興趣區(qū)域是先在第一圖片上選取橢圓線檢測(cè)點(diǎn)中的任一個(gè)點(diǎn),然后以選取的點(diǎn)為中心,截取大小為size,角度為0的矩形作為單一感興趣區(qū)域,size的大小根據(jù)感興趣區(qū)域大小自適應(yīng)變化;
s4、獲取s3中獲取的單一感興趣區(qū)域的二值化圖像,將該二值化圖像表示在二維坐標(biāo)系中并向x軸方向投影,得到該二值化圖像每一列的灰度值為255的像素點(diǎn)數(shù)a,尋找該二值化圖像特定的連續(xù)的若干列并計(jì)算連續(xù)的若干列的長(zhǎng)度l,該二值化圖像特定的連續(xù)的若干列滿足其中每列的像素點(diǎn)數(shù)a均大于第一閾值t1,t1根據(jù)size自適應(yīng)變化;
s5、對(duì)s3獲取的單一感興趣區(qū)域進(jìn)行膚色檢測(cè),獲取該單一感興趣區(qū)域的二值化圖像,二值化圖像中手部膚色灰度值為255,識(shí)別橢圓線檢測(cè)點(diǎn)落在該單一感興趣區(qū)域的點(diǎn)集,檢測(cè)點(diǎn)集中的點(diǎn)的灰度值為255的個(gè)數(shù)n;
s6、當(dāng)l>第二閾值t2且n>第三閾值t3時(shí),判斷s3獲取的單一感興趣區(qū)域存在操作手,否則,判斷s3獲取的單一感興趣區(qū)域不存在操作手,t2、t3根據(jù)size自適應(yīng)變化;
s7、循環(huán)執(zhí)行s3-s6步驟,以s3獲取的單一感興趣區(qū)域的中心點(diǎn)為起始點(diǎn),以1°為步長(zhǎng)按照順時(shí)針方向逐個(gè)獲取單一感興趣區(qū)域,判斷以橢圓線檢測(cè)點(diǎn)為中心的360個(gè)單一感興趣區(qū)域是否存在操作手;
s8、判斷存在操作手的單一感興趣區(qū)域是否連續(xù),計(jì)算連續(xù)的存在操作手的單一感興趣區(qū)域的個(gè)數(shù)b,當(dāng)b>第四閾值t4時(shí),判斷s1中采集的一幀方向盤圖像中存在操作手,否則,判斷s1中采集的一幀方向盤圖像中不存在操作手;
s9、循環(huán)執(zhí)行步驟s1-s8,采集設(shè)定幀數(shù)的方向盤圖像,綜合設(shè)定幀數(shù)的方向盤圖像的操作手判斷結(jié)果決定是否提醒駕駛員。
本發(fā)明所述的基于機(jī)器視覺的方向盤及操作手檢測(cè)方法,步驟s2中:
對(duì)感興趣區(qū)域進(jìn)行灰度化和邊緣檢測(cè)的預(yù)處理操作。
本發(fā)明所述的基于機(jī)器視覺的方向盤及操作手檢測(cè)方法,步驟s4中:
對(duì)s3中獲取的單一感興趣區(qū)域進(jìn)行二值化操作獲取二值化圖像的方法為:
利用膚色信息經(jīng)驗(yàn)值對(duì)單一感興趣區(qū)域進(jìn)行膚色檢測(cè),得到二值化圖像,二值化圖像中膚色像素點(diǎn)灰度值為255,非膚色像素點(diǎn)灰度值為0或者計(jì)算單一感興趣區(qū)域的平均灰度,將平均灰度作為閾值對(duì)單一感興趣區(qū)域進(jìn)行灰度二值化,得到二值化圖像。
本發(fā)明所述的基于機(jī)器視覺的方向盤及操作手檢測(cè)方法,步驟s8中:
單一感興趣區(qū)域的中心點(diǎn)是橢圓線檢測(cè)點(diǎn),如果若干單一感興趣區(qū)域的中心點(diǎn)是在橢圓線上連續(xù)的點(diǎn),則判斷各單一感興趣區(qū)域連續(xù)。
本發(fā)明所述的基于機(jī)器視覺的方向盤及操作手檢測(cè)方法,步驟s9中綜合設(shè)定幀數(shù)的方向盤圖像的操作手判斷結(jié)果決定是否提醒駕駛員的步驟為:
獲取設(shè)定幀數(shù)的方向盤圖像中不存在操作手的幀數(shù)c,如果c>第五閾值t5,則提醒駕駛員注意安全駕駛。
本發(fā)明還提供一種基于機(jī)器視覺的方向盤及操作手檢測(cè)系統(tǒng)1,包括:
橢圓檢測(cè)模塊11:采集一幀方向盤圖像,使用hough橢圓檢測(cè)算法檢測(cè)方向盤圖像獲取方向盤所在的橢圓線,并以每間隔1°確定橢圓線上的一個(gè)點(diǎn)的方式確定橢圓線上的360個(gè)點(diǎn)為橢圓線檢測(cè)點(diǎn);
感興趣區(qū)域獲取模塊12:從方向盤圖像中截取方向盤所在的外接矩形作為第一圖片,第一圖片的全部范圍為感興趣區(qū)域,對(duì)感興趣區(qū)域進(jìn)行預(yù)處理;
單一感興趣區(qū)域獲取模塊13:獲取一個(gè)單一感興趣區(qū)域,所述單一感興趣區(qū)域是先在第一圖片上選取橢圓線檢測(cè)點(diǎn)中的任一個(gè)點(diǎn),然后以選取的點(diǎn)為中心,截取大小為size,角度為0的矩形作為單一感興趣區(qū)域,size的大小根據(jù)感興趣區(qū)域大小自適應(yīng)變化;
第一檢測(cè)模塊14:獲取單一感興趣區(qū)域獲取模塊中獲取的單一感興趣區(qū)域的二值化圖像,將該二值化圖像表示在二維坐標(biāo)系中并向x軸方向投影,得到該二值化圖像每一列的灰度值為255的像素點(diǎn)數(shù)a,尋找該二值化圖像特定的連續(xù)的若干列并計(jì)算連續(xù)的若干列的長(zhǎng)度l,該二值化圖像特定的連續(xù)的若干列滿足其中每列的像素點(diǎn)數(shù)a均大于第一閾值t1,t1根據(jù)size自適應(yīng)變化;
第二檢測(cè)模塊15:對(duì)單一感興趣區(qū)域獲取模塊獲取的單一感興趣區(qū)域進(jìn)行膚色檢測(cè),獲取該單一感興趣區(qū)域的二值化圖像,二值化圖像中手部膚色灰度值為255,識(shí)別橢圓線檢測(cè)點(diǎn)落在該單一感興趣區(qū)域的點(diǎn)集,檢測(cè)點(diǎn)集中的點(diǎn)的灰度值為255的個(gè)數(shù)n;
單一感興趣區(qū)域判斷模塊16:當(dāng)l>第二閾值t2且n>第三閾值t3時(shí),判斷單一感興趣區(qū)域獲取模塊獲取的單一感興趣區(qū)域存在操作手,否則,判斷單一感興趣區(qū)域獲取模塊獲取的單一感興趣區(qū)域不存在操作手,t2、t3根據(jù)size自適應(yīng)變化;
第一循環(huán)模塊17:循環(huán)執(zhí)行單一感興趣區(qū)域獲取模塊至單一感興趣區(qū)域判斷模塊的操作,以單一感興趣區(qū)域獲取模塊獲取的單一感興趣區(qū)域的中心點(diǎn)為起始點(diǎn),以1°為步長(zhǎng)按照順時(shí)針方向逐個(gè)獲取單一感興趣區(qū)域,判斷以橢圓線檢測(cè)點(diǎn)為中心的360個(gè)單一感興趣區(qū)域是否存在操作手;
單幀判斷模塊18:判斷存在操作手的單一感興趣區(qū)域是否連續(xù),計(jì)算連續(xù)的存在操作手的單一感興趣區(qū)域的個(gè)數(shù)b,當(dāng)b>第四閾值t4時(shí),判斷橢圓檢測(cè)模塊中采集的一幀方向盤圖像中存在操作手,否則,判斷橢圓檢測(cè)模塊中采集的一幀方向盤圖像中不存在操作手;
多幀判斷模塊19:循環(huán)執(zhí)行橢圓檢測(cè)模塊至單幀判斷模塊的操作,采集設(shè)定幀數(shù)的方向盤圖像,綜合設(shè)定幀數(shù)的方向盤圖像的操作手判斷結(jié)果決定是否提醒駕駛員。
本發(fā)明所述的基于機(jī)器視覺的方向盤及操作手檢測(cè)系統(tǒng)1,感興趣區(qū)域獲取模塊12中:
對(duì)感興趣區(qū)域進(jìn)行灰度化和邊緣檢測(cè)的預(yù)處理操作。
本發(fā)明所述的基于機(jī)器視覺的方向盤及操作手檢測(cè)系統(tǒng)1,第一檢測(cè)模塊14中:
利用膚色信息經(jīng)驗(yàn)值對(duì)單一感興趣區(qū)域進(jìn)行膚色檢測(cè),得到二值化圖像,二值化圖像中膚色像素點(diǎn)灰度值為255,非膚色像素點(diǎn)灰度值為0或者計(jì)算單一感興趣區(qū)域的平均灰度,將平均灰度作為閾值對(duì)單一感興趣區(qū)域進(jìn)行灰度二值化,得到二值化圖像。
本發(fā)明所述的基于機(jī)器視覺的方向盤及操作手檢測(cè)系統(tǒng)1,單幀判斷模塊18中:
單一感興趣區(qū)域的中心點(diǎn)是橢圓線檢測(cè)點(diǎn),如果若干單一感興趣區(qū)域的中心點(diǎn)是在橢圓線上連續(xù)的點(diǎn),則判斷各單一感興趣區(qū)域連續(xù)。
本發(fā)明所述的基于機(jī)器視覺的方向盤及操作手檢測(cè)系統(tǒng)1,多幀判斷模塊19中:
獲取設(shè)定幀數(shù)的方向盤圖像中不存在操作手的幀數(shù)c,如果c>第五閾值t5,則提醒駕駛員注意安全駕駛。
與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果包括:本發(fā)明采取hough橢圓檢測(cè)進(jìn)行方向盤的定位,能夠由算法自動(dòng)定位出方向盤所在橢圓線,不需要人工手動(dòng)標(biāo)出方向盤的位置;現(xiàn)有技術(shù)感興趣區(qū)域存在旋轉(zhuǎn)角度
以上所述本發(fā)明的具體實(shí)施方式,并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限定。任何根據(jù)本發(fā)明的技術(shù)構(gòu)思所做出的各種其他相應(yīng)的改變與變形,均應(yīng)包含在本發(fā)明權(quán)利要求的保護(hù)范圍內(nèi)。