識別駕駛員打手機行為的方法和裝置的制造方法
【專利摘要】本發(fā)明公開了一種識別駕駛員打手機行為的方法和裝置，包括采集駕駛艙內(nèi)的視頻流，先通過高斯平滑對圖像進行平滑處理，再通過人臉部件模型定位圖像中的人臉區(qū)域；對人臉區(qū)域進行矯正；訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機訓(xùn)練集和未打手機訓(xùn)練集；利用訓(xùn)練好的分類模型對待識別的圖像進行識別，判斷待識別的圖像中是否有打手機行為。本發(fā)明可大大降低執(zhí)法難度，提高執(zhí)法效率，有效地避免因駕駛員行車途中由于違法行為造成的交通事故。
【專利說明】
識別駕駛員打手機行為的方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于智能交通技術(shù)領(lǐng)域，具體涉及到一種識別駕駛員在行車途中打手機行為的方法和裝置。
【背景技術(shù)】
[0002]智能交通系統(tǒng)是未來交通系統(tǒng)的發(fā)展方向，也是目前世界交通運輸領(lǐng)域的前沿研究課題。隨著計算機視覺技術(shù)、嵌入式技術(shù)、網(wǎng)絡(luò)通信技術(shù)的發(fā)展，研究車輛違章行為自動檢測系統(tǒng)已經(jīng)成為當(dāng)前智能交通中的一個研究熱點。作為保障司機安全駕駛和降低交通事故中死傷率的一項重要措施，交管部門嚴(yán)格要求汽車司機在行駛過程中禁用手機。

【發(fā)明內(nèi)容】

[0003]針對現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提出一種識別駕駛員打手機行為的方法和裝置，以提高對行車途中駕駛員打手機行為的智能化識別，從而保障司機安全駕駛和降低交通事故中死傷率。
[0004]為實現(xiàn)上述目的，本發(fā)明提供的識別駕駛員打手機行為的方法包括:
[0005]采集駕駛艙內(nèi)的視頻流，先通過高斯平滑對圖像進行平滑處理，再通過人臉部件模型定位圖像中的人臉區(qū)域；
[0006]對人臉區(qū)域進行矯正；
[0007]訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機訓(xùn)練集和未打手機訓(xùn)練集；
[0008]利用訓(xùn)練好的分類模型對待識別的圖像進行識別，判斷待識別的圖像中是否有打手機行為。
[0009]在本發(fā)明的一些實施例中，在平滑處理后，進一步通過人體膚色模型對圖像進行增強處理，增強符合人體膚色模型的區(qū)域，拉伸駕駛艙圖像中人臉區(qū)域和非人臉區(qū)域的對比度。
[0010]在本發(fā)明的一些實施例中，所述對人臉區(qū)域進行矯正的步驟包括:
[0011]根據(jù)計算的特征點位置，估計最可靠的人臉姿態(tài)；
[0012]將3D旋轉(zhuǎn)模型旋轉(zhuǎn)到與圖片中的人臉姿態(tài)相應(yīng)的角度，將圖片中的人臉紋理映射到3D模型上；
[0013]將3D旋轉(zhuǎn)模型旋轉(zhuǎn)至人臉正臉姿態(tài)；
[0014]將旋轉(zhuǎn)后3D旋轉(zhuǎn)模型的紋理映射到新角度的人臉圖片中，更新人臉區(qū)域。
[0015]在本發(fā)明的一些實施例中，所述訓(xùn)練分類模型的步驟包括:
[0016]分別取人臉3D旋轉(zhuǎn)模型的右眼右邊圖像區(qū)域和左眼左邊圖像區(qū)域作為耳部區(qū)域訓(xùn)練集，左、右手打手機的圖像作為打手機訓(xùn)練集，左、右手未打手機的圖像作為未打手機訓(xùn)練集。
[0017]在本發(fā)明的一些實施例中，所述利用訓(xùn)練好的分類模型對待識別的圖像進行識別，判斷待識別的圖像中是否有打手機行為，的步驟包括:
[0018]通過分類模型判斷圖像是否與耳部區(qū)域訓(xùn)練集匹配，若匹配，則判斷待識別的圖像中無打手機行為;若不匹配，則繼續(xù)判斷圖像是否與打手機訓(xùn)練集訓(xùn)或者未打手機訓(xùn)練集匹配，若與打手機訓(xùn)練集匹配，則判斷待識別的圖像中有打手機行為，若與未打手機訓(xùn)練集匹配，則判斷待識別的圖像中無打手機行為。
[0019]本發(fā)明還提供一種識別駕駛員打手機行為的裝置，包括:
[0020]定位模塊，用于采集駕駛艙內(nèi)的視頻流，先通過高斯平滑對圖像進行平滑處理，再通過人臉部件模型定位圖像中的人臉區(qū)域；
[0021 ]矯正模塊，用于對人臉區(qū)域進行矯正；
[0022]訓(xùn)練模塊，用于訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機訓(xùn)練集和未打手機訓(xùn)練集；
[0023]識別模塊，用于利用訓(xùn)練好的分類模型對待識別的圖像進行識別，判斷待識別的圖像中是否有打手機行為。
[0024]在本發(fā)明的一些實施例中，所述定位模塊，還用于在平滑處理后，進一步通過人體膚色模型對圖像進行增強處理，增強符合人體膚色模型的區(qū)域，拉伸駕駛艙圖像中人臉區(qū)域和非人臉區(qū)域的對比度。
[0025]在本發(fā)明的一些實施例中，所述矯正模塊包括:
[0026]姿態(tài)估計模塊，用于根據(jù)計算的特征點位置，估計最可靠的人臉姿態(tài)；
[0027]映射模塊，用于將3D旋轉(zhuǎn)模型旋轉(zhuǎn)到與圖片中的人臉姿態(tài)相應(yīng)的角度，將圖片中的人臉紋理映射到3D模型上；
[0028]旋轉(zhuǎn)模塊，用于將3D旋轉(zhuǎn)模型旋轉(zhuǎn)至人臉正臉姿態(tài)；
[0029]人臉更新模塊，用于將旋轉(zhuǎn)后3D旋轉(zhuǎn)模型的紋理映射到新角度的人臉圖片中，更新人臉區(qū)域。
[0030]在本發(fā)明的一些實施例中，所述訓(xùn)練模塊用于分別取人臉3D旋轉(zhuǎn)模型的右眼右邊圖像區(qū)域和左眼左邊圖像區(qū)域作為耳部區(qū)域訓(xùn)練集，左、右手打手機的圖像作為打手機訓(xùn)練集，左、右手未打手機的圖像作為未打手機訓(xùn)練集。
[0031]在本發(fā)明的一些實施例中，所述識別模塊用于通過分類模型判斷圖像是否與耳部區(qū)域訓(xùn)練集匹配，若匹配，則判斷待識別的圖像中無打手機行為;若不匹配，則繼續(xù)判斷圖像是否與打手機訓(xùn)練集訓(xùn)或者未打手機訓(xùn)練集匹配，若與打手機訓(xùn)練集匹配，則判斷待識別的圖像中有打手機行為，若與未打手機訓(xùn)練集匹配，則判斷待識別的圖像中無打手機行為。
[0032]發(fā)明提出了一種基于人臉檢測的識別駕駛員打手機行為的方法和裝置，主要應(yīng)用了數(shù)字圖像處理技術(shù)、模式識別技術(shù)、機器學(xué)習(xí)技術(shù)等來獲取、處理、解釋、識別拍攝圖像中的駕駛員是否存在違規(guī)接打手機的行為，對于那些輕視交通法規(guī)和安全意識淡薄的駕駛員，可以在很大程度上起到提醒和警告作用，在保證安全駕駛的同時提高駕駛員遵守交通法規(guī)的意識。因此該發(fā)明具有廣闊的應(yīng)用前景，且能填補該領(lǐng)域的技術(shù)空白。
【附圖說明】
[0033]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細(xì)說明，其中:
[0034]圖1為本發(fā)明實施例的識別駕駛員打手機行為的方法的流程示意圖；
[0035]圖2為本發(fā)明實施例的打手機和未打手機兩種不同行為姿態(tài)的圖像在特征空間上的區(qū)分圖；
[0036]圖3為本發(fā)明實施例的識別駕駛員打手機行為的圖片；
[0037]圖4為本發(fā)明實施例的識別駕駛員打手機行為的裝置的功能模塊示意圖。
【具體實施方式】
[0038]以下結(jié)合附圖和具體實施例對本發(fā)明作進一步詳細(xì)說明。
[0039]參考圖1，示出了本發(fā)明一個實施例的識別駕駛員打手機行為的方法的流程示意圖，具體可以包括以下步驟:
[0040]步驟101，采集駕駛艙內(nèi)的視頻流，先通過高斯平滑對圖像進行平滑處理，再通過人臉部件模型定位圖像中的人臉區(qū)域。
[0041]該步驟將駕駛員人臉的大致位置從復(fù)雜的背景中提取并識別出來，即從圖像中找到駕駛員人臉的具體位置。一般地，車內(nèi)裝有攝像頭，由于將攝像頭安裝在車內(nèi)的前擋風(fēng)玻璃上，通過車內(nèi)安裝的攝像頭對駕駛員座椅區(qū)域進行圖像采集，可以很清晰的拍攝到司機的行為，且不需其他電子器件輔助，不會影響到司機的正常行車。
[0042]優(yōu)選地，在平滑處理后，進一步通過人體膚色模型對圖像進行增強處理，增強符合人體膚色模型的區(qū)域，拉伸駕駛艙圖像中人臉區(qū)域和非人臉區(qū)域的對比度。人體膚色在圖像中的像素值處于一定的范圍，駕駛艙內(nèi)駕駛員的臉和手的區(qū)域由于符合人體膚色模型，在一定程度上有別于其他的干擾區(qū)域。
[0043]具體地，本發(fā)明先通過高斯平滑對圖像進行平滑處理:采用5*5高斯加權(quán)濾波器掃描圖像中的每一個像素，更改其像素值為其本身和其5*5領(lǐng)域內(nèi)的其他像素值的加權(quán)平均值，圖像平滑對點狀噪聲和干擾脈沖具有良好的抑制作用;再利用人體膚色模型對圖像進行增強處理;掃描圖像中的每一個像素點，對符合和不符合人體膚色模型的像素點分別進行處理，拉伸人臉和非人臉區(qū)域的對比度，以使人臉部件模型能夠準(zhǔn)確獲取圖像中的人臉區(qū)域。可見，對駕駛艙內(nèi)攝像頭采集到的圖像進行上述預(yù)處理(平滑處理和增強處理)極大地提高人臉定位的準(zhǔn)確度。
[0044]需要說明的是，由于車輛使用環(huán)境較為復(fù)雜，尤其是車輛內(nèi)部光線環(huán)境變化很大，利用照度儀經(jīng)過多天實驗測得駕駛艙內(nèi)正常光照強度范圍在100-200001x(勒克斯)，為了保證獲取準(zhǔn)確性，本發(fā)明選擇代表大多數(shù)情況的普通光照條件下的駕駛艙圖像進行處理，而完全黑暗或者陽光曝曬的極端情況不作考慮。
[0045]由于人臉結(jié)構(gòu)的特殊性，本發(fā)明采用基于人臉部件模型的方法即變形部件模型(DPM)算法對圖像中的人臉進行檢測定位。人臉區(qū)域由左眼、右眼、鼻子和嘴巴構(gòu)成，每個部件有自己獨特的特征，并且各部件在人臉上的位置分布相對固定，在位置空間上存在一定的表觀約束。定位到某一個可信度較大的部件，即可對其他未定位到的部件進行假設(shè)和估計。所述人臉部件包括眼睛、鼻子嘴巴中的至少一種。人臉區(qū)域較為顯著的是眼睛、鼻子、嘴巴，采用這些人臉部件組合成的人臉部件模型用來檢測人臉已經(jīng)能達(dá)到項目檢測率和檢測精度的要求。
[0046]首先使用大量的標(biāo)準(zhǔn)人臉圖像，標(biāo)注每一張人臉的眼睛、鼻子、嘴巴等位置大小信息，提取各部件及整個人臉的hog、Ibp等特征參數(shù)，對人臉進行描述，利用所述特征參數(shù)，可快速地在平面圖像中定位人臉，建立人臉部件模型。具體地，采用可變形部件模型(DPM)算法，根據(jù)人臉部件特征，分別訓(xùn)練分類器，再組合成一個人臉部件模型，該模型能精準(zhǔn)有效地定位到人臉區(qū)域。本發(fā)明引入人臉部件模型的目的是從做過平滑等預(yù)處理的圖片中精確定位出人臉區(qū)域。
[0047]采用人臉部件模型對所述人臉區(qū)域進行在二維平面坐標(biāo)上的人臉部件的定位，由于人臉部件具有相互的空間約束，對于人臉不完整的情況，如駕駛員帶墨鏡、口罩、90度側(cè)臉，該方法有更好的魯棒性，能夠?qū)崿F(xiàn)對人臉部件的精確定位，從而準(zhǔn)確定位圖像中的人臉區(qū)域。
[0048]步驟102，對人臉區(qū)域進行矯正。
[0049]針對監(jiān)控場景中人臉的姿態(tài)可能存在較大的變化，在定位到人臉的二維平面坐標(biāo)的基礎(chǔ)上，需要精確定位人臉關(guān)鍵點(如眼睛、嘴巴等)的位置。因此，利用大量的人臉關(guān)鍵點數(shù)據(jù)進行訓(xùn)練和學(xué)習(xí)，可以準(zhǔn)確的提取人臉在不同姿態(tài)，不同表情等多種情況下的特征點，從而建立3D旋轉(zhuǎn)模型，以減少姿態(tài)對人臉部件定位的影響。
[0050]姿態(tài)是影響人臉定位、打手機識別關(guān)鍵因素，同一目標(biāo)在不同角度采集的人臉圖片，差異甚至大于不同目標(biāo)從同一角度采集的圖片，因此需要對圖片中的人臉姿態(tài)進行校正。作為本發(fā)明的一個實施例，所述對人臉區(qū)域進行矯正的步驟:通過人臉特征點位置，或模板匹配等方法，判斷人臉的朝向和角度大??；然后根據(jù)估計的人臉形狀，矯正人臉的姿態(tài)。具體地，作為本發(fā)明的一個較佳實施例，所述矯正人臉姿態(tài)(例如將側(cè)臉變換到正臉)的步驟可以包括:
[0051]I)根據(jù)計算的特征點位置，估計最可靠的人臉姿態(tài)，如正臉、左右角度以及上下角度等；
[0052]2)將3D旋轉(zhuǎn)模型旋轉(zhuǎn)到與圖片中的人臉姿態(tài)相應(yīng)的角度，將圖片中的人臉紋理映射到3D模型上；
[0053]3)將3D旋轉(zhuǎn)模型旋轉(zhuǎn)至人臉正臉姿態(tài)；
[0054]4)將旋轉(zhuǎn)后3D旋轉(zhuǎn)模型的紋理映射到新角度的人臉圖片中，更新人臉區(qū)域。
[0055]該新角度的人臉圖片即為矯正后的人臉圖片。需要說明的是，在3D矯正過程中提取到的特征點個數(shù)不限，可以是5個(鼻頭、眼睛、嘴角)，也可以是7個，9個，10個等(眉毛、下巴、鼻翼等等)更多的特征點。特征點個數(shù)根據(jù)項目需要選擇，精準(zhǔn)的特征點用于3D建模矯正，可將有角度的人臉姿態(tài)矯正過來。
[0056]步驟103，訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機訓(xùn)練集和未打手機訓(xùn)練集。
[0057]分別取人臉3D旋轉(zhuǎn)模型的右眼右邊圖像區(qū)域和左眼左邊圖像區(qū)域作為耳部區(qū)域訓(xùn)練集，左、右手打手機的圖像作為打手機訓(xùn)練集，左、右手未打手機的圖像作為未打手機訓(xùn)練集，所述分類模型用于區(qū)分駕駛員是否打手機。
[0058]步驟104，利用訓(xùn)練好的分類模型對待識別的圖像進行識別，判斷待識別的圖像中是否有打手機行為。所述待識別的圖像即為定位、矯正后的人臉區(qū)域圖像。
[0059]具體地，通過分類模型判斷圖像是否與耳部區(qū)域訓(xùn)練集匹配，若匹配，說明圖像中無打手機行為，若無法匹配，說明可能存在打手機行為，則繼續(xù)判斷圖像是否與打手機訓(xùn)練集訓(xùn)或者未打手機訓(xùn)練集匹配，若與打手機訓(xùn)練集匹配，則判斷待識別的圖像中有打手機行為，若與未打手機訓(xùn)練集匹配，則判斷待識別的圖像中無打手機行為。
[0060]需要說明的是，打手機和未打手機是兩種不同的行為姿態(tài)，預(yù)先訓(xùn)練兩種訓(xùn)練集，是為了學(xué)習(xí)得到一些權(quán)值參數(shù)(WWPWo)，使得兩種行為姿態(tài)的圖像在特征空間上可以區(qū)分，如圖2所示，圖中的直線為一個線性判別函數(shù)(discriminant funct1n)，是指由x的各個分量的線性組合而成的函數(shù)g(x) =wTx+wo，
[0061]如果g(x)>0，則判定X屬于Cl，
[0062]如果g(x)<0，則判定X屬于C2，
[0063]如果g(x)=0，則可以將X任意分到某一類或者拒絕判定。
[0064]判斷過程中，先將未知行為的圖像“翻譯”成特征，利用所述線性判別函數(shù)進行判另IJ，并根據(jù)該特征到特征空間的距離得出一個得分(可信度)。在實際應(yīng)用中，由于行車過程中打手機行為為小概率事件，而且希望判別為是打手機行為的正確率高。因此，在實際應(yīng)用中識別為是打手機的但得分(可信度)低的，將其排除。未識別標(biāo)簽對于懲處違規(guī)行為并無太大意義，而將“打手機的但得分(可信度)低的情況”排除能保證是打手機行為的正確率，因此該判斷過程無未識別標(biāo)簽。
[0065]本發(fā)明可以通過車內(nèi)攝像頭采集駕駛員頭部及附近區(qū)域圖像，利用圖像處理技術(shù)和模型識別方法對駕駛員行為進行檢測，還可以將其違規(guī)圖片拍攝下來聯(lián)網(wǎng)上傳到交通局的監(jiān)控中心，作為違規(guī)證據(jù)。
[0066]雖然本發(fā)明識別的是打手機行為，而實際上駕駛員行車途中單手或者雙手離開方向盤行為均算作違規(guī)行為。如圖3所示，本發(fā)明對駕駛員的手在人臉附近這種行為識別均有效，打手機行為實為違規(guī)行為中的一種。揉眼睛、撓耳朵、對講機、抽煙等這些非打手機行為，目前均算作打手機行為。
[0067]本發(fā)明還提供一種識別駕駛員打手機行為的裝置的功能模塊示意圖，如圖4所示，所述包括:
[0068]定位模塊201，用于采集駕駛艙內(nèi)的視頻流，先通過高斯平滑對圖像進行平滑處理，再通過人臉部件模型定位圖像中的人臉區(qū)域；
[0069]矯正模塊202，用于對人臉區(qū)域進行矯正；
[0070]訓(xùn)練模塊203，用于訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機訓(xùn)練集和未打手機訓(xùn)練集；
[0071 ]識別模塊204，用于利用訓(xùn)練好的分類模型對待識別的圖像進行識別，判斷待識別的圖像中是否有打手機行為。
[0072]人體膚色在圖像中的像素值處于一定的范圍，駕駛艙內(nèi)駕駛員的臉和手的區(qū)域由于符合人體膚色模型，在一定程度上有別于其他的干擾區(qū)域。作為本發(fā)明的又一個實施例，所述定位模塊201還用于在平滑處理后，進一步通過人體膚色模型對圖像進行增強處理，增強符合人體膚色模型的區(qū)域，拉伸駕駛艙圖像中人臉區(qū)域和非人臉區(qū)域的對比度。定位模塊201用于對駕駛艙內(nèi)攝像頭采集到的圖像進行上述預(yù)處理(平滑處理和增強處理)極大地提高人臉定位的準(zhǔn)確度，具體如上述實施例所述。
[0073]針對監(jiān)控場景中人臉的姿態(tài)可能存在較大的變化，在定位到人臉的二維平面坐標(biāo)的基礎(chǔ)上，需要精確定位人臉關(guān)鍵點(如眼睛、嘴巴等)的位置。因此，利用大量的人臉關(guān)鍵點數(shù)據(jù)進行訓(xùn)練和學(xué)習(xí)，可以準(zhǔn)確的提取人臉在不同姿態(tài)，不同表情等多種情況下的特征點，從而建立3D旋轉(zhuǎn)模型，以減少姿態(tài)對人臉部件定位的影響。在本發(fā)明的另一個實施例，所述矯正模塊202包括:
[0074]姿態(tài)估計模塊，用于根據(jù)計算的特征點位置，估計最可靠的人臉姿態(tài)；
[0075]映射模塊，用于將3D旋轉(zhuǎn)模型旋轉(zhuǎn)到與圖片中的人臉姿態(tài)相應(yīng)的角度，將圖片中的人臉紋理映射到3D模型上；
[0076]旋轉(zhuǎn)模塊，用于將3D旋轉(zhuǎn)模型旋轉(zhuǎn)至人臉正臉姿態(tài)；
[0077]人臉更新模塊，用于將旋轉(zhuǎn)后3D旋轉(zhuǎn)模型的紋理映射到新角度的人臉圖片中，更新人臉區(qū)域。具體如上述實施例所述。
[0078]在本發(fā)明的一個較佳實施例中，所述訓(xùn)練模塊203用于分別取人臉3D旋轉(zhuǎn)模型的右眼右邊圖像區(qū)域和左眼左邊圖像區(qū)域作為耳部區(qū)域訓(xùn)練集，左、右手打手機的圖像作為打手機訓(xùn)練集，左、右手未打手機的圖像作為未打手機訓(xùn)練集。這些訓(xùn)練集用于后續(xù)的區(qū)分駕駛員是否打手機。
[0079]作為本發(fā)明的一個較佳實施例，所述識別模塊204用于通過分類模型判斷圖像是否與耳部區(qū)域訓(xùn)練集匹配，若匹配，則判斷待識別的圖像中無打手機行為;若不匹配，則繼續(xù)判斷圖像是否與打手機訓(xùn)練集訓(xùn)或者未打手機訓(xùn)練集匹配，若與打手機訓(xùn)練集匹配，則判斷待識別的圖像中有打手機行為，若與未打手機訓(xùn)練集匹配，則判斷待識別的圖像中無打手機行為。
[0080]在判斷過程中，先將未知行為的圖像“翻譯”成特征，利用所述線性判別函數(shù)進行判別，并根據(jù)該特征到特征空間的距離得出一個得分(可信度)。在實際應(yīng)用中，由于行車過程中打手機行為為小概率事件，而且希望判別為是打手機行為的正確率高。因此，在實際應(yīng)用中識別為是打手機的但得分(可信度)低的，將其排除。未識別標(biāo)簽對于懲處違規(guī)行為并無太大意義，而將“打手機的但得分(可信度)低的情況”排除能保證是打手機行為的正確率，因此該判斷過程無未識別標(biāo)簽。
[0081]本發(fā)明可以通過車內(nèi)攝像頭采集駕駛員頭部及附近區(qū)域圖像，利用圖像處理技術(shù)和模型識別方法對駕駛員行為進行檢測。在本發(fā)明的另一個實施例中，所述識別駕駛員打手機行為的裝置還包括存儲模塊，用于將打手機行為的圖片存儲，還可以進一步將所述存儲的圖片上傳到交通局的監(jiān)控中心，作為違規(guī)證據(jù)。
[0082]本發(fā)明提供的識別駕駛員打手機行為的方法和裝置可大大降低執(zhí)法難度，提高執(zhí)法效率，有效地避免因駕駛員行車途中由于違法行為造成的交通事故。本發(fā)明提供的基于人臉定位的識別駕駛員打手機行為的方法和裝置，由于檢測與識別過程簡單易行，能較容易的推廣應(yīng)用到駕駛員疲勞駕駛、駕駛員違規(guī)抽煙、駕駛員未系安全帶等多種違規(guī)行為識別上，可作為駕駛員行為約束系統(tǒng)有效的保護裝置，對加強道路安全建設(shè)有很強的實用性。
[0083]顯然，上述實施例僅僅是為清楚地說明所作的舉例，而并非對實施方式的限定。對于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。而由此所引伸出的顯而易見的變化或變動仍處于本發(fā)明創(chuàng)造的保護范圍之中。
【主權(quán)項】
1.一種識別駕駛員打手機行為的方法，其特征在于，包括: 采集駕駛艙內(nèi)的視頻流，先通過高斯平滑對圖像進行平滑處理，再通過人臉部件模型定位圖像中的人臉區(qū)域； 對人臉區(qū)域進行矯正； 訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機訓(xùn)練集和未打手機訓(xùn)練集； 利用訓(xùn)練好的分類模型對待識別的圖像進行識別，判斷待識別的圖像中是否有打手機行為。2.根據(jù)權(quán)利要求1所述的識別駕駛員打手機行為的方法，其特征在于，在平滑處理后，進一步通過人體膚色模型對圖像進行增強處理，增強符合人體膚色模型的區(qū)域，拉伸駕駛艙圖像中人臉區(qū)域和非人臉區(qū)域的對比度。3.根據(jù)權(quán)利要求1所述的識別駕駛員打手機行為的方法，其特征在于，所述對人臉區(qū)域進行矯正的步驟包括: 根據(jù)計算的特征點位置，估計最可靠的人臉姿態(tài)； 將3D旋轉(zhuǎn)模型旋轉(zhuǎn)到與圖片中的人臉姿態(tài)相應(yīng)的角度，將圖片中的人臉紋理映射到3D模型上； 將3D旋轉(zhuǎn)模型旋轉(zhuǎn)至人臉正臉姿態(tài)； 將旋轉(zhuǎn)后3D旋轉(zhuǎn)模型的紋理映射到新角度的人臉圖片中，更新人臉區(qū)域。4.根據(jù)權(quán)利要求1所述的識別駕駛員打手機行為的方法，其特征在于，所述訓(xùn)練分類模型的步驟包括: 分別取人臉3D旋轉(zhuǎn)模型的右眼右邊圖像區(qū)域和左眼左邊圖像區(qū)域作為耳部區(qū)域訓(xùn)練集，左、右手打手機的圖像作為打手機訓(xùn)練集，左、右手未打手機的圖像作為未打手機訓(xùn)練集。5.根據(jù)權(quán)利要求1所述的識別駕駛員打手機行為的方法，其特征在于，所述利用訓(xùn)練好的分類模型對待識別的圖像進行識別，判斷待識別的圖像中是否有打手機行為，的步驟包括: 通過分類模型判斷圖像是否與耳部區(qū)域訓(xùn)練集匹配，若匹配，則判斷待識別的圖像中無打手機行為;若不匹配，則繼續(xù)判斷圖像是否與打手機訓(xùn)練集訓(xùn)或者未打手機訓(xùn)練集匹配，若與打手機訓(xùn)練集匹配，則判斷待識別的圖像中有打手機行為，若與未打手機訓(xùn)練集匹配，則判斷待識別的圖像中無打手機行為。6.一種識別駕駛員打手機行為的裝置，其特征在于，包括: 定位模塊，用于采集駕駛艙內(nèi)的視頻流，先通過高斯平滑對圖像進行平滑處理，再通過人臉部件模型定位圖像中的人臉區(qū)域； 矯正模塊，用于對人臉區(qū)域進行矯正； 訓(xùn)練模塊，用于訓(xùn)練分類模型，包括耳部區(qū)域訓(xùn)練集、打手機訓(xùn)練集和未打手機訓(xùn)練集； 識別模塊，用于利用訓(xùn)練好的分類模型對待識別的圖像進行識別，判斷待識別的圖像中是否有打手機行為。7.根據(jù)權(quán)利要求6所述的識別駕駛員打手機行為的裝置，其特征在于，所述定位模塊，還用于在平滑處理后，進一步通過人體膚色模型對圖像進行增強處理，增強符合人體膚色模型的區(qū)域，拉伸駕駛艙圖像中人臉區(qū)域和非人臉區(qū)域的對比度。8.根據(jù)權(quán)利要求6所述的識別駕駛員打手機行為的裝置，其特征在于，所述矯正模塊包括: 姿態(tài)估計模塊，用于根據(jù)計算的特征點位置，估計最可靠的人臉姿態(tài)； 映射模塊，用于將3D旋轉(zhuǎn)模型旋轉(zhuǎn)到與圖片中的人臉姿態(tài)相應(yīng)的角度，將圖片中的人臉紋理映射到3D模型上； 旋轉(zhuǎn)模塊，用于將3D旋轉(zhuǎn)模型旋轉(zhuǎn)至人臉正臉姿態(tài)； 人臉更新模塊，用于將旋轉(zhuǎn)后3D旋轉(zhuǎn)模型的紋理映射到新角度的人臉圖片中，更新人臉區(qū)域。9.根據(jù)權(quán)利要求6所述的識別駕駛員打手機行為的裝置，其特征在于，所述訓(xùn)練模塊用于分別取人臉3D旋轉(zhuǎn)模型的右眼右邊圖像區(qū)域和左眼左邊圖像區(qū)域作為耳部區(qū)域訓(xùn)練集，左、右手打手機的圖像作為打手機訓(xùn)練集，左、右手未打手機的圖像作為未打手機訓(xùn)練集。10.根據(jù)權(quán)利要求6所述的識別駕駛員打手機行為的裝置，其特征在于，所述識別模塊用于通過分類模型判斷圖像是否與耳部區(qū)域訓(xùn)練集匹配，若匹配，則判斷待識別的圖像中無打手機行為;若不匹配，則繼續(xù)判斷圖像是否與打手機訓(xùn)練集訓(xùn)或者未打手機訓(xùn)練集匹配，若與打手機訓(xùn)練集匹配，則判斷待識別的圖像中有打手機行為，若與未打手機訓(xùn)練集匹配，則判斷待識別的圖像中無打手機行為。
【文檔編號】G06K9/00GK105868690SQ201610137535
【公開日】2016年8月17日
【申請日】2016年3月11日
【發(fā)明人】劉洋, 彭莉, 譙帥, 宋高飛, 張如高
【申請人】博康智能信息技術(shù)有限公司