一種復(fù)雜場景多模態(tài)生物特征圖像獲取方法及其裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及光學(xué)、計(jì)算機(jī)視覺和模式識別等技術(shù)領(lǐng)域，特別是涉及一種復(fù)雜場景多模態(tài)生物特征圖像獲取方法及其裝置。
【背景技術(shù)】
[0002]目前，隨著人類科學(xué)技術(shù)的不斷發(fā)展，生物特征識別技術(shù)得到了廣泛的應(yīng)用。生物特征識別是指計(jì)算機(jī)通過獲取和分析人體的生理和行為特征，實(shí)現(xiàn)自動身份鑒別的科學(xué)和技術(shù)。常見的生物特征模態(tài)包括指紋、虹膜、人臉、掌紋、手形、靜脈、筆跡、步態(tài)、語音等。人體多種模態(tài)的生物特征信息主要分布于面部(人臉、虹膜)和手部(指紋、掌紋、手形、靜脈)。相比手部生物特征，人體面部的人臉和虹膜特征具有表觀可現(xiàn)、信息豐富、采集非接觸的獨(dú)特優(yōu)勢，在中遠(yuǎn)距離身份識別和智能視頻監(jiān)控應(yīng)用場景具有不可替代的重要作用，因而得到了國際學(xué)術(shù)界、產(chǎn)業(yè)界乃至政府部門的高度關(guān)注。此外，步態(tài)生物特征具有遠(yuǎn)距離可感知、信息獨(dú)特、易于秘密捕獲、非侵犯性高、難于隱藏和偽裝等優(yōu)點(diǎn)，也逐漸受到一些研究機(jī)構(gòu)的重視。
[0003]生物識別學(xué)科和技術(shù)領(lǐng)域經(jīng)過多年的發(fā)展，在嚴(yán)格受控的條件下基本上可以正確識別高度配合的用戶，但是，在數(shù)字化生物特征信息獲取過程中，如果受到內(nèi)在用戶的生理變化(如眨眼、斜視、姿態(tài)、表情、運(yùn)動等)和外界環(huán)境(即所在場景)變化(如光照、遮擋、距離等)的影響，生物識別的性能將急劇下降，無法滿足復(fù)雜場景環(huán)境下對用戶的身份識別的需求，因此嚴(yán)重制約了生物識別的學(xué)科進(jìn)步、技術(shù)推廣和產(chǎn)業(yè)發(fā)展。
[0004]當(dāng)前，虹膜和人臉識別技術(shù)得到了快速發(fā)展，相比于虹膜和人臉成像，步態(tài)生物特征更易于遠(yuǎn)距離感知，一般使用市場上現(xiàn)成的攝像頭即可進(jìn)行數(shù)據(jù)采集。由于步態(tài)生物特征受成像裝置視角的影響很大，如何布局多攝像機(jī)進(jìn)行多視角采集，將直接影響步態(tài)識別的精度。
[0005]此外，多模態(tài)生物特征識別在適用人群范圍、識別精度和安全防偽等方面比單模態(tài)的生物識別技術(shù)具有獨(dú)特優(yōu)勢，因此多模態(tài)生物識別裝置的研究也是最近幾年的發(fā)展熱點(diǎn)。
[0006]但是，現(xiàn)有的多模態(tài)生物特征獲取設(shè)備主要面向受控環(huán)境，對成像目標(biāo)的范圍和姿態(tài)以及成像場景環(huán)境條件都具有較為嚴(yán)格的限制，同時(shí)，現(xiàn)有的多模態(tài)生物特征成像設(shè)備一次只能獲取一個(gè)人的信息，無法同時(shí)采集多個(gè)目標(biāo)的多模態(tài)生物特征，無法滿足復(fù)雜成像場景中用戶的身份識別需求。目前，高質(zhì)量、多模態(tài)生物特征數(shù)據(jù)的便捷高效獲取已經(jīng)成為生物識別學(xué)科和技術(shù)應(yīng)用從受控條件到復(fù)雜現(xiàn)實(shí)環(huán)境拓展和跨越的重大瓶頸，嚴(yán)重影響生物特征識別的精確性、魯棒性、實(shí)時(shí)性甚至安全性。
[0007]因此，目前迫切需要開發(fā)出一種技術(shù)，其可以對現(xiàn)實(shí)復(fù)雜場景條件(如室外大范圍且背景復(fù)雜、環(huán)境光照變化、目標(biāo)人群多且存在運(yùn)動、姿態(tài)變化及相互遮擋等情況)下多個(gè)用戶的生物特征進(jìn)行多模態(tài)識別，滿足復(fù)雜成像場景中多用戶的身份識別需求，實(shí)現(xiàn)對大范圍內(nèi)的虹膜、人臉、步態(tài)多模態(tài)生物特征進(jìn)行有效獲取。

【發(fā)明內(nèi)容】

[0008]有鑒于此，本發(fā)明的目的是提供一種復(fù)雜場景多模態(tài)生物特征圖像獲取方法及其裝置，其可以對現(xiàn)實(shí)復(fù)雜場景條件(如室外大范圍且背景復(fù)雜、環(huán)境光照變化、目標(biāo)人群多且存在運(yùn)動、姿態(tài)變化及相互遮擋等情況)下多個(gè)用戶的生物特征進(jìn)行多模態(tài)識別，滿足復(fù)雜成像場景中多用戶的身份識別需求，實(shí)現(xiàn)對大范圍內(nèi)的虹膜、人臉、步態(tài)多模態(tài)生物特征進(jìn)tx有效獲取，進(jìn)一步提尚識別的準(zhǔn)確性，實(shí)現(xiàn)遠(yuǎn)距尚、尚分辨、尚速的多t旲態(tài)生物特征識另IJ，有利于提高用戶的產(chǎn)品使用感受，具有重大的生產(chǎn)實(shí)踐意義。
[0009]為此，本發(fā)明提供了一種復(fù)雜場景多模態(tài)生物特征圖像獲取方法，包括步驟:
[0010]第一步:向用戶需要拍攝的預(yù)設(shè)拍攝場景提供多光譜的補(bǔ)償照明；
[0011]第二步:采集所述預(yù)設(shè)拍攝場景的多元圖像，其中，所述預(yù)設(shè)拍攝場景的多元圖像包括多個(gè)用戶的虹膜和人臉圖像、場景高分辨率圖像、場景高動態(tài)圖像、多個(gè)用戶的紅外圖像以及多個(gè)用戶的深度圖像;第三步:對所述預(yù)設(shè)拍攝場景的多元圖像進(jìn)行預(yù)設(shè)數(shù)據(jù)處理操作，獲得初始化的多元圖像數(shù)據(jù)；
[0012]第四步:根據(jù)所述初始化的多元圖像數(shù)據(jù)，對所述預(yù)設(shè)拍攝場景進(jìn)行感知建模，獲得所述預(yù)設(shè)拍攝場景對應(yīng)的真實(shí)結(jié)構(gòu)場景模型，以及檢測獲得所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息；
[0013]第五步:判斷所述預(yù)設(shè)拍攝場景的真實(shí)結(jié)構(gòu)場景模型具有的建模信息是否符合預(yù)設(shè)建模信息條件，以及所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息是否符合預(yù)設(shè)生物特征條件，當(dāng)所述預(yù)設(shè)拍攝場景的真實(shí)結(jié)構(gòu)場景模型具有的建模信息符合預(yù)設(shè)建模信息條件，同時(shí)所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息符合預(yù)設(shè)生物特征條件時(shí)，根據(jù)所述預(yù)設(shè)拍攝場景對應(yīng)的真實(shí)結(jié)構(gòu)場景模型具有的建模信息以及所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息，執(zhí)行預(yù)設(shè)成像處理操作，獲得最終的多模態(tài)生物特征圖像并進(jìn)行顯示。
[0014]其中，在所述第一步中，通過由多個(gè)多光譜光源組成的多光譜光源模塊向所述預(yù)設(shè)拍攝場景提供多光譜的補(bǔ)償照明。
[0015]其中，在所述第二步中，通過由多個(gè)光場成像傳感器組成光場成像模塊來采集所述預(yù)設(shè)拍攝場景中多個(gè)用戶的虹膜和人臉圖像；
[0016]通過由多個(gè)面陣圖像傳感器組成的高分辨率成像模塊采集所述預(yù)設(shè)拍攝場景的高分辨率圖像；；
[0017]通過由多個(gè)高動態(tài)圖像傳感器組成的高動態(tài)成像模塊采集所述預(yù)設(shè)拍攝場景的場景尚動態(tài)圖像；
[0018]通過由多個(gè)紅外圖像傳感器組成的紅外成像模塊采集所述預(yù)設(shè)拍攝場景中多個(gè)用戶的紅外圖像；
[0019]通過由多個(gè)深度攝像機(jī)組成的深度成像模塊采集所述預(yù)設(shè)拍攝場景中多個(gè)用戶的深度圖像。
[0020]其中，所述深度攝像機(jī)為飛行時(shí)間法TOF攝像機(jī)。
[0021]此外，本發(fā)明還提供了一種復(fù)雜場景多模態(tài)生物特征圖像獲取裝置，包括:
[0022]主動多元成像單元，用于向用戶需要拍攝的預(yù)設(shè)拍攝場景提供多光譜的補(bǔ)償照明，以及采集所述預(yù)設(shè)拍攝場景的多元圖像，其中，所述預(yù)設(shè)拍攝場景的多元圖像包括多個(gè)用戶的虹膜和人臉圖像、場景高分辨率圖像、場景高動態(tài)圖像、多個(gè)用戶的紅外圖像以及多個(gè)用戶的深度圖像，然后將所述多元圖像發(fā)送給邏輯控制平臺；
[0023]邏輯控制平臺，與主動多元成像單元相連接，用于根據(jù)用戶輸入的圖像獲取開始或者停止指令，對應(yīng)控制主動多元成像單元的啟動或者停止運(yùn)行，并且在接收到主動多元成像單元發(fā)來的所述預(yù)設(shè)拍攝場景的多元圖像后，實(shí)時(shí)轉(zhuǎn)發(fā)給并行數(shù)據(jù)計(jì)算平臺，以及判斷所述預(yù)設(shè)拍攝場景的真實(shí)結(jié)構(gòu)場景模型具有的建模信息是否符合預(yù)設(shè)建模信息條件，以及所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息是否符合預(yù)設(shè)生物特征條件，當(dāng)所述預(yù)設(shè)拍攝場景的真實(shí)結(jié)構(gòu)場景模型具有的建模信息符合預(yù)設(shè)建模信息條件且所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息符合預(yù)設(shè)生物特征條件時(shí)，發(fā)送所述預(yù)設(shè)拍攝場景對應(yīng)的真實(shí)結(jié)構(gòu)場景模型具有的建模信息以及所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息給并行數(shù)據(jù)計(jì)算平臺中的高級成像算法處理系統(tǒng)；
[0024]并行數(shù)據(jù)計(jì)算平臺，具體包括多元傳感數(shù)據(jù)處理系統(tǒng)、生物特征場景感知與建模系統(tǒng)、多模態(tài)生物特征主動感知系統(tǒng)和高級成像算法處理系統(tǒng);其中:
[0025]多元傳感數(shù)據(jù)處理系統(tǒng)，與邏輯控制平臺相連接，用于對所述預(yù)設(shè)拍攝場景的多元圖像進(jìn)行預(yù)設(shè)數(shù)據(jù)處理操作，獲得初始化的多元圖像數(shù)據(jù)；
[0026]生物特征場景感知與建模系統(tǒng)，分別與多元傳感數(shù)據(jù)處理系統(tǒng)和邏輯控制平臺相連接，用于根據(jù)所述初始化的多元圖像數(shù)據(jù)，對所述預(yù)設(shè)拍攝場景進(jìn)行感知建模，獲得所述預(yù)設(shè)拍攝場景對應(yīng)的真實(shí)結(jié)構(gòu)場景模型，并發(fā)送給邏輯控制平臺；
[0027]多模態(tài)生物特征主動感知系統(tǒng)，分別與多元傳感數(shù)據(jù)處理系統(tǒng)和邏輯控制平臺相連接，用于檢測獲得所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息，并發(fā)送給邏輯控制平臺；
[0028]高級成像算法處理系統(tǒng)，與邏輯控制平臺相連接，用于根據(jù)所述預(yù)設(shè)拍攝場景對應(yīng)的真實(shí)結(jié)構(gòu)場景模型具有的建模信息以及所述預(yù)設(shè)拍攝場景中的預(yù)設(shè)生物特征信息，執(zhí)行預(yù)設(shè)成像處理操作，獲得最終的多模態(tài)生物特征圖像并進(jìn)行顯示。
[0029]其中，所述主動多元成像單元包括多光譜光源模塊、光場成像模塊、高分辨率成像模塊、高動態(tài)成像模塊、紅外成像模塊以及深度成像模塊；
[0030]所述多光譜光源模塊、光場成像模塊、高分辨率成像模塊、高動態(tài)成像模塊、紅外成像模塊以及深度成像模塊分別與所述邏輯控制平臺相連接。
[0031]其中，包括裝置外殼，所述裝置外殼的正面中心位置設(shè)置有主成像鏡頭；
[0032]所述主成像鏡頭的左側(cè)設(shè)置有紅外成像鏡頭，所述主成像鏡頭的右側(cè)設(shè)置有深度成像鏡頭；
[0033]所述裝置外殼的正面四周分別均勻分布有四個(gè)光場成像鏡頭組；
[0034]所述光場成像鏡頭組、紅外成像鏡頭和深度成像鏡頭的周圍分別有多個(gè)多光譜光源。
[0035]其中，所述邏輯控制平臺包括現(xiàn)場可編程門陣列FPGA和單片機(jī)ARM邏輯控制芯片，其中:
[0036]現(xiàn)場可編程門陣列FPGA用于根據(jù)用戶輸入