基于雙目視覺的人流分析方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于雙目視覺傳感器實(shí)現(xiàn)的人流分析方法，適用于諸如博物館的各類公共展覽場(chǎng)所。
【背景技術(shù)】
[0002]博物館是在社會(huì)文化活動(dòng)中承擔(dān)展覽、教育、研究、娛樂(lè)功能的公益機(jī)構(gòu)，其可豐富展品蘊(yùn)含的信息量，承載著人類文明的發(fā)展歷程。參觀博物館既能豐富知識(shí)、增廣見識(shí)，又能放松心情、愉悅身心，因此已成為人們?nèi)缃駥W(xué)習(xí)、休閑的場(chǎng)所。
[0003]隨著科學(xué)技術(shù)水平的飛速發(fā)展和現(xiàn)代人對(duì)精神文化生活的不斷追求，博物館的服務(wù)質(zhì)量和服務(wù)水平已不能滿足時(shí)代的要求，因此通過(guò)以參觀者為主體，了解參觀者的行為特征，認(rèn)識(shí)到參觀者對(duì)哪些類型的展品感興趣，各年齡段的參觀者分別對(duì)哪些類型的展品感興趣等，來(lái)提高博物館的服務(wù)質(zhì)量與水平，已成為如今博物館規(guī)劃和調(diào)整服務(wù)的依據(jù)。
[0004]目前博物館對(duì)參觀者大都是采用問(wèn)卷調(diào)查方法，這種方法只能通過(guò)書面問(wèn)卷或者在線問(wèn)卷的形式來(lái)獲取信息，而這樣獲取信息的方式不僅耗時(shí)耗力，且得到的信息因被調(diào)查者的從眾心理、被調(diào)查者對(duì)問(wèn)題的曲解或者被調(diào)查者的不配合等因素而易造成不準(zhǔn)確，從而對(duì)參觀者的各項(xiàng)分析造成干擾，更重要的是不能夠?qū)崟r(shí)地了解被調(diào)查者的真實(shí)情況。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種基于雙目視覺的人流分析方法，其可應(yīng)用于諸如博物館的各類公共展覽場(chǎng)所，采集與分析參觀者的相關(guān)信息，實(shí)現(xiàn)人流分析目的，以利于公共展覽場(chǎng)所提升自身服務(wù)質(zhì)量與水平。
[0006]為了實(shí)現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)方案:
[0007]—種基于雙目視覺的人流分析方法，其特征在于，它包括步驟:
[0008]I)立體圖像對(duì)獲取:安裝在位于設(shè)定的參觀區(qū)域內(nèi)展臺(tái)處的雙目視覺傳感器拍攝獲得立體圖像對(duì)，立體圖像對(duì)由左、右立體圖像構(gòu)成；
[0009]2)圖像預(yù)處理:預(yù)處理立體圖像對(duì)的左、右立體圖像；
[0010]3)人臉檢測(cè):檢測(cè)出立體圖像對(duì)的左、右立體圖像中都出現(xiàn)過(guò)的人臉；
[0011]4)人體定位:基于設(shè)定的人臉感興趣區(qū)域，判斷立體圖像對(duì)中通過(guò)3)檢測(cè)出的人臉是否處于設(shè)定的參觀區(qū)域內(nèi):若是，保留人臉，認(rèn)定人臉對(duì)應(yīng)的人體為處于設(shè)定的參觀區(qū)域內(nèi)的參觀者;反之，去除人臉，認(rèn)定人臉對(duì)應(yīng)的人體為未處于設(shè)定的參觀區(qū)域內(nèi)的非參觀者；
[0012]5)參觀人數(shù)統(tǒng)計(jì)、參觀時(shí)間統(tǒng)計(jì)以及性別識(shí)別、年齡估計(jì):
[0013]5-1)對(duì)各參觀者進(jìn)行性別識(shí)別及年齡估計(jì)；
[0014]5-2)按設(shè)定拍攝間隔，重復(fù)執(zhí)行I)至4)，累計(jì)參觀者人數(shù)和各參觀者的參觀時(shí)間，并對(duì)新參觀者進(jìn)行性別識(shí)別及年齡估計(jì)，直至到達(dá)設(shè)定拍攝時(shí)間；
[0015]6)展臺(tái)處設(shè)定的參觀區(qū)域內(nèi)的人流分析完成。
[0016]所述步驟3)執(zhí)行的人臉檢測(cè)包括步驟:
[0017]3-1)基于Adaboost算法，構(gòu)建并訓(xùn)練好用于人臉檢測(cè)的多級(jí)人臉?lè)诸惼鳎?br>[0018]3-2)所述立體圖像對(duì)的左、右立體圖像二值化處理為灰度圖像并計(jì)算出積分圖像，對(duì)積分圖像在不同尺度下基于多級(jí)人臉?lè)诸惼鳈z測(cè)出人臉；
[0019]3-3)判斷左立體圖像中同一位置的人臉在設(shè)定個(gè)數(shù)的尺度下是否都被檢測(cè)為人臉:若是，則認(rèn)為是人臉;反之，則認(rèn)為不是人臉；
[0020]3-4)判斷右立體圖像中同一位置的人臉在設(shè)定個(gè)數(shù)的尺度下是否都被檢測(cè)為人臉:若是，則認(rèn)為是人臉;反之，則認(rèn)為不是人臉；
[0021]3-5)左、右立體圖像進(jìn)行交叉驗(yàn)證，檢測(cè)出在左、右立體圖像中都出現(xiàn)過(guò)的人臉作為最終確定出的人臉。
[0022]所述步驟4)執(zhí)行的人體定位包括步驟:
[0023]4-1)在所述左、右立體圖像中提取所述人臉感興趣區(qū)域的SIFT特征，針對(duì)所述左、右立體圖像匹配SIFT特征，并且消除誤匹配；
[0024]4-2)依據(jù)匹配的SIFT特征和雙目立體視覺人體定位原理，計(jì)算人臉與所述雙目視覺傳感器相距的距離，從而判斷人臉是否處于所述設(shè)定的參觀區(qū)域內(nèi)。
[0025]所述步驟5)執(zhí)行的參觀人數(shù)統(tǒng)計(jì)、參觀時(shí)間統(tǒng)計(jì)包括步驟:
[0026]a)提取人臉的LBP特征，判斷人臉是否在當(dāng)前拍攝時(shí)間和前一拍攝時(shí)間均出現(xiàn)過(guò):若是，則累計(jì)人臉對(duì)應(yīng)的參觀者的參觀時(shí)間，參觀人數(shù)不遞增;若否，進(jìn)入b);
[0027]b)提取人臉上下文區(qū)域的LBP特征，判斷人臉是否在當(dāng)前拍攝時(shí)間和前一拍攝時(shí)間均出現(xiàn)過(guò):若是，則根據(jù)當(dāng)前拍攝時(shí)間和前一拍攝時(shí)間，累計(jì)人臉對(duì)應(yīng)的參觀者的參觀時(shí)間，參觀人數(shù)不遞增;若否，則記錄當(dāng)前拍攝時(shí)間，參觀人數(shù)遞增。
[0028]所述性別識(shí)別和年齡估計(jì)包括步驟:A)構(gòu)建CNN模型;B)構(gòu)建并訓(xùn)練好性別識(shí)別和年齡估計(jì)分類器;C)基于CNN模型提取人臉的判斷特征;D)將提取的判斷特征輸入性別識(shí)別和年齡估計(jì)分類器，進(jìn)行人臉的性別識(shí)別與年齡估計(jì)。
[0029]本發(fā)明的優(yōu)點(diǎn)是:
[0030]本發(fā)明可應(yīng)用于諸如博物館的各類公共展覽場(chǎng)所，采集與分析出公共展覽場(chǎng)所內(nèi)各展品前參觀者的相關(guān)信息(參觀人數(shù)、參觀時(shí)間、年齡、性別)，實(shí)現(xiàn)人流統(tǒng)計(jì)與分析目的，具有實(shí)時(shí)性尚、準(zhǔn)確性尚、實(shí)施效率尚等特點(diǎn)，有助于真實(shí)了解參觀者的彳丁為特征，為參觀者對(duì)哪些類型的展品感興趣、各年齡段的參觀者分別對(duì)哪些類型的展品感興趣等分析提供可靠的數(shù)據(jù)依據(jù)，以利于公共展覽場(chǎng)所提升自身服務(wù)質(zhì)量與水平。本發(fā)明僅需普通的雙目視覺傳感器即可實(shí)施，推廣性強(qiáng)，可克服傳統(tǒng)問(wèn)卷調(diào)查方法的耗時(shí)耗力、不準(zhǔn)確等缺點(diǎn)。
【附圖說(shuō)明】
[0031]圖1是本發(fā)明的實(shí)施流程說(shuō)明圖。
[0032]圖2是本發(fā)明實(shí)施的說(shuō)明圖。
【具體實(shí)施方式】
[0033]如圖2，實(shí)施本發(fā)明基于雙目視覺的人流分析方法的硬件環(huán)境為:擺放著展品40的展臺(tái)20處安裝有雙目視覺傳感器10，雙目視覺傳感器10—般安裝在展臺(tái)20的上方，展臺(tái)20處于設(shè)定的參觀區(qū)域50內(nèi)，雙目視覺傳感器10用于在設(shè)定拍攝時(shí)間內(nèi)按設(shè)定拍攝間隔對(duì)其視角范圍內(nèi)的場(chǎng)景進(jìn)行拍攝，來(lái)獲取立體圖像對(duì)，在實(shí)際實(shí)施時(shí)，立體圖像的分辨率優(yōu)選大于640X480像素，雙目視覺傳感器10的視角范圍與設(shè)定的參觀區(qū)域50不同但視角范圍宜覆蓋設(shè)定的參觀區(qū)域50。
[0034]如圖1和圖2所示，本發(fā)明基于雙目視覺的人流分析方法包括如下步驟:
[0035]I)立體圖像對(duì)獲取:安裝在位于設(shè)定的參觀區(qū)域50內(nèi)展臺(tái)20處的雙目視覺傳感器10拍攝獲得立體圖像對(duì)，立體圖像對(duì)由左、右立體圖像構(gòu)成；
[0036]2)圖像預(yù)處理:預(yù)處理立體圖像對(duì)的左、右立體圖像，在實(shí)際實(shí)施中，預(yù)處理操作可包括圖像二值化處理、圖像對(duì)比度增強(qiáng)、圖像校正等；
[0037]3)人臉檢測(cè):檢測(cè)出立體圖像對(duì)的左、右立體圖像中都出現(xiàn)過(guò)的人臉；
[0038]4)人體定位:基于設(shè)定的人臉感興趣區(qū)域(需事先設(shè)定，例如人臉感興趣區(qū)域可設(shè)定為整個(gè)人臉或者人臉+人臉周圍區(qū)域)，判斷立體圖像對(duì)中通過(guò)步驟3)檢測(cè)出的人臉是否處于設(shè)定的參觀區(qū)域50內(nèi):若是，保留人臉，認(rèn)定人臉對(duì)應(yīng)的人體為處于設(shè)定的參觀區(qū)域50內(nèi)的參觀者(如圖2所示參觀者30);反之，去除人臉，認(rèn)定人臉對(duì)應(yīng)的人體為未處于設(shè)定的參觀區(qū)域50內(nèi)的非參觀者；
[0039 ] 5)參觀人數(shù)統(tǒng)計(jì)、參觀時(shí)間統(tǒng)計(jì)以及性別識(shí)別、年齡估計(jì):
[0040]5-1)對(duì)各參觀者進(jìn)行性別識(shí)別及年齡估計(jì)；
[0041]5-2)按設(shè)定拍攝間隔，重復(fù)執(zhí)行步驟I)至4)，累計(jì)參觀者人數(shù)和各參觀者的參觀時(shí)間，并對(duì)新參觀者進(jìn)行性別識(shí)別及年齡估計(jì)，直至到達(dá)設(shè)定拍攝時(shí)間；
[0042]6)展臺(tái)處設(shè)定的參觀區(qū)域50內(nèi)的人流分析完成，即獲得了此展品前參觀者的相關(guān)信息，如參觀人數(shù)、各參觀者的參觀時(shí)間、各參觀者的年齡與性別。
[0043]在實(shí)際實(shí)施中，步驟3)執(zhí)行的人臉檢測(cè)可包括步驟:
[0044]3-1)基于Adaboost算法，構(gòu)建并訓(xùn)練好用于人臉檢測(cè)的多級(jí)人臉?lè)诸惼鳎?br>[0045]3-2)立體圖像對(duì)的左、右立體圖像二值化處理為灰度圖像并計(jì)算出積分圖像，對(duì)積分圖像在不同尺度下基于多級(jí)人臉?lè)诸惼鳈z測(cè)出人臉；
[0046]3-3)判斷左立體圖像中同一位置的人臉在設(shè)定個(gè)數(shù)(可設(shè)定個(gè)數(shù)大于等于4)的尺度下是否都被檢測(cè)為人臉:若是，則認(rèn)為是人臉;反之，則認(rèn)為不是人臉；
[0047]3-4)判斷右立體圖像中同一位置的人臉在設(shè)定個(gè)數(shù)(可設(shè)定個(gè)數(shù)大于等于4)的尺度下是否都被檢測(cè)為人臉:若是，則認(rèn)為是人臉;反之，則認(rèn)為不是人臉；
[0048]3-5)左、右立體圖像進(jìn)行交叉驗(yàn)證，檢測(cè)出在左、右立體圖像中都出現(xiàn)過(guò)的人臉作為最終確定出的人臉，以確保左、右立體圖像中人臉檢測(cè)結(jié)果的一致性。
[0049]在本發(fā)明中，人臉檢測(cè)技術(shù)屬于本領(lǐng)域的熟知技術(shù)，其具體實(shí)施過(guò)程可包括:
[0050]首先，從網(wǎng)站和自己采集的圖像中裁剪具有一定代表性的人臉圖像，并將其歸一化為20 X 20像素，提取其Haar特征(這里的Haar特征指兩種邊緣特征、兩種線性特征和一種特定方向特征)，將提取的各Haar特征分別構(gòu)造出一個(gè)弱分類器，通過(guò)Adaboost算法，選擇一些弱分類器進(jìn)行線性加權(quán)組合，構(gòu)造出一個(gè)強(qiáng)分類器，然后將得到的多個(gè)強(qiáng)分類器進(jìn)行級(jí)聯(lián)，構(gòu)成一個(gè)多級(jí)人臉?lè)诸惼?，?lái)進(jìn)行人臉檢測(cè)。
[0051]然后，將左、右立體圖像分別進(jìn)行二值化處理，得到灰度圖像，再對(duì)灰度圖像計(jì)算出積分圖像，從而對(duì)積分圖像在不同尺度下基于上述構(gòu)造出的多級(jí)人臉?lè)诸惼鬟M(jìn)行人臉檢測(cè)。
[0052]然后，對(duì)左立體圖像在若干尺度下檢測(cè)出的人臉進(jìn)行合并處理(即當(dāng)同一位置的人臉在大于等于4個(gè)的尺度下都被檢測(cè)為人臉時(shí)，則認(rèn)為其是人臉區(qū)域)，同理，對(duì)右立體圖像在若干尺度下檢測(cè)出的人臉進(jìn)行合并處理(即當(dāng)同一位置的人臉在大于等于4個(gè)的尺度下都被檢測(cè)為人臉時(shí)，則認(rèn)為其是人臉區(qū)域)。
[0053]最后，為了確保左、右立體圖像中人臉檢測(cè)結(jié)果的一致性，對(duì)左立體圖像中檢測(cè)出的人臉與右立體圖像中檢測(cè)出的人臉基于顏色直方圖進(jìn)行匹配，如果匹配成功，則保留此人臉，否則:
[0054]在右立體圖像中構(gòu)造一個(gè)與左立體圖像中的人臉處于相對(duì)應(yīng)位置、同等大小的區(qū)域，并用Adaboost算法檢測(cè)，如果檢測(cè)結(jié)果為人臉，則保留此人臉，否則不保留；
[0055]同理，在左立體圖像中構(gòu)造一個(gè)與右立體圖像中的人臉處于相對(duì)應(yīng)位置、同等大小的區(qū)域，并用Adabo