本發(fā)明涉及計算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及計算機(jī)視覺技術(shù)領(lǐng)域在電梯轎廂內(nèi)設(shè)計方面的應(yīng)用。

背景技術(shù)：

電梯中投放廣告主要分為以下幾種：1、轎廂內(nèi)安裝相框，2、電梯門上安裝廣告，轎廂內(nèi)媒體廣告有如下優(yōu)勢：高頻性，高頻次高到達(dá)率，每天平均四次以上的閱讀頻次；表現(xiàn)性，表現(xiàn)力強(qiáng)，較強(qiáng)的畫面沖擊力；強(qiáng)制性，干擾小，強(qiáng)迫性強(qiáng)，電梯空間封閉，免受其他眾多廣告干擾，強(qiáng)迫性閱讀大；低成本：低廣告成本，高性價比。

但是一個重要的問題，沒人知道廣告投放的效果怎么樣，具體來說有多少人關(guān)注投放的廣告，直接對應(yīng)的話題是投放的廣告能給品牌帶來多大的價值，這里面涉及到兩個問題：廣告投放效果好壞一方面是與廣告本身的質(zhì)量有關(guān)，是不是吸引人，廣告投放效果好壞另一方面與受眾群體息息相關(guān)，例如高檔小區(qū)需要稍微高檔一些的品牌投放。如何有效地統(tǒng)計電梯轎廂內(nèi)的廣告投放效率、被關(guān)注程度，讓電梯轎廂內(nèi)的廣告投放更加集中和高效，是電梯轎廂布置需要重點(diǎn)考慮的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明首先要解決的技術(shù)問題是提供一種基于電梯場景的興趣區(qū)域判斷系統(tǒng)，利用該系統(tǒng)能夠?qū)﹄娞蒉I廂內(nèi)廣告牌的受關(guān)注程度進(jìn)行統(tǒng)計。

本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案是：基于電梯場景的興趣區(qū)域判斷系統(tǒng)，包括影像采集單元、人體特征點(diǎn)檢測單元、立體特征匹配單元、視線朝向分析單元以及關(guān)注時間獲取單元，影像采集單元安裝在電梯轎廂內(nèi)并能夠采集電梯轎廂內(nèi)乘客的多角度的影像信息，影像采集單元與人體特征點(diǎn)檢測單元建立數(shù)據(jù)連接并將所采集的影像信息發(fā)送至人體特征點(diǎn)檢測單元，人體特征點(diǎn)檢測單元根據(jù)對采集的影像信息進(jìn)行視頻分析得到對應(yīng)的人體特征點(diǎn)，人體特征點(diǎn)采集單元與立體特征匹配單元建立數(shù)據(jù)連接并將分析所得人體特征點(diǎn)發(fā)送至立體特征匹配單元，立體特征匹配單元將人體特征點(diǎn)進(jìn)行匹配得到每一點(diǎn)對應(yīng)的三維坐標(biāo)，立體特征匹配單元與視線朝向分析單元建立數(shù)據(jù)連接并將匹配得到的三維坐標(biāo)發(fā)送至視線朝向分析單元，視線朝向分析單元根據(jù)三維坐標(biāo)分析得到電梯轎廂內(nèi)乘客的視線朝向，視線朝向分析單元與關(guān)注時間獲取單元建立數(shù)據(jù)連接并將乘客的視線朝向信息發(fā)送至關(guān)注時間獲取單元，關(guān)注時間獲取單元根據(jù)視線朝向信息計算得到電梯轎廂內(nèi)廣告牌收到關(guān)注的時間占比。

進(jìn)一步地，影像采集單元是雙目相機(jī)。

本發(fā)明所要解決的另一個技術(shù)問題是提供一種基于電梯場景的興趣區(qū)域判斷方法，該方法利用上述的系統(tǒng)，并包括以下步驟：

(1)影像采集單元采集電梯轎廂內(nèi)乘客的多角度影像信息并發(fā)送至人體特征點(diǎn)檢測單元，

(2)人體特征點(diǎn)檢測單元對采集的影像信息進(jìn)行視頻分析得到對應(yīng)的人體特征點(diǎn)并將該人體特征點(diǎn)發(fā)送至立體特征匹配單元，

(3)立體特征匹配單元將人體特征點(diǎn)進(jìn)行匹配得到每一點(diǎn)對應(yīng)的三維坐標(biāo)并將該三維坐標(biāo)發(fā)送至視線朝向分析單元，

(4)視線朝向分析單元根據(jù)三維坐標(biāo)分析得到電梯轎廂內(nèi)乘客的視線朝向并將視線朝向信息發(fā)送至關(guān)注時間獲取單元，

(5)關(guān)注時間獲取單元根據(jù)視線朝向信息計算得到電梯轎廂內(nèi)廣告牌收到關(guān)注的時間占比。

進(jìn)一步地，影像采集單元是雙目相機(jī)，雙目相機(jī)分別采集圖像并各自保存。

進(jìn)一步地，人體特征點(diǎn)檢測單元利用姿勢估計技術(shù)得到人體關(guān)節(jié)點(diǎn)在圖像中的位置，并將這些位置定義為人體特征點(diǎn)，這些人體特征點(diǎn)包括頭頂、雙眼、雙耳、雙肩、雙肘、雙腕、雙臀、雙膝和雙踝，共計17個人體特征點(diǎn)。

進(jìn)一步地，立體特征匹配單元將人體特征點(diǎn)映射到三維空間，并利用立體匹配技術(shù)，得到每個人體特征點(diǎn)在雙目相機(jī)分別采集的圖像中的視差圖，從而得到每一個人體特征點(diǎn)在圖像中的三維坐標(biāo)。

進(jìn)一步地，視線朝向分析單元將兩個對應(yīng)雙臀的人體特征點(diǎn)和兩個對應(yīng)雙肩的人體特征點(diǎn)的四個三維坐標(biāo)，利用奇異值分解得到最小特征值所對應(yīng)的特征向量，該特征向量即表征人的視線朝向。

進(jìn)一步地，關(guān)注時間獲取單元計算視線朝向矢量與電梯轎廂前后左右四個面相交情況，得到每一個面被注意的時間，從而得到轎廂內(nèi)廣告牌受到關(guān)注的時間占比，關(guān)注時間占比的計算公式如下：

per＝人關(guān)注某個廣告牌時間/人在轎廂內(nèi)總時間×100％。

本發(fā)明的有益效果是：首先利用姿勢估計技術(shù)，檢測出人體特征點(diǎn)，然后利用立體匹配技術(shù)把這些特征點(diǎn)映射到三維空間，最后利用空間中特征點(diǎn)的拓?fù)浞植夹畔⒐浪愠鋈说某?，最終得到人在電梯時候某個廣告牌所獲得的關(guān)注時間占比，關(guān)注事件占比這個指標(biāo)能夠用來衡量某一個廣告被關(guān)注的程度指標(biāo)，從而判斷該廣告投放的效率，同時能夠根據(jù)該指標(biāo)統(tǒng)計某一個區(qū)域中，例如某個小區(qū)的電梯轎廂內(nèi)，什么類型的廣告牌比較容易受到關(guān)注，從而可以有目的性地投放廣告，提高廣告投放的有效性。

附圖說明

圖1是本發(fā)明的人體特征點(diǎn)分布圖。

圖2是本發(fā)明的結(jié)構(gòu)圖。

圖3是本發(fā)明的流程圖。

圖4是本發(fā)明的相機(jī)成像的模型圖。

圖5是人站在電梯轎廂內(nèi)的三維建模圖。

具體實(shí)施方式

參照附圖。

本發(fā)明的基于電梯場景的興趣區(qū)域判斷系統(tǒng)，其包括影像采集單元1、人體特征點(diǎn)檢測單元2、立體特征匹配單元3、視線朝向分析單元4以及關(guān)注時間獲取單元5，影像采集單元1安裝在電梯轎廂內(nèi)并能夠采集電梯轎廂內(nèi)乘客的多角度的影像信息，影像采集單元1與人體特征點(diǎn)檢測單元2建立數(shù)據(jù)連接并將所采集的影像信息發(fā)送至人體特征點(diǎn)檢測單元2，人體特征點(diǎn)檢測單元2根據(jù)對采集的影像信息進(jìn)行視頻分析得到對應(yīng)的人體特征點(diǎn)，人體特征點(diǎn)采集單元2與立體特征匹配單元3建立數(shù)據(jù)連接并將分析所得人體特征點(diǎn)發(fā)送至立體特征匹配單元3，立體特征匹配單元3將人體特征點(diǎn)進(jìn)行匹配得到每一點(diǎn)對應(yīng)的三維坐標(biāo)，立體特征匹配單元3與視線朝向分析單元4建立連接并將匹配得到的三維坐標(biāo)發(fā)送至視線朝向分析單元4，視線朝向分析單元4根據(jù)三維坐標(biāo)分析得到電梯轎廂內(nèi)乘客的視線朝向，視線朝向分析單元4與關(guān)注時間獲取單元5建立數(shù)據(jù)連接并將乘客的視線朝向信息發(fā)送至關(guān)注時間獲取單元5，關(guān)注時間獲取單元5根據(jù)視線朝向信息計算得到電梯轎廂內(nèi)廣告牌收到關(guān)注的時間占比。在上述結(jié)構(gòu)中，只有影像采集單元1需要安裝在電梯轎廂內(nèi)，其他的結(jié)構(gòu)可以通過無線(例如wifi)等無線連接的方式與影像采集單元1建立數(shù)據(jù)連接，并不一定要求也要安裝在電梯轎廂內(nèi)。

利用本發(fā)明的系統(tǒng)進(jìn)行判斷的方法，具體包括以下步驟：

(1)影像采集單元采集電梯轎廂內(nèi)乘客的多角度影像信息并發(fā)送至人體特征點(diǎn)檢測單元，影像采集單元是雙目相機(jī)，雙目相機(jī)分別采集圖像并各自保存。

(2)人體特征點(diǎn)檢測單元對采集的影像信息進(jìn)行視頻分析得到對應(yīng)的人體特征點(diǎn)并將該人體特征點(diǎn)發(fā)送至立體特征匹配單元，人體特征點(diǎn)檢測單元利用姿勢估計技術(shù)得到人體關(guān)節(jié)點(diǎn)在圖像中的位置，并將這些位置定義為人體特征點(diǎn)，這些人體特征點(diǎn)包括頭頂、雙眼、雙耳、雙肩、雙肘、雙腕、雙臀、雙膝和雙踝，共計17個人體特征點(diǎn)，如圖1所示，目前利用cnn(卷積神經(jīng)網(wǎng)絡(luò))等深度學(xué)習(xí)技術(shù)，人體特征點(diǎn)檢測準(zhǔn)確度已經(jīng)達(dá)到一個相當(dāng)?shù)母叨取?/p>

(3)立體特征匹配單元將人體特征點(diǎn)進(jìn)行匹配得到每一點(diǎn)對應(yīng)的三維坐標(biāo)并將該三維坐標(biāo)發(fā)送至視線朝向分析單元，立體特征匹配單元將人體特征點(diǎn)映射到三維空間，并利用立體匹配技術(shù)，得到每個人體特征點(diǎn)在雙目相機(jī)分別采集的圖像中的視差圖，從而得到每一個人體特征點(diǎn)在圖像中的三維坐標(biāo)。

相機(jī)成像的模型如圖4所示：

p為空間中的點(diǎn)，p1和p2是點(diǎn)p在左右像平面上的成像點(diǎn)，f是焦距，or和ot是左右相機(jī)的光心。由圖可見左右兩個相機(jī)的光軸是平行的。xr和xt是兩個成像點(diǎn)在左右兩個像面上距離圖像左邊緣的距離。z為空間中p點(diǎn)在相機(jī)坐標(biāo)系下的z軸坐標(biāo)，且視差d＝xr-xt。同時雙目攝像機(jī)之間的距離為b。若兩個相機(jī)已經(jīng)校正完成即達(dá)到極線平行，兩條光軸方向也平行。則視差和物體深度的關(guān)系式如下：

可推導(dǎo)出

同理根據(jù)相似三角形關(guān)系可知

推導(dǎo)出

推導(dǎo)出其中x,y為以圖像中心為坐標(biāo)原點(diǎn)的圖像坐標(biāo)。至此，雙目相機(jī)標(biāo)定以后，已知圖像中一點(diǎn)坐標(biāo)x,y，根據(jù)左右圖像得到的視差d即可知道其對應(yīng)的空間坐標(biāo)xyz。

(4)視線朝向分析單元根據(jù)三維坐標(biāo)分析得到電梯轎廂內(nèi)乘客的視線朝向并將視線朝向信息發(fā)送至關(guān)注時間獲取單元，視線朝向分析單元將兩個對應(yīng)雙臀的人體特征點(diǎn)和兩個對應(yīng)雙肩的人體特征點(diǎn)的四個三維坐標(biāo)，利用奇異值分解得到最小特征值所對應(yīng)的特征向量，該特征向量即表征人的視線朝向。

如圖5所示，人站在電梯轎廂中間，由上面推導(dǎo)可知，假設(shè)肩膀與臀部的四個人體特征點(diǎn)的三維坐標(biāo)x1y1z1，x2y2z2，x3y3z3，x4y4z4，表示為p1,p2,p3,p4，得到人視線朝向步驟如下：

√得到四個點(diǎn)的均值：

√得到協(xié)方差矩陣：

√對m進(jìn)行svd分解，因為m是對稱矩陣，等同于正交分解，即m＝qλq^t,其中q為正交陣，其中的每一個列向量為m的特征向量，λ為對角陣，每一個元素為m的特征值。這里只需要q的第三個列向量q3。

√現(xiàn)在已知均值點(diǎn)以及向量q3,可以得到直線方程，

所以假設(shè)轎廂中的人面對電梯門口，那么q3與向量[0,1,0]接近，如果背對電梯門口q3與向量[0,-1,0]接近，面向電梯左邊q3與向量[-1,0,0]接近，面向電梯右邊q3與向量[1,0,0]接近。

(5)關(guān)注時間獲取單元根據(jù)視線朝向信息計算得到電梯轎廂內(nèi)廣告牌收到關(guān)注的時間占比。計算視線朝向矢量與電梯轎廂前后左右四個面相交情況，得到每一個面被注意的時間，從而得到轎廂內(nèi)廣告牌受到關(guān)注的時間占比，關(guān)注時間占比的計算公式如下：

per＝人關(guān)注某個廣告牌時間/人在轎廂內(nèi)總時間×100％。

如上所述，已經(jīng)得到直線方程，那確定人看轎廂內(nèi)那個平面只需要計算直線與四個面的相交情況，設(shè)電梯的長寬高分別為a，b，c四個面的方程分別為

√電梯開關(guān)門這個面：

y＝b(0<x<a,0<z<c)，

√電梯后面：

y＝0(0<x<a,0<z<c)，

√電梯左面：

x＝0(0<y<b,0<z<c)，

√電梯右面：

x＝a(0<y<b,0<z<c)，

所以正常來講直線只可能與四個面中的一個面相交，及判斷為該面被關(guān)注。