基于雙目立體視覺(jué)的客流密度估計(jì)的方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種基于雙目立體視覺(jué)的客流密度估計(jì)的方法和系統(tǒng)，它包括雙目平行攝像機(jī)、DSP處理器、通信模塊、視頻輸出模塊等，采用上述系統(tǒng)對(duì)客流密度進(jìn)行估計(jì)，其步驟為：(1)對(duì)左右攝像機(jī)進(jìn)行標(biāo)定，得出左右攝像機(jī)的內(nèi)外參數(shù)；計(jì)算左右攝像機(jī)的精確主點(diǎn)差；(2)實(shí)時(shí)采集左右圖像并進(jìn)行位置校正，采用自適應(yīng)的窗口立體匹配方法得到當(dāng)前幀視差圖像；(3)對(duì)前景人體目標(biāo)進(jìn)行分割，得到二值化的前景人體目標(biāo)圖像；(4)生成前景人體目標(biāo)的二維映射圖像；(5)計(jì)算擁擠度，通過(guò)擁擠度與人數(shù)的非線性關(guān)系得到密度估計(jì)。該方法不受場(chǎng)景光線變化、陰影、透視效應(yīng)及遮擋的影響，系統(tǒng)具有設(shè)備簡(jiǎn)單，密度估計(jì)準(zhǔn)確率高的特點(diǎn)。
【專利說(shuō)明】基于雙目立體視覺(jué)的客流密度估計(jì)的方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明是涉及計(jì)算機(jī)視覺(jué)技術(shù)應(yīng)用領(lǐng)域，具體地說(shuō)是涉及一種基于雙目立體視覺(jué) 的客流密度估計(jì)的方法和系統(tǒng)。

【背景技術(shù)】
[0002] 客流密度是指在一個(gè)平面上的客流密集程度，可用單位面積上的客流人數(shù)表示， 用于車站、大廳、廣場(chǎng)等人群集聚場(chǎng)所的客流統(tǒng)計(jì)與管理。目前，在客流統(tǒng)計(jì)領(lǐng)域，基于計(jì)算 機(jī)視覺(jué)的方法已成為主要技術(shù)手段和研究熱點(diǎn)。該類方法分為：基于單目視覺(jué)的方法和基 于雙目立體視覺(jué)的方法。
[0003] 基于單目視覺(jué)的方法采用單個(gè)攝像機(jī)拍攝客流場(chǎng)景畫(huà)面，具有圖像采集、運(yùn)動(dòng)目 標(biāo)檢測(cè)、人頭檢測(cè)與跟蹤、客流統(tǒng)計(jì)等步驟。該方法成本較低，實(shí)施方便。但是，由于很難處 理光照變化、透視效應(yīng)及遮擋陰影等的影響，造成前景目標(biāo)的檢測(cè)困難和前景目標(biāo)的分割 誤差，導(dǎo)致統(tǒng)計(jì)精度較差。
[0004] 基于雙目立體視覺(jué)的客流統(tǒng)計(jì)方法采用雙目攝像機(jī)拍攝客流視頻圖像，利用立體 視覺(jué)中深度感知原理，從雙目視頻圖像中得到目標(biāo)的深度信息，再利用深度信息進(jìn)行前景 目標(biāo)的檢測(cè)、分割，進(jìn)而達(dá)到密度估計(jì)的目的。該類方法雖然理論上可以有效地處理光照變 化、透視效應(yīng)及遮擋陰影等所造成的影響。但是，該類方法攝像機(jī)標(biāo)定繁瑣，視差匹配和目 標(biāo)分割算法的計(jì)算量大、精度低，由此得到的密度估計(jì)系統(tǒng)的實(shí)時(shí)性和適應(yīng)性較差，估計(jì)精 度低。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于針對(duì)現(xiàn)有基于計(jì)算機(jī)視覺(jué)的客流密度估計(jì)技術(shù)中存在的問(wèn)題， 提供一種基于雙目立體視覺(jué)的客流密度估計(jì)的方法和系統(tǒng)，不僅不受場(chǎng)景光線變化、陰影、 透視效應(yīng)及遮擋的影響，而且設(shè)備簡(jiǎn)單，算法計(jì)算量較低，能有效提高客流密度估計(jì)的精度 和實(shí)時(shí)性。
[0006] 為了達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是： 一種基于雙目立體視覺(jué)的客流密度估計(jì)的系統(tǒng)，其特征在于： 該系統(tǒng)由雙目平行攝像機(jī)、DSP處理器、通信模塊、視頻輸出模塊、上位主機(jī)、視頻監(jiān)視 器等組，DSP處理器分別與雙目平行攝像機(jī)、通信模塊、視頻輸出模塊連接，通信模塊與上位 主機(jī)連接，視頻輸出模塊與視頻監(jiān)視器連接，所述的雙目平行攝像機(jī)模塊，它包括左攝像機(jī) A1、右攝像機(jī)A2,分別用于采集左右圖像；所述的通信模塊，它包括網(wǎng)絡(luò)接口及RS-485接 口，用于與上位主機(jī)的數(shù)據(jù)通信；所述的視頻輸出模塊，用于將客流視頻圖像輸出至視頻監(jiān) 視器進(jìn)行實(shí)時(shí)監(jiān)控。
[0007] -種采用上述基于雙目立體視覺(jué)的客流密度估計(jì)的系統(tǒng)對(duì)一個(gè)平面上的客流數(shù) 量進(jìn)行統(tǒng)計(jì)，其具體方法如下： (1)、對(duì)左右攝像機(jī)進(jìn)行標(biāo)定，得出左右攝像機(jī)的內(nèi)外參數(shù)；根據(jù)左右攝像機(jī)的標(biāo)定點(diǎn) 的視差計(jì)算左右攝像機(jī)的主點(diǎn)差； (2) 、實(shí)時(shí)采集左右圖像，依據(jù)主點(diǎn)差進(jìn)行位置校正，按照自適應(yīng)的窗口立體匹配方法 進(jìn)行立體匹配，得到當(dāng)前幀視差圖像； (3) 、根據(jù)當(dāng)前幀視差圖像和背景幀視差圖像對(duì)前景人體目標(biāo)進(jìn)行分割，得到二值化的 前景人體目標(biāo)圖像； (4) 、計(jì)算前景人體目標(biāo)圖像中每一個(gè)像素點(diǎn)對(duì)應(yīng)的二維地平面的位置，生成二維映射 圖像； (5) 、把地平面上前景人體目標(biāo)區(qū)域面積與背景區(qū)域面積做比值得到擁擠度，通過(guò)擁擠 度與人數(shù)的非線性關(guān)系得到單位面積人數(shù)密度估計(jì)。
[0008] 本發(fā)明的基于雙目立體視覺(jué)的客流密度估計(jì)的方法與現(xiàn)有基于單目圖像處理的 客流密度估計(jì)方法相比較，具有如下特征和優(yōu)點(diǎn)：本發(fā)明采用雙目攝像機(jī)，利用立體視覺(jué)原 理，得到物體的深度信息，解決了單目視覺(jué)技術(shù)普遍存在的對(duì)光線變化敏感、易受陰影干擾 的問(wèn)題；利用目標(biāo)映射到二維平面實(shí)現(xiàn)前景人體目標(biāo)的分割，有效克服了透視效應(yīng)和遮擋， 達(dá)到密度估計(jì)的目的。本發(fā)明提出的基于雙目立體視覺(jué)的客流密度估計(jì)的方法適用于車 站、展廳、廣場(chǎng)等經(jīng)常會(huì)迎來(lái)短期的客流高峰的公共場(chǎng)所，不受場(chǎng)景光線變化、陰影、透視效 應(yīng)及遮擋的影響，具有設(shè)備簡(jiǎn)單，密度估計(jì)準(zhǔn)確率高的特點(diǎn)。

【專利附圖】

【附圖說(shuō)明】
[0009] 圖1是本發(fā)明的基于雙目立體視覺(jué)的客流密度估計(jì)的方法的硬件系統(tǒng)構(gòu)成示意 圖。
[0010] 圖2是本發(fā)明的基于雙目立體視覺(jué)的客流密度估計(jì)的方法的流程圖。
[0011] 圖3是本發(fā)明的基于雙目立體視覺(jué)的客流密度估計(jì)的方法的【具體實(shí)施方式】流程 示意圖。

【具體實(shí)施方式】
[0012] 以下結(jié)合附圖對(duì)本發(fā)明的基于雙目立體視覺(jué)的客流密度估計(jì)的方法及系統(tǒng)及作 進(jìn)一步的詳細(xì)描述。
[0013] 如圖1所示，上述基于雙目立體視覺(jué)的客流密度估計(jì)的系統(tǒng)，其特征在于： 該系統(tǒng)由雙目平行攝像機(jī)、DSP處理器、通信模塊、視頻輸出模塊、上位主機(jī)、視頻監(jiān)視 器等組成，DSP處理器分別與雙目平行攝像機(jī)、通信模塊、視頻輸出模塊連接，一起構(gòu)成客流 密度估計(jì)裝置，通信模塊與上位主機(jī)連接，視頻輸出模塊與視頻監(jiān)視器連接； 所述的雙目平行攝像機(jī)模塊，它包括左攝像機(jī)Al、右攝像機(jī)A2,分別用于采集左右圖 像； 所述的通信模塊，它包括網(wǎng)絡(luò)接口及RS-485接口，分別用于與上位主機(jī)的數(shù)據(jù)通信； 所述的視頻輸出模塊，用于將客流視頻圖像輸出至視頻監(jiān)視器進(jìn)行實(shí)時(shí)監(jiān)控， 系統(tǒng)安裝時(shí)自頂向前下傾斜安裝，通過(guò)攝像機(jī)光軸與攝像機(jī)支柱的傾斜角度〃的調(diào) 整以實(shí)現(xiàn)設(shè)定區(qū)域的客流密度估計(jì)。夾角越小，則密度估計(jì)區(qū)域越大。
[0014] 如圖2、圖3所示，上述基于雙目立體視覺(jué)的客流密度估計(jì)的方法，采用上述的基 于雙目立體視覺(jué)的客流密度估計(jì)的系統(tǒng)進(jìn)行區(qū)域的人群密度估計(jì)，包括如下步驟： (1) 、對(duì)左右攝像機(jī)進(jìn)行標(biāo)定，得出左右攝像機(jī)的內(nèi)外參數(shù)；根據(jù)左右攝像機(jī)的標(biāo)定點(diǎn) 的視差計(jì)算左右攝像機(jī)的主點(diǎn)差，計(jì)算背景幀視差圖像，其具體步驟如下： (1-1)、采用張正友攝像機(jī)標(biāo)定算法，設(shè)置棋盤(pán)格標(biāo)定板，左右攝像機(jī)從不同方向拍攝 至少三幅圖像像素坐標(biāo)系下的標(biāo)定圖像，提取各標(biāo)定圖像中的角點(diǎn)作為特征點(diǎn)； (1-2)、利用上述標(biāo)定圖像中的特征點(diǎn)求單應(yīng)矩陣，然后由單應(yīng)矩陣求出攝像機(jī)的內(nèi)外 參數(shù)，包括主點(diǎn)坐標(biāo)％、V旋轉(zhuǎn)矩陣R、平移向量T，利用標(biāo)定結(jié)果計(jì)算各標(biāo)定點(diǎn)在疋足攝 像機(jī)坐標(biāo)系下的坐標(biāo)； (1 -3)、根據(jù)上述標(biāo)定點(diǎn)在左右標(biāo)定圖像中的坐標(biāo)計(jì)算左右攝像機(jī)的主點(diǎn)差，水平方向 的主點(diǎn)差4的計(jì)算公式為：

【權(quán)利要求】
1. 一種基于雙目立體視覺(jué)的客流密度估計(jì)的系統(tǒng)，其特征在于：該系統(tǒng)由雙目平行 攝像機(jī)、DSP處理器、通信模塊、視頻輸出模塊、上位主機(jī)、視頻監(jiān)視器等組成，DSP處理器分 別與雙目平行攝像機(jī)、通信模塊、視頻輸出模塊連接，通信模塊與上位主機(jī)連接，視頻輸出 模塊與視頻監(jiān)視器連接，所述的雙目平行攝像機(jī)模塊，它包括左攝像機(jī)A1、右攝像機(jī)A2,分 別用于采集左右圖像；所述的通信模塊，它包括網(wǎng)絡(luò)接口及RS-485接口，用于與上位主機(jī) 的數(shù)據(jù)通信；所述的視頻輸出模塊，用于將客流視頻圖像輸出至視頻監(jiān)視器進(jìn)行實(shí)時(shí)監(jiān)控。
2. -種基于雙目立體視覺(jué)的客流密度估計(jì)的方法，采用根據(jù)權(quán)利要求1所述述基于雙 目立體視覺(jué)的客流密度估計(jì)的系統(tǒng)對(duì)一個(gè)平面上的客流數(shù)量進(jìn)行統(tǒng)計(jì)，其特征在于，該方 法步驟如下： (1) 、對(duì)左右攝像機(jī)進(jìn)行標(biāo)定，得出左右攝像機(jī)的內(nèi)外參數(shù)；根據(jù)左右攝像機(jī)的標(biāo)定點(diǎn) 的視差計(jì)算左右攝像機(jī)的主點(diǎn)差； (2) 、實(shí)時(shí)采集左右圖像，依據(jù)主點(diǎn)差進(jìn)行位置校正，按照自適應(yīng)的窗口立體匹配方法 進(jìn)行立體匹配，得到當(dāng)前幀視差圖像； (3) 、根據(jù)當(dāng)前幀視差圖像和背景幀視差圖像對(duì)前景人體目標(biāo)進(jìn)行分割，得到二值化的 前景人體目標(biāo)圖像； (4) 、計(jì)算前景人體目標(biāo)圖像中每一個(gè)像素點(diǎn)對(duì)應(yīng)的二維地平面的位置，生成二維映射 圖像； (5) 、把地平面上前景人體目標(biāo)區(qū)域面積與背景區(qū)域面積做比值得到擁擠度，通過(guò)擁擠 度與人數(shù)的非線性關(guān)系得到單位面積人數(shù)密度估計(jì)。
3. 根據(jù)權(quán)利要求2所述的基于雙目立體視覺(jué)的客流密度估計(jì)的方法，其特征在于，上 述步驟（1)所述的對(duì)左右攝像機(jī)進(jìn)行標(biāo)定，得出左右攝像機(jī)的內(nèi)外參數(shù)；根據(jù)左右攝像機(jī) 的標(biāo)定點(diǎn)的視差計(jì)算左右攝像機(jī)的主點(diǎn)差，其具體步驟如下： (1-1)、采用張正友攝像機(jī)標(biāo)定算法，設(shè)置棋盤(pán)格標(biāo)定板，左右攝像機(jī)從不同方向拍攝 至少三幅圖像像素坐標(biāo)系下的標(biāo)定圖像，提取各標(biāo)定圖像中的角點(diǎn)作為特征點(diǎn)； (1-2)、利用上述標(biāo)定圖像中的特征點(diǎn)求單應(yīng)矩陣，然后由單應(yīng)矩陣求出攝像機(jī)的內(nèi)外 參數(shù)，包括主點(diǎn)坐標(biāo)％、V旋轉(zhuǎn)矩陣R、平移向量T，利用標(biāo)定結(jié)果計(jì)算各標(biāo)定點(diǎn)在疋&足攝 像機(jī)坐標(biāo)系下的坐標(biāo)； (1 -3)、根據(jù)上述標(biāo)定點(diǎn)在左右標(biāo)定圖像中的坐標(biāo)計(jì)算左右攝像機(jī)的主點(diǎn)差，水平方向 的主點(diǎn)差4的計(jì)算公式為：
其中，乙為標(biāo)定點(diǎn)在攝像機(jī)坐標(biāo)系下的4由值，〇是標(biāo)定點(diǎn)在圖像像素坐標(biāo)系水平方向 的坐標(biāo)差，即標(biāo)定點(diǎn)的視差，i堤左右攝像機(jī)的基線長(zhǎng)度，/是左右攝像機(jī)的焦距，對(duì)各標(biāo)定 點(diǎn)所求出的主點(diǎn)差進(jìn)行平均即可得到左右攝像機(jī)的主點(diǎn)差。
4. 根據(jù)權(quán)利要求3所述的基于雙目立體視覺(jué)的客流密度估計(jì)的方法，其特征在于，上 述步驟（2)所述的實(shí)時(shí)采集左右圖像，依據(jù)主點(diǎn)差進(jìn)行位置校正，按照自適應(yīng)的窗口匹配 方法進(jìn)行立體視差匹配，得到當(dāng)前幀視差圖像，其具體如下： (2-1)、實(shí)時(shí)采集左右攝像機(jī)的左右圖像，按照步驟（1)所述的左右攝像機(jī)主點(diǎn)差，對(duì) 左圖像平移（也 <)以校正主點(diǎn)差對(duì)立體匹配的影響，用于下一步的精確視差計(jì)算； (2-2)、得到當(dāng)前幀視差圖像，首先設(shè)左圖像中的一幅圖像為參考圖像，另一幅圖像為 匹配圖像，將參考圖像中像素點(diǎn)為中心、大小為購(gòu)XH像素的塊的一個(gè)自適應(yīng)窗口為匹配基 元，然后，在匹配圖像中以視差范圍內(nèi)每個(gè)像素點(diǎn)為中心、大小同為圈XU的窗口，依次計(jì)算 參考圖像中待匹配像素的窗口相關(guān)性測(cè)量值,記為其相關(guān)性測(cè)量值表達(dá) 式如下：
其中，JtiJ為圖像像素坐標(biāo)，表示右、左圖像的灰度值，分別為 右、左圖像中以匹配像素點(diǎn)為中心的窗口內(nèi)像素平均灰度，為沿極線方向在視差匹配范 圍內(nèi)的偏移量，對(duì)相關(guān)性測(cè)量值進(jìn)行二次型插值，得到相關(guān)性測(cè)量 最大值所對(duì)應(yīng)的偏移量忒卩是所得的視差。
5. 根據(jù)權(quán)利要求4所述的基于雙目立體視覺(jué)的客流密度估計(jì)的方法，其特征在于，上 述步驟（3)所述的根據(jù)當(dāng)前幀視差圖像和背景幀視差圖像對(duì)前景人體目標(biāo)進(jìn)行分割，得到 二值化的前景人體目標(biāo)圖像； (3-1)、計(jì)算視差的背景差，背景幀視差與當(dāng)前幀視差相減所得的差值記為 其表達(dá)式為： MxJ)=Ifk(xJ) ^ Mx j)\ ⑶ 其中,I3f表示像素位置坐標(biāo),表示當(dāng)前幀視差(第對(duì)貞)， .Sfc(Xj)表* 背景幀視差,!^為計(jì)算出的視差差值； (3-2)、計(jì)算二值化前景人體目標(biāo)圖像其表達(dá)式為：
其中，7?不視差差值的閾值，由實(shí)驗(yàn)確定。
6. 根據(jù)權(quán)利要求5所述的基于雙目立體視覺(jué)的客流密度估計(jì)的方法，其特征在于，上 述步驟（4)所述的計(jì)算前景人體目標(biāo)圖像中每一個(gè)像素點(diǎn)對(duì)應(yīng)的二維地平面的位置，生成 二維映射圖像，其具體如下： (4-1)、把圖像像素坐標(biāo)系下的前景人體目標(biāo)圖像中的點(diǎn)映射至以物理單 位(例如毫米）表示的圖像坐標(biāo)系映射關(guān)系為： X= (II-H〇)lfr (5) j=(v-v〇H 其中,iff和為每個(gè)像素在圖像坐標(biāo)系Tf軸和￥軸方向上的物理尺寸，《和K為圖 IJmm 像像素坐標(biāo)系中的像素坐標(biāo)，Hg和為圖像的主點(diǎn)坐標(biāo)； (4-2)、將圖像坐標(biāo)系中的像素值映射至攝像機(jī)坐標(biāo)系下的JT軸值、軸值、軸 Cr4CT 4* 值，其表達(dá)關(guān)系式如下：
其中，Zc為攝像機(jī)坐標(biāo)系下的JC軸上點(diǎn)的坐標(biāo)值，為攝像機(jī)坐標(biāo)系下的^軸上點(diǎn) 的坐標(biāo)值，Ze為攝像機(jī)坐標(biāo)系下的Z軸上點(diǎn)的坐標(biāo)值，由以下公式計(jì)算得到：
其中J是步驟（2)所述的像素點(diǎn)的視差，i?是左右攝像機(jī)的基線長(zhǎng)度，/是左右攝像機(jī) 的焦距， (4-3)、將攝像機(jī)坐標(biāo)系中的像素值映射至世界坐標(biāo)系，得到前景人體目標(biāo)圖像中的每 一個(gè)像素點(diǎn)對(duì)應(yīng)的二維地平面的位置，計(jì)算公式如下：
其中為空間任意一點(diǎn)的世界坐標(biāo)，A為攝像機(jī)旋轉(zhuǎn)矩陣，r為攝像機(jī) 平移向量，在第一步的攝像機(jī)標(biāo)定時(shí)確定； (4-4)、根據(jù)所有前景人體目標(biāo)點(diǎn)的世界坐標(biāo)位置形成尤7典平面分布的二維映射圖 像，映射圖像的坐標(biāo)值，對(duì)&非零的前景人體目標(biāo)點(diǎn)，其映射圖像的灰度值置為1，對(duì)乙 零的前景人體目標(biāo)點(diǎn)，其其映射圖像的灰度值置為0。
7.根據(jù)權(quán)利要求6所述的基于雙目立體視覺(jué)的客流密度估計(jì)的方法，其特征在于，上 述步驟（5)所述的把地平面上前景人體目標(biāo)區(qū)域面積與背景區(qū)域面積做比值得到擁擠度， 通過(guò)擁擠度與人數(shù)的非線性關(guān)系得到單位面積人數(shù)密度估計(jì)，其具體如下： (5-1)、將背景圖像的密度估計(jì)區(qū)域映射到^7#平面上，得到一個(gè)背景映射區(qū)域，實(shí) 際的前景人體目標(biāo)圖像也映射到背景映射區(qū)域，把前景人體目標(biāo)區(qū)域面積與背景映射區(qū)域 面積之比定義為擁擠度，其計(jì)算式為：
其中，&是映射圖像中的前景人體目標(biāo)圖像面積，5；是背景映射區(qū)域面積，7是擁擠 度； (5-2)、擁擠度與實(shí)際場(chǎng)景中單位面積人數(shù)之間的關(guān)系用二次型多項(xiàng)式進(jìn)行擬合，其擬 合關(guān)系式為：
其中，、^分別為二次型多項(xiàng)式系數(shù)，其系數(shù)值由實(shí)際場(chǎng)景中的擁擠度和單位 面積的人數(shù)之間的實(shí)驗(yàn)值預(yù)先標(biāo)定。
【文檔編號(hào)】G06T7/00GK104504688SQ201410749992
【公開(kāi)日】2015年4月8日 申請(qǐng)日期:2014年12月10日 優(yōu)先權(quán)日:2014年12月10日
【發(fā)明者】朱秋煜, 徐建忠, 袁賽, 王國(guó)威 申請(qǐng)人:上海大學(xué)