否則判定是不同的兩 人站起。其對(duì)圖像處理步驟如下：
[0034] (a)對(duì)當(dāng)前幀Id(x,y)進(jìn)行高斯濾波去除一些噪聲的影響得到Ig(x,y)。
[0035] (b)基于背景差分法對(duì)進(jìn)入感興趣區(qū)域目標(biāo)進(jìn)行檢測(cè)得到運(yùn)動(dòng)前景圖像，背景幀 為Ib(x,y)，公式為：
[0036]Ih(x,y) = |Ig(x,y)-Ib(x,y)
[0037] 得到Ih(x，y)為差分圖像。
[0038] (c)進(jìn)一步得到前景圖像為：
[0039]
【主權(quán)項(xiàng)】
1. 一種基于主從攝像機(jī)的學(xué)生跟蹤定位方法，其特征在于，所述方法包括如下步驟： 步驟1:兩個(gè)從攝像機(jī)安裝在黑板兩側(cè)，安裝高度為學(xué)生坐下后與頭頂齊平處，從攝像 機(jī)在上課前三秒自動(dòng)對(duì)視頻序列做幀間差訓(xùn)練，以得到輪廓；將輪廓最高點(diǎn)上方20像素以 上至畫面最高頂部分，設(shè)為感興趣區(qū)域，用來監(jiān)控有無學(xué)生站起； 步驟2 :從攝像機(jī)使用背景差分法檢測(cè)有無學(xué)生站起，并且分割出站起學(xué)生人數(shù)，將站 起人數(shù)信息傳遞給主攝像機(jī)； 步驟3 :主攝像機(jī)安裝在黑板中間頂端位置，并初始化為全景錄制模式；當(dāng)從攝像機(jī)發(fā) 送有一人站起信息過來時(shí)，主攝像機(jī)采用幀間差分法檢測(cè)站起學(xué)生；在用幀間差法檢測(cè)出 的所有運(yùn)動(dòng)目標(biāo)輪廓中，選取輪廓中心點(diǎn)最高的目標(biāo)為站起學(xué)生，提取輪廓外接矩形中心 點(diǎn)坐標(biāo)和面積，從而對(duì)目標(biāo)進(jìn)行定位； 步驟4 :若從攝像機(jī)檢測(cè)出無人站起或者兩人站起時(shí)，主攝像機(jī)都恢復(fù)全景錄制； 步驟5 :當(dāng)兩人站起中有一人坐下時(shí)，主攝像機(jī)對(duì)仍然站著的學(xué)生進(jìn)行定位； 步驟6 :另外一人也坐下時(shí)，主攝像機(jī)恢復(fù)全景錄制。
2. 根據(jù)權(quán)利要求1所述的一種基于主從攝像機(jī)的學(xué)生跟蹤定位方法，其特征在于：所 述方法的從攝像機(jī)支持人工設(shè)定感興趣區(qū)域，人工設(shè)定或通過鼠標(biāo)或界面來完成。
3. 根據(jù)權(quán)利要求1所述的一種基于主從攝像機(jī)的學(xué)生跟蹤定位方法，其特征在于：步 驟1所述從攝像機(jī)的感興趣區(qū)域生成在上課前三秒，通過自動(dòng)對(duì)視頻序列做幀間差訓(xùn)練得 到。
4. 根據(jù)權(quán)利要求1所述的一種基于主從攝像機(jī)的學(xué)生跟蹤定位方法，其特征在于：步 驟2所述的從攝像機(jī)使用背景差分法檢測(cè)站起學(xué)生，從攝像機(jī)向主攝像機(jī)精確的傳遞站起 學(xué)生人數(shù)；如果一個(gè)從攝像機(jī)判定有人站起后的10幀之內(nèi)，另一個(gè)從攝像機(jī)也判定有人站 起，則主攝像機(jī)判定是同一人否則判定是不同的兩人，包括如下步驟： a. 對(duì)當(dāng)前幀Id(x，y)進(jìn)行高斯濾波去除一些噪聲的影響得到Ig(x，y); b. 基于背景差分法對(duì)進(jìn)入感興趣區(qū)域目標(biāo)進(jìn)行檢測(cè)得到運(yùn)動(dòng)前景圖像，背景幀為 Ib(x，y)，公式為： Ih(x,y) = |Ig(x,y)-Ib(x,y) 得到Ih(x，y)為差分圖像； c. 進(jìn)一步得到前景圖像為：
其中If(x，y)為前景圖像，T為二值化閾值，設(shè)定為50 ;當(dāng)If(x，y)為1時(shí)表示前景圖 像和一部分噪聲，為〇時(shí)表示為背景；對(duì)噪聲的消除采用數(shù)學(xué)形態(tài)學(xué)的開運(yùn)算完成，即先腐 蝕后膨脹； d. 對(duì)二值化圖像提取目標(biāo)輪廓，得到輪廓外接矩形，設(shè)定閾值100,外接矩形面積大于 100的為學(xué)生，小于100的為噪聲去除掉；對(duì)輪廓外接矩形進(jìn)行如下設(shè)置：1)外接矩形中心 矩小于15像素的判定為同一學(xué)生；2)外接矩形之間相交的判定為同一學(xué)生；3)外接矩形 邊框之間距離小于5像素的判定為同一學(xué)生。
5. 根據(jù)權(quán)利要求1所述的一種基于主從攝像機(jī)的學(xué)生跟蹤定位方法，其特征在于：步 驟3所述的主攝像機(jī)開始時(shí)全景錄制，并且每隔300幀無人站起時(shí)選取一幀B(x，y)記錄下 來，以供后面兩人站起有一人坐下時(shí)使用；當(dāng)從攝像機(jī)發(fā)送有一人站起信息過來時(shí)，主攝像 機(jī)采用幀間差分法檢測(cè)站起學(xué)生，包括如下步驟： a. 對(duì)當(dāng)前幀進(jìn)行高斯濾波去除噪聲影響； b. 由于站起學(xué)生可能速度比較慢，所以選取相鄰三幀做幀間差檢測(cè)運(yùn)動(dòng)目標(biāo)，公式如 下：
其中mask為差值后的二值化圖像，IM3(x，y)和IM1(x，y)為相鄰三幀圖像，T為二值化 閾值， 設(shè)定為50 ; c. 差分之后得到的二值圖像進(jìn)行先腐蝕后膨脹的開運(yùn)算從而去除一些噪聲的影響； d. 對(duì)二值化圖像提取輪廓，得到輪廓外接矩形，設(shè)定閾值為100,大于100的判定為學(xué) 生，并且進(jìn)一步選取輪廓外接矩形中心點(diǎn)最高的為站起學(xué)生，提取該外接矩形中心點(diǎn)坐標(biāo) 和面積； e. 視頻原點(diǎn)在最右上角，將中心點(diǎn)坐標(biāo)轉(zhuǎn)化為位移量，如提取目標(biāo)中心點(diǎn)坐標(biāo)為 (w，h)，畫面中心點(diǎn)坐標(biāo)為（WIDTH/2,HEIGHT/2)，則位移量：
進(jìn)一步根據(jù)不同攝像機(jī)的參數(shù)，將位移量轉(zhuǎn)化為轉(zhuǎn)動(dòng)角度，同時(shí)將輪廓面積對(duì)應(yīng)為縮 放倍數(shù)，從而攝像機(jī)對(duì)目標(biāo)進(jìn)行定位。
6. 根據(jù)權(quán)利要求1所述的一種基于主從攝像機(jī)的學(xué)生跟蹤定位方法，其特征在于，步 驟4所述包括：若過一段時(shí)間后，站起來的人坐下，則從攝像機(jī)發(fā)送無人站起信息給主攝像 機(jī)，主攝像機(jī)恢復(fù)全景錄制；若在一人站起的情形下，又有一人站起，則從攝像機(jī)發(fā)送有兩 人站起信息給主攝像機(jī)，主攝像機(jī)收到有兩人站起信息時(shí)，恢復(fù)全景錄制；如果此后有一人 坐下，主攝像機(jī)當(dāng)前幀與上述步驟3記錄下的那一幀圖像做背景差分法，得到仍然站起的 那個(gè)人的輪廓中心點(diǎn)坐標(biāo)和面積，然后根據(jù)坐標(biāo)和面積驅(qū)動(dòng)主攝像機(jī)完成轉(zhuǎn)動(dòng)和放大；若 所有人都坐下，主攝像機(jī)恢復(fù)全景錄制。
7. 根據(jù)權(quán)利要求1所述的一種基于主從攝像機(jī)的學(xué)生跟蹤定位方法，其特征在于：步 驟5所述的兩人站起，坐下一人后將當(dāng)前幀進(jìn)行高斯濾波后與步驟3保存的B(x，y)進(jìn)行差 分，差分后二值化閾值選取為50,二值化后的圖進(jìn)行腐蝕膨脹開運(yùn)算，最后提取輪廓，得到 輪廓外接矩形，選取外接矩形中心點(diǎn)坐標(biāo)最高的為站起學(xué)生，提取中心點(diǎn)坐標(biāo)和面積，進(jìn)一 步轉(zhuǎn)化為轉(zhuǎn)動(dòng)角度和縮放倍數(shù)，驅(qū)動(dòng)主攝像機(jī)對(duì)仍然站著的目標(biāo)進(jìn)行定位。
8. 根據(jù)權(quán)利要求1所述的一種基于主從攝像機(jī)的學(xué)生跟蹤定位方法，其特征在于，所 述方法包括：采用兩個(gè)從攝像機(jī)，即：輔助攝像機(jī)，配合一個(gè)主攝像機(jī)工作，使用視頻采集 卡同時(shí)采集三路視頻信號(hào)，利用多線程編程技術(shù)同時(shí)對(duì)三路視頻信號(hào)進(jìn)行處理；從攝像機(jī) 安裝在教室黑板兩端與學(xué)生齊平處，使用幀間差分法生成學(xué)生坐下的頭頂以上區(qū)域?yàn)楦信d 趣區(qū)域，采用運(yùn)動(dòng)目標(biāo)檢測(cè)與目標(biāo)分割合并技術(shù)檢測(cè)出站起學(xué)生；主攝像機(jī)安裝在黑板中 間的頂端，它根據(jù)從攝像機(jī)向其傳遞的學(xué)生站起的人數(shù)，來尋找站起學(xué)生并跟蹤；主攝像機(jī) 使用幀間差分法檢測(cè)到所有運(yùn)動(dòng)目標(biāo)，選取其中輪廓頂點(diǎn)最高的判定為站起的學(xué)生，提取 該輪廓的坐標(biāo)和面積，并轉(zhuǎn)換為攝像機(jī)轉(zhuǎn)動(dòng)角度和放大倍數(shù)，然后驅(qū)動(dòng)主攝像機(jī)轉(zhuǎn)向該站 起學(xué)生，并且選擇合適的放大倍數(shù)。
【專利摘要】本發(fā)明公開了一種基于主從攝像機(jī)的學(xué)生跟蹤定位方法，該方法不影響課堂的正常教學(xué)，對(duì)光線等外界環(huán)境的變化適應(yīng)性較強(qiáng)，并且能夠處理有兩名學(xué)生站起的情況。該方法使用兩個(gè)從攝像機(jī)和一個(gè)帶云臺(tái)裝置的主攝像機(jī)。從攝像機(jī)可自動(dòng)或手動(dòng)生成感興趣區(qū)域，使用背景差分法檢測(cè)有無學(xué)生進(jìn)入或離開感興趣區(qū)域，且向主攝像機(jī)發(fā)送檢測(cè)結(jié)果；主攝像機(jī)根據(jù)從攝像機(jī)傳遞過來的信息判斷站起的學(xué)生數(shù)目，并根據(jù)站起的學(xué)生數(shù)目選擇全景錄制模式或定位錄制模式，其中定位錄制模式中使用幀間差分法檢測(cè)所有運(yùn)動(dòng)目標(biāo)的輪廓，判斷輪廓中心點(diǎn)最高的目標(biāo)為站起的學(xué)生，并根據(jù)其坐標(biāo)和面積驅(qū)動(dòng)主攝像機(jī)完成轉(zhuǎn)動(dòng)和縮放，實(shí)現(xiàn)對(duì)學(xué)生的定位。
【IPC分類】H04N7-18, G06T7-20, G06T7-00
【公開號(hào)】CN104574359
【申請(qǐng)?zhí)枴緾N201410610741
【發(fā)明人】唐貴進(jìn), 朱秀昌, 趙以國(guó), 劉小花, 崔子冠, 劉峰
【申請(qǐng)人】南京郵電大學(xué), 南京恒新天朗電子科技有限公司
【公開日】2015年4月29日
【申請(qǐng)日】2014年11月3日