一種基于主從攝像機的學生跟蹤定位方法
【技術領域】
[0001] 本發(fā)明涉及一種在課堂錄播系統(tǒng)中基于主從攝像機的學生跟蹤定位方法，屬于圖 像處理技術領域。
【背景技術】
[0002] 智能錄播系統(tǒng)的出現(xiàn)對于傳統(tǒng)的課堂教學錄像是一種革命性的變革，很好地解決 了人工拍攝的復雜性和對課堂教學的干擾問題。智能錄播系統(tǒng)必須對師生進行準確定位后 拍攝，其中，學生的跟蹤定位和教師的跟蹤定位相比較，具有目標眾多、拍攝范圍大、易受干 擾、攝像機縮放倍數(shù)確定難等問題。目前，在智能錄播系統(tǒng)中使用比較廣泛的學生跟蹤定位 技術有紅外定位、超聲波定位和手動控制定位。
[0003] 在紅外定位和超聲波定位中，學生在站起發(fā)言時按下話筒開關，話筒發(fā)射紅外線 或者超聲波，學生錄制攝像機接受到信號后，對目標進行準確定位。但是在此技術中，紅外 線和超聲波很容易受到光線和噪聲等外界干擾，但學生若攜帶無線發(fā)射裝置，會影響真實 上課效果，而且還會經(jīng)常出現(xiàn)話筒開關忘記關或者學生好奇不斷地隨意按動開關等問題。 手動控制定位需要工作人員不斷地控制操作或者切換鏡頭來實現(xiàn)，但是需要配備較多的錄 制人員，而且工作人員需要有熟練的操作技能。
[0004] 目前，中國的吳建家、陳宗讓等人已經(jīng)開始研宄基于圖像定位技術的解決方法，但 是基于該技術的跟蹤系統(tǒng)往往較復雜，而且設備成本較高，同時，還存在新算法更新困難等 問題。而本發(fā)明能夠很好地解決上面的問題。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明目的在于解決了現(xiàn)有學生跟蹤定位技術設備成本高、易受環(huán)境干擾、影響 真實上課效果等問題，提供了一種基于主從攝像機的學生跟蹤定位方法，該方法不但能夠 準確地對學生進行跟蹤定位，而且在學生不攜帶任何設備時，也能夠最大限度地還原上課 的真實效果，同時本發(fā)明能夠克服光線等外界環(huán)境噪聲的影響，以及能夠?qū)τ袃擅麑W生站 起的情況進行處理。
[0006] 本發(fā)明解決其技術問題所采用的技術方案是：一種基于主從攝像機的學生跟蹤定 位方法，該方法是采用兩個從攝像機（即：輔助攝像機）配合一個主攝像機工作，使用視頻 采集卡同時采集三路視頻信號，利用多線程編程技術同時對三路視頻信號進行處理。從攝 像機安裝在教室黑板兩端與學生齊平處，使用幀間差分法生成學生坐下的頭頂以上區(qū)域為 感興趣區(qū)域，采用運動目標檢測與目標分割合并技術檢測出站起學生。主攝像機安裝在黑 板中間的頂端，它根據(jù)從攝像機向其傳遞的學生站起的人數(shù)，來尋找站起學生并跟蹤，該方 法解決了當主攝像機聚焦于第一個站起學生而無法檢測到其他學生站起的情況。主攝像機 使用幀間差分法檢測到所有運動目標，選取其中輪廓頂點最高的判定為站起的學生，提取 該輪廓的坐標和面積，并轉(zhuǎn)換為攝像機轉(zhuǎn)動角度和放大倍數(shù)，然后驅(qū)動主攝像機轉(zhuǎn)向該站 起學生，并且選擇合適的放大倍數(shù)。
[0007] 方法流程：
[0008] 步驟1:兩個從攝像機安裝在黑板兩側，安裝高度為學生坐下后與頭頂齊平處，從 攝像機在上課前三秒自動對視頻序列做幀間差訓練，以得到輪廓最高點上方20像素以上 至畫面最高頂部分，并設其為感興趣區(qū)域。同時，為了防止中小學課堂中，學生年紀小可能 出現(xiàn)突然站起或者舉手等情況，所以該方法的從攝像機也支持人工設定感興趣區(qū)域，可以 通過鼠標或者界面設定合適的區(qū)域。
[0009] 步驟2 :從攝像機采用背景差分法檢測感興趣區(qū)域有無目標入侵。若有目標入侵， 則通知主攝像機有人站起。從攝像機背景的更新采用每隔300幀取一幀沒有入侵的圖像作 為背景，并且當背景區(qū)域60%以上的像素點值改變超過50時，則判定為環(huán)境發(fā)生突然變化 (如開、關燈等），此時選取變化后的第一幀為背景幀。
[0010] 步驟3 :安裝在黑板中間頂端的主攝像機初始化為全景錄制模式，并且每隔300幀 選取一幀記錄下來。當收到有人站起的通知，采用幀間差分法檢測出所有運動目標的輪廓， 選取其中輪廓中心點最高的目標為站起學生。提取輪廓中心點坐標和面積，然后將坐標轉(zhuǎn) 換為主攝像機需要轉(zhuǎn)動的角度，面積轉(zhuǎn)換為主攝像機需要放大的倍數(shù)，并驅(qū)動主攝像機完 成相應的動作，從而完成對目標的正確定位。
[0011] 步驟4 :若過一段時間后，站起來的人坐下，則從攝像機發(fā)送無人站起信息給主攝 像機，主攝像機恢復全景錄制。
[0012] 若在一人站起的情形下，又有一人站起，則從攝像機發(fā)送有兩人站起信息給主攝 像機，主攝像機收到有兩人站起信息時，恢復全景錄制。如果此后有一人坐下，主攝像機當 前幀與上述步驟3記錄下的那一幀圖像做背景差分法，得到仍然站起的那個人的輪廓中心 點坐標和面積，然后根據(jù)坐標和面積驅(qū)動主攝像機完成轉(zhuǎn)動和放大。若所有人都坐下，主攝 像機恢復全景錄制。
[0013] 有益效果：
[0014] 1、本發(fā)明不需人員操作，完全智能錄制；學生不用攜帶任何設備，還原上課真實效 果。
[0015] 2、本發(fā)明對光線等外界環(huán)境影響的魯棒性好，并且能夠處理教室中同時有兩名學 生站起回答問題的情況。
【附圖說明】
[0016] 圖1為本發(fā)明的方法流程圖。
[0017] 圖2為運動目標檢測流程圖。
[0018] 圖3為從攝像機生成感興趣區(qū)域示意圖。
[0019] 圖3a為從攝像機拍攝畫面，綠線以上為感興趣區(qū)域示意圖。
[0020] 圖3b為截取下的感興趣區(qū)域示意圖。
[0021] 圖4為單人站起過程示意圖。
[0022] 圖4a為有一人站起不意圖。
[0023] 圖4b分割出站起學生示意圖。
[0024] 圖4c主攝像機對站立的學生定位示意圖。
[0025] 圖5為兩人站起過程示意圖。
[0026] 圖5a有一人站起主攝像機對其定位示意圖。
[0027] 圖5b兩人站起主攝像機恢復全景錄制示意圖。
[0028] 圖5c有一人坐下后主攝像機對仍站著的學生定位示意圖。
[0029] 圖5d兩人都坐下后主攝像機恢復全景錄制示意圖。
【具體實施方式】
[0030] 以下結合說明書附圖對本發(fā)明創(chuàng)造作進一步的詳細說明。
[0031] 如圖1-圖5d所示，本發(fā)明中兩個從攝像機為普通的半球形攝像頭，工作時無需轉(zhuǎn) 動和變焦，主攝像機為帶有云臺的可以上、下、左、右轉(zhuǎn)動并且可以進行縮放的攝像機，所使 用的視頻采集卡必須能夠支持同時采集三路以上的視頻信號。通過視頻采集卡，將采集得 到的三路視頻信號運用多線程編程技術進行同時處理。下面為系統(tǒng)工作步驟：
[0032] 步驟1 :兩個從攝像機安裝在黑板兩側與學生齊平處的從攝像機在上課前三秒自 動對視頻序列做幀間差訓練，以得到輪廓最高點上方20像素以上至畫面最高頂部分，并設 為感興趣區(qū)域，如圖3a和3b所示。同時，為了防止中小學課堂中，學生年紀小可能出現(xiàn)突 然站起或者舉手等情況，所以該方法也支持人工設定感興趣區(qū)域的方法，可以通過鼠標或 者界面設定合適的區(qū)域。
[0033] 步驟2:從攝像機生成的感興趣區(qū)域只有學生站起時才能進入，所以從攝像機只 需監(jiān)控此區(qū)域有無目標入侵即可。從攝像機采用背景差分法檢測有無目標入侵，背景的更 新采用每隔300幀取一幀沒有入侵的圖像作為背景，同時當背景區(qū)域60%以上的像素點的 值改變超過50時，則判定環(huán)境發(fā)生突然變化（如開、關燈等），此時選取變化后的第一幀為 背景幀。從攝像機需要向主攝像機精確的傳遞站起學生人數(shù)，因為采用兩個從攝像機，所 以監(jiān)控的感興趣區(qū)域會發(fā)生重疊，此時如果有人在重疊區(qū)域站起，則兩個從攝像機都會判 定有人站起，從而主攝像機誤判為有兩人站起。本發(fā)明采用如果一個從攝像機判定有人站 起后的10幀之內(nèi)另一個從攝像機也判定有人站起，則判定是同一人，