專利名稱：仿生型自動視覺和視線控制系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明所涉及一種仿生型自動視覺和視線控制系統(tǒng)及方法，是和人的雙眼的功能相似的，可以進行目標(biāo)定位、視線跟蹤、和補償因自身運動所引起的視線偏離，特別是本系統(tǒng)可以確保同時定位和跟蹤同一目標(biāo)，易于精確測量目標(biāo)的位置和距離。
背景技術(shù)：
現(xiàn)有技術(shù)的自動監(jiān)視系統(tǒng)的目標(biāo)定位方法，一般是采用視覺反饋控制一種方法，使目標(biāo)定位的速度受到一定限制，特別是自身運動時的快速定位和高精確度的跟蹤難以解決。又因為定位和跟蹤用的是同一臺攝像機，所以視線的跟蹤控制不可能有高的精度。補償攝像機自身運動的方法只是通過圖像處理進行微小移動的調(diào)節(jié)，類似于應(yīng)用攝像機的防手顫動的處理，因此可補償?shù)姆秶^小。特別是當(dāng)使用兩臺以上攝像機時，各攝像機之間是相對固定的，或是各自單獨控制的，無法確保每臺攝像機定位或跟蹤同一目標(biāo)。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種仿生型的自動視覺和視線控制系統(tǒng)及方法，其利用了人的雙眼的神經(jīng)系統(tǒng)的控制原理，能快速進行目標(biāo)定位、高精度地進行視線跟蹤，大范圍地補償因自身運動所引起的視線偏離，能確保兩個攝像機給定位和跟蹤同一個目標(biāo)。
本發(fā)明通過下述技術(shù)方案予以實現(xiàn)本系統(tǒng)的基本結(jié)構(gòu)為由中央控制器控制的雙眼結(jié)構(gòu)，每只眼為一個攝像機組，所述攝像機組由兩臺攝像機頭并排設(shè)置而成。一臺是裝有廣角鏡頭的攝像機頭(以下簡稱“廣角機”)，相當(dāng)于人眼睛，另一臺是裝有可自動變焦的望遠鏡頭的攝像機頭(以下簡稱“望遠機”)，相當(dāng)于人眼視網(wǎng)膜的中心窩。每只眼睛由兩臺電動機帶動，可上下左右旋轉(zhuǎn)。當(dāng)廣角機的視野里出現(xiàn)“感興趣”的物體時兩眼便迅速轉(zhuǎn)動(對應(yīng)人眼的“急動性眼球運動”)，把視線對準(zhǔn)該物體，使該物體成為廣角機視野的中心。所述的“感興趣”的物體可根據(jù)客戶要求而定，如視野中運動速度最快的物體、特定顏色的物體、特定形狀的物體、通過鍵盤或熒屏等外部接口指定的物體等等。把廣角機和望遠機并排貼近設(shè)置，當(dāng)物體成為廣角機視野中心時，該物體也就自然地進入了望遠機視野，從而，通過望遠機便得到了清晰圖像。然后在望遠機視野中找到特征點并使視線(視野中心)對準(zhǔn)該點(稱“注視”)。當(dāng)該特征點運動時，視線便自動跟蹤該點(對應(yīng)人眼的“平滑性眼球運動”)。當(dāng)廣角鏡中出現(xiàn)了其他“感興趣”的物體時，再按上述步驟注視新的物體。另外，當(dāng)需要把該系統(tǒng)裝到運動體上時，可裝上一對3自由度的轉(zhuǎn)角加速度傳感器和一對3自由度的平移加速度傳感器，測出頭部(相對固定于兩眼旋轉(zhuǎn)中心的基盤)的運動信號，該信號直接被用于眼球的前饋運動控制，使得該視覺系統(tǒng)具備了補償由自身運動引起的視線偏離的能力(對應(yīng)于人眼的“前庭動眼反射”)。
1.廣角機采用“急動性反射控制曲線”來進行前饋控制，因而可達到伺服電機所可能達到的最快速度的定位；先快速定位然后跟蹤，快速定位的信號來自于廣角機，跟蹤的信號來自于望遠機。2.再通過加速度信號的前饋控制，調(diào)節(jié)攝像機位置，來補償“頭部”的運動。3.我們也利用視覺反饋控制。使我們的系統(tǒng)補償自身運動引起視偏移的范圍大，定位速度快、精度高。確保兩眼(兩個攝像機組)緊緊地盯住同一目標(biāo)。
采用以上技術(shù)方案，本自動視覺和視線控制系統(tǒng)用于監(jiān)視系統(tǒng)時，能自動對在場者依次進行高清晰度的拍攝，實時記錄每個在場者的行蹤，自動發(fā)出各種級別的警報，并且能補償自身振動。該系統(tǒng)可用于各種固定場所的室內(nèi)外監(jiān)視、或進行近距離的低空監(jiān)視，作為雷達的補充。該系統(tǒng)還可用于各種運動裝置及設(shè)備上，如汽車、火車、飛機、輪船及軍事裝備。使得對被視線跟蹤的人或物進行快速和高精度的打擊變得很容易實現(xiàn)，這個控制原理，還適用于制作各種機器人的眼睛。


圖1是兩眼視線運動控制系統(tǒng)的構(gòu)成；圖2是兩眼視線運動系統(tǒng)的坐標(biāo)系；
圖3是兩眼左右運動控制系統(tǒng)方框圖；圖4是兩眼上下運動控制系統(tǒng)方框圖。
具體實施例方式兩眼視線運動控制系統(tǒng)如圖1所示，每只眼睛由兩臺攝像機組成，一臺裝有廣角鏡頭，另一臺裝有望遠鏡頭，兩攝像機頭平行放置，越近越好。該視覺裝置的運動系統(tǒng)共有5個自由度，每只眼睛有2個自由度(必要時可增加一臺電動機，達到3個自由度，即繞視軸旋轉(zhuǎn)的自由度)，頭頸部1個自由度(根據(jù)需要，可增至3個)。
基盤19相對固定于兩個攝像機組10的旋轉(zhuǎn)中心。電動機控制回路為由中央處理器18發(fā)出數(shù)字信號輸入到D/A變換器15，在D/A變換器15進行數(shù)模轉(zhuǎn)換后，將模擬信號輸入到電動機驅(qū)動器13，由電動機驅(qū)動器13驅(qū)動電動機20、1、2、3、4，而相應(yīng)的設(shè)置于電動機上的轉(zhuǎn)角傳感器分別將電動機20、1、2、3、4的轉(zhuǎn)角信號輸入計數(shù)器，再由計數(shù)器回傳給中央處理器18。
各攝像機10的圖像經(jīng)圖像及聲音處理卡17送入中央處理器18，通過圖像處理，算出對象物體相對于各個攝像機組10的速度和誤差。
轉(zhuǎn)角及平移加速度器11測出頭部轉(zhuǎn)動及平移運動產(chǎn)生的信號，通過A/D變換卡輸入到中央處理器18。
頭部兩側(cè)麥克風(fēng)12的聲音經(jīng)圖像及聲音處理卡17送入中央處理器18。系統(tǒng)的坐標(biāo)如圖2所示，其中xA-l-yA-l-zA-l和xA-r-yA-r-zA-r為固定于左右加速度傳感器的坐標(biāo)；xE-l-yE-l-zE-l和xE-r-yE-r-zE-r為固定于左右眼球的坐標(biāo)；xO-l-yO-l-zO-l和xO-r-yO-r-zO-r為固定于左右眼窩的坐標(biāo)，即原點與固定于左右眼球的坐標(biāo)相同，但相對與頭部固定。θ1，θ2表示電動機1，2，的轉(zhuǎn)角，即坐標(biāo)xE-1-yE-l-zE-l和xE-r-yE-r-zE-r分別圍繞zO-l和zO-r的旋轉(zhuǎn)角。θ3，θ4表示電動機3，4的轉(zhuǎn)角，即坐標(biāo)xE-l-yE-l-zE-l和xE-r-yE-r-zE-r分別圍繞yO-l和yO-r的旋轉(zhuǎn)角。1，2表示目標(biāo)圍繞左右眼窩固定坐標(biāo)的zO-l和zO-r軸的轉(zhuǎn)角；3，4表示目標(biāo)圍繞左右眼窩固定坐標(biāo)的yO-l和yO-r軸的轉(zhuǎn)角。圖中的坐標(biāo)均為左右對稱，即電動機1、2和電動機3、4的旋轉(zhuǎn)方向相反。
兩眼的左右運動控制系統(tǒng)方框圖如圖3所示，t-l，t-r表示通過左右眼的望遠機測出的目標(biāo)與視線的橫向誤差，w-l，w-r表示通過左右眼的廣角機測出的目標(biāo)與視線的橫向誤差。t-l，t-r和w-l，w-r都對應(yīng)于1-θ1，2-θ2只是所用攝像機不同(見圖2)。 和 分別為左右加速度傳感器測出的加速度和角加速度(見圖2)。圖3中除廣角機測出的w-l，w-r的信號回路以外的控制系統(tǒng)的傳遞函數(shù)可表示如下θ1(s)+θ2(s)=Tvm(ρ-ρr)1+Tvm(ρ-ρr)(σ-σr)+Tvm(1+(ρ-ρr)(η-ηr))s]]>×[-(κx-κxr)TvTvs+1(x··A-l(s)+x··A-r(s))-(κy-κyr)TTvs+1(y··A-l(s)+y··A-r(s))]]> θ1(s)-θ2(s)=Tvm(ρ+ρr)1+Tvm(ρ+ρr)(σ+σr)+Tvm(1+(ρ+ρr)(η+ηr))s]]>×[-(κx+κxr)TvTvs+1(x··v-l(s)-x··v-r(s))-(κy+κyr)TTvs+1(y··v-l(s)-y··v-r(s))]]> 其中，Tvm，Tv，Ts為時間定數(shù)，ρ，ρr，σ，σr，η，ηr，κx，κxr，κy，κyr，κ，κr等全是正參數(shù)。 表示通過左右眼的望遠機測出的目標(biāo)相對與視線的速度。式(1)為轉(zhuǎn)眼運動(vergence)的方程式，式(2)為共軛運動(conjugate)的方程式，通過式(1)+式(2)和式(1)-式(2)可得出每個電動機的轉(zhuǎn)角。從式(1)，式(2)可以看出，共軛運動的應(yīng)答速度(即，時定數(shù)Tvm[1+(ρ-ρr)(η-ηr)]/[1+Tvm(ρ-ρr)(σ-σr)])大于轉(zhuǎn)眼運動的應(yīng)答速度(時定數(shù)Tvm[1+(ρ+ρr)(η+ηr)]/[1+Tvm(ρ+ρr)(σ+σr)])。這項特性是確保兩眼同時注視同一目標(biāo)的關(guān)鍵。
廣角機測出的信號w-l，w-r用來選擇最佳“沖動性反射”控制曲線，再由此曲線控制電機快速旋轉(zhuǎn)，達到?jīng)_動性眼球運動的效果。當(dāng)進行“沖動性反射”控制時，望遠機來的控制信號要切除。
“急動性反射”控制曲線的生成是根據(jù)線性傅立葉變換法得到。設(shè)，把視線從現(xiàn)在位置轉(zhuǎn)向目標(biāo)位置需要時間T，則控制曲線f(t)可近似由m條周期為T，T/2，T/3，…T/m的正弦和余弦曲線組和而成。即，
f(t)=a02+Σn=1m(ancos2nπTt+bnsin2nπTt)]]>其中，a0，an，bn利用反復(fù)學(xué)習(xí)式傅立葉反變換法把控制誤差進行反變換求得。
即，an[i+1]=an[i]+ka4T∫0T(R(t)-iθ(t))cos2nπTtdt----(n=0,1,2,3,···m)]]>bn[i+1]=bn[i]+kb4T∫0T(R(t)-iθ(t))sin2nπTtdt----(n=0,1,2,3,···m)]]>其中i是學(xué)習(xí)次數(shù)，R(t)是由廣角機測出的誤差換算出的電動機的最佳軌跡，i(t)是第i次學(xué)習(xí)時的電動機的轉(zhuǎn)角。電動機1，2用同樣方法同時進行學(xué)習(xí)。這樣，每條曲線只需要2m(一般，m＜10)個參數(shù)即可實現(xiàn)和保存。因每只“眼”有數(shù)十萬條“沖動性反射”控制曲線，這種方法可節(jié)省大量存儲器容量，便于快速調(diào)出。
兩眼的上下運動控制系統(tǒng)方框圖如圖4所示，ψt-l，ψt-r表示通過左右眼的望遠機測出的目標(biāo)與視線的縱向誤差，ψw-l，ψw-r表示通過左右眼的廣角機測出的目標(biāo)與視線的縱向誤差。 和 分別為左右加速度傳感器測出的加速度和角加速度(見圖2)。圖4和圖3的控制原理完全相同。只是上下運動時的轉(zhuǎn)眼運動在生理學(xué)領(lǐng)域里尚未發(fā)現(xiàn)，因此，設(shè)ρ＝ρr即控制時θ3將與θ4相同。
圖3和圖4中 和 和 和 和 分別為左右加速度傳感器測出的加速度和角加速度信號(二種傳感器統(tǒng)稱為轉(zhuǎn)角及平移加速度器11)。這對加速度傳感器測出的頭部運動信號，直接被用于眼球的前饋運動控制，相當(dāng)于前庭動眼反射，使該視覺系統(tǒng)具備補償自身振動的能力。該控制系統(tǒng)不直接使用平移加速度和旋轉(zhuǎn)加速度信號，而是把這些信號漏積分處理(T/(Ts+1))后使用。
若該自動視覺和視線控制系統(tǒng)用于監(jiān)視并裝在某空間很大的室內(nèi)，天花板或視野開闊處可增加一只固定式的天眼，即一臺帶超廣角鏡頭的攝象機頭(俗稱“魚眼”)，可把監(jiān)視范圍內(nèi)的所有運動物體的運動過程全部記錄下來，并把感興趣的物體傳給兩眼視線控制系統(tǒng)。
該監(jiān)視系統(tǒng)還可裝入麥克風(fēng)，對現(xiàn)場的聲音進行處理和定位。
本自動視覺和視線控制系統(tǒng)，基本件是一對眼睛(即兩組攝像機)，裝在何處可具體設(shè)計，也可裝二對或多對眼睛，每只眼可增加任意組攝像范圍或望遠能力不同的攝像機。在多對眼睛的情況下，中央處理器最優(yōu)先處理的一對眼精稱主眼。可實現(xiàn)每對眼精同時定位和跟蹤同一目標(biāo)，而各對眼同時監(jiān)視各不同的目標(biāo)(相當(dāng)于每個人某一時刻只能盯住一個物體，而幾個人便可同時盯住幾個物體)。
權(quán)利要求
1.一種仿生型自動視覺和視線控制系統(tǒng)，包括中央處理器(18)、攝像機組(10)、電動機、傳感器，其特征在于，所述攝像機組(10)有兩個，每個攝像機組(10)至少包括兩臺并排設(shè)置的攝像機，所述攝像機一臺為廣角機，另一臺為望遠機，所述的廣角機及望遠機均分別由兩臺電動機帶動，可作兩個自由度方向的旋轉(zhuǎn)。
2.根據(jù)權(quán)利要求1所述的仿生型自動視覺和視線控制系統(tǒng)，其特征在于，所述的每個攝像機組(10)可再增加一臺可使廣角機及望遠機作第三自由度旋轉(zhuǎn)的電動機，所述的第三自由度為繞兩個攝像機組的中軸線轉(zhuǎn)動的自由度。
3.根據(jù)權(quán)利要求1或2所述的仿生型自動視覺和視線控制系統(tǒng)，其特征在于，所述的兩個攝像機組(10)的旋轉(zhuǎn)中心固定一基盤(19)，所述基盤(19)的兩側(cè)裝有可以測量基盤旋轉(zhuǎn)運動及平移運動的轉(zhuǎn)角及平移加速度傳感器(11)。
4.根據(jù)權(quán)利要求1或2所述的仿生型自動視覺和視線控制系統(tǒng)，其特征在于，所述每臺電動機都設(shè)有可用于測量電動機的轉(zhuǎn)角的轉(zhuǎn)角傳感器。
5.根據(jù)權(quán)利要求1或2所述的仿生型自動視覺和視線控制系統(tǒng)，其特征在于，還設(shè)有與計算機相連的圖像及聲音處理卡(17)，及一與所述的圖像及聲音處理卡(17)相連的麥克風(fēng)(12)。
6.根據(jù)權(quán)利要求1或2所述的仿生型自動視覺和視線控制系統(tǒng)，其特征在于，每個攝像機組還可增加若干臺攝像范圍或望遠能力不同的攝像機。
7.根據(jù)權(quán)利要求1或2所述的仿生型自動視覺和視線控制系統(tǒng)，其特征在于，還包括至少一臺與計算機相聯(lián)的帶超廣角鏡頭的固定安裝于天花板的中心或高處的攝像機頭。
8.一種仿生型自動視覺和視線控制方法，其特征在于，包括如下步驟1)、當(dāng)廣角機的視野里出現(xiàn)“感興趣”的物體時兩個攝像機組便迅速轉(zhuǎn)動，把視線對準(zhǔn)該物體，使該物體成為廣角機視野的中心。2)、由于廣角機與望遠機并排貼近設(shè)置，當(dāng)物體成為廣角機視野中心時該物體就自然進入望遠機視野，從而，通過望遠機便得到了清晰圖像。3)、然后在望遠機視野中找到特征點并使視野中心對準(zhǔn)該點。4)、當(dāng)該特征點運動時，視線便自動跟蹤該點。5)、當(dāng)廣角機中出現(xiàn)其他“感興趣”的物體時，再按上述步驟注視新的物體。
9.根據(jù)權(quán)利要求8所述的仿生型自動視覺和視線控制方法，其特征在于，所述的兩個攝像機組的對應(yīng)電動機的控制系統(tǒng)傳遞函數(shù)可表示為θ1(s)+θ2(s)=Tvm(ρ-ρr)1+Tvm(ρ-ρr)(σ-σr)+Tvm(1+(ρ-ρr)(η-ηr))s]]>×[-(κx-κxr)TvTvs+1(x··A-l(s)+x··A-r(s))-(κy-κyr)TTvs+1(y··A-l(s)+y··A-r(s))]]> θ1(s)-θ2(s)=Tvm(ρ+ρr)1+Tvm(ρ+ρr)(σ+σr)+Tvm(1+(ρ+ρr)(η+ηr))s]]>×[-(κx+κxr)TvTvs+1(x··v-l(s)-x··v-r(s))-(κy+κyr)TTvs+1(y··v-l(s)-y··v-r(s))]]> 其中t-l，t-r表示經(jīng)左右眼中望遠機測出的目標(biāo)與視線的橫向誤差角度， 和 分別為左右加速度傳感器測出的加速度和角加速度，Tvm，Tv，Ts為時定數(shù)，ρ，ρr，σ，σr，η，ηr，κx，κxr，κy，κyr，κ，κr等為正參數(shù)， 表示經(jīng)左右眼中望遠機測出的目標(biāo)相對于視線的速度，第一式為轉(zhuǎn)眼運動的方程式，第二式為共軛運動的方程式，通過第一式加第二式和第一式減第二式可得出每個電動機的轉(zhuǎn)角。
10.根據(jù)權(quán)利要求8所述的仿生型自動視覺和視線控制方法，其特征在于，所述廣角機的運動控制曲線f(t)是根據(jù)線性傅立葉變換法得到，可表示為f(t)=a02+Σn=1m(ancos2nπTt+bnsin2nπTt)]]>其中，a0，an，bn利用反復(fù)學(xué)習(xí)式傅立葉反變換法把控制誤差進行反變換求得，即，an[i+1]=an[i]+ka4T∫0T(R(t)-iθ(t))cos2nπTtdt----(n=0,1,2,3,···m)]]>bn[i+1]=bn[i]+kb4T∫0T(R(t)-iθ(t))sin2nπTtdt----(n=0,1,2,3,···m)]]>其中T為把視線從現(xiàn)在位置轉(zhuǎn)向目標(biāo)位置所需要的時間，i是學(xué)習(xí)次數(shù)，R(t)是根據(jù)廣角機測出的誤差換算成電動機的最佳軌跡，iθ(t)是第i次學(xué)習(xí)時的電動機轉(zhuǎn)角。
11.根據(jù)權(quán)利要求8所述的仿生型自動視覺和視線控制方法，其特征在于，該方法還包括步驟6)所述的平移加速度器及轉(zhuǎn)角加速度器將測到的信號輸入計算機，所述信號漏積分處理后用于調(diào)節(jié)攝像機位置以補償基盤的振動或移動，所述的漏積分處理為信號通過傳遞函數(shù)T/(Ts+1))后使用。
12.根據(jù)權(quán)利要求9所述的仿生型自動視覺和視線控制方法，其特征在于，共軛運動的應(yīng)答速度大于轉(zhuǎn)角運動的應(yīng)答速度。
13.根據(jù)權(quán)利要求8所述的仿生型自動視覺和視線控制方法，其特征在于，各個攝像機組利用信號交叉反饋的原理同時定位和跟蹤同一目標(biāo)。
全文摘要
本發(fā)明公開了一種仿生型自動視覺及視線控制系統(tǒng)及方法，它包括兩個攝像機組(10)，每個攝像機組由一臺廣角機和一臺望遠機并排設(shè)置組成，每臺廣角機或望遠機由兩臺或三臺電動機帶動，可作兩個或三個自由度的轉(zhuǎn)動。這種系統(tǒng)能進行快速目標(biāo)定位、高精度視線跟蹤和具有大范圍補償因自身運動所引起的視線偏離的能力。特別是該系統(tǒng)可以確保兩個攝像機組同時定位和跟蹤同一目標(biāo)。該系統(tǒng)不僅可用于各種固定場所的監(jiān)視、防衛(wèi)及看護，也適用于安裝在各種運動體上，如車輛、飛機、輪船及軍事設(shè)備上等，還可用于制作各種機器人的眼睛。
文檔編號H04N7/18GK1492668SQ0213757
公開日2004年4月28日 申請日期2002年10月22日 優(yōu)先權(quán)日2002年10月22日
發(fā)明者張曉林, 張光榮 申請人:上海雷科電子系統(tǒng)有限責(zé)任公司