專(zhuān)利名稱(chēng):全視場(chǎng)成像與顯示方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種成像與顯示方法與裝置,尤其是光學(xué)成像并顯示方法與裝置。
背景技術(shù):
現(xiàn)有全視場(chǎng)成像和顯示技術(shù)如下述追述到的最早的利用鏡面反射技術(shù)改變成像系統(tǒng)視場(chǎng)的發(fā)明是由Alexander Wolcott提出的(專(zhuān)利US 1,582,1840)。Wolcott用了一只具有圓柱形狀的凹面反射鏡扭曲了視場(chǎng)。其后165年,有眾多的利用鏡面反射技術(shù)改變成像系統(tǒng)視場(chǎng)的發(fā)明被提出,比如美國(guó)專(zhuān)利US 994935,(Louis Henry Kleinschmidt,1909),美國(guó)專(zhuān)利US 6,304,285,(Zheng Jason Geng,1998).
比較具有代表性的實(shí)用性系統(tǒng)是Zheng Jason Geng于1998年(US 6,304,285)提出的利用普通攝像機(jī)鏡頭加上雙曲線(xiàn)形反射鏡構(gòu)成的具有半球形視角的全視場(chǎng)成像系統(tǒng),和Shree Nayar于1997年(US 6,118,474)提出的利用特殊望遠(yuǎn)鏡頭加拋物面反射鏡構(gòu)成的具有半球形視角的全視場(chǎng)成像系統(tǒng)。另外,Pal Greguss于1985年(US 4,566,763)提出的PAL鏡,將反射鏡與折射鏡相結(jié)合,可以得到360度環(huán)帶形視場(chǎng),也很有特色。
全視場(chǎng)成像和顯示技術(shù)一直受到廣泛重視.但當(dāng)前現(xiàn)有的技術(shù)和專(zhuān)利無(wú)法滿(mǎn)足市場(chǎng)的要求.這些現(xiàn)有技術(shù)的不足是(1)只能將半球形或360度環(huán)帶形全視場(chǎng)的圖像映射到矩形成像元件(CCD,CMOS等)的中心部分,形成一個(gè)圓形有效成像面。以長(zhǎng)寬比4∶3的CCD/CMOS元件為例,整個(gè)矩形成像元件的面積是最大圓形有效成像面的1.7倍。因?yàn)閾p失了高達(dá)70%的象素,這些現(xiàn)有全視場(chǎng)成像技術(shù)所獲得的圖像清晰度較低(圖2)。
(2)由于獲取的圖像上只有一個(gè)圓形有效像面,空間視場(chǎng)被扭曲而不適合于用人眼直接觀看和解釋。需要另外用計(jì)算機(jī)系統(tǒng)將被扭曲的圖像“展開(kāi)”。這就使得現(xiàn)有全視場(chǎng)成像系統(tǒng)不能單獨(dú)工作,無(wú)法并入現(xiàn)有視頻監(jiān)控或圖像采集系統(tǒng)直接使用,而必須附帶計(jì)算機(jī)設(shè)備,大大地增加了系統(tǒng)的實(shí)際使用成本。
(3)即使在圓形有效成像面內(nèi),圖像分辨率也不均勻,往往在圓形有效成像面的邊緣區(qū)域圖像分辨率大大低于中心區(qū)域,使得展開(kāi)后的圖像分辨率難以保證。
發(fā)明內(nèi)容
本發(fā)明目的是提供一系列全視場(chǎng)成像與顯示的方法,以及實(shí)現(xiàn)這些方法的裝置系統(tǒng)和技術(shù).本發(fā)明所謂”全視場(chǎng)成像”,是指成像系統(tǒng)的視場(chǎng)涵蓋整個(gè)(或接近整個(gè))半球空間角(2p),或者整個(gè)(或接近整個(gè))360度環(huán)帶形視場(chǎng)范圍。整個(gè)半球形或360度環(huán)帶形視場(chǎng)范圍內(nèi)的所有景物均可被該成像系統(tǒng)所獲取。全視場(chǎng)成像系統(tǒng)無(wú)需采用任何運(yùn)動(dòng)部件。視場(chǎng)內(nèi)景物可被按設(shè)計(jì)的方式映射到成像元件(CCD,CMOS,或其它成像元件)的整個(gè)像面,無(wú)需額外的“展開(kāi)”軟件數(shù)字化處理。所謂”全視場(chǎng)顯示”,是指顯示系統(tǒng)的視場(chǎng)涵蓋整個(gè)(或接近整個(gè))半球空間角(2p),或者整個(gè)(或接近整個(gè))360度環(huán)帶形視場(chǎng)范圍。投影元件可以將圖像投射到整個(gè)半球形或360度環(huán)帶形屏幕上。
本發(fā)明的技術(shù)解決方案是全視場(chǎng)成像與顯示的方法,使用包括成像芯片、成像鏡頭的成像系統(tǒng),并設(shè)有涵蓋整個(gè)或接近整個(gè)半球空間角(2p),或者整個(gè)(或接近整個(gè))360度環(huán)帶形視場(chǎng)的反射鏡將成像反射到鏡頭;所述反射鏡有兩面曲面鏡構(gòu)成馬鞍狀,兩面曲面鏡相交形成一條隆脊;每面曲面鏡分別對(duì)應(yīng)反射半個(gè)半球空間角,或者半個(gè)360度環(huán)帶形視場(chǎng)。
每面曲面鏡的曲面具有這樣的表達(dá)局部曲面的法線(xiàn)方向和反射鏡表面點(diǎn)的位置確定出一個(gè)通過(guò)該點(diǎn)而又滿(mǎn)足映射關(guān)系,每一個(gè)曲面點(diǎn)的位置(x,y,z),通過(guò)確定出從芯片像面上的下一個(gè)象素穿過(guò)的“象素射線(xiàn)”,此射線(xiàn)與局部曲面相交的交點(diǎn)便是下一個(gè)滿(mǎn)足映射關(guān)系的局部曲面上的點(diǎn)(x,y,z);所有滿(mǎn)足映射關(guān)系的局部曲面上的點(diǎn),這些點(diǎn)的集合構(gòu)成了所求的全視場(chǎng)反射鏡的曲面。
兩面曲面鏡相交形成一條隆脊;讓360°環(huán)形場(chǎng)景映射到成像芯片上的兩個(gè)矩形長(zhǎng)條區(qū)域內(nèi),每一個(gè)長(zhǎng)條區(qū)域代表180°環(huán)形視場(chǎng),每面曲面鏡對(duì)應(yīng)將180°環(huán)形視場(chǎng)反射至一個(gè)矩形長(zhǎng)條區(qū)域。
成像元件的投影模型是透視模型或正交模型;透視模型,在成像芯片內(nèi)側(cè)的象素被映射到b角為正的環(huán)形視場(chǎng)的上沿,而在成像芯片外側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿。在沿x軸正方向最外邊的象素點(diǎn)被映射到a角為180°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a角為0°的環(huán)形視場(chǎng)處。
正交模型中,在成像芯片內(nèi)側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿,而在成像芯片外側(cè)的象素被映射到b角為正的環(huán)形視場(chǎng)的上沿。在沿x軸正方向最外邊的象素點(diǎn)被映射到a角為0°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a角為180°的環(huán)形視場(chǎng)處。我們提出的設(shè)計(jì)方法可以計(jì)算出適用于此情況的反射鏡曲面形狀。
在成像芯片內(nèi)側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿,而在成像芯片外側(cè)的象素被映射到b角為正的環(huán)形視場(chǎng)的上沿。在沿x軸正方向最外邊的象素點(diǎn)被映射到a角為180°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a角為0°的環(huán)形視場(chǎng)處。我們提出的設(shè)計(jì)方法可以計(jì)算出適用于此情況的反射鏡曲面形狀。
全視場(chǎng)成像與顯示的系統(tǒng),包括成像芯片、成像鏡頭的成像系統(tǒng),并設(shè)有涵蓋整個(gè)或接近整個(gè)半球空間角(2p),或者整個(gè)(或接近整個(gè))360度環(huán)帶形視場(chǎng)的反射鏡;所述反射鏡有兩面曲面鏡構(gòu)成馬鞍狀,兩面曲面鏡相交形成一條隆脊;隆脊是中央凹處的弧線(xiàn),成像鏡頭設(shè)在隆脊上中央凹處垂直向上的直線(xiàn)上。
全視場(chǎng)顯示系統(tǒng)無(wú)需采用任何運(yùn)動(dòng)部件。圖1展示了一種全視場(chǎng)反射鏡成像系統(tǒng)工作原理.本發(fā)明在全視場(chǎng)成像與顯示技術(shù)上的一項(xiàng)關(guān)鍵突破在于提供了可以將傳統(tǒng)的矩形成像或顯示元件的所有象素映射到全視場(chǎng)整個(gè)半球形或360度環(huán)帶形視場(chǎng)上的光學(xué)轉(zhuǎn)換方法,可使矩形(或其它任意形狀)成像或顯示元件的象素全部有序地映射到半球形或360度環(huán)帶形視場(chǎng)上而無(wú)需如何數(shù)字處理,從而大大降低了系統(tǒng)成本,可使此項(xiàng)技術(shù)達(dá)到實(shí)用化和產(chǎn)品化.其特點(diǎn)包括(1)可以直接將任意形狀的視場(chǎng)映射到矩形成像元件的整個(gè)像面上,充分利用了成像元件的象素和分辨率,從而可以獲得較高清晰度的全視場(chǎng)圖像;(2)輸出圖像已經(jīng)被光學(xué)“展開(kāi)”,無(wú)需通過(guò)額外的計(jì)算機(jī)設(shè)備進(jìn)行數(shù)字化處理,系統(tǒng)成本大大降低;(3)圖像分辨率在全視場(chǎng)內(nèi)分布均勻。
(4)利用反射鏡而不是折射透鏡,無(wú)需采用多級(jí)折射透鏡去消除光學(xué)像差,降低了光學(xué)系統(tǒng)復(fù)雜性和成本。
(5)本發(fā)明提出的一系列全視場(chǎng)成像與顯示的方法,從根本上更新了全視場(chǎng)成像與顯示的傳統(tǒng)概念,具有極高的商業(yè)價(jià)值.
四
圖1是本發(fā)明全視場(chǎng)反射鏡成像系統(tǒng)工作原理.
圖2是本發(fā)明新型全視場(chǎng)反射鏡有效地利用了圖像傳感器或投影儀上的所有象素圖3是本發(fā)明一個(gè)從成像芯片映射到場(chǎng)景的例子(透視投影)圖4是本發(fā)明計(jì)算全視場(chǎng)反射鏡曲面形狀的程序流程5是本發(fā)明全視場(chǎng)反射鏡設(shè)計(jì)例子(環(huán)形視場(chǎng))定義從成像芯片到場(chǎng)景的映射圖6是本發(fā)明全視場(chǎng)反射鏡設(shè)計(jì)例子(環(huán)形視場(chǎng))反射鏡曲面幾何形狀圖7是本發(fā)明全視場(chǎng)反射鏡設(shè)計(jì)例子(環(huán)形視場(chǎng))從成像芯片到場(chǎng)景的映射關(guān)系的第一種變化圖8是本發(fā)明全視場(chǎng)反射鏡設(shè)計(jì)例子(環(huán)形視場(chǎng))從成像芯片到場(chǎng)景的映射關(guān)系的第二種變化圖9是本發(fā)明全視場(chǎng)反射鏡設(shè)計(jì)例子(環(huán)形視場(chǎng))從成像芯片到場(chǎng)景的映射關(guān)系的第三種變化圖10是本發(fā)明全視場(chǎng)攝像機(jī)P-型圖11是本發(fā)明全視場(chǎng)攝像機(jī)H-型圖12是本發(fā)明全視場(chǎng)監(jiān)控“看家狗“
五具體實(shí)施例方式
圖1展示了全視場(chǎng)反射鏡成像系統(tǒng)工作原理.全視場(chǎng)反射鏡的設(shè)計(jì)始于定義成像芯片到全景視場(chǎng)的映射關(guān)系。利用透視投影或正交投影成像原理的傳感器或投影儀,將環(huán)形或半球形視場(chǎng)投射到圖像傳感器或投影儀芯片的所有象素上圖2新型全視場(chǎng)反射鏡有效地利用了圖像傳感器或投影儀上的所有象素,傳統(tǒng)的魚(yú)眼鏡頭或拋物線(xiàn)雙曲線(xiàn)反射鏡只能產(chǎn)生圓形圖像,只占用整個(gè)圖像傳感器或投影儀芯片的中心區(qū)域。全視場(chǎng)反射鏡有效像素比魚(yú)眼鏡所產(chǎn)生的有效像素多70%圖3給出了一種一般的成像芯片到全景視場(chǎng)的映射。對(duì)于具體應(yīng)用,一套完整的從每一個(gè)象素到全視場(chǎng)場(chǎng)景一一對(duì)應(yīng)關(guān)系必須首先建立。比如,我們可以讓360°環(huán)形場(chǎng)景映射到成像芯片上的兩個(gè)矩形長(zhǎng)條區(qū)域內(nèi),每一個(gè)長(zhǎng)條區(qū)域代表180°環(huán)形視場(chǎng)。成像元件的投影模型也必須事先確定。典型的投影模型包括透視模型或正交模型。
與其試圖建立起一個(gè)包羅萬(wàn)象的用于計(jì)算全視場(chǎng)反射鏡幾何形狀的理論模型,我們?cè)诖颂岢鲆粋€(gè)簡(jiǎn)單實(shí)用,適用面很廣而又能達(dá)到很高精度的反射鏡曲面計(jì)算方法。這種方法可以適用于任意形狀的反射鏡設(shè)計(jì)。圖4展示了這種計(jì)算方法的流程圖。
本發(fā)明提出的計(jì)算方法從一個(gè)已知的反射鏡表面點(diǎn)的位置(x0,y0,z0)開(kāi)始。這個(gè)已知點(diǎn)通常可以由系統(tǒng)設(shè)計(jì)參數(shù)來(lái)確定,例如物距,鏡面尺寸,等。計(jì)算程序由此可以根據(jù)預(yù)先定義的從成像芯片到全景視場(chǎng)的映射關(guān)系及鏡面反射原理計(jì)算處在此表面點(diǎn)的局部曲面的法線(xiàn)方向。局部曲面的法線(xiàn)方向和反射鏡表面點(diǎn)的位置可以確定出一個(gè)通過(guò)該點(diǎn)而又滿(mǎn)足映射關(guān)系的局部曲面。為了計(jì)算出下一個(gè)曲面點(diǎn)的位置(x,y,z),計(jì)算程序可以確定出從芯片像面上的下一個(gè)象素穿過(guò)的“象素射線(xiàn)”。此射線(xiàn)與局部曲面相交的交點(diǎn)便是下一個(gè)滿(mǎn)足映射關(guān)系的局部曲面上的點(diǎn)(x,y,z)。計(jì)算程序應(yīng)用同樣的方法可以計(jì)算出所有滿(mǎn)足映射關(guān)系的局部曲面上的點(diǎn),這些點(diǎn)的集合構(gòu)成了所求的全視場(chǎng)反射鏡的幾何曲面。
圖5展示了一個(gè)應(yīng)用上述方法設(shè)計(jì)出的全視場(chǎng)反射鏡的例子。以在成像芯片的平面為XY平面座標(biāo),且以鏡向芯片方向延伸的軸為Z軸。則XY平面以上即Z軸為正的視場(chǎng)是b(圖中β)角為正的環(huán)形視場(chǎng),Z軸為負(fù)的視場(chǎng)是b(圖中β)角為負(fù)的環(huán)形視場(chǎng),每面馬鞍狀曲面鏡構(gòu)成成像對(duì)應(yīng)反射到成像芯片上的一個(gè)矩形長(zhǎng)條區(qū)域內(nèi),視場(chǎng)的對(duì)內(nèi)側(cè)的象素被映射到b(圖中β)角為正的環(huán)形視場(chǎng)的上沿,而在成像芯片外側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿。在沿x軸正方向最外邊的象素點(diǎn)被映射到a(α)角為180°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a(α)角為0°的環(huán)形視場(chǎng)處。圖5中這一例子將成像芯片分為兩部分映射到360°圓筒型環(huán)形視場(chǎng),每一個(gè)矩形長(zhǎng)條涵蓋180°環(huán)形區(qū)域。投影模型用的是透視模型。在成像芯片內(nèi)側(cè)的象素被映射到b角為正的環(huán)形視場(chǎng)的上沿,而在成像芯片外側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿。在沿x軸正方向最外邊的象素點(diǎn)被映射到a角為180°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a角為0°的環(huán)形視場(chǎng)處。利用前面所提供的全視場(chǎng)反射鏡曲面計(jì)算方法,我們可以獲得一個(gè)反射鏡曲面幾何形狀,如圖6所示。這一全視場(chǎng)反射鏡的工作原理由圖一來(lái)說(shuō)明。
值得一提的是,即使對(duì)于同樣形狀的映射區(qū)域和關(guān)系,映射次序的不同也可導(dǎo)致不同的反射鏡曲面形狀。我們提出的設(shè)計(jì)方法可以適用與所有不同形狀和次序的映射關(guān)系。
圖7展示了一個(gè)與圖5相同區(qū)域但不同次序的映射關(guān)系,是圖5例子的一個(gè)變種。在成像芯片內(nèi)側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿,而在成像芯片外側(cè)的象素被映射到b角為正的環(huán)形視場(chǎng)的上沿。在沿x軸正方向最外邊的象素點(diǎn)被映射到a角為0°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a角為180°的環(huán)形視場(chǎng)處。我們提出的設(shè)計(jì)方法可以計(jì)算出適用于此情況的反射鏡曲面形狀。
圖8展示了又一個(gè)與圖5相同區(qū)域但不同次序的映射關(guān)系,是圖5例子的又一個(gè)變種。在成像芯片內(nèi)側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿,而在成像芯片外側(cè)的象素被映射到b角為正的環(huán)形視場(chǎng)的上沿。在沿x軸正方向最外邊的象素點(diǎn)被映射到a角為180°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a角為0°的環(huán)形視場(chǎng)處。我們提出的設(shè)計(jì)方法可以計(jì)算出適用于此情況的反射鏡曲面形狀。
圖9展示了又一個(gè)與圖5相同區(qū)域但不同次序的映射關(guān)系,是圖5例子的又一個(gè)變種。在成像芯片內(nèi)側(cè)的象素被映射到b角為正的環(huán)形視場(chǎng)的上沿,而在成像芯片外側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿。在沿x軸正方向最外邊的象素點(diǎn)被映射到a角為0°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a角為180°的環(huán)形視場(chǎng)處。我們提出的設(shè)計(jì)方法可以計(jì)算出適用于此情況的反射鏡曲面形狀。
同樣的設(shè)計(jì)方法可以用于實(shí)現(xiàn)其它任意成像芯片到場(chǎng)景映射關(guān)系的反射鏡面設(shè)計(jì)。例如,如果將b角的范圍變成0°到180°,則我們可以得到將半球形視場(chǎng)分為兩部分映射到將成像芯片上兩個(gè)矩形長(zhǎng)條區(qū)域的反射鏡,每一個(gè)長(zhǎng)條涵蓋180°環(huán)形區(qū)域。這樣的反射鏡可以實(shí)現(xiàn)半球形成像或投影系統(tǒng)。
圖10是本發(fā)明全視場(chǎng)攝像機(jī)P-型由全視場(chǎng)攝像機(jī)輸出視頻信號(hào),全頻視頻流由兩個(gè)180度環(huán)形視窗組成圖11是本發(fā)明全視場(chǎng)攝像機(jī)H-型,由全視場(chǎng)攝像機(jī)輸出視頻信號(hào),全頻視頻流由兩個(gè)180度半球形視窗組成圖12是本發(fā)明全視場(chǎng)監(jiān)控“看家狗“,利用嵌入式DSP平臺(tái)360度圖像處理,目標(biāo)監(jiān)測(cè),自動(dòng)跟蹤報(bào)警,360度全景圖像連續(xù)監(jiān)控全景空間,所有活動(dòng)一覽無(wú)余。由高速球獲取的高清晰圖像,自動(dòng)跟蹤被測(cè)目標(biāo)。
本發(fā)明中的描述僅供說(shuō)明之用.在本領(lǐng)域的同行可以根據(jù)本發(fā)明提供的原理進(jìn)行各種明顯可見(jiàn)的改進(jìn)和變種,但是這些改進(jìn)和變種都在本發(fā)明的涵蓋范圍之內(nèi).
實(shí)現(xiàn)方案1、)全視場(chǎng)攝像機(jī)-360°全景無(wú)畸變視頻攝像頭傳統(tǒng)CCTV攝像頭的視場(chǎng)角有限,只能看到攝像頭前方很一小部分的場(chǎng)景。對(duì)于視頻監(jiān)控和網(wǎng)絡(luò)視頻會(huì)議等眾多應(yīng)用,用戶(hù)需要看到實(shí)時(shí)360°全景圖像,以便統(tǒng)觀全局,高屋建瓴,監(jiān)測(cè)跟蹤所有可疑目標(biāo),作出正確反應(yīng)和決策。
根據(jù)世界視頻監(jiān)控和網(wǎng)絡(luò)視頻會(huì)議市場(chǎng)需求,我們推出了全視場(chǎng)攝像頭技術(shù),能夠方便地為用戶(hù)輸送360°全景無(wú)畸變視頻圖像。這種全視場(chǎng)攝像頭獨(dú)特的功能,新穎的產(chǎn)品造型,簡(jiǎn)便的使用方法,安全可靠的性能,和極高的性?xún)r(jià)比,使它成為視頻監(jiān)控和網(wǎng)絡(luò)視頻會(huì)議等眾多應(yīng)用場(chǎng)合的首選設(shè)備。
全視場(chǎng)攝像頭的特點(diǎn)(1)直接輸出360°無(wú)畸變視頻流神眼TM攝像機(jī)的視頻輸出是滿(mǎn)屏無(wú)畸變的360°圖像。這從根本上區(qū)別于現(xiàn)有的一些廣角視頻采集技術(shù)。這些現(xiàn)有方法只能得到畸變嚴(yán)重的圓形圖像。神眼TM攝像機(jī)輸出的滿(mǎn)屏無(wú)畸變360°圖像易于理解,便于直接應(yīng)用。
(2)連續(xù)實(shí)時(shí)采集360°視頻流,無(wú)需多幅圖像拼接軟件神眼TM攝像機(jī)能夠連續(xù)實(shí)時(shí)采集360°視頻流。圖像視場(chǎng)涵蓋整個(gè)半球形視場(chǎng)(H型神眼攝像頭)或環(huán)形360°視場(chǎng)(P型神眼攝像頭)而無(wú)需依賴(lài)多幅圖像拼接軟件做非實(shí)時(shí)事后處理。
(3)自成體系,獨(dú)立工作,無(wú)需外加電腦神眼攝像機(jī)具有內(nèi)置圖像處理元件,可獨(dú)立工作,無(wú)需外接電腦。視頻輸出信號(hào)可選NTSC或PAL格式,類(lèi)似于普通攝像頭,可直接送入顯示器或并入視頻監(jiān)控系統(tǒng)中。
(4)象素分部均勻,方便全場(chǎng)目標(biāo)監(jiān)測(cè)神眼攝像頭將360°半球形或環(huán)形視場(chǎng)均勻地映射到成像元件上,使得同一物體在視場(chǎng)的任何地方均能產(chǎn)生同樣大小的圖像,極大地方便了自動(dòng)目標(biāo)監(jiān)測(cè),提高了系統(tǒng)的實(shí)用性和準(zhǔn)確性。
(5)設(shè)計(jì)新穎,無(wú)任何機(jī)械移動(dòng)部件,運(yùn)行可靠,性?xún)r(jià)比高神眼攝像頭設(shè)計(jì)融合了光學(xué),電子,材料,精密機(jī)械,圖像處理軟件硬件等尖端技術(shù),使其功能強(qiáng)大,外形新穎,運(yùn)行可靠,性?xún)r(jià)比高。
為了適應(yīng)不同應(yīng)用需求,全視場(chǎng)攝像頭提供兩種型號(hào),即P型和H型,按不同類(lèi)型的360°視場(chǎng)角,使用者可根據(jù)不同應(yīng)用場(chǎng)合做出最優(yōu)選擇。
P型全視場(chǎng)攝像頭“P”代表“環(huán)形視場(chǎng)(panoramic FOV)”. 如圖10所示,P型神眼攝像頭的可視范圍能夠涵蓋以它中軸心為準(zhǔn)的環(huán)形視場(chǎng)。水平視場(chǎng)角為360°視場(chǎng)角,垂直視場(chǎng)角從-20°(下垂)到+40°(上揚(yáng)).其它視場(chǎng)范圍也可用同樣設(shè)計(jì)方法來(lái)實(shí)現(xiàn)。
H型全視場(chǎng)攝像頭H”代表“半球形視場(chǎng)(hemispherical FOV)”.如圖11所示,H型全視場(chǎng)攝像頭的可視范圍能夠涵蓋以鏡頭為中心的半球形視場(chǎng)(2p空間角)。水平視場(chǎng)角為360°視場(chǎng)角,垂直視場(chǎng)角從0°到90°.其它視場(chǎng)范圍也可用同樣設(shè)計(jì)方法來(lái)實(shí)現(xiàn)。
2、)全視場(chǎng)自動(dòng)跟蹤智能球相機(jī)-360°全景自動(dòng)跟蹤全視場(chǎng)自動(dòng)跟蹤智能球相機(jī)具有獨(dú)特的360°同時(shí)觀察,真正全景范圍無(wú)盲點(diǎn),并能在360°縱觀全局而有你明察秋毫全景自動(dòng)搜尋和跟蹤目標(biāo)的強(qiáng)大功能。它的出現(xiàn)標(biāo)志著監(jiān)控相機(jī)智能化的一場(chǎng)革命,具有以下特點(diǎn)1.同時(shí)連續(xù)監(jiān)控360°全景空間,所有人員和活動(dòng)一覽無(wú)遺,不會(huì)漏掉或錯(cuò)過(guò)突發(fā)事件,真正無(wú)盲點(diǎn)。
2.高性能嵌入式DSP硬件平臺(tái),實(shí)現(xiàn)自動(dòng)目標(biāo)偵測(cè)和跟蹤,無(wú)需另外加“控制主機(jī)”。
3.靈巧快球可獲高清晰度圖像,跟隨目標(biāo)移動(dòng),便于目標(biāo)識(shí)別。
4.全視場(chǎng)智能球一體化設(shè)計(jì),安裝簡(jiǎn)單明了,沒(méi)有復(fù)雜的電纜線(xiàn)連接或笨重的”控制計(jì)算機(jī)”,類(lèi)似于安裝標(biāo)準(zhǔn)的高速球。
5.標(biāo)準(zhǔn)視頻輸出格式(NTSC或PAL),可以作為一個(gè)獨(dú)立的系統(tǒng)使用,或者作為大規(guī)模CCTV系統(tǒng)的一個(gè)組成部分安裝。
6.360°全景圖像提供對(duì)目標(biāo)的大范圍覆蓋和監(jiān)測(cè),靈巧快球提供高分辨率的目標(biāo)跟蹤圖像。聚焦到某一物體目標(biāo)時(shí),仍能保持對(duì)全景的不間斷的監(jiān)控,并跟蹤多個(gè)目標(biāo)。
7.用戶(hù)能夠直接看到不失真的360°視頻,不必用復(fù)雜的“展開(kāi)軟件”或?qū)Χ鄠€(gè)圖像進(jìn)行縫合。
節(jié)省瀏覽已發(fā)生事件的時(shí)間,提高了目標(biāo)確認(rèn)速度。
8.視頻輸出有多種格式選擇,用戶(hù)可選擇五種圖像格式的標(biāo)準(zhǔn)合成輸出。
9.由于有了自動(dòng)目標(biāo)監(jiān)測(cè)跟蹤報(bào)警功能,監(jiān)控人員的勞動(dòng)強(qiáng)度大大降低。
10.節(jié)省了硬件投資(360°全時(shí)全景,無(wú)需安裝多臺(tái)相機(jī))、人工操作成本(自動(dòng)跟蹤和報(bào)警能力)、和額外的控制器成本(具有板載DSP,無(wú)需外接PC)。
本發(fā)明全視場(chǎng)智能球包含了三項(xiàng)核心設(shè)計(jì)(圖12)1.一體化微型360°全景探頭使全視場(chǎng)智能球能夠在任何時(shí)間都能在360°度周?chē)鷪?chǎng)景內(nèi)看到任何事情,無(wú)論何時(shí)、無(wú)需移動(dòng)。
2.靈敏快球能夠靈活搜索和跟蹤目標(biāo)無(wú)需人工干預(yù),實(shí)現(xiàn)自動(dòng)對(duì)360°所有方向的目標(biāo)進(jìn)行監(jiān)測(cè),并且可以對(duì)單個(gè)目標(biāo)放大供高清晰度圖像供仔細(xì)觀察。
3.同時(shí)利用嵌入式數(shù)字圖像處理(DSP)的軟件硬件平臺(tái)和智能監(jiān)控算法把”大腦”加入到了它的“眼睛”中,能夠自動(dòng)進(jìn)行目標(biāo)搜索,行為監(jiān)測(cè),跟蹤,和報(bào)警。
全視場(chǎng)智能球使7/24全時(shí)人工監(jiān)控的時(shí)代成為歷史。
再也不會(huì)出現(xiàn)因?yàn)楦咚偾蛐握障鄼C(jī)觀察其它方向而錯(cuò)過(guò)發(fā)生的事件,神眼智能球能縱觀全局而又明察秋毫它能夠自動(dòng)跟蹤在360°觀察區(qū)域內(nèi)所有的可疑對(duì)象并且對(duì)潛在的危險(xiǎn)提供報(bào)警。全視場(chǎng)智能球,解決當(dāng)前視頻監(jiān)控的難題目前使用的高速球相機(jī)大都是有“眼”無(wú)“腦”-它們本身不具有自動(dòng)跟蹤目標(biāo)的智能,而需要依賴(lài)于繁雜的人工操作,無(wú)法在360°全景視場(chǎng)內(nèi)自動(dòng)尋找并且跟蹤可疑的目標(biāo)和事件。不僅這種人工7天24小時(shí)監(jiān)控方式成本高昂,這種操作模式也極不可靠專(zhuān)業(yè)調(diào)查表明在CCTV監(jiān)控人員僅僅監(jiān)視兩個(gè)監(jiān)視器的情況下,10分鐘之后就將錯(cuò)過(guò)45%的行為,并且22分鐘之后將錯(cuò)過(guò)95%的行為。
此外,高速球相機(jī)有視角(FOV)的限制他們不能同時(shí)觀察到360°全景,因此會(huì)由于相機(jī)觀察其它的方向而錯(cuò)過(guò)同時(shí)發(fā)生的事件。
全視場(chǎng)智能球利用360°探頭和高速轉(zhuǎn)球相機(jī)的獨(dú)特組合來(lái)獲取實(shí)時(shí)全景視頻流,實(shí)現(xiàn)了宏觀與微觀監(jiān)控的完美結(jié)合,360°全景范圍內(nèi)真正無(wú)盲點(diǎn)。最先進(jìn)的數(shù)字信號(hào)處理技術(shù)硬件平臺(tái)可以實(shí)時(shí)實(shí)現(xiàn)高性能智能監(jiān)控算法,提供在360°全景范圍內(nèi)可靠的目標(biāo)監(jiān)測(cè)和跟蹤。本發(fā)明全視場(chǎng)智能球利用360°探頭和高速轉(zhuǎn)球相機(jī)的獨(dú)特組合來(lái)獲取實(shí)時(shí)全景視頻流,視頻智能監(jiān)控裝置,包括采用第一視頻圖像信息和第二視頻圖像信息獲得裝置,其中一只攝像頭為一個(gè)全視場(chǎng)成像與顯示攝像頭,第二視頻圖像信息獲得裝置為旋轉(zhuǎn)或俯仰驅(qū)動(dòng)的高分辨率可變焦相機(jī),第一視頻圖像信息和第二視頻圖像信息獲得裝置共用一圖像顯示裝置,檢測(cè)到的可疑區(qū)域的方位信息被用來(lái)控制旋高分辨率轉(zhuǎn)球相機(jī)的聚焦,使高分辨率相機(jī)能夠自動(dòng)跟蹤可疑區(qū)域的運(yùn)動(dòng),實(shí)現(xiàn)全方位自動(dòng)監(jiān)控。
全視場(chǎng)智能球能夠作為一個(gè)單獨(dú)的視頻監(jiān)控系統(tǒng)使用,也可以作為一套CCTV系統(tǒng)中的關(guān)鍵組件去提供大面積覆蓋和智能監(jiān)控的功能,從而節(jié)省了硬件投資(360覆蓋面積)、人工操作成本(自動(dòng)跟蹤和報(bào)警能力)、和額外的計(jì)算固定成本(板載DSP處理器)。
全視場(chǎng)智能球輸出標(biāo)準(zhǔn)復(fù)合視頻信號(hào),包含360°全景和靈巧快球的視頻輸出,以及控制參數(shù),例如時(shí)間戳和監(jiān)測(cè)目標(biāo)的方向/場(chǎng)所等。
全視場(chǎng)智能球系統(tǒng)是一套即兼容現(xiàn)有傳統(tǒng)監(jiān)控,又有別于傳統(tǒng)監(jiān)控、全新的、功能強(qiáng)大、操控方便的智能化監(jiān)控系統(tǒng)。神眼轉(zhuǎn)球具有360°同時(shí)觀察和自動(dòng)搜尋和跟蹤目標(biāo)的能力,罪犯在神眼智能球中無(wú)所盾形。
權(quán)利要求
1.全視場(chǎng)成像與顯示的方法,使用包括成像芯片、成像鏡頭的成像系統(tǒng),并設(shè)有涵蓋整個(gè)或接近整個(gè)半球空間角2p或者整個(gè)360度環(huán)帶形視場(chǎng)的反射鏡將成像反射到鏡頭;所述反射鏡有兩面曲面鏡構(gòu)成馬鞍狀,兩面曲面鏡相交形成一條隆脊;每面曲面鏡分別對(duì)應(yīng)反射半個(gè)半球空間角,或者半個(gè)360度環(huán)帶形視場(chǎng)。
2.由權(quán)利要求1所述的全視場(chǎng)成像與顯示的方法,其特征是每面曲面鏡的曲面具有這樣的表達(dá)局部曲面的法線(xiàn)方向和反射鏡表面點(diǎn)的位置確定出一個(gè)通過(guò)該點(diǎn)而又滿(mǎn)足映射關(guān)系,每一個(gè)曲面點(diǎn)的位置(x,y,z),通過(guò)確定出從芯片像面上的下一個(gè)象素穿過(guò)的“象素射線(xiàn)”,此射線(xiàn)與局部曲面相交的交點(diǎn)便是下一個(gè)滿(mǎn)足映射關(guān)系的局部曲面上的點(diǎn)(x,y,z);所有滿(mǎn)足映射關(guān)系的局部曲面上的點(diǎn),這些點(diǎn)的集合構(gòu)成了所求的全視場(chǎng)反射鏡的曲面。
3.由權(quán)利要求1或2所述的全視場(chǎng)成像與顯示的方法,其特征是兩面曲面鏡相交形成一條隆脊;讓360°環(huán)形場(chǎng)景映射到成像芯片上的兩個(gè)矩形長(zhǎng)條區(qū)域內(nèi),每一個(gè)長(zhǎng)條區(qū)域代表180°環(huán)形視場(chǎng),每面曲面鏡對(duì)應(yīng)將180°環(huán)形視場(chǎng)反射至一個(gè)矩形長(zhǎng)條區(qū)域。
4.由權(quán)利要求1所述的全視場(chǎng)成像與顯示的方法,其特征是成像元件的投影的方法是是透視模型或正交模型;透視模型中以在成像芯片的平面為XY平面座標(biāo),且以鏡向芯片方向延伸的軸為Z軸;則XY平面以上即Z軸為正的視場(chǎng)是b角為正的環(huán)形視場(chǎng),Z軸為負(fù)的視場(chǎng)是b角為負(fù)的環(huán)形視場(chǎng),每面馬鞍狀曲面鏡構(gòu)成成像對(duì)應(yīng)反射到成像芯片上的一個(gè)矩形長(zhǎng)條區(qū)域內(nèi),視場(chǎng)的對(duì)內(nèi)側(cè)的象素被映射到b角為正的環(huán)形視場(chǎng)的上沿,而在成像芯片外側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿。;在沿x軸正方向最外邊的象素點(diǎn)被映射到a角為180°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a角為0°的環(huán)形視場(chǎng)處。在成像芯片內(nèi)側(cè)的象素被映射到b角為正的環(huán)形視場(chǎng)的上沿,而在成像芯片外側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿。在沿x軸正方向最外邊的象素點(diǎn)被映射到a角為180°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a角為0°的環(huán)形視場(chǎng)處。
5.由權(quán)利要求1或2所述的全視場(chǎng)成像與顯示的方法,其特征是正交模型中,在成像芯片內(nèi)側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿,而在成像芯片外側(cè)的象素被映射到b角為正的環(huán)形視場(chǎng)的上沿。在沿x軸正方向最外邊的象素點(diǎn)被映射到a角為0°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a角為180°的環(huán)形視場(chǎng)處。我們提出的設(shè)計(jì)方法可以計(jì)算出適用于此情況的反射鏡曲面形狀。
6.由權(quán)利要求1或2所述的全視場(chǎng)成像與顯示的方法,其特征是在成像芯片內(nèi)側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿,而在成像芯片外側(cè)的象素被映射到b角為正的環(huán)形視場(chǎng)的上沿。在沿x軸正方向最外邊的象素點(diǎn)被映射到a角為180°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a角為0°的環(huán)形視場(chǎng)處。
7.由權(quán)利要求1或2所述的全視場(chǎng)成像與顯示的方法,其特征是在成像芯片內(nèi)側(cè)的象素被映射到b角為正的環(huán)形視場(chǎng)的上沿,而在成像芯片外側(cè)的象素被映射到b角為負(fù)的環(huán)形視場(chǎng)的下沿。在沿x軸正方向最外邊的象素點(diǎn)被映射到a角為0°的環(huán)形視場(chǎng)處,而沿x軸負(fù)方向最外邊的象素點(diǎn)被映射到a角為180°的環(huán)形視場(chǎng)處。如果將b角的范圍變成0°到180°,則我們可以得到將半球形視場(chǎng)分為兩部分映射到將成像芯片上兩個(gè)矩形長(zhǎng)條區(qū)域的反射鏡,每一個(gè)長(zhǎng)條涵蓋180°環(huán)形區(qū)域。這樣的反射鏡可以實(shí)現(xiàn)半球形成像或投影系統(tǒng)。
8.全視場(chǎng)成像與顯示的系統(tǒng),包括成像芯片、成像鏡頭的成像系統(tǒng),并設(shè)有涵蓋整個(gè)或接近整個(gè)半球空間角(2p),或者整個(gè)(或接近整個(gè))360度環(huán)帶形視場(chǎng)的反射鏡;所述反射鏡有兩面曲面鏡構(gòu)成馬鞍狀,兩面曲面鏡相交形成一條隆脊;隆脊是中央凹處的弧線(xiàn),成像鏡頭設(shè)在隆脊上中央凹處垂直向上的直線(xiàn)上。
9.由權(quán)利要求8所述的全視場(chǎng)成像與顯示的系統(tǒng),其特征是采用權(quán)利要求6或7所述成像與顯示的方法的反射鏡。
10.由權(quán)利要求9所述的全視場(chǎng)成像與顯示的系統(tǒng),其特征是全視場(chǎng)智能球采用360°探頭和高速轉(zhuǎn)球相機(jī)的組合來(lái)獲取實(shí)時(shí)全景視頻流,視頻智能監(jiān)控裝置,包括采用第一視頻圖像信息和第二視頻圖像信息獲得裝置,其中一只攝像頭為一個(gè)全視場(chǎng)成像與顯示攝像頭,第二視頻圖像信息獲得裝置為旋轉(zhuǎn)或俯仰驅(qū)動(dòng)的高分辨率可變焦相機(jī),第一視頻圖像信息和第二視頻圖像信息獲得裝置共用一圖像顯示裝置,檢測(cè)到的可疑區(qū)域的方位信息被用來(lái)控制高分辨率轉(zhuǎn)球相機(jī)的聚焦,使高分辨率相機(jī)能夠自動(dòng)跟蹤可疑區(qū)域的運(yùn)動(dòng),實(shí)現(xiàn)全方位自動(dòng)監(jiān)控。
全文摘要
本發(fā)明提供了全視場(chǎng)成像與顯示的方法,使用包括成像芯片、成像鏡頭的成像系統(tǒng),并設(shè)有涵蓋整個(gè)或接近整個(gè)半球空間角2p或者整個(gè)360度環(huán)帶形視場(chǎng)的反射鏡將成像反射到鏡頭;所述反射鏡有兩面曲面鏡構(gòu)成馬鞍狀,兩面曲面鏡相交形成一條隆脊;每面曲面鏡分別對(duì)應(yīng)反射半個(gè)半球空間角,或者半個(gè)360度環(huán)帶形視場(chǎng)。投影元件可以將圖像投射到整個(gè)半球形或360度環(huán)帶形屏幕上。本發(fā)明可使矩形(或其它任意形狀)成像或顯示元件的象素全部有序地映射到半球形或360度環(huán)帶形視場(chǎng)上而無(wú)需如何數(shù)字處理,從而大大降低了系統(tǒng)成本,可使此項(xiàng)技術(shù)達(dá)到實(shí)用化和產(chǎn)品化,從根本上更新了全視場(chǎng)成像與顯示的傳統(tǒng)概念。
文檔編號(hào)H04N5/225GK101021669SQ20061003822
公開(kāi)日2007年8月22日 申請(qǐng)日期2006年2月13日 優(yōu)先權(quán)日2006年2月13日
發(fā)明者耿忠 申請(qǐng)人:耿忠