專利名稱：跟蹤一幅數(shù)字圖象中的一個感興趣的目標的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及產(chǎn)生全景圖象的方法和裝置，更具體地說，涉及跟蹤這個全景圖象中一個感興趣的目標并把這樣全景圖象所希望的部分進行放大的方法和裝置。
背景技術(shù)：
為了從數(shù)字攝像機獲得全景圖象，已經(jīng)提出或建議多種技術(shù)。一般說來，全景圖象具有在180和360度之間的視野。產(chǎn)生全景圖象的大多數(shù)技術(shù)利用許多被使用已知的圖象處理技術(shù)對準的重疊的圖象去創(chuàng)建一個單一的、完整的圖象。關(guān)于這樣的圖象處理技術(shù)的一般討論，舉例來說，參看P.Anandan和P.J.Burt的“通過對準參考鑲嵌字符使圖象穩(wěn)定化”，ARPA94(I425-434)，BibRef9400，或P.Anandan等人的“實時場景的穩(wěn)定化和鑲嵌構(gòu)造”，ARPA94(I457-465)，BibRef9400AndA4，A1，A3，A5和A4WACV94(54-62)，這里結(jié)合每一個作為參考。
為了捕捉用以產(chǎn)生全景圖象的多個疊加圖象，已經(jīng)提出或建議多種技術(shù)。例如，許多系統(tǒng)使用多臺攝像機記錄多幅圖象。然后處理多幅圖象以創(chuàng)建企望的全景圖象。因為各個攝像機之間的關(guān)系一般是固定的，所以這些圖象之間的關(guān)系也是已知的。當(dāng)然，相對單一攝像機實現(xiàn)來說，多臺攝像機方案的問題是額外的費用。
因此，許多系統(tǒng)使用單臺攝像機獲得多幅圖象。例如，國際專利申請?zhí)朩O99/62252公開了這樣一種視頻攝像機，它以恒定速度旋轉(zhuǎn)來捕捉感興趣的全景場景的視頻圖象。然后可以處理數(shù)字視頻文件來創(chuàng)建所希望的全景圖象。
在另一種變體中，日本專利申請?zhí)?1004373使用一臺固定攝像機和一個旋轉(zhuǎn)反射鏡獲得了360度全景圖象。在攝像機上方以預(yù)先設(shè)定的傾斜度安裝反射鏡，這樣，當(dāng)反射鏡繞攝像機的光軸旋轉(zhuǎn)時，反射鏡的視野就捕捉所希望的全景場景。然后處理各個的重疊的圖象來創(chuàng)建所希望的全景圖象。
為跟蹤數(shù)字圖象，包括全景圖象中的目標，已經(jīng)提出或建議了多種技術(shù)。在這樣的跟蹤系統(tǒng)中，由于計算問題，方向跟蹤典型地使用低分辨率進行，而且感興趣的圖象部分可以使用較高分辨率圖象放大。跟蹤任務(wù)保持目標在攝像機的視野中，這樣操作者就可以監(jiān)視感興趣的目標。以這種方式，操作者可以隨心所欲地在較小視野的高分辨率和較大視野的低分辨率之間切換。
利用運動部件，例如附件的反射鏡或攝像機，在變焦操作期間控制它的運動，以放大感興趣的部分，典型地得到更高的分辨率圖象。例如三菱電氣(美國)利用兩個反射鏡提供全方向的視覺系統(tǒng)。例如，參見http//www.mitsubishi.com/mea/tecomn，html。在利用附加的反射鏡把感興趣的區(qū)域放大的實施中，典型地要求復(fù)雜的光學(xué)裝置。同樣地，在利用附加的攝像機把感興趣的區(qū)域放大的實施中，在單臺攝像機設(shè)備上所增加的費用是過高的。
因此，需要有一種方法和裝置，在放大時不使用可控制的運動硬件，提供全景圖象的跟蹤。還需要有一種方法和裝置，對于附加的運動部件不用機械控制運動，提供具有視野多個部分同時放大的全景圖象跟蹤。
發(fā)明概述一般來說，被公開的跟蹤對數(shù)字圖象感興趣目標的方法和裝置，至少有一個高分辨率部分。在一種實施例中，在這里被認為是“成型反射鏡實施例”，一個成型的旋轉(zhuǎn)反射鏡，至少將視野的一部分放大，這樣對應(yīng)放大區(qū)域，固定的攝像機就可以獲得較高分辨率的圖象。在第二種實施例中，此處稱為“兩臺攝像機實施例”，不同分辨率的兩臺靜止攝像機聚焦在平面旋轉(zhuǎn)反射鏡上。較低分辨率的第一靜止攝像機產(chǎn)生整個的全景圖象，而較高分辨率的第二靜止攝像機產(chǎn)生較小視野的較高分辨率圖象。
在成型反射鏡實施例中，旋轉(zhuǎn)的反射鏡包含將視野一部分放大的一個放大區(qū)域，以及減少視野剩余部分的一個或幾個附加區(qū)域。在說明性的實施例中，旋轉(zhuǎn)的反射鏡是曲面的以產(chǎn)生可改變放大分辨率的區(qū)域。將視野一部分放大的放大區(qū)域通常具有凹面形狀，而減少視野剩余部分的縮減區(qū)域通常具有凸面形狀。
在說明性的兩臺攝像機實施例中，使用第一靜止攝像機和平面旋轉(zhuǎn)反射鏡就可以獲得360度全景圖象。平面旋轉(zhuǎn)反射鏡繞攝像機的光軸旋轉(zhuǎn)。反射鏡以預(yù)定的傾角固定在攝像機上方，這樣當(dāng)反射鏡旋轉(zhuǎn)，反射鏡的視野捕捉所希望的全景反射鏡頭。同時利用了比第一攝像機分辨率或放大率高的第二攝像機。第二個半反射鏡沿著光軸放置。半反射鏡將預(yù)定百分比的反射光透射給第一攝像機，并將預(yù)定百分比的反射光反射給第二攝像機。
參考下面的詳細描述和圖，會獲得對本發(fā)明更完全的了解以及本發(fā)明的進一步特點和優(yōu)點。
附圖簡述

圖1說明按照本發(fā)明一個實施例的全景圖象跟蹤系統(tǒng)；圖2A和2B分別說明圖1中旋轉(zhuǎn)反射鏡的一個實施例的前視圖和頂視圖；圖3說明按照本發(fā)明兩臺攝像機實施例的全景圖象跟蹤系統(tǒng)；以及圖4是結(jié)合本發(fā)明的整體特點描述典型全景攝影跟蹤系統(tǒng)的流程圖。
發(fā)明詳述圖1說明按照本發(fā)明一個實施例的全景圖象跟蹤系統(tǒng)100。使用一臺靜止攝像機120和旋轉(zhuǎn)反射鏡200，本發(fā)明獲得360度全景圖象，下面結(jié)合圖2進一步討論。這里描述的說明性實施例中，靜止攝像機120懸掛在室內(nèi)，被天花板110和兩面墻壁115a、115b限定。如圖1中所示，旋轉(zhuǎn)反射鏡200繞攝像機120的光軸130旋轉(zhuǎn)。反射鏡200使用一個以固定速度按大約360度轉(zhuǎn)動的被動、非可控制的電機旋轉(zhuǎn)。反射鏡200按預(yù)定的傾角固定在攝像機120上方，這樣，當(dāng)反射鏡200圍繞著攝像機120旋轉(zhuǎn)時，反射鏡200的視野140捕捉所希望的全景反射鏡頭。在這種方式中，全景圖象跟蹤系統(tǒng)100處理使用已知圖象處理技術(shù)處理一系列圖象以創(chuàng)建需要的全景圖象。
本發(fā)明提供至少有一個高分辨率部分的全景圖象。按照本發(fā)明的一個特點，不使用可控制的運動硬件在全景圖象中進行跟蹤。在一種實施例中，此處稱為“成型反射鏡實施例”，一個成型的旋轉(zhuǎn)反射鏡200，至少將視野的一部分放大，這樣對應(yīng)放大區(qū)域，靜止的攝像機120就可以獲得較高分辨率的圖象。在另一種實施例中，此處稱為“兩臺攝像機實施例”，具有不同分辨率的兩臺靜止攝像機120聚焦在平面旋轉(zhuǎn)反射鏡200上。較低分辨率的第一靜止攝像機120-1產(chǎn)生整個的全景圖象，而較高分辨率的第二靜止攝像機120-2產(chǎn)生較小視野的較高分辨率圖象。
成型反射鏡實施例圖2A是依照本發(fā)明的說明性旋轉(zhuǎn)反射鏡200的前視圖。如圖2A所示，說明性旋轉(zhuǎn)反射鏡200包含一個將視野一部分放大的放大區(qū)域220，以及縮減視野剩余部分的兩個區(qū)域210a，210b。因此，圖2A所示的說明性旋轉(zhuǎn)反射鏡200順著水平軸旋轉(zhuǎn)，放大區(qū)域220在每個圖象產(chǎn)生一個垂直的高分辨率帶。
圖2B是圖2A說明性旋轉(zhuǎn)反射鏡200的頂視圖。如圖2B所示，旋轉(zhuǎn)反射鏡200是曲面的以產(chǎn)生變化的放大分辨率區(qū)域。將視野一部分放大的放大區(qū)域220通常有凹面形狀，而將視野剩余部分縮減的縮減區(qū)域210a，210b有凸面形狀。換句話說，放大區(qū)域220是高分辨率區(qū)，它通過把水平尺寸放大并把視野的一部分240投影到比視野240部分寬的圖象條上得到。同樣地，縮減區(qū)域210a，210b是低分辨率區(qū)，它通過把水平尺寸縮短并把視野的相應(yīng)部分230a，230b投影到比視野230a，230b部分窄的圖象條上得到。一般說來，230a，230b圖象部分的水平分辨率為每個全景度f/a個象素，反之，240圖象部分的水平分辨率為每個全景度fb個象素，這里，f是一個常數(shù)，a和b都是大于1的數(shù)。
因此，當(dāng)旋轉(zhuǎn)反射鏡200旋轉(zhuǎn)時，靜止攝像機120捕捉多幅用于產(chǎn)生所需的全景圖象的圖象。每幅圖象捕捉完整的視野140(如圖1和2B所示)，包含一個高分辨率部分240和兩個低分辨率部分230a，230b。按照本發(fā)明的另一個特點，高分辨率部分240是亞取樣，以獲得兩個低分辨率部分230a，230b那樣同樣的分辨率。特別地，高分辨率部分240被系數(shù)1/ab亞取樣。
以此方式，所需的全景圖象被作為低分辨率圖象得到。因此，運動目標出現(xiàn)并可以以單一的低分辨率圖象跟蹤。為了詳細討論對感興趣的低分辨率圖象目標進行跟蹤，例如，參看D.Gutchess等人的“使用全向和主動攝像機自動監(jiān)視”會刊。在Computer Vision2000(2000)上的亞洲會議，或C.Wren等人“Pfinder人體的實時跟蹤”，IEEE.Trans.PAMI，19(7)(1997)，這里結(jié)合每一篇作為參考。
對于給定的實施過程，協(xié)調(diào)反射鏡200的旋轉(zhuǎn)速度和垂直帶240的水平寬度，這樣，在反射鏡200的每個旋轉(zhuǎn)周期，整個視野140的每一部分都得到高分辨率圖象。在這樣的方式中，全景圖象是隨著反射鏡200每個旋轉(zhuǎn)周期更新的。維護一個整個全景攝影的低分辨率版本，以及對應(yīng)完全的全景攝影的每一個相臨高分辨率垂直帶240。
如下面結(jié)合圖4進一步討論的那樣，給出把視野一部分放大的要求，重新得到相應(yīng)的高分辨率垂直帶240，并疊加在整個全景攝影的低分辨率圖象上。人們注意到，本發(fā)明通過把高分辨率圖象亞取樣到所希望的分辨率，允許低分辨率和高分辨率之間的任何分辨率。然而，對于圖象視野，低分辨率圖象上的任何東西的視野都是高分辨率圖象的較小視野。
兩臺攝像機實施例圖3按照本發(fā)明的兩臺攝像機實施例圖解說明全景圖象跟蹤系統(tǒng)300。兩臺攝像機實施例，使用一臺第一靜止攝像機320-1和平面旋轉(zhuǎn)反射鏡325，獲得360度全景圖象。第一靜止攝像機320-1懸掛在室內(nèi)，被天花板310和兩面墻壁315a、315b限定。如圖3所示，平面旋轉(zhuǎn)反射鏡325繞攝像機320-1的光軸330旋轉(zhuǎn)。使用一個以固定速度按大約360度轉(zhuǎn)動的被動、不可控的電機使反射鏡325旋轉(zhuǎn)。反射鏡325以預(yù)定的傾角固定在攝像機320-1上方，這樣，當(dāng)反射鏡325繞著攝像機320-1旋轉(zhuǎn)時，反射鏡325的視野340捕捉所需要的全景反射鏡頭。在這種方式中，全景圖象跟蹤系統(tǒng)300處理使用已知圖象處理技術(shù)處理一系列圖象以創(chuàng)建需要的全景圖象。
在兩臺攝像機實施例中，同時利用了分辨率或放大率比第一攝像機320-1高的第二攝像機320-2。如圖3所示，一個第二半反射鏡345，例如半鍍銀反射鏡，沿著光軸330放置。半反射鏡345將預(yù)定百分比的反射光從反射鏡325的透射給攝像機320-1，并將預(yù)定百分比的反射光從反射鏡325反射給攝像機320-2。第一攝像機320-1捕捉一串疊加的可以被集成以獲得全景圖象的低分辨率圖象。另外，第二攝像機320-2捕捉一串較高分辨率的圖象，可以利用它們放大所需要的感興趣區(qū)域。在說明性的實施例中，第二攝像機320-2捕捉的較高分辨率圖象是垂直帶，類似于上述討論的成型反射鏡實施例中的樣式。
跟蹤過程本發(fā)明可以在全景攝影的單一低分辨率圖象中跟蹤感興趣的目標。圖4是結(jié)合本發(fā)明特點描述典型全景攝影跟蹤過程400的流程圖。如圖4所示，全景攝影跟蹤過程400在步驟410期間，使用上述討論的成型反射鏡和兩臺攝像機實施例，連續(xù)捕捉低分辨率全景圖象和高分辨率帶。
一旦收到把視野放大的請求(例如，從跟隨運動目標的自動跟蹤模型)，當(dāng)在步驟415期間探測到時，全景攝影跟蹤過程400在步驟420期間取回相應(yīng)的高分辨率垂直帶240。然后，取回的高分辨率垂直帶240在步驟430期間被重疊在整個全景攝影低分辨率圖象上。再一次注意到，本發(fā)明通過亞取樣高分辨率圖象到所希望的分辨率，允許低分辨率圖象和高分辨率圖象之間的任何分辨率。然后程序控制回到步驟410繼續(xù)實時更新全景圖象，直到選擇了新的放大區(qū)域。
要弄清楚的是，這里描述和說明的實施例及變化僅僅是本發(fā)明的原理說明，對于那些熟悉本技術(shù)的人，可以在不偏離本發(fā)明的范圍和精神的前提下，進行各種各樣的修改。
權(quán)利要求
1.數(shù)字圖象系統(tǒng)(100)，包含具有視野(140)的成型旋轉(zhuǎn)反射鏡(200)，其中所述的視野(140)包括較高分辨率區(qū)域(220)；和聚焦在所述旋轉(zhuǎn)反射鏡(200)上并捕捉所述視野(140)大多數(shù)圖象的攝像機(120)。
2.權(quán)利要求1的數(shù)字圖象系統(tǒng)(100)，其中所述成型旋轉(zhuǎn)反射鏡(200)包括一個通常為凹面面域，以得到所述視野(140)的所述高分辨率區(qū)域(220)。
3.權(quán)利要求1的數(shù)字圖象系統(tǒng)(100)，其中所述成型旋轉(zhuǎn)反射鏡(200)至少包括一個通常為凸面面域(210)，以得到所述視野(140)的所述低分辨率區(qū)域。
4.權(quán)利要求1的數(shù)字圖象系統(tǒng)(100)，其中所述成型旋轉(zhuǎn)反射鏡(200)以固定速度旋轉(zhuǎn)。
5.權(quán)利要求1的數(shù)字圖象系統(tǒng)(100)，其中所述成型旋轉(zhuǎn)反射鏡(200)使用被動的、不可控制的電機旋轉(zhuǎn)，電機使所述的反射鏡繞著固定的軸旋轉(zhuǎn)。
6.權(quán)利要求1的數(shù)字圖象系統(tǒng)(100)，其中所述視野(140)捕捉全景圖象。
7.數(shù)字圖象系統(tǒng)(100)，包含具有視野(340)的旋轉(zhuǎn)反射鏡(325)；聚焦在所述旋轉(zhuǎn)反射鏡(325)上并捕捉所述視野(340)的大多數(shù)圖象的第一靜止攝像機(320-1)；在所述第一靜止攝像機(320-1)前面的光路中的第二反射鏡(345)；以及聚焦在所述第二個反射鏡(345)上并捕捉所述視野(340)大多數(shù)圖象的第二靜止攝像機(320-2)，其中所述第二攝像機(320-2)有比所述第一攝像機(320-1)高的分辨率。
8.權(quán)利要求7的數(shù)字圖象系統(tǒng)(100)，還包含位于所述第一和第二靜止攝像機(320-1，2)光路中的半反射鏡，這樣，所述半反射鏡把預(yù)定百分比的反射光從所述旋轉(zhuǎn)反射鏡(325)透射給所述第一攝像機(320-1)，并把預(yù)定百分比的所述反射光從旋轉(zhuǎn)反射鏡(325)反射給所述第二攝像機(320-2)。
9.權(quán)利要求7的數(shù)字圖象系統(tǒng)(100)，其中所述視野(340)捕捉全景圖象。
10.權(quán)利要求7的數(shù)字圖象系統(tǒng)(100)，其中所述旋轉(zhuǎn)反射鏡(325)以固定速度旋轉(zhuǎn)。
11.權(quán)利要求7的數(shù)字圖象系統(tǒng)(100)，其中所述視野(140)捕捉全景圖象。
12.權(quán)利要求7的數(shù)字圖象系統(tǒng)(100)，其中所述第二反射鏡(345)是半反射鏡。
13.權(quán)利要求7的數(shù)字圖象系統(tǒng)(100)，其中所述第二反射鏡(345)是半鍍銀反射鏡。
14.獲得數(shù)字圖象的方法，包含如下步驟旋轉(zhuǎn)具有視野(140)的成型反射鏡(200)，其中所述的視野(140)包括較高分辨率區(qū)域(220)；和將攝像機(120)聚焦在所述旋轉(zhuǎn)反射鏡(200)上；并捕捉所述視野(140)的大多數(shù)圖象。
15.權(quán)利要求14的方法，其中所述的成型反射鏡(200)包括一個通常的凹面區(qū)域以獲得所述視野(140)的較高分辨率區(qū)域(220)。
16.權(quán)利要求14的方法，其中所述的成型反射鏡(200)至少包括一個通常的凸面區(qū)域(210)以獲得所述視野(140)的較低分辨率區(qū)域。
17.權(quán)利要求14的方法，其中所述的旋轉(zhuǎn)步驟以固定速度旋轉(zhuǎn)所述成型反射鏡(200)。
18.權(quán)利要求14的方法，其中所述旋轉(zhuǎn)步驟使用一個被動的、非可控制的電機旋轉(zhuǎn)所述成型反射鏡(200)，電機使所述反射鏡繞著固定軸旋轉(zhuǎn)。
19.權(quán)利要求14的方法，其中所述視野(140)捕捉全景圖象。
20.權(quán)利要求19的方法，進一步包含把所述大多數(shù)圖象集成的步驟，以得到所述的全景圖象。
21.獲得數(shù)字圖象的方法包含以下幾個步驟旋轉(zhuǎn)具有視野(340)的反射鏡(325)；把第一靜止攝像機(320-1)聚焦在所述旋轉(zhuǎn)反射鏡(325)上；使用所述第一靜止攝像機(320-1)捕捉所述視野(340)的大多數(shù)圖象；把第二反射鏡(345)置于所述第一靜止攝像機(320-1)前面的光路中；和把第二靜止攝像機(320-2)聚焦在所述第二反射鏡(345)上并捕捉所述視野(340)的大多數(shù)圖象，其中所述第二攝像機(320-2)和所述第一攝像機(320-1)相比有較高的分辨率。
22.權(quán)利要求21的方法，進一步包含下面步驟，把半反射鏡(345)置于所述第一和第二靜止攝像機(320-1，2)的光路中，這樣所述半反射鏡把預(yù)定百分比的反射光從所述旋轉(zhuǎn)反射鏡(325)透射給所述第一攝像機(320-1)，并把所述旋轉(zhuǎn)反射鏡(325)預(yù)定百分比的反射光反射給所述第二攝像機(320-2)。
23.權(quán)利要求21的方法，其中所述大多數(shù)圖象可以被集成以獲得全景圖象。
24.權(quán)利要求21的方法，其中所述旋轉(zhuǎn)步進以固定速度旋轉(zhuǎn)所述反射鏡(325)。
25.權(quán)利要求21的方法，其中所述第二反射鏡(345)是半反射鏡。
26.權(quán)利要求21的方法，其中所述第二反射鏡(345)是半鍍銀反射鏡。
27.獲得數(shù)字圖象的制作條款，包含裝有計算機可讀碼設(shè)備的計算機可讀介質(zhì)，所述的計算機可讀程序碼設(shè)備包含旋轉(zhuǎn)帶有視野(140)的成型反射鏡(200)的步驟，其中所述的視野(140)包含高分辨率區(qū)域(220)；和將攝像機聚焦于所述的旋轉(zhuǎn)反射鏡(200)的步驟；和捕捉所述視野(140)的大多數(shù)圖象的步驟。
28.獲得數(shù)字圖象的制作條款，包含具有計算機可讀碼設(shè)備的計算機可讀介質(zhì)，所述的計算機可讀程序碼設(shè)備包含旋轉(zhuǎn)具有視野(340)的反射鏡(325)的步驟；把第一靜止攝像機(320-1)聚焦在所述旋轉(zhuǎn)反射鏡(325)上的步驟；使用所述第一靜止攝像機(320-1)捕捉所述視野(340)大多數(shù)圖象的步驟；把第二反射鏡(345)置于所述第一靜止攝像機(320-1)前面光路中的步驟；以及把第二靜止攝像機(320-2)聚焦在所述第二反射鏡(345)上并捕捉所述視野(340)大多數(shù)圖象的步驟，其中所述第二攝像機(320-2)和所述第一攝像機(320-1)相比有較高的分辨率。
全文摘要
一種用于跟蹤一幅至少有一個高分辨率區(qū)域的數(shù)字圖象中的一個感興趣的目標的方法和裝置被公開。在“成型反射鏡實施例”中，成型旋轉(zhuǎn)反射鏡至少將視野的一部分放大，這樣，靜止攝像機得到相應(yīng)于被放大的區(qū)域的高分辨率圖象。在“兩臺攝像機實施例”中，分辨率不同的兩臺靜止攝像機被聚焦在平面旋轉(zhuǎn)反射鏡上。具有較低分辨率的第一靜止攝像機產(chǎn)生整個全景圖象，而具有高分辨率的第二靜止攝像機產(chǎn)生較小視野的高分辨率圖象。在成型反射鏡實施例中，旋轉(zhuǎn)反射鏡包含將視野一部分放大的一個放大區(qū)域和縮減視野剩余部分的另外區(qū)域。在說明性的實施例中，旋轉(zhuǎn)反射鏡彎曲以產(chǎn)生可變的放大分辨率的區(qū)域。在說明性的兩臺攝像機實施例中，使用第一靜止攝像機和平面旋轉(zhuǎn)反射鏡得到360度的全景圖象。同時利用了比第一攝像機具有較高分辨率或較高放大率的第二攝像機。半反射鏡把預(yù)定百分比的反射光透射給第一攝像機并把預(yù)定的百分比的反射光反射給第二攝像機。
文檔編號G06T1/00GK1404682SQ01803285
公開日2003年3月19日 申請日期2001年8月16日 優(yōu)先權(quán)日2000年8月25日
發(fā)明者D·魏恩沙爾, D·M·萊昂斯 申請人:皇家菲利浦電子有限公司