專利名稱：基于攝取圖像計算關(guān)于測量對象的信息的信息處理方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用存在于真實空間中的標記的攝取圖像來計算關(guān)于該標記或者測量對象或者圖像拾取單元的參數(shù)的信息。
背景技術(shù)：
人們已經(jīng)就混合現(xiàn)實(MR)技術(shù)進行了廣泛的研究，混合現(xiàn)實技術(shù)，即，將虛擬空間的信息實時疊加在真實空間上并將疊加的結(jié)果顯示給用戶。用于這種MR系統(tǒng)中的圖像顯示設(shè)備主要通過視頻透視(video see-through)方法來實施，所述視頻透視方法即根據(jù)圖像拾取裝置(例如攝像機)的位置和取向產(chǎn)生的虛擬空間中的圖像疊加在由該圖像拾取裝置攝取的真實空間中的圖像上，從而得到疊加的圖像，并且顯示該疊加的圖像。
為了使用戶能夠在沒有任何不舒適感的情況下使用MR系統(tǒng)，一個重要因素在于真實空間與虛擬空間配準的精確程度。人們采取了很多措施以實現(xiàn)精確的配準。一般來說，MR應(yīng)用中的配準問題最終導致獲取所述圖像拾取裝置相對于虛擬信息要疊加在其上的空間或者物體的位置和取向的問題。
為了解決這個問題，在日本信息處理學會(IPSJ)研討會的Colletected Papers I of Meeting on Image Recognition andUnderstanding(MIRU 2002)，Sato和Tamura的“Fukugo-genjitsukanni okeru ichiawase shuhou(混合現(xiàn)實中的配準技術(shù)的綜述)”，vol.2002，no.11，pp.I.61-I.68，2002(本文稱為“文獻1”)中公開了使用放置或者設(shè)置在環(huán)境中或者物體上的標記的配準技術(shù)。在這些技術(shù)中，預先給出每個標記的三維坐標。使用每個標記的預先給定的三維坐標和每個標記在由圖像拾取裝置攝取的圖像內(nèi)的圖像坐標之間的關(guān)系，計算該圖像拾取裝置的位置和取向。
在日本虛擬現(xiàn)實學會(Virtual Reality Society of Japan)的論文集的Uchiyama和Yamamoto和Tamura的“Fukugo-genjitsukan no tame no harburiddo ichiawase shuhou-6jiyudo sensa to bijnon shuhou no heiyou-(用于合并真實世界和虛擬世界的魯棒配準方法-結(jié)合6個自由度(DOF)傳感器和視覺算法)”，vol.8，no.1，pp.119-125，2003(本文稱為“文獻2”)中，公開了一種利用標記以及磁性或者光學6-DOF位置/取向傳感器的混合方法。雖然該6-DOF位置/取向傳感器以穩(wěn)定的方式提供測量值，但是在很多情況下精確度不夠。因此，在該方法中，使用關(guān)于標記的圖像信息對從安裝在圖像拾取裝置上的6-DOF位置/取向傳感器中獲取的圖像拾取裝置的位置和取向進行校正，從而提高精確度。
在日本虛擬現(xiàn)實學會(Virtual Reality Society of Japan)的論文集的Uchiyama和Yamamoto的“UG+B houshukan oyobikyakkan shiten kamera to shisei-sensa wo mochiita ichiawase shuhou(UG+B使用主客觀照相機和取向傳感器的配準框架)”，vol.10，no.3，pp.391-400，2005(本文稱為“文獻3”)中，3-DOF取向傳感器安裝在圖像拾取裝置上，并且，公開了一種使用關(guān)于標記的圖像信息和由取向傳感器測量的取向值來測量圖像拾取裝置的位置和取向的方法。
在使用標記的上述配準方法中，需要預先得到標記在作為配準參考(下文稱為“參考坐標系統(tǒng)”)的三維坐標系中的三維信息(下文稱為“關(guān)于標記的放置信息”或者簡稱為“標記放置信息”)?？梢允褂脴顺?、量角器、公尺等手動地測量關(guān)于標記的放置信息。但是，這種手動測量涉及很多步驟，而且精確度差。因此，使用圖像信息，以簡單的高度精確的方式獲取了標記放置信息。
可以使用集束調(diào)節(jié)(bundle adjustment)方法獲取關(guān)于標記的放置信息，每個標記表示在三維空間中的一點的位置(下文稱為“點標記”)。集束調(diào)節(jié)方法是這樣一種方法，即，基于從各個方向攝取的很多圖像，同時計算一組點在空間中的位置、以及圖像拾取裝置在圖像拾取裝置攝取每個圖像時的位置和取向。更具體地說，該方法優(yōu)化該組點的位置以及所述圖像拾取裝置的位置和取向，以使這些點在每個攝取圖像中的被觀看位置和這些點在圖像中計算所得位置之間的誤差之和最小，所述計算所得位置是基于這些點的位置以及所述圖像拾取裝置的位置和取向而計算得到的。與此相反，對于具有二維形狀的標記例如正方形標記的情況而言(其放置信息由參考坐標系統(tǒng)中的位置和取向表示，下文稱為“二維標記”)，無法直接應(yīng)用集束調(diào)節(jié)方法(即，獲得所述組點的位置的方法)。因此，在日本虛擬現(xiàn)實學會的論文集的Kotake、Uchiyama和Yamamoto的“Maka haichi nikansuru senkenteki chishiki wo riyoushita maka kyaribureishonhouhou(利用關(guān)于標記布置的現(xiàn)有知識的標記校準方法)”，vol.10，no.3，pp.401-410，2005(本文稱為“文獻4”)中，公開了一種獲得關(guān)于二維標記和點標記的放置信息的方法，該方法與已知的集束調(diào)節(jié)方法相似。
在使用標記和6-DOF位置/取向傳感器的上述配準方法中，不僅必須預先測量關(guān)于標記的放置信息，而且還必須預先測量關(guān)于傳感器的放置信息。
例如，在使用磁性6-DOF位置/取向傳感器的情況中，發(fā)射器固定在空間中，接收器安裝在測量對象(例如，圖像拾取裝置)上，以測量測量對象的位置和取向。傳感器構(gòu)造用來測量所述接收器在由所述發(fā)射器限定的坐標系中的6-DOF位置/取向。因此，為了獲取測量對象在參考坐標系統(tǒng)中的位置和取向，必須預先測量發(fā)射器相對于參考坐標系統(tǒng)的放置信息(即，位置和取向)和接收器相對于測量對象的放置信息(即，位置和取向)。日本專利公開No.2003-269913(對應(yīng)于美國專利No.6792370)公開了一種使用從各個方向攝取的放置在參考坐標系統(tǒng)中的多個標記的多個圖像來獲得傳感器的放置信息的方法。在使用3-DOF取向傳感器的情況中，取向傳感器安裝在測量對象(例如，圖像拾取裝置)上，以測量測量對象的取向。為了達到這點，必須預先測量取向傳感器相對于測量對象的放置信息(即，取向)。日本專利公開No.2005-326275(對應(yīng)于美國已公開專利申請No.2005/0253871)公開了一種使用多個標記的多個攝取圖像獲得傳感器相對于測量對象的取向的方法。
在相關(guān)的技術(shù)中，已經(jīng)使用從各個方向攝取的很多圖像來測量關(guān)于用于配準和傳感器的標記的放置信息。通常，這些圖案由決定圖像攝取位置的用戶手動地攝取。然而，這種隨機的攝取圖像對高精確地測量所述放置信息是不夠的。用戶必須具有豐富的經(jīng)驗和足夠的知識。換句話說，不是每個人可以容易地測量放置信息。
因為已知的測量關(guān)于標記和傳感器的放置信息需要費時的準備，所以用戶體驗MR系統(tǒng)之前必須進行測量。因此，在用戶體驗MR系統(tǒng)時，沒有新的標記可被增加來擴大移動范圍。當在用戶體驗MR系統(tǒng)的同時標記或傳感器放置信息發(fā)生改變時，無法實時地采取措施以處理這種變化。
發(fā)明內(nèi)容
本發(fā)明的一些實施例允許從由圖像拾取裝置攝取的圖像序列自動地判定和獲取測量關(guān)于標記或者傳感器的放置信息所需的圖像，從而避免依賴于用戶經(jīng)驗或者知識。
此外，本發(fā)明的一些實施例還允許在用戶體驗MR系統(tǒng)的同時通過從由圖像拾取裝置攝取的圖像序列自動地判定和獲取測量關(guān)于標記或者傳感器的放置信息所需的圖像來測量關(guān)于標記或者傳感器的放置信息。
本發(fā)明的各方面具有下述結(jié)構(gòu)。
根據(jù)本發(fā)明的一方面的信息處理方法是使用存在于真實空間中的標記的攝取圖像計算關(guān)于測量對象的信息的信息處理方法，該方法包括以下步驟獲取由圖像拾取單元攝取的圖像；從所述攝取圖像提取標記；獲取關(guān)于圖像拾取單元的位置和取向信息；基于由標記信息管理單元管理的關(guān)于標記的放置信息、以及關(guān)于所述圖像拾取單元的位置和取向信息，判定是否使用與所述位置和取向信息相對應(yīng)的所述攝取圖像來計算關(guān)于所述測量對象的信息；以及在判定要使用所述攝取圖像的情況下使用所述攝取圖像計算關(guān)于所述測量對象的信息。
根據(jù)本發(fā)明的另一方面的信息處理方法是使用存在于真實空間中的標記的攝取圖像計算關(guān)于測量對象的信息的信息處理方法，該方法包括以下步驟獲取由圖像拾取單元攝取的圖像；從所述攝取圖像提取標記；獲取關(guān)于圖像拾取單元的位置和取向信息；基于關(guān)于所述圖像拾取單元的位置和取向信息，計算其中應(yīng)該攝取圖像的圖像攝取區(qū)域的區(qū)域信息；以及顯示計算所得的區(qū)域信息。
根據(jù)本發(fā)明的又一方面的信息處理設(shè)備是使用存在于真實空間中的標記的攝取圖像計算關(guān)于測量對象的信息的信息處理設(shè)備，該設(shè)備包括以下元件攝取圖像獲取單元，其構(gòu)造用來獲取由圖像拾取單元攝取的圖像；提取單元，其構(gòu)造用來從所述攝取圖像提取標記；位置/取向信息獲取單元，其構(gòu)造用來獲取關(guān)于所述圖像拾取單元的位置和取向信息；判定單元，其構(gòu)造用來基于由標記信息管理單元管理的關(guān)于標記的放置信息、以及關(guān)于所述圖像拾取單元的位置和取向信息，判定是否使用與所述位置和取向信息相對應(yīng)的所述攝取圖像來計算關(guān)于所述測量對象的信息；以及計算器，其構(gòu)造用來在所述判定單元判定要使用所述攝取圖像的情況下使用所述攝取圖像計算關(guān)于所述測量對象的信息。
根據(jù)本發(fā)明的再一方面的信息處理設(shè)備是使用存在于真實空間中的標記的攝取圖像計算關(guān)于測量對象的信息的信息處理設(shè)備，該設(shè)備包括以下元件攝取圖像獲取單元，其構(gòu)造用來獲取由圖像拾取單元攝取的圖像；提取單元，其構(gòu)造用來從所述攝取圖像提取標記；位置/取向信息獲取單元，其構(gòu)造用來獲取關(guān)于所述圖像拾取單元的位置和取向信息；計算器，其構(gòu)造用來基于關(guān)于所述圖像拾取單元的位置和取向信息，計算其中應(yīng)該攝取圖像的圖像攝取區(qū)域的區(qū)域信息；以及顯示單元，其構(gòu)造用來顯示由所述計算器計算的所述區(qū)域信息。
根據(jù)下面參照附圖對范例實施例的描述，本發(fā)明的其它特征將顯而易見。
圖1是根據(jù)本發(fā)明的第一范例實施例的信息處理設(shè)備的范例結(jié)構(gòu)的示意圖。
圖2是由根據(jù)第一實施例的信息處理設(shè)備執(zhí)行的過程的流程圖。
圖3A示出其中放置多個標記的環(huán)境。
圖3B示出四角形標記。
圖3C示出圓形標記。
圖4是由根據(jù)第一實施例的圖像判定單元執(zhí)行的過程的流程圖。
圖5示出根據(jù)第一實施例的評估值的計算。
圖6是獲取關(guān)于標記的放置信息或者圖像拾取單元的位置和取向的過程的流程圖。
圖7是根據(jù)本發(fā)明的第二范例實施例的信息處理設(shè)備的范例結(jié)構(gòu)的示意圖。
圖8是由根據(jù)第二實施例的信息處理設(shè)備執(zhí)行的過程的流程圖。
圖9是由根據(jù)第二實施例的圖像判定單元執(zhí)行的過程的流程圖。
圖10是由根據(jù)本發(fā)明的第三范例實施例的信息處理設(shè)備執(zhí)行的過程的流程圖。
圖11示出根據(jù)第三實施例的放置在參考坐標系統(tǒng)中的標記變換到照相機坐標系統(tǒng)。
圖12是根據(jù)本發(fā)明的第四范例實施例的信息處理設(shè)備的范例結(jié)構(gòu)的示意圖。
圖13是由根據(jù)第四實施例的信息處理設(shè)備執(zhí)行的過程的流程圖。
圖14示出根據(jù)第四實施例的圖像攝取區(qū)域。
圖15A和圖15B示出根據(jù)第四實施例的圖像攝取區(qū)域或者圖像攝取位置和取向的表示。
圖16是根據(jù)本發(fā)明的第五范例實施例的信息處理設(shè)備的范例結(jié)構(gòu)的示意圖。
圖17是由根據(jù)第五實施例的信息處理設(shè)備執(zhí)行的過程的流程圖。
圖18是根據(jù)本發(fā)明的第七范例實施例的信息處理設(shè)備的范例結(jié)構(gòu)的示意圖。
圖19是由根據(jù)第七實施例的信息處理設(shè)備執(zhí)行的過程的流程圖。
圖20是由根據(jù)第七實施例的圖像判定單元執(zhí)行的過程的流程圖。
具體實施例方式現(xiàn)在，在下文中參照附圖詳細地描述本發(fā)明的優(yōu)選范例實施例。
第一范例實施例 根據(jù)第一范例實施例的信息處理設(shè)備使用存在于真實空間中的標記的攝取圖像。
圖1示意性地示出根據(jù)第一實施例的構(gòu)造用來計算關(guān)于標記的放置信息的信息處理設(shè)備1000的范例結(jié)構(gòu)。
信息處理設(shè)備1000連接圖像拾取單元100，例如，攝像機等。
圖像獲取單元1010從圖像拾取單元100獲取圖像。圖像拾取單元100攝取空間或者物體的圖像，其中標記放置在其上，隨后通過圖像獲取單元1010將一系列的運動圖像輸出到信息處理設(shè)備1000。例如，圖像獲取單元1010是安裝在個人計算機(PC)上的視頻捕捉卡。圖像獲取單元1010可以獲取在過去攝取的存儲在存儲裝置(未圖示)上的一系列圖像，以代替獲取由圖像拾取單元100(例如攝像機)攝取的實時活動圖像。
標記提取單元1020從所獲取的圖像提取標記。
現(xiàn)在，在下面描述用于第一實施例的標記。
在MR可以體驗的環(huán)境(下文簡稱為“環(huán)境”)中或者在該環(huán)境的物體上，放置多個四邊的標記(下文稱為“四角形標記”)，如圖3A所示。每個放置的標記表示為Pk(k＝1，...，ko)，其中ko是放置的標記數(shù)目(在圖3A所示的實例中，ko＝3)。如圖3B所示，每個四角形標記具有代表其標識符的內(nèi)部圖案。根據(jù)該標識符，可以唯一地識別每個四角形標記。每個四角形Pk具有頂點Pki(i＝1，...，Nk)，其中，Nk是構(gòu)成標記Pk的頂點的數(shù)目(因為在第一實施例中的標記是四角形，所以Nk＝4)。
標記提取單元1020在攝取圖像化為二進制之后執(zhí)行標簽，并且從其面積大于或者等于預定面積的區(qū)域提取由四條直線限定的區(qū)域，作為標記候補區(qū)域。然后，通過判定該候補區(qū)域是否包含特定的圖案，來判定該候補區(qū)域是否為標記區(qū)域。在該候補區(qū)域被判定為標記區(qū)域的情況下，讀取該標記區(qū)域的內(nèi)部圖案，以獲得該標記在圖像內(nèi)的方向和該標記的標識符，從而從獲取的圖像中提取該標記。
放置在所述環(huán)境中或者物體上的標記Pk不局限于四角形標記。標記Pk可以具有任何形狀，只要它在攝取圖像中是可檢測的、可識別的即可。
例如，如圖3C所示，可以使用具有不同顏色的圓形點標記。在這種情況下，在圖像中檢測與每種標記顏色對應(yīng)的區(qū)域，并且，其重心位置判定為所述標記的檢測坐標?；蛘?，原先就存在于所述空間中并且具有不同的紋理特征的特征點(自然特征點)可以作為標記。在這種情況中，通過對圖像實施模板匹配以檢測與作為已知信息預先存儲的標記模板圖像的任何匹配，來從圖像提取標記。
標記不局限于上述這些，并且可以是任何類型的或者具有任何形狀，只要它們固定在所述空間中并在攝取圖像中是可檢測的即可。
標記管理單元1030管理關(guān)于由標記提取單元1020提取的標記的每個四角形標記Pkn的標識符kn、每個標記Pkn的每個頂點Pkni的圖像坐標UPkni、以及作為標記信息的關(guān)于每個標記Pkn的放置信息。關(guān)于每個標記的放置信息表示在所述標記是四角形標記的情況下所述標記相對于參考坐標系統(tǒng)的位置和取向，并且表示在所述標記是點標記的情況下所述標記相對于參考坐標系統(tǒng)的位置。
基于在環(huán)境中或者物體上的一點來定義所述參考坐標系統(tǒng)，該點作為原點，相互正交的三個軸分別定義為X軸、Y軸和Z軸。在第一實施例中，已知其在所述參考坐標系統(tǒng)中的放置信息的標記稱為“參考標記”。攝取圖像以使得所述參考標記被包含在至少一個圖像中。
在圖像拾取單元100攝取每個圖像的時候，圖像拾取單元位置/取向獲取單元1040獲取圖像拾取單元100的大致的位置和取向。
圖像判定單元1050判定是否使用由圖像獲取單元1010獲取的圖像來計算關(guān)于每個標記的放置信息。
使用待使用的由圖像判定單元1050判定的圖像，標記放置信息計算器1060計算關(guān)于每個標記的放置信息。
接下來，下面參照圖2所示的流程圖來描述根據(jù)第一實施例的計算標記放置信息的過程。
在步驟S2010中，圖像獲取單元1010獲取由圖像拾取單元100當前正攝取的圖像。
在步驟S2020中，標記提取單元1020從由圖像獲取單元1010獲取的圖像中提取標記，并且將每個提取的四角形標記Pkn的標識符kn和在標記管理單元1030中每個頂點Pkni的圖像坐標UPkni配準，其中n(n＝1，...，N)是與在所述圖像中檢測到的每個四角形標記相對應(yīng)的索引，以及N表示檢測到的四角形標記的總數(shù)。
此外，Ntotal是從圖像中提取的N個四角形標記的頂點的總數(shù)。在圖3A所示的實例中，攝取具有一個標識符的一個四角形標記、具有兩個標識符的一個四角形標記和具有三個標識符的一個四角形標記的圖像，其中N＝3。在標記管理單元1030中將標識符k1＝1、k2＝2和k3＝3與相應(yīng)的圖像坐標UPk2i、UPk2i和UPk3i(i＝1，2，3和4)配準。在這種情況下，Ntotal是12(＝3×4)。
在步驟S2030中，在圖像拾取單元100已經(jīng)攝取當前正被計算的圖像的時候，圖像拾取單元位置/取向獲取單元1040獲取圖像拾取單元100的大致的位置和取向信息。在第一實施例中，使用已知的方法，從關(guān)于其在參考坐標系統(tǒng)中的放置信息已知的標記的圖像信息獲取圖像拾取單元100的大致的位置和取向信息。例如，在圖像中檢測到的標記在所述空間上不共面的情況下，使用直接線性變換(DLT)獲取圖像拾取單元100的位置和取向。在檢測到的標記共面的情況下，使用采用平面單應(yīng)性(homography)的方法來獲取圖像拾取單元100的位置和取向。在攝影測量和計算機視覺的領(lǐng)域中，基于圖像坐標和多個點的三維坐標之間的關(guān)系來獲取圖像拾取單元100的位置和取向的這些方法是熟知的，因此，為了避免冗余，省略對其做詳細的描述。
獲取圖像拾取單元100的位置和取向的方法不局限于上述的方法?？商鎿Q的，例如，磁性、超聲或者光學6-DOF位置/取向傳感器安裝在圖像拾取單元100中，并且所述傳感器的輸出值可以用作圖像拾取單元100的大致的位置和取向?？商鎿Q的，如文獻3所述，可以使用3-DOF取向傳感器和標記獲取圖像拾取單元100的大致的位置和取向?？商鎿Q的，可以使用任何其它已知的技術(shù)獲取圖像拾取單元100的大致的位置和取向。
在步驟S2040中，計算評估值。在步驟S2050，基于評估值判定是否使用由圖像獲取單元1010獲取的圖像來計算關(guān)于每個標記的放置信息。圖4是在步驟S2040和S2050中執(zhí)行的程序的流程圖，以判定計算關(guān)于每個標記的放置信息是否需要該圖像。
在步驟S3010中，判定在獲取的圖像中是否檢測到參考標記，或者在所述圖像中是否檢測到在所述參考坐標系統(tǒng)中具有大致放置信息的標記。所述參考標記可以定義為多角形標記，例如矩形標記，其在圖像中檢測到的尺寸是已知的，或者定義為不共線、且具有已知相對位置關(guān)系的至少三個點標記。通過基于在圖像拾取單元100攝取標記圖像的時候該圖像拾取單元100的大致的位置和取向、以及每個頂點在該圖像中的位置來計算所述平面單應(yīng)性，可以獲取關(guān)于除所述參考標記以外的四角形標記的大致的放置信息。在所述標記是點標記的情況下，使用其中在圖像拾取單元100攝取標記圖像的時候該圖像拾取單元100的大致的位置和取向是已知的兩個攝取圖像，可以通過立體投影法(stereographic method)獲取所述標記的大致位置。
在圖像中沒有檢測到具有大致放置信息的參考標記或者標記的情況下，在步驟S3050中判定將不會使用該圖像。
在步驟S3020中，判定是否檢測到除參考標記以外的待測量的標記(作為測量對象)。在沒有檢測到作為測量對象的標記的情況下，在步驟S3050中判定將不會使用該圖像。
在步驟S3030中，將由標記管理單元1030管理的標記信息、以及由圖像拾取單元位置/取向獲取單元1040獲取的圖像拾取單元100的位置和取向輸入到圖像判定單元1050中。在步驟S3040中，計算用于判定是否使用該圖像計算標記放置信息的評估值?，F(xiàn)在將描述用于計算評估值的方法。
圖5示出獲得用于判定是否使用所獲取的圖像用于測量的評估值的方法。
在所述計算之前，給判定用于測量的圖像編上幀號1，2，...，m-1，然后，判定是否使用該獲取的圖像作為第m幀。在圖像拾取單元100攝取當前獲取的圖像的時候該圖像拾取單元100的位置是Cm[CmxCmyCmz]t。在參考坐標系統(tǒng)中的重心位置是Gm＝[GmxGmyGmz]t，其由關(guān)于在第m幀獲取的圖像中檢測到的一組標記的放置信息得到。
假設(shè)矢量 是從在圖像拾取單元100攝取第(m-1)幀的時候該圖像拾取單元100的位置Cm-1延伸到在笫(m-1)幀中檢測到的標記組的重心位置Gm-1，矢量 是從在圖像拾取單元100攝取當前攝取的圖像的時候該圖像拾取單元100的位置Cm延伸到重心位置Gm-1。由 和 限定的角度θAB計算為θAB=arccosA→-B→|A→|-|B→|]]>(1-1)所得到的角度θAB作為第一評估值。接下來， 和 之間的幅度比計算為α=|B→||A→|]]>(其中，|A→|>|B→|]]>)(1-2)α=|A→||B→|]]>(其中，|A→|<|B→|]]>)所得到的α作為第二評估值。
在步驟S3050中，基于所得到的評估值，判定是否使用所得到的圖像。
在第一評估值θAB滿足下述關(guān)系的情況下θAB＞θTAB(1-3)，判定在第(m-1)幀和當前攝取的圖像之間存在足夠大的視差，由此判定要使用所得到的圖像作為用于計算的第m幀。在表達式(1-3)中，θTAB是預定的閾值。評估值θAB超過閾值θTAB的情形，意味著檢測到的標記組的圖像是在第m幀和笫(m-1)幀中的不同視點上攝取的。根據(jù)所述標記在標記所放置在其中的三維空間或者環(huán)境中的分布，可以將閾值θTAB改變?yōu)槿魏沃?。例如，在標記所放置在房間中而圖像攝取范圍受限制的情況中，θTAB設(shè)定為相對較小的值。然而，在θTAB設(shè)定為小值的情況下，視差變小，從而降低測量結(jié)果的精確度。為了防止測量結(jié)果的精確度降低，可以增加所用的圖像的數(shù)目，或者可以所用高分辨率的照相機。
在不滿足表達式(1-3)中的條件的情況下，基于第二評估值α進行判定。
在第二評估值α滿足下述關(guān)系的情況下α＜αT1或者αT2＜α(其中αT1＜αT2)...(1-4)判定要使用所得到的圖像作為用于計算的第m幀。否則，不使用所得到的圖像。在表達式(1-4)中，αT1和αT2是預定的閾值。
第二評估值滿足上述條件的情形，意味著距離檢測到的標記組的圖像攝取距離在第m幀和第(m-1)幀之間不同。
在步驟S3060中，輸出在步驟S3050中所得的是否使用圖像的判定結(jié)果。
返回參照圖2，在步驟S2050中，如果在步驟S3050中判定要使用當前攝取的圖像，并且如果判定要用于計算標記放置信息的圖像的數(shù)目m滿足下述關(guān)系m≥2 ... (1-5)，則該流程進入步驟S2060。否則(如果在步驟S2040中判定將不使用該圖像，或者如果圖像的數(shù)目m不滿足表達式(1-5))，該流程返回到步驟S2010，并且得到新的圖像。
在步驟S2060中，使用關(guān)于要用于所述計算的所述圖像的信息來計算所述標記放置信息。
現(xiàn)在描述在步驟S2060中計算所述標記放置信息的過程。圖6示出計算所述標記放置信息的過程。
在步驟S5010中，輸入已由上述方法得到的在圖像拾取單元100攝取每個圖像的時候該圖像拾取單元100的大致的位置和取向、以及關(guān)于作為測量對象的每個矩形標記的大致放置信息。
在步驟S5020中，計算所述標記在圖像中的檢測位置和所述標記在圖像中的計算位置之間的誤差(殘余誤差)，該誤差是基于圖像拾取單元100的大致的位置和取向以及關(guān)于標記的大致放置信息來計算的。
假設(shè)u＝[uxuy]t表示所述標記在圖像中的投影位置，矢量s表示圖像拾取單元100的位置和取向，矢量a表示所述標記放置信息，則下述關(guān)系成立u＝F(s，a)...(1-6)其中，F(xiàn)是一個函數(shù)，包括從參考坐標系統(tǒng)變換到照相機坐標系統(tǒng)中的視點變換，以及透視投影變換。假設(shè)t＝[txtytz]t表示圖像拾取單元100在參考坐標系統(tǒng)中的位置，ω＝[ωxωyωz]t表示圖像拾取單元100的取向，則表示圖像拾取單元100的位置和取向的矢量s為s＝[txtytzωxωyωz]t。這種情況下，在標記僅具有位置信息的情況中，矢量a是三維矢量，在標記具有位置和取向信息的情況中，矢量a是六維矢量。在三維空間中的取向由3×3旋轉(zhuǎn)變換矩陣表示。因為旋轉(zhuǎn)自由度僅僅為3，所以取向可以由三維矢量ω表示。
在這種情況下，ω利用3-DOF取向表示法，并且使用旋轉(zhuǎn)軸矢量和旋轉(zhuǎn)角度表示取向。假設(shè)旋轉(zhuǎn)角度為ra，則ra可以用ω表示ra=ωx2+ωy2+ωz2...(1-7).]]> 假設(shè)旋轉(zhuǎn)軸矢量raxis＝[rxryrz]t，raxis和ω之間的關(guān)系可以表達為[ωxωyωz]＝[rarxraryrarz] ...(1-8)。
ω(旋轉(zhuǎn)角度ra和旋轉(zhuǎn)軸矢量raxis)和3×3旋轉(zhuǎn)變換矩陣R之間的關(guān)系可以表達為R=R11R12R13R21R22R23R31R32R33]]>=rx2(1-cosra)+cosrarxry(1-cosra)-rssinrarzrx(1-cosra)+rysinrarzry(1-cosra)+rssinrary2(1-cosra)+cosraryrz(1-cosra)-rxsinrarzrx(1-cosra)-rysinraryrz(1-cosra)+rxsinrars2(1-cosra)+cosra...(1-9).]]>假設(shè) 是標記在圖像中的檢測坐標。那么，u和 之間的誤差計算為Δu=u^-u...(1-10).]]> 在步驟S5030中，計算表示圖像拾取單元100的位置和取向的矢量s的校正形式和表示所述標記放置信息的矢量a的校正形式，使得在步驟S5020中計算的誤差Δu最小。可以使用用于校正矢量s的矢量Δs和用于校正矢量a的矢量Δa通過一階近似表述誤差ΔuΔu=∂u∂s∂u∂αΔsΔa...(1-11),]]>其中，∂u∂s∂u∂α]]>稱為雅可比矩陣(或者圖像雅可比)。因為用于計算雅可比矩陣的具體方法是已知的，并且在文獻4中有所描述，所以為了避免冗余，省略對它做詳細的描述。
表達式(1-11)是關(guān)于圖像中的點(在四角形標記的情況中，即頂點)的關(guān)系表述。在有m個圖像判定用于計算并且標記具有q個頂點的情況中，那么推導出下述結(jié)論Δu=∂u∂s1...∂u∂sm∂u∂α1...∂u∂αqΔs1...ΔsmΔα1...Δαq...(1-12).]]>它可以簡化為Δu＝JmqΔt、(其中，Jmq=∂u∂s1...∂u∂sm∂u∂α1...∂u∂αq]]>)...(1-13)。
在圖像中檢測到的選擇用于計算的所有標記的頂點數(shù)是n的情況下，那么得到下述結(jié)論Δu1Δu2...Δun=Jmq1Jmq2...JmqnΔt...(1-14).]]>通過用下述方式的最小平方法得到要計算的未知參數(shù)ΔtΔt=Jmq1Jmq2...Jmqn+Δu1Δu2...Δun...(1-15),]]>其中，+表示偽逆矩陣。
使用公式(1-15)計算Δt與相對于校正矢量Δt的未知值求解線性方程的冗余系統(tǒng)是等效的。因此，取代計算偽逆矩陣，可以使用求解線性方程的系統(tǒng)的不同方法，例如，括去(sweeping-out)法、高斯-約旦疊代法、或者共軛梯度法，來求解線性方程的系統(tǒng)。在獲取的圖像數(shù)目或者檢測標記數(shù)目大的情況下，可以通過執(zhí)行不完全喬里斯基分解(incomplete Cholesky decomposition)作為預處理的預條件共軛梯度方法來高速地計算山。
在步驟S5040中，使用所得到的Δt，進行下述校正si(1≤i≤m)和αj(1≤j≤q)。
在步驟S5050中，使用判定基準判定計算是否收斂，例如，∑Δu是否小于預定的閾值，或者，所校正的Δt是否小于預定的閾值。如果計算不收斂，則校正的狀態(tài)矢量s和a作為初始值，并且流程返回到步驟S5020。重復進行步驟S5020至步驟S5040。
如果判定計算收斂，則在步驟S5060中，輸出所述標記放置信息或者圖像拾取單元100的位置和狀態(tài)。
如上所述，使用關(guān)于在圖像中檢測到的每個標記的大致放置信息、以及基于在圖像拾取單元100攝取圖像的時候該圖像拾取單元100的大致的位置和狀態(tài)計算所得的評估值，自動判定是否使用攝取圖像用于測量。因此，在不需要經(jīng)驗和知識的情況下，可以得到從各個方向攝取的很多圖像，這是高度精確地測量所述標記放置信息所需的。
變型實施例1-1 在第一實施例中，使用從在圖像拾取單元100攝取第(m-1)幀的時候該圖像拾取單元100的位置Cm-1延伸到在第(m-1)幀中檢測到的標記組的重心位置Gm-1的矢量 和從在圖像拾取單元100攝取當前攝取的圖像的時候該圖像拾取單元100的位置Cm延伸到重心位置Gm-1的矢量 ?？商鎿Q的，取代使用簡單的重心位置Gm-1，可以使用根據(jù)標記檢測結(jié)果加權(quán)的重心位置作為Gm-1。
獲得所述重心位置，以考慮距離作為測量對象的每個標記的距離。在基于圖像的測量(例如立體攝影測量)中，測量精確度受距離測量對象的距離和圖像攝取位置之間的距離的影響。如果，例如，在所述檢測標記中，一個標記特別遠或者特別近，那么測量對象的代表位置明顯受該特殊標記的影響。為了減少該影響，排除該特殊標記，或者，通過減少該特殊標記的權(quán)重來計算所述重心計算。
獲取在第(m-1)幀中檢測到的每個標記的大致位置和在圖像拾取單元100攝取第(m-1)幀的時候該圖像拾取單元100的大致的圖像攝取位置之間的距離li(i＝1，2，...，N)，其中N是在第(m-1)幀中檢測到的標記總數(shù)。在重心計算中，通過對特殊標記施加較少的權(quán)重來獲得加權(quán)的重心位置Gm-1?？梢允褂美绯Ｓ糜贛-評估中的Tukey函數(shù)來計算權(quán)重，M-評估是魯棒性評估方法。在Tukey函數(shù)中，使用基于距離li(i＝1，2，...，N)和距離li的標準差獲得的閾值c，計算權(quán)重WiWi=(1-(lic)2)2]]>如果|li|＜cWi＝0如果|li|＞c ... (1-16)。
假設(shè)在第(m-1)幀中檢測到的每個標記的位置為ti(i＝1，2，...，N)，得到加權(quán)的重心位置Gm-1Gm-1=1NΣ1NtiWi...(1-17).]]>變型實施例1-2 在第一實施例中獲取了標記放置信息或者圖像拾取單元100的位置和取向。與之相反，圖像拾取單元100的內(nèi)部參數(shù)可以被計算作為測量對象。
給定焦距f，在圖像中心的坐標為(u0，v0)，在u和v方向上的比例因子為ku和kv，并且切變(shear)系數(shù)為ks，那么作為未知參數(shù)的圖像拾取單元100的內(nèi)部參數(shù)為
A=fkufksu00fkvv0001...(1-18),]]>其中，A是用于將照相機坐標系統(tǒng)中的點變換到圖像坐標u的矩陣。
可以通過與用于第一實施例中的方法相似的方法判定是否使用獲取的圖像用于測量。圖像拾取單元100的內(nèi)部參數(shù)作為未知參數(shù)，并且，通過非線性優(yōu)化來獲得使每個標記的測量圖像坐標和從評估參數(shù)值計算所得的標記的理論圖像坐標之間的誤差最小的參數(shù)。在這種情況下，基于設(shè)計參數(shù)等，預先設(shè)定圖像拾取單元100的大致的內(nèi)部參數(shù)。
變型實施例1-3
在第一實施例中，由從在圖像拾取單元100攝取第(m-1)幀的時候該圖像拾取單元100的位置Cm-1延伸到在第(m-1)幀中檢測到的標記組的重心位置Gm-1的矢量 和從在圖像拾取單元100攝取當前攝取的圖像的時候該圖像拾取單元100的位置Cm延伸到重心位置Gm-1的矢量 得到第一評估值θAB。
然而，所述第一評估值不必一定僅僅基于第(m-1)幀和所述獲取圖像來得到。假設(shè) 是從在獲取的圖像中檢測到的標記組的重心位置Gm延伸到在圖像拾取單元100攝取所獲取的圖像的時候該圖像拾取單元100的位置Cm的矢量。此外，從第一幀到第(m-1)幀中提取各自包括與在所獲取的圖像中檢測到的那些標記具有相同的標識符的標記的圖像。假設(shè)Q為提取的圖像的總數(shù)，矢量 從在所獲取的圖像中檢測到的標記組的重心位置Gm延伸到在圖像拾取單元100攝取第q幀(q＝1，2，...，Q)的時候該圖像拾取單元100的位置Cq。第一評估值為θABq=srccosA→·Bq→|A→|·|Bq→|...(1-19).]]>
在對于所有的q的第一評估值θABq都滿足下述關(guān)系的情況中θABq>θTAB...(1-20),]]>那么，判定所獲取的圖像將用于計算。否則，所獲取的圖像將不用于計算。在表達式(1-20)中，θTAB是預定的閾值。評估值θABq超過閾值θTAB的情形，意味著在笫m幀和第q幀中的不同視點上攝取了檢測到的標記組的圖像。根據(jù)標記的分布或者標記放置在其中的環(huán)境，閾值θTAB可以變?yōu)槿魏沃怠?br>
通過使用這種評估值進行判定，可以自動選擇要使用的在與檢測到的所有圖像的視點不同的視點上攝取的圖像。
變型實施例1-4
在第一實施例中，在所使用的圖像中，不排除或者更新由圖像拾取單元100在相同的位置上以相同的取向攝取的圖像。然而，由圖像拾取單元100在相同位置上以相同取向攝取的圖像是不需要的，因為它們沒有提高測量標記放置信息的精確度的信息。因此，應(yīng)該排除或者更新由圖像拾取單元100在同一位置上以相同的取向攝取的圖像?，F(xiàn)在，在下面描述排除或者更新在基本上相同的位置上以相同的取向攝取的圖像。
假設(shè)矢量 從在圖像拾取單元100攝取當前獲取的圖像的時候該圖像拾取單元100的位置Cm延伸到從關(guān)于在所獲取的圖像中檢測到的標記組中的每個標記的放置信息中得到的重心位置Gm，矢量 .....、和 從在圖像拾取單元100攝取已判定要使用的圖像的時候該圖像拾取單元100的位置C1、C2、......、和Cm-1延伸到重心位置Gm。計算由矢量 和矢量 ......、及 限定的角度θCD1、θCD2、......、和θCDm-1θCDi=arccosC→·Di→|C→|·|Di→|,(i=1,2,...m-1)...(1-21).]]>
計算矢量 與矢量 .....、和 中的每一個的比值βi
βi=|Di→||C→|,(i=1,2,...m-1)...(1-22).]]>在θCDi滿足下述關(guān)系的情況中θTCD＜θCDi...(1-23)，其中，i＝1、2、...m-1，并且β滿足下述關(guān)系βT1L≤βi≤βT2L...(1-24)，那么，判定當前獲取的圖像是在與已判定要使用的圖像基本上相同的視點位置上攝取的，并且該幀作為第j幀(j＝1、2、...、J)，其中，J是判定在同一視點位置上攝取的圖像的總數(shù)。在表達式(1-23)和(1-24)中，θTCD、βT1L和βT2L是預定的閾值。
接下來，判定當前獲取圖像是否在與已判定要使用的圖像相同的取向上攝取的。計算在圖像拾取單元100攝取所獲取的圖像的時候該圖像拾取單元100的視覺軸矢量tm和判定在相同的視點位置上攝取的第j幀中的視覺軸矢量tj之間的角度差θmjθmj=arccostm→·tj→|tm→|·|tj→|,(j=1,2,...J)...(1-25).]]>角度差θmj作為第三評估值。
接下來，計算繞所述視覺軸的旋轉(zhuǎn)角度差。假設(shè)與視覺軸矢量正交的矢量vm是在照相機坐標系統(tǒng)中沿y軸方向的矢量ty＝
t。使用表示圖像拾取單元100的大致取向的3×3旋轉(zhuǎn)變換矩陣Rm，將矢量vm變換到參考坐標系統(tǒng)中vm＝Rm·ty...(1-26)。
同樣地，假設(shè)與在判定已在同一視點位置上攝取的第j幀中的視覺軸矢量正交的矢量vj是在照相機坐標系統(tǒng)中沿y軸方向的矢量ty＝
t。矢量vj變換到參考坐標系統(tǒng)中vj＝Rj·ty...(1-27)。
計算vm和vj之間的角度差，即，繞所述視覺軸的旋轉(zhuǎn)角度差γmjγmj=arccosvm→·vj→|vm→|·|vj→|...(1-28)]]>
繞所述視覺軸的旋轉(zhuǎn)角度差γmj(j＝1、2、...、J)作為第四評估值。
基于以上述方式得到的第三評估值和第四評估值，判定圖像是否以基本上相同的取向攝取的，從而判定是否該圖像用于測量。
在第三評估值滿足下述關(guān)系的情況中θmj＜θTmj(j＝1、2、...、N) ... (1-29)，那么，這說明，所獲取的圖像是已經(jīng)在相同的視點位置以相同取向在第j幀中攝取的。因此，不使用該圖像。
相反，在第三評估值不滿足表達式(1-29)中的條件的情況下，那么，基于第四評估值，判定是否使用該圖像。
在第四評估值γmj滿足下述關(guān)系的情況中γmj＞γTmj... (1-30)，那么，所獲取的圖像是在相同的視點位置以相同取向攝取的，但是該圖像是通過繞所述視覺軸旋轉(zhuǎn)所述圖像拾取單元100而攝取的。因此，判定該圖像用于測量。否則，判定不使用該圖像。在表達式(1-30)中，γTmj是預定的閾值。
即使在由于圖像是在相同的視點位置以相同的取向攝取而以上述的方式判定該圖像不用于測量的情況下，如果在該圖像中檢測到的標記數(shù)目大，那么該圖像替代已判定要使用的前一圖像，從而更新該圖像。
變型實施例1-5
在文獻4中，通過使用標記的現(xiàn)有知識對標記施加約束條件來進行非線性優(yōu)化。因為在第一實施例中自動獲取圖像，所以，在計算未知標記的過程中，無法對未知標記施加幾何約束條件。然而，在預先知道幾何約束條件的情況下，例如，在檢測的標記是共面的情況下，可以通過施加幾何約束條件來進行非線性優(yōu)化。
即使就未知標記而言，可以不施加幾何約束條件來進行非線性優(yōu)化。之后，可以通過操作員使用輸入裝置例如鼠標或者鍵盤來添加幾何約束條件，然后，可以再進行非線性優(yōu)化。
變型實施例1-6
下面所示的評估值可以用來判定圖像是否要用于計算標記放置信息。
給已判定要用于計算未知參數(shù)的圖像編上幀號1、2、...、m-1，然后，判定是否使用獲取的圖像作為第m幀。
將所獲取的圖像與第(m-1)幀相比較。在檢測到的標記中，其重疊的部分大于或者等于閾值T％的圖像視為第m幀的候選。
接著，假設(shè)矢量 從在圖像拾取單元100攝取笫(m-1)幀的時候該圖像拾取單元100的位置Cm-1延伸到在第(m-1)幀中檢測到的標記組的重心位置Gm-1，矢量 從在圖像拾取單元100攝取所獲取的圖像的時候該圖像拾取單元100的位置Cm延伸到重心位置Gm-1，矢量 從位置Cm-1延伸到圖像拾取單元100的位置Cm。如果滿足下述表達式的關(guān)系，則判定所獲取的圖像用于計算||A→||·||B→||||C→||<Dth...(1-31),]]>其中，Dth是預定的閾值。
使用圖像的測量(例如立體攝影測量)的精確度受距離測量對象的距離和圖像攝取位置之間的距離的影響。表達式(1-31)考慮了在圖像拾取單元100攝取第(m-1)幀的時候該圖像拾取單元100的位置和作為所述標記的表示位置的重心位置之間的距離 、在圖像拾取單元100攝取所獲取的圖像的時候該圖像拾取單元100的位置和重心位置之間的距離 、以及圖像攝取位置之間的距離 。也就是說，距離所述標記表示值的距離越短， 就越小?；€越長， 就越大。
因此，如果滿足表達式(1-31)，則可以判定計算所述標記放置信息所需的圖像。
變型實施例1-7
在第一實施例中，為了考慮距離作為測量對象的每個標記的距離，基于所述標記在三維空間中的重心位置，得到所述評估值，然后，判定該圖像是否用于計算標記放置信息。換句話說，基于從在圖像拾取單元100攝取第(m-1)幀的時候該圖像拾取單元100的位置Cm-1延伸到在第(m-1)幀中檢測到的標記組的重心位置Gm-1的矢量和從在圖像拾取單元100攝取所獲取的圖像的時候該圖像拾取單元100的位置Cm延伸到重心位置Gm-1的矢量，獲得所述評估值。
取代獲得所述標記位置的重心位置作為所述標記的代表位置，可以在表示朝向圖像拾取單元100的圖像攝取范圍的中心的方向上得到所述代表位置?；诿總€檢測標記在三維空間中的大致位置，得到每個標記在照相機坐標系統(tǒng)中的深度，并且，用zmean表示標記的平均深度。用tam＝(0，0，zmean)表示所述標記在照相機坐標系統(tǒng)中的代表位置。因為可以通過圖像拾取單元位置/取向獲取單元1040獲取圖像拾取單元100的大致的位置和取向，所以將所述標記在照相機坐標系統(tǒng)中的代表位置tam變換為在參考坐標系統(tǒng)中的位置。
用t’am表示坐標變換之后的代表位置。代替在第一實施例中所用的使用重心位置作為所述代表位置，t’am可以用作所述代表位置。
第二范例實施例
在第一實施例中，判定是否使用圖像計算關(guān)于放置在環(huán)境中或者在物體上的每個標記的放置信息，并且執(zhí)行所述計算。在第二范例實施例中，自動判定要被用于計算取向傳感器在照相機坐標系統(tǒng)中的取向的圖像，并且計算安裝在圖像拾取單元上的取向傳感器在照相機坐標系統(tǒng)中的取向。
用于第二實施例中的所述取向傳感器主要包括檢測三個軸方向上角速度的回轉(zhuǎn)傳感器和檢測三個軸方向上的加速度的加速度傳感器，并且該取向傳感器基于角速度和加速度的測量值的組合測量3-DOF取向。
一般來說，使用回轉(zhuǎn)傳感器的取向傳感器通過對從該回轉(zhuǎn)傳感器輸出的角速度信息求積分來獲取取向。因此，所獲取的取向包含漂移誤差。然而，通過另外使用加速度傳感器，可以測量地球引力的方向，因此可以測量高度精確的傾斜角。
相反，無關(guān)得到關(guān)于作為繞引力軸的旋轉(zhuǎn)的方位角(azimuth)的絕對參考，并且無法校正該漂移誤差。因此，方位角(azimuth)的測量精確度低于傾斜角的測量精確度。
圖7示意性地示出根據(jù)第二實施例的信息處理設(shè)備7000的范例結(jié)構(gòu)。
圖像拾取單元700連接信息處理設(shè)備7000。圖像拾取單元700攝取標記所放置在其中的空間的圖像，并且將該圖像輸出給信息處理設(shè)備7000。取向傳感器705安裝在圖像拾取單元700上。在圖像拾取單元700攝取圖像的同時，由取向傳感器705測量的值輸出給信息處理設(shè)備7000。
圖像獲取單元7010從圖像拾取單元700獲取圖像。
標記提取單元7020從所獲取的圖像中提取標記。標記管理單元7030管理關(guān)于所提取標記的每個正方形標記Pkn的標識符kn、每個標記Pkn的每個頂點Pkni的圖像坐標uPkni、以及關(guān)于每個標記Pkn的放置信息來作為標記信息。
在圖像拾取單元700攝取圖像的同時，圖像拾取位置/取向獲取單元7040獲取圖像拾取單元700的大致位置和取向。
圖像判定單元7050判定是否使用通過圖像獲取單元7010輸入的圖像來計算安裝在圖像拾取單元700上的取向傳感器705在照相機坐標系統(tǒng)中的取向。
在攝取圖像的同時，傳感器輸出獲取單元7060獲得取向傳感器705的輸出。
使用被圖像判定單元7050判定的要使用的圖像，取向傳感器位置/取向計算器7070計算安裝在圖像拾取單元700上的取向傳感器705在照相機坐標系統(tǒng)中的取向。
因為圖像獲取單元7010、標記提取單元7020、標記管理單元7030和圖像拾取位置/取向獲取單元7040與第一實施例中所述的圖像獲取單元1010、標記提取單元1020、標記管理單元1030和圖像拾取位置/取向獲取單元1040相似，為了避免冗余，省略對它們做詳細的描述。
圖8是在第二實施例中計算關(guān)于取向傳感器705的放置信息的過程的流程圖。
因為步驟S8010至S8030與第一實施例中的步驟S2010至S2030相似，為了避免冗余，省略對它做詳細的描述。
在步驟S8040中，判定是否使用所獲取的圖像計算取向傳感器705在照相機坐標系統(tǒng)中的取向。雖然可以用與第一實施例中所述的方式相似的方式判定是否使用所獲取的圖像，但是，在第二實施例中基于所述圖像拾取單元700的取向進行判定。下面將給出對判定要使用的圖像的方法的詳細描述。
圖9是在步驟S8040中判定是否使用所獲取的圖像計算取向傳感器705在照相機坐標系統(tǒng)中的取向的過程的流程圖。
因為步驟S9010與第一實施例中的步驟S3010相似，所以，為了避免冗余，省略對它做描述。
在步驟S9020中，將由標記管理單元7030管理的標記信息和由圖像拾取單元位置/取向獲取單元7040獲取的圖像拾取單元700的位置和取向被輸入給圖像判定單元7050。
在步驟S9030中，由圖像判定單元7050計算評估值，其用于判定是否使用所獲取的圖像計算安裝在圖像拾取單元700上的取向傳感器705在照相機坐標系統(tǒng)中的取向?，F(xiàn)在，在下面描述計算所述評估值的方法。
給已判定用于計算取向傳感器705的取向的圖像編上幀號1、2、...、m-1，然后，判定是否使用所獲取的圖像作為第m幀。
計算在圖像拾取單元700攝取所獲取的圖像的時候該圖像拾取單元700的視覺軸矢量tm和在圖像拾取單元700攝取第j幀的時候的視覺軸矢量tj之間的角度差θmjθmj=arccostm→·tj→|tm→|·|tj→|,(j=1,2,...J)...(2-1).]]>所得到的角度差θmj(j＝1、2、...J)作為第一評估值。
接下來，得到繞所述視覺軸的旋轉(zhuǎn)角度差。
首先，得到在圖像拾取單元700攝取所獲取的圖像的時候該圖像拾取單元700在參考坐標系統(tǒng)中的視覺軸矢量tm。假設(shè)矢量tz＝
t在照相機坐標系統(tǒng)中的z軸的負方向上，基于圖像拾取單元700的大致的取向Rm，獲得視覺軸矢量tmtm＝Rm·tz...(2-2)。
假設(shè)與在圖像拾取單元700攝取所獲取的圖像的時候該圖像拾取單元700的視覺軸矢量tm正交的矢量vm是在照相機坐標系統(tǒng)中沿y軸方向的矢量ty＝
t?；趫D像拾取單元700的大致的取向Rm，得到參考坐標系統(tǒng)中的矢量vmvm＝Rm·ty...(2-3)。
同樣地，假設(shè)與在第j幀中的視覺軸矢量正交的矢量vj是在照相機坐標系統(tǒng)中沿y軸方向的矢量ty＝
t。通過用ty乘以在圖像拾取單元700攝取第j幀的時候該圖像拾取單元700的視覺軸矢量tj來變換矢量vjvj＝Rj·ty...(2-4)。
計算vm和vj之間的角度差，即，繞視覺軸的旋轉(zhuǎn)角度差γmjγmj=arccosvm→·vj→|vm→|·|vj→|...(2-5)]]>繞所述視覺軸的旋轉(zhuǎn)角度差γmj(j＝1、2、...、J)作為第二評估值。
在步驟S9040中，基于所獲得的評估值判定所獲取的圖像是否用于計算。
在對于判定要使用的所有圖像而言第一評估值θmj都滿足下述關(guān)系的情況中θmj＜θTmj(j＝1、2、...、N) ... (2-6)，那么，這說明，所獲取的圖像是從尚未攝取圖像的視點的方向攝取的。因此，判定要使用該圖像。在表達式(2-6)中，θTmj是預定的閾值。
在不滿足表達式(2-6)的情況下，所獲取的圖像有可能是以相同的取向攝取的?；诘诙u估值，判定是否使用所獲取的圖像。
在第二評估值γmj滿足下述關(guān)系的情況中γmj＞γTmj... (2-7)，那么，所獲取的圖像是從相同的視點方向攝取的，但是該圖像是通過繞所述視覺軸旋轉(zhuǎn)所述圖像拾取單元700攝取的。因此，判定該圖像用于測量。在表達式(2-7)中，γYmj是預定的閾值。
在不滿足表達式(2-7)的情況下，判定不使用所獲取的圖像計算取向傳感器705的取向。
在步驟S9050中，輸出在步驟S9040中所得到的顯示是否使用該圖像的判定結(jié)果。
返回參照圖8，在步驟S8050中，在步驟S8040中判定要使用該圖像計算取向傳感器705的取向，并且判定要使用的圖像的數(shù)目m大于或者等于二(m≥2)，在這種情況下，該流程進入步驟S8060。相反，在步驟S8040中判定不使用該圖像的情況下，該流程返回到步驟S8010。
接下來，將詳細地描述步驟S8060，在該步驟中，計算取向傳感器705的取向。
在步驟S8060中，使用由圖像判定單元7050判定要使用的在多個視點位置攝取的圖像，計算安裝在圖像拾取單元700上的取向傳感器705在照相機坐標系統(tǒng)中的取向ωcs。
傳感器輸出獲取單元7060獲得取向傳感器705的傳感器輸出值。通過非線性優(yōu)化，獲得圖像拾取單元700的位置、方位角漂移校正值τ和ωcs以使圖像中每個標記在參考坐標系統(tǒng)中的檢測位置和圖像中所述標記的計算位置之間的誤差最小，所述計算位置是基于圖像拾取單元700的位置、傳感器測量值、方位角漂移校正值和ωcs計算的。
假設(shè)取向傳感器705在世界坐標系統(tǒng)中的傳感器輸出值為Rwsτ，用于在所述方位角方向上將圖像拾取單元700(繞引力軸)旋轉(zhuǎn)τ的旋轉(zhuǎn)矩陣為ΔR(τ)(方位角漂移誤差校正值)，由ωcs判定3×3旋轉(zhuǎn)矩陣為R(ωSC)。推導用于將參考坐標系統(tǒng)變換到照相機坐標系統(tǒng)的變換方程
取向傳感器705在照相機坐標系統(tǒng)中的取向ωcs處理為三元矢量ωcs＝[ξψξ]T。在攝取該圖像的時候取向傳感器705在照相機坐標系統(tǒng)中的取向ωcs、圖像拾取單元700在某一視點位置(用標識符τ表示)上的位置tWCτ＝[xtτytτztτ]T傳感器測量值的“方位角漂移誤差校正值”τ都是未知的。這些未知參數(shù)表達為3+4L維狀態(tài)矢量 其中，L是在不同視點攝取的圖像的總數(shù)。
給狀態(tài)矢量s賦予合適的初始值。可以通過圖像拾取單元位置/狀態(tài)獲取單元7040獲得圖像拾取單元700的位置tWCτ的初始值。可以用一種已知的方法獲得ωcs的初始值，在該方法中，表示ωcs的每個檢測值交互地增大/減小，以通過反復試驗來調(diào)節(jié)該值。更具體地說，基于圖像拾取單元700的位置的初始值、ωcs、和傳感器輸出值，可以將虛擬物體投影到該圖像上。因此，操作員使用輸入裝置例如鍵盤來調(diào)節(jié)位置，使得投影的虛擬物體的坐標與相應(yīng)的真實物體精確地配準?？梢允褂玫卮艂鞲衅鳙@得大致的方位角。
在日本專利公開No.2003-203252(對應(yīng)于美國專利No.7095424)中公開了獲得ωcs的初始值的另一方法。在顯示器上顯示基于預定取向的虛擬物體。接下來，操作員監(jiān)視和調(diào)節(jié)圖像拾取裝置的所述取向，使得顯示的虛擬物體與真實空間具有正確的位置關(guān)系。最后，根據(jù)此時取向傳感器的輸出，計算取向傳感器在參考坐標系統(tǒng)中的取向和取向傳感器在照相機坐標系統(tǒng)中的取向。
使用ωcs的初始值，通過日本專利公開No.2005-107248(對應(yīng)于美國專利申請No.2005/0068293)中所述的方法計算τi的初始值。
由標記管理單元7030管理與在第一實施例中所述的由標記管理單元1030管理的標記信息相似的標記信息。基于每個四角形標記Pk的每個頂點Pki的圖像坐標、每個四角形標記Pk的放置信息和標識符、以及狀態(tài)矢量s，計算所有標記的頂點的圖像坐標u＝[ux，uy]T的理論值。在這種情況下，圖像坐標的所述理論值是指在標記的攝取圖像中應(yīng)該觀看到的坐標，其是基于圖像拾取單元700在參考坐標系統(tǒng)中的位置和取向、以及關(guān)于所述標記在所述參考坐標系統(tǒng)中的放置信息計算的。
基于從取向傳感器705在傳感器坐標系統(tǒng)中的取向到參考坐標系統(tǒng)中的取向的坐標變換、取向傳感器705在傳感器坐標系統(tǒng)的取向(取向傳感器705的取向的測量值)、方位角漂移誤差校正值、和從取向傳感器705的取向到圖像拾取單元700的取向的坐標變換(ωSC)，可以計算圖像拾取單元700在參考坐標系統(tǒng)中的取向。使用狀態(tài)矢量s表達某一標記u＝[us，uy]T的理論評估的計算u＝F(s)... (2-9)其中F是包括從參考坐標系統(tǒng)到照相機坐標系統(tǒng)的視覺變換和透視投影變換的函數(shù)。
關(guān)于所有標記的所述頂點，計算每個標記的實際圖像坐標v＝[vx，vy]T和相應(yīng)理論值的圖像坐標u＝[ux，uy]T之間的誤差ΔuΔu＝v-u...(2-10)
優(yōu)化狀態(tài)矢量s，以使Δu最小。使用用于校正狀態(tài)矢量s的矢量Δs，用下述方式通過泰勒展開進行一階近似，可以表達ΔuΔu≈|∂u∂s|Δs...(2-11)]]>
在這種情況下，Jus=[∂u∂s],]]>其中Jus是2×(3+4L)雅可比矩陣，關(guān)于其中的每個元，即為通過方程(2-10)中的u對狀態(tài)矢量s求偏微分所得的偏微分系數(shù)。
表達式(2-11)是要用于計算取向傳感器705的取向的L個圖像中的頂點之一的關(guān)系式。
假設(shè)從確定要用于計算的圖像中提取n個標記。下述表達式成立Δu1Δu2...Δun≈Jus1Jus2...JusmΔs...(2-12)]]>可以通過最小的平方法計算要計算的未知參數(shù)Δs。因為可以通過與第一實施例中所述的方法相似的方法求解這個，所以省略對它的重復描述。
因為Δs是(3+4L)維矢量，所以，通過在兩個攝取圖像中檢測到至少一個正方形標記，可以獲得Δs。
使用校正值Δs，對狀態(tài)矢量s進行校正，以得到新的ss+Δs→s ... (2-13)
使用判定基準，例如∑Δs是否小于或者等于預定的閾值，或者校正值Δs是否小于或者等于預定的閾值，判定所述計算是否已收斂。如果所述計算不收斂，則校正的狀態(tài)矢量s作為初始值，并且，重復進行所述計算。
如果判定所述計算已收斂，則輸出被包括在所獲得的狀態(tài)矢量s中的ωSC。作為表示最新的方位角漂移誤差校正值的參數(shù)，τ可以額外輸出。
最后，在步驟S8070中，判定所述計算是否結(jié)束。當操作員給出指令結(jié)束該計算時，該流程結(jié)束。當操作員給出指令繼續(xù)計算(重新校準)時，再一次獲取圖像。
在使用所獲得的ωSC和τ的呈現(xiàn)在圖像中的虛擬物體與真實物體正確配準的情況下，操作員結(jié)束該計算。否則，操作員判定繼續(xù)計算。
用上述的方式，自動得到適用于計算安裝在圖像拾取單元700上的取向傳感器705相對于圖像拾取單元700的取向的圖像，以及可以高精度地測量關(guān)于取向傳感器705的放置信息，而不用依賴于用戶的知識和技術(shù)。
第三范例實施例
在第一實施例中，得到標記放置信息或者圖像拾取單元100的位置和取向，作為測量對象。在第二實施例中，得到3-DOF取向傳感器705在照相機坐標系統(tǒng)中的取向，作為測量對象。
在第三范例實施例中，得到由6-DOF位置/取向傳感器限定的傳感器坐標系統(tǒng)相對于參考坐標系統(tǒng)的位置和取向、以及安裝在圖像拾取單元上的6-DOF位置/取向傳感器相對于圖像拾取單元的位置和取向，作為未知參數(shù)。在第三實施例中，使用與第一實施例和第二實施例中所述的那些標記相同的標記。
圖10是根據(jù)第三實施例的計算關(guān)于6-DOF位置/取向傳感器的放置信息的過程的流程圖。
因為步驟S210或者S230與第一實施例中的步驟S2010或者S2030相似，所以，為了避免冗余，省略對它做描述。
在步驟S240中，圖像判定單元判定是否使用獲取的圖像計算所述未知參數(shù)。因為所述判定方法與第二實施例中所述的方法相似，所以，為了避免冗余，省略對它做描述?；蛘?，可以用與第一實施例中所述的方法相似的方法判定是否使用該圖像計算未知參數(shù)。
在步驟S260中，計算所述未知參數(shù)。
在第三實施例中，所述未知參數(shù)包括表示傳感器坐標系統(tǒng)相對于參考坐標系統(tǒng)的位置和取向的參數(shù)sWT和表示6-DOF傳感器的接收器坐標系統(tǒng)相對于照相機坐標系統(tǒng)的位置和取向的參數(shù)sLT。
假設(shè)傳感器坐標系統(tǒng)在參考坐標系統(tǒng)中的位置為tWT＝[txWTtyWTtzWT]T，傳感器坐標系統(tǒng)相對于參考坐標系統(tǒng)的取向為ωWT＝[ωxWTωyWTωzWT]T。那么，sWT＝[txWTtyWTωxWTωyWTωzWT]T。假設(shè)6-DOF傳感器的接收器坐標系統(tǒng)在照相機坐標系統(tǒng)中的位置為tLT＝[txLTtyLTtzLT]T，6-DOF傳感器的接收器坐標系統(tǒng)相對于照相機坐標系統(tǒng)的取向為ωLT＝[ωxLTωyLTωzLT]T。那么，sLT＝[txLTtyLTtzLTωxLTωyLTωzLT]T。因為，這12個未知參數(shù)表達為狀態(tài)矢量ss＝[txWTtyWTtsWTωxWTωyWTωzWTtxLTtyLTtzLTωxLTωyLTωzLT]T。
給狀態(tài)矢量s賦予合適的初始值。例如，預先輸入由用戶手動測量的大致值。
基于與第一實施例中一樣的每個四角形標記Pk的每個頂點pki的圖像坐標、每個四角形標記Pk的放置信息和標識符、以及狀態(tài)矢量s，計算所有標記的頂點的圖像坐標u＝[ux，uy]T的理論值。在這種情況下，假設(shè)三維矢量t表示三維坐標系統(tǒng)A相對于某一三維坐標系統(tǒng)B的原點的位置，3×3旋轉(zhuǎn)矩陣R表示旋轉(zhuǎn)，那么由表示在坐標系統(tǒng)A中的位置的xA(三維矢量)表示的點在坐標系統(tǒng)B中的坐標xB(三維矢量)表達為xB1=Rt01xA1...(3-1).]]>假設(shè)M集體表示R和t，那么得到下述結(jié)果M=Rt01...(3-2).]]>
圖11示出放置在參考坐標系統(tǒng)中的標記到照相機坐標系統(tǒng)中的變換。
假設(shè)MWT是6-DOF位置/取向傳感器的傳感器坐標系統(tǒng)在參考坐標系統(tǒng)中的位置和取向sWT，MTS是6-DOF位置/取向傳感器的輸出值，MCS是安裝在圖像拾取單元上的6-DOF位置/取向傳感器在照相機坐標系統(tǒng)中的位置和取向sLT，以及MWM是關(guān)于標記在參考坐標系統(tǒng)中的放置信息。
用于將放置在參考坐標系統(tǒng)中的標記變換到照相機坐標系統(tǒng)中的矩陣MCM是MCM＝MCS·(MTS)-1·(MWT)-1·MWM...(3-3)。
使用狀態(tài)矢量s表述某一標記u＝[ux，uy]T的理論評估的計算u＝F(s) ... (3-4)，其中，F(xiàn)是包括從參考坐標系統(tǒng)到照相機坐標系統(tǒng)的視覺變換和透視投影變換的函數(shù)。
計算使標記的實際圖像坐標v＝[vx，vy]T和相應(yīng)理論值的圖像坐標u＝[ux，uy]T之間的誤差Δu最小的參數(shù)。
使用用于校正狀態(tài)矢量s的矢量Δs，用下述方式通過泰勒展開進行一階近似，可以表達ΔuΔu≈[∂u∂s]Δs...(3-5)]]>其中， 是雅可比矩陣。因為雅可比矩陣可以通過已知的方法來計算，所以，省略對用于計算雅可比矩陣的具體方法做描述。
假設(shè)關(guān)于某一圖像中的點的雅可比矩陣為Jus1。此外，假設(shè)從確定要用于計算表達式(3-5)中的未知參數(shù)的圖像中提取n個標記。那么，得到下述表達式Δu1Δu2...Δun≈Jus1Jus2...JusnΔs...(3-6)]]>可以通過最小平方法計算要得到的未知參數(shù)Δs。因為可以通過與第一實施例和第二實施例中的方法相似的方法求解這個，所以，省略對它做重復的描述。
使用校正值Δs，對狀態(tài)矢量s進行校正，以得到新的ss+Δs→s ... (3-7)
使用判定基準，例如，誤差矢量Δs是否小于或者等于預定的閾值，或者校正值Δs是否小于或者等于預定的閾值，判定計算是否已收斂。如果所述計算不收斂，則校正的狀態(tài)矢量s作為初始值，并且，重復進行計算。
如果判定所述計算收斂，則輸出安裝在圖像拾取單元上的6-DOF傳感器的傳感器坐標系統(tǒng)在參考坐標系統(tǒng)中的坐標變換(位置和取向)和6-DOF傳感器的接收器坐標系統(tǒng)在照相機坐標系統(tǒng)中的坐標變換(位置和取向)。
在步驟S270中，判定是否結(jié)束該計算。當操作員給出指令結(jié)束該計算時，該流程結(jié)束。當操作員給出指令繼續(xù)計算(重新校準)時，再一次獲取圖像。
在使用所得到的狀態(tài)矢量s而呈現(xiàn)在所述圖像中的虛擬物體與真實物體正確配準的情況下，操作員結(jié)束該計算。否則，操作員判定繼續(xù)計算。
用上述的方式，通過自動判定及計算對于計算由6-DOF位置/取向傳感器限定的傳感器坐標系統(tǒng)相對于6-DOF傳感器的參考坐標系統(tǒng)的位置和取向、以及6-DOF傳感器的接收器坐標系統(tǒng)在照相機坐標系統(tǒng)中的位置和取向所需的圖像，可以進行高精度的測量，而不用依賴于用戶的知識和技術(shù)。
變型實施例3-1
在第一實施例至第三實施例中，使用牛頓-拉夫遜(Newton-Raphson)方法，即，通過對優(yōu)化計算中的非線性函數(shù)反復進行泰勒展開的過程并通過一階近似對結(jié)果進行線性化來尋找最佳解的算法，從而得到校正值。
然而，可以不必一定通過牛頓-拉夫遜方法來計算校正值。例如，可以通過Levenberg-Marquart方法或者通過最陡下降法得到校正值，所述Levenberg-Marquart方法是已知的疊代非線性方程算法。
或者，可以使用魯棒性評估法，例如M評估法，該方法可以在降低統(tǒng)計異常的影響的同時得到解而穩(wěn)定計算。
第四范例實施例
在第一實施例至第三實施例中，描述了使用標記的攝取圖像自動判定計算未知參數(shù)所需的圖像的方法。
在第四實施例中，通過由顯示器給用戶顯示用于移動圖像拾取單元的區(qū)域或路徑來簡化測量。在第一實施例中，判定是否使用輸入圖像計算關(guān)于每個標記的放置信息。
與此不同的是，在第四實施例中，計算圖像攝取區(qū)域或者被判定以用于計算標記放置信息的圖像攝取位置和取向，向用戶顯示該位置和取向，從而自身地改善輸入的圖像。
圖12示意性地示出根據(jù)第四實施例的信息處理設(shè)備300的范例結(jié)構(gòu)。
圖像拾取單元305和顯示器365連接信息處理設(shè)備300。
圖像獲取單元310從圖像拾取單元305中獲取圖像。
標記提取單元320從所獲取的圖像中提取標記。
標記管理單元330管理關(guān)于所提取標記的每個四角形標記Pkn的標識符kn、每個標記Pkn的每個頂點Pkni的圖像坐標UPkni、以及關(guān)于每個標記Pkn的放置信息作為標記信息。
在圖像拾取單元305攝取圖像的時候圖像拾取單元位置/取向獲取單元340獲取圖像拾取單元305的大致的位置和取向。
圖像攝取區(qū)域計算器350計算其中能夠攝取足夠精確的測量所需的圖像的區(qū)域。
圖像攝取區(qū)域顯示單元360在顯示器365上顯示由圖像攝取區(qū)域計算器350計算的區(qū)域，從而向用戶顯示該區(qū)域。
圖像判定單元370判定是否使用所述獲取圖像計算關(guān)于每個標記的放置信息。
未知參數(shù)計算器380計算所述標記放置信息作為未知參數(shù)。
因為圖像獲取單元330、標記提取單元320、標記管理單元330和圖像拾取單元位置/取向獲取單元340與第一實施例中所述的圖像獲取單元1010、標記提取單元1020、標記管理單元1030和圖像拾取單元位置/取向獲取單元1040相似，所以，為了避免容易，省略對它做描述。
圖13是根據(jù)第四實施例的過程的流程圖。
因為步驟S410至S430與第一實施例中的步驟S2010至S2030相似，所以，為了避免容易，省略對它做描述。
在步驟S440中，計算圖像攝取區(qū)域。使用圖14，詳細地描述計算圖像攝取區(qū)域的方法。
圖14示出計算圖像攝取區(qū)域的方法。
給已判定要使用的圖像編上幀號1、2、...、m-1。另外，假設(shè)矢量 從在圖像拾取單元305攝取第(m-1)幀的時候該圖像拾取單元305的位置Cm-1延伸到在從第(m-1)幀中提取的標記組的重心位置Gm-1。假設(shè)重心位置Gm-1是要計算的對象標記的代表位置。接下來，假設(shè)矢量 從該重心位置Gm-1延伸，并且相對于矢量 成閾值角度θTAB。假設(shè)區(qū)域V無限擴展，由 環(huán)繞作為旋轉(zhuǎn)軸的 旋轉(zhuǎn)而形成。假設(shè) 是與所述區(qū)域V不同的區(qū)域。在圖像攝取位置位于區(qū)域 中的情況下，這說明該圖像是在與第(m-1)幀的視點不同的視點上攝取的，這意味著存在能夠攝取其視差大得足以計算所述未知參數(shù)的圖像的區(qū)域。因此，在區(qū)域 中進行圖像攝取，作為接下來應(yīng)當在其中攝取圖像的下一攝取區(qū)域。
假設(shè)矢量 和 分別與 的尺寸比為α1和α2，它們可以得到為|B1→|=α1|A→|]]>|B2→|=α2|A→|...(4-1)]]>其中，α1＜α2，因此|B1→|<|B2→|...(4-2)]]>
區(qū)域V是無限擴展的區(qū)域?；蛘?，限制該區(qū)域也是有意義的，因為，當在比攝取第(m-1)幀的視點位置距離所述測量對象的代表位置更近的位置上攝取圖像時，提高在圖像中檢測所述標記的精確度，從而提高對所述未知參數(shù)的測量精確度。
相反，當在比攝取第(m-1)幀的視點位置距離測量對象的代表位置更遠的位置上攝取圖像時，降低在圖像中檢測標記的精確度。但是，所述圖像攝取區(qū)域是擴展的，從而提供檢測新的標記的可能性。因此，以下述方式更新所述區(qū)域V。
首先，假設(shè)區(qū)域V1是由 繞作為旋轉(zhuǎn)軸的 旋轉(zhuǎn)而得到的，區(qū)域V2是由 繞作為旋轉(zhuǎn)軸的 旋轉(zhuǎn)而得到的。區(qū)域V2-V1更新為區(qū)域V。假設(shè)區(qū)域 是與區(qū)域V不同的區(qū)域。在圖像攝取位置位于區(qū)域 中的情況下，這說明這個區(qū)域作為接下來應(yīng)當在其中攝取圖像的下一個圖像攝取區(qū)域。從這個觀點來看， 作為圖像攝取區(qū)域。
返回參照圖13，在步驟S450中，基于在步驟S440中假設(shè)的圖像攝取區(qū)域，向用戶顯示圖像攝取區(qū)域。
現(xiàn)在，將描述向用戶顯示所述圖像攝取區(qū)域的方法。圖15A示出其中向用戶顯示圖像攝取區(qū)域的實例。
已經(jīng)由圖像拾取單元位置/取向獲取單元340獲取在圖像拾取單元305攝取所獲取的圖像的時候該圖像拾取單元305的位置和取向。如圖15A所示，使用文字和箭頭向用戶顯示該圖像攝取區(qū)域，以使圖像拾取單元305移動到最近的圖像攝取區(qū)域 。
用戶觀看和認識該虛擬圖像可攝取區(qū)域或者虛擬圖像拾取單元的圖像攝取位置和取向的顯示，并且確定應(yīng)當攝取圖像的真實空間的所述位置。
由于以這樣的方式顯示而可以獲取足以用于計算所述未知參數(shù)的圖像的情況下，可以通過第一實施例中所述的方法計算該未知參數(shù)。
變型實施例4-1
在第四實施例中，計算接下來要攝取的圖像攝取區(qū)域，通過顯示器365向用戶顯示提示用戶移動圖像拾取單元305的文字和箭頭。然而，這種顯示不局限于起提示作用的文字和箭頭。
例如，通過呈現(xiàn)和疊加虛擬的CG圖像，可以顯示圖14所示的圖像攝取區(qū)域自身或者圖像拾取單元305的下一個圖像攝取位置和取向。只要可以顯示下一個圖像攝取位置和取向或者圖像可攝取區(qū)域，所述顯示方法就可以使用圖案圖像、以線條形式顯示的三維CG圖像和字符。
雖然在第四實施例中提示用戶將圖像拾取單元305移到最近的圖像攝取區(qū)域 ，但是可以計算從第(m-2)幀到第(m-1)幀的運動矢量，并且，可以提示用戶將圖像拾取單元305移到靠近由所述運動矢量表示的方向圖像攝取區(qū)域 第五范例實施例
在第二實施例中，描述了使用標記的攝取圖像自動判定計算未知參數(shù)所需的圖像的方法。
在第五范例實施例中，通過用顯示器向用戶顯示用于移動圖像攝取單元的區(qū)域或者路徑來簡化測量。在第二實施例中，判定是否使用圖像計算安裝在圖像攝取單元700上的取向傳感器705在照相機坐標系統(tǒng)中的取向。與此相反，在第五實施例中，計算圖像攝取區(qū)域或者被判定以用于計算安裝在圖像攝取單元上的取向傳感器在照相機坐標系統(tǒng)中的取向的圖像攝取位置和取向作為未知參數(shù)，并且向用戶顯示所計算的結(jié)果，從而改善輸入圖像本身。
圖16示意性地示出根據(jù)第五實施例的信息處理設(shè)備500的范例結(jié)構(gòu)。
圖像攝取單元505和顯示器565連接信息處理設(shè)備500。
圖像獲取單元510從圖像攝取單元505獲取圖像。
標記提取單元520從所獲取的圖像中提取標記。
標記管理單元530管理關(guān)于所提取標記的每個正方形標記Pkn的標識符kn、每個標記Pkn的每個頂點Pkni的圖像坐標uPkni、以及關(guān)于每個標記Pkn的放置信息，作為標記信息。
在圖像拾取單元505攝取圖像的同時，圖像拾取位置/取向獲取單元540獲取圖像拾取單元505的大致的位置和取向。
圖像攝取區(qū)域計算器550計算其中能夠攝取對于足夠精確測量所需的圖像的區(qū)域。
圖像攝取區(qū)域顯示單元560在顯示器565上顯示由圖像攝取區(qū)域計算器550計算的區(qū)域，從而向用戶顯示該區(qū)域。
圖像判定單元570判定是否使用獲取的圖像計算所述未知參數(shù)。
未知參數(shù)計算器580計算作為所述未知參數(shù)的安裝在圖像攝取單元505上的取向傳感器的取向。
因為圖像獲取單元510、標記提取單元520、標記管理單元530和圖像拾取單元位置/取向獲取單元540與第二實施例中所述的圖像獲取單元7010、標記提取單元7020、標記管理單元7030和圖像拾取單元位置/取向獲取單元7040相似，所以，為了避免容易，省略對它做描述。
圖17是根據(jù)第五實施例的過程的流程圖。
因為步驟S610至S630與第二實施例中的步驟S8010至S8030相似，所以，為了避免容易，省略對它做描述。
在步驟S640中，計算圖像攝取區(qū)域。下面詳細地描述計算圖像攝取區(qū)域的方法。
給判定要使用的圖像編上幀號1，2，...，m-1。另外，假設(shè)在攝取已判定要用于測量的第j幀(j＝1、2、...、m-1)的時候視覺軸矢量為tj。假設(shè)矢量 是通過平移tj使得tj的視點位置經(jīng)過任意坐標系統(tǒng)A’的原點A0而得到的。假設(shè)矢量 相對于 關(guān)于坐標系統(tǒng)A’的原點A0的角度差θTMj，其中角度差θTMj是預定的閾值。然后，假設(shè)區(qū)域Vj是通過環(huán)繞作為旋轉(zhuǎn)軸的 旋轉(zhuǎn) 而得到的，假設(shè)區(qū)域 是與區(qū)域V不同的區(qū)域。在坐標系統(tǒng)A’中經(jīng)過平移的圖像拾取單元505的視覺軸矢量位于區(qū)域 中的情況下，這說明可以在與第j幀的視點不同的視點上攝取的圖像。這樣，關(guān)于所有的第j幀，其中，j＝1、2、...、m-1，其中所述視覺軸矢量被包含在區(qū)域 中的圖像攝取區(qū)域作為接下來應(yīng)該攝取圖像的下一個圖像攝取區(qū)域。
然而，即使在視覺軸矢量被包含在區(qū)域Vj中的情況下，如果圖像拾取單元505是繞視覺軸旋轉(zhuǎn)的，則可以以不同的取向攝取圖像。因此，這個區(qū)域也作為圖像攝取區(qū)域。
在j ＝ 1、2、...、m-1的幀中，選擇其中視覺軸矢量被包含在區(qū)域Vj中的所有圖像。在選擇的k個圖像中，假設(shè)與第k幀(k＝1、2、...、K)的視覺軸矢量正交的矢量vk是在照相機坐標系統(tǒng)中沿y軸方向的矢量ty＝
t。根據(jù)在圖像拾取單元505攝取第k幀的時候該圖像拾取單元505的取向Rk，得到下述結(jié)論vk＝ Rj·Ty...(5-1)。
在圖像拾取單元505的取向所具有的視覺軸正交矢量vm相對于vk繞所述視覺軸矢量的角度差大于或者等于YTmk的情況下，這說明圖像拾取單元505繞所述視覺軸旋轉(zhuǎn)，從而將以不同的取向攝取圖像。因此，這個區(qū)域作為接下來應(yīng)該攝取圖像的下一個圖像攝取區(qū)域。
假設(shè)區(qū)域Wk所具有的視覺軸正交矢量相對于與該視覺軸矢量正交的矢量vk繞該視覺軸矢量的角度差小于或者等于YTmk，并且，假設(shè)區(qū)域 是與區(qū)域Wk不同的區(qū)域。在視覺軸矢量位于區(qū)域Vj中且與該視覺軸矢量正交的矢量vm位于區(qū)域 中的情況下，該圖像攝取位置/取向作為接下來應(yīng)該攝取圖像的下一個圖像攝取區(qū)域。
在步驟S650中，基于在步驟S640中計算的圖像攝取區(qū)域，向用戶顯示圖像攝取區(qū)域。
因為向用戶顯示圖像攝取區(qū)域的方法與第四實施例中的方法相似，為了避免冗余，省略對它做描述。
用戶觀看和認識該虛擬圖像可攝取區(qū)域或者虛擬圖像拾取單元的圖像攝取位置和取向的顯示，并且確定應(yīng)當攝取圖像的真實空間的位置。
由于以這樣的方式顯示而可以獲取足以用于計算所述未知參數(shù)的圖像的情況下，可以通過第二實施例中所述的方法計算該未知參數(shù)。
第一變型實施例5-1
在第五實施例中，未知參數(shù)是安裝在圖像拾取單元505上的取向傳感器的取向，并且，計算該未知參數(shù)所需的圖像的攝取區(qū)域被顯示。在6-DOF傳感器作為測量對象的情況下，可以使用類似的圖像攝取區(qū)域計算方法，以向用戶顯示圖像攝取區(qū)域。如第三實施例所述，安裝在圖像拾取單元上的6-DOF傳感器的接收器的位置和取向、以及該6-DOF傳感器在參考坐標系統(tǒng)中的位置和取向可以作為未知參數(shù)而計算。
變型實施例5-2
在第一實施例至第四實施例中，自動獲取計算所述未知參數(shù)所需的圖像。然而，在操作員判定必須獲取圖像的情況下，可以通過輸入裝置例如鍵盤手動地獲取圖像。
第六范例實施例
在線獲取第一實施例至第五實施例中所述的計算未知參數(shù)所需的圖像并且將該計算結(jié)果反應(yīng)在MR中的同時，根據(jù)第六范例實施例的信息處理設(shè)備能夠使用戶體驗該MR。
根據(jù)第六實施例的信息處理設(shè)備使用視頻透視式頭盔顯示器(HMD)，以顯示計算所述未知參數(shù)所需的圖像的攝取區(qū)域。
在圖像拾取單元配準所獲取的圖像的時候該圖像拾取單元的大致位置和取向由圖像拾取單元位置/取向獲取單元獲取，如第一實施例至第五實施例所述。基于所獲取的圖像拾取單元的大致位置和取向以及所述圖像拾取單元的已知內(nèi)部參數(shù)，可以使虛擬物體被呈現(xiàn)并疊加在所獲取的圖像上。
在所述未知參數(shù)包括圖像拾取單元的內(nèi)部參數(shù)的情況下，使用圖像拾取單元的內(nèi)部參數(shù)的大致值和所獲取的圖像拾取單元的大致位置和取向，呈現(xiàn)并疊加虛擬的物體。使用被判定以用于計算所述未知參數(shù)的多個圖像，計算在第一實施例至第四實施例的其它未知參數(shù)，然后，正確地計算已設(shè)定為大致值的未知參數(shù)。因此，可以將虛擬物體正確地疊加在真實的世界中。
變型實施例6-1
在第六實施例中，將計算所述未知參數(shù)所需的圖像的攝取區(qū)域顯示在視頻透視式HMD上。
然而，用于向用戶顯示信息的顯示器不局限于視頻透視式HMD。例如，可以使用陰極射線管(CRT)或者液晶顯示器(LCD)，或者可以使用光學透視式HMD。
變型實施例6-2
可以使第一實施例至第五實施例中的未知參數(shù)的計算與使用戶能夠體驗MR的通用計算分開地進行。
前者涉及第一實施例至第五實施例中的在線判定計算所述未知參數(shù)所需的圖像并計算所述未知參數(shù)。后者涉及圖像拾取單元的位置和取向的通用計算和CG呈現(xiàn)計算，以使用戶能夠體驗MR。
上述計算分成多個思路，并且，通過具有稱為“多芯”的多個中央處理單元(CPU)芯的計算機執(zhí)行所述計算。因此，可以以相對較高的計算成本計算所述未知參數(shù)，與此同時，用戶能夠?qū)崟r地體驗MR。
第七范例實施例
在第二實施例中，為了計算安裝在圖像拾取單元700上的取向傳感器705在照相機坐標系統(tǒng)中的取向的目的，基于圖像拾取單元700的位置和取向(其通過觀看所述標記已獲取)，自動判定用于計算所述取向的圖像。
在第七范例實施例中，基于取向傳感器的輸出值，自動判定用于計算取向傳感器在照相機坐標系統(tǒng)中的取向的圖像。
圖18示意性地示出根據(jù)第七實施例的信息處理設(shè)備的范例結(jié)構(gòu)。
圖像拾取單元11000連接信息處理設(shè)備10000。圖像拾取單元11000將空間(標記放置在其中)的圖像輸出給信息處理設(shè)備10000。取向傳感器12000安裝在圖像拾取單元11000上。在圖像拾取單元11000攝取圖像的時候，將由取向傳感器12000測量的值輸出給信息處理設(shè)備10000。
圖像獲取單元10010從圖像拾取單元11000獲取圖像。
標記提取單元10020從所獲取的圖像中提取標記。標記管理單元10030管理關(guān)于所提取標記的每個正方形標記Pkn的標識符kn、每個標記Pkn的每個頂點Pkni的圖像坐標uPkni、以及關(guān)于每個標記Pkn的放置信息作為標記信息。
在攝取圖像的同時，傳感器輸出獲取單元10040獲得傳感器輸出值。
圖像判定單元10050判定是否使用由圖像獲取單元10010輸入的圖像計算取向傳感器12000在照相機坐標系統(tǒng)中的取向。
使用由圖像判定單元10050判定的要使用的圖像，取向傳感器位置/取向計算器10060計算取向傳感器12000在照相機坐標系統(tǒng)中的取向。
因為所述圖像獲取單元10010、標記提取單元10020、標記管理單元10030和傳感器輸出獲取單元10040與第二實施例中所述的圖像獲取單元7010、標記提取單元7020、標記管理單元7030和傳感器輸出獲取單元7060相似，為了避免冗余，省略對它們做詳細的描述。
圖19是計算關(guān)于在第七實施例中的取向傳感器12000相對于照相機坐標系統(tǒng)的放置信息的過程的流程圖。
因為步驟S10110和S10120與第二實施例中的S8010和S8020相似，為了避免冗余，省略對它做描述。
在步驟S10130中，傳感器輸出獲取單元10040從取向傳感器12000中獲得傳感器輸出值。
在步驟S10140中，基于在步驟S10130中輸入的傳感器輸出值，圖像判定單元10050判定是否使用所獲取的圖像計算取向傳感器12000的取向。下面將詳細地描述在步驟S10140中的處理。
圖20是在步驟S10140中判定是否使用所獲取的圖像計算取向傳感器12000在照相機坐標系統(tǒng)中的取向的過程的流程圖。
在步驟S10210中，判定在輸入圖像中是否檢測到標記。在已檢測到標記的情況下，該流程進入步驟S10220中。否則，該流程進入步驟S20240中。
在步驟S10220中，將由傳感器輸出獲取單元10040獲得的傳感器輸出值輸入給圖像判定單元10050。
在步驟S10230中，計算用于判定是否使用該輸入圖像計算取向傳感器12000在照相機坐標系統(tǒng)中的取向的評估值。
一般來說，僅僅由回轉(zhuǎn)傳感器獲得的角度信息表示相對于某一時間的取向的相對取向變化。包括回轉(zhuǎn)傳感器的取向傳感器使用加速度傳感器測量地球引力的方向，從而得到相對于引力方向的絕對的傾斜角(螺旋角pitch angle和滾轉(zhuǎn)角roll angle)。相反，無法得到關(guān)于作為繞引力軸的旋轉(zhuǎn)的方位角的絕對參考，從而不能對漂移誤差進行校正。所述方位角的測量精確度小于傾斜角的測量精確度。因此，使用所述圖像中的所述標記，評估所述方位角(偏航角yawangle)漂移誤差校正值和取向傳感器12000相對于圖像拾取單元11000的取向。攝取圖像是否用于所述計算取決于取向傳感器12000的取向是否改變了大于某一閾值的量，即，是否以足夠不同的取向攝取圖像。
下面將描述計算用于判定所述取向是否足夠不同的評估值的方法。
給已判定要使用的圖像編上幀號1，2，...，m-1，并且，將所獲取的圖像作為第m幀。
讓我們計算在攝取該圖像的時候的傳感器測量值Rm和在攝取已確定要使用的第j幀(j＝1，2，...，m-1)的時候傳感器測量值Rj之間的角度差。首先，計算這兩個取向之間的差，即， 然后，將3×3旋轉(zhuǎn)變換矩陣ΔR變換為歐拉角。用繞x軸、y軸和z軸的歐拉角θ＝[αβγ]表達該角度差R=Rroll·Rpitch·Ryaw=cosγ-sinγ0sinγcosγ00011000cosα-sinα0sinαcosαcosβ0-sinβ010sinβ0coβ...(7-1).]]>
考慮在取向傳感器12000的方位角漂移，排除被認為包含漂移分量的方位角β，并且，僅提取傾斜角分量。更具體地說，得到僅僅包含傾斜角分量的歐拉角表示θ′＝[α0γ]，其中，θ的方位角分量設(shè)為零，并且，在所得到的θ′被變換為旋轉(zhuǎn)軸旋轉(zhuǎn)角表示的情況下的旋轉(zhuǎn)角Δ被得到。因此，Δ作為評估值。
在步驟S10240中，基于所得到的評估值，判定是否使用所獲取的圖像。關(guān)于已判定要使用的所有圖像(j＝1，2，...，J)，在下述情況下Δmj＞threshold...(7-2)，那么，所得到的圖像是以已尚未攝取圖像的取向所攝取的圖像，因此，判定要使用該圖像。在表達式(7-2)中，threshold是預定的閾值。
在步驟S10250中，將在步驟S10240中得到的判定結(jié)果輸出給取向傳感器位置/取向計算器10060。
返回參照圖19，在步驟S10150中，在步驟S10140中判定要使用該圖像計算取向傳感器12000的取向并且已判定要使用的圖像的數(shù)目m大于或者等于二(m≥2)的情況下，該流程進入步驟S10160。
相反，在步驟S10140中判定不使用該圖像的情況下，該流程返回到步驟S10110。
在步驟S10160中，使用在多個視點位置上攝取的、由圖像判定單元10050判定要使用的圖像，取向傳感器位置/取向計算器10060計算取向傳感器在照相機坐標系統(tǒng)中的取向ωCS。通過非線性優(yōu)化得到圖像拾取單元11000的位置、方位角漂移誤差校正值τ和ωCS，以使圖像中每個標記的計算位置和圖像中每個標記的檢測位置之間的誤差最小，所述計算位置是基于取向傳感器12000的位置、傳感器測量值、方位角漂移誤差校正值ωτ和ωCS而計算得到的。因為該推導方法與第二實施例中所述的步驟S8060相似，所以，為了避免冗余，省略對它做描述。
最后，在步驟S10170中，判定是否結(jié)束該計算。當操作員給出指令結(jié)束該計算時，該流程結(jié)束。當操作員給出指令繼續(xù)計算(重新校準)時，再一次獲取圖像。在使用所得到的ωCS和ωτ而呈現(xiàn)在圖像中的虛擬物體與相應(yīng)的真實物體正確地配準的情況下，操作員結(jié)束該計算。否則，操作員判定繼續(xù)該計算。
以上述的方式，自動得到適用于計算安裝在圖像拾取單元11000中的取向傳感器12000的取向的圖像，并且，高度精確地測量關(guān)于取向傳感器12000的放置信息，而不用依賴于用戶的知識和技術(shù)。
變型實施例7-1
在第七實施例中，當計算用于判定是否使用圖像的評估值時，排除所述方位角分量，并且，僅有傾斜角分量用于進行判定。然而，如果取向傳感器12000可以以相對較高的精確度執(zhí)行測量，從而可以忽略漂移誤差的影響，則可以在不排除方位角分量的情況下計算評估值，并且，可以判定是否使用該圖像計算關(guān)于安裝在圖像拾取單元11000上的取向傳感器12000的放置信息。
下面將描述在當計算關(guān)于安裝在圖像拾取單元11000上的取向傳感器12000的放置信息時，忽略方位角漂移的情況下的未知參數(shù)。
假設(shè)矢量l＝(l1，l2，l3)表示在世界坐標系統(tǒng)中的垂直下降方向(與地球引力相反)，方位角校正角ωWT表示傳感器坐標系統(tǒng)和世界坐標系統(tǒng)之間的的方位角差角(繞引力方向上的軸(引力軸)的旋轉(zhuǎn)角)。在這種情況下，所述傳感器坐標系統(tǒng)是由傳感器限定的坐標系統(tǒng)，所述傳感器輸出值表示在傳感器坐標系統(tǒng)中的取向。因此，必須對測量對象在傳感器坐標系統(tǒng)中的取向進行坐標變換，以將該取向從傳感器坐標系統(tǒng)變換到世界坐標系統(tǒng)。使用在由本發(fā)明的受讓人申請的日本專利公開No.2005-107248中所述的方法，可以進行使用方位角校正角的所述坐標變換。取向傳感器12000在照相機坐標系統(tǒng)中的取向ωCS處理為三元矢量ωcs＝[ξψξ]t。取向傳感器12000在照相機坐標系統(tǒng)中的取向ωcs方位角校正角ωWT和圖像拾取單元11000在某一視點位置(用標識符τ表示)上的位置tWCτ＝[xtτytτztτ]T都是未知的。這些未知參數(shù)表達為4+3L維狀態(tài)矢量的形式 其中，L是在不同視點攝取的圖像的總數(shù)。
可以用與第二實施例中所述的方式相似的方式得到所述未知參數(shù)。
其它實施例
本發(fā)明還可以通過下述方式來實施提供具有在其上記錄有軟件的程序代碼的存儲介質(zhì)(或者記錄介質(zhì))的系統(tǒng)或者設(shè)備，該軟件實施上述實施例的特征，并且允許該系統(tǒng)或者設(shè)備的計算機(或者CPU或者微處理單元(MPU))讀取和執(zhí)行存儲在該存儲介質(zhì)中的程序代碼。在這種情況下，從存儲介質(zhì)讀取的程序代碼自身實施例上述實施例的特征，并且，在其上存儲有程序代碼的存儲介質(zhì)構(gòu)成本發(fā)明的實施例?？梢酝ㄟ^下述方式來實施上述實施例的特征不僅允許計算機讀取和執(zhí)行程序代碼，而且允許在計算機上運行的操作系統(tǒng)(OS)基于程序代碼的指令執(zhí)行實際處理的部分或者全部，從而實施上述實施例的特征。
可以將從存儲介質(zhì)讀取的程序代碼寫入包含在安裝在計算機上的功能擴展卡或者連接計算機的功能擴展單元中的存儲器中，并且，功能擴展卡的CPU等可以基于程序代碼的指令執(zhí)行實際處理的部分或者全部。從而實施前述實施例的特征。
在本發(fā)明應(yīng)用于上述的存儲介質(zhì)的情況下，該存儲介質(zhì)存儲與上述的流程圖對應(yīng)的程序代碼。
雖然就范例實施例已描述了本發(fā)明，但是應(yīng)當這樣理解，本發(fā)明不局限于所披露的范例實施例。下述權(quán)利要求的范圍應(yīng)當給予最廣義的解釋，從而包括所有的修改、等同結(jié)構(gòu)和功能。
權(quán)利要求
1.一種信息處理方法，其使用存在于真實空間中的標記的攝取圖像來計算關(guān)于測量對象的信息，包括以下步驟獲取由圖像拾取裝置攝取的圖像；從所述攝取圖像提取標記；獲取關(guān)于所述圖像拾取裝置的位置和取向信息；基于由標記信息管理裝置管理的關(guān)于所述標記的放置信息、以及關(guān)于所述圖像拾取裝置的所述位置和取向信息，判定是否使用與所述位置和取向信息相對應(yīng)的所述攝取圖像來計算關(guān)于所述測量對象的信息；以及在判定要使用所述攝取圖像的情況下使用所述攝取圖像來計算關(guān)于所述測量對象的信息。
2.根據(jù)權(quán)利要求1所述的信息處理方法，其中關(guān)于所述測量對象的所述信息包括關(guān)于所述標記的放置信息、所述圖像拾取裝置的取向、和所述圖像拾取裝置的參數(shù)中的一個。
3.根據(jù)權(quán)利要求1所述的信息處理方法，其中關(guān)于所述測量對象的所述信息是關(guān)于所述標記的所述放置信息，以及，其中基于所計算的放置信息，更新由所述標記信息管理裝置管理的所述放置信息。
4.根據(jù)權(quán)利要求1所述的信息處理方法，其中基于從關(guān)于在前一攝取圖像中的標記的放置信息中獲得的代表位置、在所述圖像拾取裝置攝取緊接的前一個攝取圖像的時候所述圖像拾取裝置的位置、以及在所述圖像拾取裝置攝取當前圖像的時候所述代表位置和所述圖像拾取裝置的所述位置之間的關(guān)系，判定是否使用所述攝取圖像計算關(guān)于所述測量對象的信息。
5.根據(jù)權(quán)利要求1所述的信息處理方法，其中所述標記是可識別的四角形標記。
6.根據(jù)權(quán)利要求4所述的信息處理方法，其中所述代表位置是所述標記的重心位置。
7.一種信息處理方法，其使用存在于真實空間中的標記的攝取圖像來計算關(guān)于測量對象的信息，包括以下步驟獲取由圖像拾取裝置攝取的圖像；從所述攝取圖像提取標記；獲取關(guān)于所述圖像拾取裝置的位置和取向信息；基于關(guān)于所述圖像拾取裝置的所述位置和取向信息，計算關(guān)于其中應(yīng)該攝取圖像的圖像攝取區(qū)域的區(qū)域信息；以及顯示所計算的區(qū)域信息。
8.根據(jù)權(quán)利要求7所述的信息處理方法，其中計算一個區(qū)域，所述區(qū)域相對于一條從由所述圖像拾取裝置的所述位置和取向信息表示的位置延伸到從所述攝取圖像中提取的所述標記的代表位置的直線的對向角大于或者等于一個預定角。
9.根據(jù)權(quán)利要求7所述的信息處理方法，其中所述標記是可識別的四角形標記。
10.根據(jù)權(quán)利要求8所述的信息處理方法，其中所述代表位置是所述標記的重心位置。
11.一種信息處理設(shè)備，其使用存在于真實空間中的標記的攝取圖像來計算關(guān)于測量對象的信息，包括攝取圖像獲取裝置，其構(gòu)造用來獲取由圖像拾取裝置所攝取的圖像；提取裝置，其構(gòu)造用來從所述攝取圖像提取標記；位置/取向信息獲取裝置，其構(gòu)造用來獲取關(guān)于所述圖像拾取裝置的位置和取向信息；判定裝置，其構(gòu)造用來基于由標記信息管理裝置管理的關(guān)于所述標記的放置信息、以及關(guān)于所述圖像拾取裝置的所述位置和取向信息，判定是否使用與所述位置和取向信息相對應(yīng)的所述攝取圖像來計算關(guān)于所述測量對象的所述信息；以及計算器，其構(gòu)造用來在所述判定裝置判定要使用所述攝取圖像的情況下，使用所述攝取圖像計算關(guān)于所述測量對象的所述信息。
12.根據(jù)權(quán)利要求11所述的信息處理設(shè)備，其中關(guān)于所述測量對象的所述信息包括關(guān)于所述標記的放置信息、所述圖像拾取裝置的取向、和所述圖像拾取裝置的參數(shù)中的一個。
13.根據(jù)權(quán)利要求11所述的信息處理設(shè)備，其中關(guān)于所述測量對象的所述信息是關(guān)于所述標記的所述放置信息，以及，其中基于由所述計算器計算的所述放置信息，更新由所述標記信息管理裝置管理的所述放置信息。
14.根據(jù)權(quán)利要求11所述的信息處理設(shè)備，其中所述判定裝置構(gòu)造用來基于從關(guān)于在緊接的前一個攝取圖像中的所述標記的放置信息中獲得的代表位置、在所述圖像拾取裝置攝取所述緊接的前一個攝取圖像的時候所述圖像拾取裝置的位置、以及在所述圖像拾取裝置攝取當前圖像的時候所述代表位置和所述圖像拾取裝置的所述位置之間的關(guān)系，判定是否使用所述攝取圖像計算關(guān)于所述測量對象的所述信息。
15.一種信息處理設(shè)備，其使用存在于真實空間中的標記的攝取圖像來計算關(guān)于測量對象的信息，包括攝取圖像獲取裝置，其構(gòu)造用來獲取由圖像拾取裝置攝取的圖像；提取裝置，其構(gòu)造用來從所述攝取圖像提取標記；位置/取向信息獲取裝置，其構(gòu)造用來獲取關(guān)于所述圖像拾取裝置的位置和取向信息；計算器，其構(gòu)造用來基于關(guān)于所述圖像拾取裝置的所述位置和取向信息，計算關(guān)于其中應(yīng)該攝取圖像的圖像攝取區(qū)域的區(qū)域信息；以及顯示裝置，其構(gòu)造用來顯示由所述計算器計算的所述區(qū)域信息。
16.根據(jù)權(quán)利要求15所述的信息處理設(shè)備，其中所述計算器構(gòu)造用來計算一個區(qū)域，其相對于一條從由所述圖像拾取裝置的所述位置和取向信息表示的位置延伸到從所述攝取圖像中提取的所述標記的代表位置的直線的對向角大于或者等于一個預定角。
17.根據(jù)權(quán)利要求15所述的信息處理設(shè)備，其中所述標記是可識別的四角形標記。
18.根據(jù)權(quán)利要求14所述的信息處理設(shè)備，其中所述代表位置是所述標記的重心位置。
全文摘要
根據(jù)由圖像拾取單元攝取的圖像序列，自動判定及得到測量關(guān)于標記和/或傳感器的放置信息所需的圖像。為此目的，使用在圖像拾取單元攝取獲取的圖像時關(guān)于該圖像拾取單元的位置和取向信息，判定是否使用與該位置和取向相對應(yīng)的攝取圖像。使用被判定要使用的攝取圖像，得到標記放置信息、關(guān)于測量對象的放置信息或者圖像拾取單元的位置和取向作為未知參數(shù)，以使每個標記的測量圖像坐標和理論圖像坐標之間的誤差最小，所述理論圖像坐標是基于參數(shù)的大致值評估的。
文檔編號G06T7/00GK101093581SQ200710112098
公開日2007年12月26日 申請日期2007年6月22日 優(yōu)先權(quán)日2006年6月23日
發(fā)明者荒谷真一, 小竹大輔, 內(nèi)山晉二 申請人:佳能株式會社