專利名稱：Ar處理裝置和ar處理方法
AR處理裝置和AR處理方法
相關(guān)申請的引用
本申請要求基于2010年9月22日申請的日本專利申請?zhí)卦?010-212633的優(yōu)先權(quán)，并且將該申請的內(nèi)容全文包括在此，作為參考。技術(shù)領(lǐng)域
本申請涉及一種對攝像圖像施加AR(增強現(xiàn)實)處理的AR技術(shù)。
技術(shù)背景
AR技術(shù)是一種通過將與被攝體相關(guān)的信息或CG(計算機圖形)圖像等重疊到由攝像機拍攝的現(xiàn)實空間的圖像(攝像圖像)上而呈現(xiàn)給用戶的技術(shù)。近年來，其研究、開發(fā)正在盛行。
在該AR技術(shù)中，為了給用戶提供了一種在攝像圖像上所重疊的圖像等(虛擬物體)仿佛實際存在于現(xiàn)實空間中那樣的感覺，需要根據(jù)用戶的視點(也就是，攝像機的位置姿勢)的變化，正確地調(diào)整進行重疊的虛擬物體的位置。
例如，在非專利文獻(xiàn)1中，提出了一種通過將被攝體上貼附給定的標(biāo)記(marker)， 并對其進行追蹤，來估計攝像機的位置姿勢的技術(shù)。
非專利文獻(xiàn)1 加藤博一以及另外三人、““^ 一力一追跡(二基3 <拡張現(xiàn)実感* ^ r Λ i Θ ^ Ij 7" l· - V a >，，、日本虛擬現(xiàn)實學(xué)會論文雜志、Vol. 4,No. 4, pp. 607-616、 1999發(fā)明內(nèi)容
本發(fā)明提供了一種AR處理裝置和AR處理方法，能夠在AR處理中使各種各樣的有形物成為被攝體，并且無需使用標(biāo)記而能夠高精度地估計攝像機的位置姿勢。
本發(fā)明的第一觀點所涉及的AR處理裝置具備
圖像取得單元，其取得對于被攝體存在視差的兩個以上的圖像的組；
生成單元，其基于由所述圖像取得單元取得的圖像的組，生成所述被攝體的3D模型；
提取單元，其將由所述生成單元最初生成的所述被攝體的3D模型選擇為被合成 3D模型，從所述被合成3D模型中提取多個第一特征點，并且將由所述生成單元在第二次以后生成的所述被攝體的3D模型選擇為合成3D模型，并且從所述合成3D模型中提取多個第二特征點；
取得單元，其基于由所述提取單元提取出的所述被合成3D模型的多個第一特征點、以及所述合成3D模型的多個第二特征點，取得用于將所述合成3D模型的坐標(biāo)變換為所述被合成3D模型的坐標(biāo)系的坐標(biāo)的坐標(biāo)變換參數(shù)；
變換單元，其使用由所述取得單元取得的所述坐標(biāo)變換參數(shù)，將所述合成3D模型的坐標(biāo)變換為所述被合成3D模型的坐標(biāo)系的坐標(biāo)；
合成單元，其通過將全部的所變換后的合成3D模型合成到所述被合成3D模型上來生成所述被攝體的3D模型，并且執(zhí)行特征點的合并；以及
保存單元，其將通過所述合成單元的合成所生成的所述被攝體的3D模型、以及表示所合并后的特征點的信息保存在存儲裝置中。
本發(fā)明的第二觀點所涉及的AR處理裝置具備
登記數(shù)據(jù)取得單元，其取得由預(yù)先登記的被攝體的第一 3D模型、以及表示所述第一3D模型的多個特征點的信息構(gòu)成的3D對象數(shù)據(jù)；
圖像取得單元，其取得對于所述被攝體存在視差的兩個以上的圖像的組；
生成單元，其基于由所述圖像取得單元取得的圖像的組，生成所述被攝體的第二 3D模型；
提取單元，其從由所述生成單元生成的所述第二 3D模型中提取多個特征點；
取得單元，其基于由所述提取單元提取出的所述第二 3D模型的多個特征點、以及由所述登記數(shù)據(jù)取得單元取得的所述3D對象數(shù)據(jù)所涉及的多個特征點，取得用于將所述第一 3D模型的坐標(biāo)變換為所述第二 3D模型的坐標(biāo)系的坐標(biāo)的坐標(biāo)變換參數(shù)；
AR數(shù)據(jù)生成單元，其基于由所述取得單元取得的所述坐標(biāo)變換參數(shù)、以及所述第二3D模型，來生成AR數(shù)據(jù)；
AR圖像顯示單元，其顯示基于由所述AR數(shù)據(jù)生成單元生成的所述AR數(shù)據(jù)的圖像。
本發(fā)明的第三觀點所涉及的AR處理方法具有
圖像取得步驟，取得對于被攝體存在視差的兩個以上的圖像的組；
生成步驟，基于所取得的圖像的組，生成所述被攝體的3D模型；
提取步驟，將最初生成的所述被攝體的3D模型選擇為被合成3D模型，從所述被合成3D模型中提取多個第一特征點，并且將在第二次以后生成的所述被攝體的3D模型選擇為合成3D模型，并且從所述合成3D模型中提取多個第二特征點；
取得步驟，基于所述被合成3D模型的多個所提取的第一特征點、以及所述合成3D 模型的多個所提取的第二特征點，取得用于將所述合成3D模型的坐標(biāo)變換為所述被合成 3D模型的坐標(biāo)系的坐標(biāo)的坐標(biāo)變換參數(shù)；
變換步驟，使用由所取得的坐標(biāo)變換參數(shù)，將所述合成3D模型的坐標(biāo)變換為所述被合成3D模型的坐標(biāo)系的坐標(biāo)；
合成步驟，通過將全部的所變換后的合成3D模型合成到所述被合成3D模型上來生成所述被攝體的3D模型，并且執(zhí)行特征點的合并；以及
保存步驟，將通過所述合成所生成的所述被攝體的3D模型、以及表示所合并后的特征點的信息保存在存儲裝置中。
本發(fā)明的第四觀點所涉及的AR處理方法具有
登記數(shù)據(jù)取得步驟，取得由預(yù)先登記的被攝體的第一 3D模型、以及表示所述第一 3D模型的多個特征點的信息構(gòu)成的3D對象數(shù)據(jù)；
圖像取得步驟，取得對于所述被攝體存在視差的兩個以上的圖像的組；
生成步驟，基于所取得的圖像的組，生成所述被攝體的第二 3D模型；
提取步驟，從所生成的第二 3D模型中提取多個特征點；
取得步驟，基于所提取出的第二 3D模型的多個特征點、以及所取得的3D對象數(shù)據(jù)CN 102542604 A所涉及的多個特征點，取得用于將所述第一 3D模型的坐標(biāo)變換為所述第二 3D模型的坐標(biāo)系的坐標(biāo)的坐標(biāo)變換參數(shù)；
AR數(shù)據(jù)生成步驟，基于所取得的坐標(biāo)變換參數(shù)、以及所述第二 3D模型，來生成AR 數(shù)據(jù)；
AR圖像顯示步驟，顯示基于所生成的AR數(shù)據(jù)的圖像。


當(dāng)結(jié)合以下附圖來考慮以下的詳細(xì)描述時，可以得到對本申請更深的理解。
圖1A、1B是示出了本發(fā)明的實施方式所涉及的立體攝像機的外觀構(gòu)成的圖，其中圖IA示出了正表面?zhèn)龋鴪DIB示出了背表面?zhèn)取?br> 圖2是示出了本實施方式的立體攝像機的電氣構(gòu)成的框圖。
圖3是示出了在本實施方式的立體攝像機中，與3D對象登記模式相關(guān)的功能構(gòu)成的框圖。
圖4是示出了本實施方式中的3D對象登記處理的順序過程的流程圖。
圖5是示出了本實施方式中的3D模型生成處理的順序過程的流程圖。
圖6是示出了本實施方式中的攝像機位置估計處理A的順序過程的流程圖。
圖7是示出了本實施方式中的坐標(biāo)變換參數(shù)取得處理的順序過程的流程圖。
圖8是示出了本實施方式中的3D模型合成處理的順序過程的流程圖。
圖9是示出了在本實施方式的立體攝像機中，與3D對象操作模式相關(guān)的功能構(gòu)成的框圖。
圖10是示出了本實施方式中的AR處理的順序過程的流程圖。
圖11是示出了本實施方式中的攝像機位置估計處理B的順序過程的流程圖。
具體實施方式
以下，將參照附圖來說明本發(fā)明的最佳實施方式。在本實施方式中，示出了將本發(fā)明應(yīng)用于數(shù)碼式立體攝像機的例子。
圖1A、1B是本實施方式所涉及的立體攝像機1的外觀圖。如圖IA所示，在該立體攝像機1的正表面上設(shè)置了透鏡111A、透鏡111B、以及頻閃發(fā)光部400。另外，在上表面上， 設(shè)置了快門按鈕331。在按快門按鈕331處于上方的方向，使立體攝像機1變?yōu)樗降那闆r下，透鏡IllA和透鏡IllB被配置為按照各自的中心位置在水平方向上處于同一線上的方式，以給定的間隔隔開。頻閃發(fā)光部400根據(jù)需要向被攝體照射頻閃光。快門按鈕331是用于接受來自用戶的快門動作指示的按鈕。
如圖IB所示，在立體攝像機1的背表面上設(shè)置了顯示部310、操作鍵332、以及電源按鈕333。顯示部310由諸如液晶顯示裝置構(gòu)成，并作為用于顯示操作立體攝像機1所需的各種畫面、或者拍攝時的實況(live view)圖像、攝像圖像等的電子取景器。
操作鍵332包含十字鍵或確定鍵等，并且接受模式切換或顯示切換等來自用戶的各種操作。電源按鈕333是用于從用戶接受立體攝像機1的電源的接通/斷開的按鈕。
圖2是示出了立體攝像機1的電氣構(gòu)成的框圖。如圖2所示，立體攝像機1具備 第一攝像部100A、第二攝像部100B、數(shù)據(jù)處理部200、I/F部300、以及頻閃發(fā)光部400。
第一攝像部100A和第二攝像部100B是分別承擔(dān)對被攝體進行攝像的功能的部分。立體攝像機1是所謂的復(fù)眼攝像機。盡管這樣地構(gòu)成為具有兩個攝像部，但是第一攝像部100A和第二攝像部100B具有相同的構(gòu)成。以下，對于第一攝像部100A的構(gòu)成，在參考符號的末尾附上了 “A”，而對于第二攝像部100B的構(gòu)成，在參考符號的末尾附上了 “B”。
如圖2所示，第一攝像部100A (第二攝像部100B)由光學(xué)裝置IlOA(110B)、圖像傳感器部120A(120B)等構(gòu)成。光學(xué)裝置ΙΙΟΑ(ΙΙΟΒ)包括諸如透鏡、光圈機構(gòu)、快門機構(gòu)等， 并且執(zhí)行與攝像有關(guān)的光學(xué)動作。也就是，通過光學(xué)裝置ΙΙΟΑ(ΙΙΟΒ)的動作，對入射光進行聚光，同時執(zhí)行所謂的焦點距離、光圈、快門速度等的與視角或調(diào)焦、曝光等有關(guān)的光學(xué)要素的調(diào)整。
另外，光學(xué)裝置ΙΙΟΑ(ΙΙΟΒ)中所包括的快門機構(gòu)是所謂的機械快門。在僅通過圖像傳感器的動作來執(zhí)行快門動作的情況下，在光學(xué)裝置ΙΙΟΑ(ΙΙΟΒ)中也可以不包括快門機構(gòu)。另外，光學(xué)裝置ΙΙΟΑ(ΙΙΟΒ)根據(jù)后述的控制部210的控制來進行動作。
圖像傳感器部120A(120B)生成與由光學(xué)裝置IlOA(110B)所聚光的入射光相對應(yīng)的電信號。圖像傳感器部120A(120B)通過由諸如CXD(電荷耦合器件)或CMOS(互補金屬氧化物半導(dǎo)體)構(gòu)成的圖像傳感器來執(zhí)行光電轉(zhuǎn)換。圖像傳感器部120A(120B)通過光電轉(zhuǎn)換來生成與所接收的光的強度相對應(yīng)的電信號，并且將所生成的電信號輸出到數(shù)據(jù)處理部 200。
如上所述，第一攝像部100A與第二攝像部100B具有相同的構(gòu)成。更詳細(xì)地，透鏡的焦點距離f或F值、光圈機構(gòu)的光圈范圍、圖像傳感器的尺寸或像素數(shù)、排列、像素面積等各規(guī)格均是完全相同的。在使第一攝像部100A與第二攝像部100B同時動作的情況下，對于同一被攝體拍攝了兩個圖像(成對圖像)。在這種情況下，第一攝像部100A的光軸位置與第二攝像部100B的光軸位置在橫向上是不同的。
數(shù)據(jù)處理部200對通過第一攝像部100A和第二攝像部100B的攝像動作而生成的電信號進行處理，并生成表示攝像圖像的數(shù)字?jǐn)?shù)據(jù)。另外，數(shù)據(jù)處理部200執(zhí)行對攝像圖像的圖像處理。數(shù)據(jù)處理部200由控制部210、圖像處理部220、圖像存儲器230、圖像輸出部 M0、存儲部250、外部存儲部260等構(gòu)成。
控制部210由諸如CPU(中央處理單元)等處理器或RAM(隨機存取存儲器)等主存儲裝置等構(gòu)成。處理器通過執(zhí)行存儲部250等中存儲的程序，來對立體攝像機1的各部進行控制。另外，在本實施方式中，通過執(zhí)行給定的程序，通過控制部210來實現(xiàn)與后述的各處理有關(guān)的功能。
圖像處理部220由諸如ADC(模擬數(shù)字轉(zhuǎn)換器)、緩沖存儲器、圖像處理用的處理器 (所謂的圖像處理引擎)等構(gòu)成。圖像處理部220基于由圖像傳感器部120A和120B生成的電信號，來生成表示攝像圖像的數(shù)字?jǐn)?shù)據(jù)。也就是，當(dāng)由ADC將從圖像傳感器部120A(120B) 輸出的模擬電信號轉(zhuǎn)換為數(shù)字信號并依次將其存儲在緩沖存儲器中時，通過由圖像處理引擎對所緩沖的數(shù)字?jǐn)?shù)據(jù)執(zhí)行所謂的顯影處理等，來執(zhí)行圖像質(zhì)量的調(diào)整或數(shù)據(jù)壓縮等。
圖像存儲器230由諸如RAM或閃速存儲器等存儲裝置構(gòu)成。圖像存儲器230暫時地保存由圖像處理部220生成的攝像圖像數(shù)據(jù)、或由控制部210所處理的圖像數(shù)據(jù)等。
圖像輸出部MO由諸如用于生成RGB信號的電路等構(gòu)成。圖像輸出部240將圖像存儲器230中所存儲的圖像數(shù)據(jù)轉(zhuǎn)換為RGB信號，并輸出到顯示畫面(顯示部310等)。
存儲部250由諸如ROM(只讀存儲器)或閃速存儲器等存儲裝置構(gòu)成，并且存儲立體攝像機1的動作所需的程序或數(shù)據(jù)等。在本實施方式中，將由控制部210等執(zhí)行的動作程序、或其執(zhí)行時所需的參數(shù)或運算式等數(shù)據(jù)存儲到存儲部250中。
外部存儲部沈0由稱作諸如存儲卡等的對于立體攝像機1而言可裝拆的存儲裝置構(gòu)成，并且存儲由立體攝像機1所攝像得到的圖像數(shù)據(jù)、3D對象數(shù)據(jù)等。
I/F部300是承擔(dān)和立體攝像機1與用戶或外部裝置之間的接口有關(guān)的功能的處理部。I/F部300由顯示部310、外部I/F部320、操作部330等構(gòu)成。
如上所述，顯示部310由諸如液晶顯示裝置等構(gòu)成，并且用于對用戶操作立體攝像機1所需的各種畫面、或拍攝時的實況圖像、攝像圖像等進行顯示輸出。在本實施方式中，基于來自圖像輸出部MO的圖像信號(RGB信號)等來執(zhí)行攝像圖像等的顯示輸出。
外部I/F部320由諸如USB (通用串行總線)連接器或視頻輸出端子等構(gòu)成，并且執(zhí)行對外部的計算機裝置的圖像數(shù)據(jù)的輸出、或者對外部監(jiān)視器裝置的攝像圖像的顯示輸ψ絕OD寸。
操作部330由設(shè)置于立體攝像機1的外表面上的各種按鈕等構(gòu)成，并且生成與用戶的操作相對應(yīng)的輸入信號并發(fā)送到控制部210。如上所述，在構(gòu)成操作部330的按鈕中， 包括快門按鈕331、操作鍵332、電源按鈕333等。
頻閃發(fā)光部400由諸如氙氣燈(氙氣閃光燈)構(gòu)成。頻閃發(fā)光部400根據(jù)控制部 210的控制，向被攝體照射頻閃光。
盡管以上已經(jīng)說明了實現(xiàn)本發(fā)明所需的立體攝像機1的構(gòu)成，但是除此之外，立體攝像機1還具備用于實現(xiàn)一般的立體攝像機的功能的構(gòu)成。
在以上構(gòu)成的立體攝像機1中，通過3D對象登記模式時的處理(3D對象登記處理)，來登記被攝體的3D模型和特征點信息。然后，通過3D對象操作模式時的處理(AR處理)，基于先前登記的特征點信息來估計立體攝像機1的位置姿勢，并且對這次取得的攝像圖像施加AR處理并生成AR數(shù)據(jù)。
首先，將參照圖3到圖8來說明與3D對象登記模式有關(guān)的動作。
圖3是示出了在立體攝像機1中用于實現(xiàn)與3D對象登記模式有關(guān)的動作的功能構(gòu)成的框圖。
在該動作中，如圖3所示，立體攝像機1具備圖像取得部11、生成部12、提取部13、 取得部14、變換部15、合成部16、以及保存部17。
圖像取得部11取得對同一被攝體存在視差的兩個圖像(成對圖像)。生成部12 基于由圖像取得部11取得的成對圖像，生成被攝體的3D模型。
提取部13在從由生成部12生成的最初的3D模型(被合成3D模型)中提取多個第一特征點的同時，從由生成部12生成的第二次以后的一個3D模型(合成3D模型)中提取多個第二特征點。
取得部14基于由提取部13提取出的多個第一特征點和多個第二特征點，取得用于將該合成3D模型的坐標(biāo)變換為該被合成3D模型的坐標(biāo)系的坐標(biāo)的坐標(biāo)變換參數(shù)。
變換部15使用由取得部14取得的坐標(biāo)變換參數(shù)，將合成3D模型的坐標(biāo)變換為被合成3D模型的坐標(biāo)系的坐標(biāo)。
合成部16在將變換后的全部的合成3D模型合成到被合成3D模型的同時，執(zhí)行特征點的合并(統(tǒng)合)。保存部17將由合成部16合成后的被攝體的3D模型、以及與合并后的特征點有關(guān)的信息(特征點信息)保存到外部存儲部260等中。
圖4是示出了上述的3D對象登記處理的順序過程的流程圖。該3D對象登記處理以用戶通過操作操作鍵332等操作部330而選擇了 3D對象登記模式為契機而開始。
在3D對象登記處理中，在按壓快門按鈕331期間，重復(fù)執(zhí)行被攝體的攝像、3D模型的生成、生成的3D模型的合成、特征點的合并、合成后的3D模型的預(yù)覽顯示等。這里，將通過最初的攝像得到的且成為合成的基礎(chǔ)的3D模型稱為被合成3D模型。另外，將通過第二次以后的攝像所得到的且將被合成到被合成3D模型的3D模型稱為合成3D模型。另外，用戶一邊移動針對被攝體的視點即一邊改變立體攝像機1的位置姿勢，一邊對被攝體進行連拍。
在步驟SlOl中，由控制部210來判定終止事件的發(fā)生與否。終止事件在諸如用戶執(zhí)行了向再生模式等的模式轉(zhuǎn)移操作的情況下、或者在立體攝像機1的電源被斷開的情況下等發(fā)生。
在發(fā)生了終止事件的情況下(步驟SlOl ；是)，終止本處理。另一方面，在并未發(fā)生終止事件的情況下(步驟SlOl ；否)，控制部210將基于通過一個攝像部(例如，第一攝像部100A)所得到的圖像數(shù)據(jù)的圖像(所謂的實況圖像)顯示在顯示部310上(步驟S102)。
在步驟S103，控制部210判定是否按下了快門按鈕331。在并未按下快門按鈕331 的情況下(步驟S103;否)，控制部210再次執(zhí)行步驟SlOl的處理。另一方面，在按下了快門按鈕331的情況下(步驟S103 ；是)，控制部210控制第一攝像部100A、第二攝像部100B、 圖像處理部220，對被攝體進行攝像(步驟S104)。結(jié)果，得到了兩張平行同位圖像(成對圖像)。將所取得的成對圖像保存在諸如圖像存儲器230中。另外，在以后的說明中，將成對圖像中作為第一攝像部100A的攝像結(jié)果所得到的圖像設(shè)為圖像A，而作為第二攝像部100B 的攝像結(jié)果所得到的圖像設(shè)為圖像B。
控制部210基于圖像存儲器230中所保存的成對圖像，來執(zhí)行3D模型生成處理 (步驟 S105)。
這里，參照圖5所示的流程圖，對3D模型生成處理進行說明。另外，3D模型生成處理是一種基于一組成對圖像來生成3D模型的處理。也就是，可以設(shè)想的是，3D模型生成處理是一種生成從一個攝像機位置所看到的3D模型的處理。
首先，控制部210提取特征點的候選(步驟S201)。例如，控制部210對圖像A執(zhí)行角點(corner)檢測。控制部210使用諸如哈里斯(harris)的角點檢測函數(shù)等來執(zhí)行特征點的提取。在該情況下，將角點特征量在給定閾值以上且在給定半徑內(nèi)成為最大的點選擇為角點。由此，將被攝體的尖端等、對于其他點而言存在特征的點作為特征點進行提取。
接下來，控制部210執(zhí)行立體匹配，并且從圖像B中搜索與圖像A的特征點相對應(yīng)的點(對應(yīng)點)(步驟S202)。具體地，控制部210通過模板匹配，檢測類似度在給定閾值以上且最大的點(或者差別度在給定閾值以下且最小的點)，作為對應(yīng)點。在模板匹配時，可采用諸如殘差絕對值和(SAD)、殘差平方和(SSD)、歸一化相關(guān)(NCC或ZNCC)、方向碼相關(guān)等各種已知的技術(shù)。
控制部210根據(jù)步驟S202中檢測出的對應(yīng)點的視差信息、第一攝像部100A和第二攝像部100B的視角、基線長度等，來計算特征點的位置信息(步驟S203)。將計算出的特征點的位置信息保存在諸如存儲部250中。另外，此時，作為特征點的附帶信息，可以將顏色信息等與位置信息一起保存。
控制部210基于所計算出的特征點的位置信息來執(zhí)行德勞內(nèi)(Delaimay)三角形分割，并執(zhí)行多邊形化處理(步驟S204)。將通過該處理生成的多邊形信息(3D模型)保存在諸如存儲部250中。當(dāng)完成多邊形化處理時，控制部210終止3D模型生成處理。
當(dāng)3D模型生成處理終止時，控制部210判定該攝像是否為最初的(圖4的步驟 S106)。在其為最初的攝像的情況下(步驟S106;是)，控制部210將3D模型生成處理中所生成的3D模型設(shè)定為被合成3D模型(步驟S107)。
另一方面，當(dāng)其并非最初的攝像的情況下(步驟S106 ；否)，控制部210執(zhí)行攝像機位置估計處理A(步驟S108)。將參照圖6的流程圖來說明攝像機位置估計處理A。另外， 在攝像機位置估計處理A中，求取這次攝像時的立體攝像機1相對于最初的攝像時的立體攝像機1的位置姿勢的相對位置姿勢。另外，求取該相對位置姿勢與求取用于將通過這次的攝像得到的3D模型的坐標(biāo)變換為通過最初的攝像所得到的3D模型的坐標(biāo)系的坐標(biāo)的坐標(biāo)變換參數(shù)是相同的。
首先，控制部210從被合成3D模型和合成3D模型這兩者取得3D空間上的特征點 (第一特征點和第二特征點)(步驟S301)。例如，控制部210選擇被合成3D模型(或者， 合成3D模型)的特征點中，角點強度較高且立體匹配的一致度較高的點?；蛘?，控制部210 可以在考慮到在成對圖像間的對極(bipolar)約束的基礎(chǔ)上，通過執(zhí)行基于SURF(加速的魯棒特征)特征量的匹配，來取得特征點。
當(dāng)完成步驟S301的處理時，控制部210從被合成3D模型中隨機地選擇三個特征點(步驟S302)。然后，控制部210判定該選擇是否適當(dāng)(步驟S303)。這里，在滿足以下所示的(A)和(B)的條件的任意一個的情況下，判定該三個特征點的選擇是適當(dāng)?shù)摹?br> (A)的條件為以三個特征點為頂點的三角形的面積不過于小，即，在預(yù)定的面積以上。(B)的條件為以三個特征點為頂點的三角形不具有極端尖銳的銳角，即，在預(yù)定的角度以上。
在上述的判定結(jié)果表示該選擇不適當(dāng)?shù)那闆r下(步驟S303 ；否)的情況下，控制部210再次執(zhí)行步驟S302的處理。另一方面，在該選擇適當(dāng)?shù)那闆r下(步驟S303;是)，控制部210從以合成3D模型所具有的三個特征點為頂點的三角形中，搜索與以步驟S302中所選擇的三個特征點為頂點的三角線全等的三角形(全等三角形)(步驟S304)。例如，在兩者的三個邊的長度大致相等的情況下，判定這兩個三角形為全等的。還可以設(shè)想的是，該步驟304的處理是一種從合成3D模型的特征點內(nèi)搜索與在步驟S302中從被合成3D模型中選擇的三個特征點相對應(yīng)的三個點的處理。
另外，控制部210可以通過基于特征點及其周邊的顏色信息、或者SURF特征量等來縮窄三角形的候選，由此來使該搜索處理高速化。將表示所搜索到的三角形的信息(典型地，表示構(gòu)成該三角形的頂點的三個特征點在3D空間上的坐標(biāo)的信息)保存到諸如存儲部250中。在存在多個全等三角形的情況下，將表示全部的三角形的信息保存到存儲部250 中。
控制部210通過上述搜索，來判定是否存在至少一個全等三角形(步驟S305)。另外，在所搜索到的全等三角形的數(shù)目為給定數(shù)目以上的情況下，控制部210可以判定為全等三角形并不存在(沒有找到)。
在存在全等三角形的情況下(步驟S305 ；是)，控制部210選擇其中的-
卜(步驟S306)。另一方面，在不存在全等三角形的情況下(步驟S305 ；否)，控制部210再次執(zhí)行步驟S302的處理。
當(dāng)選擇一個全等三角形時，控制部210執(zhí)行坐標(biāo)變換參數(shù)取得處理(步驟S307)。 坐標(biāo)變換參數(shù)取得處理是一種取得用于將合成3D模型的坐標(biāo)變換為被合成3D模型的坐標(biāo)系的坐標(biāo)的坐標(biāo)變換參數(shù)的處理。另外，針對在步驟S302中所選擇的三個特征點與步驟 S306中所選擇的全等三角形的組合的每一個，執(zhí)行坐標(biāo)變換參數(shù)取得處理。這里，坐標(biāo)變換參數(shù)是一種對通過公式(1)和( 所給出的對應(yīng)點對(特征點對，頂點對)，求取滿足公式(3)的旋轉(zhuǎn)矩陣R和運動向量t的處理。公式(1)和O)的ρ與ρ’具有與各個攝像機視點相對應(yīng)的3D空間上的坐標(biāo)。另外，N為對應(yīng)點對的對數(shù)。
權(quán)利要求
1.一種AR處理裝置，具備圖像取得單元，其取得對于被攝體存在視差的兩個以上的圖像的組； 生成單元，其基于由所述圖像取得單元取得的圖像的組，生成所述被攝體的3D模型； 提取單元，其將由所述生成單元最初生成的所述被攝體的3D模型選擇為被合成3D模型，從所述被合成3D模型中提取多個第一特征點，并且將由所述生成單元在第二次以后生成的所述被攝體的3D模型選擇為合成3D模型，并且從所述合成3D模型中提取多個第二特 iiE ；^^ ’取得單元，其基于由所述提取單元提取出的所述被合成3D模型的多個第一特征點、以及所述合成3D模型的多個第二特征點，取得用于將所述合成3D模型的坐標(biāo)變換為所述被合成3D模型的坐標(biāo)系的坐標(biāo)的坐標(biāo)變換參數(shù)；變換單元，其使用由所述取得單元取得的所述坐標(biāo)變換參數(shù)，將所述合成3D模型的坐標(biāo)變換為所述被合成3D模型的坐標(biāo)系的坐標(biāo)；合成單元，其通過將全部的所變換后的合成3D模型合成到所述被合成3D模型上來生成所述被攝體的3D模型，并且執(zhí)行特征點的合并；以及保存單元，其將通過所述合成單元的合成所生成的所述被攝體的3D模型、以及表示所合并后的特征點的信息保存在存儲裝置中。
2.根據(jù)權(quán)利要求1所述的AR處理裝置，其中，所述取得單元從所提取的多個第一特征點中選擇三個第一特征點，從所提取的多個第二特征點中選擇用于構(gòu)成與以所選擇的三個第一特征點為頂點的三角形相對應(yīng)的三角形的三個頂點的三個第二特征點，并且取得用于使所選擇的三個第二特征點的坐標(biāo)與所選擇的三個第一特征點的坐標(biāo)匹配的坐標(biāo)變換參數(shù)。
3.根據(jù)權(quán)利要求2所述的AR處理裝置，其中，所述取得單元多次執(zhí)行通過從所提取的多個第一特征點中隨機地選擇三個第一特征點來取得所述坐標(biāo)變換參數(shù)的處理，并且從通過所述多次的處理所得到的多個所述坐標(biāo)變換參數(shù)中選擇一個坐標(biāo)變換參數(shù)。
4.根據(jù)權(quán)利要求3所述的AR處理裝置，其中，所述取得單元從所述多個坐標(biāo)變換參數(shù)中選擇用于使所述變換單元進行坐標(biāo)變換后的所述多個第二特征點的坐標(biāo)與所述多個第一特征點的坐標(biāo)最為匹配的一個坐標(biāo)變換參數(shù)。
5.根據(jù)權(quán)利要求1所述的AR處理裝置，其中，所述合成單元按照對應(yīng)的特征點彼此屬于相同的組的方式將所述多個第一特征點和所述多個第二特征點分組為多個組，求得所述多個組的每一個的重心，并且將所求得的多個重心作為新的多個特征點來生成新的3D模型。
6.一種AR處理裝置，具備登記數(shù)據(jù)取得單元，其取得由預(yù)先登記的被攝體的第一 3D模型、以及表示所述第一 3D 模型的多個特征點的信息構(gòu)成的3D對象數(shù)據(jù)；圖像取得單元，其取得對于所述被攝體存在視差的兩個以上的圖像的組；生成單元，其基于由所述圖像取得單元取得的圖像的組，生成所述被攝體的第二 3D模型；提取單元，其從由所述生成單元生成的所述第二 3D模型中提取多個特征點； 取得單元，其基于由所述提取單元提取出的所述第二 3D模型的多個特征點、以及由所述登記數(shù)據(jù)取得單元取得的所述3D對象數(shù)據(jù)所涉及的多個特征點，取得用于將所述第一 3D模型的坐標(biāo)變換為所述第二 3D模型的坐標(biāo)系的坐標(biāo)的坐標(biāo)變換參數(shù)；AR數(shù)據(jù)生成單元，其基于由所述取得單元取得的所述坐標(biāo)變換參數(shù)、以及所述第二 3D 模型，來生成AR數(shù)據(jù)；AR圖像顯示單元，其顯示基于由所述AR數(shù)據(jù)生成單元生成的所述AR數(shù)據(jù)的圖像。
7.一種AR處理方法，具有圖像取得步驟，取得對于被攝體存在視差的兩個以上的圖像的組； 生成步驟，基于所取得的圖像的組，生成所述被攝體的3D模型； 提取步驟，將最初生成的所述被攝體的3D模型選擇為被合成3D模型，從所述被合成3D 模型中提取多個第一特征點，并且將在第二次以后生成的所述被攝體的3D模型選擇為合成3D模型，并且從所述合成3D模型中提取多個第二特征點；取得步驟，基于所述被合成3D模型的多個所提取的第一特征點、以及所述合成3D模型的多個所提取的第二特征點，取得用于將所述合成3D模型的坐標(biāo)變換為所述被合成3D模型的坐標(biāo)系的坐標(biāo)的坐標(biāo)變換參數(shù)；變換步驟，使用所取得的坐標(biāo)變換參數(shù)，將所述合成3D模型的坐標(biāo)變換為所述被合成 3D模型的坐標(biāo)系的坐標(biāo)；合成步驟，通過將全部的所變換后的合成3D模型合成到所述被合成3D模型上來生成所述被攝體的3D模型，并且執(zhí)行特征點的合并；以及保存步驟，將通過所述合成所生成的被攝體的3D模型、以及表示所合并后的特征點的信息保存在存儲裝置中。
8.一種AR處理方法，具有登記數(shù)據(jù)取得步驟，取得由預(yù)先登記的被攝體的第一 3D模型、以及表示所述第一 3D模型的多個特征點的信息構(gòu)成的3D對象數(shù)據(jù)；圖像取得步驟，取得對于所述被攝體存在視差的兩個以上的圖像的組； 生成步驟，基于所取得的圖像的組，生成所述被攝體的第二 3D模型； 提取步驟，從所生成的第二 3D模型中提取多個特征點；取得步驟，基于所提取出的第二 3D模型的多個特征點、以及所取得的3D對象數(shù)據(jù)所涉及的多個特征點，取得用于將所述第一 3D模型的坐標(biāo)變換為所述第二 3D模型的坐標(biāo)系的坐標(biāo)的坐標(biāo)變換參數(shù)；AR數(shù)據(jù)生成步驟，基于所取得的坐標(biāo)變換參數(shù)、以及所述第二 3D模型，來生成AR數(shù)據(jù)；AR圖像顯示步驟，顯示基于所生成的AR數(shù)據(jù)的圖像。
全文摘要
提供了一種高精度估計攝像機的位置姿勢的AR處理裝置。生成部(12)基于針對同一被攝體所取得的成對圖像，生成被攝體的3D模型。提取部(13)從被合成3D模型中提取多個第一特征點，并且從合成3D模型中提取多個第二特征點。取得部(14)基于多個第一特征點和多個第二特征點來取得坐標(biāo)變換參數(shù)。變換部(15)使用該坐標(biāo)變換參數(shù)，將合成3D模型的坐標(biāo)變換為被合成3D模型的坐標(biāo)系的坐標(biāo)。合成部(16)將變換后的全部的合成3D模型合成到被合成3D模型上，并執(zhí)行特征點的合并。保存部(17)將合成后的被攝體的3D模型、以及與合并后的特征點有關(guān)的信息保存到存儲器卡等中。在AR處理中使用在此所保存的數(shù)據(jù)。
文檔編號G06T17/00GK102542604SQ201110281400
公開日2012年7月4日 申請日期2011年9月21日 優(yōu)先權(quán)日2010年9月22日
發(fā)明者中島光康, 吉濱由紀(jì), 山谷崇史, 櫻井敬一 申請人:卡西歐計算機株式會社