專利名稱：增強(qiáng)現(xiàn)實(shí)中的對(duì)象對(duì)準(zhǔn)的制作方法
增強(qiáng)現(xiàn)實(shí)中的對(duì)象對(duì)準(zhǔn)
背景技術(shù)：
除非本文中另行指示，否則在本節(jié)中描述的材料對(duì)于本申請(qǐng)的權(quán)利要求不是現(xiàn)有技木，且并不通過將其包括在本節(jié)中而認(rèn)可其是現(xiàn)有技木。
在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，使用由計(jì)算設(shè)備產(chǎn)生的附加信息來(lái)提升或增強(qiáng)用戶對(duì)真實(shí)世界的視野。通過提供給用戶的顯示器，用戶可以看到在關(guān)注場(chǎng)景中放在實(shí)際對(duì)象上的虛擬幾何形狀對(duì)象。此外，可以添加并在顯示器上顯示與實(shí)際對(duì)象有關(guān)的非幾何形狀虛擬信息。


根據(jù)與附圖結(jié)合的以下描述和所附權(quán)利要求，本公開的前述和其他特征將變得更加完全地明顯。請(qǐng)理解這些附圖僅示出了根據(jù)本公開的若干實(shí)施例，且因此不應(yīng)被視為對(duì)其范圍進(jìn)行了限制，將通過使用附圖的附加特征和細(xì)節(jié)來(lái)描述本公開，在附圖中圖I示出了可以用于實(shí)現(xiàn)在增強(qiáng)現(xiàn)實(shí)中對(duì)準(zhǔn)對(duì)象的ー些示例系統(tǒng)；圖2示出了可以用于實(shí)現(xiàn)在增強(qiáng)現(xiàn)實(shí)中對(duì)準(zhǔn)對(duì)象的ー些示例系統(tǒng)；圖3示出了用于在增強(qiáng)現(xiàn)實(shí)中對(duì)準(zhǔn)對(duì)象的示例過程的流程圖；圖4示出了用于在增強(qiáng)現(xiàn)實(shí)中對(duì)準(zhǔn)對(duì)象的示例過程的流程圖；圖5示出了用于在增強(qiáng)現(xiàn)實(shí)中對(duì)準(zhǔn)對(duì)象的示例計(jì)算機(jī)程序產(chǎn)品；以及圖6是示出了適于執(zhí)行在增強(qiáng)現(xiàn)實(shí)中對(duì)準(zhǔn)對(duì)象的ー些示例計(jì)算設(shè)備的框圖；所有附圖都根據(jù)本文所呈現(xiàn)的至少ー些實(shí)施例來(lái)布置。
具體實(shí)施例方式在以下詳細(xì)說明中，參考了作為詳細(xì)說明的一部分的附圖。在附圖中，類似符號(hào)通常表示類似部件，除非上下文另行指明。
具體實(shí)施方式
部分、附圖和權(quán)利要求書中記載的示例性實(shí)施例并不是限制性的。在不脫離在此所呈現(xiàn)主題的精神或范圍的情況下，可以利用其他實(shí)施例，且可以進(jìn)行其他改變。應(yīng)當(dāng)理解，在此一般性記載以及附圖中圖示的本公開的各方案可以按照在此明確和隱含公開的多種不同配置來(lái)設(shè)置、替換、組合、分割和設(shè)計(jì)。本公開大體上涉及與在增強(qiáng)現(xiàn)實(shí)中對(duì)準(zhǔn)對(duì)象相關(guān)的方法、裝置、系統(tǒng)、設(shè)備和計(jì)算機(jī)程序產(chǎn)品。簡(jiǎn)而言之，大體上描述用于在增強(qiáng)現(xiàn)實(shí)中對(duì)準(zhǔn)對(duì)象的技木。在一些示例中，處理器可以適于接收檢測(cè)到的圖像數(shù)據(jù)和虛擬對(duì)象數(shù)據(jù)。在一些示例中，所述處理器還可以適于基于所述虛擬對(duì)象數(shù)據(jù)和檢測(cè)到的圖像數(shù)據(jù)來(lái)產(chǎn)生權(quán)重，并將權(quán)重應(yīng)用于強(qiáng)度級(jí)別和特征級(jí)別上的對(duì)數(shù)似然率函數(shù)。在一些示例中，所述處理器還可以適于將強(qiáng)度級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)與特征級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)相加，以產(chǎn)生代價(jià)函數(shù)。在ー些示例中，所述處理器還可以適于基于所述代價(jià)函數(shù)，確定可以用于將檢測(cè)到的圖像數(shù)據(jù)與虛擬對(duì)象數(shù)據(jù)對(duì)準(zhǔn)的變換參數(shù)。圖I示出了根據(jù)本文所呈現(xiàn)的至少ー些實(shí)施例的可以用于實(shí)現(xiàn)在增強(qiáng)現(xiàn)實(shí)中對(duì)準(zhǔn)對(duì)象的一些示例系統(tǒng)。系統(tǒng)100可以包括一個(gè)或多個(gè)傳感器102、存儲(chǔ)器104和顯示器110，它們都被布置為與處理器108通信。處理器108可以被布置為通過例如網(wǎng)絡(luò)106與傳感器102和存儲(chǔ)器104通信。如下面更詳細(xì)討論的，傳感器102可以適于檢測(cè)與關(guān)注場(chǎng)景118中的實(shí)際對(duì)象116有關(guān)的檢測(cè)到的圖像數(shù)據(jù)。傳感器102還可以適于向處理器108發(fā)送檢測(cè)到的圖像數(shù)據(jù)。處理器108可以適于從存儲(chǔ)器104中獲取與要和實(shí)際對(duì)象116對(duì)準(zhǔn)的虛擬對(duì)象有關(guān)的虛擬對(duì)象數(shù)據(jù)。處理器108還可以適于從存儲(chǔ)器104中獲取對(duì)準(zhǔn)算法。使用該對(duì)準(zhǔn)算法，處理器108可以適于將虛擬對(duì)象數(shù)據(jù)與檢測(cè)到的圖像數(shù)據(jù)對(duì)準(zhǔn)，以產(chǎn)生對(duì)象116的增強(qiáng)圖像。處理器108可以適于在顯示器110上向用戶112顯示關(guān)注場(chǎng)景118的圖像114中的增強(qiáng)圖像。系統(tǒng)100的組件可以設(shè)置在關(guān)注場(chǎng)景118之內(nèi)或之外的任何位置。圖2示出了根據(jù)本文所呈現(xiàn)的至少ー些實(shí)施例的可以用于實(shí)現(xiàn)在增強(qiáng)現(xiàn)實(shí)中對(duì) 準(zhǔn)對(duì)象的某個(gè)示例系統(tǒng)。圖2的系統(tǒng)實(shí)質(zhì)上類似于圖I的系統(tǒng)100，只是還具有附加細(xì)節(jié)。為了清楚，不再描述圖2中的具有與圖I的組件相同標(biāo)記的這些組件。存儲(chǔ)器104可以適于存儲(chǔ)對(duì)準(zhǔn)算法128和虛擬對(duì)象數(shù)據(jù)126。處理器108可以適于從傳感器102接收涉及對(duì)象116的檢測(cè)到的圖像數(shù)據(jù)130。在一些示例中，檢測(cè)到的圖像數(shù)據(jù)130可以包括具有像素和特征點(diǎn)形式的噪聲和圖像數(shù)據(jù)。特征點(diǎn)可以包括例如圖像中的可以用于將實(shí)際圖像與虛擬圖像對(duì)準(zhǔn)的特征。例如，如果檢測(cè)到的圖像數(shù)據(jù)130涉及臉，則特征可以是鼻子、眼睛等等。如上所述，處理器108可以適于接收虛擬對(duì)象數(shù)據(jù)126。處理器108可以適于使用對(duì)準(zhǔn)算法128將虛擬對(duì)象數(shù)據(jù)126與檢測(cè)到的圖像數(shù)據(jù)130對(duì)準(zhǔn)，以產(chǎn)生增強(qiáng)圖像132。處理器108可以適于向顯示器110顯示增強(qiáng)圖像132。ー些示例增強(qiáng)現(xiàn)實(shí)應(yīng)用可以受益于將要描述的準(zhǔn)確的對(duì)準(zhǔn)。如果虛擬對(duì)象數(shù)據(jù)添加了與對(duì)象有關(guān)的信息，則虛擬對(duì)象數(shù)據(jù)應(yīng)當(dāng)與實(shí)際數(shù)據(jù)的圖像準(zhǔn)確地對(duì)準(zhǔn)，否則可能破壞增強(qiáng)現(xiàn)實(shí)的幻覺。在醫(yī)療領(lǐng)域的示例中，實(shí)際圖像可以是器官，且虛擬對(duì)象數(shù)據(jù)可以指示哪里存在腫瘤。在這種情況下的虛擬和實(shí)際數(shù)據(jù)的對(duì)準(zhǔn)是重要的。圖3示出了根據(jù)本公開的至少ー些實(shí)施例的用于在增強(qiáng)現(xiàn)實(shí)中對(duì)準(zhǔn)對(duì)象的示例過程的流程圖?？梢允褂美缟鲜鱿到y(tǒng)100來(lái)實(shí)現(xiàn)圖3的過程。示例過程可以包括如塊S2、S4、S6、S8和/或SlO中一個(gè)或多個(gè)所示的ー個(gè)或多個(gè)操作、動(dòng)作或功能。盡管示出為離散的塊，可以根據(jù)所需實(shí)現(xiàn)，將各種塊分為附加塊，結(jié)合為較少的塊、或消除。處理可以開始于塊S2。在塊S2，處理器可以適于從傳感器接收與實(shí)際對(duì)象有關(guān)的檢測(cè)到的圖像數(shù)據(jù)。處理可以從塊S2繼續(xù)至塊S4。在塊S4，處理器可以適于接收與實(shí)際對(duì)象有關(guān)的虛擬對(duì)象數(shù)據(jù)。處理可以從塊S4繼續(xù)至塊S6。在塊S6，處理器可以適于確定變換參數(shù)。變換參數(shù)可以在變換(比如仿射變換)中使用，以將實(shí)際檢測(cè)到的圖像數(shù)據(jù)映射到虛擬對(duì)象數(shù)據(jù)。備選地，在其他示例中，變換參數(shù)可以用于將虛擬對(duì)象數(shù)據(jù)映射到檢測(cè)到的圖像數(shù)據(jù)。在其他示例中，變換參數(shù)可以用于將檢測(cè)到的圖像數(shù)據(jù)和虛擬對(duì)象數(shù)據(jù)都映射到現(xiàn)有的圖像。處理可以從塊S6繼續(xù)至塊S8。在塊S8，處理器可以適于使用變換參數(shù)來(lái)對(duì)準(zhǔn)虛擬對(duì)象數(shù)據(jù)和檢測(cè)到的圖像數(shù)據(jù)，以產(chǎn)生增強(qiáng)圖像。處理可以從塊S8繼續(xù)至塊S10。在塊S10，處理器可以適于在顯示器上顯示增強(qiáng)圖像。
圖4示出了根據(jù)本公開的至少ー些實(shí)施例的用于在增強(qiáng)現(xiàn)實(shí)中對(duì)準(zhǔn)對(duì)象的示例過程的流程圖。可以使用例如上述系統(tǒng)100來(lái)實(shí)現(xiàn)圖4的過程，且圖4的過程更詳細(xì)地解釋了圖3的S6的示例操作。示例過程可以包括如塊S22、S24、S30、S32、S34、S36、S38、S40、S42、S44、S46和/或S48中一個(gè)或多個(gè)所示的ー個(gè)或多個(gè)操作、動(dòng)作或功能。盡管示出為離散的塊，可以根據(jù)所需實(shí)現(xiàn)，將各種塊分為附加塊，結(jié)合為較少的塊、或消除。處理可以開始于塊S22。在塊S22，傳感器可以適于檢測(cè)與實(shí)際對(duì)象有關(guān)的檢測(cè)到的圖像數(shù)據(jù)。處理可以從塊S22繼續(xù)至塊S24。在塊S24，處理器可以適于接收檢測(cè)到的圖像數(shù)據(jù)和虛擬對(duì)象數(shù)據(jù)。例如，檢測(cè)到的圖像數(shù)據(jù)可以基于實(shí)際對(duì)象，并且可以包括圖像數(shù)據(jù)和噪聲數(shù)據(jù)。在一些示例中，虛擬對(duì)象數(shù)據(jù)可以是要添加到在顯示器上的對(duì)象的圖像的附加虛擬信息。處理可以從塊S24繼續(xù)至塊S30和S32。 在塊S30，處理器可以適于基于虛擬對(duì)象數(shù)據(jù)和檢測(cè)到的圖像數(shù)據(jù)來(lái)產(chǎn)生強(qiáng)度級(jí)別上的對(duì)數(shù)似然率函數(shù)。例如，檢測(cè)到的圖像數(shù)據(jù)和虛擬對(duì)象數(shù)據(jù)的強(qiáng)度級(jí)別可以基于針對(duì)相同形式(modality)的比較強(qiáng)度。形式的示例可以是可見或紅外圖像。在產(chǎn)生對(duì)數(shù)似然率函數(shù)時(shí)，可以使用圖像變換模型和噪聲變換模型。在一些示例中，圖像變換模型可以包括仿射變換模型、剛性變換模型、分段仿射變換模型、非剛性或弾性變換模型等等。在ー些示例中，噪聲變換模型可以基于噪聲的統(tǒng)計(jì)學(xué)屬性，比如高斯模型、混合高斯模型等等。處理可以從塊S30繼續(xù)至塊S34。在塊S32，處理器可以適于基于虛擬對(duì)象數(shù)據(jù)和檢測(cè)到的圖像數(shù)據(jù)來(lái)產(chǎn)生特征級(jí)別上的對(duì)數(shù)似然率函數(shù)。例如，可以使用在檢測(cè)到的圖像數(shù)據(jù)和虛擬對(duì)象數(shù)據(jù)中的所選控制點(diǎn)處的特征?？梢酝ㄟ^例如使用邊緣檢測(cè)算法來(lái)選擇控制點(diǎn)?？刂泣c(diǎn)的其它示例可以是界標(biāo)或交點(diǎn)。繼續(xù)使用上述示例之一，可以使用邊緣檢測(cè)算法在圖像中檢測(cè)臉上的鼻子。然后可以將鼻子用作特征級(jí)別上的對(duì)數(shù)似然率函數(shù)的控制點(diǎn)。處理可以從塊S32繼續(xù)至塊S36。在塊S34，處理器可以適于對(duì)強(qiáng)度級(jí)別上的對(duì)數(shù)似然率函數(shù)應(yīng)用第一權(quán)重wl，以產(chǎn)生強(qiáng)度級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)。處理可以從塊S34繼續(xù)至塊S38。在塊S36，處理器可以適于對(duì)特征級(jí)別上的對(duì)數(shù)似然率函數(shù)應(yīng)用第二權(quán)重《2，以產(chǎn)生特征級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)。可以基于在檢測(cè)到的圖像數(shù)據(jù)中的可用像素和特征點(diǎn)的數(shù)目以及基于在檢測(cè)到的圖像數(shù)據(jù)中的噪聲功率來(lái)分配權(quán)重wl和《2。例如，如果在檢測(cè)到的圖像數(shù)據(jù)中的可用像素的數(shù)目大于可用特征點(diǎn)的數(shù)目，則可以向強(qiáng)度級(jí)別數(shù)據(jù)的權(quán)重wl分配比特征級(jí)別數(shù)據(jù)的權(quán)重w2更大的值。類似地，特征級(jí)別上的大的噪聲功率可以使得應(yīng)用到特征級(jí)別數(shù)據(jù)的權(quán)重w2小于權(quán)重《I。因此，權(quán)重wl和《2可以與有多少信息可用(比如可用像素)和噪聲功率的級(jí)別成比例。在一些示例中，如果可用像素和特征的數(shù)目為零，或噪聲功率非常大，則可以將對(duì)應(yīng)的權(quán)重wl、w2設(shè)置為零。處理可以從塊S36繼續(xù)至塊S38。在塊S38，處理器可以適于將強(qiáng)度級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)與特征級(jí)別數(shù)據(jù)上的加權(quán)對(duì)數(shù)似然率函數(shù)相加，以產(chǎn)生代價(jià)函數(shù)。特別地，代價(jià)函數(shù)可以是以下參數(shù)的函數(shù)1)變換參數(shù)，比如在仿射變換中的變換參數(shù)，2)特征坐標(biāo)，以及3)噪聲功率。如上所述，變換參數(shù)可以用于將虛擬對(duì)象數(shù)據(jù)126(圖2)與檢測(cè)到的圖像數(shù)據(jù)130對(duì)準(zhǔn)。備選地，檢測(cè)到的圖像數(shù)據(jù)130可以與虛擬對(duì)象數(shù)據(jù)126對(duì)準(zhǔn)，或可以將檢測(cè)到的圖像數(shù)據(jù)和虛擬對(duì)象數(shù)據(jù)都與第三圖像對(duì)準(zhǔn)。特征坐標(biāo)可以是特征在檢測(cè)到的圖像數(shù)據(jù)130中的位置。噪聲功率可以是檢測(cè)到的圖像數(shù)據(jù)中的功率級(jí)別。處理可以從塊S38繼續(xù)至塊S40。在塊S40，處理器可以適于通過最小化代價(jià)函數(shù)來(lái)估計(jì)用于將虛擬對(duì)象數(shù)據(jù)映射到檢測(cè)到的圖像數(shù)據(jù)的仿射變換參數(shù)。例如，可以調(diào)整所有參數(shù)以最小化代價(jià)函數(shù)，以獲得仿射變換參數(shù)的第一估計(jì)。處理可以從塊S40繼續(xù)至塊S42。在塊S42，可以定義循環(huán)，使得處理器可以適于執(zhí)行接下來(lái)的3個(gè)操作，直到代價(jià)函數(shù)收斂。處理可以從塊S42繼續(xù)至塊S44。在塊S44，處理器可以適于估計(jì)代價(jià)函數(shù)的特征坐標(biāo)。可以在將代價(jià)函數(shù)的仿射變換參數(shù)和噪聲功率參數(shù)保持固定時(shí)執(zhí)行操作S42。處理可以從塊S44繼續(xù)至塊S46。在塊S46，處理器可以適于使用特征坐標(biāo)的當(dāng)前估計(jì)來(lái)估計(jì)仿射變換參數(shù)。處理可以從塊S46繼續(xù)至塊S48。在塊S48，處理器可以適于使用特征參數(shù)和仿射變換參數(shù)的當(dāng)前估計(jì)來(lái)估計(jì)代價(jià)函數(shù)中的噪聲功率?？梢杂蓧KS44、S46和/或S48中的ー個(gè)或多個(gè)來(lái)定義更新的代價(jià)函數(shù)。塊S42定義的循環(huán)可以繼續(xù)，直到更新的代價(jià)函數(shù)收斂。例如，塊S42中定義的循環(huán)可以繼續(xù)，直到在操作S44、S46和S48中代價(jià)函數(shù)的改變低于閾值。在另ー示例中，塊S42中定義的循環(huán)可以繼續(xù)，直到代價(jià)函數(shù)中的一個(gè)似然率函數(shù)的改變不超過閾值。下面示出了用于確定代價(jià)函數(shù)的示例過程，其中，為了說明的目的，示出了高斯分布噪聲模型以及仿射變換模型。在示例中，系統(tǒng)100可以接收2個(gè)圖像參考圖像126(例如，虛擬圖像)和失真圖像(例如，檢測(cè)到的實(shí)際圖像)1加。在特征級(jí)別，令X1GO = [Xl(k)，yi(k)]T和XtlGO=[X(l(k)，yoOO]1分別代表參考圖像和失真圖像中的第k個(gè)對(duì)應(yīng)特征的真實(shí)坐標(biāo)，k = 1，2，…，N1，其中，N1是特征的總數(shù)?？梢酝ㄟ^以下給出的仿射變換將這些特征加以關(guān)聯(lián)
權(quán)利要求
1.一種用于在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中將與實(shí)際對(duì)象和虛擬對(duì)象有關(guān)的數(shù)據(jù)進(jìn)行對(duì)準(zhǔn)的方法，所述方法包括 在處理器處接收檢測(cè)到的圖像數(shù)據(jù)，其中，所述檢測(cè)到的圖像數(shù)據(jù)涉及所述實(shí)際對(duì)象； 在所述處理器處接收虛擬對(duì)象數(shù)據(jù)，其中，所述虛擬對(duì)象數(shù)據(jù)表示所述增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的所述虛擬對(duì)象； 由所述處理器基于所述虛擬對(duì)象數(shù)據(jù)和所述檢測(cè)到的圖像數(shù)據(jù)，產(chǎn)生強(qiáng)度級(jí)別上的對(duì)數(shù)似然率函數(shù)； 由所述處理器基于所述虛擬對(duì)象數(shù)據(jù)和所述檢測(cè)到的圖像數(shù)據(jù)，產(chǎn)生特征級(jí)別上的對(duì)數(shù)似然率函數(shù)； 由所述處理器對(duì)強(qiáng)度級(jí)別上的所述對(duì)數(shù)似然率函數(shù)應(yīng)用第一權(quán)重，以產(chǎn)生強(qiáng)度級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)； 由所述處理器對(duì)特征級(jí)別上的所述對(duì)數(shù)似然率函數(shù)應(yīng)用第二權(quán)重，以產(chǎn)生特征級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)； 由所述處理器將強(qiáng)度級(jí)別上的所述加權(quán)對(duì)數(shù)似然率函數(shù)與特征級(jí)別上的所述加權(quán)對(duì)數(shù)似然率函數(shù)相加，以產(chǎn)生代價(jià)函數(shù)；以及 由所述處理器基于所述代價(jià)函數(shù)，確定針對(duì)所述檢測(cè)到的圖像數(shù)據(jù)的變換參數(shù)；其中，所述變換參數(shù)被實(shí)現(xiàn)為將所述檢測(cè)到的圖像數(shù)據(jù)與所述虛擬對(duì)象數(shù)據(jù)對(duì)準(zhǔn)。
2.根據(jù)權(quán)利要求I所述的方法，還包括由所述處理器使用所述變換參數(shù)來(lái)對(duì)準(zhǔn)所述檢測(cè)到的圖像數(shù)據(jù)和所述虛擬對(duì)象數(shù)據(jù)，以產(chǎn)生增強(qiáng)圖像。
3.根據(jù)權(quán)利要求2所述的方法，還包括在顯示器上顯示所述增強(qiáng)圖像，其中，所述顯示器上的所述增強(qiáng)圖像表示所述增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的所述虛擬對(duì)象。
4.根據(jù)權(quán)利要求I所述的方法，其中，由所述處理器確定針對(duì)所述檢測(cè)到的圖像數(shù)據(jù)的變換參數(shù)包括最小化所述代價(jià)函數(shù)。
5.根據(jù)權(quán)利要求I所述的方法，其中，由所述處理器確定針對(duì)所述檢測(cè)到的圖像數(shù)據(jù)的對(duì)準(zhǔn)參數(shù)還包括在將所述代價(jià)函數(shù)的變換參數(shù)和噪聲功率參數(shù)保持固定時(shí)，由所述處理器來(lái)估計(jì)所述代價(jià)函數(shù)的特征坐標(biāo)。
6.根據(jù)權(quán)利要求I所述的方法，其中，由所述處理器確定針對(duì)所述檢測(cè)到的圖像數(shù)據(jù)的對(duì)準(zhǔn)參數(shù)還包括由所述處理器使用所述代價(jià)函數(shù)的特征坐標(biāo)的當(dāng)前估計(jì)來(lái)估計(jì)所述代價(jià)函數(shù)的變換參數(shù)。
7.根據(jù)權(quán)利要求I所述的方法，其中，由所述處理器確定針對(duì)所述檢測(cè)到的圖像數(shù)據(jù)的對(duì)準(zhǔn)參數(shù)還包括由所述處理器更新所述代價(jià)函數(shù)的噪聲功率參數(shù)的估計(jì)，以及將所述噪聲功率參數(shù)的估計(jì)代入所述代價(jià)函數(shù)中。
8.根據(jù)權(quán)利要求I所述的方法，其中，由所述處理器確定針對(duì)所述檢測(cè)到的圖像數(shù)據(jù)的對(duì)準(zhǔn)參數(shù)包括 最小化所述代價(jià)函數(shù)；以及 重復(fù)以下步驟，直到確定所述代價(jià)函數(shù)收斂 在將所述代價(jià)函數(shù)的變換參數(shù)和噪聲功率參數(shù)保持固定時(shí)，由所述處理器來(lái)估計(jì)所述代價(jià)函數(shù)的特征坐標(biāo)；由所述處理器使用所述代價(jià)函數(shù)的特征坐標(biāo)的當(dāng)前估計(jì)來(lái)估計(jì)所述代價(jià)函數(shù)的變換參數(shù)；以及 由所述處理器更新所述代價(jià)函數(shù)的噪聲功率參數(shù)的估計(jì)，以及將所述噪聲功率參數(shù)的估計(jì)代入所述代價(jià)函數(shù)中。
9.根據(jù)權(quán)利要求I所述的方法，其中，所述第一權(quán)重和所述第二權(quán)重基于所述檢測(cè)到的圖像數(shù)據(jù)中的像素?cái)?shù)目。
10.根據(jù)權(quán)利要求I所述的方法，其中，所述第一權(quán)重和所述第二權(quán)重基于所述檢測(cè)到的圖像數(shù)據(jù)中的噪聲功率。
11.根據(jù)權(quán)利要求I所述的方法，其中，產(chǎn)生強(qiáng)度級(jí)別上的所述對(duì)數(shù)似然率函數(shù)和產(chǎn)生特征級(jí)別上的所述對(duì)數(shù)似然率函數(shù)包括使用高斯噪聲模型。
12.根據(jù)權(quán)利要求I所述的方法，其中，產(chǎn)生強(qiáng)度級(jí)別上的所述對(duì)數(shù)似然率函數(shù)和產(chǎn)生特征級(jí)別上的所述對(duì)數(shù)似然率函數(shù)包括使用以下至少ー個(gè)圖像變換模型仿射變換模型、剛性變換模型或弾性變換模型。
13.根據(jù)權(quán)利要求I所述的方法，其中，特征級(jí)別上的所述對(duì)數(shù)似然率函數(shù)基于所述檢測(cè)到的圖像數(shù)據(jù)中的邊緣。
14.一種用于實(shí)現(xiàn)權(quán)利要求I的方法的設(shè)備，所述設(shè)備包括 處理器；以及 存儲(chǔ)器，被布置為與所述處理器通信； 所述處理器被實(shí)現(xiàn)為 接收檢測(cè)到的圖像數(shù)據(jù)，其中，所述檢測(cè)到的圖像數(shù)據(jù)涉及所述實(shí)際對(duì)象； 接收虛擬對(duì)象數(shù)據(jù)，其中，所述虛擬對(duì)象數(shù)據(jù)與所述增強(qiáng)現(xiàn)實(shí)中的所述虛擬對(duì)象相關(guān)聯(lián)； 基于所述虛擬對(duì)象數(shù)據(jù)和所述檢測(cè)到的圖像數(shù)據(jù)，產(chǎn)生強(qiáng)度級(jí)別上的對(duì)數(shù)似然率函數(shù)； 基于所述虛擬對(duì)象數(shù)據(jù)和所述檢測(cè)到的圖像數(shù)據(jù)，產(chǎn)生特征級(jí)別上的對(duì)數(shù)似然率函數(shù)； 對(duì)強(qiáng)度級(jí)別上的所述對(duì)數(shù)似然率函數(shù)應(yīng)用第一權(quán)重，以產(chǎn)生強(qiáng)度級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)； 對(duì)特征級(jí)別上的所述對(duì)數(shù)似然率函數(shù)應(yīng)用第二權(quán)重，以產(chǎn)生特征級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)； 將強(qiáng)度級(jí)別數(shù)據(jù)上的所述加權(quán)對(duì)數(shù)似然率函數(shù)與特征級(jí)別上的所述加權(quán)對(duì)數(shù)似然率函數(shù)相加，以產(chǎn)生代價(jià)函數(shù)； 基于所述代價(jià)函數(shù)，確定針對(duì)所述檢測(cè)到的圖像數(shù)據(jù)的變換參數(shù)；其中，所述變換參數(shù)被實(shí)現(xiàn)為將所述檢測(cè)到的圖像數(shù)據(jù)與所述虛擬對(duì)象數(shù)據(jù)對(duì)準(zhǔn)；以及在所述存儲(chǔ)器中存儲(chǔ)所述變換參數(shù)。
15.根據(jù)權(quán)利要求14所述的設(shè)備，其中，所述處理器還被實(shí)現(xiàn)為使用所述變換參數(shù)將所述檢測(cè)到的圖像數(shù)據(jù)和所述虛擬對(duì)象數(shù)據(jù)對(duì)準(zhǔn)，以產(chǎn)生增強(qiáng)圖像數(shù)據(jù)。
16.根據(jù)權(quán)利要求15所述的設(shè)備，還包括顯示器，被布置為與所述處理器通信，其中，所述顯示器被實(shí)現(xiàn)為顯示所述增強(qiáng)圖像數(shù)據(jù)，其中，所述增強(qiáng)圖像數(shù)據(jù)表示所述增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的所述虛擬對(duì)象。
17.根據(jù)權(quán)利要求14所述的設(shè)備，其中，所述處理器還被實(shí)現(xiàn)為 最小化所述代價(jià)函數(shù)；以及 重復(fù)以下步驟，直到確定所述代價(jià)函數(shù)收斂 在將所述代價(jià)函數(shù)的變換參數(shù)和噪聲功率參數(shù)保持固定時(shí)，估計(jì)所述代價(jià)函數(shù)的特征坐標(biāo)； 使用所述代價(jià)函數(shù)的特征坐標(biāo)的當(dāng)前估計(jì)來(lái)估計(jì)所述代價(jià)函數(shù)的變換參數(shù)；以及更新所述代價(jià)函數(shù)的噪聲功率參數(shù)的估計(jì)，以及將所述噪聲功率參數(shù)的估計(jì)代入所述代價(jià)函數(shù)中。
18.根據(jù)權(quán)利要求14所述的設(shè)備，其中，所述第一權(quán)重和所述第二權(quán)重基于所述檢測(cè)到的圖像數(shù)據(jù)中的像素?cái)?shù)目。
19.根據(jù)權(quán)利要求14所述的設(shè)備，其中，所述第一權(quán)重和所述第二權(quán)重基于所述檢測(cè)到的圖像數(shù)據(jù)中的噪聲功率。
20.一種被實(shí)現(xiàn)為執(zhí)行權(quán)利要求I的方法的系統(tǒng)，所述系統(tǒng)包括 處理器； 傳感器，被布置為與所述處理器通信，所述傳感器被實(shí)現(xiàn)為檢測(cè)檢測(cè)到的圖像數(shù)據(jù)，以及從所述傳感器向所述處理器發(fā)送所述檢測(cè)到的圖像數(shù)據(jù)，其中，所述檢測(cè)到的圖像數(shù)據(jù)涉及所述實(shí)際對(duì)象； 存儲(chǔ)器，被布置為與所述處理器通信； 顯示器，被布置為與所述處理器通信； 所述處理器被實(shí)現(xiàn)為 接收所述檢測(cè)到的圖像數(shù)據(jù)； 接收虛擬對(duì)象數(shù)據(jù)，其中，所述虛擬對(duì)象數(shù)據(jù)與所述增強(qiáng)現(xiàn)實(shí)中的所述虛擬對(duì)象相關(guān)聯(lián)； 基于所述虛擬對(duì)象數(shù)據(jù)和所述檢測(cè)到的圖像數(shù)據(jù)，產(chǎn)生強(qiáng)度級(jí)別上的對(duì)數(shù)似然率函數(shù)； 基于所述虛擬對(duì)象數(shù)據(jù)和所述檢測(cè)到的圖像數(shù)據(jù)，產(chǎn)生特征級(jí)別上的對(duì)數(shù)似然率函數(shù)； 對(duì)強(qiáng)度級(jí)別上的所述對(duì)數(shù)似然率函數(shù)應(yīng)用第一權(quán)重，以產(chǎn)生強(qiáng)度級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)； 對(duì)特征級(jí)別上的所述對(duì)數(shù)似然率函數(shù)應(yīng)用第二權(quán)重，以產(chǎn)生特征級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)； 將強(qiáng)度級(jí)別數(shù)據(jù)上的所述加權(quán)對(duì)數(shù)似然率函數(shù)與特征級(jí)別上的所述加權(quán)對(duì)數(shù)似然率函數(shù)相加，以產(chǎn)生代價(jià)函數(shù)； 基于所述代價(jià)函數(shù)，確定針對(duì)所述檢測(cè)到的圖像數(shù)據(jù)的變換參數(shù)；其中，所述變換參數(shù)被實(shí)現(xiàn)為將所述檢測(cè)到的圖像數(shù)據(jù)與所述虛擬對(duì)象數(shù)據(jù)對(duì)準(zhǔn)； 在所述存儲(chǔ)器中存儲(chǔ)所述變換參數(shù)；以及 使用所述變換參數(shù)將所述檢測(cè)到的圖像數(shù)據(jù)與所述虛擬對(duì)象數(shù)據(jù)對(duì)準(zhǔn)，以產(chǎn)生增強(qiáng)圖像數(shù)據(jù)；以及其中，所述顯示器被實(shí)現(xiàn)為顯示所述增強(qiáng)圖像數(shù)據(jù)。
21.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中，所述處理器還被實(shí)現(xiàn)為 最小化所述代價(jià)函數(shù)；以及 重復(fù)以下步驟，直到確定所述代價(jià)函數(shù)收斂 在將所述代價(jià)函數(shù)的變換參數(shù)和噪聲功率參數(shù)保持固定時(shí)，估計(jì)所述代價(jià)函數(shù)的特征坐標(biāo)； 使用所述代價(jià)函數(shù)的特征坐標(biāo)的當(dāng)前估計(jì)來(lái)估計(jì)所述代價(jià)函數(shù)的變換參數(shù)；以及更新所述代價(jià)函數(shù)的噪聲功率參數(shù)的估計(jì)，以及將所述噪聲功率參數(shù)的估計(jì)代入所述代價(jià)函數(shù)中。
22.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中，所述第一權(quán)重和所述第二權(quán)重基于所述檢測(cè)到的圖像數(shù)據(jù)中的像素?cái)?shù)目。
23.根據(jù)權(quán)利要求20所述的系統(tǒng)，其中，所述第一權(quán)重和所述第二權(quán)重基于所述檢測(cè)到的圖像數(shù)據(jù)中的噪聲功率。
24.一種用于實(shí)現(xiàn)權(quán)利要求20的系統(tǒng)的方法，所述方法包括 由傳感器檢測(cè)檢測(cè)到的圖像數(shù)據(jù)，其中，所述檢測(cè)到的圖像數(shù)據(jù)涉及實(shí)際對(duì)象； 從所述傳感器向處理器發(fā)送所述檢測(cè)到的圖像數(shù)據(jù)； 由所述處理器接收所述檢測(cè)到的圖像數(shù)據(jù)； 在所述處理器處接收虛擬對(duì)象數(shù)據(jù)，其中，所述虛擬對(duì)象數(shù)據(jù)表示所述增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的所述虛擬對(duì)象； 由所述處理器基于所述虛擬對(duì)象數(shù)據(jù)和所述檢測(cè)到的圖像數(shù)據(jù)，產(chǎn)生強(qiáng)度級(jí)別上的對(duì)數(shù)似然率函數(shù)； 由所述處理器基于所述虛擬對(duì)象數(shù)據(jù)和所述檢測(cè)到的圖像數(shù)據(jù)，產(chǎn)生特征級(jí)別上的對(duì)數(shù)似然率函數(shù)； 由所述處理器對(duì)強(qiáng)度級(jí)別上的所述對(duì)數(shù)似然率函數(shù)應(yīng)用第一權(quán)重，以產(chǎn)生強(qiáng)度級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)； 由所述處理器對(duì)特征級(jí)別上的所述對(duì)數(shù)似然率函數(shù)應(yīng)用第二權(quán)重，以產(chǎn)生特征級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)； 由所述處理器將強(qiáng)度級(jí)別上的所述加權(quán)對(duì)數(shù)似然率函數(shù)與特征級(jí)別上的所述加權(quán)對(duì)數(shù)似然率函數(shù)相加，以產(chǎn)生代價(jià)函數(shù)； 由所述處理器基于所述代價(jià)函數(shù)，確定針對(duì)所述檢測(cè)到的圖像數(shù)據(jù)的變換參數(shù)；其中，所述變換參數(shù)被實(shí)現(xiàn)為將所述檢測(cè)到的圖像數(shù)據(jù)與所述虛擬對(duì)象數(shù)據(jù)對(duì)準(zhǔn)； 由所述處理器使用所述變換參數(shù)將所述檢測(cè)到的圖像數(shù)據(jù)與所述虛擬對(duì)象數(shù)據(jù)對(duì)準(zhǔn)，以產(chǎn)生增強(qiáng)圖像數(shù)據(jù)；以及 在顯示器上顯示所述增強(qiáng)圖像數(shù)據(jù)，其中，所述增強(qiáng)圖像數(shù)據(jù)表示所述增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的所述虛擬對(duì)象。
25.根據(jù)權(quán)利要求24所述的方法，其中，由所述處理器確定針對(duì)所述檢測(cè)到的圖像數(shù)據(jù)的對(duì)準(zhǔn)參數(shù)包括 最小化所述代價(jià)函數(shù)；以及 重復(fù)以下步驟，直到確定所述代價(jià)函數(shù)收斂在將所述代價(jià)函數(shù)的變換參數(shù)和噪聲功率參數(shù)保持固定吋， 由所述處理器估計(jì)所述代價(jià)函數(shù)的特征坐標(biāo)； 由所述處理器使用所述代價(jià)函數(shù)的特征坐標(biāo)的當(dāng)前估計(jì)來(lái) 估計(jì)所述代價(jià)函數(shù)的變換參數(shù)；以及 由所述處理器更新所述代價(jià)函數(shù)的噪聲功率參數(shù)的估計(jì)， 以及將所述噪聲功率參數(shù)的估計(jì)代入所述代價(jià)函數(shù)中。
26.根據(jù)權(quán)利要求24所述的方法，其中，所述第一權(quán)重和所述第二權(quán)重基于所述檢測(cè)到的圖像數(shù)據(jù)中的像素?cái)?shù)目。
27.根據(jù)權(quán)利要求24所述的方法，其中，所述第一權(quán)重和所述第二權(quán)重基于所述檢測(cè)到的圖像數(shù)據(jù)中的噪聲功率。
28.ー種計(jì)算機(jī)存儲(chǔ)介質(zhì)，具有存儲(chǔ)于其上的計(jì)算機(jī)可執(zhí)行指令，當(dāng)由計(jì)算設(shè)備執(zhí)行時(shí)，所述計(jì)算機(jī)可執(zhí)行指令使得所述計(jì)算設(shè)備執(zhí)行權(quán)利要求I的方法，所述方法包括 在處理器處接收檢測(cè)到的圖像數(shù)據(jù)，其中，所述檢測(cè)到的圖像數(shù)據(jù)涉及所述實(shí)際對(duì)象； 在所述處理器處接收虛擬對(duì)象數(shù)據(jù)，其中，所述虛擬對(duì)象數(shù)據(jù)表示所述增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的所述虛擬對(duì)象； 由所述處理器基于所述虛擬對(duì)象數(shù)據(jù)和所述檢測(cè)到的圖像數(shù)據(jù)，產(chǎn)生強(qiáng)度級(jí)別上的對(duì)數(shù)似然率函數(shù)； 由所述處理器基于所述虛擬對(duì)象數(shù)據(jù)和所述檢測(cè)到的圖像數(shù)據(jù)，產(chǎn)生特征級(jí)別上的對(duì)數(shù)似然率函數(shù)； 由所述處理器對(duì)強(qiáng)度級(jí)別上的所述對(duì)數(shù)似然率函數(shù)應(yīng)用第一權(quán)重，以產(chǎn)生強(qiáng)度級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)； 由所述處理器對(duì)特征級(jí)別上的所述對(duì)數(shù)似然率函數(shù)應(yīng)用第二權(quán)重，以產(chǎn)生特征級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)； 由所述處理器將強(qiáng)度級(jí)別上的所述加權(quán)對(duì)數(shù)似然率函數(shù)與特征級(jí)別上的所述加權(quán)對(duì)數(shù)似然率函數(shù)相加，以產(chǎn)生代價(jià)函數(shù)；以及 由所述處理器基于所述代價(jià)函數(shù)，確定針對(duì)所述檢測(cè)到的圖像數(shù)據(jù)的變換參數(shù)；其中，所述變換參數(shù)被實(shí)現(xiàn)為將所述檢測(cè)到的圖像數(shù)據(jù)與所述虛擬對(duì)象數(shù)據(jù)對(duì)準(zhǔn)。
29.根據(jù)權(quán)利要求28所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述方法還包括 最小化所述代價(jià)函數(shù)；以及 重復(fù)以下步驟，直到確定所述代價(jià)函數(shù)收斂 在將所述代價(jià)函數(shù)的變換參數(shù)和噪聲功率參數(shù)保持固定時(shí)，由所述處理器估計(jì)所述代價(jià)函數(shù)的特征坐標(biāo)； 由所述處理器使用所述代價(jià)函數(shù)的特征坐標(biāo)的當(dāng)前估計(jì)來(lái)估計(jì)所述代價(jià)函數(shù)的變換參數(shù)；以及 由所述處理器更新所述代價(jià)函數(shù)的噪聲功率參數(shù)的估計(jì)，以及將所述噪聲功率參數(shù)的估計(jì)代入所述代價(jià)函數(shù)中。
全文摘要
本發(fā)明大體上描述了用于在增強(qiáng)現(xiàn)實(shí)中對(duì)準(zhǔn)對(duì)象的技術(shù)。在一些示例中，處理器可以適于接收檢測(cè)到的圖像數(shù)據(jù)和虛擬對(duì)象數(shù)據(jù)。在一些示例中，所述處理器還可以適于基于所述虛擬對(duì)象數(shù)據(jù)和檢測(cè)到的圖像數(shù)據(jù)來(lái)產(chǎn)生權(quán)重，并在強(qiáng)度和特征級(jí)別上，將權(quán)重應(yīng)用于對(duì)數(shù)似然率函數(shù)。在一些示例中，所述處理器還可以適于將強(qiáng)度級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)與特征級(jí)別上的加權(quán)對(duì)數(shù)似然率函數(shù)相加，以產(chǎn)生代價(jià)函數(shù)。在一些示例中，所述處理器還可以適于基于所述代價(jià)函數(shù)，確定可以用于對(duì)準(zhǔn)檢測(cè)到的圖像數(shù)據(jù)與虛擬對(duì)象數(shù)據(jù)的變換參數(shù)。
文檔編號(hào)G06K9/00GK102667811SQ201180004866
公開日2012年9月12日 申請(qǐng)日期2011年2月16日 優(yōu)先權(quán)日2010年3月8日
發(fā)明者亨利·梁 申請(qǐng)人:英派爾科技開發(fā)有限公司