基于前景物體再現(xiàn)擴(kuò)增實(shí)境的制作方法
【專利說明】基于前景物體再現(xiàn)擴(kuò)増實(shí)境
[0001]相關(guān)申請案的交叉參考
[0002]本申請案主張2013年I月3日申請且標(biāo)題為“基于前景物體再現(xiàn)擴(kuò)增實(shí)境(Rendering Augmented Reality Based on Foreground Ob ject)，，的第 I3/733，740 號美國申請案的權(quán)利及優(yōu)先權(quán)，所述申請案轉(zhuǎn)讓給本受讓人且以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003]本文中所描述的主題的實(shí)施例大體上是有關(guān)于檢測及追蹤一系列所捕捉圖像(例如視頻流)中的可移動(dòng)物體，且更明確地說是有關(guān)于使用可移動(dòng)物件與再現(xiàn)于所捕捉圖像的顯示中的擴(kuò)增互動(dòng)。
【背景技術(shù)】
[0004]在擴(kuò)增實(shí)境(augmented reality，AR)應(yīng)用中，對現(xiàn)實(shí)世界物體成像且將其與電腦產(chǎn)生信息(例如圖像、圖形或文字信息)一起顯示于屏幕上。電腦產(chǎn)生信息再現(xiàn)于現(xiàn)實(shí)世界物體上方且可用以(例如)提供關(guān)于現(xiàn)實(shí)世界物體的圖形或文字信息或用于娛樂目的(例如動(dòng)畫或游戲)。然而，用戶通常與顯示于AR型應(yīng)用中的再現(xiàn)物體互動(dòng)的能力是有限的且非直觀的。
[0005]用戶用來與再現(xiàn)物體互動(dòng)的當(dāng)前方法通常使用裝置上的物理輸入元件，例如按鈕或觸摸屏。用以用戶與再現(xiàn)擴(kuò)增之間的互動(dòng)的另一方法被稱作虛擬按鈕。用戶可通過利用例如手指的物體將成像場景的預(yù)先指定區(qū)域遮蔽(occluding)而與虛擬按鈕互動(dòng)。預(yù)先指定區(qū)域的遮蔽可以肉眼檢測到，且作為回應(yīng)，可執(zhí)行動(dòng)作。然而，具有虛擬按鈕的所得擴(kuò)增在用戶不與虛擬按鈕互動(dòng)時(shí)是有限的，如同虛擬按鈕與用戶實(shí)際上存在于同一空間中。

【發(fā)明內(nèi)容】

[0006]移動(dòng)裝置檢測所捕捉圖像(例如，不具深度信息的一系列視頻幀)中的可移動(dòng)前景物體。所述物體可為用戶的手指中的一或多個(gè)。所述物體可通過以下操作檢測到:使場景的包含所述物體的所捕捉圖像及所述場景的不具所述物體的參考圖像中的一個(gè)扭曲，因此所述圖像具有相同視圖，以及在扭曲之后比較所述所捕捉圖像與所述參考圖像。可使用掩模從所述所捕捉圖像分割所述物體。在所述物體的提取圖像中檢測像素，并且使用所述像素檢測所述前景物體上的關(guān)注點(diǎn)?？山又诤罄m(xù)圖像中追蹤所述物體?？稍佻F(xiàn)擴(kuò)增并且與所述擴(kuò)增互動(dòng)，或可檢測臨時(shí)手勢且相應(yīng)地執(zhí)行所要?jiǎng)幼鳌?br>[0007]在一個(gè)實(shí)施方案中，一種方法包含:捕捉場景的圖像，所述場景具有未附加到所述場景的前景物體，所述前景物體包含作為獨(dú)特物理方面的關(guān)注點(diǎn)；使所述圖像及所述場景的不包含所述前景物體的參考圖像中的至少一者扭曲，因此所述圖像及所述參考圖像具有相同視圖；在扭曲之后比較所述圖像與所述參考圖像以檢測屬于所述前景物體上的所述關(guān)注點(diǎn)的像素；使用所述檢測到的像素檢測所述前景物體上的所述關(guān)注點(diǎn)；在顯示器上顯示所述圖像；以及基于所述關(guān)注點(diǎn)在所述顯示器上于所述圖像上方再現(xiàn)擴(kuò)增。
[0008]在一個(gè)實(shí)施方案中，一種設(shè)備包含:攝像機(jī)；顯示器；以及處理器，所述處理器耦合到所述顯示器且耦合到所述攝像機(jī)以接收場景的圖像，所述場景具有未附加到所述場景的前景物體，所述前景物體包含作為獨(dú)特物理方面的關(guān)注點(diǎn)，所述處理器經(jīng)配置以進(jìn)行以下操作:使所述圖像及所述場景的不包含所述前景物體的參考圖像中的至少一者扭曲，因此所述圖像及所述參考圖像具有相同視圖；在扭曲之后比較所述圖像與所述參考圖像以檢測屬于所述前景物體上的所述關(guān)注點(diǎn)的像素；使用所述檢測到的像素檢測所述前景物體上的所述關(guān)注點(diǎn)；在所述顯示器上顯示所述圖像；以及基于所述關(guān)注點(diǎn)在所述顯示器上于所述圖像上方再現(xiàn)擴(kuò)增。
[0009]在一個(gè)實(shí)施方案中，一種設(shè)備包含:用于捕捉場景的圖像的裝置，所述場景具有未附加到所述場景的前景物體，所述前景物體包含作為獨(dú)特物理方面的關(guān)注點(diǎn)；用于使所述圖像及所述場景的不包含所述前景物體的參考圖像中的至少一者扭曲，因此所述圖像及所述參考圖像具有相同視圖的裝置；用于在扭曲之后比較所述圖像與所述參考圖像以檢測屬于所述前景物體上的所述關(guān)注點(diǎn)的像素的裝置；用于使用所述檢測到的像素檢測所述前景物體上的所述關(guān)注點(diǎn)的裝置；用于在顯示器上顯示所述圖像的裝置；以及用于基于所述關(guān)注點(diǎn)在所述顯示器上于所述圖像上方再現(xiàn)擴(kuò)增的裝置。
[0010]在一個(gè)實(shí)施方案中，一種包含存儲于其上的程序代碼的存儲媒體包含:用以接收場景的圖像的程序代碼，所述場景具有未附加到所述場景的前景物體，所述前景物體包含作為獨(dú)特物理方面的關(guān)注點(diǎn)；用以使所述圖像及所述場景的不包含所述前景物體的參考圖像中的至少一者扭曲，因此所述圖像及所述參考圖像具有相同視圖的程序代碼；用以在扭曲之后比較所述圖像與所述參考圖像以檢測屬于所述前景物體上的所述關(guān)注點(diǎn)的像素的程序代碼；用于使用所述檢測到的像素檢測所述前景物體上的所述關(guān)注點(diǎn)的程序代碼；用以在顯示器上顯示所述圖像的程序代碼；以及用以基于所述關(guān)注點(diǎn)在所述顯示器上于所述圖像上方再現(xiàn)擴(kuò)增的程序代碼。
【附圖說明】
[0011]圖1說明能夠檢測及追蹤所捕捉圖像中的可移動(dòng)前景物體的移動(dòng)裝置。
[0012]圖2為檢測及追蹤成像場景中的前景物體的方法的流程圖。
[0013]圖3A為詳述圖2的方法的部分的流程圖，其中前景物體是使用掩模從圖像分割。
[0014]圖3B為詳述圖2的方法的部分的流程圖，其中前景物體是在不使用掩模的情況下從圖像提取。
[0015]圖4為示出用以產(chǎn)生掩模的不同方法的流程圖。
[0016]圖5A說明包含臺上的目標(biāo)及前景物體的所捕捉圖像。
[0017]圖5B說明來自圖5A的目標(biāo)的參考圖像。
[0018]圖5C說明包含目標(biāo)及前景物體的部分的扭曲圖像。
[0019]圖說明利用掩模分割的前景物體。
[0020]圖5E說明在來自圖5C的扭曲圖像中的前景物體上檢測到的多個(gè)關(guān)注點(diǎn)。
[0021]圖5F說明具有基于檢測到前景物體再現(xiàn)的擴(kuò)增的所捕捉圖像。
[0022]圖6以圖形方式說明比較所捕捉圖像與參考圖像以產(chǎn)生掩模。
[0023]圖7說明用于檢測所捕捉圖像中的前景物體的系統(tǒng)圖。
[0024]圖8為說明追蹤一或多個(gè)前景物體以用于手勢辨識的流程圖。
[0025]圖9類似于圖1且說明再現(xiàn)于大于目標(biāo)的空間中的擴(kuò)增。
[0026]圖10為能夠檢測并追蹤成像場景中的前景物件的移動(dòng)裝置的框圖。
【具體實(shí)施方式】
[0027]圖1說明移動(dòng)裝置100，所述移動(dòng)裝置能夠檢測由攝像機(jī)110捕捉的不具深度信息的圖像中的可移動(dòng)前景物體。前景物體可為(例如)用戶111的手指112或手，或未附加到成像場景的任何其他所要物體。前景物件可在隨后捕捉的圖像中加以追蹤。應(yīng)理解，移動(dòng)裝置100可捕捉場景的視頻流，其中視頻流由多個(gè)幀或圖像組成。因此，如本文中所使用，所捕捉圖像應(yīng)理解為包含視頻的個(gè)別圖像以及幀。
[0028]移動(dòng)裝置100在圖1中示出為處于對場景102成像的橫向模式中，所述場景包含具有目標(biāo)106的臺104以及呈用戶111的手指的形式的前景物體112。成像場景(包含前景物體112)與擴(kuò)增108 (即，電腦再現(xiàn)物體)一起在移動(dòng)裝置100的顯示器101上示出。通過檢測前景物體112，擴(kuò)增108可再現(xiàn)以便看起來用戶111正在與擴(kuò)增108互動(dòng)。舉例來說，擴(kuò)增108可再現(xiàn)，使得所述擴(kuò)增在顯示器101中好像在前景物體112下。此外，通過在隨后捕捉的圖像中追蹤前景物體112，所述擴(kuò)增可再現(xiàn)，使得所述擴(kuò)增在顯示器101中好像被用戶111觸摸、推動(dòng)、拉動(dòng)或以其他方式操縱。當(dāng)然，檢測到的前景物體112可用于任何所要應(yīng)用中。舉例來說，通過追蹤用戶指尖在多個(gè)圖像中的位置，移動(dòng)裝置100可辨別用戶所作出的手勢，且因此，用戶的意圖動(dòng)作可從所捕捉圖像確定。
[0029]如本文中所使用，移動(dòng)裝置是指能夠從所捕捉圖像或視頻流進(jìn)行基于視覺的位置檢測及追蹤的任何便攜式電子裝置，且可包含(例如)蜂窩式或其他無線通信裝置、個(gè)人通信系統(tǒng)(personal communicat1n system, PCS)裝置、個(gè)人導(dǎo)航裝置(personalnavigat1n device，PND)、個(gè)人信息管理器(Personal Informat1n Manager，PIM)、個(gè)人數(shù)字助理(Personal Digital Assistant，PDA)，或其它合適的移動(dòng)裝置(包含攝像機(jī)、無線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)等)。移動(dòng)裝置可以，但未必必需能夠接收無線通信及/或?qū)Ш叫盘?，例如?dǎo)航定位信號。術(shù)語“移動(dòng)裝置”還希望包含例如通過短程無線、紅外線、纜線連接或其它連接與個(gè)人導(dǎo)航裝置(PND)通信的裝置，而不管在裝置處或在PND處是否發(fā)生衛(wèi)星信號接收、輔助數(shù)據(jù)接收及/或位置相關(guān)處理。
[0030]移動(dòng)裝置100能夠檢測并追蹤一或多個(gè)物體112 (例如，用戶111的手指，或未附加到成像場景的其它可移動(dòng)物體)的位置。舉例來說，例如隨機(jī)森林(Random Forest)分類器的分類器可用以穩(wěn)健地檢測前景物體。在未附加到場景時(shí)處于前景中的物體可使用背景分割來檢測。然而，背景分割通常需要使用深度信息。然而，移動(dòng)裝置100可通過估計(jì)具有已知目標(biāo)106的背景及移動(dòng)裝置100相對于目標(biāo)106的當(dāng)前姿勢(位置及定向)而在不具深度信息的情況下執(zhí)行背景分割。估計(jì)的背景可從圖像減去以識別前景物體。因此，為了與所顯示擴(kuò)增互動(dòng)，用戶111可將物體112放在所捕捉圖像中的背景上方，使得可(例如)使用所述分類器來分割并檢測到手指112。
[0031]移動(dòng)裝置100使用在追蹤系統(tǒng)中已獲得的信息(即，已知目標(biāo)及姿勢)來執(zhí)行背景分割，這使物體檢測過程簡化并加速。此外，關(guān)于從背景分割的物體，例如隨機(jī)森林分類器的分類器可用以快速地檢測物體。因此，物體可以允許用戶自然地與AR擴(kuò)增互動(dòng)的高效方式檢測并追蹤，從而增強(qiáng)用戶體驗(yàn)。
[0