利用假定的距離的立體對象檢測的制作方法
【專利說明】利用假定的距離的立體對象檢測
[0001]置量
[0002]計算系統(tǒng)使用各種不同的輸入機制來從用戶接收命令。例如，許多計算系統(tǒng)使用允許用戶控制計算系統(tǒng)的鍵盤和計算機鼠標。更自然的輸入機制可能是有益的，但是難以實現(xiàn)的。
[0003]概沭
[0004]提供本概述以便以簡化形式介紹將在以下詳細描述中進一步描述的一些概念。本
【發(fā)明內(nèi)容】
并不旨在標識所要求保護主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。而且，所要求保護的主題不限于解決該公開的任一部分中所注的任何或全部缺點的實現(xiàn)方式。
[0005]一種對象檢測的方法包括接收第一立體相機所拍攝的第一圖像，接收第二立體相機所拍攝的第二圖像，將第一圖像相對于第二圖像偏移達一所選的偏移距離，以便如果對象位點(locus)位于相距第一立體相機以及第二立體相機的假定的距離處，偏移第一圖像和偏移第二圖像的每一個對應(yīng)的像素描繪相同對象位點。該方法進一步包括定位偏移第一圖像和偏移第二圖像中的目標對象。
[0006]附圖簡沐
[0007]圖1示出了被配置成檢測手指姿勢的示例頭戴式顯示器。
[0008]圖2示出了對象檢測的示例方法。
[0009]圖3A - 3C示出了第一立體相機所拍攝的第一圖像、第二立體相機所拍攝的第二圖像，以及偏移第一圖像和偏移第二圖像。
[0010]圖4不出了分析偏移第一圖像和偏移第二圖像的不例方法。
[0011]圖5A示出了被訓(xùn)練成用于檢測偏移第一圖像和偏移第二圖像中的不同大小的的對象的多個不同的經(jīng)機器學(xué)習(xí)訓(xùn)練的分類器。
[0012]圖5B示出了分析同一圖像的不同縮放的版本的示例經(jīng)機器學(xué)習(xí)訓(xùn)練的分類器。
[0013]圖6A示出了被訓(xùn)練成用于檢測不同朝向的對象的多個不同的經(jīng)機器學(xué)習(xí)訓(xùn)練的分類器。
[0014]圖6B示出了分析同一圖像的不同旋轉(zhuǎn)的版本的示例經(jīng)機器學(xué)習(xí)訓(xùn)練的分類器。
[0015]圖7示出了組合偏移第一圖像和偏移第二圖像中的經(jīng)相關(guān)的置信度以得到對象檢測的經(jīng)組合的置信度的示例方法。
[0016]圖8示出了用于對象檢測的示例計算系統(tǒng)。
[0017]詳細描沐
[0018]此處所描述的方法和系統(tǒng)可以用于使用立體圖像的準確的手指檢測。本公開利用假定的距離(例如，用戶典型可及范圍(reach)長度)來使用在相機之間具有已知距離的立體相機來檢測手指。
[0019]圖1示出了被配置成檢測手指姿勢和/或其他對象的示例頭戴式顯示器100。示例頭戴式顯示器100包括被配置成捕捉手指104的第一圖像的第一立體相機102，以及被配置成捕捉手指104的第二圖像的第二立體相機106。如圖所示，第一立體相機102與第二立體相機106相距距離108。
[0020]頭戴式顯示器100也可以包括被配置成向用戶112顯示擴增現(xiàn)實圖像的透視顯示器110。這樣的擴增現(xiàn)實圖像可包括可以被來自用戶112的手指姿勢激活或以別的方式參與的交互式目標。
[0021]圖2示出了使用立體圖像來進行手指檢測的示例方法200。方法200可以用于通過頭戴式顯示器100或通過從第一立體相機和第二立體相機接收圖像和/或包括第一立體相機和第二立體相機的任何設(shè)備來進行手指檢測。進一步，方法200可以被用來檢測幾乎任何類型的對象。手指檢測是作為非限制性示例提供的。
[0022]在202，方法200包括接收第一立體相機所拍攝的第一圖像，在204，方法200包括接收第二立體相機所拍攝的第二圖像。在圖1所示出的示例中，第一立體相機102是左立體相機，而第二立體相機106是右立體相機。圖3A示出了分別由圖1的第一立體相機102和第二立體相機106捕捉到的左圖像300和右圖像302的示例。
[0023]第一圖像和第二圖像的相對位置處的對象描繪了當(dāng)對象位于假定的距離并且第一和第二圖像偏移達從此距離導(dǎo)出的一個量時的相同對象位點。例如，如圖3A-3C所示，假定的距離是用戶可及范圍的近似長度，目標對象是用戶的手指104。由于目標對象是手指104，因此，左圖像300和右圖像302可能會偏移達偏移距離304，以便在偏移左圖像300’和偏移右圖像302’中的相同區(qū)域描繪手指104。圖3B示出了被裁剪達偏移距離304的偏移左圖像300’和偏移右圖像302’，它們允許相同對象位點在偏移圖像的相同區(qū)域中被描繪。偏移左圖像300’的左部分被裁剪，而偏移右圖像302’的右部分被裁剪。如圖3C所示，在左圖像300’和偏移右圖像302’中的相同區(qū)域306描繪了手指104。然而，由于背景樹308不在假定的距離處或在其附近，因此，在偏移左圖像和偏移右圖像中的相同區(qū)域中沒有描繪背景樹308。
[0024]對象在左圖像和右圖像之間的差異與立體相機和目標對象之間的距離逆相關(guān)。例如，與立體相機相對靠近的對象將看起來比與立體相機相對遠的對象具有較大的所描繪的對象之間的差異。
[0025]在某些示例中，區(qū)域306可以是偏移左圖像300’和偏移右圖像302’中的對應(yīng)的像素。例如，在將圖像裁剪達偏移距尚304之后，在左圖像和右圖像中，區(qū)域306可以是相同像素(例如，像素Nx，Ny)。相應(yīng)地，在206，圖2的方法200包括將第一圖像相對于第二圖像偏移達一所選偏移距離，以便如果對象位點位于相距第一和第二立體相機的假定的距離處，則偏移第一圖像和偏移第二圖像的每一個對應(yīng)的像素都描繪相同對象位點。
[0026]可以使用任何合適的距離作為假定的距離。在上面的示例中，假定的距離是當(dāng)執(zhí)行手指姿勢時，用戶可及范圍的近似長度。作為另一個示例，當(dāng)擴增現(xiàn)實圖像是被用戶的手指姿勢激活的交互式目標時，假定的距離可以是到這樣的擴增現(xiàn)實交互式目標的視距。
[0027]在208，方法200包括定位偏移第一圖像和偏移第二圖像中的目標對象。圖4示出了定位偏移第一圖像和偏移第二圖像中的目標對象的示例方法400。定位目標對象可包括獨立地分析偏移第一圖像和偏移第二圖像的若干操作。因此，在402，方法400包括分析偏移第一圖像和偏移第二圖像中的第一圖像，而在404，方法400包括分析偏移第一圖像和偏移第二圖像中的第二圖像。
[0028]對偏移第一圖像和偏移第二圖像的分析可包括應(yīng)用被訓(xùn)練用于使用訓(xùn)練對象(即，多個不同的手指)來進行對象檢測的多個不同的經(jīng)機器學(xué)習(xí)訓(xùn)練的分類器。經(jīng)機器學(xué)習(xí)訓(xùn)練的分類器可以被配置成分析圖像，并輸出熱圖，該熱圖包括與被分析圖像中的對應(yīng)像素相關(guān)的每一個像素的對象檢測的相對置信度。當(dāng)訓(xùn)練對象類似于正在被檢測的對象時，得到高置信度。然而，在形狀、大小，以及朝向方面不同于訓(xùn)練對象的對象可能會導(dǎo)致低置信度。
[0029]例如，為適應(yīng)對象大小的變化，可以將相同圖像輸入到被訓(xùn)練用于檢測與多個經(jīng)機器學(xué)習(xí)訓(xùn)練的分類器中的其他分類器大小不同的對象的多個不同的經(jīng)機器學(xué)習(xí)訓(xùn)練的分類器中的每一個。例如，圖5A示出了向被訓(xùn)練用于檢測各種手指大小(例如，大小A-D)的多個不同的經(jīng)機器學(xué)習(xí)訓(xùn)練的分類器輸入的偏移左圖像300’。圖5A還示出了多個不同的經(jīng)機器學(xué)習(xí)訓(xùn)練的分類器，每一個分類器都輸出偏移左圖像300’的在X軸方向從圖像的左邊緣的34%以及在y軸方向從圖像的頂部邊緣的36%處的區(qū)域的對象檢測的置信度(例如，82%，96%，72%，以及69% )。如圖所示，34%, 36%處的區(qū)域的對象檢測的最高置信度由被訓(xùn)練用于檢測大小B的手指的經(jīng)機器學(xué)習(xí)訓(xùn)練的分類器計算。可以輸出對于被分析圖像的每一個區(qū)域餓這樣的