觸摸式和非觸摸式用戶交互輸入的技術(shù)的制作方法
【專利說明】
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)是2011年12月22日遞交的、名稱為"Vbtual Links Between Different Displays to Present a Single Virtual Object"的現(xiàn)有美國(guó)專利申請(qǐng)No. 13/335, 866? 及2011年3月29日遞交的、名稱為"Continued Virtual Links Between Ges1:ures and User Interface Elements"的現(xiàn)有美國(guó)專利申請(qǐng)No. 13/074, 639的部分繼續(xù)申請(qǐng)并要求其 優(yōu)先權(quán)，運(yùn)兩者的全部?jī)?nèi)容W引用的方式并入本文。
技術(shù)領(lǐng)域
[0003] 概括地說，本文描述的實(shí)施例設(shè)及檢測(cè)在計(jì)算設(shè)備上的觸摸式和非觸摸式用戶輸 入。具體地說，實(shí)施例設(shè)及檢測(cè)和處理觸摸式和非觸摸式輸入W控制在一個(gè)或多個(gè)計(jì)算設(shè) 備顯示器上顯示的虛擬對(duì)象。
【背景技術(shù)】
[0004] 通常，計(jì)算輸入模態(tài)包括使用空中姿勢(shì)（air-ges化re),其設(shè)及用戶移動(dòng)其身體 并將運(yùn)種移動(dòng)解釋為用戶命令或引起對(duì)應(yīng)動(dòng)作在顯示器上發(fā)生。當(dāng)前的空中姿勢(shì)技術(shù)使 用傳感器（例如，在NintendoComp汲巧愈的巧Tii⑥遙控器中）或3D攝像機(jī)技術(shù)（例如在 MicrosoftC餅pO風(fēng)tioil?的MicrosoftKli您餓t潑中）來將身體運(yùn)動(dòng)近似為模態(tài)輸入源。 電視顯示器是用于在圖形環(huán)境下查看空中姿勢(shì)模態(tài)輸入的效果的典型反饋機(jī)構(gòu)。還已知的 是，集成的攝像機(jī)被設(shè)計(jì)用于收集視頻輸入用于姿勢(shì)檢測(cè)。軟件可W執(zhí)行對(duì)姿勢(shì)輸入的檢 測(cè)和初步解釋。在電子游戲的上下文中，在顯示屏上的觸摸和拂掠（sweep)姿勢(shì)將對(duì)象從 一個(gè)平面（例如，手持控制臺(tái)屏幕）移動(dòng)到另一屏幕（例如，TV屏幕）已經(jīng)成為可能。
【附圖說明】
[0005] 本發(fā)明的實(shí)施例是通過示例而非限制進(jìn)行圖示的，在附圖的圖中相似的附圖標(biāo)記 表示相似的元素。
[0006] 圖1A-1H示出了根據(jù)第一實(shí)施例的跨屏幕移動(dòng)虛擬對(duì)象的過程。
[0007] 圖2A-2D示出了根據(jù)第二實(shí)施例的跨屏幕移動(dòng)虛擬對(duì)象的過程。 陽(yáng)00引圖3A-3C示出了用于移動(dòng)虛擬對(duì)象到顯示屏幕的邊圈化ezel)區(qū)域的過程。
[0009] 圖4A和4B示出了在圖1A-1H或2A-2D中示出的第一顯示和第二顯示的實(shí)施例， 包括功能模塊。
[0010] 圖5A和5B示出了方法實(shí)施例的流程圖。
[0011] 圖6示出了根據(jù)實(shí)施例的將虛擬對(duì)象從一個(gè)屏幕彈跳到另一個(gè)屏幕的過程。
[0012] 圖7示出了根據(jù)實(shí)施例的利用虛擬綁定化inding)將虛擬對(duì)象從一個(gè)屏幕彈跳到 另一個(gè)屏幕的過程。
[0013] 圖8示出了根據(jù)實(shí)施例的利用虛擬綁定將虛擬對(duì)象從一個(gè)屏幕拋擲到另一個(gè)屏 幕的過程。
[0014] 圖9示出了另一方法實(shí)施例的流程圖。
[0015] 圖10示出了根據(jù)實(shí)施例的將虛擬對(duì)象掉落到屏幕上的側(cè)視圖。
[0016] 圖11示出了根據(jù)實(shí)施例的將虛擬對(duì)象掉落到屏幕上的頂視圖。
[0017] 圖12示出了根據(jù)另一實(shí)施例的將虛擬對(duì)象掉落到屏幕上的頂視圖。
[0018] 圖13示出了根據(jù)另一實(shí)施例的將虛擬對(duì)象掉落到屏幕上的頂視圖。
[0019] 圖14示出了在顯示器上控制多個(gè)虛擬對(duì)象的透視圖。
[0020] 圖15示出了另一方法實(shí)施例的流程圖。
[0021] 圖16示出了將虛擬對(duì)象從一個(gè)計(jì)算設(shè)備轉(zhuǎn)移到另一計(jì)算設(shè)備的透視圖。
[0022] 圖17示出了將虛擬對(duì)象從一個(gè)計(jì)算設(shè)備轉(zhuǎn)移到一個(gè)或多個(gè)計(jì)算設(shè)備的透視圖。
[0023] 圖18示出了第一計(jì)算架構(gòu)的實(shí)施例。
【具體實(shí)施方式】
[0024] 視覺反饋使得用戶交互更加迷人。例如，游戲和其它使用可能設(shè)及從屏幕的X-Y 平面虛擬撿拾對(duì)象W及用姿勢(shì)將對(duì)象掉落或投擲回屏幕。通過實(shí)現(xiàn)用戶虛擬握持物（例 如，在從觸摸屏虛擬撿拾起它之后）的增強(qiáng)現(xiàn)實(shí)反射可W提高用戶體驗(yàn)。進(jìn)一步的視覺反 饋和與用戶姿勢(shì)的交互可W提供甚至更迷人的體驗(yàn)。
[00巧]能夠在=維中檢測(cè)人類運(yùn)動(dòng)的傳感器技術(shù)在尺寸和價(jià)格方面繼續(xù)收縮。因此，諸 如智能電話、平板計(jì)算機(jī)和膝上型計(jì)算機(jī)的小形狀因子設(shè)備日益成為設(shè)及使用攝像機(jī)和超 聲傳感器W檢測(cè)用戶姿勢(shì)作為對(duì)利用移動(dòng)平臺(tái)的設(shè)備的模態(tài)輸入的技術(shù)的平臺(tái)。由于對(duì) 觸摸作出響應(yīng)的移動(dòng)顯示器在移動(dòng)設(shè)備上越來越普遍，所W實(shí)施例提出使空中姿勢(shì)輸入與 用于電子設(shè)備的觸摸姿勢(shì)輸入緊密配對(duì)，W便允許更通用的對(duì)象操縱。根據(jù)一個(gè)實(shí)施例， 例如，利用移動(dòng)檢測(cè)器（例如，圖像檢測(cè)器和/或超聲檢測(cè)器）跟蹤用戶身體部分的空中移 動(dòng)，并且映射來自運(yùn)種跟蹤的輸入數(shù)據(jù)W控制輸入，從而將虛擬對(duì)象移動(dòng)超過電子顯示器 和設(shè)備。顯示器的例子可W包括能夠呈現(xiàn)虛擬用戶界面視圖的任意輸出設(shè)備，而不管是否 在設(shè)備的屏幕上，或者是否從設(shè)備投影W在設(shè)備外部形成虛擬圖像。運(yùn)后一種場(chǎng)景的例子 可W包括在墻壁上的投影顯示。
[00%] 實(shí)施例提供了可W利用各種輸入設(shè)備實(shí)現(xiàn)的若干新穎的交互方法和姿勢(shì)，所述輸 入設(shè)備例如觸摸屏、3D攝像機(jī)和超聲傳感器。實(shí)施例還提出了跨設(shè)備姿勢(shì)W用跨多個(gè)顯示 器和設(shè)備的新穎方式移動(dòng)對(duì)象，例如跨在分離設(shè)備上實(shí)現(xiàn)的顯示器。
[0027] 根據(jù)一些實(shí)施例，設(shè)備包括用于從圖像檢測(cè)器和/或超聲檢測(cè)器接收輸入數(shù)據(jù)的 處理器，其中所述輸入數(shù)據(jù)包括從跟蹤與電子顯示器的虛擬對(duì)象交互的用戶身體部分的空 中移動(dòng)獲得的數(shù)據(jù)。所述處理器可W將輸入數(shù)據(jù)映射至控制輸入，W將虛擬對(duì)象移動(dòng)超過 顯示器和設(shè)備。例如，所述設(shè)備可W包括移動(dòng)設(shè)備，諸如智能電話、平板計(jì)算機(jī)、膝上計(jì)算機(jī) 或其它移動(dòng)設(shè)備。處理器將輸入數(shù)據(jù)映射至控制輸入，W將虛擬對(duì)象移動(dòng)超過電子顯示器 的視覺部分（例如，屏幕）。例如，處理器可W將輸入數(shù)據(jù)映射至控制輸入，W將虛擬對(duì)象從 第一設(shè)備的第一顯示器移動(dòng)到第二設(shè)備的第二顯示器，或者將虛擬對(duì)象移動(dòng)到第一設(shè)備的 虛擬空間（例如，邊圈），等等。
[0028] 根據(jù)一個(gè)實(shí)施例，輸入數(shù)據(jù)被從圖像檢測(cè)器或超聲檢測(cè)器W及與顯示器的屏幕禪 合的觸摸屏傳感器饋送到處理器，W便允許將輸入數(shù)據(jù)映射至控制數(shù)據(jù)，從而將虛擬對(duì)象 移動(dòng)超過顯示器和設(shè)備。例如，觸摸屏傳感器可W允許在被移除或提升到超過顯示器和設(shè) 備之前，從顯示器捏住虛擬對(duì)象。捏住姿勢(shì)因而可W允許人控制對(duì)象，同時(shí)移除姿勢(shì)可W允 許人虛擬地將該對(duì)象從顯示器移除。可選地，處理器可W將輸入數(shù)據(jù)映射至控制輸入，W創(chuàng) 建虛擬對(duì)象的虛擬綁定，從而創(chuàng)建虛擬對(duì)象和用戶身體部分之間的連接的視覺擅染。虛擬 綁定可W包括視覺擅染（例如=維（3D)擅染）用戶身體部分和被用戶身體部分控制的虛 擬對(duì)象之間的連接。例如，虛擬綁定可W被描繪為手指和被操縱的虛擬對(duì)象之間的3D虛擬 系繩（tether)。虛擬綁定因此可W是動(dòng)態(tài)屏幕圖像，其圖形地描繪了由用戶身體部分虛擬 控制的虛擬對(duì)象如何響應(yīng)于用戶移動(dòng)該身體部分而行動(dòng)。綁定的外觀可W由持有虛擬對(duì)象 的身體部分的角度和位置確定。
[0029] 根據(jù)另一實(shí)施例，處理器可W將輸入數(shù)據(jù)映射至控制輸入，W將虛擬對(duì)象放置在 第二電子設(shè)備的第二顯示器上?？罩幸苿?dòng)可W包括相對(duì)于該第二顯示器上的虛擬對(duì)象的目 標(biāo)位置，釋放用戶身體部分的運(yùn)動(dòng)。處理器還可W將輸入數(shù)據(jù)映射至控制輸入，W確定虛擬 對(duì)象的慣性行為（一旦在第二顯示器上）。在即時(shí)描述中，提及"用戶身體部分"意指人類 解剖學(xué)的任意部分，例如，手、手指、手掌指關(guān)節(jié)、腳、腿、眼睛、頭等。另外，提及"用戶手部" 指的是包括人類手部的一些或全部，包括手的任意部分，例如手指、手掌、指關(guān)節(jié)等。
[0030] 通過對(duì)本文所使用的符號(hào)和術(shù)語(yǔ)的一般參考，后續(xù)的詳細(xì)描述可WW在計(jì)算機(jī)或 計(jì)算機(jī)網(wǎng)絡(luò)上執(zhí)行的程序過程的形式來表示。運(yùn)些過程描述和表示由本領(lǐng)域技術(shù)人員用于 最有效地向本領(lǐng)域其他技術(shù)人員傳達(dá)其工作的實(shí)質(zhì)。
[0031] 運(yùn)里的過程通常被認(rèn)為是導(dǎo)致期望結(jié)果的一系列自相合的操作。運(yùn)些操作需要物 理量的物理操縱。通常但不是必需地，運(yùn)些量采用能夠被存儲(chǔ)、轉(zhuǎn)移、組合、比較和操縱的 電、磁或光信號(hào)的形式。有時(shí)證明方便的是，主要為了共同使用，將運(yùn)些信號(hào)參考為位、值、 元素、符號(hào)、字符、術(shù)語(yǔ)、數(shù)字等。然而，應(yīng)該注意的是，所有運(yùn)些和類似術(shù)語(yǔ)都與適當(dāng)?shù)奈锢?量相關(guān)聯(lián)，并僅是應(yīng)用于運(yùn)些量的方便標(biāo)簽。
[0032] 此外，所執(zhí)行的操縱通常W多個(gè)方式參考，例如添加或比較，其通常與人類操作員 所執(zhí)行的屯、理操作相關(guān)聯(lián)。在本文所描述的形成一個(gè)或多個(gè)實(shí)施例的部分的任意操作中， 人類操作員的運(yùn)種能力是不必要的，或者在大部分情況下是不期望的。相反，所述操作是機(jī) 器操作。用于執(zhí)行各種實(shí)施例的操作的有用機(jī)器包括通用數(shù)字計(jì)算機(jī)或類似設(shè)備。
[0033] 各種實(shí)施例還設(shè)及用于執(zhí)行運(yùn)種操作的裝置或系統(tǒng)。該裝置可W?？跇?gòu)造用于所 需目的，或者其可W包括由存儲(chǔ)在計(jì)算機(jī)中的計(jì)算機(jī)程序來選擇性激活或重新配置的通用 計(jì)算機(jī)。本文所表示的過程并不與特定計(jì)算機(jī)或其它裝置內(nèi)在相關(guān)?？蒞與跟據(jù)本文的教 導(dǎo)編寫的程序一起使用各種通用機(jī)器，或者可W證明方便的是，構(gòu)造更專用的裝置來執(zhí)行 所要求的方法步驟。所要求的用于各種運(yùn)些機(jī)器的結(jié)構(gòu)可W從給出的描述中變得清晰。
[0034] 結(jié)合圖1A-1H、圖2A-2DW及圖3A-3C的例子描述實(shí)施例，其每一個(gè)與圖4A和圖 46結(jié)合。
[0035] 參考圖1A-1H、圖2A-2DW及圖3A-3C，現(xiàn)在將描述運(yùn)些圖之間的共同元素。在運(yùn) 些圖中的每一個(gè)中，為了容易描述而將虛擬對(duì)象（VO)描繪為球，但是可W理解的是，VO可 W具有任意適當(dāng)?shù)男螤睢O例如可W包括圖標(biāo)、圖片、圖形表示或動(dòng)畫圖形圖示。VO例如 可W包括標(biāo)準(zhǔn)攝像機(jī)輸入所感測(cè)的對(duì)象的圖形表示或用戶可W選擇的特性（例如，顏色）。 VO還可W包括具有使其W特定方式動(dòng)作的屬性的游戲件，例如在游戲設(shè)定中的炸彈對(duì)箭。 另外，VO可W包括單個(gè)VO或者多個(gè)VO。
[0036] 在一些實(shí)施例中，VO可W是與文件、照片、視頻文件、音樂文件、電子郵件、消息、應(yīng) 用、應(yīng)用數(shù)據(jù)（例如，聯(lián)系數(shù)據(jù)）和其它信息相關(guān)聯(lián)的圖形表示。如將在下文進(jìn)一步討論 的，VO可W用于將一個(gè)或多個(gè)相關(guān)聯(lián)文件、照片、視頻文件、音樂文件、電子郵件或聯(lián)系數(shù)據(jù) 從第一設(shè)備轉(zhuǎn)移或發(fā)送到第二設(shè)備。各種實(shí)施例并不局限于該方式；VO可W與可W從一個(gè) 設(shè)備轉(zhuǎn)移到另一設(shè)備的任意文件或數(shù)據(jù)相關(guān)聯(lián)。
[0037] 在所注意的圖中還示出了兩個(gè)設(shè)備Dl和D2(但是D2可W在圖3A-3C的實(shí)施例中 是可選的）。在所示的實(shí)施例中，Dl被描繪為智能電話設(shè)備，其包括顯示器邸1，而D2被描 繪為個(gè)人計(jì)算機(jī)，其包括顯示器邸2。如圖1A-1H、圖2A-2DW及圖3A-3C所示，Dl和D2中 的每一個(gè)都分別裝備有圖像檢測(cè)器IDl和ID2。除了或替代Dl和D2中的每一個(gè)，所述Dl 和D2中的每一個(gè)還可W分別裝備有超聲檢測(cè)器UDl和UD2。在圖1A-1H、圖2A-2DW及圖 3A-3C中示出的各個(gè)部件在W下結(jié)合圖4A和4B進(jìn)一步被詳細(xì)解釋。
[0038] 現(xiàn)在結(jié)合圖1A-1H、圖2A-2DW及圖3A-3C參考圖4A和4B，如圖所示，Dl和D2中 的每一個(gè)可化合并姿勢(shì)捕捉系統(tǒng)（GCSl和GCS2)。每個(gè)GCS可W包括一個(gè)或多個(gè)處理器，W 便影響W下將描述的功能。Dl和D2可W用相同或類似部件來實(shí)現(xiàn)，其每一個(gè)具有相同的標(biāo) 簽并被用標(biāo)簽"1"或"2"指定。如本文所使用的，標(biāo)簽"1/2"可W指的是部分1、部分2、部 分1和部分2、或者部分1或部分2。在一些實(shí)施例中，可W理解的是，所描述的與給定部分 1相關(guān)聯(lián)的結(jié)構(gòu)、操作和例子可W平等地應(yīng)用于相同名稱的給定部分2。實(shí)施例并不局限于 該上下文。
[0039] 在如圖所示的Dl和D2的每一個(gè)中，存在有圖像檢測(cè)器ID1/ID2、超聲檢測(cè)器UDl/ UD2W及一組捆綁的輸入數(shù)據(jù)處理模塊，其包括對(duì)象和姿勢(shì)識(shí)別模塊1/2、虛擬對(duì)象跟蹤器 模塊1/2、對(duì)象速度和方向模塊1/2W及虛擬對(duì)象行為模塊1/2。在所示實(shí)施例中的每組捆 綁的模塊還包括相鄰屏幕透視模塊1/2和屏幕擅染模塊1/2。相鄰屏幕透視模塊1/2可W 包括設(shè)備接近度檢測(cè)模塊1/2。在一些實(shí)施例中，對(duì)象和姿勢(shì)識(shí)別模塊1/2可W包括超聲 對(duì)象和姿勢(shì)識(shí)別模塊1/2。W下將解釋在每個(gè)GCS1/2中的該組捆綁的模塊中每個(gè)模塊的 貢獻(xiàn)。對(duì)象和姿勢(shì)識(shí)別模塊1/2、超聲對(duì)象和姿勢(shì)識(shí)別模塊1/2、虛擬對(duì)象跟蹤器模塊1/2、 對(duì)象速度和方向模塊1/2、虛擬對(duì)象行為模塊1/2、相鄰屏幕透視模塊1/2W及屏幕擅染模 塊1/2、相鄰屏幕透視模塊1/2和設(shè)備接近度檢測(cè)模塊1/2可W表示硬件、軟件、固件或其組 合。
[0040] 首先參考圖像檢測(cè)器ID1/2,所述ID例如可W包括一個(gè)或多個(gè)=維（3D)深度感 測(cè)攝像機(jī)，或者在視覺顯示和外部邊圈后面安裝的光學(xué)檢測(cè)陣列。例如，一個(gè)設(shè)備的邊圈可 W包括IR發(fā)射器和IR接收器，W允許對(duì)用戶姿勢(shì)的位置跟蹤。ID例如可W適應(yīng)于捕捉圖 像形式的用戶身體部分的空中移動(dòng)，并將運(yùn)種輸入數(shù)據(jù)饋送到對(duì)象和姿勢(shì)識(shí)別模塊1/2。
[0041] 此外，計(jì)算設(shè)備D1/D2還可W包括超聲檢測(cè)器UD1/2。所述超聲檢測(cè)器UD1/2可W包括一個(gè)或多個(gè)超聲傳感器、發(fā)射器和接收器，W支持超聲或超音運(yùn)動(dòng)檢測(cè)。在各個(gè)實(shí)施 例中，UD可W使用非連續(xù)或連續(xù)波超聲信號(hào)，其從設(shè)備發(fā)射并由一個(gè)或多個(gè)檢測(cè)器、傳感器 或麥克風(fēng)接收到。超聲波可W由發(fā)送器或揚(yáng)聲器發(fā)射，從對(duì)象（例如，用戶的