利用圖像分析和超聲波通信對控制器三維定位的確定的制作方法
【專利摘要】游戲界面利用混合的視頻捕捉和超聲波跟蹤系統(tǒng)跟蹤一個或更多個游戲控制器在三維空間中的位置。所捕捉到的視頻信息被用于識別每個控制器在捕捉區(qū)域內(nèi)的水平和垂直位置。超聲波跟蹤系統(tǒng)分析聲音通信以確定游戲系統(tǒng)與每個控制器之間的距離并且確定控制器之間的距離。然后，游戲界面對這些距離進(jìn)行分析以針對每個控制器計(jì)算捕捉區(qū)域內(nèi)的深度。
【專利說明】利用圖像分析和超聲波通信對控制器三維定位的確定
[0001]本申請是申請日為2009年4月30日、申請?zhí)枮?00980130723.0、發(fā)明名稱為“利用圖像分析和超聲波通信對控制器三維定位的確定”的專利申請的分案申請。

【技術(shù)領(lǐng)域】
[0002]本發(fā)明大體上涉及計(jì)算設(shè)備與握在用戶手中的控制器之間的通信，并且更具體地涉及利用計(jì)算設(shè)備與控制器之間的通信來確定控制器在三維空間中的定位(locat1n)。

【背景技術(shù)】
[0003]這些年來視頻游戲產(chǎn)業(yè)發(fā)生了許多變化。隨著計(jì)算能力的擴(kuò)張，視頻游戲的開發(fā)者同樣創(chuàng)造出了利用計(jì)算能力上的這些提高的游戲軟件。為此，視頻游戲開發(fā)者已經(jīng)編寫了并入復(fù)雜的操作和數(shù)學(xué)以產(chǎn)生非常逼真的游戲體驗(yàn)的游戲。
[0004]游戲平臺的例子可以是Sony Playstat1n?、Sony Playstat1n-- (PS2)以及Sony PlayStat1n3? (PS3),其各自均以游戲機(jī)(game console)的形式出售。眾所周知，游戲機(jī)被設(shè)計(jì)成與監(jiān)視器(通常為電視機(jī))連接，并且通過手持控制器而允許用戶互動。游戲機(jī)設(shè)計(jì)有專用處理硬件、固件以及軟件，所述專用處理硬件包括CPU、用于處理密集的圖形操作的圖形合成器、用于執(zhí)行幾何變換的向量單元以及其他中間硬件。游戲機(jī)還設(shè)計(jì)有用于容納游戲壓縮盤的光盤托盤以通過游戲機(jī)在本地玩。也有可能進(jìn)行在線游戲，其中用戶可以通過因特網(wǎng)互動地與其他用戶進(jìn)行比賽或一起玩。
[0005]隨著游戲復(fù)雜度持續(xù)引起玩家的興趣，游戲和硬件制造者不斷創(chuàng)新以允許附加的互動性和計(jì)算機(jī)程序。
[0006]計(jì)算機(jī)游戲產(chǎn)業(yè)的發(fā)展趨勢是開發(fā)出增加用戶與游戲系統(tǒng)之間的互動的游戲。實(shí)現(xiàn)更加豐富的互動體驗(yàn)的一種方式是使用無線游戲控制器，游戲系統(tǒng)跟蹤無線游戲控制器的運(yùn)動(movement)，從而跟蹤玩家的運(yùn)動并且將這些運(yùn)動用作游戲的輸入。一般來說，手勢輸入是指使諸如計(jì)算系統(tǒng)、視頻游戲機(jī)、智能電器等電子設(shè)備對由跟蹤對象的攝像機(jī)所捕捉到的某個手勢作出反應(yīng)。
[0007]然而，當(dāng)前的對象跟蹤在捕捉精度上受到制約。出現(xiàn)這個問題的原因在于:常規(guī)的圖像分析僅可對用戶在兩個維度上的定位進(jìn)行較可靠的測量。由于朝向或遠(yuǎn)離攝像機(jī)的運(yùn)動所引起的微小的形狀變化無法提供足夠的信息來可靠地計(jì)算攝像機(jī)與控制器之間的距離，因此難以確定攝像機(jī)與正被跟蹤的對象之間的距離。在實(shí)驗(yàn)室設(shè)定中，有些采用了深度感測設(shè)備。然而，這些深度感測設(shè)備依賴于雙向回彈，其試圖根據(jù)從位于這樣的設(shè)備前方的對象反射的光來勾勒某些圖像的輪廓。盡管這樣的傳感器具有一定的應(yīng)用，但其應(yīng)用于游戲仍在一定程度上受到限制，這是因?yàn)樾枰M(fèi)用、復(fù)雜度以及額外的處理來將深度數(shù)據(jù)與二位圖像數(shù)據(jù)組合。因此，深度數(shù)據(jù)與互動游戲控制器的集成不斷延遲，產(chǎn)生少于所希望的結(jié)果，并且尚未在實(shí)驗(yàn)室之外被廣泛接受。
[0008]本發(fā)明的實(shí)施例在這個背景下產(chǎn)生。


【發(fā)明內(nèi)容】

[0009]廣義而言，本發(fā)明通過提供下述方法和系統(tǒng)來滿足這些需要:所述方法和系統(tǒng)在計(jì)算系統(tǒng)中的計(jì)算機(jī)程序與用戶所握(hold)的控制器之間建立通信來確定控制器的三維定位。應(yīng)當(dāng)理解的是，本發(fā)明可以諸如過程、裝置、系統(tǒng)、設(shè)備或計(jì)算機(jī)可讀介質(zhì)上的方法等眾多方式來實(shí)現(xiàn)。以下描述本發(fā)明的若干具有創(chuàng)造性的實(shí)施例。
[0010]在一個實(shí)施例中，提供了在計(jì)算系統(tǒng)中的計(jì)算機(jī)程序與握在用戶手中的控制器之間建立通信的方法。該方法在顯示器上顯示圖形用戶界面并且捕捉所述顯示器前方的區(qū)域的圖像數(shù)據(jù)。所述顯示器前方的區(qū)域也被稱為捕捉區(qū)域，并且包圍預(yù)期與所述計(jì)算系統(tǒng)進(jìn)行互動的用戶所處的空間。也可對所述捕捉區(qū)域進(jìn)行調(diào)整，以便縮小或擴(kuò)大該區(qū)域。諸如由數(shù)碼攝像機(jī)提供的數(shù)據(jù)等所捕捉到的圖像數(shù)據(jù)被用于識別所述控制器相對于所述捕捉區(qū)域的二維定位。所述方法還捕捉最接近于(proximate to)所述顯示器的定位(諸如麥克風(fēng))與所述控制器處的定位之間的單向聲音通信。經(jīng)由該聲音通信所獲得的信息被用于計(jì)算所述控制器在所述捕捉區(qū)域內(nèi)的第三維定位。
[0011]另一實(shí)施例描述了在計(jì)算機(jī)程序與控制器之間建立通信的系統(tǒng)。該系統(tǒng)包括用于呈遞(render)圖形用戶界面的顯示器、圖像捕捉設(shè)備、聲音捕捉設(shè)備以及用于執(zhí)行所述計(jì)算機(jī)程序的計(jì)算系統(tǒng)。所述圖像捕捉設(shè)備捕捉所述顯示器前方的區(qū)域中的圖像數(shù)據(jù)，該區(qū)域在這里被稱為捕捉區(qū)域。所述聲音捕捉設(shè)備類似地捕捉所述捕捉區(qū)域中的聲音數(shù)據(jù)。所述計(jì)算系統(tǒng)與所述顯示器、所述圖像捕捉設(shè)備以及所述聲音捕捉設(shè)備連接。所述控制器被構(gòu)造為由用戶用單手握住，并且包括具有第一端部和第二端部的主體；位于所述第一端部附近的握把區(qū)域(grip area);位于所述兩個端部之間用于輸入輸入數(shù)據(jù)的輸入板(inputpad);位于所述第二端部的球形部分；以及位于所述第二端部附近的聲音發(fā)射設(shè)備。所述球形部分便于所述圖像捕捉設(shè)備進(jìn)行圖像辨識，并且所述聲音發(fā)射設(shè)備提供與所述聲音捕捉設(shè)備的單向聲音通信，該聲音發(fā)射設(shè)備在被握住時朝著遠(yuǎn)離用戶的方向。所述計(jì)算機(jī)程序基于所捕捉到的圖像數(shù)據(jù)識別所述控制器的二維定位，并且基于所捕捉到的聲音數(shù)據(jù)識別所述控制器的第三維定位。
[0012]此外，在另一實(shí)施例中，提供了在計(jì)算機(jī)程序與控制器之間建立通信的系統(tǒng)。該系統(tǒng)包括顯示器、位于所述顯示器附近并且面向所述顯示器前方的捕捉區(qū)域的兩組光發(fā)射器、諸如麥克風(fēng)等聲音捕捉設(shè)備以及用于執(zhí)行所述計(jì)算機(jī)程序的計(jì)算系統(tǒng)。所述計(jì)算系統(tǒng)與所述顯示器和所述聲音捕捉設(shè)備連接。在所述系統(tǒng)中，所述控制器將由用戶用單手握住，并且所述控制器包括具有第一端部和第二端部的主體、處于所述第一端部附近的握把區(qū)域、位于所述第一端部與所述第二端部之間的輸入板、處于所述第二端部附近的圖像捕捉設(shè)備以及處于所述第二端部附近的聲音發(fā)射設(shè)備。該聲音發(fā)射設(shè)備在被握住時朝著遠(yuǎn)離用戶的方向并且被構(gòu)造為用于與所述計(jì)算系統(tǒng)附近的聲音捕捉設(shè)備進(jìn)行單向聲音通信。在這個系統(tǒng)內(nèi)，所述計(jì)算機(jī)程序基于所捕捉到的圖像數(shù)據(jù)識別所述控制器的二維定位并且基于所捕捉到的聲音數(shù)據(jù)識別所述控制器的第三維定位。
[0013]通過以下具體說明將更加明了本發(fā)明的其他方面，該具體說明是結(jié)合附圖所得到的并且其通過舉例的方式示出了本發(fā)明的原理。

【專利附圖】

【附圖說明】
[0014]參考以下結(jié)合附圖所得到的說明可以最佳地理解本發(fā)明，在所述附圖中:
[0015]圖1示出了具有多個玩家的互動游戲環(huán)境。
[0016]圖2A-2D示出了根據(jù)一個實(shí)施例的多玩家環(huán)境以及使用視頻和聲音數(shù)據(jù)來確定玩家所握的不同控制器的定位的示意圖。
[0017]圖3A-3B描述了具有球形部分和超聲波能力的單手控制器的實(shí)施例。
[0018]圖4示出了根據(jù)一個實(shí)施例的具有被一個或更多個內(nèi)部光發(fā)射器照亮的球形部分的控制器的不意性表不。
[0019]圖5包括了根據(jù)一個實(shí)施例的在球形部分內(nèi)部具有光發(fā)射器的控制器，其中光發(fā)射器從控制器外部可見。
[0020]圖6描述了具有超聲波能力和球形部分的控制器，其中球形部分部分地由定向反射(retro-reflective)材料覆蓋。
[0021]圖7描述了具有可更換面板的單手控制器的一個實(shí)施例。
[0022]圖8示出了根據(jù)一個實(shí)施例的兩個單手控制器的示意性表示，所述兩個單手控制器通過插入板結(jié)合在一起而形成旨在用兩只手使用的控制器。
[0023]圖9A-9B描繪了一個實(shí)施例中在底部結(jié)合而形成一個單手控制器的兩個單手控制器。
[0024]圖10示出了根據(jù)一個實(shí)施例的對控制器和用戶特征的視覺跟蹤。
[0025]圖11示出了一個實(shí)施例中的控制器運(yùn)動跟蹤。
[0026]圖12A-12B示出了玩家所握的單手控制器的不同視圖。
[0027]圖13示出了根據(jù)一個實(shí)施例的使用單手控制器的玩家的示意性表示以示出使用超聲波來確定相對距離。
[0028]圖14A-14B示出了根據(jù)一個實(shí)施例的使用視頻和超聲波對兩個控制器的三維定位的確定。
[0029]圖15描述了根據(jù)本發(fā)明的一個實(shí)施例的利用超聲波來測量兩個控制器之間的距離而確定這兩個控制器的定位。
[0030]圖16示出了根據(jù)一個實(shí)施例的利用與兩個控制器分別相關(guān)的信息對通過結(jié)合這兩個控制器所形成的控制器(如圖9a所示)的定位的確定。
[0031]圖17示出了包括具有內(nèi)置式攝像機(jī)602和超聲波通信的控制器600的實(shí)施例的俯視圖。
[0032]圖18示出了根據(jù)一個實(shí)施例的使用具有視頻和聲音能力的單手控制器的兩個玩家。
[0033]圖19A-19D示出了具有視頻和超聲波能力的單手控制器的不同實(shí)施例。
[0034]圖20是娛樂系統(tǒng)中的不同單元的框圖。
[0035]圖21描繪了利用位于玩家手腳附近的四個控制器進(jìn)行互動游戲的實(shí)施例。
[0036]圖22示出了根據(jù)本發(fā)明的一個實(shí)施例的可被用于確定控制器定位的硬件和用戶接口。
[0037]圖23示出了根據(jù)本發(fā)明的一個實(shí)施例的可被用于處理指令的附加硬件。
[0038]圖24示出了描述根據(jù)一個實(shí)施例的用于使單手控制器與計(jì)算系統(tǒng)通信從而確定控制器的三維定位的方法的流程圖。

【具體實(shí)施方式】
[0039]用于在計(jì)算系統(tǒng)中的計(jì)算機(jī)程序與握在用戶手中的控制器之間建立通信的方法和系統(tǒng)被提供，以便確定用戶所握的控制器的三維定位。該方法在顯示器上顯示圖形用戶界面，然后從位于顯示器前方的捕捉區(qū)域捕捉圖像數(shù)據(jù)，預(yù)期與計(jì)算系統(tǒng)互動的用戶存在于所述捕捉區(qū)域中。所捕捉到的圖像數(shù)據(jù)被用于識別控制器在捕捉區(qū)域中的二維定位。所述二維定位描述了控制器的水平和垂直位置。另外，該方法使用最接近于顯示器的定位與控制器處的定位之間的單向聲音通信來捕捉聲音數(shù)據(jù)。所述聲音數(shù)據(jù)被用于計(jì)算從控制器到顯示區(qū)域之間的距離。二維定位與所述距離的組合定義了控制器所位于的捕捉區(qū)域中的點(diǎn)。
[0040]如本文所使用的，單向聲音通信指的是利用聲波從發(fā)送器向接收器傳送信息。在一些實(shí)施例中，聲波是超聲波，因此人無法聽得到。在一些實(shí)施例中，發(fā)送器對應(yīng)于聲音通信的第一端，而接收器對應(yīng)于第二端。在其他實(shí)施例中，兩者角色互換，其中第一端對應(yīng)于接收器，而第二端對應(yīng)于發(fā)送器。此外，一些實(shí)施例包括在第一端與第二端之間的雙向或往復(fù)的(b1-direct1nal)通信,其中在任何時間第一端或第二端都可充當(dāng)發(fā)送器或接收器。
[0041]聲音通信被用于通過檢驗(yàn)與聲音通信相關(guān)聯(lián)的信息來估量從一端到另一端的距離。例如，發(fā)送器向接收器發(fā)送聲脈沖，并且測量聲音信號從一端傳播到另一端所用的時間，以便基于聲音的速度來檢查距離。在一個實(shí)施例中，應(yīng)注意的是發(fā)送器和接收器對應(yīng)于不同的實(shí)體而不是同一實(shí)體，或者換句話說，對于本文所描述的方法和裝置不考慮信號返回發(fā)送器所用的時間。除了使用聲脈沖之外，可以結(jié)合聲音通信使用其他操作，只要能得到從發(fā)送器到接收器的距離的測量結(jié)果。其他操作的實(shí)例為分析相位相干性、改變波信號的相位、改變波信號的頻率、改變波信號的振幅等。
[0042]然而，對于本領(lǐng)域的技術(shù)人員來說將顯而易見的是，可以在沒有這些具體細(xì)節(jié)中的一些或全部的情況下實(shí)踐本發(fā)明。在其他情況下，未對公知的過程操作作詳細(xì)描述以便不會無謂地混淆本發(fā)明。
[0043]圖1示出了具有多個玩家的互動游戲環(huán)境。娛樂系統(tǒng)100包括運(yùn)行計(jì)算機(jī)程序的計(jì)算系統(tǒng)102，所述計(jì)算機(jī)程序包括用于與玩家A、B和C所握的控制器C1-C5進(jìn)行通信的指令。計(jì)算系統(tǒng)100與圖像捕捉設(shè)備106、聲音捕捉設(shè)備108、顯示器104以及控制器C1-C5進(jìn)行通信。計(jì)算系統(tǒng)100經(jīng)由直接有線連接或者經(jīng)由無線通信與娛樂系統(tǒng)100中的其他實(shí)體進(jìn)行通信,所述無線通信可包括Bluetooth?、W1-Fi?、802.n等。典型的構(gòu)造包括計(jì)算系統(tǒng)102與諸如圖像捕捉設(shè)備106、顯示器104以及聲音捕捉設(shè)備108等計(jì)算系統(tǒng)附近的固定單元之間的直接有線連接，而與控制器的通信為利用W1-Fi?的無線通信。盡管特別提到W1-Fi?,但應(yīng)理解的是也可使用其他通信標(biāo)準(zhǔn)，包括非標(biāo)準(zhǔn)的無線通信協(xié)議和算法。
[0044]捕捉區(qū)域118是預(yù)期娛樂系統(tǒng)100的用戶在其與該系統(tǒng)互動的同時所處的三維空間。圖像捕捉設(shè)備106獲取捕捉區(qū)域的圖像，并且將這些圖像發(fā)送到計(jì)算系統(tǒng)102。在一個實(shí)施例中，圖像捕捉設(shè)備106是數(shù)碼攝像機(jī)。其他實(shí)施例使用其他類型的圖像捕捉設(shè)備，諸如彩色數(shù)字?jǐn)z像機(jī)、黑白數(shù)字?jǐn)z像機(jī)、紅外攝像機(jī)或者著重于檢測諸如預(yù)定顏色等正被檢測的對象的特定特征的專用設(shè)備。
[0045]可以壓縮格式或者以原始格式對所捕捉到的圖像數(shù)據(jù)進(jìn)行處理(manipulate)和分析。原始的圖像格式包含來自圖像捕捉設(shè)備的最少被處理的數(shù)據(jù)。由具有寬色域的內(nèi)部顏色空間的原始變換器生成經(jīng)處理或壓縮的圖像數(shù)據(jù)，以在變換成諸如標(biāo)簽圖像文件格式(TIFF)、聯(lián)合圖像專家組(JPEG)、便攜式網(wǎng)絡(luò)圖形(PNG)、圖形交換格式(GIF)、Windows位圖文件格式(BMP)等紅-綠-藍(lán)(RGB)文件格式之前進(jìn)行精確的調(diào)整。經(jīng)處理的圖像的顏色深度可從黑白變?yōu)榛叶?、網(wǎng)頁調(diào)色板(web-palette)、每像素24位等。在一個實(shí)施例中，對原始圖像數(shù)據(jù)進(jìn)行分析以在圖像數(shù)據(jù)內(nèi)定位控制器的形狀，然后對應(yīng)于在圖像數(shù)據(jù)中所定位的形狀來分派控制器定位。在另一實(shí)施例中，代替地使用經(jīng)處理的圖像數(shù)據(jù)在所捕捉到的圖像內(nèi)定位控制器。
[0046]使用所捕捉到的圖像數(shù)據(jù)來確定控制器的二維定位。根據(jù)兩個坐標(biāo)X和y (X，y)來識別這個定位，這兩個坐標(biāo)定義平面上的點(diǎn)或諸如捕捉區(qū)域的三維空間上的線。有時，水平位置和垂直位置被用于指1和7值。另外，使用諸如源于原點(diǎn)的角度以及向量值等其他類型的坐標(biāo)。類似地，在三維空間內(nèi)，可以使用不同的坐標(biāo)系來識別空間中的點(diǎn)，諸如x、y、Z直角坐標(biāo)、X和y坐標(biāo)加上源于原點(diǎn)的向量、或兩個角度和一個向量等。
[0047]聲音捕捉設(shè)備108從捕捉區(qū)域中獲取聲音數(shù)據(jù)。在一個實(shí)施例中，使用單向通信，其中由聲音捕捉設(shè)備108接收在控制器中發(fā)出的聲音。超聲波通信避免干擾玩家的體驗(yàn)。在一個實(shí)施例中，控制器包括發(fā)出聲音的揚(yáng)聲器，并且聲音捕捉設(shè)備包括針對捕捉區(qū)域的接收麥克風(fēng)。在一個實(shí)施例中，可以使用濾波技術(shù)來細(xì)化對捕捉區(qū)域的關(guān)注，以避免捕捉到來自捕捉區(qū)域外部的外來噪聲。另外，聲音捕捉設(shè)備可以對沒有在超聲波通信中被使用的頻率進(jìn)行過濾，以進(jìn)一步減少來自不期望的聲源的干擾。此外，聲音通信可能由于聲音從游戲區(qū)域附近的表面被反射而具有錯誤讀數(shù)。在一個實(shí)施例中，計(jì)算系統(tǒng)102包括避免由聲音反射而引起的錯誤讀數(shù)的機(jī)制，諸如定向?yàn)V波、聲波分析等。
[0048]在另一實(shí)施例中，控制器與圖像捕捉設(shè)備106之間的通信是往復(fù)的，其中控制器或聲音設(shè)備傳送或接收超聲波消息。此外，在另一實(shí)施例中，單向通信在相反方向上流動，其中在每個控制器中有超聲波麥克風(fēng)并且聲音發(fā)射設(shè)備位于顯不器附近。
[0049]超聲波通信被用于通過分析聲音信號到達(dá)其目的地所用的時間來測量控制器與聲音捕捉設(shè)備之間的距離，稱為dz。另外，也可分析所接收到的信號的相位相干性來更好地確定距離。當(dāng)使用單向超聲波通信時，需要精確的時鐘同步，以便執(zhí)行對聲音從源傳播到目的地所用的時間的準(zhǔn)確測量。本領(lǐng)域的技術(shù)人員將容易理解獲得時鐘同步的已知方法。例如，可以使用控制器與計(jì)算設(shè)備之間的WiFi?信道來同步時鐘。Zalewski的美國專利5,991,693(以引用的方式并入本文)提供了本發(fā)明所采用的跟蹤模式。
[0050]基于所捕捉到的圖像數(shù)據(jù)所獲得的點(diǎn)(X，y)連同距離dz —起定義了三維捕捉區(qū)域內(nèi)的單個點(diǎn)。有時將dz稱作第三維，這是由于可以將dz轉(zhuǎn)換成與先前所描述的X軸和y軸正交的z軸內(nèi)的值。該z測量結(jié)果被稱為捕捉區(qū)域內(nèi)的深度。例如，dz5對應(yīng)于Z5的深度值。下面相對于圖2D更詳細(xì)地描述這種幾何變換。
[0051]在一個實(shí)施例中，通過由圖像捕捉設(shè)備106所限定的捕捉區(qū)域邊界114a和114b以及處于預(yù)定景深的背線(back line)來限定捕捉區(qū)域118。最大深度的典型值介于3至10英尺的范圍之間，但也可有可能是其他值。在其他實(shí)施例中，捕捉區(qū)域不必為金字塔形的，而可以是立方體、球體、椎體形狀或任何其他形狀，只要能夠保持本發(fā)明的原理。
[0052]圖2A-2D示出了根據(jù)一個實(shí)施例的多玩家環(huán)境以及使用視頻和聲音數(shù)據(jù)來確定玩家所握的不同控制器的定位的示意圖。圖2A描繪了具有兩個玩家的游戲環(huán)境的三維視圖。圖像捕捉設(shè)備被用于獲得控制器CpCyC4以及C5的X和y坐標(biāo)。利用由聲音捕捉設(shè)備108接收到的超聲波通信計(jì)算距離dzl、dz2、dz4以及dz5。如圖1所示，計(jì)算系統(tǒng)102使用所獲得的坐標(biāo)和距離在屏幕上產(chǎn)生各玩家的表示，分別為具象112a和112b。
[0053]圖2B提供了對應(yīng)于圖2A的玩家A的游戲環(huán)境的俯視圖。捕捉區(qū)域118限定了用于控制器檢測的邊界。在一個實(shí)施例中，控制器C1和C2被構(gòu)造為用于雙向超聲波通信，由此允許控制器測量它們之間的距離，即dKsl?？刂破鞅粯?gòu)造為在控制器的側(cè)面有聲音接口(sound interface)以允許控制器間的通信。在一個實(shí)施例中，距離dKS1對應(yīng)于物理值X,其被轉(zhuǎn)換為在顯示器上捕捉到的距離，即X屏幕。在一個實(shí)施例中，對于具象112a在屏幕上的表示不考慮垂直分量。在另一實(shí)施例中，根據(jù)dKS1來計(jì)算X和y分量兩者，其中屏幕表示包括3-D游戲場地(未示出)的透視圖。
[0054]圖2C示出了處于不同時間點(diǎn)的、圖2B中的同一玩家，其中控制器C1與C2分開距離dKS2,而其中dKS2大于圖2B的dKS1。距離dKS2對應(yīng)于新的水平分隔(χ+Δχ)。新的(χ+Δχ)轉(zhuǎn)換為控制器在顯示器上的改變了成比例的量的新的相對位置，即(x+Λχ屏幕)。
[0055]圖2D示出了從距離測量結(jié)果到絕對深度(Z)的測量結(jié)果的變換。dz是從控制器124到坐標(biāo)為(?,%,?)的聲音捕捉設(shè)備108的距離。利用圖像捕捉數(shù)據(jù)來計(jì)算控制器124的水平坐標(biāo)(X1)和垂直坐標(biāo)(yi)(未示出)。計(jì)算控制器124的Z1值包括:使三維空間中坐標(biāo)為Upy1)的任何點(diǎn)所限定的線與以聲音捕捉設(shè)備為中心且半徑為dzl的球體相交。該線由下述方程表達(dá)式定義
[0056]{x = xl ；y = yl}
[0057]這個方程假定了沒有透視變形的空間。其他實(shí)施例會補(bǔ)償由于從圖像捕捉設(shè)備角度看的透視圖而產(chǎn)生的可能變形。所述球體由下述方程定義
[0058](x-x0)2+(y-y0)2+(Z-Z0)2 = dzl2
[0059]以X1替換球體方程中的X并且以Y1替換球體方程中的I可得到對應(yīng)于深度值Z1的Z值。應(yīng)注意的是該方程將得到兩個Z值，但僅有一個將落入捕捉區(qū)域內(nèi)。
[0060]圖3A-3B描述了具有球形部分132和超聲波能力的單手控制器的實(shí)施例。球形部分132的球形允許通過分析由圖像捕捉設(shè)備所捕捉到的圖像來檢測控制器位置。
[0061]應(yīng)理解的是，如本文所使用的，術(shù)語“球形”并不限于理想的球體。相反，術(shù)語“球形”還應(yīng)包括具有類似外觀的任何形狀，諸如卵形、部分球面、橢圓形狀、地球形狀、圓球形狀、氣球形狀、隆起形狀、突出形狀、擴(kuò)大形狀、延伸形狀等，或者易于檢測且被制成為手持控制器的一部分、與手持控制器連接或與手持控制器結(jié)合的任何類型的形狀，或者僅是基本的物理對象。
[0062]在其他實(shí)施例中，如在下文中所描述的，向球形部分添加附加特征以便利用圖像數(shù)據(jù)更好地檢測控制器。控制器130被構(gòu)造為用于雙向超聲波通信。設(shè)置聲音接口 136用于朝向控制器前方的超聲波通信，而設(shè)置聲音接口 134用于朝向控制器側(cè)面的聲音通信。如前所述，正面的通信被用于確定從控制器到另一端上的聲音接收器的距離dz。
[0063]聲音接口 134被用于與握住控制器130的同一玩家的另一只手所握的第二控制器進(jìn)行通信。還使用側(cè)向聲音通信來與不同玩家所握的其他控制器進(jìn)行通信，由此提高確定不同玩家和控制器的定位的準(zhǔn)確度。在一個實(shí)施例中，如在下文中相對于圖3B所描述的，控制器內(nèi)部的聲室為聲音提供渠道(conduit)。在另一實(shí)施例中，聲音接口 134包括滑動門，該滑動門在不需要側(cè)向通信時關(guān)閉聲音接口 136，由此增大朝向控制器前方的聲音通信的功率。輸入板區(qū)域138包括用于在玩游戲期間獲得用戶輸入的按鈕?？刂破?30包括適應(yīng)用戶的手的握把區(qū)域140。
[0064]圖3B描繪了具有內(nèi)部聲室150的如圖3A所示的控制器130。內(nèi)部聲室朝向控制器的外部傳送去往和來自聲音發(fā)射器154和聲音接收器152的超聲波。在一個實(shí)施例中，聲室150在前部和側(cè)面具有聲音接口。使用聲室允許僅用一個發(fā)射器和一個接收器進(jìn)行多方向的聲音通信。在另一實(shí)施例中，未使用聲室，并且在發(fā)生聲音通信的、控制器的每一例放置一對發(fā)射器和接收器。在另一實(shí)施例中，聲音通信可穿過球形部分，由此聲音在多個方向上擴(kuò)散，即使當(dāng)控制器沒有正好面向處于另一端的聲音捕捉設(shè)備時也允許聲音通信。多個聲音接口散布在整個球形部分上，每個聲音接口與聲室連接。各聲音接口還可包括有助于識別聲音傳來的方向或聲音接口的聲音傳感器，從而產(chǎn)生提高的準(zhǔn)確度。
[0065]圖4示出了根據(jù)一個實(shí)施例的具有被一個或更多個內(nèi)部光發(fā)射器172照亮的球形部分的控制器170的示意性表示。當(dāng)執(zhí)行圖像數(shù)據(jù)分析時來自光發(fā)射器172的光照亮球形部分174以便于檢測控制器，這是因?yàn)橛?jì)算設(shè)備使用球形部分的額外亮度來更加容易地區(qū)分球形部分的細(xì)節(jié)和輪廓與背景圖像。在一個實(shí)施例中，光發(fā)射器172是發(fā)光二極管(LED)。在另一實(shí)施例中，光發(fā)射器172處于紅外光譜中，使得球形部分發(fā)出紅外光，從而使得通過紅外攝像機(jī)來檢測成為可能。
[0066]盡管優(yōu)選的是跟蹤控制器的攝像機(jī)以IR頻率操作(或者具有切換至IR模式的能力)，但控制器的球形部分也可著色為亮霓虹橙色或霓虹綠色，以允許攝像機(jī)在可見光譜中操作來跟蹤X、y位置。
[0067]圖5包括了根據(jù)一個實(shí)施例的在球形部分182內(nèi)部有紅外光發(fā)射器184的控制器，其中光發(fā)射器從控制器外部可見。球形部分讓紅外光以最小的變形穿過，從而允許紅外攝像機(jī)通過檢測紅外光來檢測控制器180的定位。在另一實(shí)施例中，光源為在可見光譜中操作的LED，通過分析由數(shù)碼攝像機(jī)拍攝的可見光譜中的圖像數(shù)據(jù)來檢測所述光源。在又一實(shí)施例中，光源頻率被混合，從而實(shí)現(xiàn)可見光和IR輸出。
[0068]圖6描繪了具有超聲波能力和球形部分192的控制器190，其中所述球形部分被定向反射材料194部分地覆蓋。定向反射器是沿平行于入射角但是在方向上與入射角相反的向量反射回波前的器件或表面。這不同于反射鏡，反射鏡只有當(dāng)正好垂直于波前時才會這樣。通過使球形部分192定向反射或者至少部分地定向反射，來自處于遠(yuǎn)處的光捕捉設(shè)備旁邊的源的光將朝向該光捕捉設(shè)備而反射回去，如圖14B所示。與非定向反射器相比，這樣增加了反射回的光的量，從而允許實(shí)現(xiàn)更高的圖像對比度并且在所捕捉到的圖像中更好地辨識控制器。在另一實(shí)施例中，球形部分192完全被定向反射材料覆蓋以實(shí)現(xiàn)最大程度的光反射。
[0069]應(yīng)理解的是，本發(fā)明的每個實(shí)施例的每個特征可與另一實(shí)施例的特征混合從而生成混合的實(shí)施例。例如，具有定向反射涂層的球形部分也可在其中包含有IR源，其允許IR光從球形部分內(nèi)部穿過球體上的不存在定向反射材料的透射區(qū)域。
[0070]圖7描繪了具有可更換面板的單手控制器210的一個實(shí)施例。諸如220a和220b的不同的面板允許獨(dú)特的鍵盤構(gòu)造并且使得用戶在玩不同游戲時可更加靈活地選擇輸入方法。在圖7所示的實(shí)施例中，用戶可以選擇使用面板A220a或面板B220b，其中面板A220a包括方向鍵(direct1nal pad),而面板B220b包括4個按鈕。
[0071]圖8示出了根據(jù)一個實(shí)施例的通過插入板302結(jié)合在一起而形成旨在用兩只手使用的控制器的兩個單手控制器300a和300b的示意性表示。該插入板為用戶添加了輸入選擇。通過在控制器之間使用面板，控制器之間的距離固定且已知。遠(yuǎn)處的計(jì)算系統(tǒng)跟蹤兩個控制器的運(yùn)動以得到提高的準(zhǔn)確度。另外，通過考慮控制器之間的固定距離，計(jì)算系統(tǒng)可以利用三角測量技術(shù)進(jìn)一步細(xì)化定位檢測和控制器定向。
[0072]圖9A-9B描繪了一個實(shí)施例中在底部結(jié)合而形成一個單手控制器的兩個單手控制器。鎖定機(jī)構(gòu)322允許單手控制器320a和320b在底部連接。在一個實(shí)施例中，控制器320a和320b的形狀被構(gòu)造為允許控制器的聯(lián)鎖(interlock)。在另一實(shí)施例中，使用適配器來連接各控制器。適配器可以是剛性的，從而與各控制器組合形成剛性結(jié)構(gòu)，或者適配器可以是撓性的，從而允許該組合具有不同且可變的形狀。例如，適配器可包括繩索狀的機(jī)構(gòu)，其中在游戲中可將其與兩個控制器的組合用作雙截棍。此外，在另一實(shí)施例中，適配器可通過伸縮機(jī)構(gòu)沿縱向延伸，從而形成類似長劍或標(biāo)槍的組合。在另一實(shí)施例中，在各控制器之間形成電連接，從而計(jì)算系統(tǒng)可以檢測到控制器已連接，或者允許控制器之間直接進(jìn)行通信。這種組合可稱為“刀劍(sword)”或“棍棒(wand)”構(gòu)造。類似于圖8的控制器組合，“刀劍”構(gòu)造允許遠(yuǎn)處的計(jì)算系統(tǒng)同時跟蹤兩個控制器以得到提高的準(zhǔn)確度。
[0073]圖9B示出了包括“刀劍”控制器的三維游戲環(huán)境。攝像機(jī)322和聲音捕捉設(shè)備324跟蹤兩個控制器。例如，使用超聲波通信來確定從控制器到聲音捕捉設(shè)備321的距離dzl和dz2。計(jì)算系統(tǒng)檢測空間中的位置并且計(jì)算兩個控制器的端部的定位。在一個實(shí)施例中，將連結(jié)兩個控制器的線轉(zhuǎn)換為工具或武器在屏幕上的類似定位。
[0074]圖10示出了根據(jù)一個實(shí)施例的對控制器360和對用戶特征的視覺跟蹤。對由攝像機(jī)362捕捉的圖像數(shù)據(jù)進(jìn)行分析，從而不僅計(jì)算控制器的(x，y)位置，而且還檢測人的特征，以便考慮玩家和控制器的位置作為游戲的輸入。在一個實(shí)施例中，跟蹤頭部區(qū)域350和上身(torso)區(qū)域352。在其他實(shí)施例中，跟蹤玩家的眼睛(未示出)。線354示出了朝向用戶臉部的方向，線356示出了朝向用戶上身的方向，并且線358示出了朝向控制器的方向和到控制器的距離。不同線之間的角度91和θ2的變化指示玩家相對于控制器的位置的相對變化。
[0075]圖11示出了一個實(shí)施例中的控制器運(yùn)動跟蹤。除了球形部分和超聲波通信之外，控制器380包括跟蹤控制器380以得到慣性活動的慣性分析儀388。將來自慣性分析儀388的數(shù)據(jù)傳送382至計(jì)算系統(tǒng)。可使用各種類型的慣性傳感器設(shè)備來提供6個自由度(例如X、1、ζ平移以及繞X軸、y軸、ζ軸的轉(zhuǎn)動)上的信息。用于提供6個自由度上的信息的合適的慣性傳感器的實(shí)例包括加速度計(jì)、一個或更多個單軸加速度計(jì)、機(jī)械陀螺儀、環(huán)形激光陀螺儀或者這些中的兩個或更多個的組合。在玩視頻游戲期間，對來自慣性分析儀388的信號進(jìn)行分析以確定控制器的運(yùn)動和定向。在一個實(shí)施例中，經(jīng)由WiFi?382無線通信將慣性分析數(shù)據(jù)傳達(dá)至計(jì)算系統(tǒng)。可替換地，有線通信、或有線通信與無線通信的組合也是有可能。此外，盡管特別指出了 WiFi?，但其他無線模式或標(biāo)準(zhǔn)也可用于實(shí)現(xiàn)通信。
[0076]圖12A-12B示出了玩家所握的單手控制器的不同視圖。圖12A示出了從面向玩家的攝像機(jī)的角度看到的典型視圖。在這個實(shí)施例中，控制器400包括用于反射來自于處于攝像機(jī)旁邊或周圍的源的光的定向反射材料402，使得所反射的光在相反方向上反彈回去，從而使朝向攝像機(jī)傳播回去的光的量最大化。從攝像機(jī)的角度來看，聲音接口 404也是可見的。
[0077]圖12B示出了包括球形部分400和聲音接口 404和406的控制器的側(cè)視圖，其中所述球形部分具有定向反射材料402。
[0078]圖13示出了根據(jù)一個實(shí)施例的使用單手控制器420a和420b的玩家的示意性表示以示出使用超聲波來確定相對距離。這兩個控制器都支持其與聲音接收器422以及它們自己之間的雙向超聲波通信。在一個實(shí)施例中，控制器420a和420b發(fā)送和接收聲音信息。所捕捉到的聲音信息被發(fā)送到計(jì)算機(jī)程序進(jìn)行處理以便計(jì)算出控制器之間的距離dKS。在另一實(shí)施例中，在控制器中的一個的內(nèi)部的處理器測量聲音在各控制器之間的傳播時間以計(jì)算dKS，然后將dKS發(fā)送到遠(yuǎn)處的計(jì)算機(jī)程序，該計(jì)算機(jī)程序使用這個信息來計(jì)算各控制器在三維捕捉區(qū)域中的位置。如先前相對于圖1所描述的，使用超聲波測量結(jié)果來計(jì)算距離需要同步。
[0079]圖14A-14B示出了根據(jù)一個實(shí)施例的使用視頻和超聲波對兩個控制器的三維定位的確定。圖14A描繪了經(jīng)過一些時間之后的圖13中的同一用戶，其中用戶手部發(fā)生了移動并且將控制器放置在了比圖13中更遠(yuǎn)的距離dKS處。在這個實(shí)例中，更寬的手部間隔反映為具象在屏幕中更寬的手部間隔。在圖14B所描繪的實(shí)施例中，控制器420b包括定向反射材料，所述定向反射材料被用于反射在紅外光發(fā)射器433處發(fā)出的紅外光。由紅外攝像機(jī)326捕捉所反射的光以產(chǎn)生圖像數(shù)據(jù)，然后對圖像數(shù)據(jù)進(jìn)行分析以確定控制器的定位。在其他實(shí)施例中，攝像機(jī)436既是紅外攝像機(jī)又是可見光譜攝像機(jī)。攝像機(jī)436交替獲取來自紅外光譜和可見光譜的圖像數(shù)據(jù)。然后，計(jì)算系統(tǒng)使用這兩種類型的測量結(jié)果來計(jì)算X，y位置。通過使用兩種方法對控制器進(jìn)行定位，實(shí)現(xiàn)了更高的準(zhǔn)確度。
[0080]圖15描述了根據(jù)本發(fā)明的一個實(shí)施例的利用超聲波來測量兩個控制器450a、450b之間的距離而確定這兩個控制器的定位。
[0081]圖16示出了根據(jù)一個實(shí)施例的利用與兩個控制器分別相關(guān)的信息對通過結(jié)合這兩個控制器所形成的控制器(如圖9A所示)的定位的確定。如先前相對于圖9A和9B所述的，控制器500a和500b被結(jié)合在一起。單獨(dú)計(jì)算每個控制器的定位，然后在定位計(jì)算中包括各控制器之間的距離dKS以提高準(zhǔn)確度。由于dKS已知，因此將控制器之間的測量距離與已知距離進(jìn)行比較，從而可以對控制器的位置進(jìn)行調(diào)整。
[0082]在一個實(shí)施例中，跟蹤一組若干個連續(xù)的測量結(jié)果以消除測量結(jié)果中的偏差或假信號(glitch)。不同測量結(jié)果的采樣頻率隨著所需精度和計(jì)算資源的可用性而變化。例如，格斗互動游戲?qū)⒈然拥钠孱愑螒蛐枰哳l率的測量結(jié)果。
[0083]圖17示出了包括具有內(nèi)置式攝像機(jī)602和超聲波通信的控制器600的實(shí)施例的俯視圖。在這個實(shí)施例中，攝像機(jī)位于控制器處而不是顯示器區(qū)域附近。光發(fā)射器606a和606b大約位于顯示器的不同端部。由攝像機(jī)602捕捉圖像數(shù)據(jù)，而來自光發(fā)射器606a和606b的光有助于識別控制器的定位。光發(fā)射器定位610a和610b代表光發(fā)射器在x軸和y軸內(nèi)的定位。麥克風(fēng)604與控制器600之間的超聲波通信被用于從計(jì)算控制器到麥克風(fēng)的距離dz。
[0084]在一個實(shí)施例中，攝像機(jī)602所捕捉的圖像被傳送至計(jì)算設(shè)備PS3，然后計(jì)算設(shè)備對所捕捉到的圖像進(jìn)行處理以計(jì)算控制器的X和I定位。在另一實(shí)施例中，控制器600中的處理器對圖像數(shù)據(jù)進(jìn)行處理并且計(jì)算控制器位置，然后將計(jì)算得到的控制器位置傳送至計(jì)算設(shè)備PS3。在其他實(shí)施例中，控制器600對圖像數(shù)據(jù)進(jìn)行部分處理，然后將數(shù)據(jù)的子集發(fā)送到計(jì)算設(shè)備PS3用以進(jìn)行最終處理。
[0085]圖18示出了其中攝像機(jī)位于控制器處的另一實(shí)施例，其示出了根據(jù)一個實(shí)施例的使用具有視頻和聲音能力的單手控制器600a和600b的兩個玩家。
[0086]由于攝像機(jī)位于控制器處，因此在控制器的前部無需具有球形部分或任何其他易于辨識的形狀，從而形成更纖細(xì)的設(shè)計(jì)。圖19A-19D示出了具有視頻和超聲波能力的單手控制器的不同實(shí)施例?？刂破?50的基本構(gòu)造為在前部具有攝像機(jī)652和超聲波接口。控制器660還包括側(cè)向聲音接口 662，該側(cè)向聲音接口 662可被用于與其他控制器進(jìn)行通信，或者甚至在互動游戲期間控制器朝著遠(yuǎn)離屏幕的方向時與顯示系統(tǒng)附近的聲音捕捉接口進(jìn)行通信。
[0087]圖19C的控制器670包括被構(gòu)造為在玩家使用控制器時適應(yīng)玩家手部的手柄676、操縱桿674以及用于輸入項(xiàng)目的鍵盤672。控制器680添加了類似于圖19B的控制器660中的側(cè)向聲音接口的側(cè)向接口 622。
[0088]圖20是娛樂系統(tǒng)中的不同單元的框圖。計(jì)算系統(tǒng)及其組件位于圖20的左例，并且在右側(cè)示出了玩家環(huán)境。計(jì)算系統(tǒng)700包括處理器、存儲區(qū)域、時鐘以及通信接口。通信接口包括用于與控制器進(jìn)行無線通信的射頻(RF)接口，諸如使用WiFi?協(xié)議的通信。其他通信方法包括圖像捕捉、聲音傳輸和接收(在這個實(shí)施例中為超聲波)以及光發(fā)射器。
[0089]連接于計(jì)算系統(tǒng)700的不同通信設(shè)備與計(jì)算系統(tǒng)內(nèi)部相應(yīng)的控制器連接。存儲區(qū)域包括正在運(yùn)行的程序、圖像處理區(qū)域、聲音處理區(qū)域以及時鐘同步區(qū)域。正在運(yùn)行的程序包括游戲程序、圖像處理程序、聲音處理程序、時鐘同步程序等。這些程序使用存儲器的對應(yīng)區(qū)域，諸如包含圖像數(shù)據(jù)的圖像處理區(qū)域、包含超聲波通信數(shù)據(jù)的聲音處理區(qū)域以及用于與遠(yuǎn)處的設(shè)備同步的時鐘同步區(qū)域。
[0090]在玩家環(huán)境區(qū)域中示出了控制器構(gòu)造的若干實(shí)施例?？刂破鰽代表具有許多前述特征的“滿載”控制器?？刂破鰽包括:時鐘同步(CS)模塊，該模塊被用于與計(jì)算系統(tǒng)700的時鐘同步；聲音接收器(SRx)，其用于接收超聲波數(shù)據(jù)；聲音發(fā)射器(SRx)，其用于發(fā)送超聲波數(shù)據(jù)；WiFi (WF)模塊，其用于與計(jì)算系統(tǒng)700進(jìn)行WiFi通信；聲室(AC)，其用于指揮去往以及來自控制器的前部和/或側(cè)面的聲音；諸如數(shù)碼攝像機(jī)等的圖像捕捉(IC)設(shè)備，其用于捕捉圖像數(shù)據(jù)；以及處于紅外或可見光譜中的光發(fā)射器(LE)，其用于更容易地從計(jì)算系統(tǒng)700的圖像處理模塊進(jìn)行圖像辨識。
[0091]另外，控制器A包括球形部分(未示出)以改進(jìn)由遠(yuǎn)處的捕捉設(shè)備進(jìn)行的圖像辨識。球形部分包括定向反射材料，所述定向反射材料增加由圖像捕捉設(shè)備旁邊的光發(fā)射器發(fā)送然后朝向圖像捕捉設(shè)備反射回去的光的量。由光發(fā)射器產(chǎn)生的光可以處在紅外或可見光譜中，因此圖像捕捉設(shè)備將在同一光譜中工作?？刂破鰽中的不同組件可以被實(shí)現(xiàn)為控制器A內(nèi)部的單獨(dú)器件或模塊。在另一實(shí)施例中，控制器A中的不同組件被集合成更少數(shù)量的集成組件，以允許更加緊湊的實(shí)現(xiàn)。各種控制器也可包括一個或更多個USB插頭，以允許控制器在連接至游戲站或計(jì)算機(jī)時進(jìn)行充電。
[0092]根據(jù)給定控制器的預(yù)定用途，可以使用具有與針對控制器A所描述的相比更少特征的更簡單的構(gòu)造。相對于控制器B-E示出了更簡單的設(shè)備的一些實(shí)施例，這些控制器采用針對控制器A所描述的特征的子集。本領(lǐng)域的技術(shù)人員將容易理解的是，通過添加或刪減組件有可能在本發(fā)明的主旨范圍內(nèi)實(shí)現(xiàn)類似的構(gòu)造，只要能夠保持本發(fā)明的原理。
[0093]具有三維定位能力的兩個控制器的概念可以擴(kuò)展為位于玩家身體上或附近的多個控制器或者用于對控制器的三角測量和始終更佳的觀察的多個傳感器。在一個實(shí)施例中，將多個麥克風(fēng)放置在捕捉區(qū)域周圍，以便獲取控制器定位的不同幾何讀數(shù)，從而允許三角測量計(jì)算以得到提高的準(zhǔn)確度。圖21描繪了利用位于玩家手腳附近的四個控制器進(jìn)行互動游戲的實(shí)施例。在這個實(shí)施例中，兩個控制器綁在玩家的臂部或手部，還有兩個控制器綁在玩家的腳部或腿部。該實(shí)例示出了玩家正在踢倒鉤球，其轉(zhuǎn)換成對應(yīng)的具象在計(jì)算機(jī)游戲中的倒鉤球。在一個實(shí)施例中，將來自面向玩家的攝像機(jī)的圖像與被添加至游戲的其他虛擬對象混合地顯示在顯示器中，由此使玩家成為游戲場景的部分。在這個實(shí)施例中，將球、球門、球場、其他玩家、公眾等添加至玩家的圖像，并且該玩家踢假想的球的運(yùn)動在游戲世界中被轉(zhuǎn)換成在顯示器中踢假想的游戲球的運(yùn)動。在多玩家環(huán)境中，其他玩家基于混合有虛擬對象的所捕捉到的圖像數(shù)據(jù)而被引入虛擬世界。其他玩家可以與正在踢球的玩家處于同一捕捉區(qū)域中，或者可以遠(yuǎn)程地連接至游戲以允許分布式的多玩家游戲。其他類似的應(yīng)用包括格斗、賽車、跳舞以及訓(xùn)練游戲，還有諸如足球、網(wǎng)球、拳擊、棒球、籃球、曲棍球等許多其他的體育游戲。
[0094]圖22示出了根據(jù)本發(fā)明的一個實(shí)施例的可被用于確定控制器定位的硬件和用戶接π (user interface)。圖22示意性地示出了 Sony? Playstat1n 3⑩娛樂設(shè)備，即可適于實(shí)現(xiàn)根據(jù)本發(fā)明的一個實(shí)施例的三維控制器定位系統(tǒng)的控制臺(console)的整體系統(tǒng)架構(gòu)。系統(tǒng)單元1400設(shè)置有可連接至系統(tǒng)單元1400的各種外圍設(shè)備。系統(tǒng)單元1400包括:細(xì)胞處理器(Cell processor) 1428 ； Rambus?動態(tài)隨機(jī)存取存儲器(XDRAM)單元1426 ;具有專用的視頻隨機(jī)存取存儲器(VRAM)單元1432的真實(shí)合成處理器(RealitySynthesizer)圖形單元1430 ;以及1/0橋1434。系統(tǒng)單元1400還包括可通過1/0橋1434
訪問的用于從盤1440a讀取的Blu Ray? Disk BD-ROM?光盤閱讀器1440以及可拆卸的吸入式硬盤驅(qū)動器(HDD) 1436。可選地，系統(tǒng)單元1400還包括類似地可通過1/0橋1434訪問的用于讀取壓縮閃存卡、Memory Stick?存儲卡等的存儲卡閱讀器1438。
[0095]1/0橋1434還連接至六個通用串行總線(USB) 2.0端口 1424 ;千兆比特以太網(wǎng)端口 1422 ；IEEE802.llb/g無線網(wǎng)絡(luò)(W1-Fi)端口 1420 ;以及能夠支持多達(dá)七個藍(lán)牙連接的Bluetooth⑩無線鏈路端口 1418。
[0096]在操作中，1/0橋1434處理包括來自一個或更多個游戲控制器1402-1403的數(shù)據(jù)在內(nèi)的所有無線、USB和以太網(wǎng)數(shù)據(jù)。例如，當(dāng)用戶正在玩游戲時，1/0橋1434經(jīng)由藍(lán)牙鏈路從游戲控制器1402-1403接收數(shù)據(jù)，并且將數(shù)據(jù)引導(dǎo)至細(xì)胞處理器1428，該細(xì)胞處理器相應(yīng)地更新當(dāng)前的游戲狀態(tài)。
[0097]除了游戲控制器1402-1403之外，無線、USB和以太網(wǎng)端口還為其他外圍設(shè)備提供連接，諸如:遙控器1404 ;鍵盤1406 ;鼠標(biāo)1408 ;諸如Sony Playstat1n ForttMC?娛樂設(shè)備的便攜式娛樂設(shè)備1410 ;諸如EyeToy?攝像機(jī)的攝像機(jī)1412;麥克風(fēng)耳機(jī)1414 ;以及麥克風(fēng)1415。因此，這樣的外圍設(shè)備原則上可以無線地連接至系統(tǒng)單元1400 ;例如，便攜式娛樂設(shè)備1410可經(jīng)由W1-Fi自組網(wǎng)連接(ad-hoc connect1n)進(jìn)行通信,而麥克風(fēng)耳機(jī)1414可經(jīng)由藍(lán)牙鏈路進(jìn)行通信。
[0098]設(shè)置這些接口意味著Playstat1n3設(shè)備潛在地也可與其他外圍設(shè)備兼容，諸如數(shù)字錄像機(jī)(DVR)、機(jī)頂盒、數(shù)碼攝像機(jī)、便攜式媒體播放器、IP語音電話、移動電話、打印機(jī)以及掃描儀。
[0099]另外，舊版的存儲卡閱讀器1416可經(jīng)由USB端口 1424連接至系統(tǒng)單元，從而允許讀取Playstat1n?或Playstat1n 2?.設(shè)備所使用的類別的存儲卡1448。
[0100]在本實(shí)施例中，游戲控制器1402-1403可操作用于經(jīng)由藍(lán)牙鏈路與系統(tǒng)單元1400無線通信。然而，游戲控制器1402-1403可代替地與USB端口連接，由此還提供用于對游戲控制器1402-1403的電池充電的電力。游戲控制器1402-1403還可包括存儲器、處理器、存儲卡閱讀器、諸如閃存等永久性存儲器、諸如LED或紅外線燈等光發(fā)射器、用于超聲波通信的麥克風(fēng)和揚(yáng)聲器、聲室、數(shù)碼攝像機(jī)、內(nèi)部時鐘、諸如面向游戲機(jī)的球形部分等可辨識的形狀以及使用諸如Bluetooth?、WiFi?等協(xié)議的無線通信。
[0101]游戲控制器1402是被設(shè)計(jì)成由兩只手使用的控制器，而游戲控制器1403是先前如圖1-21所描述的單手控制器。除了一個或更多個模擬操縱桿和常規(guī)的控制按鈕之夕卜，游戲控制器容許三維定位確定。因此，除了常規(guī)的按鈕或操縱桿命令之外或者代替常規(guī)的按鈕或操縱桿命令，可將游戲控制器的用戶的手勢和運(yùn)動轉(zhuǎn)換為游戲的輸入?？蛇x地，諸如Playstat1n?便攜式設(shè)備的其他允許無線通信的外圍設(shè)備可被用作控制器。在Playstat1n?便攜式設(shè)備的情況下，可在所述設(shè)備的屏幕上設(shè)置附加的游戲或控制信息(例如控制指令或生命數(shù))。也可使用其他可替換的或補(bǔ)充的控制設(shè)備，諸如跳舞毯(未示出)、光槍(未示出)、方向盤及踏板(未示出)，或者諸如用于快速反應(yīng)問答比賽的單個或若干個大按鈕等定制的控制器(同樣未示出)。
[0102]遙控器1404也可操作用于經(jīng)由藍(lán)牙鏈路與系統(tǒng)單元1400無線通信。遙控器1404包括適用于操作Blu Ray? Disk BD-ROM閱讀器1440以及適用于導(dǎo)航光盤內(nèi)容的控制器。
[0103]除了常規(guī)的預(yù)錄和可記錄的⑶以及所謂的超級音頻(Super Aud1)⑶之外，BluRay? Disk BD-R0M閱讀器1440可操作用于讀取與Playstat1n和PlayStat1n 2設(shè)備兼容的⑶-ROM。除了常規(guī)的預(yù)錄和可記錄的DVD之外，閱讀器1440還可操作用于讀取與Playstat1n〗和PlayStat1n 3設(shè)備兼容的DVD-ROM。閱讀器1440進(jìn)一步可操作用于讀取與PlayStat1n 3設(shè)備兼容的BD-ROM以及常規(guī)的預(yù)錄和可記錄的藍(lán)光光盤(Blu-RayDisk)。
[0104]系統(tǒng)單元1400可操作用于通過音頻和視頻連接器向具有顯示器1444和一個或更多個擴(kuò)音器1446的諸如監(jiān)視器或電視機(jī)等顯示和聲音輸出設(shè)備1442提供音頻和視頻，所述音頻和視頻由Playstat1n 3設(shè)備經(jīng)由真實(shí)合成處理器圖形單元1430生成或解碼。音頻連接器1450可包括常規(guī)的模擬輸出和數(shù)字輸出，而視頻連接器1452可不同地包括分量視頻輸出、S視頻輸出、合成視頻輸出以及一個或更多個高清晰度多媒體接口(HDMI)輸出。因此，視頻輸出可以諸如PAL或NTSC等格式，或者以720p、1080i或1080p的高清晰度。
[0105]由細(xì)胞處理器1428執(zhí)行音頻處理(生成、解碼等)。Playstat1n3設(shè)備的操作系統(tǒng)支持Dolby? 5.1環(huán)繞立體聲、Dolby?影院環(huán)繞(dts)以及從Bh1-Ray__光盤解碼7.1環(huán)繞立體聲。
[0106]在本實(shí)施例中，攝像機(jī)1412包括單個電荷耦合器件(CXD)、LED指示器以及基于硬件的實(shí)時數(shù)據(jù)壓縮編碼裝置，使得壓縮的視頻數(shù)據(jù)可以諸如基于圖像內(nèi)的MPEG(動態(tài)圖像專家組)標(biāo)準(zhǔn)等適當(dāng)?shù)母袷奖粋魉鸵员阌谙到y(tǒng)單元1400解碼。攝像機(jī)LED指示器被布置用于響應(yīng)來自系統(tǒng)單元1400的適當(dāng)?shù)目刂茢?shù)據(jù)而發(fā)光，所述控制數(shù)據(jù)例如表明不利的照明條件。攝像機(jī)1412的實(shí)施例可經(jīng)由USB、藍(lán)牙或W1-Fi通信端口而不同地連接至系統(tǒng)單元1400。攝像機(jī)的實(shí)施例可包括一個或更多個相關(guān)聯(lián)的麥克風(fēng)，并且還能夠傳送音頻數(shù)據(jù)。在攝像機(jī)的實(shí)施例中，CCD可具有適合于聞清晰度視頻捕捉的分辨率。在使用時，攝像機(jī)所捕捉到的圖像可例如被并入游戲內(nèi)或被解釋為游戲控制輸入。在另一實(shí)施例中，攝像機(jī)是適合于檢測紅外光的紅外攝像機(jī)。
[0107]通常，為了能經(jīng)由系統(tǒng)單元1400的各通信端口中的一個與諸如攝像機(jī)或遙控器等外圍設(shè)備成功進(jìn)行數(shù)據(jù)通信，應(yīng)當(dāng)設(shè)置諸如設(shè)備驅(qū)動程序等適當(dāng)?shù)能浖?。設(shè)備驅(qū)動程序技術(shù)是已知的，這里將不再詳細(xì)描述，除了要說明技術(shù)人員將意識到所描述的本實(shí)施例可能需要設(shè)備驅(qū)動程序或類似的軟件接口。
[0108]圖23示出了根據(jù)本發(fā)明一個實(shí)施例的可被用于處理指令的附加硬件。細(xì)胞處理器1428的架構(gòu)包括四個基本組件:包括存儲器控制器1560和雙總線接口控制器1570A、B的外部輸入和輸出結(jié)構(gòu)；稱為超級處理單元(Power Processing Element)的主處理器1550 ;稱為協(xié)同處理單元(SPE)的8個協(xié)處理器1510A-H;以及稱為單元互連總線的連接上述各組件的循環(huán)數(shù)據(jù)總線1580。與Playstat1n〗設(shè)備的情感引擎(Emot1n Engine)的
6.2GFL0Ps相比，細(xì)胞處理器的總浮點(diǎn)性能為218GFL0PS。
[0109]超級處理單元(PPE) 1550基于以3.2GHz的內(nèi)部時鐘運(yùn)行的與雙向同時多線程Powerl470兼容的PowerPC核(PPU) 1555。其包括512kB的2級(L2)高速緩存和32kB的I級(LI)高速緩存。PPE1550每時鐘周期能夠進(jìn)行8個單位置操作(single posit1noperat1n),以3.2GHz轉(zhuǎn)換成25.6GFL0Ps。PPE1550的主要作用是充當(dāng)協(xié)同處理單元1510A-H的控制器，所述協(xié)同處理單元處理大部分的計(jì)算工作負(fù)荷。在操作中，PPE1550保持作業(yè)隊(duì)列，為協(xié)同處理單元1510A-H調(diào)度作業(yè)并且監(jiān)視它們的進(jìn)程。因此，每個協(xié)同處理單元1510A-H運(yùn)行這樣的內(nèi)核:即其作用是取回作業(yè)、執(zhí)行該作業(yè)并且與PPE1550同步。
[0110]每個協(xié)同處理單元(SPE) 1510A-H包括相應(yīng)的協(xié)同處理單元(SPU) 1520A-H以及相應(yīng)的存儲器流量控制器(MFC) 1540A-H，而MFC1540A-H又包括相應(yīng)的動態(tài)存儲器存取控制器(DMAC) 1542A-H、相應(yīng)的存儲器管理單元(MMU) 1544A-H以及總線接口(未示出)。每個SPU1520A-H是時鐘頻率為3.2GHz且包括256kB (原則上可擴(kuò)展至4GB)的局部RAM1530A-H的RISC處理器。每個SPE提供理論上的25.6GFL0PS的單精度性能。SPU可以在單個時鐘周期內(nèi)對4個單精度浮點(diǎn)成員、4個32位數(shù)字、8個16位整數(shù)或16個8位整數(shù)進(jìn)行操作。在相同的時鐘周期中，SPU也可執(zhí)行存儲操作。SPU1520A-H不直接訪問系統(tǒng)存儲器XDRAM1426 ；由SPU1520A-H形成的64位地址被傳到MFC1540A-H，所述MFC命令它的DMA控制器1542A-H經(jīng)由單元互連總線1580和存儲器控制器1560訪問存儲器。
[0111]單元互連總線(EIB) 1580是細(xì)胞處理器1428內(nèi)部的邏輯循環(huán)通信總線，其將上述處理器單元，即PPE1550、存儲器控制器1560、雙總線接口 1570A、B以及8個SPE1510A-H，總共12個參與者連接在一起。這些參與者可以每時鐘周期8個字節(jié)的速度同時向總線進(jìn)行讀寫。如先前所提到的，每個SPE1510A-H包括用于調(diào)度更長的讀或?qū)懶蛄械腄MAC1542A-H。EIB包括四個通道，兩個沿順時針方向，兩個沿逆時針方向。因此，對于12個參與者而言，任何兩個參與者之間的最長的步進(jìn)式數(shù)據(jù)流在適當(dāng)?shù)姆较蛏蠟榱?。因此，在通過參與者之間的仲裁而實(shí)現(xiàn)充分利用的情況下，12個時隙的理論峰值瞬時EIB帶寬為每時鐘周期96B。這等同于以3.2GHz的時鐘速率的307.2GB/s(千兆字節(jié)每秒)的理論峰值帶寬。
[0112]存儲器控制器1560包括由Rambus公司開發(fā)的XDRAM接口 1562。具有RambusXDRAM1426的存儲器控制器接口具有25.6GB/s的理論峰值帶寬。
[0113]雙總線接口 157(^』包括1^1^,^丨0武系統(tǒng)接口 1572A、B。將該接口編組成12個通道，每個通道為8位寬,其中5條路徑為輸入(inbound)而7條路徑為輸出(outbound)。這經(jīng)由控制器170A在細(xì)胞處理器與I/O橋700之間以及經(jīng)由控制器170B在細(xì)胞處理器與真實(shí)仿真器圖形單元200之間提供了 62.4GB/s (36.4GB/s輸出，26GB/s輸入)的理論峰值帶寬。
[0114]由細(xì)胞處理器1428發(fā)送到真實(shí)仿真器圖形單元1430的數(shù)據(jù)將典型地包括顯示列表，其為繪制頂點(diǎn)、將紋理(texture)施加于多邊形、規(guī)定照明條件等一系列命令。
[0115]圖24示出了根據(jù)一個實(shí)施例的使單手控制器與計(jì)算系統(tǒng)通信以確定控制器的三維定位的流程圖。在操作902中，在諸如IXD的顯示器中顯示圖形用戶界面。在操作904中，從顯示器前方的捕捉區(qū)域中捕捉圖像數(shù)據(jù)。例如，圖1的圖像捕捉設(shè)備106被用于從捕捉區(qū)域118中捕捉圖像數(shù)據(jù)。在一個實(shí)施例中，圖像捕捉設(shè)備106是數(shù)碼攝像機(jī)。
[0116]在操作906中，基于所捕捉到的圖像來識別控制器的二維定位。例如，將圖像數(shù)據(jù)保持在圖20的計(jì)算系統(tǒng)700的圖像處理模塊中，并且如相對于圖1所描述的，正在運(yùn)行的程序中的一個確定控制器的水平和垂直位置。
[0117]執(zhí)行時鐘同步操作908以將計(jì)算系統(tǒng)與控制器之間的超聲波通信的各端上的時鐘同步。在操作910中，在最接近于顯示器的定位與控制器處的定位之間捕捉單向聲音通信。在一個實(shí)施例中，聲音在控制器處產(chǎn)生，而由計(jì)算系統(tǒng)處的聲音接收器接收。在另一實(shí)施例中，聲音在計(jì)算系統(tǒng)定位處產(chǎn)生，而由控制器接收。
[0118]在操作912中，連同時鐘同步信息一起使用所捕捉到的聲音通信來計(jì)算控制器在捕捉區(qū)域中的第三維定位。如先前相對于圖2D所描述的，該第三維定位可以是從聲音捕捉設(shè)備到控制器的距離，或者是控制器在捕捉區(qū)域內(nèi)的深度。
[0119]各實(shí)施例可以包括捕捉深度數(shù)據(jù)以更好地識別真實(shí)世界的用戶并且引導(dǎo)具象或場景的活動。對象可以是人正握住的東西，或者也可以是人的手。此外，本發(fā)明的實(shí)施例為用戶提供了實(shí)時的互動游戲體驗(yàn)。例如，用戶可以實(shí)時地與各種計(jì)算機(jī)生成的對象互動。此夕卜，可以實(shí)時地更改視頻場景以增強(qiáng)用戶的游戲體驗(yàn)。例如，可以將計(jì)算機(jī)生成的服裝插入在用戶的衣服上，并且可以利用計(jì)算機(jī)生成的光源在視頻場景內(nèi)投射虛擬陰影。因此，利用本發(fā)明的各實(shí)施例，用戶可以在他們自己的起居室內(nèi)體驗(yàn)互動的游戲環(huán)境。
[0120]本發(fā)明的各實(shí)施例還設(shè)想了分布式的圖像處理構(gòu)造。例如，本發(fā)明不限于在一個乃至兩個定位上對所捕捉到的圖像和顯示器圖像進(jìn)行處理，諸如在CPU上或者在CPU和一個其他單元上。例如，輸入圖像處理可能正好同樣容易地發(fā)生在能夠執(zhí)行處理的相關(guān)聯(lián)的CPU、處理器或設(shè)備上；實(shí)際上，所有的圖像處理可以分布在整個互連的系統(tǒng)上。這樣，本發(fā)明不限于任何特定的圖像處理硬件電路系統(tǒng)和/或軟件。本文所描述的各實(shí)施例同樣既不限于通用硬件電路系統(tǒng)和/或軟件的任何特定組合，也不限于針對處理組件所執(zhí)行的指令的任何特定源。
[0121]依據(jù)上述各實(shí)施例，應(yīng)理解的是本發(fā)明可采用各種用計(jì)算機(jī)實(shí)現(xiàn)的操作，所述操作涉及存儲在計(jì)算機(jī)系統(tǒng)中的數(shù)據(jù)。這些操作包括需要對物理量進(jìn)行物理處理的操作。通常，盡管不必要，但這些物理量采取能被存儲、傳遞、組合、比較及以其他方式被處理的電信號或磁信號的形式。此外，所執(zhí)行的處理通常以諸如產(chǎn)生、識別、確定或比較等術(shù)語相稱。
[0122]可用包括手持設(shè)備、微處理器系統(tǒng)、基于微處理器或可編程的消費(fèi)電子產(chǎn)品、小型計(jì)算機(jī)、大型計(jì)算機(jī)等的其他計(jì)算機(jī)系統(tǒng)構(gòu)造來實(shí)踐上述發(fā)明。也可在分布計(jì)算環(huán)境中實(shí)踐本發(fā)明，在所述分布計(jì)算環(huán)境中由通過通信網(wǎng)絡(luò)鏈接的遠(yuǎn)程處理設(shè)備來執(zhí)行各任務(wù)。
[0123]本發(fā)明也可實(shí)施為計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀介質(zhì)是可以存儲之后能被計(jì)算機(jī)系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存儲設(shè)備，包括電磁波載體。計(jì)算機(jī)可讀介質(zhì)的實(shí)例包括硬盤驅(qū)動器、網(wǎng)絡(luò)附接存儲設(shè)備(NAS)、只讀存儲器、隨機(jī)存取存儲器、⑶-ROM、⑶-RXD-RW、磁帶以及其他光學(xué)和非光學(xué)數(shù)據(jù)存儲設(shè)備。也可在與網(wǎng)絡(luò)耦合的計(jì)算機(jī)系統(tǒng)上分布計(jì)算機(jī)可讀介質(zhì)，從而以分布式的方式存儲和執(zhí)行計(jì)算機(jī)可讀代碼。
[0124]盡管為了清楚理解的目的而較為詳細(xì)地描述了上述發(fā)明，但將顯而易見的是在所附權(quán)利要求的范圍內(nèi)可以進(jìn)行一定的變化和修改。因此，當(dāng)前的各實(shí)施例應(yīng)被認(rèn)為是示意性的而非限制性的，并且本發(fā)明不應(yīng)限制于本文所給出的細(xì)節(jié)，而是可以在所附權(quán)利要求及其等同內(nèi)容的范圍內(nèi)被修改。
[0125]盡管按特定順序描述了方法操作，但應(yīng)理解的是可在各操作之間執(zhí)行其他內(nèi)務(wù)操作，或者可以調(diào)整操作使得它們在稍微不同的時間發(fā)生，或者可以在允許處理操作以與處理相關(guān)聯(lián)的各種間隔發(fā)生的系統(tǒng)中分配各操作，只要能夠按期望的方式執(zhí)行重疊操作的處理。
[0126]盡管為了清楚理解的目的而較為詳細(xì)地描述了上述發(fā)明，但將顯而易見的是可以在所附權(quán)利要求的范圍內(nèi)進(jìn)行一定的變化和修改。因此，當(dāng)前的各實(shí)施例應(yīng)被認(rèn)為是示意性的而非限制性的，并且本發(fā)明不應(yīng)限制于本文所給出的細(xì)節(jié)，而是可以在所附權(quán)利要求及其等同內(nèi)容的范圍內(nèi)被修改。
【權(quán)利要求】
1.一種控制器，其包括: 握把區(qū)域； 具有允許對控制器位置進(jìn)行檢測的形狀的對象； 在所述對象內(nèi)部的一個或多個光發(fā)射器，其中來自所述光發(fā)射器的光便于對所述控制器位置進(jìn)行檢測； 用于在玩游戲期間獲得用戶輸入的一個或多個按鈕； 用于跟蹤慣性活動的一個或多個慣性傳感器，所述一個或多個慣性傳感器為所述控制器提供6個自由度上的信息；以及 一個或多個無線通信模塊，其中所述一個或多個無線通信模塊向計(jì)算設(shè)備傳送慣性活動。
2.根據(jù)權(quán)利要求1所述的控制器，其中所述形狀是易于檢測且被制成為手持控制器的一部分、與手持控制器連接或與手持控制器結(jié)合的任何類型的形狀。
3.根據(jù)權(quán)利要求1所述的控制器，其中所述控制器可操作用于將來自所述慣性傳感器的數(shù)據(jù)傳送至計(jì)算系統(tǒng)。
4.根據(jù)權(quán)利要求1所述的控制器，其中所述一個或多個慣性傳感器包括加速度計(jì)或者一個或更多個單軸加速度計(jì)或者機(jī)械陀螺儀或者環(huán)形激光陀螺儀中的任何一種，或者任何組合。
5.根據(jù)權(quán)利要求1所述的控制器，其中所述控制器中的慣性分析儀可操作用于將慣性數(shù)據(jù)傳達(dá)至計(jì)算系統(tǒng)。
6.根據(jù)權(quán)利要求1所述的控制器，其中所述一個或多個光發(fā)射器是發(fā)光二極管(LED)。
7.根據(jù)權(quán)利要求1所述的控制器，其中所述一個或多個光發(fā)射器處于紅外光譜中，使得所述對象發(fā)出紅外光，從而使通過紅外攝像機(jī)進(jìn)行檢測成為可能。
8.根據(jù)權(quán)利要求1所述的控制器，其中所述一個或多個無線通信模塊包括Bluetooth或者W1-Fi或者802.11中的一個或多個。
9.根據(jù)權(quán)利要求1所述的控制器，其還包括: 可更換面板。
10.一種方法，其包括: 接收由捕捉區(qū)域的圖像捕捉設(shè)備獲取的圖像，預(yù)期系統(tǒng)的用戶在其與該系統(tǒng)互動的同時處在所述捕捉區(qū)域中，其中控制器包括具有允許對控制器位置進(jìn)行檢測的形狀的對象，其中所述控制器包括在所述對象內(nèi)部的一個或多個光發(fā)射器，其中來自所述光發(fā)射器的光便于對所述控制器位置進(jìn)行檢測； 從所述控制器接收控制器的慣性活動；以及 分析所接收的圖像和所接收的慣性活動以確定所述控制器的定位。
11.如權(quán)利要求10所述的方法，其還包括: 在所接收的圖像中檢測人的特征以考慮玩家和控制器的位置作為游戲的輸入。
12.如權(quán)利要求10所述的方法，其中所述分析還包括: 分析所述慣性傳感器信息以確定所述控制器在玩視頻游戲期間的運(yùn)動和定向。
13.如權(quán)利要求10所述的方法，其中所述慣性活動由所述控制器中的一個或多個慣性傳感器捕捉。
14.如權(quán)利要求13所述的方法，其中所述一個或多個慣性傳感器包括加速度計(jì)或者一個或更多個單軸加速度計(jì)或者機(jī)械陀螺儀或者環(huán)形激光陀螺儀中的任何一種，或者任何組口 ο
15.如權(quán)利要求10所述的方法，其中所述圖像捕捉設(shè)備是彩色數(shù)字?jǐn)z像機(jī)、黑白數(shù)字?jǐn)z像機(jī)、紅外攝像機(jī)或者著重于對正被檢測的對象的特定特征進(jìn)行檢測的專用設(shè)備中的一種。
16.一種非暫時性的計(jì)算機(jī)可讀存儲介質(zhì)，其存儲計(jì)算機(jī)程序，所述計(jì)算機(jī)可讀存儲介質(zhì)包括: 用于接收由捕捉區(qū)域的圖像捕捉設(shè)備106獲取的圖像的程序指令，預(yù)期系統(tǒng)的用戶在其與該系統(tǒng)互動的同時處在所述捕捉區(qū)域中，其中控制器包括具有允許對控制器位置進(jìn)行檢測的形狀的對象，其中所述控制器包括在所述對象內(nèi)部的一個或多個光發(fā)射器，其中來自所述光發(fā)射器的光便于對所述控制器位置進(jìn)行檢測； 用于從所述控制器接收控制器的慣性活動的程序指令；以及 用于分析所接收的圖像和所接收的慣性活動以確定所述控制器的定位的程序指令。
17.根據(jù)權(quán)利要求16所述的存儲介質(zhì)，其還包括: 用于在所接收的圖像中檢測人的特征以考慮玩家和控制器的位置作為游戲的輸入的程序指令。
18.根據(jù)權(quán)利要求16所述的存儲介質(zhì)，其中所述慣性活動由所述控制器中的一個或多個慣性傳感器捕捉。
19.根據(jù)權(quán)利要求18所述的存儲介質(zhì)，其中所述一個或多個慣性傳感器包括加速度計(jì)或者一個或更多個單軸加速度計(jì)或者機(jī)械陀螺儀或者環(huán)形激光陀螺儀中的任何一種，或者任何組合。
20.根據(jù)權(quán)利要求16所述的存儲介質(zhì)，其中所述一個或多個光發(fā)射器是發(fā)光二極管(LED)。
【文檔編號】A63F9/24GK104162274SQ201410301563
【公開日】2014年11月26日 申請日期:2009年4月30日 優(yōu)先權(quán)日:2008年5月30日
【發(fā)明者】G.M.扎列夫斯基 申請人:美國索尼電腦娛樂有限責(zé)任公司