協(xié)作圖像控制的制作方法
【專利摘要】在移動設(shè)備之間進行協(xié)作會話的系統(tǒng)和方法可以提供用于確定與一組參與方移動設(shè)備相關(guān)聯(lián)的時間延遲，并至少部分地基于管理方設(shè)備的時鐘和時間延遲來確定命令執(zhí)行時間。一個或多個控制消息可以被傳送到參與方移動設(shè)備，其中控制消息包括命令和命令執(zhí)行時間。一旦在接收到控制消息，每一參與方移動設(shè)備就可以至少部分地基于命令執(zhí)行時間以及管理方設(shè)備的時鐘相對于本地時鐘的偏移量來確定本地執(zhí)行時間。因此，命令的執(zhí)行可以跨參與方移動設(shè)備的組來協(xié)調(diào)。
【專利說明】協(xié)作圖像控制
[0001]背景【技術(shù)領(lǐng)域】
[0002]各實施例一般涉及使移動設(shè)備的操作同步。具體而言，各實施例涉及移動設(shè)備之間控制消息的傳輸以管理同步操作。
[0003]
[0004]來自多個數(shù)碼相機的圖像可以被編譯在一起，以生成較高質(zhì)量的圖片(例如，通過超級分辨率)，跨兩個獨立的相機捕捉立體圖像對，或從利用多個相機同時拍攝的圖片生成3D(三維)模型。然而，相機之間的時間同步會是挑戰(zhàn)，特別是在基于網(wǎng)絡(luò)的時間參考可能不可用的對等(P2P)環(huán)境中。即使可能有用于時間同步的有效機制可用，對于用于實現(xiàn)多個相機之間的協(xié)作攝影的控制協(xié)議，仍有相當大的改進的余地。
[0005]附圖簡沭
[0006]通過閱讀下面的說明書和所附的權(quán)利要求，并通過參考下列附圖，本發(fā)明的各實施例的各種優(yōu)點對本領(lǐng)域技術(shù)人員將變得顯而易見，其中:
[0007]圖1是根據(jù)實施例的控制消息協(xié)議的示例的時序圖；
[0008]圖2A是根據(jù)實施例的協(xié)作圖像捕捉環(huán)境的示例的框圖；
[0009]圖2B是根據(jù)實施例的協(xié)作圖像顯示環(huán)境的示例的框圖；
[0010]圖3是根據(jù)實施例的管理移動設(shè)備協(xié)作會話的方法的示例的流程圖；
[0011]圖4是根據(jù)實施例的用戶界面的示例的屏幕截圖；
[0012]圖5A是根據(jù)實施例的標識協(xié)作會話中的參與方移動設(shè)備的方法的示例的流程圖；
[0013]圖5B是根據(jù)實施例的參與移動設(shè)備協(xié)作會話的方法的示例的流程圖；以及
[0014]圖6是根據(jù)實施例的系統(tǒng)的示例的框圖。
[0015]詳細描沭
[0016]各實施例可以包括非瞬態(tài)計算機可讀存儲介質(zhì)，其中包括一組指令，如果由處理器執(zhí)行，則該組指令導(dǎo)致本地移動設(shè)備確定與一組一個或多個遠程移動設(shè)備相關(guān)聯(lián)的時間延遲，并至少部分地基于本地時鐘和時間延遲，確定命令的本地執(zhí)行時間。指令也可以導(dǎo)致本地移動設(shè)備將控制消息傳輸?shù)皆摻M移動設(shè)備，其中，所述控制消息將包括命令和本地執(zhí)行時間。另外，指令還可以導(dǎo)致本地移動設(shè)備根據(jù)本地執(zhí)行時間來執(zhí)行命令。
[0017]各實施例還可包括一系統(tǒng)，該系統(tǒng)具有本地時鐘和控制邏輯，用以確定與一組一個或多個遠程移動設(shè)備相關(guān)聯(lián)的時間延遲?？刂七壿嬤€可以至少部分地基于本地時鐘和時間延遲，確定命令的本地執(zhí)行時間?？刂七壿嬁梢詫⒖刂葡鬏?shù)皆摻M移動設(shè)備，其中控制消息將包括命令和本地執(zhí)行時間。另外，控制邏輯還可以根據(jù)本地執(zhí)行時間來執(zhí)行命令。
[0018]其他實施例可以包括非瞬態(tài)計算機可讀存儲介質(zhì)，其中具有一組存儲指令，如果由處理器執(zhí)行，則該組存儲指令導(dǎo)致本地移動設(shè)備從遠程移動設(shè)備接收控制消息，其中該控制消息將包括命令和遠程執(zhí)行時間。指令還可導(dǎo)致本地移動設(shè)備至少部分地基于遠程執(zhí)行時間以及遠程移動設(shè)備的遠程時鐘相對于本地時鐘的偏移量來確定本地執(zhí)行時間。命令可以根據(jù)本地執(zhí)行時間來執(zhí)行。
[0019]各實施例還可包括一系統(tǒng)，該系統(tǒng)具有本地時鐘和控制邏輯，用以從遠程移動設(shè)備接收控制消息，其中該控制消息將包括命令和遠程執(zhí)行時間?？刂七壿嬤€可以至少部分地基于遠程執(zhí)行時間以及遠程移動設(shè)備的遠程時鐘相對于本地時鐘的偏移量來確定本地執(zhí)行時間?？刂七壿嬤€可根據(jù)本地執(zhí)行時間來執(zhí)行命令。
[0020]各實施例還可以包括一系統(tǒng)，該系統(tǒng)具有用以確定圖像捕捉命令的本地執(zhí)行時間以及使本地執(zhí)行時間與遠程移動設(shè)備的遠程執(zhí)行時間同步的控制邏輯。系統(tǒng)還可包括圖像捕捉模塊，用以根據(jù)本地執(zhí)行時間來執(zhí)行圖像捕捉命令。
[0021]其他實施例可包括非瞬態(tài)計算機可讀存儲介質(zhì)，其中具有一組指令，如果由處理器執(zhí)行，則該組指令導(dǎo)致本地移動設(shè)備確定圖像捕捉命令的本地執(zhí)行時間。指令還可以導(dǎo)致本地移動設(shè)備使本地執(zhí)行時間與遠程移動設(shè)備的遠程執(zhí)行時間同步,并根據(jù)本地執(zhí)行時間來執(zhí)行圖像捕捉命令。
[0022]現(xiàn)在轉(zhuǎn)向圖1，示出了一種環(huán)境，其中多個移動設(shè)備IO(IOa-1Oc)參與其中命令的執(zhí)行12跨移動設(shè)備10中的每一個同時發(fā)生的協(xié)作會話。命令的執(zhí)行12可替換地地跨移動設(shè)備10中的每一個以預(yù)定間隔發(fā)生。如比較詳細地討論的，命令可以是其中移動設(shè)備10包括靜止和/或視頻相機功能的圖像捕捉命令(例如，聚焦、快門、閃光等等)、其中移動設(shè)備10包括視覺輸出功能(例如觸摸屏)的圖像顯示命令、其中移動設(shè)備10包括一個或多個揚聲器的音頻輸出命令，等等。此外，移動設(shè)備10還可以具有其中環(huán)境缺乏基于網(wǎng)絡(luò)的時間參考的對等(P2P)關(guān)系。
[0023]在所示出的示例中，第二移動設(shè)備(本地“移動設(shè)備2”)IOb管理其本身、第一移動設(shè)備(遠程“移動設(shè)備I”)IOa,以及第三移動設(shè)備(遠程“移動設(shè)備3”)IOc之間的協(xié)作會話。第一和第三移動設(shè)備10a，IOc可以從第二移動設(shè)備IOb的角度來看被視為“遠程”，即使所有三個設(shè)備都位于相同的附近區(qū)，只要它們駐留在不同的平臺上。第二移動設(shè)備IOb可以將第一控制消息14傳輸?shù)降谝灰苿釉O(shè)備10a，其中第一控制消息14可以標識要被執(zhí)行的命令以及命令執(zhí)行時間(CET)。所示出的第一移動設(shè)備IOa以確認(ACK)消息16來作出響應(yīng)。類似地，第二移動設(shè)備IOb可以將第二控制消息18傳輸?shù)降谌苿釉O(shè)備10c，其中第二控制消息18標識要被執(zhí)行的命令以及CET，而第三移動設(shè)備IOc以ACK消息20來應(yīng)答。
[0024]如比較詳細地討論的，CET可以基于第二移動設(shè)備IOb的本地時鐘來確立，即使移動設(shè)備10缺乏對基于網(wǎng)絡(luò)的時間參考的訪問。具體而言，第一和第三移動設(shè)備10a，IOc可以使用關(guān)于它們的相對于第二移動設(shè)備IOb的本地時鐘的相應(yīng)時鐘偏移量，來確定用于執(zhí)行所討論的命令的合適時刻。雖然控制消息14，18被示為單播消息，但是也可以使用其他協(xié)議配置。例如，第二移動設(shè)備IOb可替換地使用由第一和第三移動設(shè)備10a，IOc兩者監(jiān)視的廣播地址，來向第一和第三移動設(shè)備10a，IOc兩者廣播單個控制消息。此外，當調(diào)度CET時，第二移動設(shè)備IOb還可考慮累積的端對端信號延遲。
[0025]圖2A和2B示出了其中可以部署如此處所描述的移動設(shè)備協(xié)作會話的示例環(huán)境。具體而言，圖2A示出了協(xié)作圖像捕捉會話，其中多個相機22 (例如，數(shù)碼相機、膠卷相機、帶有圖像捕捉功能的智能電話和/或平板電腦等等)捕捉時間敏感的常見主體(例如，新郎與新娘接吻，體育賽事等等)的同時的圖像。因此，相機22可以輕松地代替已經(jīng)討論的移動設(shè)備10(圖1)。如此，要由所有設(shè)備22同步執(zhí)行的命令在所示出的示例中可以包括快門控制命令和/或聚焦命令。通過使用P2P控制消息26來對齊捕捉每一圖像的時刻，所示出的示例使相機22能獲得可用于生成超級分辨率圖像、3D圖像等等的同步圖像。
[0026]圖2B演示了協(xié)作圖像顯示會話還可結(jié)合此處所描述的控制消息功能。具體而言，多個手持式設(shè)備(例如，移動因特網(wǎng)設(shè)備(MID)、個人數(shù)字助理(PDA)、無線智能電話、媒體播放器、筆記本電腦、平板電腦設(shè)備等等，或其任何組合)28(28a-28c)中每一個都可以同時顯示時間敏感的事件，諸如在實時玩多玩家游戲(諸如協(xié)作駕駛游戲)過程中的爆炸物體(例如炸彈)30。如此，手持式設(shè)備28可以輕松地代替已經(jīng)討論的移動設(shè)備10(圖1)，其中，使用控制消息32來確保由手持式設(shè)備28中的每一個同步執(zhí)行諸如圖像顯示/動畫命令之類的游戲命令。
[0027]現(xiàn)在轉(zhuǎn)向圖3，示出了管理移動設(shè)備協(xié)作會話的方法34。方法34可以作為存儲在諸如隨機存取存儲器(RAM)、只讀存儲器(ROM)、可編程序只讀存儲器(PROM)、固件、閃存等等之類的存儲器的機器或計算機可讀取的介質(zhì)中，使用諸如專用集成電路(ASIC)、互補金屬氧化物半導(dǎo)體(CMOS)或晶體管-晶體管邏輯(TTL)技術(shù)之類的電路技術(shù)，或其任何組合，存儲在固定功能的邏輯硬件中的一組邏輯/模塊指令，以本地移動設(shè)備IOb (圖1)的可執(zhí)行的軟件來實現(xiàn)。例如，執(zhí)行方法34所示出的操作的計算機程序代碼可以以一種或多種編程語言的任何組合來進行編寫，包括諸如Java、Smalltalk、C++等等之類的面向?qū)ο缶幊陶Z言，以及諸如“C”編程語言或類似的編程語言之類的常規(guī)過程編程語言。
[0028]處理框36用于與一個或多個遠程參與方移動設(shè)備建立連接。具體而言，框36可以涉及經(jīng)由它們的相應(yīng)的無線網(wǎng)絡(luò)控制器(例如，W1-Fi控制器/收發(fā)器(例如，IEEE802.11、1999版，LAN / MAN無線LAN)、藍牙控制器/收發(fā)器(例如，IEEE802.15.1-2005，無線個人區(qū)域網(wǎng)絡(luò))，來檢測可用移動設(shè)備的存在。關(guān)于這一點，可能不需要網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)來建立連接，該連接可以是缺乏基于網(wǎng)絡(luò)的時間參考的純P2P連接。然后，可以經(jīng)由用戶界面(UI)輸出可用移動設(shè)備的標識符，以及從標識符中選擇的用戶提示。一旦接收到來自用戶的選擇輸入，就可以標識一組參與方移動設(shè)備。替換地，設(shè)備可以基于接收到的信號強度指示(RSSI)信息、GPS (全球定位系統(tǒng))位置信息等等，來選擇一組參與方移動設(shè)備。
[0029]例如，圖4示出了具有顯示多個檢測到的成像設(shè)備的用戶界面40的移動設(shè)備38。在所示出的示例中，每一設(shè)備的狀態(tài)都由設(shè)備名稱旁邊的實體(例如，“綠色”)或陰影線(例如，“紅色”)來表示。實體點可以表示設(shè)備不在使用中，并可以用來參與到協(xié)作視頻/圖片捕捉會話中，而陰影線點可以表示設(shè)備當前在使用中，并且不可用。如此，在所示出的示例中，“Ethan (伊桑)的相機”、“Amy (艾米)的智能電話”以及“Mark(邁克)的攝像放像機”可用于參與，而“Sally (薩莉)的相機”不可用。當管理方設(shè)備啟動協(xié)作視頻捕捉會話時，可以向當前可用的(即，帶有實體點狀態(tài)的)其他設(shè)備發(fā)送控制命令。當設(shè)備正在參與協(xié)作圖片/視頻捕捉會話時，它們的狀態(tài)可被本地地設(shè)置為不可用，這可進而導(dǎo)致它們的狀態(tài)在同一組中的其他設(shè)備上表現(xiàn)為陰影線點。
[0030]現(xiàn)在返回到圖3，一旦標識了參與方設(shè)備，就可以在本地管理方設(shè)備和遠程參與方移動設(shè)備中的每一個之間建立連接。例如，框36可以涉及提示用戶標識什么類型的連接是首選的。在一個示例中，可以有四種連接類型供用戶選擇:
[0031]開放的持久連接:如果用戶不需要對對等(例如，遠程)設(shè)備進行認證并且用戶希望在本地設(shè)備中在事件的持續(xù)時間內(nèi)保存對等設(shè)備的概況(profile)，則用戶可以選擇此關(guān)系。對等設(shè)備的概況可以是W1-Fi或藍牙卡的MAC(媒體訪問控制)地址，用戶友好名稱等等的組合。用戶還可以被允許選擇持久連接的持續(xù)時間(例如，4小時、8小時、24小時等等)。一旦建立了持久連接，在連接的持續(xù)時間內(nèi)，即使用戶決定關(guān)掉設(shè)備并再次對其上電，用戶仍可以能夠回避建立過程。用戶可以由于以下種種原因而選擇開放關(guān)系:由于用戶可視覺地驗證附近/鄰近區(qū)中的對等設(shè)備是受信任的設(shè)備；由于試圖協(xié)作地拍攝照片的兩個用戶離得很遠(例如，在體育場的不同側(cè)面)等等。開放的關(guān)系建立可以具有最小的消息開銷，但是可能不會提供安全信道(例如，對于在兩個設(shè)備之間傳輸?shù)牧髁康谋Ｗo)。
[0032]開放的一次性連接:如果用戶不選擇在他/她的相應(yīng)的設(shè)備中保存對等設(shè)備的概況，并且如果用戶不關(guān)心對等設(shè)備的真實性，則用戶可以選擇建立開放的連接。在此情況下，一旦設(shè)備斷電，連接建立就丟失。相應(yīng)地，下一次用戶打開他/她的設(shè)備時，可能需要再次建立連接。此模式可以最適合于用戶只與另一個用戶協(xié)作地拍攝一張或兩張圖片的情況。
[0033]安全的持久連接:用戶可以選擇將對等設(shè)備的概況保存到他/她的相應(yīng)的設(shè)備中達事件的持續(xù)時間。在此情況下，對等設(shè)備的概況可以是W1-Fi或藍牙卡的MAC地址、用戶友好名稱、本地設(shè)備和遠程設(shè)備之間的公共密鑰等等的組合。利用持久連接，每當設(shè)備通電，設(shè)備都可以與已知的對等設(shè)備自動地建立連接，直到預(yù)先定義的連接時間期滿。如果選擇安全的連接，則在連接被建立并準備好供使用之前設(shè)備可能需要對等設(shè)備向它認證。在認證過程成功地完成之后，兩個設(shè)備之間的流量可以是加密的。
[0034]安全的一次性連接:本地設(shè)備不保存遠程設(shè)備的概況，但是可能需要在建立連接之前有認證過程。在認證過程成功地完成之后，兩個設(shè)備之間的流量可以是加密的。
[0035]處理框42用于使管 理方設(shè)備的本地時鐘與遠程參與方移動設(shè)備的時鐘同步。具體而言，管理方設(shè)備可以廣播由參與方移動設(shè)備接收到的一個或多個時間同步請求，其中每一時間同步請求都可包括出發(fā)時間(“ToD”)戳，以及數(shù)個其他參數(shù)。例如，時間同步請求可以指示傳輸?shù)膸峭秸埱?，包括管理方設(shè)備的MAC地址，并包括接收器地址(例如，由區(qū)域中的其他設(shè)備監(jiān)視的廣播地址)。另外，如果區(qū)域中有多個傳送方設(shè)備，則同步請求還可包括用來在來自不同的設(shè)備的時間同步請求幀之間進行區(qū)分的對話令牌。此外，在傳輸幀時，可以應(yīng)用ToD戳。
[0036]一旦接收到時間同步請求，參與方移動設(shè)備可以確定時間同步請求的到達時間(ToA)，并傳送對時間同步請求的回復(fù)。時間同步回復(fù)可以是標識請求的ToA以及時間同步回復(fù)的ToD的單播幀。當管理方設(shè)備接收到每一同步回復(fù)時，它可以確定回復(fù)的ToA，并計算兩個設(shè)備的時鐘偏移量。計算可以按如下方式來進行，行
[0037]
偏移(I)


2
[0038]其中TI是時間同步請求的傳輸時間，T2是時間同步請求的到達時間，T3是時間同步回復(fù)的傳輸時間，而T4是時間同步回復(fù)的到達時間。例如，如果管理方設(shè)備的本地時鐘顯示下午1:30，管理方設(shè)備的本地時鐘和參與方移動設(shè)備之間的偏移量是+2分鐘，則管理方設(shè)備可以確定參與方移動設(shè)備的時鐘是下午1:32。上面的過程可以由參與方移動設(shè)備重復(fù)，以確定它們的相對于管理方設(shè)備的時鐘的時鐘偏移量。通過使用這樣的方法，可以使一個設(shè)備同時與多個設(shè)備同步，而無需使用網(wǎng)絡(luò)的主時鐘。此外，由于時間同步過程是分布式的，因此，過程可以比每一個設(shè)備復(fù)制其他設(shè)備的時鐘值更快且更高效。
[0039]處理框44用于確定參與方移動設(shè)備組的時間延遲。時間延遲確定可以考慮在移動設(shè)備之間傳輸消息涉及的時間可以是傳送方移動設(shè)備處的操作系統(tǒng)(OS)和硬件(HW)延遲、空中(OTA)信令延遲，以及接收方移動設(shè)備處的HW和OS延遲的函數(shù)。例如，通過對從所討論的參與方移動設(shè)備接收到的一個或多個ToD時間戳應(yīng)用每一參與方移動設(shè)備的偏移量，管理方設(shè)備可以確定端對端延遲。
[0040]延遲ete=T4_ (T3+偏移量)⑵
[0041]其中，延遲ETE是與所討論的參與方移動設(shè)備相關(guān)聯(lián)的端對端延遲，T3是消息的傳輸時間(相對于遠程時鐘)，而T4是消息的到達時間(相對于本地時鐘)。端對端延遲還可以跨來自特定設(shè)備的多個消息平均，以及跨來自整組參與方移動設(shè)備的消息平均。因此，參與方移動設(shè)備組的最大端對端延遲可以被管理方設(shè)備用來標識協(xié)作會話的時間延遲。在時間延遲確定中還可以考慮諸如定時抖動之類的其他因素，它們可以根據(jù)多個端對端延遲計算來計算。
[0042]框46用于基于管理方設(shè)備的本地時鐘和參與方移動設(shè)備組的時間延遲來確定命令執(zhí)行時間(CET)。例如，CET可以是將來的某個時刻，并考慮與在設(shè)備之間傳輸合適的控制消息相關(guān)聯(lián)的時間延遲。如比較詳細地討論的，管理方設(shè)備還可確定諸如每一個參與方移動設(shè)備的對話令牌以及執(zhí)行延遲之類的其他參數(shù)。
[0043]在所示出的框48，控制消息被傳輸?shù)絽⑴c方移動設(shè)備組。下面的表1示出了可以包括在控制消息中的字段的示例。
[0044]
順序信息
1幀類型
2傳送器地址
3接收器(廣播)地址
4對話令牌
5命令執(zhí)行時間(CET)`
6執(zhí)行延遲
7參與方設(shè)備的列表
[0045]表1
[0046]幀類型可以標識正被傳送的控制消息的類型(例如，消息是否是焦點控制消息、快門控制消息、閃光控制消息、圖像顯示/動畫消息等等)。傳送器地址(TA)可以是傳送方設(shè)備的W1-Fi或藍牙卡的MAC地址，或標識傳送方設(shè)備的通用唯一設(shè)備標識符。接收器地址(RA)可以是接收方設(shè)備的W1-Fi或藍牙卡的MAC地址，標識接收方設(shè)備的通用唯一設(shè)備標識符，或被參與方移動設(shè)備中的每一個監(jiān)視的廣播地址。對話令牌可以是控制消息的序號，其中對于每一新傳送的控制消息，管理方設(shè)備可以將序號增大I。
[0047]如已指出的，本地命令執(zhí)行時間可以是當管理方設(shè)備將執(zhí)行命令時的時間，并可以基于最大端對端延遲，以及本地時鐘來計算?！把舆t”字段可以定義接收方設(shè)備將加到命令執(zhí)行時間的定時偏移量(例如，以微秒為單位)。例如，如果遠程相機需要與本地相機同時執(zhí)行命令，則“延遲”字段可以是零。另一方面，如果協(xié)作會話涉及連續(xù)圖像捕捉，每一參與方相機都可以基于其在圖像捕捉序列中的位置，接收不同的執(zhí)行延遲。控制消息還可攜帶參與會話的設(shè)備的列表，其中列表中的每一設(shè)備都可以通過其MAC地址或其他合適的標識符來標識。所示出的框50用于根據(jù)調(diào)度的本地執(zhí)行時間來執(zhí)行命令。
[0048]圖5A示出了標識協(xié)作會話中的參與方移動設(shè)備的方法51。方法51可以作為存儲在諸如RAM、ROM、PR0M、固件、閃存等等之類的存儲器的機器或計算機可讀取的介質(zhì)中，使用諸如ASIC、CM0S或TTL技術(shù)之類的電路技術(shù)，或其任何組合，存儲在固定功能的邏輯硬件中的一組邏輯/模塊指令，以移動設(shè)備10a，IOc (圖1)的可執(zhí)行的軟件來實現(xiàn)。如已指出的，移動設(shè)備可以與管理方設(shè)備建立連接，以便與其他移動設(shè)備一起參與協(xié)作會話，其中連接可以是開放的持久性的，開放的一次性的，安全的持久性的，安全的一次性連接，或其他類型的連接。
[0049]框53用于接收控制消息。如果連接的類型是安全的連接(例如，安全的持久性或安全的一次性連接)，則框53可以涉及認證控制消息。如已經(jīng)討論的，控制消息可以包括傳送器地址、接收器地址、對話令牌，參與方移動設(shè)備的列表等等。如果在框55中確定命令消息的接收器地址(例如，MAC地址)匹配接收方移動設(shè)備的地址，則可以在框57關(guān)于對話令牌是否有效作出確定。如此，框57可能涉及將對話令牌的序號與來自相同傳送器的先前對話令牌的存儲的序號進行比較，其中如果序號小于或等于所存儲的序號，則忽略控制消息。
[0050]然而，如果序號大于存儲的序號，則所示出的框59用對話令牌的序號來覆寫所存儲的序號。框59還可以涉及向控制消息中所標識的傳送器地址處的管理方設(shè)備傳輸確認(ACK)消息。關(guān)于這一點，如果連接類型是持久連接(例如，開放的持久性或安全的持久連接)，則參與方移動設(shè)備可以存儲管理方設(shè)備的概況，包括MAC地址、用戶友好名稱、公共密鑰等等。所示出的框61從控制消息中提取參與方移動設(shè)備的列表，其中參與方移動設(shè)備的狀態(tài)可以在框63更改為“不可用”。
[0051]現(xiàn)在轉(zhuǎn)向圖5B，示出了參與移動設(shè)備協(xié)作會話的方法52。方法52可以作為存儲在諸如RAM、ROM、PR0M、固件、閃存等等之類的存儲器的機器或計算機可讀取的介質(zhì)中，使用諸如ASIC、CM0S或TTL技術(shù)之類的電路技術(shù)，或其任何組合，存儲在固定功能的邏輯硬件中的一組邏輯/模塊指令，以移動設(shè)備10a，IOc (圖1)的可執(zhí)行的軟件來實現(xiàn)。正如所指出的那樣，參與方移動設(shè)備可以與管理方設(shè)備建立連接，其中連接可以是開放的持久性的，開放的一次性的，安全的持久性的，安全的一次性連接，或其他類型的連接。
[0052]框54用于接收控制消息。如果連接的類型是安全的連接(例如，安全的持久性或安全的一次性連接)，則框54可以涉及認證控制消息。控制消息可以包括傳送器地址、接收器地址、命令、對話令牌、基于管理方設(shè)備的遠程時鐘的命令執(zhí)行時間(CET)，等等。如果在框56中確定命令消息的接收器地址(例如，MAC地址)匹配參與方移動設(shè)備的地址，則可以在框58關(guān)于對話令牌是否有效作出確定。如此，框58可能涉及將對話令牌的序號與來自相同傳送器的先前對話令牌的存儲的序號進行比較，其中如果序號小于或等于所存儲的序號，則忽略控制消息。然而，如果序號大于所存儲的序號，則所示出的框60用對話令牌的序號來覆寫所存儲的序號。框60還可以涉及向控制消息中所標識的傳送器地址處的管理方設(shè)備傳輸確認(ACK)消息。關(guān)于這一點，如果連接類型是持久連接(例如，開放的持久性或安全的持久連接)，則參與方移動設(shè)備可以存儲管理方設(shè)備的概況，包括MAC地址、用戶友好名稱、共公共密鑰等等。
[0053]可以在框62從控制消息中提取遠程管理方設(shè)備的CET，以及執(zhí)行延遲。正如所指出的那樣，如果命令將被參與方移動設(shè)備并發(fā)地執(zhí)行，則執(zhí)行延遲可以是零(例如，空)。所不出的框64基于遠程CET和遠程管理方設(shè)備的時鐘相對于參與方移動設(shè)備的本地時鐘的偏移量，來確定參與方移動設(shè)備的命令的本地執(zhí)行時間。例如，本地執(zhí)行時間可以按如下方式來計算，
[0054]CET+延遲+偏移量_設(shè)備1_設(shè)備2 (3)
[0055]其中，“Delay”是執(zhí)行延遲(如果有的話)。命令可以在框68根據(jù)調(diào)度的本地執(zhí)行時間來執(zhí)行。
[0056]圖6示出了包括控制邏輯72和本地時鐘74的移動設(shè)備70的一個示例。如果移動設(shè)備70在協(xié)作會話中充當管理方設(shè)備，則控制邏輯72可以可操作以確定與一組一個或多個遠程參與方移動設(shè)備相關(guān)聯(lián)的時間延遲，至少部分地基于本地時鐘和時間延遲來確定命令的本地執(zhí)行時間，并經(jīng)由無線(例如，W1-F1、藍牙)收發(fā)器76將控制消息傳送到一個或多個遠程參與方移動設(shè)備的組，其中控制消息包括命令和本地執(zhí)行時間。
[0057]另一方面，如果移動設(shè)備70在協(xié)作會話中充當參與的移動設(shè)備，則控制邏輯72可以可操作，以通過無線收發(fā)器76從遠程管理方設(shè)備接收控制消息，其中控制消息包括命令和遠程執(zhí)行時間?？刂七壿?2還可至少部分地基于遠程執(zhí)行時間以及遠程移動設(shè)備的遠程時鐘相對于本地時鐘74的偏移量來確定本地執(zhí)行時間。
[0058]在任一種能力下，所示出的控制邏輯72根據(jù)調(diào)度的本地執(zhí)行時間來執(zhí)行命令，其中命令的執(zhí)行與其他參與方移動設(shè)備協(xié)作。移動設(shè)備70還可以包括便于諸如快門、聚焦和閃光命令之類的圖像捕捉命令的執(zhí)行圖像捕捉模塊78，以及可以包括一個或多個處理器核(未示出)的處理器80，其中每一核都是帶有指令獲取單元、指令解碼器、一級(LI)緩存、執(zhí)行單元等等的完全功能的。在控制邏輯72可以包括指令這個方面而言，處理器80可以執(zhí)行控制邏輯72。
[0059]所示出的移動設(shè)備70還包括使用戶能與移動設(shè)備70進行交互并感知來自移動設(shè)備70的信息的用戶界面(UI)82。如此，UI82可以包括類似于已經(jīng)討論的UI40(圖4)的功能的功能，并可以使用戶能為協(xié)作會話選擇參與方移動設(shè)備。W82還可以使用戶能為協(xié)作會話選擇連接的類型(例如，開放的持久性的，開放的一次性的，安全的持久性的，安全的一次性連接)。移動設(shè)備70還可包括RAM84、R0M86、閃存(未示出)等等，以存儲圖像、視頻、定時偏移量、設(shè)備概況、認證數(shù)據(jù)、、對話令牌序號、設(shè)備狀態(tài)、控制邏輯指令等等。
[0060]此處所描述的各實施例適用于與各種類型的半導(dǎo)體集成電路(“1C”)芯片一起使用。這些IC芯片的示例包括，但不僅限于處理器、控制器、芯片集組件、可編程邏輯陣列(PLA)、存儲器芯片、網(wǎng)絡(luò)芯片等等。另外，在某些附圖中，信號導(dǎo)線通過線來表示。一些可能不同，以指出更多成份信號路徑，具有編號標記，以指出成份信號路徑的數(shù)量，和/或在一個或多個末端具有箭頭，以指出主信息流動方向。然而，這不應(yīng)該以限制的方式來解釋。相反，這樣的添加的細節(jié)可以與一個或多個示例性實施例一起使用，以促進對電路的更加容易的理解。任何表示的信號線，不管是否具有額外的信息，都可以實際包括可以在多個方向進行傳播的一個或多個信號，并可以利用任何合適類型的信號方案來實現(xiàn)，例如，利用微分對實現(xiàn)的數(shù)字或模擬線路，光纖線路、和/或單端線。
[0061]可能已經(jīng)給出了示例大小/模型/值/范圍，雖然本發(fā)明的各實施例不僅限于相同的。隨著制造技術(shù)(例如，光刻)越來越成熟，預(yù)計可以制造較小尺寸的設(shè)備。另外，為簡明起見，在圖形內(nèi)可能示出了或可能未示出到IC芯片及其他組件的已知的電源/接地連接，以便不會使本發(fā)明的各實施例的某些方面變得模糊。進一步地，可以以框圖形式示出布局，以便避免使本發(fā)明的各實施例變得模糊，還鑒于相對于這樣的框圖布局的實現(xiàn)的細節(jié)高度依賴于將在其內(nèi)實現(xiàn)各實施例的平臺這一事實，即，這樣的細節(jié)應(yīng)該在精通本技術(shù)的人員學(xué)識范圍內(nèi)。盡管闡述了具體細節(jié)(例如，電路)以便描述本發(fā)明的示例實施例，但是，對本領(lǐng)域技術(shù)人員顯而易見的是，本發(fā)明的各實施例可以在沒有這些具體細節(jié)，或利用這些具體細節(jié)的變化來實施。如此，描述被視為說明性的，而不是限制性的。
[0062]此處可以使用術(shù)語“耦合”來指正被討論的組件之間的任何類型的關(guān)系，直接的或間接的，并可以應(yīng)用于電氣的、機械的、流體的、光學(xué)的、電磁的、機電的或其他連接。另外，術(shù)語“第一”、“第二”等等此處只用于便于討論，沒有特定時間的或按時間順序的意義，除非另有陳述。
[0063]所屬領(lǐng)域的技術(shù)人員將從前面的描述理解，可以以各種形式來實現(xiàn)本發(fā)明的各實施例的廣泛的技術(shù)。因此，盡管本發(fā)明的各實施例是結(jié)合其特定示例來描述的，但是，本發(fā)明的各實施例的真正的范圍不應(yīng)該受這樣的限制，因為在研究附圖、說明書，以及后面的權(quán)利要求書之后，其他修改對熟練的實踐者將變得顯而易見。
【權(quán)利要求】
1.一種系統(tǒng)，包括: 本地時鐘；以及 控制邏輯，用于， 確定與一組一個或多個遠程移動設(shè)備相關(guān)聯(lián)的時間延遲， 至少部分地基于所述本地時鐘和所述時間延遲來確定命令的本地執(zhí)行時間， 將一個或多個控制消息傳送到所述一個或多個遠程移動設(shè)備的組，其中所述一個或多個控制消息將包括所述命令和所述本地執(zhí)行時間，以及根據(jù)所述本地執(zhí)行時間來執(zhí)行所述命令。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述控制邏輯用于， 確定所述一個或多個遠程移動設(shè)備的組的端對端延遲， 確定對應(yīng)于所述最大端對端延遲的時鐘偏移量，以及 至少部分地基于所述最大端對端延遲和所述時鐘偏移量來確定所述時間延遲。
3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述一個或多個控制消息將還包括以下各項中的至少一個:對話令牌、執(zhí)行延遲、以及所述一個或多個遠程移動設(shè)備的組的一個或多個標識符。
4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，如果所述一個或多個控制消息將包括對話令牌，則所述邏輯將增大序號，其中，所述對話令牌將包括所述序號。
5.如權(quán)利要求1所述的 系統(tǒng)，其特征在于，所述命令將包括以下各項中的至少一個:與協(xié)作捕捉會話相關(guān)聯(lián)的快門命令、與所述協(xié)作捕捉會話相關(guān)聯(lián)的聚焦命令，以及與協(xié)作游戲會話相關(guān)聯(lián)的圖像顯示命令。
6.如權(quán)利要求1所述的系統(tǒng)，進一步包括用戶界面，其特征在于，所述控制邏輯用于， 檢測一個或多個可用移動設(shè)備的存在， 經(jīng)由所述用戶界面輸出所述一個或多個可用移動設(shè)備的標識符， 經(jīng)由所述用戶界面輸出對從所述標識符中進行選擇的用戶提示，以及 接收用戶輸入，其中所述用戶輸入將標識所述一個或多個遠程移動設(shè)備的組。
7.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述控制邏輯將基于信號強度信息和位置信息中的至少一個從一個或多個可用移動設(shè)備中選擇所述一個或多個遠程移動設(shè)備的組。
8.一種包括一組指令的非瞬態(tài)計算機可讀存儲介質(zhì)，所述一組指令如果由處理器執(zhí)行則導(dǎo)致本地移動設(shè)備: 確定與一組一個或多個遠程移動設(shè)備相關(guān)聯(lián)的時間延遲； 至少部分地基于本地時鐘和所述時間延遲來確定命令的本地執(zhí)行時間； 將一個或多個控制消息傳輸?shù)剿鲆粋€或多個遠程移動設(shè)備的組，其中所述一個或多個控制消息將包括所述命令和所述本地執(zhí)行時間；以及根據(jù)所述本地執(zhí)行時間來執(zhí)行所述命令。
9.如權(quán)利要求8所述的介質(zhì)，其特征在于，所述指令如果被執(zhí)行，則導(dǎo)致本地移動設(shè)備: 確定所述一個或多個遠程移動設(shè)備的組的端對端延遲； 確定對應(yīng)于所述最大端對端延遲的時鐘偏移量；以及 至少部分地基于所述最大端對端延遲和所述時鐘偏移量來確定所述時間延遲。
10.如權(quán)利要求8所述的介質(zhì)，其特征在于，所述一個或多個控制消息將還包括以下各項中的至少一個:對話令牌、執(zhí)行延遲、以及所述一個或多個遠程移動設(shè)備的組的一個或多個標識符。
11.如權(quán)利要求10所述的介質(zhì)，其特征在于，如果所述一個或多個控制消息將包括對話令牌，如果被執(zhí)行，則所述指令導(dǎo)致本地移動設(shè)備增大序號，其中對話令牌將包括所述序號。
12.如權(quán)利要求8所述的介質(zhì)，其特征在于，所述命令將包括以下各項中的至少一個:與協(xié)作捕捉會話相關(guān)聯(lián)的圖像捕捉命令，以及與協(xié)作游戲會話相關(guān)聯(lián)的圖像顯示命令。
13.如權(quán)利要求12所述的介質(zhì)，其特征在于，所述圖像捕捉命令將包括以下各項中的至少一個:快門命令、和聚焦命令。
14.如權(quán)利要求8所述的介質(zhì)，其特征在于，所述指令，如果被執(zhí)行，則導(dǎo)致本地移動設(shè)備: 檢測一個或多個可用移動設(shè)備的存在； 經(jīng)由用戶界面輸出所述一個或多個可用移動設(shè)備的標識符； 經(jīng)由所述用戶界面輸出對從所述標識符中進行選擇的用戶提示；以及 接收用戶輸入，其中所述用戶輸入將標識所述一個或多個遠程移動設(shè)備的組。
15.如權(quán)利要求8所述的介質(zhì)，其特征在于，所述指令，如果被執(zhí)行，則導(dǎo)致本地移動設(shè)備基于信號強度信息和位 置信息中的至少一個從一個或多個可用移動設(shè)備中選擇所述一個或多個遠程移動設(shè)備的組。
16.—種系統(tǒng),包括: 本地時鐘；以及 控制邏輯，用于， 從遠程移動設(shè)備接收控制消息，其中所述控制消息將包括命令和遠程執(zhí)行時間， 至少部分地基于所述遠程執(zhí)行時間以及所述遠程移動設(shè)備的遠程時鐘相對于所述本地時鐘的偏移量來確定本地執(zhí)行時間，以及根據(jù)所述本地執(zhí)行時間來執(zhí)行所述命令。
17.如權(quán)利要求16所述的系統(tǒng)，其特征在于，所述控制邏輯將把所述遠程時鐘的所述偏移量與所述遠程執(zhí)行時間相加，以獲得所述本地執(zhí)行時間。
18.如權(quán)利要求16所述的系統(tǒng)，其特征在于，如果所述控制消息將包括對話令牌，則所述控制邏輯將， 將所述對話令牌的序號與來自所述遠程移動設(shè)備的先前對話令牌的所存儲的序號進行比較， 如果所述序號小于或等于所存儲的序號，則忽略所述控制消息，以及 如果所述序號大于所存儲的序號，則用所述對話令牌的所述序號覆寫所存儲的序號。
19.如權(quán)利要求16所述的系統(tǒng)，其特征在于，如果所述控制消息將包括執(zhí)行延遲，則所述控制邏輯將進一步基于所述執(zhí)行延遲來確定所述本地執(zhí)行時間。
20.如權(quán)利要求16所述的系統(tǒng)，其特征在于，如果所述控制消息將包括一組參與方移動設(shè)備的一個或多個標識符，則所述控制邏輯將把所述參與方移動設(shè)備的組的狀態(tài)改變?yōu)椴豢捎谩?br> 21.如權(quán)利要求16所述的系統(tǒng)，其特征在于，所述控制邏輯將根據(jù)所述本地執(zhí)行時間來執(zhí)行圖像捕捉命令和圖像顯示命令中的至少一個。
22.如權(quán)利要求16所述的系統(tǒng)，其特征在于，所述控制邏輯將， 與所述遠程移動設(shè)備建立連接， 如果所述連接是持久連接，則存儲所述遠程移動設(shè)備的概況，以及 如果所述連接是安全連接，則認證所述控制消息。
23.一種包括一組指令的非瞬態(tài)計算機可讀存儲介質(zhì)，所述一組指令如果由處理器執(zhí)行，則導(dǎo)致本地移動設(shè)備: 從遠程移動設(shè)備接收控制消息，所述控制消息將包括命令和遠程執(zhí)行時間； 至少部分地基于所述遠程執(zhí)行時間以及所述遠程移動設(shè)備的遠程時鐘相對于本地時鐘的偏移量來確定本地執(zhí)行時間，以及 根據(jù)所述本地執(zhí)行時間來執(zhí)行所述命令。
24.如權(quán)利要求23所述的介質(zhì)，其特征在于，所述指令，如果被執(zhí)行，則導(dǎo)致本地移動設(shè)備將所述遠程時鐘的所述偏移量與所述遠程執(zhí)行時間相加，以獲得所述本地執(zhí)行時間。
25.如權(quán)利要求23所述的介質(zhì)，其特征在于，如果所述控制消息將包括對話令牌，則所述指令，如果被執(zhí)行，則導(dǎo)致本地移動設(shè)備: 將所述對話令牌的序號與先前對話令牌的所存儲的序號進行比較；以及 如果所述對話令牌的所述序號小于或等于所存儲的序號，則忽略所述控制消息。
26.如權(quán)利要求25所 述的介質(zhì)，其特征在于，如果所述對話令牌的所述序號大于所存儲的序號，則所述指令，如果被執(zhí)行，則導(dǎo)致本地移動設(shè)備用所述對話令牌的所述序號來覆寫所述存儲的序號。
27.如權(quán)利要求23所述的介質(zhì)，其特征在于，如果所述控制消息將包括執(zhí)行延遲，所述指令，如果被執(zhí)行，則將導(dǎo)致本地移動設(shè)備進一步基于所述執(zhí)行延遲來確定所述本地執(zhí)行時間。
28.如權(quán)利要求23所述的介質(zhì)，其特征在于，如果所述控制消息將包括一組參與的移動設(shè)備的一個或多個標識符，所述指令，如果被執(zhí)行，則導(dǎo)致本地移動設(shè)備將把所述參與方移動設(shè)備的組的狀態(tài)改變?yōu)樵谝粫r間段內(nèi)不可用。
29.如權(quán)利要求23所述的介質(zhì)，其特征在于，所述指令，如果被執(zhí)行，則導(dǎo)致本地移動設(shè)備根據(jù)所述本地執(zhí)行時間來執(zhí)行圖像捕捉命令和圖像顯示命令中的至少一個。
30.如權(quán)利要求23所述的介質(zhì)，其特征在于，所述指令，如果被執(zhí)行，則導(dǎo)致本地移動設(shè)備: 與所述遠程移動設(shè)備建立連接； 如果所述連接是持久連接，則存儲所述遠程移動設(shè)備的概況；以及 如果所述連接是安全連接，則認證所述控制消息。
31.一種系統(tǒng),包括: 控制邏輯，用于， 確定圖像捕捉命令的本地執(zhí)行時間，以及 使所述本地執(zhí)行時間與遠程移動設(shè)備的遠程執(zhí)行時間同步；以及 圖像捕捉模塊，用于根據(jù)所述本地執(zhí)行時間來執(zhí)行所述圖像捕捉命令。
32.如權(quán)利要求31所述的系統(tǒng)，其特征在于，所述控制邏輯將，確定與一組一個或多個遠程移動設(shè)備相關(guān)聯(lián)的時間延遲， 至少部分地基于本地時鐘和所述時間延遲來確定所述圖像捕捉命令的所述本地執(zhí)行時間，以及 將一個或多個控制消息傳送到所述一個或多個遠程移動設(shè)備的組。
33.如權(quán)利要求32所述的系統(tǒng)，其特征在于，所述控制邏輯將， 確定所述一個或多個遠程移動設(shè)備的組的端對端延遲， 確定對應(yīng)于所述端對端延遲的時鐘偏移量，以及 至少部分地基于所述端對端延遲和所述時鐘偏移量來確定所述時間延遲。
34.如權(quán)利要求31所述的系統(tǒng)，其特征在于，所述控制邏輯將， 從所述遠程移動設(shè)備接收控制消息，其中所述控制消息將包括命令和所述遠程執(zhí)行時間，以及 至少部分地基于所述遠程執(zhí)行時間和所述遠程移動設(shè)備的遠程時鐘相對于本地時鐘的偏移量來確定所述本地執(zhí)行時間。
35.如權(quán)利要求31所述的系統(tǒng)，其特征在于，所述圖像捕捉命令將包括以下各項中的至少一個:快門命令、和聚焦命令。
36.一種包括一組指令 的非瞬態(tài)計算機可讀存儲介質(zhì)，所述一組指令如果由處理器執(zhí)行，則導(dǎo)致本地移動設(shè)備: 確定圖像捕捉命令的本地執(zhí)行時間； 使所述本地執(zhí)行時間與遠程移動設(shè)備的遠程執(zhí)行時間同步；以及 根據(jù)所述本地執(zhí)行時間來執(zhí)行所述圖像捕捉命令。
37.如權(quán)利要求36所述的介質(zhì)，其特征在于，所述指令，如果被執(zhí)行，則導(dǎo)致本地移動設(shè)備: 確定與一組一個或多個遠程移動設(shè)備相關(guān)聯(lián)的時間延遲； 至少部分地基于本地時鐘和所述時間延遲來確定所述圖像捕捉命令的所述本地執(zhí)行時間；以及 將一個或多個控制消息傳送到所述一個或多個遠程移動設(shè)備的組。
38.如權(quán)利要求37所述的介質(zhì)，其特征在于，所述指令，如果被執(zhí)行，則導(dǎo)致本地移動設(shè)備: 確定所述一個或多個遠程移動設(shè)備的組的端對端延遲， 確定對應(yīng)于所述端對端延遲的時鐘偏移量；以及 至少部分地基于所述端對端延遲和所述時鐘偏移量來確定所述時間延遲。
39.如權(quán)利要求36所述的介質(zhì)，其特征在于，所述指令，如果被執(zhí)行，則導(dǎo)致本地移動設(shè)備: 從所述遠程移動設(shè)備接收控制消息，其中所述控制消息將包括命令和所述遠程執(zhí)行時間；以及 至少部分地基于所述遠程執(zhí)行時間以及所述遠程移動設(shè)備的遠程時鐘相對于本地時鐘的偏移量來確定所述本地執(zhí)行時間。
40.如權(quán)利要求36所述的介質(zhì)，其特征在于，所述圖像捕捉命令將包括以下各項中的至少一個:快門命令、和聚焦命令。
【文檔編號】H04N21/4223GK103477627SQ201180069884
【公開日】2013年12月25日 申請日期:2011年12月22日 優(yōu)先權(quán)日:2011年3月31日
【發(fā)明者】M·X·宮, S·P·巴拉桑德拉姆, R·萬特, H·W·豪斯塞科爾, J·沃克 申請人:英特爾公司