用于在基于云的對(duì)象辨識(shí)系統(tǒng)中觸發(fā)深度傳感器且發(fā)射rgbd圖像的策略的制作方法
【專利說(shuō)明】用于在基于云的對(duì)象辨識(shí)系統(tǒng)中觸發(fā)深度傳感器且發(fā)射RGBD圖像的策略
[0001 ] 相關(guān)申請(qǐng)案的交叉參考
[0002]本申請(qǐng)案主張2014年8月15日申請(qǐng)的名為“用于在基于云的對(duì)象辨識(shí)系統(tǒng)中觸發(fā)深度傳感器且發(fā)射RGBD圖像的策略(Strategies for triggering depth sensors andtransmitting RGBD images in a cloud-based object recognit1n system)，，的美國(guó)申請(qǐng)案第14/461,000號(hào)的權(quán)益和優(yōu)先權(quán)，所述美國(guó)申請(qǐng)案主張2013年11月27日申請(qǐng)的名為“用于在基于云的對(duì)象辨識(shí)系統(tǒng)中觸發(fā)深度傳感器且發(fā)射RGBD圖像的策略(Strategiesfor triggering depth sensors and transmitting RGBD images in a cloud-basedobject recognit1n system)，，的美國(guó)臨時(shí)申請(qǐng)案第61/909,963號(hào)的35U.S.C.§119(e)下的權(quán)益和優(yōu)先權(quán)，所述美國(guó)申請(qǐng)案和所述美國(guó)臨時(shí)申請(qǐng)案的全文以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0003]本發(fā)明大體上涉及深度傳感器系統(tǒng)、設(shè)備和方法，且更具體地說(shuō)，涉及確定何時(shí)在移動(dòng)裝置中使用深度傳感器及/或最小化從移動(dòng)裝置發(fā)送的圖像的帶寬。
【背景技術(shù)】
[0004]移動(dòng)電話和其它移動(dòng)裝置可包含若干傳感器，例如一或多個(gè)圖像傳感器、圖像感測(cè)裝置、慣性傳感器、磁羅盤(pán)和GNSS傳感器。圖像感測(cè)裝置，例如光學(xué)相機(jī)，可包含一或多個(gè)前置及/或后置相機(jī)。慣性傳感器可包含加速計(jì)及/或陀螺儀。GNNS傳感器可包含GPS接收器。未來(lái)的移動(dòng)裝置還可包含Kinect深度傳感器及/或結(jié)構(gòu)化光傳感器。在功率優(yōu)化和小型化方面的進(jìn)步使得具有此類(lèi)傳感器的移動(dòng)裝置更具有可能性。
[0005]Kinect深度傳感器包含在一起起作用的紅外線投影儀和單色接收器，例如互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器。紅外線投影儀發(fā)射已知的圖案。單色接收器接收可用于確定對(duì)象定位在何處以及其被放置在多遠(yuǎn)的經(jīng)反射紅外線圖像。
[0006]結(jié)構(gòu)化光傳感器將預(yù)定義的光圖案發(fā)射到對(duì)象上。同時(shí)，一或多個(gè)圖像傳感器觀察從附近的對(duì)象反射的光圖案。經(jīng)反射回的圖案隨移動(dòng)裝置與對(duì)象之間的距離改變而變化。因此，經(jīng)反射回的圖案還可用于確定對(duì)象定位在何處以及其被放置在多遠(yuǎn)。
[0007]允許移動(dòng)裝置在任何時(shí)刻快鏡拍攝深度的此類(lèi)傳感器需要顯著功率來(lái)發(fā)射信號(hào)。接著在移動(dòng)裝置處反射且接收回信號(hào)，這需要額外功率。此外，大量帶寬經(jīng)占用來(lái)發(fā)射用于基于云的對(duì)象檢測(cè)的圖像。另外，相較于部分圖像，當(dāng)接收以及搜索對(duì)象的圖像時(shí)的搜索時(shí)間為顯著的。此外，可在圖像中揭露保密性信息。舉例來(lái)說(shuō)，圖像的背景可揭露個(gè)人拍攝圖像的地點(diǎn)。所需的是用以改進(jìn)對(duì)象檢測(cè)及辨識(shí)時(shí)間同時(shí)使用較少帶寬、圖像處理功率及/或增加保密性的方式。

【發(fā)明內(nèi)容】

[0008]揭示用于縮減功率消耗、縮減帶寬及/或增加保密性的系統(tǒng)、設(shè)備和方法。
[0009]根據(jù)一些方面，揭示一種在移動(dòng)裝置中用于觸發(fā)深度傳感器的方法，所述方法包括:使用圖像感測(cè)裝置捕獲圖像;將所述圖像中的至少某一部分發(fā)送到服務(wù)器以在所述圖像內(nèi)搜索對(duì)象;接收指示在所述圖像中未以充分確定性發(fā)現(xiàn)所述對(duì)象的指示；啟用所述深度傳感器且捕獲深度信息；將所述深度信息轉(zhuǎn)換成深度圖；以及將所述深度圖中的至少某一部分發(fā)送到所述服務(wù)器。
[0010]根據(jù)一些方面，揭示一種用于觸發(fā)深度傳感器的移動(dòng)裝置，所述移動(dòng)裝置包括:圖像感測(cè)裝置，其捕獲圖像;發(fā)射器，其將所述圖像中的至少某一部分發(fā)送到服務(wù)器以在所述圖像內(nèi)搜索對(duì)象;接收器，其接收指示未以充分確定性發(fā)現(xiàn)所述對(duì)象的指示;所述深度傳感器，其捕獲深度信息;和處理器，其耦合到所述圖像感測(cè)裝置、所述發(fā)射器、所述接收器和所述深度傳感器，其中所述處理器經(jīng)配置以:啟用所述深度傳感器;將所述深度信息轉(zhuǎn)換成深度圖；以及將所述深度圖中的至少某一部分發(fā)送到所述服務(wù)器。
[0011]根據(jù)一些方面，揭示一種用于觸發(fā)深度傳感器的移動(dòng)裝置，所述移動(dòng)裝置包括:用于使用圖像感測(cè)裝置捕獲圖像的裝置;用于將所述圖像中的至少某一部分發(fā)送到服務(wù)器以在所述圖像內(nèi)搜索對(duì)象的裝置;用于接收指示在所述圖像中未以充分確定性發(fā)現(xiàn)所述對(duì)象的指示的裝置；用于啟用所述深度傳感器且捕獲深度信息的裝置；用于將所述深度信息轉(zhuǎn)換成深度圖的裝置;和用于將所述深度圖中的至少某一部分發(fā)送到所述服務(wù)器的裝置。
[0012]根據(jù)一些方面，揭示一種用于移動(dòng)裝置的非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體，所述移動(dòng)裝置用于觸發(fā)深度傳感器，所述非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)媒體包含存儲(chǔ)于其上的程序代碼，包括用于以下操作的程序代碼:使用圖像感測(cè)裝置捕獲圖像;將所述圖像中的至少某一部分發(fā)送到服務(wù)器以在所述圖像內(nèi)搜索對(duì)象;接收指示在所述圖像中未以充分確定性發(fā)現(xiàn)所述對(duì)象的指示；啟用所述深度傳感器，捕獲深度信息；將所述深度信息轉(zhuǎn)換成深度圖；以及將所述深度圖中的至少某一部分發(fā)送到所述服務(wù)器。
[0013]應(yīng)理解，所屬領(lǐng)域的技術(shù)人員將從以下詳細(xì)描述而容易地明了其它方面，其中借助于說(shuō)明展示且描述各個(gè)方面。圖式及詳細(xì)描述應(yīng)被視為本質(zhì)上是說(shuō)明性的而非限制性的。
【附圖說(shuō)明】
[0014]將參考圖式僅借助于實(shí)例來(lái)描述本發(fā)明的實(shí)施例。
[0015]圖1說(shuō)明用以在移動(dòng)裝置與遠(yuǎn)程服務(wù)器之間傳達(dá)圖像以搜索對(duì)象的方法。
[0016]圖2說(shuō)明用以在移動(dòng)裝置與遠(yuǎn)程服務(wù)器之間傳達(dá)圖像以及對(duì)應(yīng)深度圖的方法。
[0017]圖3到6展示根據(jù)本發(fā)明的一些實(shí)施例的用以僅在不能于光學(xué)圖像中檢測(cè)到對(duì)象或以低置信度檢測(cè)到對(duì)象時(shí)發(fā)送深度圖或部分深度圖的方法。
[0018]圖7到10展示根據(jù)本發(fā)明的一些實(shí)施例的用以基于深度圖限制圖像及/或深度圖的方法。
[0019]圖11說(shuō)明根據(jù)本發(fā)明的一些實(shí)施例的不使用服務(wù)器的移動(dòng)裝置中的方法。
[0020]圖12到13分別展示根據(jù)本發(fā)明的一些實(shí)施例的移動(dòng)裝置和服務(wù)器。
[0021]圖14說(shuō)明根據(jù)本發(fā)明的一些實(shí)施例的用于觸發(fā)深度傳感器的移動(dòng)裝置中的方法。
【具體實(shí)施方式】
[0022]下文結(jié)合隨附圖式闡述的詳細(xì)描述意圖作為對(duì)本發(fā)明的各個(gè)方面的描述，而不意圖表示可在其中實(shí)踐本發(fā)明的僅有方面。提供本發(fā)明中所描述的每一方面僅作為本發(fā)明的實(shí)例或說(shuō)明，且其不應(yīng)必然地解釋為比其它方面優(yōu)選或有利。出于提供對(duì)本發(fā)明的透徹理解的目的，詳細(xì)描述包含特定細(xì)節(jié)。然而，所屬領(lǐng)域的技術(shù)人員將明了，可在沒(méi)有這些特定細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在一些情況下，以框圖的形式展示眾所周知的結(jié)構(gòu)和裝置以便避免混淆本發(fā)明的概念。首字母縮寫(xiě)詞和其它描述性術(shù)語(yǔ)可僅出于便利及清晰性的目的而使用，且不意圖限制本發(fā)明的范圍。
[0023]如本文中所使用，移動(dòng)裝置有時(shí)被稱作移動(dòng)站(MS)或用戶裝備(UE)，例如，蜂窩式電話、移動(dòng)電話或其它無(wú)線通信裝置、個(gè)人通信系統(tǒng)(PCS)裝置、個(gè)人導(dǎo)航裝置(PND)、個(gè)人信息管理器(PM)、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)或能夠接收無(wú)線通信及/或?qū)Ш叫盘?hào)的其它合適的移動(dòng)裝置。術(shù)語(yǔ)“裝置”意圖包含(例如)通過(guò)短程無(wú)線、紅外線、有線連接或其它連接與個(gè)人導(dǎo)航裝置(PND)通信的裝置，而不管在裝置處還是在PND處發(fā)生衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收及/或位置相關(guān)處理。并且，“移動(dòng)裝置”意圖包含所有裝置，包含能夠(例如)經(jīng)由因特網(wǎng)、WiFi或其它網(wǎng)絡(luò)與服務(wù)器通信的無(wú)線通信裝置、計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、頭戴式顯示器、可佩戴式計(jì)算裝置等，而不管是在裝置、服務(wù)器還是在與網(wǎng)絡(luò)相關(guān)聯(lián)的另一裝置處發(fā)生衛(wèi)星信號(hào)接收、輔助數(shù)據(jù)接收及/或位置相關(guān)處理。上述各者的任何可操作組合也被視為“移動(dòng)裝置”。
[0024]可同時(shí)呈現(xiàn)來(lái)自圖像感測(cè)裝置(例如光學(xué)相機(jī))的彩色圖像(紅色-綠色-藍(lán)色圖像或RGB圖像)和