攝像機(jī)參數(shù)的上下文驅(qū)動(dòng)調(diào)整的制作方法
【專利摘要】描述用于基于成像場(chǎng)景中的元素來調(diào)整攝像機(jī)的參數(shù)的系統(tǒng)和方法?？梢曰诟信d趣的對(duì)象是否出現(xiàn)在攝像機(jī)視野中來調(diào)整攝像機(jī)捕獲圖像的幀率而改進(jìn)攝像機(jī)的功耗。可以基于對(duì)象與攝像機(jī)的距離來設(shè)置曝光時(shí)間而改進(jìn)獲取的攝像機(jī)數(shù)據(jù)的質(zhì)量。
【專利說明】攝像機(jī)參數(shù)的上下文驅(qū)動(dòng)調(diào)整
[0001] 相關(guān)申請(qǐng)的交叉參考 本申請(qǐng)主張享有在2012年7月31日提交的的美國(guó)專利申請(qǐng)13/563, 516的優(yōu)先權(quán)，其 全部?jī)?nèi)容通過參照并入于此。

【背景技術(shù)】
[0002] 深度攝像機(jī)（cbpth camera)以交互式、高的幀率獲取它們的環(huán)境的深度圖像。深 度圖像提供攝像機(jī)的視野內(nèi)的對(duì)象與攝像機(jī)自身之間的距離的逐像素測(cè)量。深度攝像機(jī) 用來解決計(jì)算機(jī)視覺的一般領(lǐng)域中的許多問題。特別地，攝像機(jī)應(yīng)用于HMI (人機(jī)接口）問 題，例如追蹤人的運(yùn)動(dòng)及其手和手指的運(yùn)動(dòng)。此外，深度攝像機(jī)被部署為監(jiān)視產(chǎn)業(yè)的部件， 例如，追蹤人并且監(jiān)測(cè)對(duì)禁止區(qū)域的訪問。
[0003] 實(shí)際上，近年來，在用于與電子裝置的用戶交互的姿勢(shì)（gesture )控制的應(yīng)用中已 經(jīng)作出重要改進(jìn)。例如，由深度攝像機(jī)捕獲的姿勢(shì)可用來控制電視(用于家庭自動(dòng)化)，或允 許與平板計(jì)算機(jī)、個(gè)人計(jì)算機(jī)和移動(dòng)電話的用戶接口。隨著在這些攝像機(jī)中使用的核心技 術(shù)繼續(xù)改進(jìn)并且它們的成本下降，姿勢(shì)控制將繼續(xù)在協(xié)助與電子裝置的人機(jī)交互中起到主 要作用。

【專利附圖】

【附圖說明】
[0004] 在圖中圖示用于基于場(chǎng)景內(nèi)容來調(diào)整深度攝像機(jī)的參數(shù)的系統(tǒng)的示例。示例和圖 是說明性的而不是限制性的。
[0005] 圖1是圖示根據(jù)一些實(shí)施例的通過手/手指的追蹤的遠(yuǎn)程裝置的控制的示意圖。
[0006] 圖2A和圖2B示出根據(jù)一些實(shí)施例的可追蹤的手勢(shì)的示例的圖形圖示。
[0007] 圖3是圖示根據(jù)一些實(shí)施例的用來調(diào)整攝像機(jī)的參數(shù)的系統(tǒng)的示例部件的示意 圖。
[0008] 圖4是圖示根據(jù)一些實(shí)施例的用來調(diào)整攝像機(jī)參數(shù)的系統(tǒng)的示例部件的示意圖。
[0009] 圖5是圖示根據(jù)一些實(shí)施例的用于深度攝像機(jī)對(duì)象追蹤的示例過程的流程圖。
[0010] 圖6是圖示根據(jù)一些實(shí)施例的用于調(diào)整攝像機(jī)的參數(shù)的示例過程的流程圖。

【具體實(shí)施方式】
[0011] 如同許多技術(shù)，可以通過調(diào)整攝像機(jī)的某些參數(shù)來最優(yōu)化深度攝像機(jī)的性能。然 而，基于這些參數(shù)的最佳性能變化，并且取決于成像的場(chǎng)景中的元素。例如，由于深度攝像 機(jī)對(duì)HMI應(yīng)用的適用性，自然將它們用作移動(dòng)平臺(tái)（例如，膝上型設(shè)備、平板計(jì)算機(jī)、和智能 電話)的姿勢(shì)控制接口。由于移動(dòng)平臺(tái)的有限電力供應(yīng)，系統(tǒng)功耗是關(guān)注重點(diǎn)。在這些情況 下，在由深度攝像機(jī)獲取的深度數(shù)據(jù)的質(zhì)量與攝像機(jī)的功耗之間有直接折衷。獲取基于深 度攝像機(jī)的數(shù)據(jù)來追蹤的對(duì)象的精確性與由這些裝置消耗的功率之間的最佳平衡要求攝 像機(jī)的參數(shù)的仔細(xì)調(diào)整。
[0012] 本公開描述用于基于成像場(chǎng)景的內(nèi)容設(shè)置攝像機(jī)的參數(shù)來改進(jìn)數(shù)據(jù)的整體質(zhì)量 和系統(tǒng)的性能的技術(shù)。在以上引入的示例中的功耗的情況下，如果在攝像機(jī)的視野中沒有 對(duì)象，則可以大幅減小攝像機(jī)的幀率，這又減小攝像機(jī)的功耗。當(dāng)感興趣的對(duì)象出現(xiàn)在攝像 機(jī)的視野中時(shí)，可以恢復(fù)全攝像機(jī)幀率(要求準(zhǔn)確并且穩(wěn)健地追蹤對(duì)象)。以此方式，基于場(chǎng) 景內(nèi)容來調(diào)整攝像機(jī)的參數(shù)以改進(jìn)整體系統(tǒng)性能。
[0013] 本公開特別地有關(guān)于其中攝像機(jī)用作主要輸入捕獲裝置的實(shí)例。這些情況下的 目標(biāo)是解釋攝像機(jī)看到的場(chǎng)景，即，檢測(cè)并且標(biāo)識(shí)(如果有可能）對(duì)象、追蹤這樣的對(duì)象、可 能將模型應(yīng)用于對(duì)象以便更準(zhǔn)確地理解它們的位置和清晰度、并且解釋這樣的對(duì)象的運(yùn)動(dòng) (當(dāng)有關(guān)時(shí))。在本公開的核心，解釋場(chǎng)景并且使用算法來檢測(cè)并且追蹤感興趣的對(duì)象的追 蹤模塊可以集成到系統(tǒng)并且用來調(diào)整攝像機(jī)的參數(shù)。
[0014] 現(xiàn)在將描述本發(fā)明的各種方面和示例。下文的描述提供具體細(xì)節(jié)用于透徹理解并 且允許這些示例的描述。然而，本領(lǐng)域的技術(shù)人員將理解可實(shí)踐本發(fā)明而沒有許多這些細(xì) 節(jié)。此外，可不詳細(xì)示出或描述一些熟知的結(jié)構(gòu)或功能，以便避免不必要地模糊有關(guān)的描 述。
[0015] 在以下呈現(xiàn)的描述中使用的術(shù)語旨在以其最廣泛和合理的方式來解釋，即使它是 結(jié)合技術(shù)的某些具體示例的詳細(xì)描述來使用。以下甚至可強(qiáng)調(diào)某些術(shù)語；然而，旨在以任何 限制方式來解釋的任何術(shù)語將在【具體實(shí)施方式】部分中公開地并且具體地定義。
[0016] 深度攝像機(jī)是捕獲深度圖像的攝像機(jī)。通常，深度攝像機(jī)以每秒多個(gè)幀(幀率）來 捕獲一系列深度圖像。每個(gè)深度圖像可包含每個(gè)像素的深度數(shù)據(jù)，即，獲取的深度圖像中的 每個(gè)像素具有表示成像場(chǎng)景中的對(duì)象的關(guān)聯(lián)部分與攝像機(jī)之間的距離的值。深度攝像機(jī)有 時(shí)被稱作三維攝像機(jī)。
[0017] 深度攝像機(jī)可包含深度圖像傳感器、光透鏡和照明源，以及其它部件。深度圖像 傳感器可依靠若干不同的傳感器技術(shù)中的一個(gè)。在這些傳感器技術(shù)之中有飛行時(shí)間（TOF) (包含掃描TOF或陣列T0F)、結(jié)構(gòu)光、激光散斑圖案技術(shù)、立體攝像機(jī)、有源立體傳感器和陰 影恢復(fù)形狀技術(shù)。這些技術(shù)中的大多數(shù)依靠提供它們自己的照明源的有源傳感器系統(tǒng)。與 此不同，被動(dòng)傳感器系統(tǒng)(例如，立體攝像機(jī)）不提供它們自己的照明源，但反而取決于周圍 環(huán)境光照。除了深度數(shù)據(jù)以外，深度攝像機(jī)還可生成彩色數(shù)據(jù)(類似于傳統(tǒng)的彩色攝像機(jī))， 并且可以結(jié)合深度數(shù)據(jù)來處理彩色數(shù)據(jù)。
[0018] 飛行時(shí)間傳感器利用飛行時(shí)間原理以便計(jì)算深度圖像。根據(jù)飛行時(shí)間原理，入射 光信號(hào)S與參考信號(hào)g (它是從對(duì)象反射的入射光信號(hào)）的相關(guān)性定義為：

【權(quán)利要求】
1. 一種方法，包括： 使用深度攝像機(jī)來獲取一個(gè)或多個(gè)深度圖像； 分析所述一個(gè)或多個(gè)深度圖像的內(nèi)容； 基于所述分析來自動(dòng)地調(diào)整所述深度攝像機(jī)的一個(gè)或多個(gè)參數(shù)。
2. 如權(quán)利要求1所述的方法，其中所述一個(gè)或多個(gè)參數(shù)包含幀率。
3. 如權(quán)利要求2所述的方法，其中基于所述深度攝像機(jī)的可用的功率資源來另外調(diào) 整所述幀率。
4. 如權(quán)利要求1所述的方法，其中所述一個(gè)或多個(gè)參數(shù)包含積分時(shí)間，并且所述分析 包含感興趣的對(duì)象與所述深度攝像機(jī)的距離。
5. 如權(quán)利要求4所述的方法，其中另外調(diào)整所述積分時(shí)間來將所述一個(gè)或多個(gè)深度 圖像中的幅度像素值的函數(shù)維持在范圍內(nèi)。
6. 如權(quán)利要求1所述的方法，其中所述一個(gè)或多個(gè)參數(shù)包含所述深度攝像機(jī)的范圍。
7. 如權(quán)利要求1所述的方法，還包括調(diào)整紅、綠、藍(lán)（RGB)攝像機(jī)的焦點(diǎn)和景深，其中 所述RGB攝像機(jī)調(diào)整是基于所述深度攝像機(jī)的所述一個(gè)或多個(gè)參數(shù)中的至少一些。
8. 如權(quán)利要求1所述的方法，還包括用戶輸入標(biāo)識(shí)在所述分析中使用的對(duì)象用于調(diào) 整所述深度攝像機(jī)的所述一個(gè)或多個(gè)參數(shù)。
9. 如權(quán)利要求8所述的方法，其中所述一個(gè)或多個(gè)參數(shù)包含幀率，其中當(dāng)所述對(duì)象離 開所述攝像機(jī)的視野時(shí)，所述幀率減少。
10. 如權(quán)利要求1所述的方法，其中所述深度攝像機(jī)使用具有照明源的有源傳感器， 并且所述一個(gè)或多個(gè)參數(shù)包含所述照明源的功率電平，并且另外其中調(diào)整所述功率電平來 將所述一個(gè)或多個(gè)圖像中的幅度像素值的函數(shù)維持在范圍內(nèi)。
11. 如權(quán)利要求1所述的方法，其中分析所述內(nèi)容包括在所述一個(gè)或多個(gè)圖像中檢測(cè) 對(duì)象并且追蹤所述對(duì)象。
12. 如權(quán)利要求11所述的方法，還包括基于所述對(duì)象的所述檢測(cè)和追蹤來在顯示器 上渲染顯示圖像。
13. 如權(quán)利要求11所述的方法，還包括在所述一個(gè)或多個(gè)追蹤的對(duì)象上執(zhí)行姿勢(shì)識(shí) 另IJ，其中所述渲染所述顯示圖像另外基于所述一個(gè)或多個(gè)追蹤的對(duì)象的識(shí)別的姿勢(shì)。
14. 一種系統(tǒng)，包括： 深度攝像機(jī)，配置為獲取多個(gè)深度圖像； 追蹤模塊，配置為在所述多個(gè)深度圖像中檢測(cè)并且追蹤對(duì)象； 參數(shù)調(diào)整模塊，配置為基于所述對(duì)象的所述檢測(cè)和追蹤來計(jì)算一個(gè)或多個(gè)深度攝像機(jī) 參數(shù)的調(diào)整并且將所述調(diào)整發(fā)送到所述深度攝像機(jī)。
15. 如權(quán)利要求14所述的系統(tǒng)，還包括顯示器和應(yīng)用軟件模塊，配置為基于所述對(duì)象 的所述檢測(cè)和追蹤來在所述顯示器上渲染顯示圖像。
16. 如權(quán)利要求15所述的系統(tǒng)，還包括姿勢(shì)識(shí)別模塊，配置為確定姿勢(shì)是否是由所述 對(duì)象執(zhí)行，其中所述應(yīng)用軟件模塊配置為另外基于所述姿勢(shì)識(shí)別模塊的所述確定來渲染所 述顯示圖像。
17. 如權(quán)利要求14所述的系統(tǒng)，其中所述一個(gè)或多個(gè)深度攝像機(jī)參數(shù)包含幀率。
18. 如權(quán)利要求17所述的系統(tǒng)，其中基于所述深度攝像機(jī)的可用的功率資源來另外 調(diào)整所述幀率。
19. 如權(quán)利要求14所述的系統(tǒng)，其中所述一個(gè)或多個(gè)深度攝像機(jī)參數(shù)包含基于所述 對(duì)象與所述深度攝像機(jī)的距離來調(diào)整的積分時(shí)間。
20. 如權(quán)利要求19所述的系統(tǒng)，其中另外調(diào)整所述積分時(shí)間來將所述一個(gè)或多個(gè)深 度圖像中的幅度像素值的函數(shù)維持在范圍內(nèi)。
21. 如權(quán)利要求14所述的系統(tǒng)，其中所述一個(gè)或多個(gè)深度攝像機(jī)參數(shù)包含所述深度 攝像機(jī)的范圍。
22. 如權(quán)利要求14所述的系統(tǒng)，其中所述深度攝像機(jī)使用具有照明源的有源傳感器， 并且所述一個(gè)或多個(gè)參數(shù)包含所述照明源的功率電平，并且另外其中調(diào)整所述功率電平來 將所述一個(gè)或多個(gè)圖像中的幅度像素值的函數(shù)維持在范圍內(nèi)。
23. -種系統(tǒng)，包括： 用于使用深度攝像機(jī)來獲取一個(gè)或多個(gè)深度圖像的裝置； 用于在所述一個(gè)或多個(gè)深度圖像中檢測(cè)對(duì)象并且追蹤所述對(duì)象的裝置； 用于基于所述檢測(cè)和追蹤來調(diào)整所述深度攝像機(jī)的一個(gè)或多個(gè)參數(shù)的裝置， 其中所述一個(gè)或多個(gè)參數(shù)包含所述深度攝像機(jī)的幀率、積分時(shí)間和范圍。
【文檔編號(hào)】H04N13/02GK104380729SQ201380033408
【公開日】2015年2月25日 申請(qǐng)日期:2013年7月31日 優(yōu)先權(quán)日:2012年7月31日
【發(fā)明者】G.庫(kù)特利洛夫, S.弗萊什曼 申請(qǐng)人:英特爾公司