用于感興趣區(qū)域捕捉的多模圖像感測(cè)的制作方法
【專(zhuān)利說(shuō)明】用于感興趣區(qū)域捕捉的多模圖像感測(cè)
[0001]
[0002]在連續(xù)(例如，移動(dòng))視覺(jué)系統(tǒng)中，圖像傳感器系統(tǒng)持續(xù)監(jiān)視環(huán)境以檢測(cè)并捕捉感興趣的事件，如在人臉出現(xiàn)在圖像中時(shí)。以此方式，設(shè)備能夠代表其用戶(hù)采取某種自動(dòng)動(dòng)作，如標(biāo)識(shí)與其進(jìn)行對(duì)話的人或標(biāo)識(shí)人所把持的物體。
[0003]常規(guī)成像解決方案持續(xù)捕捉圖像幀并將這些幀傳送給圖像處理器，圖像處理器使用圖像處理算法來(lái)標(biāo)識(shí)感興趣的事件。連續(xù)移動(dòng)視覺(jué)系統(tǒng)的這樣的常規(guī)解決方案因而將高質(zhì)量順序圖像的持續(xù)流捕捉成視頻，并處理各圖像以標(biāo)識(shí)這樣的事件。然而，捕捉、傳送以及處理高質(zhì)量圖像的連續(xù)流導(dǎo)致嚴(yán)重的能量開(kāi)銷(xiāo)成本，這可能快速耗盡相機(jī)/設(shè)備電池。
[0004]概述
[0005]提供本概述以便以簡(jiǎn)化形式介紹將在以下的詳細(xì)描述中進(jìn)一步描述的一些代表性概念的選集。本概述不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在以限制所要求保護(hù)的主題的范圍的任何方式來(lái)使用。
[0006]簡(jiǎn)言之，本文描述的主題的各方面涉及其中門(mén)控(例如，較低分辨率和/或較低功率)圖像傳感器和初步處理充當(dāng)用于打開(kāi)一個(gè)或多個(gè)其他被門(mén)控的傳感器以用于進(jìn)一步處理的門(mén)控的技術(shù)。在一個(gè)方面，與評(píng)估圖像相對(duì)應(yīng)的第一像素集合的第一數(shù)據(jù)被處理以確定感興趣的區(qū)域是否被預(yù)測(cè)存在于該圖像內(nèi)。如果是，則控制至少一個(gè)其他被門(mén)控的傳感器陣列，包括控制每隔一個(gè)傳感器陣列以獲得包括感興趣的區(qū)域的另一(例如，較高分辨率)圖像。如果被門(mén)控的傳感器陣列是例如捕捉高分辨率圖像的陣列，則包括感興趣的區(qū)域的第二數(shù)據(jù)被提供給圖像處理器，其中提供給圖像處理器的第二數(shù)據(jù)可與少于完整圖像相對(duì)應(yīng)。
[0007]在一個(gè)方面，第一傳感器陣列被配置成捕捉用于作出門(mén)控決策的評(píng)估圖像，且第二傳感器陣列被配置成捕捉其他圖像，例如較高分辨率和/或以其他方式不同的圖像。控制器處理評(píng)估圖像以確定一個(gè)或多個(gè)感興趣區(qū)域準(zhǔn)則是否被滿足，包括感興趣區(qū)域是否存在于較低分辨率圖像中。如果一個(gè)或多個(gè)感興趣區(qū)域準(zhǔn)則被滿足，則控制器控制第二傳感器來(lái)捕捉另一圖像以將感興趣區(qū)域提供給圖像處理器。在一個(gè)方面，一個(gè)或多個(gè)感興趣區(qū)域準(zhǔn)則包括熱數(shù)據(jù)是否指示一個(gè)或多個(gè)人類(lèi)特征處于圖像內(nèi)。
[0008]本文描述的一個(gè)技術(shù)方面包括經(jīng)由門(mén)控傳感器捕捉評(píng)估圖像，以及處理評(píng)估圖像以確定評(píng)估圖像是否可能與感興趣的事件相對(duì)應(yīng)，并且如果否，則返回再次捕捉另一評(píng)估圖像，例如以合適的幀率。
[0009]如果評(píng)估圖像與感興趣的事件相對(duì)應(yīng)，則進(jìn)一步描述了確定人類(lèi)特征檢測(cè)是否活動(dòng)；(如果否，則基于評(píng)估圖像可能與感興趣的事件相對(duì)應(yīng)來(lái)捕捉另一圖像)。如果人類(lèi)特征檢測(cè)是活動(dòng)的，則可從中確定溫度數(shù)據(jù)的紅外圖像被捕捉并處理以確定溫度數(shù)據(jù)是否指示一個(gè)或多個(gè)人類(lèi)特征；如果否，則描述了返回再次捕捉評(píng)估圖像。
[0010]如果評(píng)估圖像可能與感興趣的事件相對(duì)應(yīng)，(且在人類(lèi)特征檢測(cè)活動(dòng)時(shí)，人類(lèi)特征被檢測(cè)到)，另一圖像集合被捕捉。來(lái)自該集合的圖像的至少一部分被提供給圖像處理器。
[0011]結(jié)合附圖閱讀以下詳細(xì)描述，本發(fā)明的其他優(yōu)點(diǎn)會(huì)變得顯而易見(jiàn)。
[0012]附圖簡(jiǎn)沐
[0013]作為示例而非限制，在附圖中示出了本發(fā)明，附圖中相同的附圖標(biāo)記指示相同或相似的元素，附圖中:
[0014]圖1是示出根據(jù)一個(gè)示例實(shí)施例的包括提供用于感興趣區(qū)域捕捉的多模圖像感測(cè)的可控制的圖像傳感器電路系統(tǒng)的各示例組件的框圖。
[0015]圖2是示出根據(jù)一個(gè)示例實(shí)施例的多個(gè)傳感器可如何被控制以捕捉感興趣區(qū)域以用于本地設(shè)備圖像處理的框圖。
[0016]圖3是示出根據(jù)一個(gè)示例實(shí)施例的多個(gè)傳感器可如何被控制以捕捉感興趣區(qū)域以用于遠(yuǎn)程設(shè)備圖像處理的框圖。
[0017]圖4是根據(jù)一個(gè)示例實(shí)施例的其中不同傳感器可位于同一處的一種示例方式的表不。
[0018]圖5A是根據(jù)一個(gè)示例實(shí)施例的其中透鏡機(jī)構(gòu)可將光引導(dǎo)到不同傳感器的一種示例方式的表示。
[0019]圖5B是根據(jù)一個(gè)示例實(shí)施例的其中傳感器陣列可被選擇性地激發(fā)以捕捉像素?cái)?shù)據(jù)的一種不例方式的表不。
[0020]圖6是根據(jù)一個(gè)示例實(shí)施例的示出可被采取來(lái)捕捉與事件相對(duì)應(yīng)的一個(gè)或多個(gè)感興趣區(qū)域的示例步驟的流程圖。
[0021]圖7是表示可并入本文中所描述的主題的各方面的示例計(jì)算環(huán)境的框圖。
[0022]詳細(xì)描沐
[0023]本描述的技術(shù)的各方面一般涉及只捕捉感興趣圖像和/或只處理圖像中的感興趣區(qū)域的各部分(即，包含感興趣視覺(jué)事件的圖像部分)的相對(duì)低能量/功率解決方案。在一個(gè)方面，多模傳感器的組合可被用來(lái)標(biāo)識(shí)是否發(fā)生感興趣的事件，并且如果是則捕捉一個(gè)或多個(gè)感興趣區(qū)域以用于視覺(jué)事件檢測(cè)。
[0024]作為一個(gè)示例，能量高效的感興趣區(qū)域檢測(cè)和捕捉可以使用多模傳感器來(lái)提供，其中較低功率傳感器被用來(lái)“門(mén)控”較高功率傳感器。多感測(cè)模態(tài)可被使用，如基于低功率、低分辨率窄景深傳感器，低功率遠(yuǎn)紅外傳感器，和/或具有多分辨率和能量比例開(kāi)窗(windowing)能力的高分辨率圖像傳感器。例如，窄景深傳感器可以檢測(cè)活動(dòng)，遠(yuǎn)紅外傳感器可以檢測(cè)人類(lèi)特征的存在，且具有開(kāi)窗特征的圖像傳感器可被用來(lái)捕捉圖像內(nèi)的感興趣區(qū)域。因?yàn)楦叻直媛蕡D像傳感器只在其他一個(gè)或多個(gè)傳感器指示存在要檢測(cè)的感興趣活動(dòng)時(shí)工作，所以節(jié)省了功率。此外，開(kāi)窗能力使得傳送和處理比完整圖像更少的數(shù)據(jù)，藉此該系統(tǒng)的這一方面也以能量高效的方式工作。
[0025]應(yīng)當(dāng)理解，本文中的任何示例均是非限制的。因此，本發(fā)明不限制于本文所述的任何具體的實(shí)施例、方面、概念、結(jié)構(gòu)、功能或示例。相反，本文中所描述的任何一個(gè)實(shí)施例、方面、概念、結(jié)構(gòu)、功能或示例都是非限制性的，并且一般而言可以在計(jì)算和成像技術(shù)中提供好處和優(yōu)點(diǎn)的各種方式來(lái)使用本發(fā)明。
[0026]圖1是示出本文描述的技術(shù)方面的示例概念的框圖。控制器102 (例如，在低功率模式或低功率自定義ASIC中運(yùn)行的微控制器)控制門(mén)控傳感器104以捕捉評(píng)估圖像106。如本文描述的，評(píng)估圖像106在控制器102處被接收以供一般處理來(lái)確定評(píng)估圖像是否指示感興趣的事件。在圖1的示例中，事件檢測(cè)器110可以作出這樣的確定，然而其他類(lèi)型的檢測(cè)器可被使用，包括本文例示的那些。
[0027]如果檢測(cè)到感興趣區(qū)域，則被門(mén)控的傳感器108 (具有與門(mén)控傳感器104相重疊的視野)被控制來(lái)捕捉包括完整圖像或一個(gè)或多個(gè)圖像部分的另一(被門(mén)控)圖像集合112。圖像集合被發(fā)送給圖像處理器116以供處理，如下所述。
[0028]因而，門(mén)控傳感器的評(píng)估數(shù)據(jù)被處理以確定后續(xù)被門(mén)控的傳感器是否要被激活?？纱嬖谝幌盗羞@樣的傳感器，例如一個(gè)被門(mén)控的傳感器可被用作后續(xù)被門(mén)控的傳感器的門(mén)控傳感器，以此類(lèi)推。各傳感器具有重疊的視野，但門(mén)控傳感器捕捉評(píng)估圖像，諸如以找出視野中的感興趣區(qū)域(人、前景物體、正在移動(dòng)的物體)，與單獨(dú)使用來(lái)自被門(mén)控的一個(gè)或多個(gè)傳感器的信息找出這些區(qū)域相比，門(mén)控傳感器使用較少能量。
[0029]存在許多可能類(lèi)型的門(mén)控傳感器。典型場(chǎng)景是使用低分辨率傳感器，例如，IR、彩色和/或單色傳感器，作為較高分辨率被門(mén)控的傳感器的門(mén)控傳感器。一般而言，因?yàn)樯婕拜^少像素，所以較低分辨率傳感器使用比較高分辨率傳感器顯著更少的功率。以各種方式與高分辨率傳感器組合以捕捉基本上相同視野的低分辨率傳感器的示例在下文參考圖4、5A和5B描述。
[0030]注意，門(mén)控不必基于不同的分辨率。例如，640x480遠(yuǎn)紅外(FIR/熱)傳感器可被用來(lái)對(duì)640x480RGB傳感器進(jìn)行門(mén)控以找出臉部。FIR傳感器通過(guò)在每一像素處執(zhí)