專利名稱：控制設(shè)備的功能的方法和用于檢測生物的存在的系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種控制設(shè)備的功能的方法。本發(fā)明還涉及一種用于檢測生物的存在的系統(tǒng)。本發(fā)明還涉及一種計(jì)算機(jī)程序。
背景技術(shù)：
Verkruysse等人的"Remote ρlethysmographic imaging using ambient light”， Optics Express, 16 (26), 22 December 2008, pp. 21434-21445 證明了可以利用作為源的一般環(huán)境光以及電影模式下的簡單的數(shù)字消費(fèi)級(jí)照相機(jī)來遠(yuǎn)程地在人類面部上測量光電體積描記術(shù)信號(hào)。在將照相機(jī)設(shè)置在電影模式下時(shí)，要求志愿者坐下、站立或者躺下以使任何移動(dòng)最小化。彩色電影被照相機(jī)保存并且被傳送給個(gè)人計(jì)算機(jī)。對于每個(gè)電影幀來讀取用于紅色、綠色和藍(lán)色通道的像素值，從而提供一組PV (x, y, t)，其中χ和y分別是水平和垂直位置，t是對應(yīng)于幀速率的時(shí)間。使用圖形用戶界面，在(從電影中選擇的)靜止圖像中選擇感興趣的區(qū)域(R0I)，并且將原始信號(hào)PV原始⑴計(jì)算為ROI中所有像素值的平均。 執(zhí)行快速傅里葉變換來確定功率和相位譜。在其中一幅圖中示出了 1.43Hz的心率頻率的相位圖。文章提到作者簡單地嘗試使用遠(yuǎn)攝鏡頭結(jié)合他們的照相機(jī)之一，因?yàn)榇嬖趯τ谟糜趹?zhàn)爭傷員鑒別分類或者用于運(yùn)動(dòng)監(jiān)視目的的心率的遠(yuǎn)程感測的興趣。從現(xiàn)有技術(shù)已知的光電體積描記術(shù)的應(yīng)用限于使用心率和呼吸確定并且使用成像的診斷法。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)目的是提供上文在開篇段落中提到的類型的方法、系統(tǒng)和計(jì)算機(jī)程序，其使用通過不引人注目的生理測量來獲得的輸入。此目的是通過根據(jù)本發(fā)明的方法來實(shí)現(xiàn)的，該方法包括 -獲得在連續(xù)時(shí)間點(diǎn)拍攝的數(shù)字圖像的序列；
-選擇包括多個(gè)圖像點(diǎn)的至少一個(gè)測量區(qū)域； 對于至少一個(gè)測量區(qū)域，
-在至少多個(gè)圖像點(diǎn)處獲得至少表示像素值的組合的時(shí)變值中的變化的信號(hào)，以及 -至少在相對于比較數(shù)據(jù)的信號(hào)譜的感興趣的范圍內(nèi)確定信號(hào)的至少一個(gè)特性，所述確定包括以下中的至少一個(gè)
(i)確定信號(hào)是否具有在與比較頻率在特定精度下匹配的頻率下具有局部最大值的譜；以及
(ii)確定信號(hào)的至少特定頻率分量是否在特定精度下與比較信號(hào)同相；以及 -取決于所述確定是否是肯定的來控制所述功能。確定信號(hào)是否具有在特定精度下與比較值匹配的具有局部最大值的譜可以包含確定局部最大值是否落入比較范圍內(nèi)。
所述方法基于以下驚人的認(rèn)識(shí)可以通過執(zhí)行旨在發(fā)現(xiàn)人的心率或者呼吸速率的對于環(huán)境的圖像序列的分析來檢測人或者具有特定類型的特性的人是否在特定環(huán)境中存在。由此，到目前為止僅被設(shè)想用于治療目的的方法在不引人注目的監(jiān)視方法中發(fā)現(xiàn)了新的并且有用的應(yīng)用。由于該方法包括獲得在連續(xù)時(shí)間點(diǎn)處拍攝的數(shù)字圖像的序列，因此其是不引人注目的。不需要將傳感器帶到與人靠近。還由于該方法包括選擇包括多個(gè)圖像點(diǎn)的至少一個(gè)測量區(qū)域并且對于每個(gè)測量區(qū)域獲得至少表示在至少多個(gè)圖像點(diǎn)處像素值的組合的時(shí)變值中的變化的信號(hào)，因此該方法是不引人注目的。使用諸如在測量區(qū)域上進(jìn)行空間平均之類的組合導(dǎo)致具有相對較高的信噪比的信號(hào)，可以在足夠等級(jí)的精度下從該信號(hào)中提取對應(yīng)于周期性生理現(xiàn)象(諸如心跳或呼吸)的譜峰值。此魯棒性允許使用圖像記錄反射的環(huán)境光，從而該方法是不引人注目的。在該方法的實(shí)施例中，比較數(shù)據(jù)基于至少表示另外選擇的測量區(qū)域的至少多個(gè)圖像點(diǎn)處的像素值的組合的時(shí)變值中的變化的至少一個(gè)信號(hào)。效果是該方法允許確定在圖像中表示多少個(gè)不同的生物。在譜中出現(xiàn)局部最大值處的不同的相位或者不同的頻率值指示不同的生物。在此方法的變型中，每個(gè)另外選擇的測量區(qū)域是圖像上放置的網(wǎng)格中的多個(gè)測量區(qū)域之一。效果是圖像區(qū)域被完全覆蓋。順便提及，此效果也在選擇少于網(wǎng)格的所有部分 (假設(shè)它們分隔開)的情況下獲得。在該方法的變型中，識(shí)別具有形狀、色彩或其它圖像特性的區(qū)域(暗示它們可能對應(yīng)于身體部分)的先前的步驟可被省略。由于這種步驟可能具有高的誤差率，因此這點(diǎn)改進(jìn)了檢測生物的精度。由于測量區(qū)域每個(gè)包括多個(gè)圖像點(diǎn)，并且形成了至少多個(gè)圖像點(diǎn)處的像素值的組合的時(shí)變值，因此存在對于噪聲的低敏感度。此外需要形成比每個(gè)像素要分別與其它像素比較的情況下更少的信號(hào)。在另一個(gè)變型中，僅在對于測量區(qū)域以及與其分隔開的至少一個(gè)另外的測量區(qū)域獲得的信號(hào)具有在測量區(qū)域與至少一個(gè)另外的測量區(qū)域在特定精度下共用的頻率下具有相應(yīng)的局部最大值的譜的情況下，執(zhí)行確定信號(hào)的至少特定頻率分量是否在特定精度下與比較信號(hào)同相。效果是不需要構(gòu)造覆蓋整個(gè)圖像區(qū)域的相位圖。僅由于局部最大值的頻率相同而因此可以或者不可以表示相同的生物的那些圖像分段通過確定是否存在相位差而被進(jìn)一步分析。由此，即使在圖像中表示的兩個(gè)生物具有大約相同的心率或者呼吸速率，仍可以將所述兩個(gè)生物彼此區(qū)分。在該方法的實(shí)施例中，所述設(shè)備包括用于提供可感知的輸出的至少一個(gè)設(shè)備，并且其中所述方法包括取決于對于對應(yīng)于目標(biāo)的測量區(qū)域做出的確定是否是肯定的來控制所述設(shè)備以提供由空間目標(biāo)區(qū)分的在空間上目標(biāo)確定的輸出。由此，在檢測到存在生物時(shí)，可以在該生物處對反饋進(jìn)行目標(biāo)確定。圖像中測量區(qū)域的位置提供用于定位目標(biāo)的信息。在變型中，對于對應(yīng)于目標(biāo)的至少一個(gè)測量區(qū)域，取決于局部最大值的頻率的值來適配可感知的輸出。此變型具有以下效果使得能夠?qū)⒎答伳繕?biāo)確定到個(gè)人，其中所述反饋適于從周期性生理現(xiàn)象的頻率推導(dǎo)的所述個(gè)人的當(dāng)前精神狀態(tài)。此現(xiàn)象可以例如是呼吸或者心跳。在諸如環(huán)境系統(tǒng)之類的系統(tǒng)中，環(huán)境可被分為具有不同氛圍的部分，每個(gè)氛圍適于該部分中一個(gè)或者多個(gè)人的情緒。在替代實(shí)施例中，取決于確定是否是肯定的來使得至少一個(gè)設(shè)備操作。此方法可以在家長控制功能或者節(jié)能功能中實(shí)現(xiàn)。在檢測到存在生物或者存在特定類型的生物時(shí)使得至少一個(gè)設(shè)備操作。在此實(shí)施例的變型中，其功能被控制的設(shè)備被包括在條件訪問系統(tǒng)中。效果是對于尋求訪問的人是否實(shí)際上親自呈現(xiàn)他或她的證明作出不引人注目的檢查。具體地，在所述證明由計(jì)量生物學(xué)掃描設(shè)備檢查的情況下，此特征幫助避免使用計(jì)量生物學(xué)特征的復(fù)制品(指紋的蠟?zāi)?、虹膜的照相?fù)制品等等)來嘗試獲得訪問。在實(shí)施例中，在完成初始化階段時(shí)使得數(shù)字圖像的序列被照相機(jī)捕捉，所述初始化階段包括
-在照相機(jī)設(shè)置變化的同時(shí)，測量由照相機(jī)獲取的圖像的至少部分中的周期性強(qiáng)度波動(dòng)，以及
-選擇其中至少在頻率的范圍內(nèi)的所測量的周期性強(qiáng)度波動(dòng)被確定為最小的照相機(jī)設(shè)置的值。此實(shí)施例允許例如在市電頻率下移除周期性干擾的來源。典型地，這種干擾對應(yīng)于環(huán)境照明中的周期性波動(dòng)。由于該方法適于遠(yuǎn)程成像，因此這些干擾比在要使用例如紅外光源和照相機(jī)的情況中起到更多的作用。適當(dāng)?shù)恼障鄼C(jī)設(shè)置包括幀速率、曝光時(shí)間、照相機(jī)增益和像素時(shí)鐘。本方法的實(shí)施例包括確定校正信號(hào)，其對應(yīng)于除了測量區(qū)域之外的圖像部分中至少多個(gè)圖像點(diǎn)處的像素值的組合的時(shí)變值，以及
-對于每個(gè)測量區(qū)域，將測量區(qū)域中的至少多個(gè)圖像點(diǎn)處的像素值的組合的時(shí)變值和至少測量區(qū)域中的圖像的像素?cái)?shù)據(jù)中的至少一個(gè)與所述校正信號(hào)去相關(guān)。此實(shí)施例允許從分析中移出非周期性干擾，從而進(jìn)一步提高由于周期性生理現(xiàn)象的信號(hào)分量的信噪比。示例將是在捕捉圖像序列的同時(shí)觀看電視的人的面部中電視信號(hào)的反映。注意除了測量區(qū)域之外的圖像部分可以是也包含測量區(qū)域的更大的圖像部分。根據(jù)另一個(gè)方面，根據(jù)本發(fā)明的用于檢測生物的存在的系統(tǒng)包括 -接口，用于獲得在連續(xù)時(shí)間點(diǎn)拍攝的數(shù)字圖像的序列；
-圖像數(shù)據(jù)處理系統(tǒng)，被配置為 -選擇包括多個(gè)圖像點(diǎn)的至少一個(gè)測量區(qū)域； -對于至少一個(gè)測量區(qū)域，
-在至少多個(gè)圖像點(diǎn)處獲得至少表示像素值的組合的時(shí)變值中的變化的信號(hào)，以及 -至少在相對于比較數(shù)據(jù)的信號(hào)譜的感興趣的范圍內(nèi)確定信號(hào)的至少一個(gè)特性，所述確定包括以下中的至少一個(gè)
(i)確定信號(hào)是否具有在與比較頻率在特定精度下匹配的頻率下具有局部最大值的譜；以及
(ii)確定信號(hào)的至少特定頻率分量是否在特定精度下與比較信號(hào)同相；以及 -取決于確定是否是肯定的來適配其輸出。此系統(tǒng)能夠檢測在圖像序列中描繪的環(huán)境中是否存在生物并且可選地檢測在圖像序列中描繪的環(huán)境中存在多少生物。由此，能夠在真實(shí)的生物與在環(huán)境中也可能存在的生物的畫面之間進(jìn)行辨別。能夠以不引人注目的方式來進(jìn)行，因?yàn)槠洳灰蕾囉谛枰c要檢測的生物接觸或者靠近要檢測的生物的傳感器。在實(shí)施例中，圖像數(shù)據(jù)處理系統(tǒng)被配置為執(zhí)行根據(jù)本發(fā)明的方法。根據(jù)本發(fā)明的另一方面，提供了一種計(jì)算機(jī)程序，其包括一組指令，該組指令在被并入機(jī)器可讀的介質(zhì)時(shí)能夠使得具有信息處理能力的系統(tǒng)執(zhí)行根據(jù)本發(fā)明的方法。


將參照附圖更詳細(xì)地解釋本發(fā)明，附圖中
圖1是被布置為取決于是否檢測到生物的存在、或者取決于生物的心率或者呼吸速率適配其輸出的系統(tǒng)的示意圖2是圖示用于確定生物的心率或者呼吸速率的方法的流程圖； 圖3是圖示用于檢測生物的存在的替代方法的流程圖4A和圖4B是圖示也允許向生物提供目標(biāo)確定的反饋的用于檢測生物的存在的第三方法的流程圖；以及
圖5是實(shí)現(xiàn)包括在圖1的系統(tǒng)中的環(huán)境系統(tǒng)的環(huán)境的圖。
具體實(shí)施例方式參照圖1，這里給出被布置為處理圖像序列的系統(tǒng)1的示例。系統(tǒng)1執(zhí)行此處理， 以便基于對應(yīng)于周期性生理現(xiàn)象的頻率的圖像的像素?cái)?shù)據(jù)來確定信號(hào)的譜中至少一個(gè)峰值的存在和頻率值中的至少一個(gè)。在特定實(shí)施例中，生物的存在是從峰值的存在推斷的，并且用作用于一個(gè)或者多個(gè)系統(tǒng)過程的二進(jìn)制輸入。峰值的頻率被用作那些過程的至少一個(gè)中的輸入。在其它實(shí)施例中，推斷出若干不同生物的存在。在一個(gè)實(shí)施例中，此信息被用作對于圖像分段方法的輸入。在另一個(gè)實(shí)施例中，此信息被用于提供在空間上目標(biāo)確定的反饋。系統(tǒng)1包括數(shù)字照相機(jī)2，其被布置為快速連續(xù)地記錄數(shù)字圖像的序列。系統(tǒng)1還包括數(shù)據(jù)處理設(shè)備3，其為了獲得圖像數(shù)據(jù)的目的而與數(shù)字照相機(jī)2通信，但也控制數(shù)字照相機(jī)2的操作，如將被解釋的。由數(shù)字照相機(jī)2捕捉的數(shù)字圖像數(shù)據(jù)被經(jīng)由數(shù)據(jù)處理設(shè)備3的接口 4傳遞給數(shù)據(jù)處理設(shè)備3。在所圖示的實(shí)施例中，數(shù)據(jù)處理設(shè)備3包括處理單元5和主存儲(chǔ)器6、以及用于數(shù)據(jù)的非易失性存儲(chǔ)的數(shù)據(jù)存儲(chǔ)設(shè)備7，所述數(shù)據(jù)例如使得數(shù)據(jù)處理設(shè)備3能夠處理圖像數(shù)據(jù)并且控制多個(gè)外圍設(shè)備的數(shù)字圖像數(shù)據(jù)和軟件。在所圖示的實(shí)施例中，外圍設(shè)備包括視頻顯示系統(tǒng)8 ；包括控制器9和照明單元 10-12的環(huán)境系統(tǒng)；以及計(jì)量生物學(xué)掃描設(shè)備13。所有設(shè)備經(jīng)由相應(yīng)的接口 14-16連接到數(shù)據(jù)處理設(shè)備3。這些外圍設(shè)備僅僅是可以取決于參照圖2到圖4描述的圖像處理方法的一個(gè)或者多個(gè)變型的結(jié)果來控制的外圍設(shè)備的示例。一個(gè)實(shí)施例中的視頻顯示系統(tǒng)8包括覆蓋有光和聲音片(tile)的墻。在另一個(gè)實(shí)施例中，其包括投影系統(tǒng)。再有一個(gè)實(shí)施例， 其包括標(biāo)準(zhǔn)電視機(jī)。下面描述的方法用于通過基于對應(yīng)于皮膚的一小塊(patch)的圖像數(shù)據(jù)來生成信號(hào)、來確定數(shù)字照相機(jī)2捕捉的場景中一個(gè)或者多個(gè)生物(即人類或者動(dòng)物)的存在，該信號(hào)隨著周期性生理現(xiàn)象(例如人類的心跳或者呼吸)的頻率變化。人類皮膚可被建模為雙層對象，一層是表皮(薄表面層)，另一層是真皮(表皮下面的較厚的層)。對于所有波長和皮膚顏色的情況，大約輸入的光線的5%在表皮中反射。剩余的光在被稱為身體反射率的現(xiàn)象(在雙色反射模型中描述)中在兩個(gè)皮膚層內(nèi)被散射和吸收。表皮像濾光器那樣表現(xiàn)，從而主要吸收光。在真皮中，光既被散射又被吸收。吸收取決于血液成分，從而吸收對于血流變化敏感。真皮的光學(xué)特性通常對于所有人種都是相同的。真皮包含血管的密集網(wǎng)絡(luò)，其大約是成人總的脈管網(wǎng)絡(luò)的10%。這些脈管根據(jù)身體中的血流而收縮。所述脈管因此改變真皮的結(jié)構(gòu)，這影響皮膚層的反射率。因此，可以根據(jù)皮膚反射率變化來確定心率，這是作為這里提出的方法的基礎(chǔ)的原理。在圖2中圖示的方法的實(shí)施例中，首先完成初始化階段，以便確定用于數(shù)字照相機(jī)2的適當(dāng)設(shè)置(步驟17)。為此目的，數(shù)據(jù)處理設(shè)備3導(dǎo)致在捕捉數(shù)字圖像的序列同時(shí)，數(shù)字照相機(jī)2的照相機(jī)通道的幀速率、曝光時(shí)間、像素時(shí)鐘(確定獲取像素值的速率)以及增益中的至少一個(gè)變化。確定序列的每個(gè)圖像中的至少一部分的(空間)平均亮度，對于設(shè)置的每個(gè)新的值來確定平均亮度中周期性波動(dòng)的幅度。為了本方法中的隨后的使用，選擇譜的至少一個(gè)范圍、特別是低頻范圍內(nèi)的幅度最小的那些設(shè)置。代替確定圖像的至少一部分的空間平均亮度，可以確定各個(gè)像素的亮度波動(dòng)。選擇數(shù)字照相機(jī)2的設(shè)置的效果是在向其應(yīng)用本發(fā)明的剩余部分的圖像序列中，在最大可能的程度上使得周期性背景照明波動(dòng)不存在。在下一步驟18中，從數(shù)字照相機(jī)2獲得圖像序列19。圖像序列19表示在可能以規(guī)則或者不規(guī)則的間隔的連續(xù)時(shí)間點(diǎn)處捕捉的場景。在下一步驟20中，處理圖像19以便移除非周期性背景信號(hào)。為此目的，形成對應(yīng)于圖像19的部分或者全部的時(shí)變平均亮度的校正信號(hào)。在所圖示的實(shí)施例中，然后將圖像 19的像素?cái)?shù)據(jù)與校正信號(hào)去相關(guān)。用于取消非線性互相關(guān)的算法是本身已知的。在此階段 20中可以進(jìn)行另外的圖像處理，例如補(bǔ)償照相機(jī)運(yùn)動(dòng)。在下兩個(gè)步驟21和22中，在數(shù)字圖像的序列19中的至少一個(gè)上執(zhí)行圖像分段算法。具體地，在這些步驟21和22中執(zhí)行用于檢測表示身體部分(通常是面部)的圖像分段 23 的算法。適當(dāng)?shù)乃惴ㄔ?Violii, P.和 Jones, M.J.的 “Robust real-time object detection", Proc. of IEEE Workshop on statistical and computational theories of vision, 13 July 2001中進(jìn)行了描述。其它基于識(shí)別具有特定形狀和/或顏色(皮膚顏色)的分段的適當(dāng)?shù)乃惴ㄊ且阎?，并且可以替代此算法使用，或者除了此算法之外使用。被確定為對應(yīng)于期望的類型的身體部分的一個(gè)或者多個(gè)(例如所有的)不同的分段23 被通過圖像序列19來跟蹤(步驟M)。也就是說，將分段23放置在即其位置處，該位置是通過比較序列19中的圖像以量化圖像19內(nèi)身體部分的運(yùn)動(dòng)來確定的。例如從De Haan等 AW "True-motion estimation with 3-D recursive search block matching", IEEE Transactions on circuits and systems for video technology, 3 (5)， October 1993, pp. 368-379已知適當(dāng)?shù)母櫵惴?。隨后，對于每個(gè)所選擇和所跟蹤的分段23，選擇圖像分段23內(nèi)的測量區(qū)域25 (步驟沈)。此步驟沈包含空間分析多個(gè)圖像部分的像素?cái)?shù)據(jù)一每個(gè)圖像部分在大小上是一
8個(gè)或者多個(gè)圖像點(diǎn)一以確定被確定為具有類似的特性的一組鄰近的部分。通過數(shù)據(jù)處理設(shè)備3來自動(dòng)地執(zhí)行此步驟26。適當(dāng)?shù)乃惴ㄊ怯糜跈z測具有最小的梯度變化的區(qū)域的算法。 選擇屬于該區(qū)域的那些圖像部分以形成測量區(qū)域25。在所圖示的實(shí)施例中，通過圖像序列 19中關(guān)鍵圖像的分析來確定測量區(qū)域25的位置。確定其相對于對應(yīng)于身體部分的分段23 的位置，由此通過圖像序列19利用圖像分段23對其進(jìn)行跟蹤。由此，對于組成測量區(qū)域的所有圖像點(diǎn)，確定每一個(gè)圖像中的哪個(gè)像素對應(yīng)于測量區(qū)域25的特定圖像點(diǎn)。在替代實(shí)施例中，丟棄特定圖像點(diǎn)，以使得取比測量區(qū)域25中所有圖像點(diǎn)少的圖像點(diǎn)處的像素值的和。此外，亮度可以是顏色分量的加權(quán)和或者僅僅是一個(gè)顏色分量的值。已經(jīng)發(fā)現(xiàn)綠色具有最強(qiáng)的信號(hào)。接著(步驟27)，對于每個(gè)測量區(qū)域25，生成表示對應(yīng)于測量區(qū)域25的圖像點(diǎn)的像素的時(shí)變平均亮度的信號(hào)觀。對于序列19中的每個(gè)圖像，形成被確定為包括在測量區(qū)域25 中的像素的平均亮度。由于序列19中的每個(gè)圖像表示一個(gè)時(shí)間點(diǎn)，因此獲得時(shí)變(離散時(shí)間)信號(hào)觀。在圖2所圖示的實(shí)施例中，選擇一個(gè)測量區(qū)域25，以使得生成僅一個(gè)信號(hào)觀。 如果存在更多的潛在地對應(yīng)于身體部分的圖像分段23，以使得存在多個(gè)測量區(qū)域25，則也將存在多個(gè)信號(hào)W。然后，將每個(gè)第一信號(hào)觀集中于其平均值(步驟四)以產(chǎn)生至少表示對應(yīng)于測量區(qū)域25的圖像點(diǎn)的像素的時(shí)變平均亮度的變化的另外的信號(hào)30。在變型中，此步驟四也包括可替代地包括在步驟20中的與校正信號(hào)去相關(guān)。在不同的變型中，此步驟四包括濾波操作，例如對應(yīng)于信號(hào)的微分的濾波操作。用于提取第一信號(hào)的動(dòng)態(tài)范圍的1%的量級(jí)的變化的其它替代方案是可能的。然后(步驟31)，使用基本的信號(hào)處理技術(shù)來至少在已知包括感興趣的生物(通常是人)的典型的心率值和/或呼吸速率值的范圍內(nèi)確定信號(hào)30的譜的一個(gè)或者多個(gè)局部最大值。在一個(gè)實(shí)施例中，將局部最大值的頻率與在存儲(chǔ)器6中存儲(chǔ)的參考值進(jìn)行比較 (步驟32)，以確定其是否匹配到參考值附近的預(yù)定間隔內(nèi)。這對于每個(gè)這種第二信號(hào)30進(jìn)行。圖1的系統(tǒng)中圖2的方法的此實(shí)施例的第一應(yīng)用包含檢測生物、特別是人類的存在。為此目的，表示是否檢測到對應(yīng)于周期性生理現(xiàn)象的頻率的譜中的至少一個(gè)峰值的存在的輸出被用于控制一個(gè)或者多個(gè)外圍設(shè)備，以根據(jù)檢測至少一個(gè)人類的存在而有條件地執(zhí)行功能。如果存在人類，則例如視頻顯示系統(tǒng)8和環(huán)境系統(tǒng)可以繼續(xù)起作用。如果不存在人類，則視頻顯示系統(tǒng)8和環(huán)境系統(tǒng)可被關(guān)閉或者切換到備用功能。由此，此應(yīng)用是節(jié)能設(shè)備中的應(yīng)用。類似的應(yīng)用是用于家庭和辦公室的智能照明系統(tǒng)。依靠自動(dòng)化的圖像分析的生物的檢測對于例如由于寵物引起的錯(cuò)誤警報(bào)較不敏感。類似的應(yīng)用是控制條件訪問系統(tǒng)，例如包括計(jì)量生物學(xué)掃描設(shè)備13的條件訪問系統(tǒng)。在實(shí)施例中，這可以是指紋掃描儀。使用生物的檢測，確保例如人的手指的蠟?zāi)２荒鼙挥糜谄垓_條件訪問系統(tǒng)。僅使用照相機(jī)2 (例如來掃描人的虹膜或面部)的條件訪問系統(tǒng)也可以受益于圖2的方法的附加使用，以確定有生命的人實(shí)際上在照相機(jī)鏡頭前。作為替代或者附加地，將圖2的方法用于為用戶提供生物反饋。更具體地，使得至少環(huán)境系統(tǒng)根據(jù)在方法的最后的步驟31中確定的頻率來適配其輸出。例如，可以根據(jù)心率來改變由照明單元10、11、12發(fā)射的光的顏色或強(qiáng)度。為此目的，在包括由數(shù)據(jù)處理設(shè)備3 獲得的最后N個(gè)數(shù)字圖像的序列上實(shí)時(shí)地執(zhí)行圖2的方法。N取決于圖像捕捉速率，并且取決于圖像捕捉速率來選擇，以覆蓋跨越足夠長以覆蓋一般人類的至少兩次心跳(例如至少四秒長)的時(shí)間間隔的序列。在此應(yīng)用中，將譜中局部最大值處的頻率值用作算法的輸入， 以便根據(jù)觀察的個(gè)人的心率和/或呼吸速率來適配照明單元10、11、12和/或視頻顯示系統(tǒng)8的輸出。如果在圖2的方法的變型中，選擇了多個(gè)測量區(qū)域25并且建立了多個(gè)平均信號(hào) 30，則比較步驟32可以包括多個(gè)比較。具體地，濾除了不對應(yīng)于生物的那些測量區(qū)域25，可以在對于不同的測量區(qū)域25的局部最大值的頻率之間進(jìn)行比較，以便確定存在多少個(gè)人。在一個(gè)實(shí)施例中，使用此信息來將圖像19分割成對應(yīng)于不同生物的分段。在另一個(gè)實(shí)施例中，使用此信息來確定多個(gè)個(gè)人的當(dāng)前心率和/或呼吸速率。于是，使得使用環(huán)境系統(tǒng)提供的反饋取決于多個(gè)用戶的心率。其還可以在空間上進(jìn)行目標(biāo)確定并且利用空間目標(biāo)進(jìn)行區(qū)分。對于對應(yīng)于空間目標(biāo)的每個(gè)測量區(qū)域25，根據(jù)相關(guān)聯(lián)的信號(hào)30的譜中的局部最大值的頻率值來適配環(huán)境系統(tǒng)和/或視頻顯示系統(tǒng)8的輸出。圖3示出了特別用于計(jì)量生物學(xué)掃描設(shè)備13的替代方法。此方法也可開始于用于確定用于數(shù)字照相機(jī)2的適當(dāng)設(shè)置的初始化階段33。在數(shù)字圖像的序列被捕捉的同時(shí)，數(shù)據(jù)處理設(shè)備3使得數(shù)字照相機(jī)2的幀速率和曝光時(shí)間中的至少一個(gè)變化。確定序列的每個(gè)圖像中的至少一部分的(空間)平均亮度，并且對于設(shè)置的每個(gè)新的值來確定平均亮度中周期性波動(dòng)的幅度。為了本方法中的隨后的使用，選擇譜的至少一個(gè)范圍、特別是低頻范圍內(nèi)的幅度最小的那些設(shè)置。代替確定圖像的至少一部分的空間平均亮度，可以確定各個(gè)像素的亮度波動(dòng)。在初始化階段33之后，獲得在連續(xù)時(shí)間點(diǎn)拍攝的序列34(步驟35)。圖像序列34 表示在可能以規(guī)則或者不規(guī)則的間隔的連續(xù)時(shí)間點(diǎn)處捕捉的場景。所述場景包括人向計(jì)量生物學(xué)掃描設(shè)備13呈現(xiàn)他或她的證明。在下一步驟36中，處理圖像34以便移除非周期性背景信號(hào)。為此目的，形成對應(yīng)于圖像34的部分或者全部的時(shí)變平均亮度的校正信號(hào)。在所圖示的實(shí)施例中，然后將圖像 34的像素?cái)?shù)據(jù)與校正信號(hào)去相關(guān)。在此階段36中可以進(jìn)行另外的圖像處理，例如補(bǔ)償照相機(jī)運(yùn)動(dòng)。代替如圖2的方法中那樣應(yīng)用基于形狀和/或顏色識(shí)別的圖像分段方法，將網(wǎng)格放置在每個(gè)圖像34上(步驟37)，所述網(wǎng)格將每個(gè)圖像劃分為多個(gè)測量區(qū)域、或者潛在的測量區(qū)域。每個(gè)測量區(qū)域包括多個(gè)圖像點(diǎn)，即多個(gè)像素位置。然后(步驟38)，選擇至少一個(gè)、但通常是所有的測量區(qū)域，并且對于每個(gè)測量區(qū)域，建立對應(yīng)于該測量區(qū)域的圖像點(diǎn)的圖像34中的像素的亮度值的時(shí)變空間平均所對應(yīng)的相應(yīng)的信號(hào)39a-n。然后，將每個(gè)第一信號(hào)39a-n集中于其平均值(步驟40)以產(chǎn)生表示對應(yīng)于相關(guān)聯(lián)的測量區(qū)域的圖像點(diǎn)的像素的時(shí)變平均亮度的另外的信號(hào)41a-n，從而更好地對其中的變化進(jìn)行觀察。在變型中，此步驟40也包括可替代地包括在步驟36中的與校正信號(hào)去相關(guān)。 在不同的變型中，此步驟40包括濾波操作，例如對應(yīng)于信號(hào)的微分的濾波操作。用于提取第一信號(hào)的動(dòng)態(tài)范圍的1%的量級(jí)的變化的其它替代方案是可能的。
然后，確定信號(hào)41a-n的譜具有特定范圍內(nèi)的局部最大值的頻率(步驟42)。然后， 將其與表示一般個(gè)人的心率或者呼吸速率的所存儲(chǔ)的參考值進(jìn)行比較(步驟43)。同時(shí)，操作計(jì)量生物學(xué)掃描設(shè)備13以獲得用于驗(yàn)證圖像中人的身份的認(rèn)證數(shù)據(jù) (步驟44)。僅在至少表示對應(yīng)于相關(guān)聯(lián)的測量區(qū)域的圖像點(diǎn)的圖像中的像素的亮度值的時(shí)變空間平均中的變化的第二信號(hào)41a-n中的至少一個(gè)具有在與參考頻率在特定精度內(nèi)匹配的頻率下具有局部最大值的譜、并且認(rèn)證數(shù)據(jù)匹配所存儲(chǔ)的數(shù)據(jù)的情況下，使得能夠訪問系統(tǒng)1 (步驟45)。否則，拒絕使用系統(tǒng)1 (步驟46)。在圖3的方法的變型中，省略認(rèn)證步驟44。此變型是根據(jù)檢測至少一個(gè)生物或者特定種類的生物的存在而有條件地執(zhí)行功能的一般方法。例如，可以根據(jù)是否檢測到生物或者人類來打開和關(guān)閉照明單元10-12。作為另一個(gè)示例，已知平均心率隨著人變老而改變。由此，家長控制功能可以使用與成人的典型值的比較(步驟32)，以確定是成人還是孩子在尋求使用系統(tǒng)1。圖4A和4B圖示了控制系統(tǒng)1的功能的另外的方法。該功能可以是圖像分段功能或者用于使用環(huán)境系統(tǒng)和視頻顯示系統(tǒng)8中的至少一個(gè)來呈現(xiàn)可感知的輸出的功能。此方法再次開始于用于確定用于數(shù)字照相機(jī)2的適當(dāng)設(shè)置的初始化階段47。在數(shù)字圖像的序列被捕捉的同時(shí)，數(shù)據(jù)處理設(shè)備3使得數(shù)字照相機(jī)2的幀速率和曝光時(shí)間中的至少一個(gè)變化。確定序列的每個(gè)圖像中的至少一部分的(空間)平均亮度，并且對于設(shè)置的每個(gè)新的值來確定平均亮度中周期性波動(dòng)的幅度。為了本方法中的隨后的使用，選擇譜的至少一個(gè)范圍、特別是低頻范圍內(nèi)的幅度最小的那些設(shè)置。代替確定圖像的至少一部分的空間平均亮度，可以確定各個(gè)像素的亮度波動(dòng)。在初始化階段47之后，獲得在連續(xù)時(shí)間點(diǎn)拍攝的圖像序列48 (步驟49)。圖像序列48表示在可能以規(guī)則或者不規(guī)則的間隔的連續(xù)時(shí)間點(diǎn)處捕捉的場景。所述場景將通常包括多個(gè)人類。在下一步驟50中，處理圖像48以便移除非周期性背景信號(hào)。為此目的，形成對應(yīng)于圖像48的部分或者全部的時(shí)變平均亮度的校正信號(hào)。在所圖示的實(shí)施例中，然后將圖像 48的像素?cái)?shù)據(jù)與校正信號(hào)去相關(guān)。在此階段50中可以進(jìn)行另外的圖像處理，例如補(bǔ)償照相機(jī)運(yùn)動(dòng)。如圖3的方法中那樣，將網(wǎng)格放置在每個(gè)圖像48上(步驟51)，所述網(wǎng)格將每個(gè)圖像劃分為多個(gè)測量區(qū)域、或者潛在的測量區(qū)域。每個(gè)測量區(qū)域包括多個(gè)圖像點(diǎn)，即多個(gè)像素位置。然后(步驟52)，選擇所有的測量區(qū)域，并且對于每個(gè)測量區(qū)域，建立對應(yīng)于圖像點(diǎn)的圖像48中的像素的亮度值的時(shí)變空間平均所對應(yīng)的相應(yīng)的信號(hào)53a-n。然后，將每個(gè)第一信號(hào)53a-n集中于其平均值(步驟54)以產(chǎn)生至少表示對應(yīng)于相關(guān)聯(lián)的測量區(qū)域的圖像點(diǎn)的像素的時(shí)變平均亮度的變化的另外的信號(hào)^a-n。在變型中，此步驟M也包括可替代地包括在步驟50中的與校正信號(hào)去相關(guān)。在不同的變型中，此步驟 M包括濾波操作，例如對應(yīng)于信號(hào)的微分的濾波操作。用于提取第一信號(hào)的動(dòng)態(tài)范圍的1% 的量級(jí)的變化的其它替代方案是可能的。然后，確定信號(hào)55a-n的譜具有特定范圍內(nèi)的局部最大值的頻率(步驟56)。然后，將這些頻率彼此比較，以便根據(jù)頻率對圖像48進(jìn)行分段(步驟57)。換言之，與至少在特定精度下、在共用頻率下具有局部最大值的信號(hào)55相關(guān)聯(lián)的測量區(qū)域如果鄰近的話，則聚集
在一起。結(jié)果是具有相關(guān)聯(lián)的頻率值和位置信息的圖像分段的表格58。可能發(fā)生分隔開的分段基本與相同的頻率值相關(guān)聯(lián)。在該情況下，確定該分段中與測量區(qū)域相關(guān)聯(lián)的另外的信號(hào)55a-n的至少一個(gè)的相位(步驟59)。然后，根據(jù)相位來聚集至少與具有在共用頻率下具有局部最大值的譜的另外的信號(hào)相關(guān)聯(lián)的測量區(qū)域 (步驟60)。這需要確定信號(hào)的至少特定的頻率分量是否在特定的預(yù)定精度下彼此同相。通常，將對于對應(yīng)于之前確定的主導(dǎo)頻率的頻率分量執(zhí)行相位比較(步驟56)。為了效率，僅在對于測量區(qū)域獲得的信號(hào)具有在共用的頻率下具有相應(yīng)的局部最大值的譜的情況下，執(zhí)行確定測量區(qū)域的信號(hào)的至少特定頻率分量是否與另外的測量區(qū)域的信號(hào)的相同頻率分量同相。然而，在替代實(shí)施例中，做出由圖像48覆蓋的整個(gè)區(qū)域的相位圖。圖4B示出了相同的基本方法的兩個(gè)替代應(yīng)用。該方法的第一應(yīng)用是圖像分段。第二應(yīng)用是用于使環(huán)境條件適配于用戶的心理物理?xiàng)l件的系統(tǒng)。在圖像分段方法中，通過數(shù)據(jù)處理設(shè)備3輸出用于識(shí)別在聚集步驟60或步驟57 中獲得的分段的圖像分段數(shù)據(jù)。即使在人的圖像以不常見的角度捕捉或者由于使用廣角鏡頭而變形時(shí)，此方法也能夠輸出對應(yīng)于有生命的人的面部的圖像分段。由此，該方法比純粹基于識(shí)別特定的形狀或者顏色的方法更穩(wěn)定。此外，僅獲得對應(yīng)于實(shí)際的有生命的人的圖像分段。該方法能夠在有生命的人和諸如圖片、圖畫或者人體模型之類的有生命的人的復(fù)制品之間進(jìn)行辨別。由于亮度變化對于所有皮膚顏色發(fā)生，因此該方法不取決于人種。第二應(yīng)用包含在環(huán)境62 (例如房間)(參見圖5)內(nèi)定位使用聚集步驟60，57檢測的有生命的人，在所述房間中，放置了照相機(jī)2、照明單元10-12以及視頻顯示系統(tǒng)8。在圖 5的示例中，第一區(qū)域63對應(yīng)于一個(gè)有生命的人的位置，第二區(qū)域64對應(yīng)于第二個(gè)有生命的人的位置。控制器9以及因此照明單元10-12根據(jù)是否確定目標(biāo)對應(yīng)于區(qū)域63、64之一來控制(步驟66)以提供由空間目標(biāo)區(qū)分的在空間上目標(biāo)確定的輸出。更具體地，根據(jù)被確定為存在于區(qū)域63、64中的個(gè)人的心率和/或呼吸速率來適配輸出。由此，指向第一區(qū)域63的光可以具有不同于指向第二區(qū)域64的光的特性。區(qū)別可以包括光、亮度、照明變化的動(dòng)態(tài)
等等之一。類似的，可以適配視頻顯示系統(tǒng)8的輸出。具體地，在視頻顯示系統(tǒng)8包括三維成像系統(tǒng)時(shí)，可以根據(jù)例如心率來針對觀察的人適配深度和查看錐體?？杀贿m配的其它變量包括顯示的顏色深度、對比度和類似方面。還可以根據(jù)顯示所針對的人的心率和/或呼吸速率來變化信息內(nèi)容。使用圖4A和圖4B的方法，系統(tǒng)1能夠確定差異的、個(gè)性化的輸出所針對的不同的區(qū)域63、64有多少。應(yīng)注意上述實(shí)施例例示、而非限制本發(fā)明，并且本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)許多替代實(shí)施例，而不偏離所附權(quán)利要求的范圍。在權(quán)利要求中，任何放置在括號(hào)之間的參考標(biāo)號(hào)將不被解釋為限制權(quán)利要求。詞語“包括”不排除存在除了在權(quán)利要求中列出的元件或步驟之外的元件或步驟。元件前面的詞語“一”或“一個(gè)”不排除存在多個(gè)這種元件。僅僅在彼此不同的從屬權(quán)利要求中陳述特定手段，并不表明這些手段的組合不能被有利地使用。
這里概述的方法可以在像素?cái)?shù)據(jù)的單個(gè)顏色分量上執(zhí)行或者在顏色分量(例如， 紅色、綠色和藍(lán)色，或者青色、品紅色、黃色和基本色)中的兩個(gè)或者更多個(gè)的加權(quán)和上執(zhí)行。
權(quán)利要求
1.一種控制設(shè)備的功能的方法，包括-獲得在連續(xù)時(shí)間點(diǎn)拍攝的數(shù)字圖像的序列(19; 34; 48)；-選擇包括多個(gè)圖像點(diǎn)的至少一個(gè)測量區(qū)域(25);-對于至少一個(gè)測量區(qū)域(25)，-在至少多個(gè)圖像點(diǎn)處獲得至少表示像素值的組合的時(shí)變值中的變化的信號(hào)(30; 41; 55)，以及-至少在相對于比較數(shù)據(jù)的信號(hào)譜的感興趣的范圍內(nèi)確定信號(hào)(30; 41; 55)的至少一個(gè)特性，所述確定包括以下中的至少一個(gè)(i)確定信號(hào)(30; 41; 55)是否具有在與比較頻率在特定精度下匹配的頻率下具有局部最大值的譜；以及( )確定信號(hào)(30; 41; 55)的至少特定頻率分量是否在特定精度下與比較信號(hào)同相；以及-取決于所述確定是否是肯定的來控制所述功能。
2.根據(jù)權(quán)利要求1所述的方法，其中比較數(shù)據(jù)基于至少表示在另外選擇的測量區(qū)域中的至少多個(gè)圖像點(diǎn)處像素值的組合的時(shí)變值中的變化的至少一個(gè)信號(hào)(30; 41; 55)。
3.根據(jù)權(quán)利要求2所述的方法，其中每個(gè)另外選擇的測量區(qū)域是圖像上放置的網(wǎng)格中的多個(gè)測量區(qū)域之一。
4.根據(jù)權(quán)利要求2所述的方法，其中僅在對于測量區(qū)域以及與其分隔開的至少一個(gè)另外的測量區(qū)域獲得的信號(hào)(30; 41; 55)具有在特定精度下、在測量區(qū)域與至少一個(gè)另外的測量區(qū)域共用的頻率下具有相應(yīng)的局部最大值的譜的情況下，執(zhí)行確定信號(hào)(30; 41; 55)的至少特定頻率分量是否在特定精度下與比較信號(hào)同相。
5.根據(jù)權(quán)利要求1所述的方法，其中所述設(shè)備包括用于提供可感知的輸出的至少一個(gè)設(shè)備(8，10-12)，并且其中所述方法包括取決于對于對應(yīng)于目標(biāo)的測量區(qū)域(25)做出的確定是否是肯定的來控制所述設(shè)備以提供由空間目標(biāo)區(qū)分的在空間上目標(biāo)確定的輸出。
6.根據(jù)權(quán)利要求5所述的方法，其中，對于對應(yīng)于目標(biāo)的至少一個(gè)測量區(qū)域(25)，取決于局部最大值的頻率的值來適配可感知的輸出。
7.根據(jù)權(quán)利要求1所述的方法，其中取決于所述確定是否是肯定的來使得至少一個(gè)設(shè)備操作。
8.根據(jù)權(quán)利要求7所述的方法，其中其功能被控制的設(shè)備被包括在條件訪問系統(tǒng)(3，13)中。
9.根據(jù)權(quán)利要求1所述的方法，其中在完成初始化階段時(shí)使得數(shù)字圖像的序列(19; 34; 48)被照相機(jī)(2)捕捉，所述初始化階段包括-在照相機(jī)設(shè)置變化的同時(shí)，測量由照相機(jī)(2)獲取的圖像的至少部分中的周期性強(qiáng)度波動(dòng)，以及-選擇至少在頻率的范圍內(nèi)的所測量的周期性強(qiáng)度波動(dòng)被確定為最小的照相機(jī)設(shè)置的值。
10.根據(jù)權(quán)利要求1所述的方法，包括-確定校正信號(hào)，其對應(yīng)于除了測量區(qū)域(25)之外的圖像部分中至少多個(gè)圖像點(diǎn)處的像素值的組合的時(shí)變值，以及-對于每個(gè)測量區(qū)域(25)，將測量區(qū)域(25)中的至少多個(gè)圖像點(diǎn)處的像素值的組合的時(shí)變值和至少測量區(qū)域中的圖像的像素?cái)?shù)據(jù)中的至少一個(gè)與所述校正信號(hào)去相關(guān)。
11.一種用于檢測生物的存在的系統(tǒng)，包括-接口(4)，用于獲得在連續(xù)時(shí)間點(diǎn)拍攝的數(shù)字圖像的序列(19; 34; 48)； -圖像數(shù)據(jù)處理系統(tǒng)(3)，被配置為 -選擇包括多個(gè)圖像點(diǎn)的至少一個(gè)測量區(qū)域(25); -對于至少一個(gè)測量區(qū)域(25)，在至少多個(gè)圖像點(diǎn)處獲得至少表示像素值的組合的時(shí)變值中的變化的信號(hào)(30; 41; 55)，以及-至少在相對于比較數(shù)據(jù)的信號(hào)譜的感興趣的范圍內(nèi)確定信號(hào)(30; 41; 55)的至少一個(gè)特性，所述確定包括以下中的至少一個(gè)(i)確定信號(hào)(30; 41; 55)是否具有在與比較頻率在特定精度下匹配的頻率下具有局部最大值的譜；以及( )確定信號(hào)(30; 41; 55)的至少特定頻率分量是否在特定精度下與比較信號(hào)同相；以及取決于所述確定是否是肯定的來適配其輸出。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中圖像數(shù)據(jù)處理系統(tǒng)被配置為執(zhí)行根據(jù)權(quán)利要求 1-10中的任一項(xiàng)所述的方法。
13.一種計(jì)算機(jī)程序，其包括一組指令，該組指令在被并入機(jī)器可讀的介質(zhì)時(shí)能夠使得具有信息處理能力的系統(tǒng)執(zhí)行根據(jù)權(quán)利要求1-10中的任一項(xiàng)所述的方法。
全文摘要
一種控制設(shè)備的功能的方法，包括獲得在連續(xù)時(shí)間點(diǎn)拍攝的數(shù)字圖像的序列(19;34;48)。選擇包括多個(gè)圖像點(diǎn)的至少一個(gè)測量區(qū)域(25)。對于至少一個(gè)測量區(qū)域(25)，獲得至少多個(gè)圖像點(diǎn)處的至少表示像素值的組合的時(shí)變值中的變化的信號(hào)(30;41;55)，并且確定至少在相對于比較數(shù)據(jù)的信號(hào)譜的感興趣的范圍內(nèi)信號(hào)(30;41;55)的至少一個(gè)特性。所述確定包括以下中的至少一個(gè)(i)確定信號(hào)(30;41;55)是否具有在與比較頻率在特定精度下匹配的頻率下具有局部最大值的譜；以及(ii)確定信號(hào)(30;41;55)的至少特定頻率分量是否在特定精度下與比較信號(hào)同相。取決于所述確定是否是肯定的來控制所述功能。
文檔編號(hào)G06K9/00GK102341811SQ201080010757
公開日2012年2月1日 申請日期2010年3月1日 優(yōu)先權(quán)日2009年3月6日
發(fā)明者琴尼尼 G., 讓娜 V. 申請人:皇家飛利浦電子股份有限公司