專利名稱：用于提供媒體數(shù)據(jù)和元數(shù)據(jù)組合的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種提供媒體數(shù)據(jù)和元數(shù)據(jù)組合的方法、一種用于提供媒體數(shù)據(jù)和元數(shù)據(jù)組合的系統(tǒng)。本發(fā)明還涉及包括壓縮視頻和元數(shù)據(jù)組合的信號，其中壓縮視頻是可通過對來自圖像序列的圖像的圖像數(shù)據(jù)應(yīng)用至少一個視頻壓縮技術(shù)獲取的。本發(fā)明還涉及一種處理此信號的方法、用于處理此信號的系統(tǒng)和計算機程序。
背景技術(shù)：
US 2009/0192961 Al描述了一種用于基于用戶興趣適配媒體流的比特率的系統(tǒng)。 收集的生物信息數(shù)據(jù)可以用來確定用戶的情感興趣并且可選地調(diào)節(jié)媒體的比特率和/或?qū)Ш竭x項呈現(xiàn)給存儲的媒體的一個或多個選擇的部分。生物信息數(shù)據(jù)可以包括心率、呼吸率、皮膚電反應(yīng)、瞳孔擴張、血壓、體溫等?？梢詮膫鞲衅魇占镄畔?，該傳感器可以包括皮膚電傳感器、麥克風、溫度計、加速計等。在實施例中，用戶興趣的變化可以觸發(fā)可變比特率編碼器基于配置選項來調(diào)節(jié)所捕獲的音頻/視頻的比特率處理。例如，數(shù)碼攝影機可以在圖片捕獲期間獲取生物信息數(shù)據(jù)。當用戶興趣被檢測為高時，圖像分辨率和百萬像素計數(shù)會增加，將該圖片存儲為高保真度圖像。收集的生物信息數(shù)據(jù)可以作為元數(shù)據(jù)存儲在圖像中以用在重放和導航。已知系統(tǒng)的問題在于其限于在捕獲時可以獲取的生物信息數(shù)據(jù)。僅獲取了特征化附連到傳感器的人的生物信息數(shù)據(jù)。每個另外的人都需要所描述類型的附加生物信息傳感器，并且每個人必須合作。

發(fā)明內(nèi)容
期望的是提供一種上面所提及類型的方法、系統(tǒng)、信號和計算機程序，其允許利用特征化在視頻中表示的主題中的過程的元數(shù)據(jù)來高效提供視頻數(shù)據(jù)。為此，根據(jù)第一方面，提供了一種提供視頻數(shù)據(jù)和元數(shù)據(jù)組合的方法，包括 -獲取由視頻攝影機捕獲的圖像序列；
-從圖像序列中提取至少一個信號，
其中每個提取的信號特征化光強度和顏色的至少一個的局部時間變化； -對來自該序列的圖像的圖像數(shù)據(jù)應(yīng)用至少一個視頻壓縮技術(shù)以獲取壓縮的視頻數(shù)
據(jù)；
其中所述至少一個信號從在將所述至少一個壓縮技術(shù)應(yīng)用到來自那些圖像的圖像數(shù)據(jù)之前的狀態(tài)的圖像中提??；以及
-提供具有用于特征化在所述圖像的至少部分中表示的主體(subject)中的至少一個過程的元數(shù)據(jù)的壓縮的視頻數(shù)據(jù)，
這個過程引起從該主體捕獲的光的強度和顏色的至少一個的局部時間變化， 其中所述元數(shù)據(jù)至少基于所提取的信號的至少一個。圖像序列中表示的主體通常將是有生命的主體，但是可以是無生命的物體。引起光的強度和顏色的至少一個的局部時間變化的過程一般將是獨立于主體的任何外部可見部分的任何移動的內(nèi)部過程。然而，在一些應(yīng)用中它可以是主體的可見部分的內(nèi)部移動(例如，主體的部分相對于針對該主體固定的參考幀的旋轉(zhuǎn)或相互移動)的過程。在有生命的主體和內(nèi)部過程的情況下，提取的信號攜帶與至少一個生物信息信號相對應(yīng)的信息。通過提供壓縮的視頻數(shù)據(jù)，該方法是相對高效的。因為壓縮的視頻數(shù)據(jù)，尤其是使用預(yù)測編碼獲取的壓縮視頻數(shù)據(jù)，通常不再適合于提取表示光強度和顏色的至少一個中的局部時間變化的信號，該信號可以用來獲取特征化在圖像中表示的主體中的至少一個生物現(xiàn)象的數(shù)據(jù)，所以本方法提供了這樣的元數(shù)據(jù)，其對應(yīng)于特征化生物現(xiàn)象的這些數(shù)據(jù)，或者適合用于獲取這些數(shù)據(jù)。該方法基于從壓縮前的圖像序列中提取至少一個信號，以使得由圖像的至少部分中表示的主體中的過程引起的強度和/或顏色的小規(guī)模變化仍舊表示在所提取的信號中。通過基于這樣提取的信號，也即通過提取多個信號，該方法能夠用來獲取特征化圖像序列中表示的多個人的數(shù)據(jù)而無需提供附加的傳感器。該方法主要還獨立于有生命的主體的合作意愿，因為不需要在身體上放置傳感器。該方法例如在監(jiān)督應(yīng)用中適合于結(jié)合壓縮的視頻來提供生物信息數(shù)據(jù)。該生物信息數(shù)據(jù)可以用來標識需要更嚴密監(jiān)視的壓縮視頻部分。因為視頻被壓縮，具有相對低容量的數(shù)據(jù)傳輸網(wǎng)絡(luò)可以用于從攝影機系統(tǒng)收集視頻和元數(shù)據(jù)。該系統(tǒng)可以容易地被布置為使得通過能夠獲得壓縮的視頻的人確定事件的性質(zhì)來實現(xiàn)對由元數(shù)據(jù)信號傳遞的事件的短期響應(yīng)。該方法的實施例包括取決于至少基于提取的信號的至少一個的獲取部分的數(shù)據(jù)的分析結(jié)果來適配至少一個壓縮技術(shù)的應(yīng)用。這個實施例可以用來提供對于以下問題的解決方案，S卩如果存在在圖像序列中表示的更多的人并且與他們的每一個單獨相關(guān)的生物信息數(shù)據(jù)將可從元數(shù)據(jù)恢復，則可能需要更多的元數(shù)據(jù)。包括的元數(shù)據(jù)的數(shù)量可以根據(jù)需要(信息的數(shù)量)而變化，同時保持數(shù)據(jù) (壓縮的視頻和元數(shù)據(jù))的總量在界限內(nèi)?？商鎿Q地或另外，該實施例可以用來，根據(jù)圖像序列的特定空間部分是否表示感興趣的主體，將或多或少的壓縮應(yīng)用在那些特定空間部分上。例如，提取的信號可以用來確定在圖像中表示的有生命的人的面部位于何處?？梢詫D像的這些空間部分進行編碼以便保留更多的細節(jié)。在預(yù)測編碼用作壓縮技術(shù)的一部分的情況下同樣如此。如果確定特征化該過程的參數(shù)在對應(yīng)于圖像序列的特定段的間隔期間的時間上快速地變化，則可以應(yīng)用更少的插值來對作為壓縮的部分的這些段進行編碼。方法的實施例包括，在獲取圖像序列時，引起取決于至少基于所提取的信號的至少一個的獲取部分的數(shù)據(jù)的分析結(jié)果來調(diào)節(jié)使用至少一個攝影機捕獲圖像的過程的參數(shù)。該實施例使得可以使用相對廉價的攝影機而不會生成不可靠的特征化圖像序列中表示的主體中的過程的數(shù)據(jù)。代替必須使用高清攝影機，可以調(diào)節(jié)參數(shù)以使得攜帶與主體中的過程有關(guān)的信息的一個或多個提取信號的分量更清晰地存在于提取的信號中。在該實施例的一個變形中，影響用來將光聚焦到傳感器陣列上的光學系統(tǒng)設(shè)置的參數(shù)被適配。 因此，可以放大以捕獲與圖像序列中表示的情景中的特定部分有關(guān)的更多信息。因此可以增加用來創(chuàng)建一個或多個提取信號的像素數(shù)目。可替換地，可以生成攜帶與同一過程有關(guān)的信息的更多的提取信號，其將隨后導致更加可靠的、特征化主體中的過程的合意信號 (consensus signal)或值。在另一變形中，取決于至少基于所提取的信號的至少一個的獲取部分的數(shù)據(jù)的分析結(jié)果來調(diào)節(jié)用于將光強度轉(zhuǎn)換成離散的像素值的系統(tǒng)的至少一個參數(shù)。這些參數(shù)的示例包括圖像傳感器陣列的增益和離散化(discretisation)閾值。在此實施例中，典型地由于內(nèi)部(尤其是生物)過程，像素值攜帶更加可靠的表示顏色或強度中小規(guī)模變化的信息?？梢哉{(diào)節(jié)的其他參數(shù)包括曝光時間和幀速率(典型地用于將光強度轉(zhuǎn)換成離散像素值的系統(tǒng)的參數(shù)，因為數(shù)碼攝影機將通常不具有機械快門)。在實施例中，該方法通過包括在攝影機中的處理系統(tǒng)來執(zhí)行。這意味著處理系統(tǒng)被包括在與圖像傳感器陣列相同的外殼內(nèi)。該實施例極大地避免了未壓縮視頻數(shù)據(jù)的傳送，并且因而相對廉價地來實施。在特定變形中，攝影機提供有至少一個網(wǎng)絡(luò)接口，以使得由攝影機自身通過網(wǎng)絡(luò)可發(fā)送視頻數(shù)據(jù)和元數(shù)據(jù)的組合。在一個實施例中，該組合是壓縮的視頻和與壓縮的視頻流同步的元數(shù)據(jù)流的多路復用。合適的攝影機(所謂的IP攝影機)已經(jīng)存在。該方法的這個變形僅要求它們被合適地配置來執(zhí)行該方法。在實施例中，元數(shù)據(jù)包括特征化圖像序列中的光強度和顏色的至少一個中的局部時間變化的至少一個信號。因此，元數(shù)據(jù)包括基本上與提取的信號類似的信號。然而，它們可以是組合所提取的信號的兩個或更多個的操作的結(jié)果，例如取平均或聚類操作。在此實施例中，提供元數(shù)據(jù)和壓縮視頻的組合的系統(tǒng)無需以簡潔方式執(zhí)行得出特征化主體中的過程的可獲得的信息所必需的處理。該類型的處理由被布置為處理壓縮的視頻數(shù)據(jù)和元數(shù)據(jù)的組合的外部系統(tǒng)來執(zhí)行。相應(yīng)地，可以變化處理類型。此外，提供元數(shù)據(jù)和壓縮視頻的組合的系統(tǒng)可以更簡單。例如，一個昂貴的系統(tǒng)可以處理由若干攝影機提供的壓縮視頻數(shù)據(jù)和元數(shù)據(jù)。根據(jù)本發(fā)明的另一方面，提供了一種用于提供視頻數(shù)據(jù)和元數(shù)據(jù)組合的系統(tǒng)，包括
-用于捕獲圖像序列的攝影機的至少一個接口； -視頻數(shù)據(jù)處理系統(tǒng)，被配置為
-對來自該序列的圖像的圖像數(shù)據(jù)應(yīng)用至少一個視頻壓縮技術(shù)以獲取壓縮的視頻數(shù)
據(jù)，
-從圖像序列中提取至少一個信號，每個提取的信號特征化光強度和顏色的至少一個中的局部時間變化以及
-生成用于特征化在圖像的至少部分中表示的至少一個主體中的至少一個過程的元數(shù)據(jù)，
其中提取的信號從在將所述至少一個壓縮技術(shù)應(yīng)用到來自那些圖像的圖像數(shù)據(jù)之前的狀態(tài)的圖像中提取，并且其中元數(shù)據(jù)特征化引起從主體捕獲的光的強度和顏色的至少一個中的局部時間變化的過程并且元數(shù)據(jù)至少基于所提取的信號中的至少一個；以及輸出接口，用于提供具有元數(shù)據(jù)的壓縮視頻數(shù)據(jù)在實施例中，系統(tǒng)被配置為執(zhí)行根據(jù)本發(fā)明的方法。根據(jù)本發(fā)明的另一方面，提供了一種包括壓縮的視頻和元數(shù)據(jù)組合的信號，其中可通過對來自圖像序列的圖像的圖像數(shù)據(jù)應(yīng)用至少一個視頻壓縮技術(shù)獲取壓縮視頻，并且元數(shù)據(jù)包括特征化圖像序列中的光強度和顏色的至少一個中的局部時間變化的至少一個信號。一種被布置為接收和處理信號的系統(tǒng)可以獲取特征化圖像中表示的主體中的過程的信息。因為元數(shù)據(jù)包括至少一個特征化圖像序列中光強度和顏色的至少一個中的局部時間變化的信號，所以可以獲取各種類型這樣的信息。例如，提取的信號可以用來確定在圖像中表示的有生命的主體的心率或呼吸率。為此僅需要一種類型的元數(shù)據(jù)，也即提取的信號。一個效果是信號可以由相對不復雜的攝影機系統(tǒng)來生成。另一效果是不必實現(xiàn)大量不同類型的元數(shù)據(jù)的標準化(即關(guān)于指示元數(shù)據(jù)中的特定數(shù)值表示的變量的代碼的一致性)。 一種類型的元數(shù)據(jù)是足夠的。在變形中，元數(shù)據(jù)將指示表示光強度和顏色的至少一個中的局部變化的特定信號所屬的空間位置。在實施例中，可通過執(zhí)行根據(jù)本發(fā)明的方法獲取信號。根據(jù)本發(fā)明的另一方面，提供了一種處理根據(jù)本發(fā)明的信號的方法，其包括計算特征化圖像序列的至少部分中表示的主體中的至少一個過程的參數(shù)的至少一個值，這個過程引起從主體捕獲的光的強度和顏色的至少一個中的局部時間變化，將特征化圖像序列中的光強度和顏色的至少一個中的局部時間變化的信號的至少一個用作輸入。根據(jù)本發(fā)明的又一方面，提供了一種用于處理包括壓縮視頻和元數(shù)據(jù)的組合的信號的系統(tǒng)，包括
-接口，用于獲取根據(jù)根據(jù)本發(fā)明的信號，以及
-數(shù)據(jù)處理系統(tǒng)，用于計算特征化圖像序列的至少部分中表示的主體中的至少一個過程的參數(shù)的至少一個值，這個過程引起從主體捕獲的光的強度和顏色的至少一個中的局部時間變化，將特征化圖像序列中的光強度和顏色的至少一個中的局部時間變化的信號的至少一個用作輸入。根據(jù)本發(fā)明的再一方面，提供了一種包括指令集合的計算機程序，該指令集合當包含在機器可讀介質(zhì)中時能夠引起具有信息處理能力的系統(tǒng)執(zhí)行根據(jù)本發(fā)明的方法。


將參考附圖進一步詳細地描述本發(fā)明，其中
圖1是系統(tǒng)的示意框圖，該系統(tǒng)包括用于生成將壓縮視頻流與元數(shù)據(jù)組合的信號的攝影機系統(tǒng)和用于處理該組合的信號的系統(tǒng)；
圖2是示出通過用于生成信號的系統(tǒng)執(zhí)行的方法中的一些步驟的流程圖； 圖3是詳細示出作為圖2中示出的方法的實施例部分的生成表示圖像序列中強度和顏色的至少一個中的局部時間變化的信號的步驟的流程圖4是給出處理經(jīng)組合的信號的第一方法的概要的流程圖；和圖5是給出處理經(jīng)組合的信號的第二方法的概要的流程圖。
具體實施例包括第一和第二攝影機系統(tǒng)1、2、網(wǎng)絡(luò)3和視頻信號處理系統(tǒng)4的系統(tǒng)在此用來解釋提供和處理壓縮視頻數(shù)據(jù)和元數(shù)據(jù)組合的方法。在示出的實施例中，第一攝影機系統(tǒng) 1包括具有網(wǎng)絡(luò)接口 6的單個攝影機5。在另一實施例中，第一攝影機系統(tǒng)1包括計算設(shè)備和例如經(jīng)由直接鏈路與之連接且在該計算設(shè)備的控制下操作的攝影機的組合，該計算設(shè)備還處理原始未壓縮的視頻數(shù)據(jù)以生成壓縮視頻數(shù)據(jù)和元數(shù)據(jù)的組合。第二攝影機系統(tǒng)2可以具有與第一攝影機系統(tǒng)1相同的組成(build-up)，并且因此沒有被更詳細地示出。攝影機5包括圖像傳感器陣列7，例如已知類型的CXD或CMOS傳感器陣列。它還包括光學系統(tǒng)8以用于將來自情景的光聚焦到圖像傳感器陣列7上。該光學系統(tǒng)8將通常包括一個或多個透鏡、濾鏡、光圈等，其每一個可以在攝影機處理器9的控制下來調(diào)節(jié)。類似地，攝影機處理器9可以設(shè)置圖像傳感器陣列7的參數(shù)，包括積分時間、增益、離散化閾值等。注意的是，在在此參考圖像序列的情況下，其可以包括在不同顏色通道中的圖像序列的組合。因此，圖像可以意指兩個或更多個(例如3個)圖像幀的組合，每個像素值陣列表示所捕獲的在電磁頻譜的特定范圍內(nèi)的光強度。還要注意的是，攝影機5可以被布置為在電磁頻譜的可見部分或不可見部分中或者在兩者中操作。因此，圖像可以由表示在頻譜的紅外部分中的捕獲強度的像素值陣列組成，或者包括該像素值陣列。在示出的實施例中，提供了視頻編碼器10來壓縮原始圖像數(shù)據(jù)，并且從而生成壓縮的視頻。然而，處理器9也能夠處理原始未壓縮的圖像數(shù)據(jù)，為此提供了易失性存儲器單元Ilo在其他實施例中，與圖1示出的相比，攝影機5的組件的功能結(jié)合到更少的分離設(shè)備中或者分布在更多的設(shè)備上。示出的攝影機5被提供有用戶控制12和顯示器13。攝影機5和第二攝影機系統(tǒng)2每個被配置為提供包括壓縮的視頻數(shù)據(jù)流和元數(shù)據(jù)數(shù)據(jù)流的數(shù)據(jù)流。壓縮的視頻數(shù)據(jù)流和元數(shù)據(jù)數(shù)據(jù)流被提供有共同的時基(time base),以使得同步元數(shù)據(jù)和壓縮的視頻。在特定的實施例中，元數(shù)據(jù)數(shù)據(jù)流和壓縮的視頻數(shù)據(jù)流被提供在多路復用中(in a multiplex)。這里以示例的方式使用特定的應(yīng)用，其中攝影機5用來結(jié)合攜帶信息的元數(shù)據(jù)數(shù)據(jù)流提供壓縮的表示一個或多個人的視頻數(shù)據(jù)流，該信息或者直接特征化所表示的人中的一個或多個生物過程或者允許視頻信號處理系統(tǒng)4來導出該信息。攝影機5通過首先從未經(jīng)壓縮的圖像序列中提取一個或多個第一信號來生成元數(shù)據(jù)，每一個第一信號表示光強度或顏色或兩者的局部時間變化。因此，在此要描述的過程適合于獲取有關(guān)生物過程的元數(shù)據(jù)，所述生物過程引起通過有生命的人反射或傳遞的光的顏色或強度的變化。該過程尤其用來獲取有關(guān)(準)周期生物過程的元數(shù)據(jù)，諸如心跳和呼吸。然而，也可以尤其通過專注于電磁頻譜內(nèi)的適當范圍來特征化其他現(xiàn)象，諸如排汗。在一個在此將被更完全地描述的實施例中，攝影機5和第二攝影機系統(tǒng)2僅提供直接表示代表光和顏色的至少一個中的局部變化的信號的元數(shù)據(jù)，意指這些信號可以根據(jù)元數(shù)據(jù)被完全地重構(gòu)，或者至少只是針對相位差來被重構(gòu)。在另一實施例中，元數(shù)據(jù)表示直接特征化生物現(xiàn)象的參數(shù)值。在此實施例中，元數(shù)據(jù)所基于的、表示光和顏色的至少一個中的局部變化的信號不再能夠根據(jù)元數(shù)據(jù)被重構(gòu)。假設(shè)表示直接特征化生物現(xiàn)象的參數(shù)值的元數(shù)據(jù)要求攝影機5的更多智能，但是這意味著元數(shù)據(jù)的尺寸更小。在另一方面，視頻信號處理系統(tǒng)4僅獲得攝影機5被編程提供的生物信息(例如，在壓縮的視頻流中表示的人的心率值，但是沒有呼吸率值)。此外，必須存在使得視頻信號處理系統(tǒng)4能夠確定元數(shù)據(jù)中的數(shù)字值所相關(guān)的變量的性質(zhì)的協(xié)議。視頻信號處理系統(tǒng)4可以以通用計算機的形式來實現(xiàn)。因此，在圖1中，該系統(tǒng)示出為包括網(wǎng)絡(luò)接口 6、中央處理器15 (CPU)和主存儲器16、用戶輸入設(shè)備17、大容量存儲設(shè)備18和圖形單元19。該系統(tǒng)以示例的方式連接到兩個顯示設(shè)備20、21。在可替換實施例中，可以提供用于解壓縮所接收的壓縮視頻流的單獨解碼器設(shè)備，但是在示出的實施例中， 這通過CPU 15或者圖形單元19來完成。在示出的實施例中，經(jīng)解壓縮的視頻可以示出在顯示設(shè)備20、21之一上，而有關(guān)視頻中表示的有生命的主體中的生物過程的信息可以示出在另一個顯示設(shè)備上。該顯示可以是以圖形顯示的形式，包括與視頻中示出的情景相對應(yīng)的圖形表示，其中生物信息在與該生物信息與之相關(guān)的主體在視頻中表示的屏幕位置基本上相對應(yīng)的屏幕位置處示出。在可替換實施例中，生物信息疊加在視頻上。在一個實施例中，響應(yīng)于經(jīng)由用戶輸入設(shè)備17提供的輸入來疊加該生物信息。在又一實施例中，來自攝影機5的視頻和來自第二攝影機系統(tǒng)2的視頻可以例如示出在兩個顯示設(shè)備20、21的分離設(shè)備上以實現(xiàn)用于安全目的的監(jiān)督系統(tǒng)。生物信息可以用來突出(highlight)潛在有興趣的情景，例如那些表示具有升高的心率或排汗的人的情景。轉(zhuǎn)至圖2，現(xiàn)將描述可能在攝影機5中通過處理器9執(zhí)行的提供壓縮的視頻數(shù)據(jù)和元數(shù)據(jù)組合的方法示例。隨著每個獲取的下一個圖像(步驟22)，已經(jīng)獲取的圖像的子序列23被更新。在示出的實施例中，隨后使用遠程光體積描記術(shù)方法獲取第一信號集合Ma-n的每一個中的下一個點(步驟25)。在圖3中概要地示出一種可以獲取第一信號的方式。獲取圖像序列步驟27)， 該圖像序列可以是不同顏色通道中的兩個或三個圖像序列的組合。隨后，在可選但是有用的步驟中，向圖像沈應(yīng)用校正。這可以包括從圖像中的像素值中減去整個光強度等級(例如通過對圖像中的所有像素，實際上是不同顏色通道中的所有相應(yīng)的圖像幀的所有像素，取平均來確定)中的變化。目的是盡可能多地去除由于背景光照或者攝影機移動而導致的變化，以便隔離由于圖像中表示的主體中的過程而導致的圖像的空間區(qū)域中的局部變化。隨后(步驟四)，將定義多個測量地區(qū)的網(wǎng)格(每個包括多個像素點)疊加在圖像沈上。接下來(步驟30)，建立提取信號31a-n的第一集合，提取信號31a-n的每個值基于來自測量地區(qū)之一的像素值組合。這可以例如是平均數(shù)(average)。它也可以是均值(mean value)。它還可以是利用用于來自不同顏色通道的像素值的不同權(quán)重的加權(quán)平均數(shù)。因此， 例如，綠色可以是偏重的，因為它尤其對皮膚組織中的氧合血紅蛋白水平的變化敏感。類似地，可以給予藍色額外的權(quán)重，因為它對皮膚組織的含水量的變化和對皮膚表面的水分含量的變化敏感，并且因此表示脈動的血漿流動和排汗的變化等級。要注意的是，可以執(zhí)行聚類而不是執(zhí)行空間平均。也即，為測量地區(qū)中的多個像素位置的每一個生成表示強度變化的信號或信號段，并且這些信號或新號段隨后被聚類以針對每個測量地區(qū)生成單個提取信號31。在示出的實施例中，生成信號3 -!!的第二集合(步驟33)，每個信號32a-n表示信號31的第一集合中的相應(yīng)的一個中的變化?？梢酝ㄟ^使信號31以它們的均值(mean value)或者平均值(average value)為中心來生成信號32的第二集合。在可替換實施例中，執(zhí)行用于獲取小的信號變化的不同或者又一技術(shù)，例如高通或帶通濾波。如圖所示，第二集合的信號32a-n對應(yīng)于第一信號Ma-n。在其他實施例中，可以
9進行選擇。例如，可以丟棄那些具有很少或者沒有信息內(nèi)容的第二集合的信號3h-n。要注意的是，其中不使用網(wǎng)格的可替換實施例(未詳細示出)是可能的。作為代替， 圖像分割用來標識與有生命的人相對應(yīng)的那些圖像部分。隨后，在每個興趣區(qū)域內(nèi)選擇至少一個測量地區(qū)。貫通圖像序列沈跟蹤興趣區(qū)域或測量地區(qū)，并且以針對圖2的實施例解釋的方式從每個測量地區(qū)中提取信號。這個實施例稍微更加復雜，因為攝影機5中的處理器9必須能夠執(zhí)行圖像分割，以及用于識別特定類型的興趣區(qū)域的算法(例如面部識別算法)和用于貫通圖像序列跟蹤測量地區(qū)和/或興趣區(qū)域的算法。然而，例如在第二攝影機系統(tǒng)2包括攝影機和計算設(shè)備的情況下，該實施例可以是可行的并且會具有生成更少的第一信號Ma-n的效果，這些信號而且都有可能與對引起光強度和/或顏色中的局部變化的現(xiàn)象進行特征化相關(guān)。用于面部識別的算法在Violii，P.和Jones，Μ. J.于2001年7月13日在視覺統(tǒng)計和計算理論IEEE工作組學報上發(fā)表的“Robust real-time object detection” 中描述。跟蹤算法在De Haan等人于1993年10月在有關(guān)視頻技術(shù)的電路和系統(tǒng)的IEEE會報的第 3 卷，第 5 期，368-379 頁中發(fā)表的"True-motion estimation with 3-D recursive search block matching，，中描述。在獲取第一信號Ma-n的進一步的點的步驟25 (圖2)之后，可以創(chuàng)建元數(shù)據(jù)的流 34中的新值(步驟35)。元數(shù)據(jù)可以是預(yù)定的格式，它可以是私有的或者標準化的。如所提及，在一個實施例中，該步驟35使得必需進一步處理第一信號Ma-n，或者迄今獲取的其部分，以便于獲取直接對興趣現(xiàn)象進行特征化的參數(shù)的值。例如，可以使用滑動窗口將第一信號Ma-n變換成頻域，以便獲取在時間的連續(xù)點處的每個第一信號的頻譜。確定頻譜的至少有限范圍內(nèi)的優(yōu)勢頻率的值以便獲取例如表示心率或呼吸率的時變信號。這些值隨后可以被編碼成元數(shù)據(jù)。在實施例中，這些值與圖像中標識空間區(qū)域的數(shù)據(jù)相關(guān)聯(lián)，以使得心率或呼吸率值可以與在圖像序列中表示的若干生物中的相應(yīng)生物相關(guān)聯(lián)。在本文更詳細描述的實施例中，直接表示第一信號Ma-n的數(shù)據(jù)，與標識所關(guān)注的第一信號Ma-n從其提取的測量地區(qū)的位置的關(guān)聯(lián)數(shù)據(jù)一起，被編碼成元數(shù)據(jù)。標識測量地區(qū)的位置的數(shù)據(jù)可以是暗含的，例如按照其中值在包括在元數(shù)據(jù)中的表中被記錄的順序。迄今獲取的子序列23中的圖像的圖像數(shù)據(jù)被壓縮(步驟36)以獲取壓縮的視頻幀 37。在示出的該方法的實施例中，至少一個幀間壓縮技術(shù)被應(yīng)用于迄今獲取的子序列23中的圖像。此外，使用至少一個有損壓縮技術(shù)。通常，這些壓縮技術(shù)將去除小規(guī)模的強度和顏色變化。因此，提取表示由經(jīng)壓縮的視頻幀37中所表示的主體中的內(nèi)部過程引起的強度和顏色中的至少一個的時間變化的信號通常將是不可能的。為此，對獲取的未壓縮圖像23并行執(zhí)行提取步驟25和壓縮步驟36，或者首先執(zhí)行提取步驟25。元數(shù)據(jù)的流34和壓縮的視頻幀37被多路復用成單個數(shù)據(jù)流(步驟38)。每個都參考共同的時基，以使得第一信號Ma-n或者特征化內(nèi)部過程的參數(shù)的時變值與壓縮的視頻流同步，該內(nèi)部過程引起由第一信號24a-n特征化的時間變化。例如，通過MPEG-4系統(tǒng)標準(IS0/IEC 14496-1)提供組合數(shù)據(jù)流的合適格式。圖2中示出并在以上描述的方法的步驟構(gòu)成了提供壓縮視頻數(shù)據(jù)和元數(shù)據(jù)的組合的方法的獨立和完整的第一實施例。圖2中還示出了提供進一步效果的第二實施例的特定附加特征。
在該實施例中，執(zhí)行進一步的步驟39，其涉及迄今獲取的第一信號Ma-n的部分的分析。在示出的實施例中，在壓縮(步驟36)正在進行的同時并且也在圖像獲取(步驟22) 正在進行的同時執(zhí)行該步驟39。這樣做是因為分析結(jié)果用來并行引起捕獲圖像過程的至少一個參數(shù)的調(diào)節(jié)(步驟 40)以及引起被應(yīng)用的至少一個壓縮技術(shù)(步驟36)的適配(步驟41)?？梢允褂酶鞣N類型的分析和適配。在一個實施例中，分析是直接針對第一信號 24a-n的。在另一實施例中，執(zhí)行從表征引起強度和/或顏色的局部時間變化的內(nèi)部過程的第一信號Ma-n導出信息的過程的部分或全部，并且分析是針對以這種方式導出的信息的。例如，分析可以是針對第一信號Ma-n的光譜。在一個實施例中，第一信號2 -!!或者特征化相應(yīng)的第一信號2 -!!的值比較進行比較。因此，可以確定第一信號Ma-n是否具有在一定精度內(nèi)的共同的優(yōu)勢頻率。在某種意義上，這確定了圖像中表示了多少不同的人。如果存在若干人，則存在較少的范圍用于減少元數(shù)據(jù)的數(shù)量，以使得視頻壓縮率將增加。這確保了跨網(wǎng)絡(luò)3發(fā)送的數(shù)據(jù)的整體數(shù)量可以處于特定的限制內(nèi)。如果優(yōu)勢頻率僅存在于與圖像的特定空間區(qū)域相關(guān)聯(lián)的第一信號 Ma-n中，則那些區(qū)域中的壓縮可以比其他區(qū)域中的壓縮低。這是因為它們可能是人類觀察者最感興趣的區(qū)域。倘若是人類主體，則這些區(qū)域很可能對應(yīng)于人的身體。如果優(yōu)勢頻率在時間上快速改變，則幀間壓縮技術(shù)可以適于使用更少的預(yù)測，因為可能存在由圖像23所表示的情景中的許多變化，例如人來來往往。就結(jié)合捕獲圖像23的過程的參數(shù)調(diào)節(jié)的分析而言，這些包括對應(yīng)于圖像傳感器陣列7和用來將光聚焦到圖像傳感器陣列7上的光學系統(tǒng)8的至少一個的設(shè)置的參數(shù)。這尤其意味著情景的特定部分可以用更高的分辨率來捕獲，即使圖像傳感器陣列7的像素計數(shù)可能非常低。相關(guān)的分析可以是例如確定第一信號Ma-n的動態(tài)范圍和/或信噪比。如果信噪比為低，則攝影機5可以放大。如果動態(tài)范圍為低，則可以例如使得圖像傳感器陣列7 中的模數(shù)轉(zhuǎn)換器的量化步驟更小。進一步可能的分析包括確定與感興趣的生物現(xiàn)象(心率、 呼吸率)的頻率相對應(yīng)的第一信號Ma-n的一致的優(yōu)勢頻率，或者確定針對第一信號Ma-n 的頻域變換的頻率分布。通過以這樣的方式適配圖像捕獲過程和/或壓縮，在用來捕獲圖像的攝影機5硬件與生物信息信號的檢測器之間實現(xiàn)了閉合反饋回路。攝影機5的控制參數(shù)被連續(xù)自動地調(diào)節(jié)以便將檢測的生物信息信號的可靠性保持在恒定高的水平。在其中第一信號Ma-n的至少一些被直接編碼為元數(shù)據(jù)的示例中，視頻信號處理系統(tǒng)4可以執(zhí)行如圖4所示的方法或者如圖5所示的方法。在圖4所示的方法中，視頻信號處理系統(tǒng)4接收多路復用(步驟42)，并且將該元數(shù)據(jù)與經(jīng)壓縮的視頻流分離(步驟43)。該經(jīng)壓縮的視頻流被解壓(步驟44)。根據(jù)元數(shù)據(jù)，視頻信號處理系統(tǒng)4和標識該第一信號Ma-n與之關(guān)聯(lián)的圖像中的空間位置的關(guān)聯(lián)信息一起，確定第一信號Ma-n (步驟45)。應(yīng)用頻率變換以確定每個第一信號Ma-n的頻譜的至少有限范圍內(nèi)的優(yōu)勢頻率(步驟46)。這使用滑動窗口來重復完成， 以使得可以跟蹤優(yōu)勢頻率隨時間的發(fā)展。具體地，優(yōu)勢頻率的值可以和在時間上與在并行步驟44中獲取的解壓縮視頻序列中的點相對應(yīng)的點相關(guān)聯(lián)。因此，頻率信息和經(jīng)解壓縮的視頻可以一起顯示在顯示設(shè)備20、21之一上(步驟47)。在一個實施例中，確定顯示區(qū)域內(nèi)經(jīng)解壓縮的視頻中表示的有生命的主體的位置?；趶脑獢?shù)據(jù)中提取的信息為每個這樣的人確定特征化生物現(xiàn)象的至少一個參數(shù)的值，并且利用到表示人的位置處的可見鏈路來疊加顯示在解壓縮的視頻上。在另一實施例中，無論何時特征化在解壓縮的視頻中表示的主體的內(nèi)部過程的參數(shù)值滿足特定標準時，都會提供警告。因此，例如，無論何時視頻示出其心率值滿足特定標準(例如，指示醫(yī)學問題或安全風險的標準)的人時，都可以提供可聽或可見的警告。圖5示出了處理包括壓縮視頻數(shù)據(jù)和元數(shù)據(jù)(尤其是直接表示多個表示強度和顏色的至少一個的局部變化的第一信號Ma-n的元數(shù)據(jù))的組合的信號的類似方法。該元數(shù)據(jù)使得能夠針對每個第一信號Ma-n確定關(guān)聯(lián)的圖像位置。因此，視頻信號處理系統(tǒng)4能夠處理每個第一信號Ma-n以確定特征化信號的參數(shù)的至少一個關(guān)聯(lián)值，并隨后生成這些參數(shù)值的圖。在示出的示例中，獲取包括以元數(shù)據(jù)流34形式的第一信號Ma-n和壓縮視頻流的多路復用(步驟48)。將元數(shù)據(jù)流34與壓縮視頻流分離(步驟49)。隨后，獲取50第一信號 24a-n和將其每一個鏈接到圖像區(qū)域中的位置的關(guān)聯(lián)信息。第一信號Ma-n每一個都被分析以確定在它們的頻譜的至少有限范圍內(nèi)的優(yōu)勢頻率(步驟51)。隨后，在示出的實施例中， 為每個第一信號Ma-n確定優(yōu)勢頻率處的相位(步驟52)。在示出的實施例中，該信息用來生成相位圖(步驟53)。并行地，解壓縮該壓縮視頻流(步驟M)，并且還顯示該解壓縮的視頻(步驟55)。例如，相位圖可以顯示在第一和第二顯示設(shè)備20、21之一上，并且壓縮視頻可以顯示在另一個上。在可替換實施例中，解壓縮的視頻和相位圖之一用來增強另一個的顯示。因此，例如，在定義圖3的方法中的測量地區(qū)的網(wǎng)格相對粗糙的情況下，在解壓縮的視頻上執(zhí)行的圖像分割可以用來增強由相位圖提供的圖像。要注意的是，在其中提供給視頻信號處理系統(tǒng)4的元數(shù)據(jù)與第一信號Ma-n不再直接對應(yīng)的備選方案中，第一和第二攝影機系統(tǒng)1、2的一個或兩者可以執(zhí)行圖3的方法隨后的根據(jù)圖4或5的方法，以使得元數(shù)據(jù)流34將攜帶表示每個第一信號Ma-n的頻譜的至少有限范圍內(nèi)的優(yōu)勢頻率的數(shù)據(jù)，或者將攜帶表示相位圖的信息。在任一情況下，提供了使得能夠特征化攝影機捕獲的圖像中表示的多個主體中的每個主體的內(nèi)部過程的附加信息。應(yīng)當注意的是，上述實施例說明而不是限制本發(fā)明，并且本領(lǐng)域技術(shù)人員將能夠設(shè)計許多可替換的實施例而不脫離所附權(quán)利要求的范圍。在權(quán)利要求中，放置在括號之間的任何附圖標記不應(yīng)被理解為限制權(quán)利要求。詞語“包括”不排除存在除了權(quán)利要求中列出的那些之外的元素或步驟。在元素之前的詞語“一”或“一個”不排除存在多個這樣的元素。彼此不同的從屬權(quán)利要求中敘述特定措施的純粹事實并非指示這些措施的組合不能有利地使用。在實施例中，代替提供時域中的第一信號Ma-n，在元數(shù)據(jù)流34中提供了表示第一信號Ma-n變換成時頻域的信息。
1權(quán)利要求
1.一種提供視頻數(shù)據(jù)(37)和元數(shù)據(jù)(34)的組合的方法，包括 -獲取由視頻攝影機(5)捕獲的圖像序列(23);-從所述圖像序列(23)中提取至少一個信號(24)，其中每個提取的信號(24)特征化光強度和顏色的至少一個的局部時間變化； -對來自該序列(23)的圖像的圖像數(shù)據(jù)應(yīng)用至少一個視頻壓縮技術(shù)以獲取壓縮的視頻數(shù)據(jù)(37);其中所述至少一個提取的信號(24)從在將所述至少一個壓縮技術(shù)應(yīng)用到來自那些圖像的圖像數(shù)據(jù)之前的狀態(tài)的圖像中提取；以及-提供具有用于特征化在所述圖像的至少部分中表示的主體中的至少一個過程的元數(shù)據(jù)(34)的所述壓縮的視頻數(shù)據(jù)(37)，這個過程引起從該主體捕獲的光的強度和顏色的至少一個的局部時間變化， 其中所述元數(shù)據(jù)(34)至少基于所提取的信號(24)的至少一個。
2.如權(quán)利要求1所述的方法，包括取決于至少基于所述至少一個提取的信號(24)的至少一個的獲取部分的數(shù)據(jù)的分析結(jié)果來適配所述至少一個壓縮技術(shù)的應(yīng)用。
3.如權(quán)利要求1所述的方法，包括，當獲取所述圖像序列(23)時，引起取決于至少基于所提取的信號(24)的至少一個的獲取部分的數(shù)據(jù)的分析結(jié)果來調(diào)節(jié)使用至少一個攝影機(5)捕獲所述圖像的過程的參數(shù)。
4.如權(quán)利要求1所述的方法，其中該方法通過包括在攝影機(5)中的處理系統(tǒng)(9、11) 來執(zhí)行。
5.如權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)(34)包括特征化所述圖像序列(23)的光強度和顏色的至少一個中的局部時間變化的至少一個信號(24)。
6.用于提供視頻數(shù)據(jù)和元數(shù)據(jù)(34)的組合的系統(tǒng)，包括 -用于捕獲圖像序列(23)的攝影機的至少一個接口 ；-視頻數(shù)據(jù)處理系統(tǒng)(9、11)，被配置為-對來自該序列(23)的圖像的圖像數(shù)據(jù)應(yīng)用至少一個視頻壓縮技術(shù)以獲取壓縮的視頻數(shù)據(jù)(37)，-從圖像序列(23)中提取至少一個信號(24)，每個提取的信號(24)特征化光的強度和顏色中的至少一個的局部時間變化以及-生成用于特征化在圖像的至少部分中表示的至少一個主體中的至少一個過程的元數(shù)據(jù)(34)，其中所述至少一個提取的信號(24)從在將所述至少一個壓縮技術(shù)應(yīng)用到來自那些圖像的圖像數(shù)據(jù)之前的狀態(tài)的圖像中提取，并且其中所述元數(shù)據(jù)(34)特征化引起從主體捕獲的光的強度和顏色的至少一個的局部時間變化的過程并且所述元數(shù)據(jù)(34)至少基于所提取的信號(24)中的至少一個；以及-輸出接口(6)，用于提供具有元數(shù)據(jù)(34)的所述壓縮的視頻數(shù)據(jù)(37)。
7.如權(quán)利要求6所述的系統(tǒng)，被配置為執(zhí)行根據(jù)權(quán)利要求1-5中任一項所述的方法。
8.包括壓縮的視頻和元數(shù)據(jù)(34)的組合的信號，其中通過對來自圖像序列(23)的圖像的圖像數(shù)據(jù)應(yīng)用至少一個視頻壓縮技術(shù)可獲取所述壓縮的視頻(37)，并且所述元數(shù)據(jù) (34)包括特征化圖像序列(23)中的光強度和顏色的至少一個的局部時間變化的至少一個信號U4)。
9.如權(quán)利要求8所述的信號，可通過執(zhí)行根據(jù)權(quán)利要求1-5中任一項的方法來獲取。
10.處理根據(jù)權(quán)利要求8所述的信號的方法，包括計算特征化圖像序列(23)的至少部分中表示的主體中的至少一個過程的參數(shù)的至少一個值，這個過程引起從所述主體捕獲的光的強度和顏色的至少一個的局部時間變化；將特征化圖像序列(23)中的光強度和顏色的至少一個的局部時間變化的信號04)的至少一個用作輸入。
11.用于處理包括壓縮的視頻(37)和元數(shù)據(jù)(34)的組合的信號的系統(tǒng)，包括-接口 14，用于獲取根據(jù)權(quán)利要求8所述的信號，以及-數(shù)據(jù)處理系統(tǒng)(15、16)，用于計算特征化圖像序列(23)的至少部分中表示的主體中的至少一個過程的參數(shù)的至少一個值，這個過程引起從所述主體捕獲的光的強度和顏色的至少一個的局部時間變化；將特征化圖像序列(23)中的光強度和顏色的至少一個的局部時間變化的信號04)的至少一個用作輸入。
12.包括指令集合的計算機程序，該指令集合當包含在機器可讀介質(zhì)中時能夠引起具有信息處理能力的系統(tǒng)執(zhí)行根據(jù)權(quán)利要求1-5或權(quán)利要求10所述的方法。 全文摘要
一種提供視頻數(shù)據(jù)(37)和元數(shù)據(jù)(34)的組合的方法包括獲取由視頻攝影機(5)捕獲的圖像序列(23)。從圖像序列(23)中提取至少一個信號(24)，其中每個提取的信號(24)特征化光強度和顏色的至少一個的局部時間變化。對來自該序列(23)的圖像的圖像數(shù)據(jù)應(yīng)用至少一個視頻壓縮技術(shù)以獲取壓縮的視頻數(shù)據(jù)(37)。所提取的信號(24)從在將所述至少一個壓縮技術(shù)應(yīng)用到來自那些圖像的圖像數(shù)據(jù)之前的狀態(tài)的圖像中提取。提供具有用于特征化在圖像的至少部分中表示的主體中的至少一個過程的元數(shù)據(jù)(34)的壓縮的視頻數(shù)據(jù)(37)，這個過程引起從該主體捕獲的光的強度和顏色的至少一個的局部時間變化。元數(shù)據(jù)(34)至少基于所提取的信號(24)的至少一個。
文檔編號G06K9/00GK102598666SQ201080050073
公開日2012年7月18日 申請日期2010年11月1日 優(yōu)先權(quán)日2009年11月4日
發(fā)明者I.O.基倫科, M.P.博德拉恩德 申請人:皇家飛利浦電子股份有限公司