用于處理攝影機中的視頻流的方法和裝置的制造方法
【專利摘要】一種用于處理視頻裝置中的圖像的方法，包括：讀取圖像；并且通過將與所述圖像相關(guān)的元數(shù)據(jù)嵌入所述圖像中或嵌有所述圖像，將所述圖像與所述元數(shù)據(jù)組合。所述方法進一步包括：在編碼器中對所述圖像編碼且利用所述元數(shù)據(jù)作為進一步處理中的輸入之前，將變換所述圖像和從所述圖像提取所述元數(shù)據(jù)組合。
【專利說明】
用于處理攝影機中的視頻流的方法和裝置
技術(shù)領(lǐng)域
[0001]本申請涉及用于處理視頻流的方法，具體涉及用于處理攝影機內(nèi)的視頻流的方法。
【背景技術(shù)】
[0002]在攝影機中，圖像傳感器用于獲取經(jīng)由攝影機的成像光學(xué)器件所獲取的圖像。圖像傳感器典型地是對輻射(典型地采用光的形式)敏感的像素矩陣。
[0003]從圖像傳感器讀取的原始圖像通常不適合直接顯示，并且針對這種情況存在若干原因，因此圖像在被轉(zhuǎn)發(fā)用于顯示之前經(jīng)受實質(zhì)處理。攝影機的一般目的在于獲取圖像并且制備圖像用于觀察。在如本文所使用的攝影機中，該攝影機大多數(shù)用于監(jiān)控操作，例如監(jiān)視。在這種攝影機中，圖像作為視頻流中的一幀離開攝影機，并且像這樣的攝影機將包括制備和轉(zhuǎn)發(fā)視頻流的編碼器。
[0004]處理步驟可以包括對像這樣的圖像執(zhí)行的操作，例如去馬賽克、平衡強度、平衡顏色、校正圖像失真，并且此外該圖像可被調(diào)整尺寸、旋轉(zhuǎn)以及最終在編碼器中被處理。所述步驟僅僅是示例，并且不以任何特定順序給出。
[0005]當處理圖像時，可以使用元數(shù)據(jù)，例如從原始圖像推導(dǎo)出的數(shù)據(jù)。僅僅給出幾個相關(guān)的示例，元數(shù)據(jù)可以涉及:
[0006]圖像各個部分的信噪比(SNR)ANR數(shù)據(jù)可以用于配置或改變攝影機內(nèi)部的濾波器，例如噪音過濾，并且SNR也可以用于觸發(fā)外部光以改進光狀況。
[0007]如果攝影機用于監(jiān)控或監(jiān)視目的，對已經(jīng)檢測到移動的區(qū)域的識別被典型地識另IJ，其中圖像中的變化典型地識別感興趣的事件。
[0008]對關(guān)于圖像處理特別感興趣(或者通過用戶被識別為特別令人感興趣)的預(yù)設(shè)的感興趣區(qū)域(ROI)的識別，例如面部、特定的形狀等。
[0009]這種類型的元數(shù)據(jù)的最終示例涉及用于圖像的壓縮圖譜(map)。壓縮圖譜可以是提供給編碼器以在空間上改變其壓縮參數(shù)的表格，并且壓縮圖譜可能與壓縮水平有關(guān)、與具有常數(shù)和閾值的表格有關(guān)、或者與用于塊類型決策的常數(shù)有關(guān)。通過將該圖像與之前的圖像進行比較，可以生成指示可以如何根據(jù)特定協(xié)議對圖像編碼的圖譜。
[0010]當原始圖像已經(jīng)從圖像傳感器被讀取時，元數(shù)據(jù)的上述示例可以從原始圖像提取，并且可用于下游過程。
[0011]元數(shù)據(jù)不必包括從圖像提取的在本公開上下文中被認為是元數(shù)據(jù)的信息。這種類型的元數(shù)據(jù)的示例可以與各種掩模(mask)有關(guān)，各種掩模在圖像處理的后期階段用于校正或調(diào)節(jié)圖像。另一個示例可以與用戶預(yù)設(shè)的感興趣區(qū)域相關(guān)。元數(shù)據(jù)也可以與用戶定義的感興趣區(qū)域、隱私掩模、優(yōu)先區(qū)域(根據(jù)需要圖像質(zhì)量應(yīng)當被優(yōu)先化的圖譜)、以及涉及攝影機設(shè)置的信息或者來自傳感器的輸入、縮放水平、快門速度、傾斜傳感器相關(guān)。
[0012]攝影機的成像光學(xué)器件常常會將一定程度的失真引入到圖像。一些常見的示例是桶形失真和枕形失真。其它類型的失真可以包括色差、單色像差以及相關(guān)的子組。
[0013]失真將意味著從圖像傳感器讀取的圖像不適合以其目前的形式顯示;在顯示該圖像之前可能存在對變換的需求。
[0014]所描述的圖像處理可以在編碼器、代碼轉(zhuǎn)換器或者視頻管理系統(tǒng)(只提及攝影機的一些可替代方案)中執(zhí)行，即處理可以相同或類似，而不管圖像是從圖像傳感器讀取的還是由文件提供的。

【發(fā)明內(nèi)容】

[0015]為了努力簡化圖像的處理，尤其是當處理包括圖像變換時，本申請公開了一種用于處理視頻裝置中的圖像的方法。該方法包括一系列的步驟，該一系列的步驟可以按照或可以不按照列出的順序執(zhí)行，并且包括:讀取圖像;通過將與圖像相關(guān)的元數(shù)據(jù)嵌入圖像中或者通過將該元數(shù)據(jù)嵌有圖像，來將圖像與元數(shù)據(jù)組合;變換圖像;從圖像提取元數(shù)據(jù);在編碼器中對圖像編碼；以及在進一步處理中利用元數(shù)據(jù)作為輸入。
[0016]當元數(shù)據(jù)在變換之前被嵌有圖像或嵌入圖像中時，該方法尤其是有利的，因為與圖像的特定區(qū)域(像素、像素塊等)相關(guān)的元數(shù)據(jù)在變換期間將跟隨該區(qū)域。進一步的效果是針對每組原數(shù)據(jù)和圖像僅必須執(zhí)行一次變換，而不是一個接一個的變換它們。
[0017]在一個或多個實施例中，進一步的處理包括對該圖像的處理或?qū)罄m(xù)圖像的處理，即例如在對特定圖像編碼期間，從一個圖像提取的元數(shù)據(jù)可以用于處理該特定圖像，但是元數(shù)據(jù)也可以例如通過改變設(shè)置用于處理后續(xù)圖像，以作為在特定圖像區(qū)域中特定信噪比的結(jié)果。
[0018]在其它或相關(guān)實施例中，處理可以包括像這樣的以與圖像隔離的方式處理元數(shù)據(jù)。處理可以包括對SNR元數(shù)據(jù)、移動元數(shù)據(jù)、對象識別元數(shù)據(jù)的估算等。SNR元數(shù)據(jù)可以用于避免在邊緣檢測中的錯誤，并且移動元數(shù)據(jù)可以用于在執(zhí)行移動檢測時支持分析部分，上述僅僅是提及一些不同的使用情況。
[0019]在相關(guān)的或分離的實施例中，進一步的處理可以包括諸如圖像分析、視覺應(yīng)用、碼率控制或者幀拼接之類的過程。這些過程顯然地可以隔離地執(zhí)行或組合地執(zhí)行。圖像分析意味著包括用于分析物體圖像、移動或者其它基本信息的過程，其它基本信息例如移動檢測、對象檢測、面部檢測等。視覺應(yīng)用設(shè)想處理圖像從而理解該圖像、模仿人類視覺和認知方法;并且示例包括對象識別、面部識別和人數(shù)統(tǒng)計等。
[0020]這種處理的結(jié)果或基礎(chǔ)可以從元數(shù)據(jù)形式的圖像或圖像序列得到，并且元數(shù)據(jù)可以隔離使用和/或用于支持其它過程。
[0021]在一個或幾個實施例中，嵌入圖像中的元數(shù)據(jù)或嵌有圖像的元數(shù)據(jù)已經(jīng)從圖像得至IJ，即圖像已經(jīng)使用各種算法被分析來獲得各種類型的元數(shù)據(jù)。這將在【具體實施方式】中進一步圖示出。在該方法用于攝影機中的情況中，該實施例多半會是可應(yīng)用的。原始圖像使用不同的算法來估算，并且結(jié)果可以采用元數(shù)據(jù)的形式。這種元數(shù)據(jù)然后為了方便可以嵌有圖像或嵌入圖像中。
[0022]在一個或多個實施例中，在變換圖像之前執(zhí)行將圖像從光柵格式轉(zhuǎn)換到塊格式，并且其中在使用元數(shù)據(jù)作為輸入來處理圖像之前執(zhí)行將圖像從塊格式轉(zhuǎn)換回光柵格式。
[0023]在一個或幾個實施例中，該方法包括在變換圖像之前和/或在變換圖像之后將圖像與元數(shù)據(jù)組合，其中元數(shù)據(jù)采用疊層的形式。關(guān)于本發(fā)明描述的幾個優(yōu)點被結(jié)合到在執(zhí)行變換之前元數(shù)據(jù)的嵌入，然而也存在僅在變換之后增加元數(shù)據(jù)的情況。
[0024]在一個或其它實施例中，通過將元數(shù)據(jù)作為附加顏色空間分量嵌入對應(yīng)的像素塊，來將元數(shù)據(jù)嵌有圖像。
[0025]在一個或多個其它實施例中，通過利用對應(yīng)于特定像素塊的元數(shù)據(jù)填補特定像素塊的顏色空間分量，來將元數(shù)據(jù)嵌有圖像。
[0026]在更多其它實施例中，通過替代圖像中的顏色或亮度信息的一部分，來將元數(shù)據(jù)嵌入圖像中。
[0027]在圖像是塊格式化圖像的實施例中，元數(shù)據(jù)可以被附加到在塊格式化圖像中的每個宏塊。
[0028]在一個或幾個實施例中，在將圖像轉(zhuǎn)發(fā)到編碼器之前，使元數(shù)據(jù)與圖像分離，而不是僅僅被提取。如果使用標準編碼器，那么在將元數(shù)據(jù)發(fā)送到編碼器之前移除元數(shù)據(jù)是有利的，因為存在嵌入圖像中的元數(shù)據(jù)可能引起編碼器中的故障或沖突。
[0029]在一個或多個實施例中，元數(shù)據(jù)可以從包括下列的組中選擇:信噪元數(shù)據(jù)、壓縮元數(shù)據(jù)、移動元數(shù)據(jù)、隱私掩模元數(shù)據(jù)和感興趣區(qū)域元數(shù)據(jù)、以及其組合。
[0030]在任何實施例中或者附加實施例中，視頻裝置可以是攝影機、編碼器、代碼轉(zhuǎn)換器、或者視頻管理系統(tǒng)(VMS)中的組件。
[0031]根據(jù)另一個方面，本發(fā)明涉及一種被配置成執(zhí)行前述或下述實施例中的一個或多個實施例的方法的視頻裝置。該視頻裝置可以包括:圖像處理管線，被配置成從圖像提取元數(shù)據(jù)，并且進一步被配置成將所述元數(shù)據(jù)或其它元數(shù)據(jù)嵌入到圖像中；變換器，被配置成接收具有被嵌入的元數(shù)據(jù)的圖像，并且根據(jù)已定義的設(shè)置來變換具有被嵌入的元數(shù)據(jù)的圖像;提取器，被配置成從具有元數(shù)據(jù)的變換后圖像提取元數(shù)據(jù)，并且轉(zhuǎn)發(fā)該圖像，例如到圖像編碼器，圖像編碼器被配置成根據(jù)特定協(xié)議來壓縮該圖像。
[0032]在一個或多個實施例中，元數(shù)據(jù)的至少所選擇的部分也被轉(zhuǎn)發(fā)以便進一步處理，并且所選擇的部分在壓縮圖像時被用作輸入。
[0033]本發(fā)明各種實施例的視頻裝置的更多特征不將被隔離地討論。相反地，視頻裝置的更多實施例可以從該方法的對應(yīng)實施例獲得，并且這些特征的效果也可以從對應(yīng)方法的效果推斷出。作為示例，視頻裝置可以是攝影機、視頻編碼器、視頻代碼轉(zhuǎn)換器或者VMS中的組件。
【附圖說明】
[0034]圖1是圖不本發(fā)明第一實施例的框圖。
[0035]圖2是圖示本發(fā)明第二實施例的框圖。
[0036]圖3是圖示本發(fā)明第三實施例的框圖。
[0037]圖4是圖示本發(fā)明第四實施例的功能圖。
【具體實施方式】
[0038]圖1圖不根據(jù)本發(fā)明第一實施例100的方法。
[0039]在描述圖1的細節(jié)之前，值得提及一些示例，這些示例中的對象在本說明書上下文中可包括在元數(shù)據(jù)的定義中。首先，感興趣的元數(shù)據(jù)是與圖像的不同區(qū)域具有一些關(guān)聯(lián)性的元數(shù)據(jù)。它可以是單個像素水平直到像素的不同尺寸塊。在上述之內(nèi)，廣義定義的較窄示例包括描述圖像屬性的統(tǒng)計或其它數(shù)據(jù)(例如顏色、感興趣區(qū)域、移動等)，其增加到或包括在背景部分給出的示例中。并入攝影機中的圖像處理器的分析單元可以檢測圖像的特定部分中的運動，或者存儲部分可以結(jié)合掩模，該掩模涉及圖像的各個部分的強度應(yīng)當如何被平衡，以便考慮圖像傳感器的無規(guī)律性。此外，元數(shù)據(jù)可以關(guān)于之前的圖像來跟蹤強度在該圖像中如何變化，以及圖像的各個部分如何移動，并且通過上述內(nèi)容，元數(shù)據(jù)將定義圖像的各個部分如何表現(xiàn)以及圖像在圖像流中應(yīng)當如何被編碼。元數(shù)據(jù)也涉及圖像的各個部分的信噪比、圖像各個部分的對比度、圖像各個部分的灰度直方圖等。除了上述之外，元數(shù)據(jù)應(yīng)當對單個像素水平或者像素組有影響，元數(shù)據(jù)優(yōu)選應(yīng)當旨在由下游過程使用，例如由編碼器使用，這是現(xiàn)如今的情況。
[0040]返回到圖1的框圖，元數(shù)據(jù)102與原始圖像104組合，因為元數(shù)據(jù)被嵌入106圖像中。
[0041]實際實施例可以以多種方式中的一種方式來執(zhí)行。第一示例能夠包括將元數(shù)據(jù)填補到現(xiàn)有顏色空間。典型地，U/V分量可以是一個字節(jié)，并且如果不會在較高程度上劣化圖像質(zhì)量，降低到6或7位是可接受的。然后，元數(shù)據(jù)能夠隨后被增加到現(xiàn)在可用的2或I位。由于該方案純粹是位于攝影機內(nèi)部，因此針對特定應(yīng)用能夠選擇最佳方式。第二個示例能夠是通過增加元數(shù)據(jù)的字節(jié)來擴大顏色空間分量。作為示例，U/C分量可以是I字節(jié)長，但是用于元數(shù)據(jù)的額外字節(jié)被增加到每個U/V分量，反而使其成為2字節(jié)長。
[0042]如何執(zhí)行圖像和元數(shù)據(jù)的組合的一些更具體的示例可以包括:
[0043]對于YUV422，針對U和V = UYVY,每個像素具有IxY字節(jié)并且每個2x1像素塊具有Ix字節(jié)，元數(shù)據(jù)的一個以上字節(jié)可以被增加到UYVY格式，使其成為UYVYM，其中M表示所增加的元數(shù)據(jù)；
[0044]對于YUV420，針對U和V = YYYYUV,每個像素具有IxY字節(jié)并且每個2x2像素塊具有Ix字節(jié)，對于每個2x2塊，可以增加元數(shù)據(jù)的一個以上字節(jié)，使其成為YYYYUVM，再次M表示所增加的元數(shù)據(jù);或者
[0045]對于NV12，元數(shù)據(jù)可以保存在分離的平面內(nèi)。除了對于NV12已經(jīng)存在的兩個Y和UV平面之外，可以增加用于元數(shù)據(jù)的第三平面。
[0046]元數(shù)據(jù)也可以作為一個或多個位被填補到Y(jié)、U或者V顏色空間分量中。
[0047]存在將元數(shù)據(jù)嵌入到圖像中的若干更多方式，并且上述的非常具體的示例因此不應(yīng)當被解釋為限制由權(quán)利要求限定的本發(fā)明。上述示例主要涉及其中元數(shù)據(jù)嵌有圖像的情況。另一種類別將是元數(shù)據(jù)嵌入圖像中，即例如顏色信息或亮度信息的部分被去除并且由元數(shù)據(jù)替代。一些圖像信息可以丟失，然而在將圖像發(fā)送到標準編碼器之前元數(shù)據(jù)不必被去除，并且這將參考編碼器來討論。
[0048]因此，元數(shù)據(jù)可以如例示的那樣嵌有圖像或嵌入圖像中。如果元數(shù)據(jù)太大，或者如果其適合于其它理由，則元數(shù)據(jù)可以由指針替代。將指針嵌入到元數(shù)據(jù)的實現(xiàn)方式和方法完全類似于嵌入像這樣的元數(shù)據(jù)，并且指針將以與元數(shù)據(jù)相同的方式，與像素、像素塊或者區(qū)域相關(guān)聯(lián)。為此，為了本說明書的目的，指向元數(shù)據(jù)的指針將包含在更寬定義的“元數(shù)據(jù)”內(nèi)。每個指針指向存儲器空間中實際元數(shù)據(jù)所位于的位置。
[0049]示例的列表不意味著是窮盡性的，而是意味著圖示存在用于實現(xiàn)圖像和元數(shù)據(jù)的組合的幾個選項，并且方法的選擇可以取決于上下文。
[0050]在數(shù)據(jù)的組合之后，圖像從也被稱為光柵格式的線格式轉(zhuǎn)換成塊格式108。該轉(zhuǎn)換并不需要用于所有實施例，因為一些變換(例如反扭曲)可能需要塊數(shù)據(jù)，而若干其它情況可以直接對光柵圖像操作。在本發(fā)明實施例中，每個塊被增加元數(shù)據(jù)，并且因此轉(zhuǎn)變是有意義的。事實上，能夠?qū)⒚繅K元數(shù)據(jù)用到光柵圖像，但是這種過程是不必要地難處理的。
[0051]現(xiàn)在包括嵌入的元數(shù)據(jù)的圖像可以在組合之后以各種方式被變換110。典型的變換包括:反扭曲；包括針對諸如桶形失真之類的光學(xué)失真以及其它圖像失真校正圖像；以及旋轉(zhuǎn)，其中圖像相對于特定參考系統(tǒng)被正確地設(shè)置。另一個示例是圖像穩(wěn)定化，其中像素信息可以左右移位以考慮在圖像采集期間不可控的移動。任意變換的結(jié)果可以是單個像素或像素塊在圖像中左右移位。
[0052]在變換110之后，盡管不必立即在其后，但是圖像被轉(zhuǎn)發(fā)到編碼器114，并且在到編碼器之前，因為待被解釋的原因，可以優(yōu)選地從圖像提取(和移除)元數(shù)據(jù)。在編碼器114中，圖像被編碼并且作為視頻流中的幀被轉(zhuǎn)發(fā)，或者作為分離的壓縮圖像被轉(zhuǎn)發(fā)。在提取元數(shù)據(jù)和對圖像數(shù)據(jù)編碼之前，組合后的圖像從塊格式翻譯回線格式112。因此，根據(jù)多個現(xiàn)有編碼技術(shù)中的一個可以執(zhí)行這樣的編碼，并且因為編碼不是本發(fā)明的核心，因此也可以包括未來的編碼技術(shù)。在編碼中，使用元數(shù)據(jù)或元數(shù)據(jù)的至少一部分。由于元數(shù)據(jù)被嵌入圖像中或嵌有圖像的事實，元數(shù)據(jù)將隨著像素或像素塊在變換步驟中移動而移動。因為在整個過程中保持到圖像的正確部分的結(jié)合，因此這意味著元數(shù)據(jù)可以容易地被提取并結(jié)合到圖像的正確部分。在進入實際編碼器之前可以優(yōu)選地實現(xiàn)元數(shù)據(jù)的提取，并且就允許使用任何標準的編碼器的意義來說，該理由是實用的。除了其可以是在進入編碼器之前提取元數(shù)據(jù)的理由的該方面，在編碼器內(nèi)提取元數(shù)據(jù)絕非是不可能的或者甚至是困難的，因此不應(yīng)當從由隨附權(quán)利要求限定的本發(fā)明的范圍排除。
[0053]當元數(shù)據(jù)被嵌入圖像中時，即當元數(shù)據(jù)替代例如顏色信息的部分時，這樣的信息仍然可以從圖像提取，但是在將該圖像發(fā)送到編碼器之前可能沒有必要從圖像移除元數(shù)據(jù)。編碼器不會認識到其就在那里，并且盡管其可能影響圖像的外觀，但是該效果是可忽略的。效果可能是元數(shù)據(jù)貫穿整個過程以及在過程之外被包含在圖像中。
[0054]對編碼器主要感興趣的元數(shù)據(jù)可以是壓縮元數(shù)據(jù)或者壓縮圖譜，然而本公開的進一步效果是會存在元數(shù)據(jù)的集合，該元數(shù)據(jù)與從編碼器發(fā)送出的圖像完美匹配，該圖像即是將被顯示給用戶的圖像或者在客戶端處進一步處理的圖像。這意味著元數(shù)據(jù)或者所選擇的元數(shù)據(jù)部分可以被轉(zhuǎn)發(fā)到下游過程。下游過程可以是攝影機約束條件內(nèi)的過程，然而也可以位于其外部。這在圖2中進一步被圖示并且涉及第二實施例。圖2實際上可以包括一系列實施例，該一系列實施例的共同之處在于，所提取的元數(shù)據(jù)在除了編碼之外的過程中使用，如在圖2中的116處指示的。在一個實施例中，元數(shù)據(jù)被轉(zhuǎn)發(fā)到碼率控制118。在另一個實施例中，元數(shù)據(jù)可以被轉(zhuǎn)發(fā)到外部應(yīng)用120和VMS(視頻管理系統(tǒng))和/或被轉(zhuǎn)發(fā)到內(nèi)部應(yīng)用。在又一個實施例中，元數(shù)據(jù)被轉(zhuǎn)發(fā)到幀拼接過程122，例如四個不同的視圖(每個視圖來自四個攝影機中的每個攝影機)被組合成顯示給操作者的單個視圖。這些實施例中的任何實施例可以自由組合。其它示例能夠包括邊緣檢測算法，該邊緣檢測算法在每個區(qū)域使用SNR以避免假陽性，即降低實際上不是邊緣的邊緣檢測風險。在另一個示例中，移動檢測算法的結(jié)果是作為元數(shù)據(jù)被嵌入圖像中或嵌有圖像，其中該結(jié)果可以被發(fā)送到邊界檢測算法以預(yù)期交叉的保護區(qū)域。
[0055]在如圖3所圖示的第三實施例中，在變換圖像的步驟之前或之后存在增加疊層(OVerlay)124的附加步驟，并且該疊層可以被認為是與圖像組合的另外元數(shù)據(jù)。疊層可以是隱私掩?；蛘呤菍⑽谋拘畔⒃黾拥綀D像以有益于用戶的文本層，并且取決于類型，其可以在圖像變換之前或之后被嵌入該圖像中，一般在變換之后才會增加文本層，因為該文本層可能不連接到特定的像素或區(qū)域，同時取決于掩模類型，可以在變換之前或之后增加隱私掩模。如果隱私掩模被動態(tài)地應(yīng)用，則識別待被遮蔽的區(qū)域的算法可以利用非變換圖像。
[0056]應(yīng)當指出，到目前為止公開的實施例可以自由組合以產(chǎn)生更多的實施例，例如，如在圖3圖示的第三實施例中使用的疊層源的增加可以被增加到圖2圖示的第二實施例中，這將產(chǎn)生第四實施例。
[0057]在圖1至圖3的示意性介紹之后，圖4圖示出本發(fā)明的一些更加詳細的應(yīng)用。圖4是根據(jù)本發(fā)明第四實施例的圖像處理的功能圖。因此，實施例包括已經(jīng)公開的若干特征，并且其也可以相應(yīng)地被分割成多個實施例。圖4的目的在于描述稍微不同于圖1至圖3的本發(fā)明的方面，并且由此增加對本發(fā)明的理解。
[0058]在第一步驟中獲取圖像。像這樣的圖像可以從圖像傳感器獲取，然而其也可以從文件讀取或者從另一個圖像源獲取。在本實施例中，樹被成像。該圖像以此簡化布局被分割成四個部分:左上(UL)、右上(UR)、左下(LL)和右下(LR)。
[0059]圖像然后進入圖像處理管線406，并且在第一步驟408中，可以檢測在每個部分中的移動，在本示例中，在左上部分檢測到移動ml并且在左下部分檢測到移動m2，如在輸出圖像410處所示。在本示例中在其它部分沒有檢測到移動。
[0060]在第二步驟412中，針對每個部分可計算信噪比，這導(dǎo)致從圖像的左上部分到右下部分計數(shù)的數(shù)值snr I至snr4，每個數(shù)值指示用于特定部分的SNR水平。
[0061]在信噪比的推導(dǎo)之后，識別感興趣區(qū)域414和壓縮圖譜416的步驟可以被執(zhí)行，并且相應(yīng)的元數(shù)據(jù)被嵌入圖像418中。
[0062]在圖像處理管線之后，結(jié)果是原始圖像具有所嵌入的元數(shù)據(jù)，并且對于圖像418的每個部分，結(jié)果是下述:
[0063]UL:ml,snrl,compl,
[0064]UR:snrl,roil,compl
[0065]LL:m2,snr3,compl
[0066]LR:snr4,roilcomp3
[0067]隨著組合后的圖像現(xiàn)在進入變換步驟420，本發(fā)明的優(yōu)點變得顯而易見。在本實施例中，變換對應(yīng)于圖像的180度旋轉(zhuǎn)，并且當圖像旋轉(zhuǎn)時，被嵌入的元數(shù)據(jù)也將被旋轉(zhuǎn)。對于元數(shù)據(jù)，這對應(yīng)于以順時針(或者就此事而論，是逆時針)移動兩個部分，但是顯而易見的是，不論變換，被嵌入的元數(shù)據(jù)將跟隨對應(yīng)的圖像數(shù)據(jù)，如在輸出圖像422中指示的。
[0068]在變換之后，元數(shù)據(jù)可以與圖像分離并且從圖像被分派424;并且與壓縮圖譜有關(guān)的元數(shù)據(jù)426可以與變換后的圖像428—起被轉(zhuǎn)發(fā)到編碼器430，來自編碼器430的結(jié)果是壓縮后的圖像432。其它類型的元數(shù)據(jù)，例如與信噪比有關(guān)的元數(shù)據(jù)434，可能與感興趣區(qū)域有關(guān)的元數(shù)據(jù)436組合，可以被轉(zhuǎn)發(fā)到其它應(yīng)用，例如在應(yīng)用平臺438處可用的應(yīng)用。
[0069]在本示例中，圖像被分割成四個部分，這應(yīng)當被認為是僅僅具有解釋性目的的非限制性示例。在其它實施例中，分割可以更接近像素尺寸，例如16x16像素至32x32像素，其能夠被分割成圖像塊，使得每個圖像將包含32x32部分或64x64部分，僅僅是給出一些進一步的示例。部分將不必在寬度和高度上是對稱的，它們也能夠?qū)D像分割成片段等。
[0070]圖4的實施例包括多個實施例和可替代方案。通過例如從圖4的流程選擇單個圖像處理步驟(例如步驟408或412或416等)以及省略其它步驟中的一個或多個步驟，圖4的實施例可以被分割成更多的實施例。
[0071]進一步對于關(guān)于元數(shù)據(jù)定義已經(jīng)公開的內(nèi)容，需要強調(diào)的是，元數(shù)據(jù)能夠與實際數(shù)據(jù)相關(guān)(對于本文中示例的大部分)，但是在不偏離由隨附權(quán)利要求限定的本發(fā)明范圍的情況下，元數(shù)據(jù)也包括到元數(shù)據(jù)表格的ID或者指針。此外，在圖像處理期間的任何階段可以使用元數(shù)據(jù)。說明書中已經(jīng)給出多個元數(shù)據(jù)示例，并且應(yīng)當強調(diào)的是，元數(shù)據(jù)的列表不是窮盡性的。本發(fā)明不涉及新類型的元數(shù)據(jù)，而是涉及在圖像處理管線中處理與圖像結(jié)合的元數(shù)據(jù)的新方式，如通過權(quán)利要求限定的。進一步關(guān)于這方面。在說明書的示例中，圖像至今為止從傳感器獲取，然而如果圖像從文件讀取或來自另一個輸入源，則本發(fā)明方法可能同樣是有利的。當然，這種圖像在某點可以從傳感器獲取，然而本發(fā)明不應(yīng)當被限制在該方面。
[0072]像這樣的方法及其實施例能夠孤立地使用以作為編碼序列或代碼轉(zhuǎn)換序列中的部分，并且術(shù)語“視頻裝置”用作通用術(shù)語，該通用術(shù)語包括但不限于示例化的裝置，即攝影機、視頻編碼裝置、視頻代碼轉(zhuǎn)換裝置以及視頻管理系統(tǒng)。
【主權(quán)項】
1.一種用于處理視頻裝置中的圖像的方法，包括: 讀取圖像； 通過將與所述圖像相關(guān)的元數(shù)據(jù)嵌入所述圖像中，來將所述圖像與所述元數(shù)據(jù)組合； 變換具有被嵌入的元數(shù)據(jù)的所述圖像，其中與像素或像素塊相關(guān)聯(lián)的元數(shù)據(jù)跟隨這種像素或像素塊的移動； 從所述圖像提取所述元數(shù)據(jù)，并且將所述該圖像轉(zhuǎn)發(fā)到編碼器； 在所述編碼器中對所述圖像編碼； 在進一步處理中利用所述元數(shù)據(jù)作為輸入。2.根據(jù)權(quán)利要求1所述的方法，其中所述進一步處理包括對所述圖像的處理或?qū)罄m(xù)圖像的處理。3.根據(jù)權(quán)利要求1所述的方法，其中所述進一步處理包括處理所述元數(shù)據(jù)。4.根據(jù)權(quán)利要求1所述的方法，其中所述進一步處理包括圖像分析、視覺應(yīng)用、碼率控制或幀拼接、及其組合;執(zhí)行碼率控制、幀拼接、動作觸發(fā);支持圖像分析工具及其組合。5.根據(jù)權(quán)利要求1所述的方法，進一步包括在將所述元數(shù)據(jù)嵌入所述圖像之前從所述圖像獲取所述元數(shù)據(jù)。6.根據(jù)權(quán)利要求1所述的方法，其中在變換所述圖像之前執(zhí)行將所述圖像從光柵格式轉(zhuǎn)換成塊格式，并且其中在使用所述元數(shù)據(jù)作為輸入來處理所述圖像之前將所述圖像從塊格式轉(zhuǎn)換回光柵格式。7.根據(jù)權(quán)利要求1所述的方法，包括在變換所述圖像之前和/或在變換所述圖像之后將所述圖像與元數(shù)據(jù)組合，其中所述元數(shù)據(jù)采用疊層的形式。8.根據(jù)權(quán)利要求1所述的方法，其中通過將所述元數(shù)據(jù)作為附加顏色空間分量嵌入對應(yīng)的像素塊，來將所述元數(shù)據(jù)與所述圖像組合。9.根據(jù)權(quán)利要求1所述的方法，其中通過利用對應(yīng)于特定像素塊的所述元數(shù)據(jù)填補所述特定像素塊的顏色空間分量，來將所述元數(shù)據(jù)與所述圖像組合。10.根據(jù)權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)替代所述圖像中的顏色或亮度信息的一部分。11.根據(jù)權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)被附加到塊格式化圖像中的每個宏塊。12.根據(jù)權(quán)利要求1所述的方法，其中在將所述圖像轉(zhuǎn)發(fā)到所述編碼器之前使所述元數(shù)據(jù)與所述圖像分離。13.根據(jù)權(quán)利要求1所述的方法，其中所述元數(shù)據(jù)從包括下列的組中選擇:信噪比元數(shù)據(jù)、壓縮元數(shù)據(jù)、移動元數(shù)據(jù)、隱私掩模元數(shù)據(jù)和感興趣區(qū)域元數(shù)據(jù)、以及其組合。14.根據(jù)權(quán)利要求1所述的方法，其中所述視頻裝置是攝影機、視頻編碼器、視頻代碼轉(zhuǎn)換器或者視頻管理系統(tǒng)。15.—種被布置成執(zhí)行權(quán)利要求1所述的方法的視頻裝置，所述視頻裝置包括: 圖像處理管線，被配置成從圖像提取元數(shù)據(jù)，并且進一步被配置成將所述元數(shù)據(jù)或其它元數(shù)據(jù)嵌入所述圖像中； 變換器，被配置成接收具有被嵌入的元數(shù)據(jù)的所述圖像，并且根據(jù)已定義的設(shè)置來變換具有所述被嵌入的元數(shù)據(jù)的所述圖像； 提取器，被配置成從具有所述元數(shù)據(jù)的變換后圖像提取所述元數(shù)據(jù)，并且轉(zhuǎn)發(fā)所述圖像到進一步處理，例如將所述圖像轉(zhuǎn)發(fā)到圖像編碼器，所述圖像編碼器被配置成根據(jù)特定協(xié)議來壓縮所述圖像。16.根據(jù)權(quán)利要求15所述的視頻裝置，其中所述視頻裝置是攝影機、視頻編碼器、視頻代碼轉(zhuǎn)換器或者視頻管理系統(tǒng)。
【文檔編號】H04N5/213GK106067974SQ201610230633
【公開日】2016年11月2日
【申請日】2016年4月14日 公開號201610230633.0, CN 106067974 A, CN 106067974A, CN 201610230633, CN-A-106067974, CN106067974 A, CN106067974A, CN201610230633, CN201610230633.0
【發(fā)明人】袁嵩, 亞歷山大·馬丁斯
【申請人】安訊士有限公司