使用基于來自其它圖像的信息的函數(shù)的泛函產(chǎn)生目標圖像的制作方法
【技術(shù)領(lǐng)域】
[0001] 領(lǐng)域通常設(shè)及圖像處理，并且更具體地，設(shè)及包括使用與其它圖像有關(guān)的信息產(chǎn) 生給定目標圖像的圖像重建和其它處理。
【背景技術(shù)】
[0002] 圖像處理在許多不同的應(yīng)用中是重要的，并且該樣的處理可能設(shè)及多個不同類型 的圖像，包括二維（2D)圖像和S維（3D)圖像。例如，可W使用基于多個由對應(yīng)的相機捕獲 的二維圖像的=角剖分（triangulation)產(chǎn)生空間場景的=維圖像，所述相機被布置為使 得每一個相機具有不同的場景視圖。替代地，可W使用深度成像器（例如，結(jié)構(gòu)光（SL)相 機或飛行時（To巧相機）直接產(chǎn)生3D圖像?？蒞在機器視覺應(yīng)用（例如手勢識別、人臉檢 測和單人或多人跟蹤）中處理該些或其它類型的多個圖像。
[0003] 常規(guī)的圖像處理技術(shù)包括多種圖像重建技術(shù)，例如插值和超分辨率。當僅部分 的給定圖像的信息可用時，通常使用插值。例如，可W使用超分辨率技術(shù)來利用另一較高 分辨率的圖像來提高低分辨率圖像的分辨率。示例性的超分辨率技術(shù)可W基于馬爾可夫 (Markov)隨機場或雙邊濾波器。

【發(fā)明內(nèi)容】

[0004] 在一個實施例中，一種圖像處理系統(tǒng)包括圖像處理器，配置為基于多個函數(shù)構(gòu)建 指定的泛函，并使用構(gòu)建的泛函產(chǎn)生目標圖像，所述多個函數(shù)每一個與設(shè)及至少第一圖像 和第二圖像的圖像信息的對應(yīng)部分相關(guān)聯(lián)?？蒞從一個或多個圖像源接收輸入圖像，并且 可朗尋目標圖像提供到一個或多個圖像目的地。僅作為示例，所述多個函數(shù)可W包括函數(shù) (Al)，f2 (As)，…，ft(AJ的組，每一個包括來自所述圖像信息的多個輸入圖像Al,As,…， 中對應(yīng)的圖像的像素的函數(shù)，并且所述泛函可W是該組函數(shù)(Al)，f2 (As)，…，片(AJ的函 數(shù)。泛函可W是FOO的形式，其中X表示目標圖像，并且W該樣的布置，可W通過將泛函 FOO最小化產(chǎn)生目標圖像X。
[0005] 本發(fā)明的其它實施例包括但不限于方法、裝置、系統(tǒng)、處理設(shè)備、集成電路，W及其 中實現(xiàn)有計算機程序代碼的計算機可讀存儲介質(zhì)。
【附圖說明】
[0006] 圖1是在一個實施例中圖像處理系統(tǒng)的框圖。
[0007] 圖2是在圖1系統(tǒng)中的用于使用線性方程組產(chǎn)生目標圖像的處理的流程圖。
[0008] 圖3是在圖1系統(tǒng)中用于使用逼近迭代最小化產(chǎn)生目標圖像的處理的流程圖。
【具體實施方式】
[0009] 此處結(jié)合示例性的圖像處理系統(tǒng)W及用于使用基于來自其它圖像的信息的函數(shù) 的泛函產(chǎn)生目標圖像的實現(xiàn)技術(shù)示出了本發(fā)明的實施例，示例性的圖像處理系統(tǒng)包括圖像 處理器或其它類型的處理設(shè)備。然而，應(yīng)理解，本發(fā)明的實施例可更一般地適用于其中期望 使用來自多個其它圖像的信息產(chǎn)生目標圖像的任何圖像處理系統(tǒng)或相關(guān)聯(lián)的設(shè)備或技術(shù)。
[0010] 圖1示出了本發(fā)明一個實施例中的圖像處理系統(tǒng)100。圖像處理系統(tǒng)100包括圖 像處理器102,其從圖像源104接收圖像，并且將已處理的圖像提供到圖像目的地106。
[0011] 圖像源104包括例如3D成像器（例如，化相機或ToF相機）W及一個或多個2D 成像器（例如，配置來產(chǎn)生2D紅外圖像、灰度圖像、彩色圖像或其它類型的2D圖像的2D成 像器），上述元素可W任意組合。圖像源104之一的另一個例子是給圖像處理器102提供圖 像W用于處理的存儲設(shè)備或服務(wù)器。
[0012] 圖像目的地106示例性地包括，例如，人機界面的一個或多個顯示屏幕，或從圖像 處理器102接收已處理的圖像的至少一個存儲設(shè)備或服務(wù)器。
[0013] 盡管在本實施例中圖像處理器102被示出為與圖像源104和圖像目的地106分 離，但是圖像處理器102也可W至少部分地與一個或多個圖像源或圖像目的地組合在共同 的處理設(shè)備上。因此，例如，可W將圖像源104和圖像處理器102中的一個或多個共同地實 現(xiàn)在同一處理設(shè)備上。類似地，可W將圖像目的地106和圖像處理器102中的一個或多個 共同地實現(xiàn)在同一處理設(shè)備上。
[0014] 在一個實施例中，將圖像處理系統(tǒng)100實現(xiàn)為用于處理圖像W識別用戶手勢的視 頻游戲系統(tǒng)或者其它類型的基于手勢的系統(tǒng)。所公開的技術(shù)可W類似地適用于在各種各 樣的需要基于手勢的人機界面的其它系統(tǒng)中使用，并且還可適用于除手勢識別外的其它應(yīng) 用，例如機器人技術(shù)中的機器視覺系統(tǒng)W及其它工業(yè)應(yīng)用。
[0015] 使用至少一個處理設(shè)備實現(xiàn)本實施例中的圖像處理器102,并且圖像處理器102 包括禪接到存儲器112的處理器110。圖像處理器102還包括泛函構(gòu)建模塊114和目標圖 像產(chǎn)生模塊116。
[0016] 泛函構(gòu)建模塊114被配置為基于多個函數(shù)構(gòu)建指定的泛函，所述多個函數(shù)每一 個與至少設(shè)及第一圖像和第二圖像的圖像信息的對應(yīng)部分相關(guān)聯(lián)。此處使用的術(shù)語"泛 函"旨在包含，例如，多個函數(shù)的函數(shù)。更一般地，可W認為泛函提供從矢量空間到其基礎(chǔ) (underlying)標量場的映射，其中所述矢量空間可W是函數(shù)空間。此處使用的術(shù)語"圖像 信息"應(yīng)被寬泛地解釋W包含第一圖像和第二圖像本身、該些圖像的部分、或從該些圖像的 至少部分導(dǎo)出的信息。
[0017] 可W由一個或多個圖像源104提供第一圖像和第二圖像或從其導(dǎo)出的其它圖像 信息。例如，第一圖像源和第二圖像源可W給圖像處理器102分別提供第一圖像和第二圖 像，使得圖像處理器可W從該些第一圖像和第二圖像導(dǎo)出圖像信息。替代地，圖像源可W從 相應(yīng)的圖像導(dǎo)出信息，并將導(dǎo)出的信息提供到圖像處理器102。作為另一個例子，單個圖像 源可W給圖像處理器102提供多個圖像或相關(guān)聯(lián)的導(dǎo)出的信息。
[001引 目標圖像產(chǎn)生模塊116被配置為使用構(gòu)建的泛函產(chǎn)生目標圖像。將系統(tǒng)100中產(chǎn) 生的目標圖像提供到一個或多個圖像目的地106。
[0019] 在本實施例中用于在模塊114中構(gòu)建泛函的具體函數(shù)包括從圖像處理器102的若 干函數(shù)118選擇或獲得的一個或多個函數(shù)組。例如，在下面將結(jié)合圖2和圖3描述的處理 過程中，用于在模塊114中構(gòu)建泛函的函數(shù)包括函數(shù)(Al)，f2 (As)，…，片(\)的組，每一個 函數(shù)包括來自上述圖像信息的多個輸入圖像Al,As,…，\中的對應(yīng)的圖像的像素的函數(shù)。因 此，在該種布置中，泛函是函數(shù)組fi(Al),f2(A2)，…，片(AJ的函數(shù)。然而，在其它實施例中 可W使用其它類型的函數(shù)來構(gòu)建泛函。
[0020] 在泛函構(gòu)建模塊114中構(gòu)建的泛函可W是FOO的形式，其X表示目標圖像。目標 圖像產(chǎn)生模塊116可W被配置為通過將泛函FOO最小化來產(chǎn)生目標圖像X。該可W包括， 例如，如圖2處理中的線性方程組的求解，或如圖3的處理中的逼近迭代最小化。泛函F狂） 可W并入權(quán)重組和概率組中的一者或多者，所述組從圖像處理器102的相應(yīng)的權(quán)重120或 概率122選擇或W其它方式獲得。其它實施例可W使用許多其它類型和配置的泛函W及用 于利用泛函產(chǎn)生目標圖像的相關(guān)技術(shù)。
[0021] 在圖像處理系統(tǒng)100中使用來確定給定的目標圖像的多個圖像可W包括深度圖 像和非深度圖像的多種多樣的組合。例如，第一圖像可W包括來自圖像源104中的第一圖 像源的第一分辨率的深度圖像，而第二圖像可W包括來自圖像源104中的不同于第一圖像 源的另一個圖像源的基本上相同場景的具有與第一分辨率基本上相同的分辨率的2D圖 像。在該類型的實施例中，第一圖像源可W包括3D圖像源（例如，結(jié)構(gòu)光或ToF相機），而 第二圖像源可W包括2D圖像源（2D圖像源被配置用于產(chǎn)生如紅外圖像、灰度圖像或彩色圖 像的第二圖像）。如上所指示的，在其它實施例中，同一圖像源提供第一圖像和第二圖像兩 者。另外，可W不止使用第一圖像和第二圖像。
[0022] 應(yīng)注意，在泛函構(gòu)建模塊114的上下文中的術(shù)語"構(gòu)建"化及在目標圖像產(chǎn)生模塊 116的上下文中的術(shù)語"產(chǎn)生"應(yīng)被寬泛地解釋，W分別包括用于確定泛函和目標圖像的多 種多樣的不同的技術(shù)。
[0023] 如前所述，下面將結(jié)合圖2和圖3更詳細地描述使用圖像處理器102的泛函構(gòu)建 模塊114和目標圖像產(chǎn)生模塊116實現(xiàn)的示例性圖像處理操作。
[0024] 圖1實施例中的處理器110和存儲器112可W包括至少一個處理設(shè)備的相應(yīng)部 分，其中，所述處理設(shè)備包括微處理器、專用集成電路（ASIC)、現(xiàn)場可編程口陣列（FPGA)、 中央處理單元（CPU)、算術(shù)邏輯單元（ALU)、數(shù)字信號處理器值S巧或其它類似的處理設(shè)備 組件W及其它類型和布置的圖像處理電路，上述元素可W任意組合。
[0025] 可W至少部分地W軟件的形式實現(xiàn)泛函構(gòu)建模塊114和目標