控制高光譜圖像的分辨率的方法
【專利摘要】一種控制來自圖像傳感器的高光譜圖像的分辨率的方法，所述圖像傳感器包括像素和定義每個(gè)像素內(nèi)的子像素的至少一個(gè)濾波器，所述方法包括:在具有行和列子像素的陣列的圖像傳感器上定義窗口;基于所述高光譜圖像的至少一個(gè)預(yù)定義參數(shù)，對(duì)所述窗口內(nèi)的子像素進(jìn)行加權(quán)，以確定針對(duì)預(yù)定義參數(shù)的所述陣列的加權(quán)平均值;將所述窗口移動(dòng)預(yù)定數(shù)目的行或列;對(duì)所述圖像傳感器上的所有可能的窗口重復(fù)所述加權(quán)和移動(dòng)步驟;以及基于加權(quán)平均值處理所述高光譜圖像。
【專利說明】控制高光譜圖像的分辨率的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種控制高光譜圖像的分辨率的方法。
【背景技術(shù)】
[0002]常規(guī)成像系統(tǒng)以及高光譜成像系統(tǒng)都采集并記錄多個(gè)不同光譜帶中的電磁能量。通過將光譜帶信息組合成一個(gè)或許多通道以形成圖像的灰度或彩色表示，來顯示產(chǎn)生的圖像。高光譜圖像(HSI)裝置是一類同時(shí)記錄眾多空間圖片元素(稱為圖像傳感器上的像素)的許多離散光譜帶或顏色的能量的光譜儀。標(biāo)準(zhǔn)的寬帶成像器對(duì)一個(gè)寬光譜內(nèi)的所有檢測到的入射能量記錄每個(gè)像素的一個(gè)值，并通過二維陣列的檢測器創(chuàng)建兩個(gè)空間維度的圖像。HSI裝置與標(biāo)準(zhǔn)的寬帶成像器的不同之處在于，創(chuàng)建具有附加的光譜維度的圖像。每個(gè)HSI像素可以具有十個(gè)到幾百個(gè)記錄波長值。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的一個(gè)方面涉及一種控制來自圖像傳感器的高光譜圖像的分辨率的方法，所述圖像傳感器包括像素和定義每個(gè)像素內(nèi)的子像素(subpixel)的至少一個(gè)濾波器。所述方法包括:在包括行和列子像素的陣列的圖像傳感器上定義窗口；基于所述高光譜圖像的一個(gè)或多個(gè)預(yù)定義參數(shù)，對(duì)所述窗口內(nèi)的子像素進(jìn)行加權(quán)(weighting),以確定對(duì)于預(yù)定義參數(shù)的所述陣列的加權(quán)平均值；將所述窗口移動(dòng)預(yù)定數(shù)目的行或列，其中，所述預(yù)定數(shù)目小于所述陣列中相應(yīng)的行或列的數(shù)目；對(duì)所述圖像傳感器上的所有可能的窗口重復(fù)加權(quán)和移動(dòng)步驟；以及基于加權(quán)平均值處理所述高光譜圖像。
[0004]作為優(yōu)選，所述至少一個(gè)預(yù)定義參數(shù)為紅色、綠色和藍(lán)色光譜帶中至少一個(gè)的強(qiáng)度值。
[0005]作為優(yōu)選，所述至少一個(gè)預(yù)定義參數(shù)為所有紅色、綠色和藍(lán)色光譜帶的強(qiáng)度值。
[0006]作為優(yōu)選，所述至少一個(gè)濾波器為拜耳濾波器。
[0007]作為優(yōu)選，所述至少一個(gè)預(yù)定義參數(shù)為連續(xù)光譜帶的強(qiáng)度值。
[0008]作為優(yōu)選，所述強(qiáng)度值是由16個(gè)光譜帶確定的。
[0009]作為優(yōu)選，所述至少一個(gè)濾波器為包括微透鏡陣列(microlens array)的小透鏡(Ienslets)的高光譜濾波器。
【專利附圖】

【附圖說明】
[0010]在附圖中:
[0011]圖1是圖解說明通過高光譜數(shù)據(jù)立方體，通常已知的對(duì)高光譜圖像采樣的示意圖
/Jn ο
[0012]圖2是圖解說明根據(jù)本發(fā)明的實(shí)施例對(duì)從高光譜數(shù)據(jù)立方體得到的高光譜圖像進(jìn)行上采樣(upsampling)的方法的流程圖。
[0013]圖3是圖解說明對(duì)圖2的方法中通過高光譜數(shù)據(jù)立方體得到的高光譜圖像的第一像素進(jìn)行上采樣的示意圖示。
[0014]圖4是圖解說明對(duì)圖2的方法中通過高光譜數(shù)據(jù)立方體得到的高光譜圖像的第二像素進(jìn)行上采樣的示意圖示。
[0015]圖5是圖解說明對(duì)圖2的方法中通過高光譜數(shù)據(jù)立方體得到的高光譜圖像的第三像素進(jìn)行上采樣的示意圖示。
[0016]圖6是圖解說明對(duì)圖2的方法中通過高光譜數(shù)據(jù)立方體得到的高光譜圖像的第四像素進(jìn)行上采樣的示意圖示。
[0017]圖7是圖解說明對(duì)在圖2的方法中通過高光譜數(shù)據(jù)立方體得到的高光譜圖像進(jìn)行完整上采樣的示意圖示。
【具體實(shí)施方式】
[0018]在背景部分以及下文的描述中，出于解釋目的，列出了各種具體細(xì)節(jié)以便提供對(duì)本文中描述的技術(shù)的徹底理解。然而，對(duì)本領(lǐng)域技術(shù)人員而言顯然沒有這些具體細(xì)節(jié)也可以實(shí)施這些示例性實(shí)施例。在其它實(shí)例中，以圖形方式顯示了結(jié)構(gòu)和裝置以便便于對(duì)示例性實(shí)施例的描述。
[0019]參照附圖，描述這些示例性實(shí)施例。這些圖圖示了實(shí)現(xiàn)本文中描述的模塊、方法或計(jì)算機(jī)程序產(chǎn)品的特定實(shí)施例的一些細(xì)節(jié)。然而，這些圖示不應(yīng)當(dāng)理解為強(qiáng)加圖中可能出現(xiàn)的任何限制。方法和計(jì)算機(jī)程序產(chǎn)品可以提供于任何機(jī)器可讀介質(zhì)上以用來完成他們的操作。可以使用現(xiàn)有的計(jì)算機(jī)處理器，或者通過為此目的或其它目的包括的專用計(jì)算機(jī)處理器，或者通過硬件系統(tǒng)來實(shí)施這些實(shí)施例。
[0020]如上文指出的，本文中描述的實(shí)施例可以包括計(jì)算機(jī)程序產(chǎn)品，計(jì)算機(jī)程序產(chǎn)品包括用于執(zhí)行或者具有其上存儲(chǔ)的機(jī)器可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的機(jī)器可讀介質(zhì)。這種機(jī)器可讀介質(zhì)可以是任意可用介質(zhì)，它可以通過通用或?qū)Ｓ糜?jì)算機(jī)或具有處理器的其它機(jī)器訪問。作為示例，這種機(jī)器可讀介質(zhì)可包括RAM，ROM, EPROM, EEPROM, CD-ROM或其它光盤存儲(chǔ)器，磁盤存儲(chǔ)器或其它磁存儲(chǔ)裝置，或者可以用來執(zhí)行或存儲(chǔ)所需的形式為機(jī)器可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的程序代碼，并可以由通用或?qū)Ｓ糜?jì)算機(jī)或具有處理器的其它機(jī)器訪問的任意其它介質(zhì)。當(dāng)信息通過網(wǎng)絡(luò)或其它通信連接(或者硬連線、無線或者是硬連線或無線的組合)傳送或提供給機(jī)器時(shí)，機(jī)器適當(dāng)?shù)貙⑦B接視為機(jī)器可讀介質(zhì)。因此，任何這類連接被適當(dāng)?shù)胤Q作機(jī)器可讀介質(zhì)。上述的組合也包括在機(jī)器可讀介質(zhì)的范圍內(nèi)。機(jī)器可執(zhí)行指令包括，例如指令和數(shù)據(jù)，其引起通用計(jì)算機(jī)、專用計(jì)算機(jī)或?qū)Ｓ锰幚頇C(jī)執(zhí)行一個(gè)特定功能或功能組。
[0021]在方法步驟的一般背景下描述這些實(shí)施例，在一個(gè)實(shí)施例中，這些方法步驟可以通過程序產(chǎn)品實(shí)現(xiàn)，程序產(chǎn)品包括機(jī)器可執(zhí)行指令，諸如形式為例如由聯(lián)網(wǎng)環(huán)境中的機(jī)器執(zhí)行的程序模塊的程序代碼。通常，程序模塊包括具有執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定的抽象數(shù)據(jù)類型的技術(shù)效果的例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等。機(jī)器可執(zhí)行指令，相關(guān)的數(shù)據(jù)結(jié)構(gòu)以及程序模塊代表用于執(zhí)行本文中公開的方法步驟的程序代碼的示例。這種可執(zhí)行指令或關(guān)聯(lián)數(shù)據(jù)結(jié)構(gòu)的特定順序表示用于實(shí)現(xiàn)在這些步驟中描述的功能的相應(yīng)行為的例子。
[0022]可以在聯(lián)網(wǎng)環(huán)境中使用與具有處理器的一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)的邏輯連接來實(shí)現(xiàn)這些實(shí)施例。邏輯連接可包括局域網(wǎng)(LAN)和廣域網(wǎng)(WAN)，他們在這里作為例子而不是作為限制列出。這種聯(lián)網(wǎng)環(huán)境在辦公或企業(yè)計(jì)算機(jī)網(wǎng)絡(luò)、企業(yè)內(nèi)部網(wǎng)和因特網(wǎng)是常見的，可以使用各種不同的通信協(xié)議。本領(lǐng)域技術(shù)人員會(huì)認(rèn)識(shí)到這種聯(lián)網(wǎng)計(jì)算環(huán)境通常包括許多類型的計(jì)算機(jī)配置，包括個(gè)人計(jì)算機(jī)、手持裝置、多處理器系統(tǒng)、微處理器類型或可編程消費(fèi)電子，網(wǎng)絡(luò)PC、微型計(jì)算機(jī)、主機(jī)計(jì)算機(jī)等。
[0023]還可以在分布式計(jì)算環(huán)境中實(shí)施這些實(shí)施例，在分布式計(jì)算環(huán)境中，任務(wù)是通過通信網(wǎng)絡(luò)鏈接(通過硬鏈接、無線鏈接或通過硬鏈接或無線鏈接的組合)的本地和遠(yuǎn)程處理裝置執(zhí)行的。在分布式計(jì)算環(huán)境中，程序模塊可位于本地和遠(yuǎn)程存儲(chǔ)裝置中。
[0024]用于實(shí)現(xiàn)示例性實(shí)施例的全部或一部分的示例性系統(tǒng)可包括形式為計(jì)算機(jī)的通用計(jì)算裝置，包括處理單元、系統(tǒng)存儲(chǔ)器和系統(tǒng)總線，系統(tǒng)總線將包括系統(tǒng)存儲(chǔ)器的各個(gè)系統(tǒng)組件耦連到處理單元。系統(tǒng)存儲(chǔ)器可包括只讀存儲(chǔ)器(ROM)和隨機(jī)存取存儲(chǔ)器(RAM)。計(jì)算機(jī)還可包括用于讀寫磁硬盤的磁硬盤驅(qū)動(dòng)器，用于讀寫可移動(dòng)磁盤的磁盤驅(qū)動(dòng)器和用于讀寫可移動(dòng)光盤(諸如CD-ROM或其它光介質(zhì))的光盤驅(qū)動(dòng)器。驅(qū)動(dòng)器和驅(qū)動(dòng)器關(guān)聯(lián)的機(jī)器可讀介質(zhì)提供機(jī)器可執(zhí)行指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和用于計(jì)算機(jī)的其它數(shù)據(jù)的非易失性存儲(chǔ)。
[0025]在實(shí)施例中公開的方法的技術(shù)效果包括通過現(xiàn)有信息提高圖像的空間分辨率，這與提高傳感器的范圍，特別是當(dāng)結(jié)合傳感器使用對(duì)象檢測和跟蹤方法時(shí)有直接相互關(guān)聯(lián)。同樣，所述方法通過更加有效地使用系統(tǒng)所收集的數(shù)據(jù)提高了現(xiàn)有的光譜復(fù)合圖像技術(shù)。這種技術(shù)可以用在通過光譜立方體陣列生成復(fù)合圖像的任意系統(tǒng)上。在光譜立方體陣列系統(tǒng)上實(shí)施這種技術(shù)會(huì)將傳感器的空間分辨率提高與光譜立方體維度相同的因數(shù)。
[0026]圖1是圖解說明通過高光譜數(shù)據(jù)立方體12得到高光譜圖像14的全色表示的已知采樣的示意圖示。由高光譜數(shù)據(jù)立方體12形成的高光譜圖像14的全色表示是通過將從HSI裝置的像素收集的所有光譜帶的數(shù)據(jù)組合成單個(gè)陣列而形成的寬帶圖像。高光譜數(shù)據(jù)立方體12包括來自HSI裝置的圖像傳感器上的像素的值的陣列，這里，每個(gè)像素，諸如高光譜數(shù)據(jù)立方體12的22包括子像素陣列,在此實(shí)施例中數(shù)目為9,標(biāo)識(shí)為1-9,諸如，16,18,20。每個(gè)子像素，諸如像素22中的16，18，20表示特定的光譜帶，并包含于單個(gè)像素22內(nèi)。應(yīng)理解，取決于特定應(yīng)用，每個(gè)像素可以有更多或更少的子像素。由子像素表示的光譜帶可以是高光譜數(shù)據(jù)立方體12的9個(gè)光譜帶,或HSI裝置(如來自Surface Optics公司的S0C710)的16個(gè)光譜帶或與已知的拜耳濾波器(Bayer filter)的紅色、藍(lán)色和綠色對(duì)應(yīng)的三個(gè)不同的光譜帶，不過，取決于特定實(shí)施的需要，其它的光譜帶濾波器配置(包括由子像素表示的光譜帶對(duì)于一個(gè)像素中的多個(gè)子像素是相同的配置)是可行的。
[0027]高光譜數(shù)據(jù)立方體12通過轉(zhuǎn)換方法24被轉(zhuǎn)換成高光譜圖像14的全色表示，轉(zhuǎn)換方法24將給定的高光譜像素22的所有子像素(在此實(shí)施例中是1-9)的值轉(zhuǎn)換成單個(gè)全色像素28的值。在此實(shí)施例中，像素22中的9個(gè)子像素各自包括表示唯一波長強(qiáng)度的值，編號(hào)為I到9，并通過轉(zhuǎn)換方法24進(jìn)行組合。對(duì)高光譜數(shù)據(jù)立方體12中的所有高光譜像素重復(fù)用來組合每個(gè)高光譜像素22的所有子像素值的轉(zhuǎn)換方法24，在此實(shí)施例中，每個(gè)像素的中心位于與波長5 (16，26，44，46，48，50，52，54)對(duì)應(yīng)的子像素，并包括與波長5和8個(gè)最近的子像素對(duì)應(yīng)的子像素。
[0028]用來形成單個(gè)全色像素28的值的一種轉(zhuǎn)換方法24是對(duì)高光譜像素22的所有9個(gè)子像素的值取平均。通過使用規(guī)定的轉(zhuǎn)換方法24對(duì)高光譜數(shù)據(jù)立方體12中的數(shù)據(jù)采樣，高光譜圖像14將具有與高光譜數(shù)據(jù)立方體12相同的分辨率或像素?cái)?shù)。以與波長5對(duì)應(yīng)的子像素(16，26，27，44，46，48，50，52，54)為中心的高光譜數(shù)據(jù)立方體12的每個(gè)像素將被采樣，以生成單個(gè)全色像素，諸如28和30。
[0029]圖2是圖解說明根據(jù)本發(fā)明的實(shí)施例控制從高光譜數(shù)據(jù)立方體得到的高光譜圖像的分辨率的上采樣方法80的流程圖。使用方法80，高光譜圖像的每個(gè)全色像素可通過采樣的高光譜數(shù)據(jù)立方體的子像素的采樣子集來生成，而不考慮高光譜數(shù)據(jù)立方體的像素的邊界。方法80可包括步驟:定義窗口(步驟82)，對(duì)于給定窗口位置，對(duì)窗口中的子像素值進(jìn)行加權(quán)(步驟86)，給輸出高光譜圖像分配加權(quán)平均值(步驟88)，從第一窗口位置開始(步驟84)通過迭代窗口位置的集合，并遞增連續(xù)的窗口位置(步驟90)來重復(fù)地加權(quán)和移動(dòng)窗口的子像素，直到已經(jīng)處理完所有的窗口位置(步驟92)。
[0030]上采樣方法80的第一步可以是定義窗口 82，在圖像處理中也稱為掩模(mask)或模板(template)，以確定高光譜數(shù)據(jù)立方體的哪些子像素可以用來計(jì)算產(chǎn)生高光譜圖像的像素的值。窗口在所包括的子像素的數(shù)目和位置方面可以與像素的大小相同。然而，取決于實(shí)現(xiàn)方式，可以使用任意大小的窗口。窗口可以包括比像素中所包含的子像素多或少的子像素，并且可以是與定義像素的子像素集合的形狀完全不同的形狀。例如，包括矩形布置子像素的窗口可應(yīng)用于由具有正方形布置子像素的像素組成的高光譜數(shù)據(jù)立方體。
[0031]窗口可應(yīng)用到第一窗口位置(步驟84)，之后對(duì)窗口中的子像素值進(jìn)行加權(quán)(步驟86)。在每個(gè)窗口位置，可以對(duì)每個(gè)窗口子像素的值應(yīng)用加權(quán)過程。以數(shù)學(xué)方式，這可以表示為:
【權(quán)利要求】
1.一種控制來自圖像傳感器的高光譜圖像的分辨率的方法，所述圖像傳感器包括像素和定義每個(gè)像素內(nèi)的子像素的至少一個(gè)濾波器，所述方法包括: 在包括行和列子像素的陣列的圖像傳感器上定義窗口； 基于所述高光譜圖像的至少一個(gè)預(yù)定義參數(shù)，對(duì)所述窗口內(nèi)的子像素進(jìn)行加權(quán)，以確定針對(duì)所述至少一個(gè)預(yù)定義參數(shù)的所述陣列的加權(quán)平均值； 將所述窗口移動(dòng)預(yù)定數(shù)目的行或列，其中，所述預(yù)定數(shù)目小于所述陣列中相應(yīng)行或列的數(shù)目； 對(duì)所述圖像傳感器上的所有可能的陣列重復(fù)加權(quán)步驟和移動(dòng)步驟，并基于加權(quán)平均值處理所述高光譜圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述至少一個(gè)預(yù)定義參數(shù)為紅色、綠色和藍(lán)色光譜帶中至少一個(gè)的強(qiáng)度值。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于:所述至少一個(gè)預(yù)定義參數(shù)為所有紅色、綠色和藍(lán)色光譜帶的強(qiáng)度值。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述至少一個(gè)濾波器為拜耳濾波器。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述至少一個(gè)預(yù)定義參數(shù)為連續(xù)光譜帶的強(qiáng)度值。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于:所述強(qiáng)度值是由16個(gè)光譜帶確定的。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于:所述至少一個(gè)濾波器為包括微透鏡陣列的小透鏡的高光譜濾波器。
【文檔編號(hào)】G06T7/00GK103679758SQ201310384617
【公開日】2014年3月26日 申請日期:2013年8月29日 優(yōu)先權(quán)日:2012年8月29日
【發(fā)明者】E.D.比勒, S.A.M.拉西尼, B.T.奧基平蒂 申請人:通用電氣航空系統(tǒng)有限責(zé)任公司