改進的圖像傳感器像素校正技術(shù)的制作方法
【專利摘要】描述圖像傳感器像素校正技術(shù)。例如，在一個實施例中，設(shè)備可以包括處理器電路和成像管理模塊，并且成像管理模塊可以由處理器電路進行操作以便：確定圖像傳感器像素陣列中的像素的強度值，確定包括像素的強度值與像素的像素鄰域的復(fù)合強度值之間的差的像素的像素強度偏差，確定像素的像素校正閾值，并且當(dāng)像素強度偏差超過像素校正閾值時，確定像素的校正強度值。還描述其它實施例并要求其它實施例的權(quán)利。
【專利說明】改進的圖像傳感器像素校正技術(shù)

【技術(shù)領(lǐng)域】
[0001]一般來說，本文描述的實施例涉及數(shù)字圖像處理、去噪和像素值校正。

【背景技術(shù)】
[0002]當(dāng)圖像傳感器捕獲圖像時，所生成的圖像數(shù)據(jù)可能會遭受各種類型的噪聲。為了改善所捕獲的圖像的質(zhì)量，可以采用像素校正技術(shù)來對這樣的影響進行校正。確定特定像素的圖像數(shù)據(jù)是否需要校正可以基于圖像數(shù)據(jù)是否表示噪聲。而該確定又可基于該特定像素的圖像數(shù)據(jù)與周圍像素的圖像數(shù)據(jù)的比較。

【專利附圖】

【附圖說明】
[0003]圖1示出設(shè)備的一個實施例以及第一系統(tǒng)的一個實施例。
[0004]圖2示出圖像傳感器像素陣列的一個實施例。
[0005]圖3示出第一邏輯流的一個實施例。
[0006]圖4示出第二邏輯流的一個實施例。
[0007]圖5示出第二系統(tǒng)的一個實施例。
[0008]圖6示出第三系統(tǒng)的一個實施例。
[0009]圖7示出裝置的一個實施例。

【具體實施方式】
[0010]一般來說，各種實施例可以涉及圖像傳感器像素校正技術(shù)。例如，在一個實施例中，設(shè)備可以包括處理器電路和成像管理模塊，并且成像管理模塊可以由處理器電路進行操作以便:確定圖像傳感器像素陣列中的像素的強度值，確定包括像素的強度值與像素的像素鄰域的復(fù)合強度值之間的差的像素的像素強度偏差，確定像素的像素校正閾值，并且在像素強度偏差超過像素校正閾值時，確定像素的校正強度值。還可描述其它實施例，并要求其它實施例的權(quán)利。
[0011]各種實施例可以包括一個或多個元件。元件可以包括布置成執(zhí)行某些操作的任何結(jié)構(gòu)。根據(jù)給定的設(shè)計參數(shù)或性能約束集合的需要，每個元件可以作為硬件、軟件或其任意組合來實現(xiàn)。盡管作為舉例可以在某種拓撲中以有限數(shù)量的元件來描述實施例，但是根據(jù)給定實現(xiàn)的需要，實施例可以在備選拓撲中包含更多或更少的元件。值得注意的是，任何時候提到“一個實施例”或“實施例”時表示，結(jié)合該實施例描述的特定特征、結(jié)構(gòu)或特性包含在至少一個實施例中。說明書的各個地方出現(xiàn)短語“在一個實施例中”、“在一些實施例中”和“在各種實施例中”時不一定都指同一個實施例。
[0012]圖1示出設(shè)備100的框圖。如圖1所示，設(shè)備100包括多個元件,包括處理器電路102、存儲器單元104和成像管理模塊106。但是，實施例不限于該圖中所示出的元件的類型、數(shù)量或布置。
[0013]在各種實施例中，設(shè)備100可以包括處理器電路102。處理器電路102可以利用任何處理器或邏輯器件來實現(xiàn)，例如復(fù)雜指令集計算機(CISC)微處理器、精簡指令集計算(RISC)微處理器、超長指令字(VLIW)微處理器、x86指令集兼容處理器、實現(xiàn)指令集的組合的處理器、諸如雙核處理器或雙核移動處理器的多核處理器、或任何其它微處理器或中央處理單元(CPU)。處理器電路102還可以作為專用處理器來實現(xiàn)，例如控制器、微控制器、嵌入式處理器、芯片多處理器(CMP)、協(xié)處理器、數(shù)字信號處理器(DSP)、網(wǎng)絡(luò)處理器、媒體處理器、輸入/輸出(I/O)處理器、媒體訪問控制(MAC)處理器、無線電基帶處理器、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、可編程邏輯器件(PLD)等。例如，在一個實施例中，處理器電路102可以作為通用處理器來實現(xiàn),例如由Santa Clara, Calif.的Intel?公司制造的處理器。實施例關(guān)于此點不受限制。
[0014]在一些實施例中，設(shè)備100可以包括存儲器單元104或者布置成在通信上與存儲器單元104耦合。存儲器單元104可以利用能夠存儲數(shù)據(jù)的任何機器可讀或計算機可讀介質(zhì)來實現(xiàn)，包括易失性和非易失性存儲器。例如，存儲器單元104可以包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、動態(tài)RAM (DRAM)、雙倍數(shù)據(jù)速率DRAM (DDRAM)、同步DRAM(SDRAM)、靜態(tài)RAM (SRAM)、可編程ROM (PR0M)、可擦除可編程ROM (EPROM)、電可擦除可編程ROM(EEPROM)、閃速存儲器、諸如鐵電聚合物存儲器的聚合物存儲器、雙向存儲器、相變或鐵電存儲器、硅-氧化物-氮化物-氧化物-硅(SONOS)存儲器、磁或光卡、或任何其它類型的適于存儲信息的介質(zhì)。值得注意的是，存儲器單元104的某個部分或全部可以包含在與處理器電路102相同的集成電路上，或者存儲器單元104的某個部分或全部可以部署在位于處理器電路102的集成電路外部的集成電路或其它介質(zhì)(例如，硬盤驅(qū)動器)上。盡管在圖1中存儲器單元104包含在設(shè)備100內(nèi)，但是在一些實施例中，存儲器單元104也可以位于設(shè)備100的外部。實施例關(guān)于此點不受限制。
[0015]在各種實施例中，設(shè)備100可以包括成像管理模塊106。成像管理模塊106可以包括可以進行操作以便接收、生成、處理、分析、修改、優(yōu)化和/或傳送圖像數(shù)據(jù)的邏輯和/或電路。在一些實施例中，處理器電路102可以進行操作以便執(zhí)行成像應(yīng)用107，并且成像管理模塊106可以進行操作以便基于從成像應(yīng)用107接收的信息、邏輯、數(shù)據(jù)和/或指令執(zhí)行一個或多個操作。成像應(yīng)用107可以包括以圖像捕獲、生成、處理、分析和/或編輯能力為特征的任何應(yīng)用。例如，在各種實施例中，成像應(yīng)用107可以包括數(shù)字圖像處理應(yīng)用。實施例不限于該示例。
[0016]圖1還不出系統(tǒng)140的框圖。系統(tǒng)140可以包括設(shè)備100的上述任何兀件。系統(tǒng)140還可包括圖像傳感器142。在各種實施例中，圖像傳感器142可以包括能夠通過將光能轉(zhuǎn)換為對應(yīng)于那些圖像的圖像數(shù)據(jù)而捕獲一個或多個圖像的任何裝置。圖像傳感器142的示例可以包括補充金屬氧化物半導(dǎo)體(CMOS)圖像傳感器、電荷耦合器件(CXD)圖像傳感器和混合(XD/CM0S圖像傳感器，但是實施例不限于這些示例。在一些實施例中，圖像傳感器142可以包含在諸如數(shù)字相機的圖像捕獲裝置之上或之內(nèi)。在各種其它實施例中，圖像傳感器142可以包括獨立裝置。在一些實施例中，圖像傳感器142可以包括像素陣列144。像素陣列144可以包括光傳感器陣列，其中每個光傳感器可以視為是一個像素，并且可以進行操作以便測量特定顏色和/或波長的入射光。在各種實施例中，可以在圖像傳感器142內(nèi)利用一個或多個分色組件和/或技術(shù)，以便將特定顏色和/或波長的光引導(dǎo)到像素陣列144內(nèi)的特定像素，這些特定像素可以進行操作以便測量那些特定顏色和/或波長。例如，在一些實施例中，圖像傳感器142可以包括將綠光、紅光和藍光引導(dǎo)到像素陣列144的相應(yīng)像素的拜耳過濾馬賽克。實施例關(guān)于此點不受限制。
[0017]在一些實施例中，設(shè)備100和/或系統(tǒng)140可以配置成在通信上與顯示器145耦合。顯示器145可以包括能夠顯示從處理器電路102接收的信息的任何顯示裝置。顯示器145的示例可以包括電視機、監(jiān)視器、投影儀和計算機屏幕。例如，在一個實施例中，顯示器145可以由液晶顯示器(IXD)、發(fā)光二極管(LED)或其它類型的合適的可視界面來實現(xiàn)。例如，顯示器145可以包括觸敏彩色顯示屏。在各種實現(xiàn)中，顯示器145可以包括包含嵌入式晶體管的一個或多個薄膜晶體管(TFT)IXD。在各種實施例中，顯示器145可以布置成顯示圖形用戶界面，圖形用戶界面可以進行操作以便直接或間接控制成像應(yīng)用107。例如，在一些實施例中，顯示器145可以布置成顯示由成像應(yīng)用107所生成的圖形用戶界面。在這些實施例中，圖形用戶界面可以使得能夠?qū)Τ上駪?yīng)用107進行操作以便接收、生成、處理、分析、修改、優(yōu)化和/或傳送圖像數(shù)據(jù)。實施例關(guān)于此點不受限制。
[0018]在一般操作中，設(shè)備100和/或系統(tǒng)140可以進行操作以便處理圖像數(shù)據(jù)。例如，在各種實施例中，設(shè)備100和/或系統(tǒng)140可以進行操作以便處理像素強度值陣列108，陣列108可以包括由圖像傳感器142基于由圖像陣列144所提供的光測量而生成的像素強度值。在一些實施例中，設(shè)備100和/或系統(tǒng)140可以進行操作以便對像素強度值陣列108執(zhí)行像素值校正。實施例關(guān)于此點不受限制。
[0019]在各種實施例中，圖像傳感器142可以進行操作以便通過基于由像素陣列144所提供的光測量生成像素強度值陣列108而捕獲圖像。例如，在一些實施例中，圖像傳感器142可以包含在數(shù)字相機內(nèi)，并且用戶可以按壓數(shù)字相機上的曝光按鈕。然后，可以將像素陣列144曝光至穿過數(shù)字相機的孔的光，并且其中的每個像素可以進行操作以便測量特定顏色和/或頻率的光?；谶@些測量，圖像傳感器142可以進行操作以便生成像素強度值陣列108。像素強度值陣列108可以包括多個像素強度值。在各種實施例中，像素強度值陣列108中的每個像素強度值可以對應(yīng)于像素陣列144中的特定像素。對于像素陣列144中的任何給定像素，對應(yīng)于該像素的像素強度值可以指示如該像素所測量的特定顏色和/或頻率的光的強度。實施例關(guān)于此點不受限制。
[0020]圖2示出根據(jù)一些實施例的像素陣列202，它可以包括圖1的像素陣列144的示例。如圖2所示，像素陣列202包括像素柵格，其中每個像素可以進行操作以便測量特定顏色的光。在像素陣列202的示例中，可以進行操作以便測量藍光的像素標(biāo)記為“B”，可以進行操作以便測量紅光的像素標(biāo)記為“R”，并且可以進行操作以便測量綠光的像素標(biāo)記為“G”。對于給定像素，可以定義包括以該給定像素為中心的像素柵格的像素鄰域。例如，在圖2中，像素鄰域202以像素204為中心，并且像素鄰域206以像素208為中心。對于特定像素鄰域，圍繞中心像素的像素可以定義為中心像素的相鄰像素。例如，在圖2中，像素204的相鄰像素包括像素鄰域202內(nèi)所包含的剩余像素。實施例不限于這些示例，并且像素鄰域可以包括更多或更少的像素，而仍落在所描述的實施例內(nèi)。
[0021]返回到圖1，在各種實施例中，成像管理模塊106可以進行操作以便對像素強度值陣列108執(zhí)行像素值校正。在一些實施例中，這可以包括迭代過程，在每次迭代過程中，選擇像素強度值陣列108中的像素強度值以用于評估和可能的校正。例如，在各種實施例中，成像管理模塊106可以進行操作以便從圖像傳感器142接收像素強度值陣列108并相繼評估其中的每個像素強度值以進行可能的校正。在各種實施例中，成像管理模塊106可以進行操作以便基于對像素陣列144的像素的本地光度估計來評估像素強度值陣列108的像素強度值。例如，在一些實施例中，成像管理模塊106可以進行操作以便確定像素強度值110以用于按照特定像素的本地光度估計進行評估。在其它實施例中，成像管理模塊106可以進行操作以便確定像素強度值110以用于按照對應(yīng)于像素陣列144中的該像素的像素強度值陣列108中的單個像素強度值進行評估。在一些實施例中，像素強度值陣列108可以包括原始圖像數(shù)據(jù)，并且成像管理模塊106可以進行操作以便對像素強度值陣列108執(zhí)行像素值校正，然后再進行去馬賽克、色調(diào)映射、伽馬校正和/或一個或多個數(shù)字圖像處理操作。各種實施例的優(yōu)勢可以是，通過在這些操作之前執(zhí)行像素值校正，在像素值不精確度使這些隨后操作的質(zhì)量和/或精度降級的程度上實現(xiàn)了減少。其它優(yōu)勢也可以與所公開的主題相關(guān)聯(lián)，并且實施例關(guān)于此點不受限制。
[0022]在一些實施例中，在選擇特定像素強度值110以用于評估之后，成像管理模塊106可以進行操作以便確定描述與像素強度值110相關(guān)聯(lián)的相鄰像素強度值112的復(fù)合強度值114。相鄰像素強度值112可以包括在像素陣列144中與像素強度值110對應(yīng)的像素的相鄰像素的像素強度值。在各種實施例中，成像管理模塊106可以進行操作以便基于所有相鄰像素的相鄰像素強度值112確定復(fù)合強度值114。例如，在一些實施例中，復(fù)合強度值114可以包括與像素強度值110對應(yīng)的像素的像素鄰域的本地光度測量。在各種其它實施例中，成像管理模塊106可以進行操作以便僅僅基于測量與像素陣列144中的對應(yīng)于像素強度值110的像素相同顏色和/或波長的相鄰像素的相鄰像素強度值112確定復(fù)合強度值114。實施例關(guān)于此點不受限制。
[0023]在一些實施例中，成像管理模塊106可以進行操作以便基于像素強度值110和相鄰像素強度值112確定像素強度偏差116。在各種實施例中，成像管理模塊106可以進行操作以便按照像素強度值110和復(fù)合強度值114之間的差來確定像素強度偏差116。例如，在一些實施例中，成像管理模塊106可以進行操作以便通過從復(fù)合強度值114減去像素強度值110并確定結(jié)果的絕對值來確定像素強度偏差116。在各種實施例中，像素強度偏差116可以包括對像素強度值110不同于基于相鄰像素強度值112而可能預(yù)期的值的程度的指示。像素強度偏差116的值越大，那么可以認為像素強度值110越有可能代表噪聲而不是入射在像素陣列114中的其對應(yīng)像素上的光的真實表示。實施例關(guān)于此點不受限制。
[0024]在一些實施例中，成像管理模塊106可以進行操作以便確定像素強度值110的像素校正閾值118。在各種實施例中，像素校正閾值118可以包括這樣的值，可以將該值與像素強度偏差116進行比較以便確定像素強度值110是否將視為是代表噪聲并且因此需要噪聲校正。在一些實施例中，當(dāng)像素強度偏差116超過像素校正閾值118時，可以將像素強度值110視為是需要噪聲校正。在各種實施例中，成像管理模塊106可以進行操作以便基于與像素強度值110相關(guān)聯(lián)的特定參數(shù)為像素強度值110確定像素強度值110所特有的像素校正閾值118。在一些實施例中，像素強度值110本身可以包括那些參數(shù)之一，以使得像素強度值110的像素校正閾值118部分地是像素強度值110的幅值的函數(shù)。各種實施例的優(yōu)點可以是，通過對于像素強度值陣列108中的每個特定像素強度值110個別地定制像素校正閾值118，可以恰當(dāng)?shù)卣f明散粒噪聲與像素強度的比例。因此，可以在明亮區(qū)域中允許越強的平滑，而在越暗的區(qū)域中保留細節(jié)。在一些實施例中，成像管理模塊106可以進行操作以便同時基于與像素強度值110相關(guān)聯(lián)的全局數(shù)字和模擬增益、白平衡增益和/或透鏡陰影校正增益來確定像素校正閾值118。在各種實施例中，成像管理模塊106可以進行操作以便根據(jù)下式確定像素校正閾值118:

【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 處理器電路；以及 成像管理模塊，用于在所述處理器電路上執(zhí)行以便: 確定圖像傳感器像素陣列中的像素的強度值； 確定所述像素的像素強度偏差，其包括所述像素的強度值與所述像素的像素鄰域的復(fù)合強度值之間的差； 確定所述像素的像素校正閾值；以及 當(dāng)所述像素強度偏差超過所述像素校正閾值時，確定所述像素的校正強度值。
2.如權(quán)利要求1所述的圖像處理設(shè)備，所述成像管理模塊用于在所述處理器電路上執(zhí)行以便基于所述圖像傳感器像素陣列的統(tǒng)計噪聲模型確定所述像素的像素校正閾值。
3.如權(quán)利要求1所述的圖像處理設(shè)備，所述成像管理模塊用于在所述處理器電路上執(zhí)行以便基于所述像素的強度值和所述像素的增益確定所述像素的像素校正閾值。
4.如權(quán)利要求1所述的圖像處理設(shè)備，所述成像管理模塊用于在所述處理器電路上執(zhí)行以便:
確定所述像素鄰域中的多個相鄰像素的多個相鄰像素強度值； 確定所述多個相鄰像素強度值的多個像素校正權(quán)；以及 基于所述多個像素校正權(quán)和所述多個相鄰像素強度值確定所述校正強度值。
5.如權(quán)利要求4所述的圖像處理設(shè)備，所述成像管理模塊用于在所述處理器電路上執(zhí)行以便: 減去與所述復(fù)合強度值相差的量大于所述像素校正閾值的相鄰像素強度值的像素校正權(quán)；以及 增加與所述復(fù)合強度值相差的量小于所述像素校正閾值的相鄰像素強度值的像素校正權(quán)。
6.如權(quán)利要求4所述的圖像處理設(shè)備，所述成像管理模塊用于在所述處理器電路上執(zhí)行以便: 確定所述像素是否包含缺陷像素；以及 當(dāng)所述像素不包含缺陷像素時，確定所述像素的像素校正權(quán)，并基于所述像素的像素校正權(quán)、所述多個相鄰像素強度值的多個像素校正權(quán)、所述像素的強度值和所述多個相鄰像素強度值確定所述像素的校正強度值。
7.如權(quán)利要求1所述的圖像處理設(shè)備，所述成像管理模塊用于在所述處理器電路上執(zhí)行以便確定所述多個像素校正權(quán)以使得在包括所述像素鄰域的圖像傳感器區(qū)域間過濾噪聲增益近似恒定。
8.如權(quán)利要求1所述的圖像處理設(shè)備，所述像素的強度值包括所述像素的本地光度估計。
9.如權(quán)利要求1所述的圖像處理設(shè)備，所述成像管理模塊用于在所述處理器電路上執(zhí)行以便基于所述像素鄰域中的像素的本地光度估計確定所述像素鄰域的復(fù)合強度值。
10.一種圖像處理方法，包括: 確定圖像傳感器像素陣列中的像素的強度值； 確定所述像素的像素強度偏差，其包括所述像素的強度值與所述像素的像素鄰域的復(fù)合強度值之間的差； 確定所述像素的像素校正閾值；以及 當(dāng)所述像素強度偏差超過所述像素校正閾值時，確定所述像素的校正強度值。
11.如權(quán)利要求10所述的圖像處理方法，包括基于所述圖像傳感器像素陣列的統(tǒng)計噪聲模型確定所述像素的像素校正閾值。
12.如權(quán)利要求10所述的圖像處理方法，包括基于所述像素的強度值和所述像素的增益確定所述像素的像素校正閾值。
13.如權(quán)利要求10所述的圖像處理方法，包括: 確定所述像素鄰域中的多個相鄰像素的多個相鄰像素強度值； 確定所述多個相鄰像素強度值的多個像素校正權(quán)；以及 基于所述多個像素校正權(quán)和所述多個相鄰像素強度值確定所述校正強度值。
14.如權(quán)利要求13所述的圖像處理方法，包括: 減去與所述復(fù)合 強度值相差的量大于所述像素校正閾值的相鄰像素強度值的像素校正權(quán)；以及 增加與所述復(fù)合強度值相差的量小于所述像素校正閾值的相鄰像素強度值的像素校正權(quán)。
15.如權(quán)利要求13所述的圖像處理方法，包括: 確定所述像素是否包含缺陷像素；以及 當(dāng)所述像素不包含缺陷像素時，確定所述像素的像素校正權(quán)，并基于所述像素的像素校正權(quán)、所述多個相鄰像素強度值的多個像素校正權(quán)、所述像素的強度值和所述多個相鄰像素強度值確定所述像素的校正強度值。
16.如權(quán)利要求10所述的圖像處理方法，包括確定所述多個像素校正權(quán)以使得在包括所述像素鄰域的圖像傳感器區(qū)域間過濾噪聲增益近似恒定。
17.如權(quán)利要求10所述的圖像處理方法，所述像素的強度值包括所述像素的本地光度估計。
18.如權(quán)利要求10所述的圖像處理方法，包括基于所述像素鄰域中的像素的本地光度估計確定所述像素鄰域的復(fù)合強度值。
19.至少一種機器可讀介質(zhì)，包括用于圖像處理的多個指令，響應(yīng)于在計算裝置上執(zhí)行，所述多個指令使所述計算裝置執(zhí)行如權(quán)利要求10至18中任何一項所述的方法。
20.一種圖像處理設(shè)備，包括用于執(zhí)行如權(quán)利要求10至18中任何一項所述的方法的部件。
21.—種圖像處理系統(tǒng),包括: 處理器電路； 圖像傳感器，包括圖像傳感器像素陣列；以及 成像管理模塊，用于在所述處理器電路上執(zhí)行以便: 確定所述圖像傳感器像素陣列中的像素的強度值； 確定所述像素的像素強度偏差，其包括所述像素的強度值與所述像素的像素鄰域的復(fù)合強度值之間的差； 確定所述像素的像素校正閾值；以及當(dāng)所述像素強度偏差超過所述像素校正閾值時，確定所述像素的校正強度值。
22.如權(quán)利要求21所述的圖像處理系統(tǒng)，所述成像管理模塊用于在所述處理器電路上執(zhí)行以便基于所述圖像傳感器像素陣列的統(tǒng)計噪聲模型確定所述像素的像素校正閾值。
23.如權(quán)利要求21所述的圖像處理系統(tǒng)，所述成像管理模塊用于在所述處理器電路上執(zhí)行以便基于所述像素的強度值和所述像素的增益確定所述像素的像素校正閾值。
24.如權(quán)利要求21所述的圖像處理系統(tǒng)，所述成像管理模塊用于在所述處理器電路上執(zhí)行以便: 確定所述像素鄰域中的多個相鄰像素的多個相鄰像素強度值； 確定所述多個相鄰像素強度值的多個像素校正權(quán)；以及 基于所述多個像素校正權(quán)和所述多個相鄰像素強度值確定所述校正強度值。
25.如權(quán)利要求24所述的圖像處理系統(tǒng)，所述成像管理模塊用于在所述處理器電路上執(zhí)行以便: 減去與所述復(fù)合強度值相差的量大于所述像素校正閾值的相鄰像素強度值的像素校正權(quán)；以及 增加與所述復(fù)合強度值相差的量小于所述像素校正閾值的相鄰像素強度值的像素校正權(quán)。
【文檔編號】H04N5/341GK104052942SQ201410091413
【公開日】2014年9月17日 申請日期:2014年3月13日 優(yōu)先權(quán)日:2013年3月13日
【發(fā)明者】A.利特維諾夫 申請人:英特爾公司