專利名稱：使用全色像素的像素縱橫比校正的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從具有不同像素縱橫比的全色圖像和彩色圖像中形成具有期望的像 素縱橫比的彩色圖像。
背景技術(shù)：
攝像機(jī)和數(shù)字靜態(tài)照相機(jī)通常采用具有濾色器陣列的單個(gè)圖像傳感器來記錄場景。這種方法始于稀疏分布的單信道圖像，其中彩色信息由濾色器陣列圖形編碼。隨后對 鄰近像素值的內(nèi)插允許重構(gòu)完整的三通道全色圖像。通常理解的假設(shè)是這個(gè)全色圖像由在 正方形像素網(wǎng)格上采樣的像素值組成，即圖像像素是正方形。這對于大量的圖像顯示器是 重要的并且打印裝置使用正方形像素進(jìn)行隨后的圖像再現(xiàn)。然而，在全色圖像中需要正方 形像素并不要求單個(gè)圖像傳感器使用正方形像素。使用矩形(非正方形)像素的傳感器 在本領(lǐng)域中是眾所周知的。從矩形像素捕獲中產(chǎn)生正方形像素圖像的一般實(shí)踐是用矩形 像素產(chǎn)生全色圖像并且然后作為最后步驟將全色圖像轉(zhuǎn)換成具有正方形像素的圖像。這 種方法由美國專利No. 5，778，106 (Juenger等人)所例證。參見圖2，配有矩形像素的單個(gè) 傳感器的數(shù)碼相機(jī)200產(chǎn)生RGB CFA圖像202。CFA內(nèi)插方框204從RGB CFA圖像202產(chǎn) 生全色圖像206。像素縱橫比校正方框208從全色圖像206中產(chǎn)生像素縱橫比校正的全色 圖像210。在這個(gè)示例中，能夠看出在圖像處理鏈中需要額外的操作(方框208)以便從具 有非正方形像素的初始圖像(方框202)中產(chǎn)生具有正方形像素的圖像(方框210)。更好 的解決方案將是將像素縱橫比校正方框208直接并入CFA內(nèi)插方框204中。在美國專利 No. 7，092，020 (Yoshikawa)中教導(dǎo)了這種方法的相關(guān)示例。參見圖3，數(shù)碼相機(jī)212 (配有 正方形像素的單個(gè)傳感器)產(chǎn)生RGB CFA圖像214。通過直接計(jì)算數(shù)字縮放(放大)的全 色圖像而不用將該操作分成兩個(gè)單獨(dú)步驟(內(nèi)插然后調(diào)整大小)或產(chǎn)生對應(yīng)的中間圖像， CFA內(nèi)插和調(diào)整大小方框216從RGB CFA圖像214中產(chǎn)生調(diào)整大小后的全色圖像218。在低光成像情形下，有利的是讓濾色器陣列中的一個(gè)或多個(gè)像素未經(jīng)過濾，即光 譜敏感度中的白色或全色。這些全色像素具有捕獲系統(tǒng)的最高光敏感度能力。采用全色 像素代表捕獲系統(tǒng)中光敏感度和彩色空間分辨率之間的折衷。為此，已經(jīng)描述了許多四色 濾色器陣列系統(tǒng)。美國專利No. 6，529，239 (Dyck等人)教導(dǎo)了綠-青-黃-白圖形，其被 布置成鑲嵌在傳感器表面上的2X2塊。美國專利No. 6，757，012 (Hubina等人)公開了 紅-綠-藍(lán)-白圖形和黃-青-品紅_白圖形兩者。在這兩種情況下，彩色被布置成鑲嵌 在成像器表面上的2X2塊。使用這樣的系統(tǒng)的困難在于濾色器陣列中的像素的僅四分之 一具有最高光敏感度，因而限制捕獲裝置的整體低光性能。為了解決在濾色器陣列中具有更多具有最高光敏感度的像素的需要，美國專利申 請公開No. 2003/0210332 (Frame)描述了其中大多數(shù)像素未經(jīng)過濾的像素陣列。相對少 的像素專用于從場景捕獲彩色信息，從而產(chǎn)生具有低彩色空間分辨率能力的系統(tǒng)。另外， Frame教導(dǎo)了使用對圖像中的高頻彩色空間細(xì)節(jié)不做響應(yīng)或保護(hù)的簡單線性內(nèi)插技術(shù)。

發(fā)明內(nèi)容
本發(fā)明的目標(biāo)是從具有有不同像素縱橫比的全色和彩色像素的數(shù)字圖像中產(chǎn)生具有期望的像素縱橫比的數(shù)字彩色圖像。這個(gè)目標(biāo)是通過一種形成具有第一像素縱橫比的增強(qiáng)的數(shù)字全色圖像的方法而完成的，所述方法包括(a)使用圖像傳感器來捕獲圖像，所述圖像傳感器具有全色像素和對應(yīng)于至少兩種彩色光響應(yīng)的彩色像素，其中彩色和全色像素每個(gè)均具有與所述第一像素縱橫比不同的 第二像素縱橫比；(b)從所捕獲的圖像中提供數(shù)字高分辨率全色圖像并且將全色像素值的縱橫比從第二像素縱橫比改變到第一像素縱橫比以產(chǎn)生數(shù)字縱橫校正的高分辨率全色圖像；(c)從捕獲的圖像中提供數(shù)字低分辨率色差濾色器陣列圖像；(d)從所述低分辨率色差濾色器陣列圖像中提供數(shù)字縱橫校正的高分辨率色差圖像；以及(e)使用縱橫校正的高分辨率全色圖像和縱橫校正的高分辨率色差圖像來產(chǎn)生增 強(qiáng)的數(shù)字全色圖像。本發(fā)明的一個(gè)特征是能夠用具有有第一像素縱橫比的全色和彩色像素的傳感器 在低光條件下捕獲圖像并且處理產(chǎn)生從全色和彩色像素中產(chǎn)生的數(shù)字彩色圖像中期望的 像素縱橫比。本發(fā)明利用具有適當(dāng)組成的全色和彩色像素的濾色器陣列以便允許上述方法提 供改進(jìn)的低光敏感度和改進(jìn)的彩色空間分辨率保真度。上述方法保留并增強(qiáng)了全色和彩色 空間細(xì)節(jié)并且產(chǎn)生全色全分辨率圖像。


圖1是用于實(shí)施本發(fā)明的包括數(shù)碼相機(jī)的計(jì)算機(jī)系統(tǒng)的透視圖；圖2是現(xiàn)有技術(shù)像素縱橫比校正圖像處理鏈的方框圖；圖3是組合CFA內(nèi)插和調(diào)整大小圖像處理鏈的現(xiàn)有技術(shù)的方框圖；圖4是本發(fā)明的優(yōu)選實(shí)施例的方框圖；圖5A是更詳細(xì)示出圖4中的方框302的方框圖；圖5B是更詳細(xì)示出本發(fā)明替代實(shí)施例的圖4中的方框302的方框圖；圖6A是更詳細(xì)示出圖4中的方框316的方框圖；圖6B是更詳細(xì)示出本發(fā)明替代實(shí)施例的圖4中的方框316的方框圖；圖6C是更詳細(xì)示出本發(fā)明替代實(shí)施例的圖4中的方框316的方框圖；圖6D是更詳細(xì)示出本發(fā)明替代實(shí)施例的圖4中的方框316的方框圖；圖6E是更詳細(xì)示出本發(fā)明替代實(shí)施例的圖4中的方框316的方框圖；圖6F是更詳細(xì)示出本發(fā)明替代實(shí)施例的圖4中的方框316的方框圖；圖7A和7B是圖6A中的方框316中所用的像素區(qū)域；圖8A和8B是圖6C中的方框316中所用的像素區(qū)域；圖9A和9B是圖6D中的方框316中所用的像素區(qū)域；圖IOA和IOB是圖6E中的方框316中所用的像素區(qū)域；以及
圖IlA和IlB是圖6F中的方框316中所用的像素區(qū)域；
具體實(shí)施例方式在以下描述中，本發(fā)明的優(yōu)選實(shí)施例將以通常實(shí)施為軟件程序的方式進(jìn)行描述。 本領(lǐng)域技術(shù)人員將容易意識到這樣的軟件的等同物也能夠以硬件進(jìn)行構(gòu)造。因?yàn)閳D像操縱 算法和系統(tǒng)是眾所周知的，本描述將具體涉及于形成依據(jù)本發(fā)明的系統(tǒng)和方法的一部分的 或者更直接地與所述系統(tǒng)和方法協(xié)作的算法和系統(tǒng)。這樣的算法和系統(tǒng)的其它方面以及用 于產(chǎn)生和以其它方式處理其中所涉及的圖像信號的硬件或軟件(這里未具體示出或描述) 能夠從本領(lǐng)域已知的這樣的系統(tǒng)、算法、部件和元件中加以選擇。鑒于在以下材料中根據(jù)發(fā) 明所描述的系統(tǒng)，在這里未具體示出、提出或描述的、用于實(shí)施發(fā)明的軟件是常規(guī)的并且屬 于本領(lǐng)域的通常技術(shù)。更進(jìn)一步，如在這里所用的，計(jì)算機(jī)程序能夠存儲在計(jì)算機(jī)可讀存儲介質(zhì)中，所述計(jì)算機(jī)可讀存儲介質(zhì)能夠例如能夠包括磁存儲媒介，諸如磁盤(諸如硬盤驅(qū)動器或軟盤) 或磁帶；光存儲媒介，諸如光盤、光帶、或機(jī)器可讀條形碼；固態(tài)電子存儲裝置，諸如隨機(jī)存 取存儲器(RAM)、或只讀存儲器(ROM)；或者任何其它用來存儲計(jì)算機(jī)程序的物理裝置或介 質(zhì)。在描述本發(fā)明之前，要注意為便于理解起見本發(fā)明優(yōu)選用在任何眾所周知的計(jì)算 機(jī)系統(tǒng)諸如個(gè)人計(jì)算機(jī)上。因此，在這里不將詳細(xì)描述計(jì)算機(jī)系統(tǒng)。注意圖像被直接輸入 到計(jì)算機(jī)系統(tǒng)中(例如通過數(shù)碼相機(jī))或者在輸入到計(jì)算機(jī)系統(tǒng)中之前被數(shù)字化(例如通 過掃描原件，諸如鹵化銀膠卷)也是有益的。參照圖1，說明了用于實(shí)施本發(fā)明的計(jì)算機(jī)系統(tǒng)110。盡管計(jì)算機(jī)系統(tǒng)110被示出 用于說明優(yōu)選實(shí)施例的目的，但是本發(fā)明不限于所示的計(jì)算機(jī)系統(tǒng)110，而是能夠用于諸如 在家用計(jì)算機(jī)、信息亭、零售或批發(fā)照相洗印加工中見到的任何電子處理系統(tǒng)或者任何其 它用于處理數(shù)字圖像的系統(tǒng)。計(jì)算機(jī)系統(tǒng)Iio包括基于微處理器的單元112以用于接收 和處理軟件程序以及用于執(zhí)行其它處理功能。顯示器114被電連接到基于微處理器的單元 112以例如通過圖形用戶接口來顯示與軟件相關(guān)聯(lián)的用戶相關(guān)信息。鍵盤116還連接到基 于微處理器的單元112以允許用戶把信息輸入到軟件。作為使用鍵盤116進(jìn)行輸入的備選 方案，鼠標(biāo)118能夠用于移動顯示器114上的選擇器120并且用于選擇選擇器120覆蓋其 上的項(xiàng)，這在本領(lǐng)域中是眾所周知的。一般包括軟件程序的光盤只讀存儲器(⑶-ROM) 124被插入到基于微處理器的單 元中以提供一種向基于微處理器的單元112輸入軟件程序和其它信息的方式。另外，軟盤 126也能夠包括軟件程序，并且插入到基于微處理器的單元112以輸入軟件程序。光盤只讀 存儲器(⑶-ROM) 124或軟盤126能夠可替代地插入到位于外部的盤驅(qū)動單元122，所述盤驅(qū) 動單元122連接到基于微處理器的單元112。更進(jìn)一步，基于微處理器的單元112能夠如本 領(lǐng)域眾所周知地進(jìn)行編程以把軟件程序存儲在內(nèi)部?；谖⑻幚砥鞯膯卧?12還能夠具有 到外部網(wǎng)絡(luò)諸如局域網(wǎng)或互聯(lián)網(wǎng)的網(wǎng)絡(luò)連接127，諸如電話線。打印機(jī)128也能夠連接到基 于微處理器的單元112以打印從計(jì)算機(jī)系統(tǒng)110輸出的硬拷貝。圖像也能夠經(jīng)由個(gè)人計(jì)算機(jī)卡(PC卡)130顯示在顯示器114上，所述個(gè)人計(jì)算機(jī) 卡，諸如先前已知的PCMCIA卡(基于個(gè)人計(jì)算機(jī)存儲卡國際協(xié)會的規(guī)范)，其含有被電子實(shí)現(xiàn)在PC卡130中的數(shù)字化圖像。PC卡130最終插入到基于微處理器的單元112以允許 圖像在顯示器114上的視覺顯示。可替代地，PC卡130能夠插入到位于外部的PC卡讀取 器132中，所述PC卡讀取器132連接到基于微處理器的單元112。也能夠經(jīng)由光盤只讀存 儲器(⑶-ROM) 124、軟盤126或者網(wǎng)絡(luò)連接127來輸入圖像。在PC卡130、軟盤126或光盤 只讀存儲器(⑶-ROM) 124中存儲的或者經(jīng)過網(wǎng)絡(luò)連接127所輸入的任何圖像能夠從各種源 諸如數(shù)碼相機(jī)(未示出)或掃描儀(未示出)獲取。圖像也能夠經(jīng)由連接到基于微處理器 的單元112的相機(jī)底座端口(docking port) 136而直接從數(shù)碼相機(jī)134輸入或者經(jīng)由到基 于微處理器的單元112的電纜連接138或經(jīng)由到基于微處理器的單元112的無線連接140 而直接從數(shù)碼相機(jī)134輸入。
依據(jù)該發(fā)明，算法能夠存儲在以前提及的任何存儲裝置中并且應(yīng)用于圖像以便內(nèi) 插稀疏分布圖像。圖4是優(yōu)選實(shí)施例的高級圖。數(shù)碼相機(jī)134(圖1)負(fù)責(zé)創(chuàng)建原始的數(shù)字紅-綠-藍(lán) 全色(RGBP)濾色器陣列(CFA)圖像300，也稱為數(shù)字RGBP CFA圖像或RGBP CFA圖像。在 這一點(diǎn)上要注意，其它彩色通道組合諸如青_品紅_黃全色能夠在以下描述中用來替代 紅-綠-藍(lán)全色。關(guān)鍵項(xiàng)是包括全色信道。這個(gè)圖像被認(rèn)為是稀疏采樣圖像，因?yàn)閳D像中的 每個(gè)像素僅含有紅、綠、藍(lán)或全色數(shù)據(jù)中的一個(gè)像素值。全色內(nèi)插方框302從RGBP CFA圖 像300中產(chǎn)生高分辨率全色圖像304和低分辨率全色圖像306。在這一點(diǎn)上在圖像處理鏈 中，每個(gè)彩色像素位置具有相關(guān)的全色值以及紅、綠或藍(lán)色值。低分辨率彩色抽取方框310 從RGBP CFA圖像300中產(chǎn)生低分辨率RGB CFA圖像312。色差生成方框308從低分辨率 RGB CFA圖像312和低分辨率全色圖像306中產(chǎn)生低分辨率色差CFA圖像314。色差CFA 內(nèi)插和調(diào)整大小方框316從低分辨率色差CFA圖像314和低分辨率全色圖像306中產(chǎn)生校 正后的高分辨率色差圖像318。像素縱橫比校正方框320從高分辨率全色圖像304中產(chǎn)生 校正后的高分辨率全色圖像322。最后，色差和全色圖像總和方框324從校正后的高分辨率 色差圖像318和校正后的高分辨率全色圖像322產(chǎn)生增強(qiáng)的全色圖像326。圖5A是優(yōu)選實(shí)施例的方框302 (圖4)的更詳細(xì)視圖。高分辨率全色內(nèi)插方框328 從RGBP CFA圖像300 (圖4)中產(chǎn)生高分辨率全色圖像330。高分辨率全色圖像330的拷貝 變成高分辨率全色圖像304(圖4)。低分辨率全色抽取方框332從高分辨率全色圖像330 產(chǎn)生低分辨率全色圖像306 (圖4)。在圖5A中，高分辨率全色內(nèi)插方框328和低分辨率全色抽取方框332能夠以對 本領(lǐng)域技術(shù)人員已知的任何方式被執(zhí)行。在上面引用的共同轉(zhuǎn)讓的美國專利申請公開 No. 2007/0024934和美國專利申請序列No. 11/564，451中教導(dǎo)了合適的方法。圖5B是替代實(shí)施例的方框302 (圖4)的更詳細(xì)視圖。高分辨率全色內(nèi)插方框328 從RGBP CFA圖像300 (圖4)中產(chǎn)生高分辨率全色圖像304 (圖4)。低分辨率全色內(nèi)插方框 334從RGBP CFA圖像300 (圖4)中產(chǎn)生低分辨率全色圖像306 (圖4)。高分辨率全色內(nèi)插 方框328已經(jīng)根據(jù)圖5A進(jìn)行了討論。低分辨率全色內(nèi)插方框334與高分辨率全色內(nèi)插方框 328不同僅在于所捕獲的全色像素值在內(nèi)插計(jì)算后被自動丟棄以便產(chǎn)生內(nèi)插的全色像素值 的低分辨率全色圖像。圖6A是優(yōu)選實(shí)施例的方框316 (圖4)的更詳細(xì)視圖。色差CFA內(nèi)插方框336從 低分辨率色差CFA圖像314(圖4)中產(chǎn)生低分辨率色差圖像338。高分辨率調(diào)整大小方框340從低分辨率色差圖像338中產(chǎn)生高分辨率色差圖像342。像素縱橫比校正方框344從 高分辨率色差圖像342中產(chǎn)生校正后的高分辨率色差圖像318 (圖4)。在圖6A中，色差CFA內(nèi)插方框336可以以對本領(lǐng)域技術(shù)人員已知的任何方式被執(zhí) 行。在上面引用的共同轉(zhuǎn)讓的美國專利申請公開No. 2007/0024934和美國專利申請序列 No. 11/564，451中教導(dǎo)了合適的方法。高分辨率調(diào)整大小方框340是用也在共同轉(zhuǎn)讓的美 國專利申請公開No. 2007/0024934中描述的適當(dāng)方法的標(biāo)準(zhǔn)數(shù)字圖像調(diào)整大小(內(nèi)插或重 采樣)操作。像素縱橫比校正方框344也是具有水平比例因子不同于垂直比例因子的顯著 特征的標(biāo)準(zhǔn)數(shù)字圖像調(diào)整大小操作。作為示例，圖7B(QfQc)代表圖TA(P1-Pc)的像素縱橫 比校正版本。使用雙線性內(nèi)插，像素縱橫比計(jì)算如下Q1 = P1Q2 = (2P2+P3) /3Q3 = (P3+2P4) /3Q4 = (Ρ^3Ρ5) /4Q5 = (2Ρ2+Ρ3+6Ρ6+3Ρ7)/12Q6 = (Ρ3+2Ρ4+3Ρ7+6Ρ8)/12Q7 = (Ρ5+Ρ9) /2Q8 = (2Ρ6+Ρ7+2ΡΑ+ΡΒ) /6Q9 = (P7+2P8+Pb+2Pc) /6Qa = (3P9+Pd) /4Qb = (6Pa+3Pb+2Pe+Pf)/12Qc= (3Pb+6Pc+Pf+2Pg)/12對本領(lǐng)域技術(shù)人員將顯而易見的是，其它內(nèi)插方法諸如三次卷積內(nèi)插能夠用于替 代雙線性內(nèi)插。圖6B是替代實(shí)施例的方框316 (圖4)的更詳細(xì)視圖。色差CFA內(nèi)插方框336從低 分辨率色差CFA圖像314(圖4)中產(chǎn)生低分辨率色差圖像338。像素縱橫比校正方框346 從低分辨率色差圖像338中產(chǎn)生校正后的色差圖像348。高分辨率調(diào)整大小方框350從校 正后的色差圖像348中產(chǎn)生校正后的高分辨率色差圖像318 (圖4)。在圖6B中，色差CFA內(nèi)插方框336如同先前根據(jù)圖6A所描述的。像素縱橫比校 正方框346與圖6A的像素縱橫比校正方框344相同，除了方框346對低分辨率數(shù)據(jù)操作而 方框344對高分辨率數(shù)據(jù)操作。高分辨率調(diào)整大小方框350與高分辨率調(diào)整大小方框340 相同，除了方框350對像素縱橫比校正數(shù)據(jù)操作而方框340不是。圖6C是替代實(shí)施例的方框316 (圖4)的更詳細(xì)視圖。色差CFA內(nèi)插方框336從低分辨率色差CFA圖像314(圖4)中產(chǎn)生低分辨率色差圖像338。高分辨率調(diào)整大小和像素 縱橫比校正方框352從低分辨率色差圖像338中產(chǎn)生校正后的高分辨率色差圖像318(圖 4)。在圖6C中，色差CFA內(nèi)插方框336如同先前根據(jù)圖6A所描述的。高分辨率調(diào)整 大小和像素縱橫比校正方框352將高分辨率調(diào)整大小和像素縱橫比校正執(zhí)行為單個(gè)操作。 方框352通過具有對水平和垂直方向的不同比例因子的標(biāo)準(zhǔn)調(diào)整大小操作來完成。作為示 例，圖8B(Q「Qm)代表圖SA(P1-Pc)的高分辨率調(diào)整大小后且像素縱橫比校正后的版本。使用雙線性內(nèi)插，像素縱橫比計(jì)算部分地如下Q1=P1Q2 = (Ρ^2Ρ2) /3Q3 = (2Ρ2+Ρ3) /3Q7 = (5PJ3P5) /8Q8= (5Ρ1+10Ρ2+3Ρ5+6Ρ6)/24Q9= (10Ρ2+5Ρ3+6Ρ6+3Ρ7)/24Qd = (P^P5) /4Qe= (Ρ1+2Ρ2+3Ρ5+6Ρ6)/12Qf = (2Ρ2+Ρ3+6Ρ6+3Ρ7) /6Qj = (7Ρ5+Ρ9) /8Qk= (7Ρ5+14Ρ6+Ρ9+2Ρα)/24Ql= (14Ρ6+7Ρ7+2Ρα+Ρβ)/24如何擴(kuò)展這些計(jì)算以產(chǎn)生圖8Β中的其它Q值對本領(lǐng)域技術(shù)人員將是顯而易見的。 對本領(lǐng)域技術(shù)人員也將顯而易見的是，其它內(nèi)插方法諸如三次卷積內(nèi)插能夠用于替代雙線 性內(nèi)插。圖6D是替代實(shí)施例的方框316 (圖4)的更詳細(xì)視圖。色差CFA內(nèi)插和像素縱橫比 校正方框354從低分辨率色差CFA圖像314 (圖4)中產(chǎn)生校正后的低分辨率色差圖像356。 高分辨率調(diào)整大小方框358從校正后的低分辨率色差圖像356中產(chǎn)生校正后的高分辨率色 差圖像318 (圖4)。在圖6D中，高分辨率調(diào)整大小方框358與高分辨率調(diào)整大小方框340 (圖6Α)相 同，除了方框358對像素縱橫比校正后的數(shù)據(jù)進(jìn)行操作。色差CFA內(nèi)插和像素縱橫比校正 方框354是組合的內(nèi)插操作。作為示例，圖9B(QrQc)代表圖9A(R1-Gc)的CFA內(nèi)插后且像 素縱橫比校正后的版本。注意在圖9A中，每個(gè)像素值是色差值而不是原始色值。由于像素 QjP R1是一致的，所以對于Q1不需要像素縱橫比校正。因此，僅執(zhí)行CFA內(nèi)插。采用如下 的標(biāo)準(zhǔn)雙線性內(nèi)插Qie = R1Qig = (Ge+Gj+G2+G5) /4Qib = (Bd+Bf+Bl+B6) /4在仏的情況下，執(zhí)行CFA內(nèi)插和像素縱橫比校正二者。中間步驟被示出以說明最 終計(jì)算的確定。Q2e = (2R2+R3) /3 — (2 (R^R3) /2+R3) /3 — (RpR3) /3Q2g = (2G2+G3)/3— (2G2+(Gg+G2+G7+G4)/4)/3 — (9G2+Gg+G7+G4)/12Q2b = (2B2+B3) /3 — (2 (BF+B6) /2+ (BF+BH+B6+B8) /4) /3 — (5BF+5B6+BH+B8)/12因此，為確定Q2像素值而由方框354執(zhí)行的計(jì)算為Q2e =(隊(duì)+21 3) /3Q2G= (9G2+GC+G7+G4)/12Q2b = (5Bf+5B6+Bh+B8)/12下面給出該示例中的其余計(jì)算。
Q3e = (2R3+Rk) /3Q3g= (9G4+Gg+G2+G7)/12Q3b = (5Bh+5B8+Bf+B6)/12Q4e = (5^+3^) /8Q4g= (13G5+G2+Ge+Gj)/16Q4b = (7Bl+7B6+Bd+Bf)/16Q5e= (10R3+6Rb+5R1+3R9)/24Q5g= (Gg+15G2+6G5+G4+19G7+6Ga) /48Q5b = (35B6+7B8+5Bf+Bh) /48Q6e= (10R3+6Rb+5Rk+3Ro)/24Q6g= (Gg+G2+15G4+19G7+6Gm+6Gc) /48Q6b = (Bf+5Bh+7B6+35B8) /48Q7r = (R1+3R9)/4Q7g = (Ga+5G5+Gn+Gq) /8Q7b = (3B6+3BL+BP+BE) /8Q8e= (6Rb+R1+2R3+3R9)/12Q8g= (1 1Ga+Gc+2G2+2G5+7G7+Gs) /24Q8b= (15B6+3B8+5Be+Bt)/24Q9e= (6Rb+Rk+3R0+2R3)/12Q9g= (Ga+1 1Gc+2G4+7G7+2Gm+Gs) /24Q9b= (3B6+15B8+Be+5Bt)/24Qae = (7R9+Rff) /8Qag= (3Ga+3G5+3Gn+7Gq)/16Qab = (3B6+3BL+5BP+5BE) /16Qbe = (14RB+7R9+Rff+2RY) /24Qbg = (29Ga+3Gc+3G7+2Gq+9Gs+2Gx) /48Qbb= (15B6+3B8+25Be+5Bt) /48Qce = (Ra+14RB+7R。+2RY) /24Qcg = (3Ga+29Gc+3G7+9Gs+2Gu+2Gz) /48Qcb= (3B6+15B8+5Be+25Bt) /48對本領(lǐng)域技術(shù)人員將顯而易見的是，其它內(nèi)插方法諸如三次卷積內(nèi)插能夠用于替 代雙線性內(nèi)插。圖6E是替代實(shí)施例的方框316 (圖4)的更詳細(xì)視圖。色差CFA內(nèi)插和高分辨率調(diào)整大小方框360從低分辨率色差CFA圖像314(圖4)中產(chǎn)生高分辨率色差圖像362。像素 縱橫比校正方框364從高分辨率色差圖像362中產(chǎn)生校正后的高分辨率色差圖像318(圖 4)。在圖6E中，像素縱橫比校正方框364與像素縱橫比校正方框344 (圖6A)相同。色 差CFA內(nèi)插和高分辨率調(diào)整大小方框360是組合的內(nèi)插操作。作為示例，圖IOB(Q1-Qe)代 表圖IOA(R1-B4)的CFA內(nèi)插后且高分辨率調(diào)整大小后的版本。注意在圖IOA中，每個(gè)像素值是色差值而不是原始色值。由于像素Q1和R1是一致的，所以對于Q1不需要高分辨率調(diào)整大小。因此，僅執(zhí)行CFA內(nèi)插。采用如下的標(biāo)準(zhǔn)雙線性內(nèi)插QIE = R1Qig = (G6+Ga+G2+G3) /4Qib = (B5+B7+Bd+B4) /4在仏的情況下，執(zhí)行CFA內(nèi)插和高分辨率調(diào)整大小二者。中間步驟被示出以說明 最終計(jì)算的確定。Q2e = (RJR2) /2 — (R1+ (R^Rb) /2) /2 — (SR^Rb) /4Q2g = (GJG2) /2 — ((GA+G2+G6+G3) /4+G2) /2 — (5G2+GA+G6+G3) /8Q2b = (B^B2) /2 ^ ((B5+B7+BD+B4)/4+(B7+B4)/2)/2 — (3B4+B5+3B7+BD) /8因此，為確定Q2像素值而由方框360執(zhí)行的計(jì)算為Q2e = (SR^Rb) /4Q2g = (5G2+Ga+G6+G3) /8Q2b = (3B4+B5+3B7+Bd) /8下面給出該示例中的其余計(jì)算。Q3e = (R^Rb) /2Q3g = G2Q3b = (B7+B4) /2Q4r = (R1+3RB)/4Q4g = (3G2+Gc) /4Q4b = (3B4+B9+3B7+Bf) /8Q5e = (SR^Rh) /4Q5g = (Ga+G2+5G3+G6) /8Q5b = (3B4+B5+B7+3Bd) /8Q6e=Q6g= (GA+6G2+6G3+G6+GE+GJ) /16Q6b = (9B4+B5+3B7+3Bd)/16Q7e = (SRB+Rh+RJ+SRJ) /8Q7g = (SG^Gg+GE+Gj) /8Q7b = (3B4+B7) /4Q8e=Q8g= (GC+6G2+G3+G8+6GE+GJ) /16Q8b= (9B4+3B7+B9+3Bf)/16Q9e = (R^Rh) /2Q9g = G3Q9b = (Bd+B4) /2Qae = (RB+SRh+RJ+SRJ) /8Qag = (G^SGg+GE+Gj) /8Qab = (3B4+Bd) /4
Qbe = (Rj+RB+RH+RJ) /4Qbg=(GJGJGJGi)/^Qbb = B4Qck = (3RB+RH+3RJ+R》/8Qcg=(GJG^SGJGi)ZSQcb = (3B4+Bf) /4Qde = (SRh+R^ /4Qdg = (G^G.+G^+G,) /8Qdb = (3B4+3Bd+Bl+Bn) /8QEE=Qeg= (GG+G2+6G3+GM+GE+6GJ) /16Qeb = (9B4+3Bd+Bl+3Bn)/16Qfe = (RB+SRh+SRJ+RJ) /8Qfg = (GdGJGdSG1) /8Qfb = (3B4+Bn) /4Qge=Qgg= (G2+G3+GK+G0+6GE+6GJ) /16Qgb = (9B4+3BF+3BN+BP)/16對本領(lǐng)域技術(shù)人員將顯而易見的是，其它內(nèi)插方法諸如三次卷積內(nèi)插能夠用于替代雙線性內(nèi)插。圖6F是替代實(shí)施例的方框316 (圖4)的更詳細(xì)視圖。色差CFA內(nèi)插、高分辨率調(diào) 整大小和像素縱橫比校正方框366從低分辨率色差CFA圖像314(圖4)中產(chǎn)生校正后的高 分辨率色差圖像318 (圖4)。方框366是組合的內(nèi)插操作。作為示例，圖IlB(Q1-Qtl)代表 圖IlA(R1-G6)的經(jīng)CFA內(nèi)插、高分辨率調(diào)整大小和像素縱橫比校正后的版本。注意在圖IlA 中，每個(gè)像素值是色差值而不是原始色值。由于像素Q1和R1是一致的，所以對于Q1不需要 高分辨率調(diào)整大小或像素縱橫比校正。因此，僅執(zhí)行CFA內(nèi)插。采用如下的標(biāo)準(zhǔn)雙線性內(nèi) 插Qie = R1Qig = (G8+Gd+G2+G4) /4Qib = (B7+B9+Bg+B5) /4在Q2的情況下，執(zhí)行CFA內(nèi)插、高分辨率調(diào)整大小和像素縱橫比校正。中間步驟 被示出以說明最終計(jì)算的確定。 Q2e = (R^SR2) /4 —(隊(duì)+3 (R^R3) /2) /4 — (5隊(duì)+31 3) /8Q2g = (G^SG2) /4 — ((G8+GD+G4+G2) /4+3G2) /4 — (GD+13G2+G4+G8)/16Q2b = (B^SB2) /4 — ((B7+B9+BG+B5) /4+ (B9+B5) /2) /4 — (7B5+B7+7B9+BG)/16因此，為確定Q2像素值而由方框360執(zhí)行的計(jì)算為Q2e = (SR^SR3) /8Q2g= (Gd+13G2+G4+G8)/16Q2b = (7B5+B7+7B9+Bg)/16
下面給出該示例中的其余計(jì)算。<formula>formula see original document page 12</formula>
Qfb = (3B5+Bh) /4Qge= (Rf+7Rm+R0+7R3)/16Qgg = (13G6+GN+GE+GD/16Qgb = (3B5+5Bh) /8Qhe = (2RK+R!) /3Qhg= (9G4+Gj+Gl+Gq) /12Qhb = (5B5+5BG+BP+BE)/12Qie= (10Rk+6Rm+5R1+3R3)/24Qig= (6G2+15G4+6G6+Gj+19Gl+Gq) /48Qib = (35B5+5BG+BP+7BE) /48Qje= (2Rk+6Rm+R1+3R3)/12Qjg= (2G2+2G4+1 1G6+7Gl+Gn+Gs) /24Qjb= (15B5+5Bh+3Be+Bt)/24Qke= (Rf+14Rm+2R0+7R3)/24Qkg= (29G6+3GL+9GN+3GS+2GE+2G!)/48Qkb= (15B5+25Bh+3Be+5Bt)/48Qle = (5&+禮)/6Qlg = (3G4+Gj+Gl+Gq) /6Qlb = (2B5+2BG+BP+BE) /6Qme= (25Rk+15Rm+5R1+3R3)/48Qmg = (3G2+9G4+3G6+2Gj+29Gl+2Gq) /48Qmb= (14B5+2Bg+Bp+7Be)/24Qne= (5Rk+15Rm+R1+3R3)/24Qng= (G3+G4+7G6+1 1Gl+2Gn+2Gs) /24Qnb= (6B5+2Bh+3Be+Bt)/12Qoe = (Rf+35Rm+5R0+7R3) /48Qog = (19G6+6GL+15GN+6GS+GE+GD/48Qob= (6B5+10Bh+3Be+5Bt)/24對本領(lǐng)域技術(shù)人員將顯而易見的是，其它內(nèi)插方法諸如三次卷積內(nèi)插能夠用于替 代雙線性內(nèi)插。本發(fā)明的優(yōu)選實(shí)施例中所公開的像素縱橫比校正算法能夠被用于各種用戶上下 文和環(huán)境中。示例性上下文和環(huán)境包括但不限于批發(fā)數(shù)字照相洗印加工(其涉及諸如裝 膠卷、數(shù)字處理、打印輸出的示例性處理步驟或階段)、零售照相洗印加工(裝膠卷、數(shù)字處 理、打印輸出)、家庭打印(家庭掃描的膠卷或數(shù)字圖像、數(shù)字處理、打印輸出)、桌面軟件 (將算法應(yīng)用于數(shù)字打印以使得它們更好_或者甚至僅改變它們)、數(shù)字實(shí)現(xiàn)(數(shù)字圖像輸 入_從媒介或通過網(wǎng)絡(luò)，數(shù)字處理，圖像輸出_以媒介上的數(shù)字形式，網(wǎng)絡(luò)上的數(shù)字形式，或 者打印在硬拷貝印刷品上)、信息亭(數(shù)字或掃描輸入、數(shù)字處理、數(shù)字或掃描輸出)、移動 裝置(例如PDA或蜂窩電話，其能夠用作處理單元、顯示單元或用于給出處理指令的單元) 以及作為經(jīng)由萬維網(wǎng)提供的服務(wù)。
在每種情況下，像素縱橫比校正算法能夠獨(dú)立存在或者能夠是較大系統(tǒng)解決方案的部件。而且，與算法的接口，例如掃描或輸入、數(shù)字處理、向用戶顯示(如果需要的話)、輸 入用戶請求或處理指令(如果需要的話)、輸出，每個(gè)都能夠位于相同或不同裝置和物理位 置上，并且裝置和位置之間的通信能夠是經(jīng)由公共或?qū)Ｓ镁W(wǎng)絡(luò)連接、或者基于媒介的通信。 這些算法在符合本發(fā)明的前面公開的情況下能夠是全自動的，能夠讓用戶輸入(是全部或 部分人工的)，能夠讓用戶或操作員查看以接收/拒絕結(jié)果，或者能夠由元數(shù)據(jù)(能夠由用 戶提供、由測量裝置(例如在相機(jī)中)提供、或由算法確定的元數(shù)據(jù))輔助。此外，算法能 夠與各種工作流用戶接口方案接口。在這里依據(jù)該發(fā)明所公開的像素縱橫比校正算法能夠具有利用各種數(shù)據(jù)檢測和 簡化技術(shù)(例如人臉檢測、眼睛檢測、皮膚檢測、閃光檢測)的內(nèi)部部件。部件列表110計(jì)算機(jī)系統(tǒng)112基于微處理器的單元114顯示器116 鍵盤118 鼠標(biāo)120顯示器上的選擇器122盤驅(qū)動單元124光盤只讀存儲器(⑶-ROM)126 軟盤127網(wǎng)絡(luò)連接128打印機(jī)130個(gè)人計(jì)算機(jī)卡(PC卡)132PC卡讀取器134數(shù)碼相機(jī)136相機(jī)底座端口138電纜連接140無線連接200數(shù)碼相機(jī)202RGB CFA 圖像204CFA 內(nèi)插206全色圖像208像素縱橫比校正210校正后的全色圖像212數(shù)碼相機(jī)214RGB CFA 圖像216CFA內(nèi)插和調(diào)整大小218調(diào)整大小后的全色圖像300RGBP CFA 圖像
302全色內(nèi)插304高分辨率全色圖像306低分辨率全色圖像308色差生成310低分辨率彩色抽取312低分辨率RGB CFA圖像314低分辨率色差CFA圖像316色差CFA內(nèi)插和調(diào)整大小318校正后的高分辨率色差圖像320像素縱橫比校正322校正后的高分辨率全色圖像324色差和全色圖像總和326增強(qiáng)的全色圖像
328高分辨率全色內(nèi)插330高分辨率全色圖像332低分辨率全色抽取334低分辨率全色內(nèi)插336色差CFA內(nèi)插338低分辨率色差圖像340高分辨率調(diào)整大小342高分辨率色差圖像344像素縱橫比校正346像素縱橫比校正348校正后的色差圖像350高分辨率調(diào)整大小352高分辨率調(diào)整大小和像素縱橫比校正354色差CFA內(nèi)插和像素縱橫比校正356校正后的低分辨率色差圖像358高分辨率調(diào)整大小360色差CFA內(nèi)插和高分辨率調(diào)整大小362高分辨率色差圖像364像素縱橫比校正366色差CFA內(nèi)插、高分辨率調(diào)整大小、和像素縱橫比校正.
權(quán)利要求
一種形成具有第一像素縱橫比的增強(qiáng)的數(shù)字全色圖像的方法，包括(a)使用圖像傳感器來捕獲圖像，所述圖像傳感器具有全色像素和對應(yīng)于至少兩種彩色光響應(yīng)的彩色像素，其中彩色和全色像素每個(gè)均具有與所述第一像素縱橫比不同的第二像素縱橫比；(b)從所捕獲的圖像中提供數(shù)字高分辨率全色圖像并且將全色像素值的縱橫比從第二像素縱橫比改變到第一像素縱橫比以產(chǎn)生數(shù)字縱橫校正的高分辨率全色圖像；(c)從捕獲的圖像中提供數(shù)字低分辨率色差濾色器陣列圖像；(d)從所述低分辨率色差濾色器陣列圖像中提供數(shù)字縱橫校正的高分辨率色差圖像；以及(e)使用縱橫校正的高分辨率全色圖像和縱橫校正的高分辨率色差圖像來產(chǎn)生增強(qiáng)的數(shù)字全色圖像。
2.權(quán)利要求的方法1，其中步驟(a)包括具有光響應(yīng)紅、綠和藍(lán)的彩色像素。
3.權(quán)利要求的方法1，其中步驟(a)包括具有光響應(yīng)青、品紅和黃的彩色像素。
4.權(quán)利要求的方法1，其中步驟(c)包括從高分辨率全色圖像中產(chǎn)生數(shù)字低分辨率全 色圖像并且使用低分辨率全色圖像和捕獲的彩色像素來產(chǎn)生數(shù)字低分辨率色差濾色器陣 列圖像。
5.權(quán)利要求的方法1，其中步驟(d)包括濾色器陣列內(nèi)插色差像素值。
6.權(quán)利要求的方法1，其中步驟(d)包括將色差像素值的像素縱橫比從第二像素縱橫 比改變到第一像素縱橫比。
7.權(quán)利要求的方法1，其中步驟(d)包括將色差像素值從低分辨率調(diào)整大小到高分辨率。
8.權(quán)利要求的方法1，其中第一像素縱橫比定義正方形而第二像素縱橫比定義非正方 形的矩形。
全文摘要
一種形成具有第一像素縱橫比的增強(qiáng)的數(shù)字全色圖像的方法包括使用圖像傳感器來捕獲圖像，所述圖像傳感器具有全色像素和對應(yīng)于至少兩種彩色光響應(yīng)的彩色像素，其中彩色和全色像素每個(gè)均具有與所述第一像素縱橫比不同的第二像素縱橫比；從所捕獲的圖像中提供數(shù)字高分辨率全色圖像并且將全色像素值的縱橫比從第二像素縱橫比改變到第一像素縱橫比以產(chǎn)生數(shù)字縱橫校正的高分辨率全色圖像；從捕獲的圖像中提供數(shù)字低分辨率色差濾色器陣列圖像；從所述低分辨率色差濾色器陣列圖像中提供數(shù)字縱橫校正的高分辨率色差圖像；以及使用縱橫校正的高分辨率全色圖像和縱橫校正的高分辨率色差圖像來產(chǎn)生增強(qiáng)的數(shù)字全色圖像。
文檔編號H04N9/04GK101803391SQ200880103332
公開日2010年8月11日 申請日期2008年8月6日 優(yōu)先權(quán)日2007年8月14日
發(fā)明者J·E·亞當(dāng)斯, J·F·哈米爾頓, M·奧布賴恩 申請人:伊斯曼柯達(dá)公司