圖像處理裝置和方法、程序和固態(tài)成像裝置制造方法
【專(zhuān)利摘要】本發(fā)明涉及圖像處理裝置和方法、程序和固態(tài)成像裝置。一種圖像處理裝置，包括：預(yù)測(cè)抽頭獲取單元，該預(yù)測(cè)抽頭獲取單元從多個(gè)輸入圖像獲取根據(jù)關(guān)注像素而決定的多個(gè)像素的值作為預(yù)測(cè)抽頭，所述多個(gè)輸入圖像由各自具有單一顏色成分的像素形成并具有不同的像素陣列形式；系數(shù)數(shù)據(jù)存儲(chǔ)單元，該系數(shù)數(shù)據(jù)存儲(chǔ)單元存儲(chǔ)與相應(yīng)的獲取的預(yù)測(cè)抽頭相乘的系數(shù)的數(shù)據(jù)；以及預(yù)測(cè)計(jì)算單元，該預(yù)測(cè)計(jì)算單元通過(guò)使用預(yù)測(cè)抽頭和系數(shù)的計(jì)算來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像由具有多種顏色成分的像素形成，并且是通過(guò)對(duì)輸入圖像進(jìn)行去馬賽克處理而獲得的圖像。
【專(zhuān)利說(shuō)明】圖像處理裝置和方法、程序和固態(tài)成像裝置
【背景技術(shù)】
[0001]本公開(kāi)涉及圖像處理裝置和方法、程序和固態(tài)成像裝置，具體地涉及可以在抑制電路規(guī)模的同時(shí)以低成本實(shí)現(xiàn)根據(jù)多種陣列形式的去馬賽克處理(demosaicing process)的圖像處理裝置和方法、程序和固態(tài)成像裝置。
[0002]出于小型化其尺寸的目的而只具有一個(gè)成像元件的成像裝置通常對(duì)于該成像元件的每一個(gè)像素具有不同的濾色器，并且捕獲對(duì)于每一個(gè)像素具有表達(dá)多種顏色成分中的任何一種的顏色成分(例如，R成分、G成分和B成分的三種顏色成分中的任何一種)的圖像。由于對(duì)于每一個(gè)像素具有表達(dá)多種顏色成分中的任何一種的顏色成分的圖像通常包含按照被稱(chēng)為拜耳陣列(Bayer array)的形式布置的像素，所以該圖像被稱(chēng)為拜耳陣列圖像。
[0003]另外，對(duì)于每一個(gè)像素具有多種顏色成分的彩色圖像(例如，具有R成分、G成分和B成分的三種顏色成分的圖像)通常是使用插值處理等基于拜耳陣列圖像而生成的。對(duì)于每一個(gè)像素具有多種顏色成分的這種彩色圖像被稱(chēng)為RGB圖像。例如，通過(guò)對(duì)拜耳陣列圖像執(zhí)行插值處理來(lái)獲得RGB圖像的處理被稱(chēng)為去馬賽克處理。
[0004]這種拜耳陣列圖像通過(guò)濾色器的陣列來(lái)實(shí)現(xiàn)各種顏色陣列。通常，拜耳陣列圖像是通過(guò)使用按照二維矩陣形狀設(shè)置的像素以交替的方式設(shè)置其中R像素和G像素重復(fù)地布置的行和其中G像素和B像素重復(fù)地布置的行來(lái)形成的。
[0005]同時(shí)，在普通的拜耳陣列圖像中，像素密度也被提高。例如，也使用通過(guò)使普通的拜耳陣列圖像的像素密度變成四倍而獲得的拜耳陣列圖像。
[0006]當(dāng)拜耳陣列圖像被去馬賽克處理為RGB圖像時(shí)，為了提高輸出圖像的質(zhì)量，還可以執(zhí)行用于降低噪聲的處理和用于提高敏銳感的處理。
[0007]例如，還開(kāi)發(fā)了這樣一種技術(shù)，其中，通過(guò)針對(duì)輸入圖像信號(hào)的每一個(gè)關(guān)注像素提取關(guān)注像素附近的多個(gè)像素并對(duì)該多個(gè)像素的信號(hào)值執(zhí)行ADRC處理來(lái)生成第一特征信息，在輸入圖像信號(hào)的銳利的邊緣部分中的像素的信號(hào)值被提取作為第二特征信息，基于第一特征信息和第二特征信息來(lái)決定一個(gè)類(lèi)別，并且，基于決定的類(lèi)別來(lái)生成至少具有與該關(guān)注像素所具有的顏色成分不同的顏色成分的像素(例如，參見(jiàn)日本未審專(zhuān)利申請(qǐng)公開(kāi)N0.2002-64835)ο
【發(fā)明內(nèi)容】
[0008]但是，當(dāng)使用日本未審專(zhuān)利申請(qǐng)公開(kāi)N0.2002-64835中公開(kāi)的技術(shù)來(lái)執(zhí)行去馬賽克處理時(shí)，例如，需要存儲(chǔ)與拜耳陣列圖像的陣列形式類(lèi)型(例如，具有多種像素密度的拜耳陣列圖像)的數(shù)量相對(duì)應(yīng)的多種系數(shù)數(shù)據(jù)。
[0009]另外，由于根據(jù)陣列形式改變類(lèi)別抽頭或預(yù)測(cè)抽頭，所以需要準(zhǔn)備多種轉(zhuǎn)換處理。
[0010]換句話(huà)說(shuō)，在相關(guān)領(lǐng)域的技術(shù)中，應(yīng)該針對(duì)輸入圖像的每一個(gè)陣列形式來(lái)準(zhǔn)備預(yù)先通過(guò)學(xué)習(xí)生成的系數(shù)數(shù)據(jù)和轉(zhuǎn)換處理單元，這導(dǎo)致電路規(guī)模的增大、存儲(chǔ)器容量的增大和成本的上升。
[0011]希望能夠在抑制電路規(guī)模的同時(shí)以低成本實(shí)現(xiàn)根據(jù)多種陣列形式執(zhí)行的去馬賽克處理。
[0012]根據(jù)本技術(shù)的第一實(shí)施例，提供一種圖像處理裝置，該圖像處理裝置包括:預(yù)測(cè)抽頭獲取單元，該預(yù)測(cè)抽頭獲取單元從多個(gè)輸入圖像獲取根據(jù)關(guān)注像素而決定的多個(gè)像素的值作為預(yù)測(cè)抽頭，所述多個(gè)輸入圖像由各自具有單一顏色成分的像素形成并具有不同的像素陣列形式；系數(shù)數(shù)據(jù)存儲(chǔ)單元，該系數(shù)數(shù)據(jù)存儲(chǔ)單元存儲(chǔ)與相應(yīng)的獲取的預(yù)測(cè)抽頭相乘的系數(shù)的數(shù)據(jù)；以及預(yù)測(cè)計(jì)算單元，該預(yù)測(cè)計(jì)算單元通過(guò)使用預(yù)測(cè)抽頭和系數(shù)的計(jì)算來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像由具有多種顏色成分的像素形成，并且是通過(guò)對(duì)輸入圖像進(jìn)行去馬賽克處理而獲得的圖像。預(yù)測(cè)計(jì)算單元使用與從具有預(yù)定像素密度的第一輸入圖像獲取的相應(yīng)的預(yù)測(cè)抽頭相乘的系數(shù)來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像是通過(guò)對(duì)第二輸入圖像進(jìn)行去馬賽克處理而獲得，該第二輸入圖像具有比第一輸入圖像低的像素密度且具有不同的像素陣列形式。
[0013]每一個(gè)輸入圖像可以是由各自具有紅色、綠色和藍(lán)色中的每一種顏色的單一顏色成分的像素形成的拜耳陣列圖像，或者是通過(guò)將拜耳陣列圖像的每一個(gè)像素分成2列和2行的具有相同顏色的像素而得到的拜耳2X2陣列圖像，并且，輸出圖像可以是由具有紅色、綠色和藍(lán)色的三種顏色成分的像素形成的RGB圖像。
[0014]當(dāng)輸入圖像是拜耳2X2陣列圖像時(shí)，預(yù)測(cè)抽頭獲取單元可以與在四個(gè)相鄰位置處的關(guān)注像素相對(duì)應(yīng)地獲取同樣的預(yù)測(cè)抽頭。
[0015]當(dāng)輸入圖像是拜耳陣列圖像時(shí)，預(yù)測(cè)計(jì)算單元可以計(jì)算與拜耳2X2陣列圖像的預(yù)測(cè)抽頭中的四個(gè)抽頭相乘的系數(shù)的平均值或代表值，并且，通過(guò)將計(jì)算出的平均值或代表值與拜耳陣列圖像的預(yù)測(cè)抽頭相乘來(lái)計(jì)算輸出圖像中的關(guān)注像素的值。
[0016]圖處理裝置還可以包括:類(lèi)別抽頭獲取單元，該類(lèi)別抽頭獲取單元從輸入圖像獲取根據(jù)關(guān)注像素決定的多個(gè)像素的值作為類(lèi)別抽頭；以及類(lèi)別分類(lèi)單元，該類(lèi)別分類(lèi)單元將關(guān)注像素分類(lèi)到預(yù)定的類(lèi)別中。
[0017]當(dāng)輸入圖像是拜耳2 X 2陣列圖像時(shí)，類(lèi)別抽頭獲取單元可以獲取通過(guò)將構(gòu)成拜耳陣列圖像的類(lèi)別抽頭的每一個(gè)像素分成2列和2行的具有相同顏色的像素而得到的類(lèi)別抽頭。
[0018]當(dāng)輸入圖像是拜耳2X2陣列圖像時(shí)，類(lèi)別分類(lèi)單元可以計(jì)算構(gòu)成類(lèi)別抽頭的具有相同顏色的四個(gè)像素的平均值或代表值，通過(guò)對(duì)計(jì)算出的平均值或代表值執(zhí)行ADRC處理來(lái)決定具有與輸入圖像是拜耳陣列圖像時(shí)的類(lèi)別代碼相同位數(shù)的類(lèi)別代碼，以及對(duì)關(guān)注像素執(zhí)行類(lèi)別分類(lèi)。
[0019]當(dāng)輸入圖像是拜耳陣列圖像時(shí)，類(lèi)別分類(lèi)單元可以通過(guò)對(duì)量化代碼的一部分進(jìn)行插值來(lái)決定具有與輸入圖像是拜耳2X2陣列圖像時(shí)的類(lèi)別代碼相同位數(shù)的類(lèi)別代碼，并且對(duì)關(guān)注像素執(zhí)行類(lèi)別分類(lèi)，所述量化代碼的一部分是通過(guò)對(duì)構(gòu)成類(lèi)別抽頭的像素的值執(zhí)行ADRC處理而得到的。
[0020]在系數(shù)數(shù)據(jù)存儲(chǔ)單元中存儲(chǔ)的系數(shù)的數(shù)據(jù)可以被設(shè)置為通過(guò)以具有與拜耳2X2陣列圖像相同的像素密度的RGB圖像作為教師圖像且以通過(guò)對(duì)RGB圖像的每一個(gè)像素的顏色成分進(jìn)行間隔剔除而生成的拜耳2X2陣列圖像作為學(xué)生圖像進(jìn)行學(xué)習(xí)而計(jì)算出的系數(shù)的數(shù)據(jù)。
[0021]圖像處理裝置還可以包括輸入圖像轉(zhuǎn)換單元，該輸入圖像轉(zhuǎn)換單元根據(jù)操作模式將預(yù)定陣列形式的圖像轉(zhuǎn)換為另一種陣列形式的圖像，并且供應(yīng)該另一種陣列形式的圖像作為輸入圖像。
[0022]據(jù)本技術(shù)的第一實(shí)施例，提供一種圖像處理方法，該圖像處理方法包括:通過(guò)預(yù)測(cè)抽頭獲取單元，從多個(gè)輸入圖像獲取根據(jù)關(guān)注像素而決定的多個(gè)像素的值作為預(yù)測(cè)抽頭，所述多個(gè)輸入圖像由各自具有單一顏色成分的像素形成并具有像素的不同陣列形式；以及通過(guò)使用預(yù)測(cè)抽頭和存儲(chǔ)在系數(shù)數(shù)據(jù)存儲(chǔ)單元中的系數(shù)的計(jì)算來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像由具有多種顏色成分的像素形成并且是通過(guò)對(duì)輸入圖像進(jìn)行去馬賽克處理而獲得的圖像。使用與從具有預(yù)定像素密度的第一輸入圖像獲取的相應(yīng)的預(yù)測(cè)抽頭相乘的系數(shù)來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像是通過(guò)對(duì)具有比第一輸入圖像低的像素密度的、不同的像素陣列形式的第二輸入圖像進(jìn)行去馬賽克處理而獲得的。
[0023]據(jù)本技術(shù)的第一實(shí)施例，提供一種指示計(jì)算機(jī)充當(dāng)圖像處理裝置的程序，該圖像處理裝置包括:預(yù)測(cè)抽頭獲取單元，該預(yù)測(cè)抽頭獲取單元從多個(gè)輸入圖像獲取根據(jù)關(guān)注像素而決定的多個(gè)像素的值作為預(yù)測(cè)抽頭，所述多個(gè)輸入圖像由各自具有單一顏色成分的像素形成并具有不同的像素陣列形式；系數(shù)數(shù)據(jù)存儲(chǔ)單元，該系數(shù)數(shù)據(jù)存儲(chǔ)單元存儲(chǔ)與相應(yīng)的獲取的預(yù)測(cè)抽頭相乘的系數(shù)的數(shù)據(jù)；以及預(yù)測(cè)計(jì)算單元，該預(yù)測(cè)計(jì)算單元通過(guò)使用預(yù)測(cè)抽頭和系數(shù)的計(jì)算來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像由具有多種顏色成分的像素形成，并且是通過(guò)對(duì)輸入圖像進(jìn)行去馬賽克處理而獲得的圖像。預(yù)測(cè)計(jì)算單元使用與從具有預(yù)定像素密度的第一輸入圖像獲取的相應(yīng)的預(yù)測(cè)抽頭相乘的系數(shù)來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像是通過(guò)對(duì)第二輸入圖像進(jìn)行去馬賽克處理而獲得，該第二輸入圖像具有比第一輸入圖像低的像素密度且具有不同的像素陣列形式。
[0024]據(jù)本技術(shù)的第二實(shí)施例，提供一種固態(tài)成像裝置，該固態(tài)成像裝置包括:在平面上布置多個(gè)光電轉(zhuǎn)換元件而形成的像素陣列；預(yù)測(cè)抽頭獲取單元，該預(yù)測(cè)抽頭獲取單元從多個(gè)輸入圖像獲取根據(jù)關(guān)注像素而決定的多個(gè)像素的值作為預(yù)測(cè)抽頭，基于從所述像素陣列輸出的信號(hào)生成所述輸入圖像，所述多個(gè)輸入圖像由各自具有單一顏色成分的像素形成并具有不同的像素陣列形式；系數(shù)數(shù)據(jù)存儲(chǔ)單元，該系數(shù)數(shù)據(jù)存儲(chǔ)單元存儲(chǔ)與相應(yīng)的獲取的預(yù)測(cè)抽頭相乘的系數(shù)的數(shù)據(jù)；以及預(yù)測(cè)計(jì)算單元，該預(yù)測(cè)計(jì)算單元通過(guò)使用預(yù)測(cè)抽頭和系數(shù)的計(jì)算來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像由具有多種顏色成分的像素形成，并且是通過(guò)對(duì)輸入圖像進(jìn)行去馬賽克處理而獲得的圖像。預(yù)測(cè)計(jì)算單元使用與從具有預(yù)定像素密度的第一輸入圖像獲取的相應(yīng)的預(yù)測(cè)抽頭相乘的系數(shù)來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像是通過(guò)對(duì)第二輸入圖像進(jìn)行去馬賽克處理而獲得，該第二輸入圖像具有比第一輸入圖像低的像素密度且具有不同的像素陣列形式。
[0025]根據(jù)本公開(kāi)的第一實(shí)施例和第二實(shí)施例，從多個(gè)輸入圖像獲取根據(jù)關(guān)注像素決定的多個(gè)像素的值作為預(yù)測(cè)抽頭，所述多個(gè)輸入圖像由各自具有單種顏色成分的像素形成并具有不同的像素陣列形式，存儲(chǔ)與每一個(gè)獲取的預(yù)測(cè)抽頭相乘的系數(shù)的數(shù)據(jù)，通過(guò)使用預(yù)測(cè)抽頭和系數(shù)的計(jì)算來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像由具有多種顏色成分的像素形成，并且是通過(guò)對(duì)輸入圖像進(jìn)行去馬賽克而獲得的圖像，使用與從具有預(yù)定像素密度的第一輸入圖像獲取的相應(yīng)的預(yù)測(cè)抽頭相乘的系數(shù)來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像是通過(guò)對(duì)具有比第一輸入圖像低的像素密度的不同的像素陣列形式的第二輸入圖像進(jìn)行去馬賽克而獲得的。[0026]根據(jù)上述的本公開(kāi)的實(shí)施例，可以在抑制電路規(guī)模的同時(shí)以低成本實(shí)現(xiàn)根據(jù)多種陣列形式執(zhí)行的去馬賽克處理。
【專(zhuān)利附圖】
【附圖說(shuō)明】
[0027]圖1是示出拜耳陣列的例子的示圖；
[0028]圖2是通過(guò)使普通拜耳陣列的像素密度變成四倍而獲得的拜耳陣列的例子的示圖；
[0029]圖3是示出拜耳2X2陣列的例子的示圖；
[0030]圖4是示出使用現(xiàn)有技術(shù)的圖像質(zhì)量改進(jìn)系統(tǒng)的配置例子的框圖；
[0031]圖5是不出應(yīng)用本技術(shù)的圖像質(zhì)量改進(jìn)系統(tǒng)的配置例子的框圖；
[0032]圖6是示出圖5的預(yù)測(cè)信號(hào)處理單元的配置例子的框圖；
[0033]圖7是示出在拜耳陣列圖像中獲取的類(lèi)別抽頭的例子的示圖；
[0034]圖8是示出在拜耳2X2陣列圖像中獲取的類(lèi)別抽頭的例子的示圖；
[0035]圖9是示出在拜耳2X2陣列圖像中獲取的類(lèi)別抽頭的例子的示圖；
[0036]圖10是用于描述類(lèi)別代碼的替代的例子的示圖；
[0037]圖11是示出在拜耳陣列圖像中獲取的預(yù)測(cè)抽頭的例子的示圖；
[0038]圖12是示出在拜耳2X2陣列圖像中獲取的預(yù)測(cè)抽頭的例子的示圖；
[0039]圖13是用于描述與拜耳2X2陣列圖像的預(yù)測(cè)抽頭相乘的系數(shù)的示圖；
[0040]圖14是用于描述與拜耳陣列圖像的預(yù)測(cè)抽頭相乘的系數(shù)的示圖；
[0041]圖15A至15C是示出拜耳2X2陣列圖像中的獲取的預(yù)測(cè)抽頭的其它例子的示圖；
[0042]圖16是示出應(yīng)用本技術(shù)的學(xué)習(xí)裝置的配置例子的框圖；
[0043]圖17是描述學(xué)習(xí)處理的例子的流程圖；
[0044]圖18是描述圖像質(zhì)量改進(jìn)去馬賽克處理的例子的流程圖；
[0045]圖19是描述對(duì)于每一種陣列形式的類(lèi)別分類(lèi)自適應(yīng)處理的例子的流程圖；
[0046]圖20是示出應(yīng)用本技術(shù)的圖像質(zhì)量改進(jìn)系統(tǒng)的另一配置例子的框圖；以及
[0047]圖21是示出個(gè)人計(jì)算機(jī)的配置例子的框圖。
【具體實(shí)施方式】
[0048]在下文中，將參照附圖詳細(xì)地描述本公開(kāi)的優(yōu)選實(shí)施例。
[0049]只具有一個(gè)成像元件的成像裝置通常對(duì)于該成像元件的每一個(gè)像素具有不同的濾色器，并且捕獲對(duì)于每一個(gè)像素具有表達(dá)多種顏色成分中的任何一種的顏色成分(例如，R成分、G成分和B成分的三種顏色成分中的任何一種)的圖像。以這樣的方式，對(duì)于每一個(gè)像素具有表達(dá)多種顏色成分中的任何一種的顏色成分的圖像通常包括按照被稱(chēng)為拜耳陣列的形式布置的像素。
[0050]圖1是示出拜耳陣列的例子的示圖。圖中的“R”指示其中提供對(duì)應(yīng)于紅色的濾色器的像素，“G”指示其中提供對(duì)應(yīng)于綠色的濾色器的像素，“B”指示其中提供對(duì)應(yīng)于藍(lán)色的濾色器的像素。在圖1中所示的例子中，對(duì)于以二維矩陣形狀設(shè)置的像素，以交替的方式設(shè)置其中R像素和G像素重復(fù)布置的行(例如從頂部算起的第一、第三和第五行)和其中G像素和B像素重復(fù)布置的列(例如從頂部算起的第二和第四行)。[0051]可以增加普通拜耳陣列的像素密度。例如，還使用通過(guò)使普通拜耳陣列的像素密度變成四倍而獲得的拜耳陣列。圖2是示出通過(guò)使普通拜耳陣列的像素陣列變成四倍而獲得的拜耳陣列的例子。
[0052]在圖2的例子中，圖1的一個(gè)像素被分成2列和2行，由此，設(shè)置四個(gè)像素。換句話(huà)說(shuō)，圖1中的每一個(gè)R像素由圖2中的R、G、G和B像素的四個(gè)像素形成。以相同的方式，圖1的每一個(gè)G像素和B像素由R、G、G和B像素的四個(gè)像素形成。
[0053]另外，近年來(lái)，還使用了通過(guò)以另一種方式使普通拜耳陣列的像素密度變成四倍而獲得的拜耳陣列。圖3是使普通拜耳陣列的像素密度變成四倍而獲得的拜耳陣列的另一例子的示圖。
[0054]在圖3的例子中，圖1的一個(gè)像素被分成2列和2行，由此，設(shè)置具有相同顏色的四個(gè)像素。換句話(huà)說(shuō)，圖1中的每一個(gè)R像素由圖3中的R、R、R和R像素的四個(gè)像素形成。以相同的方式，圖1的每一個(gè)G像素由G、G、G和G像素的四個(gè)像素形成，每一個(gè)B像素由B、B、B和B像素的四個(gè)像素形成。
[0055]例如，當(dāng)如圖2所示形成拜耳陣列時(shí)，需要在極小的區(qū)域內(nèi)適當(dāng)?shù)卦O(shè)置對(duì)應(yīng)于R、G和B的三種顏色的濾色器。因此，在圖2所示的情況中，為了防止顏色泄露等，需要高技術(shù)能力。關(guān)于這種方式，例如，當(dāng)如圖3所示形成拜耳陣列時(shí)，與圖2的情況相比，可以以更低的成本最小化顏色泄露等問(wèn)題。另外，例如，當(dāng)如圖3所示形成拜耳陣列時(shí)，與圖1中所示的情況相比，構(gòu)成圖像的像素的數(shù)量增加得更多，因此，可以獲得高清度圖像。
[0056]這里，圖3中所示的陣列形式被稱(chēng)為拜耳2X2陣列。
[0057]使用對(duì)應(yīng)于如圖1至3所示的這種陣列形式的像素獲得的圖像變成其中每一個(gè)像素只具有R、G或B中的一種顏色成分的圖像。為了接近人眼觀看到的圖像，需要將其中每一個(gè)像素只具有R、G或B中的一種顏色成分的圖像轉(zhuǎn)換為其中每一個(gè)像素具有R、G和B的三種顏色成分的圖像。以這樣的方式，將由各自具有單種顏色成分的像素形成的圖像轉(zhuǎn)換為由各自具有多種顏色成分的像素形成的圖像被稱(chēng)為去馬賽克處理。
[0058]這里，使用對(duì)應(yīng)于圖1中所示的陣列形式的像素捕獲的圖像被稱(chēng)為拜耳陣列圖像，并且，使用對(duì)應(yīng)于圖3中所示的陣列形式的像素捕獲的圖像被稱(chēng)為拜耳2X2陣列圖像。另外，其中每一個(gè)像素具有R、G和B的三種顏色成分的圖像被稱(chēng)為RGB圖像。
[0059]當(dāng)拜耳陣列圖像或拜耳2X2陣列圖像被去馬賽克處理為RGB圖像時(shí)，也可以執(zhí)行用于降低噪聲的處理和用于提高敏銳感的處理來(lái)提高輸出圖像的質(zhì)量。例如，使用關(guān)于拜耳陣列圖像中的關(guān)注像素周邊的像素的信息執(zhí)行類(lèi)別分類(lèi)，并且，基于類(lèi)別分類(lèi)結(jié)果，使用預(yù)先學(xué)習(xí)的數(shù)據(jù)，可以在關(guān)注像素上生成不同于上述顏色成分的顏色成分。
[0060]但是，如果拜耳陣列圖像被去馬賽克處理為現(xiàn)有技術(shù)中的RGB圖像，那么需要準(zhǔn)備與當(dāng)拜耳2X2陣列圖像被去馬賽克處理為RGB圖像時(shí)的系數(shù)數(shù)據(jù)和信號(hào)處理方法不同的系數(shù)數(shù)據(jù)和信號(hào)處理方法。
[0061]圖4是示出使用現(xiàn)有技術(shù)的圖像質(zhì)量改進(jìn)系統(tǒng)的配置例子的框圖。該圖中示出的圖像質(zhì)量改進(jìn)系統(tǒng)10對(duì)拜耳陣列圖像進(jìn)行去馬賽克處理而成為RGB圖像，或者對(duì)拜耳2 X 2陣列圖像進(jìn)行去馬賽克處理而成為RGB圖像。另外，為了提高輸出圖像的質(zhì)量，圖像質(zhì)量改進(jìn)系統(tǒng)10在去馬賽克處理期間執(zhí)行用于降低噪聲的處理和用于提高敏銳感的處理。
[0062]圖4的圖像質(zhì)量改進(jìn)系統(tǒng)10包括成像元件21、預(yù)測(cè)信號(hào)處理單元22-1、另一個(gè)預(yù)測(cè)信號(hào)處理單元22-2、系數(shù)數(shù)據(jù)存儲(chǔ)單元23-1和另一個(gè)系數(shù)數(shù)據(jù)存儲(chǔ)單元23-2。
[0063]成像元件21捕獲和輸出圖像。成像元件21可以輸出例如拜耳陣列圖像和拜耳2X2陣列圖像。
[0064]例如，預(yù)測(cè)信號(hào)處理單元22-1對(duì)從成像元件21輸出的拜耳陣列圖像進(jìn)行去馬賽克處理。例如，預(yù)測(cè)信號(hào)處理單元22-2對(duì)從成像元件21輸出的拜耳2X2陣列圖像進(jìn)行去馬賽克處理。另外，在去馬賽克處理期間，為了提高輸出圖像的質(zhì)量，預(yù)測(cè)信號(hào)處理單元22-1和預(yù)測(cè)信號(hào)處理單元22-2分別執(zhí)行用于降低噪聲的處理和用于提高敏銳感的處理。
[0065]預(yù)測(cè)信號(hào)處理單元22-1和預(yù)測(cè)信號(hào)處理單元22-2指定關(guān)注像素，該關(guān)注像素是作為輸入圖像的拜耳陣列圖像和拜耳2X2陣列圖像中的要進(jìn)行去馬賽克處理的像素。
[0066]然后，預(yù)測(cè)信號(hào)處理單元22-1和預(yù)測(cè)信號(hào)處理單元22-2分別提取由以關(guān)注像素作為中心的多個(gè)像素形成的類(lèi)別抽頭，然后，基于構(gòu)成類(lèi)別抽頭的像素值來(lái)執(zhí)行類(lèi)別分類(lèi)。作為執(zhí)行類(lèi)別分類(lèi)的方法，例如，可以利用ADRC (自適應(yīng)動(dòng)態(tài)范圍編碼)等，并且，使用ADRC的代碼作為類(lèi)別代碼來(lái)指定關(guān)注像素的類(lèi)別。
[0067]預(yù)測(cè)信號(hào)處理單元22-1和預(yù)測(cè)信號(hào)處理單元22-2提取由以輸入圖像的關(guān)注像素作為中心的多個(gè)像素形成的預(yù)測(cè)抽頭，通過(guò)將根據(jù)關(guān)注像素的類(lèi)別決定的系數(shù)與構(gòu)成預(yù)測(cè)抽頭的每一個(gè)像素的值相乘來(lái)執(zhí)行乘積和運(yùn)算，從而計(jì)算關(guān)注像素的預(yù)測(cè)值。此時(shí)，預(yù)測(cè)信號(hào)處理單元22-1讀取在系數(shù)數(shù)據(jù)存儲(chǔ)單元23-1中存儲(chǔ)的系數(shù)，然后將該系數(shù)與預(yù)測(cè)抽頭的每一個(gè)像素的值相乘。另一方面，預(yù)測(cè)信號(hào)處理單元22-2讀取在系數(shù)數(shù)據(jù)存儲(chǔ)單元23-2中存儲(chǔ)的系數(shù)，然后將該系數(shù)與預(yù)測(cè)抽頭的每一個(gè)像素的值相乘。
[0068]通過(guò)由預(yù)測(cè)信號(hào)處理單元22-1和預(yù)測(cè)信號(hào)處理單元22-2執(zhí)行的乘積和運(yùn)算，計(jì)算作為輸出圖像的各個(gè)RGB圖像的關(guān)注像素的值(預(yù)測(cè)值)。因此，預(yù)測(cè)信號(hào)處理單元22-1生成并輸出具有與拜耳陣列圖像相同的像素密度的RGB圖像，并且，預(yù)測(cè)信號(hào)處理單元22-2生成并輸出具有與拜耳2X2陣列圖像相同的像素密度的另一個(gè)RGB圖像。
[0069]如上所述，在現(xiàn)有技術(shù)中，為了通過(guò)對(duì)拜耳陣列圖像和拜耳2X2陣列圖像的去馬賽克處理來(lái)提高圖像質(zhì)量，需要根據(jù)輸入圖像來(lái)提供不同的預(yù)測(cè)信號(hào)處理單元和系數(shù)數(shù)據(jù)存儲(chǔ)單元。換句話(huà)說(shuō)，在現(xiàn)有技術(shù)中無(wú)法使用相同的系數(shù)以不同的陣列形式(和像素密度)對(duì)拜耳陣列圖像和拜耳2X2陣列圖像執(zhí)行預(yù)測(cè)操作。
[0070]但是，如果與現(xiàn)有技術(shù)一樣提供根據(jù)輸入圖像的不同的預(yù)測(cè)信號(hào)處理單元和系數(shù)數(shù)據(jù)存儲(chǔ)單元，那么電路規(guī)模增大，這導(dǎo)致存儲(chǔ)器容量的增加和成本上升。近年來(lái)，隨著裝置的小型化和成本降低，需要圖像質(zhì)量改進(jìn)系統(tǒng)的小型化和成本降低。
[0071]因此，本技術(shù)已經(jīng)通過(guò)使用共享的預(yù)測(cè)信號(hào)處理單元和系數(shù)數(shù)據(jù)存儲(chǔ)單元對(duì)拜耳陣列圖像和拜耳2X2陣列圖像進(jìn)行去馬賽克處理來(lái)實(shí)現(xiàn)圖像質(zhì)量改進(jìn)。
[0072]圖5是不出應(yīng)用本技術(shù)的圖像質(zhì)量改進(jìn)系統(tǒng)的配置例子的框圖。該圖中不出的圖像質(zhì)量改進(jìn)系統(tǒng)100包括成像元件111、預(yù)測(cè)信號(hào)處理單元112和系數(shù)數(shù)據(jù)存儲(chǔ)單元113。
[0073]成像元件111捕獲和輸出圖像。成像元件111輸出例如拜耳2X2陣列圖像。
[0074]例如，預(yù)測(cè)信號(hào)處理單元112對(duì)從成像元件111輸出的拜耳2X2陣列圖像進(jìn)行去馬賽克處理。
[0075]圖6是示出預(yù)測(cè)信號(hào)處理單元112的詳細(xì)配置例子的框圖。如圖所示，預(yù)測(cè)信號(hào)處理單元112被設(shè)置有預(yù)處理單元121和后處理單元122。[0076]預(yù)處理單元121包括像素缺陷校正部131、像素相加處理部132、箝位處理部133和白平衡部134。
[0077]像素缺陷校正部131檢測(cè)例如成像元件111的像素當(dāng)中的缺陷像素(由于任何原因而不會(huì)對(duì)入射光作出反應(yīng)的像素，或者總是累積電荷的像素)，并且，通過(guò)將周邊正常像素插值到缺陷像素來(lái)校正缺陷像素的輸出值，使得正常像素不受缺陷像素的影響。
[0078]像素相加處理部132根據(jù)操作模式將拜耳2X2陣列圖像的數(shù)據(jù)轉(zhuǎn)換為拜耳陣列圖像的數(shù)據(jù)。這里，操作模式被假設(shè)是例如運(yùn)動(dòng)圖像模式或靜止圖像模式，并且，基于安裝了該圖像質(zhì)量改進(jìn)系統(tǒng)100的設(shè)備的操作而被指定。
[0079]當(dāng)操作模式是運(yùn)動(dòng)圖像模式時(shí)，圖像質(zhì)量改進(jìn)系統(tǒng)100必須根據(jù)運(yùn)動(dòng)圖像的幀率來(lái)生成輸出圖像，由此執(zhí)行高速處理。由于這種原因，當(dāng)操作模式是例如運(yùn)動(dòng)圖像模式時(shí)，像素相加處理部132通過(guò)將例如拜耳2X2陣列圖像的R、G和B的每一種顏色成分的四個(gè)像素值切換為一個(gè)像素值來(lái)對(duì)拜耳陣列圖像的數(shù)據(jù)執(zhí)行轉(zhuǎn)換。
[0080]如上面參照?qǐng)D3描述的，在拜耳2X2陣列圖像中，通過(guò)將拜耳陣列圖像的每一個(gè)像素分成2列和2行來(lái)設(shè)置具有相同顏色的四個(gè)像素。通過(guò)使用例如具有相同顏色的四個(gè)像素值的平均值或者基于預(yù)定標(biāo)準(zhǔn)從四個(gè)像素值選擇的代表值來(lái)把四個(gè)像素值切換為一個(gè)像素值，像素相加處理部132將拜耳2X2陣列圖像的數(shù)據(jù)轉(zhuǎn)換為拜耳陣列圖像的數(shù)據(jù)。
[0081]另一方面，當(dāng)操作模式是靜止圖像模式時(shí)，圖像質(zhì)量改進(jìn)系統(tǒng)100不必執(zhí)行如運(yùn)動(dòng)圖像模式中一樣的高速處理。由于這種原因，例如，當(dāng)操作模式是靜止圖像模式時(shí)，圖像相加處理部132原樣地輸出拜耳2X2陣列圖像的數(shù)據(jù)。
[0082]這里，描述了由像素相加處理部132進(jìn)行的根據(jù)操作模式轉(zhuǎn)換陣列形式的例子，但是，可以基于其它條件來(lái)轉(zhuǎn)換陣列形式。
[0083]另外，這里，在拜耳2X2陣列圖像總是從成像元件111輸出并根據(jù)操作模式被轉(zhuǎn)換為拜耳陣列圖像的前提下提供了描述。但是，圖像質(zhì)量改進(jìn)系統(tǒng)100可以被配置為使得其中提供輸出拜耳陣列圖像的成像元件和輸出拜耳2X2陣列圖像的另一個(gè)成像元件，并且，根據(jù)操作模式從兩種成像元件之一輸出圖像。
[0084]箝位處理部133在成像元件111中的AD轉(zhuǎn)換期間消除偏移。換句話(huà)說(shuō)，當(dāng)在成像兀件111中執(zhí)行AD轉(zhuǎn)換時(shí)，由于為了防止負(fù)值被切去在正方向上偏移信號(hào)值并對(duì)該信號(hào)值進(jìn)行AD轉(zhuǎn)換，所以執(zhí)行箝位，使得消除了對(duì)應(yīng)于偏移的值。
[0085]白平衡部134通過(guò)校正每一種顏色成分的增益來(lái)調(diào)整白平衡。
[0086]后處理單元122包括類(lèi)別抽頭獲取部135、預(yù)測(cè)抽頭獲取部136、類(lèi)別分類(lèi)部137和自適應(yīng)處理部138。
[0087]類(lèi)別抽頭獲取部135指定關(guān)注像素，該關(guān)注像素是作為輸入圖像的拜耳陣列圖像或拜耳2 X 2陣列圖像中的要進(jìn)行去馬賽克處理的像素。另外，類(lèi)別抽頭獲取部135提取(獲取)由以關(guān)注像素為中心的多個(gè)像素形成的類(lèi)別抽頭。
[0088]類(lèi)別分類(lèi)部137基于構(gòu)成類(lèi)別抽頭的像素值執(zhí)行類(lèi)別分類(lèi)。作為執(zhí)行類(lèi)別分類(lèi)的方法，例如，可以利用ADRC (自適應(yīng)動(dòng)態(tài)范圍編碼)等，并且，使用ADRC的代碼作為類(lèi)別代碼來(lái)指定關(guān)注像素的類(lèi)別。
[0089]預(yù)測(cè)抽頭獲取部136提取(獲取)由以輸入圖像的關(guān)注像素為中心的多個(gè)像素形成的預(yù)測(cè)抽頭。[0090]自適應(yīng)處理部138通過(guò)將根據(jù)關(guān)注像素的類(lèi)別決定的系數(shù)與構(gòu)成預(yù)測(cè)抽頭的像素的每一個(gè)值相乘來(lái)執(zhí)行乘積和運(yùn)算，以計(jì)算關(guān)注像素的預(yù)測(cè)值。此時(shí)，自適應(yīng)處理部138讀取在系數(shù)數(shù)據(jù)存儲(chǔ)單元113中存儲(chǔ)的系數(shù)，并且將該系數(shù)與預(yù)測(cè)抽頭的像素的每一個(gè)值相乘。
[0091]系數(shù)數(shù)據(jù)存儲(chǔ)單元113將在上述的乘積和運(yùn)算中使用的且預(yù)先通過(guò)學(xué)習(xí)獲得的系數(shù)與類(lèi)別相關(guān)聯(lián)地存儲(chǔ)。換句話(huà)說(shuō)，與預(yù)測(cè)抽頭的抽頭(像素?cái)?shù))相同的數(shù)量的系數(shù)根據(jù)關(guān)注像素的類(lèi)別的數(shù)量被存儲(chǔ)在系數(shù)數(shù)據(jù)存儲(chǔ)單元113中。應(yīng)該注意，稍后將描述通過(guò)學(xué)習(xí)獲得每一個(gè)類(lèi)別的系數(shù)的處理。
[0092]當(dāng)系數(shù)由Wi指示，并且，構(gòu)成預(yù)測(cè)抽頭的像素的值由Xi指示時(shí)，關(guān)注像素的預(yù)測(cè)值y使用表達(dá)式(I)來(lái)計(jì)算。
[0093]
【權(quán)利要求】
1.一種圖像處理裝置，包括: 預(yù)測(cè)抽頭獲取單元，該預(yù)測(cè)抽頭獲取單元從多個(gè)輸入圖像獲取根據(jù)關(guān)注像素而決定的多個(gè)像素的值作為預(yù)測(cè)抽頭，所述多個(gè)輸入圖像由各自具有單一顏色成分的像素形成并具有不同的像素陣列形式； 系數(shù)數(shù)據(jù)存儲(chǔ)單元，該系數(shù)數(shù)據(jù)存儲(chǔ)單元存儲(chǔ)與相應(yīng)的獲取的預(yù)測(cè)抽頭相乘的系數(shù)的數(shù)據(jù)；以及 預(yù)測(cè)計(jì)算單元，該預(yù)測(cè)計(jì)算單元通過(guò)使用預(yù)測(cè)抽頭和系數(shù)的計(jì)算來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像由具有多種顏色成分的像素形成，并且是通過(guò)對(duì)輸入圖像進(jìn)行去馬賽克處理而獲得的圖像， 其中，預(yù)測(cè)計(jì)算單元使用與從具有預(yù)定像素密度的第一輸入圖像獲取的相應(yīng)的預(yù)測(cè)抽頭相乘的系數(shù)來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像是通過(guò)對(duì)第二輸入圖像進(jìn)行去馬賽克處理而獲得，該第二輸入圖像具有比第一輸入圖像低的像素密度且具有不同的像素陣列形式。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置， 其中，每一個(gè)輸入圖像是由各自具有紅色、綠色和藍(lán)色中的每一種顏色的單一顏色成分的像素形成的拜耳陣列圖像，或者是通過(guò)將拜耳陣列圖像的每一個(gè)像素分成2列和2行的具有相同顏色的像素而得到的拜耳2X2陣列圖像，并且， 輸出圖像是由具有紅色、綠色和藍(lán)色的三種顏色成分的像素形成的RGB圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，當(dāng)輸入圖像是拜耳2X2陣列圖像時(shí)，預(yù)測(cè)抽頭獲取單元與在四個(gè)相鄰位置處的關(guān)注像素相對(duì)應(yīng)地獲取同樣的預(yù)測(cè)抽頭。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，當(dāng)輸入圖像是拜耳陣列圖像時(shí)，預(yù)測(cè)計(jì)算單元計(jì)算與拜耳2X2陣列圖像的預(yù)測(cè)抽頭中的四個(gè)抽頭相乘的系數(shù)的平均值或代表值，并且，通過(guò)將計(jì)算出的平均值或代表值與拜耳陣列圖像的預(yù)測(cè)抽頭相乘來(lái)計(jì)算輸出圖像中的關(guān)注像素的值。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括:類(lèi)別抽頭獲取單元，該類(lèi)別抽頭獲取單元從輸入圖像獲取根據(jù)關(guān)注像素決定的多個(gè)像素的值作為類(lèi)別抽頭；以及 類(lèi)別分類(lèi)單元，該類(lèi)別分類(lèi)單元將關(guān)注像素分類(lèi)到預(yù)定的類(lèi)別中。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，當(dāng)輸入圖像是拜耳2X2陣列圖像時(shí)，類(lèi)別抽頭獲取單元獲取通過(guò)將構(gòu)成拜耳陣列圖像的類(lèi)別抽頭的每一個(gè)像素分成2列和2行的具有相同顏色的像素而得到的類(lèi)別抽頭。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，當(dāng)輸入圖像是拜耳2X2陣列圖像時(shí)，類(lèi)別分類(lèi)單元計(jì)算構(gòu)成類(lèi)別抽頭的具有相同顏色的四個(gè)像素的平均值或代表值，通過(guò)對(duì)計(jì)算出的平均值或代表值執(zhí)行ADRC處理來(lái)決定具有與輸入圖像是拜耳陣列圖像時(shí)的類(lèi)別代碼相同位數(shù)的類(lèi)別代碼，以及對(duì)關(guān)注像素執(zhí)行類(lèi)別分類(lèi)。
8.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，當(dāng)輸入圖像是拜耳陣列圖像時(shí)，類(lèi)別分類(lèi)單元通過(guò)對(duì)量化代碼的一部分進(jìn)行插值來(lái)決定具有與輸入圖像是拜耳2X2陣列圖像時(shí)的類(lèi)別代碼相同位數(shù)的類(lèi)別代碼，并且對(duì)關(guān)注像素執(zhí)行類(lèi)別分類(lèi)，所述量化代碼的一部分是通過(guò)對(duì)構(gòu)成類(lèi)別抽頭的像素的值執(zhí)行ADRC處理而得到的。
9.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，在系數(shù)數(shù)據(jù)存儲(chǔ)單元中存儲(chǔ)的系數(shù)的數(shù)據(jù)被設(shè)置為通過(guò)以具有與拜耳2X2陣列圖像相同的像素密度的RGB圖像作為教師圖像且以通過(guò)對(duì)RGB圖像的每一個(gè)像素的顏色成分進(jìn)行間隔剔除而生成的拜耳2X2陣列圖像作為學(xué)生圖像進(jìn)行學(xué)習(xí)而計(jì)算出的系數(shù)的數(shù)據(jù)。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括: 輸入圖像轉(zhuǎn)換單元，該輸入圖像轉(zhuǎn)換單元根據(jù)操作模式將預(yù)定陣列形式的圖像轉(zhuǎn)換為另一種陣列形式的圖像，并且供應(yīng)該另一種陣列形式的圖像作為輸入圖像。
11.一種圖像處理方法,包括: 通過(guò)預(yù)測(cè)抽頭獲取單元，從多個(gè)輸入圖像獲取根據(jù)關(guān)注像素而決定的多個(gè)像素的值作為預(yù)測(cè)抽頭，所述多個(gè)輸入圖像由各自具有單一顏色成分的像素形成并具有像素的不同陣列形式；以及 通過(guò)使用預(yù)測(cè)抽頭和存儲(chǔ)在系數(shù)數(shù)據(jù)存儲(chǔ)單元中的系數(shù)的計(jì)算來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像由具有多種顏色成分的像素形成并且是通過(guò)對(duì)輸入圖像進(jìn)行去馬賽克處理而獲得的圖像， 其中，使用與從具有預(yù)定像素密度的第一輸入圖像獲取的相應(yīng)的預(yù)測(cè)抽頭相乘的系數(shù)來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像是通過(guò)對(duì)具有比第一輸入圖像低的像素密度的、不同的像素陣列形式的第二輸入圖像進(jìn)行去馬賽克處理而獲得的。
12.一種指示計(jì)算機(jī)充當(dāng)圖像處理裝置的程序， 該圖像處理裝置包括: 預(yù)測(cè)抽頭獲取單元，該預(yù)測(cè)抽頭獲取單元從多個(gè)輸入圖像獲取根據(jù)關(guān)注像素而決定的多個(gè)像素的值作為預(yù)測(cè)抽頭，所述多個(gè)輸入圖像由各自具有單一顏色成分的像素形成并具有不同的像素陣列形式； 系數(shù)數(shù)據(jù)存儲(chǔ)單元，該系數(shù)數(shù)據(jù)存儲(chǔ)單元存儲(chǔ)與相應(yīng)的獲取的預(yù)測(cè)抽頭相乘的系數(shù)的數(shù)據(jù)；以及 預(yù)測(cè)計(jì)算單元，該預(yù)測(cè)計(jì)算單元通過(guò)使用預(yù)測(cè)抽頭和系數(shù)的計(jì)算來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像由具有多種顏色成分的像素形成，并且是通過(guò)對(duì)輸入圖像進(jìn)行去馬賽克處理而獲得的圖像， 其中，預(yù)測(cè)計(jì)算單元使用與從具有預(yù)定像素密度的第一輸入圖像獲取的相應(yīng)的預(yù)測(cè)抽頭相乘的系數(shù)來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像是通過(guò)對(duì)第二輸入圖像進(jìn)行去馬賽克處理而獲得，該第二輸入圖像具有比第一輸入圖像低的像素密度且具有不同的像素陣列形式。
13.一種固態(tài)成像裝置，包括: 在平面上布置多個(gè)光電轉(zhuǎn)換元件而形成的像素陣列； 預(yù)測(cè)抽頭獲取單元，該預(yù)測(cè)抽頭獲取單元從多個(gè)輸入圖像獲取根據(jù)關(guān)注像素而決定的多個(gè)像素的值作為預(yù)測(cè)抽頭，基于從所述像素陣列輸出的信號(hào)生成所述輸入圖像，所述多個(gè)輸入圖像由各自具有單一顏色成分的像素形成并具有不同的像素陣列形式； 系數(shù)數(shù)據(jù)存儲(chǔ)單元，該系數(shù)數(shù)據(jù)存儲(chǔ)單元存儲(chǔ)與相應(yīng)的獲取的預(yù)測(cè)抽頭相乘的系數(shù)的數(shù)據(jù)；以及 預(yù)測(cè)計(jì)算單元，該預(yù)測(cè)計(jì)算單元通過(guò)使用預(yù)測(cè)抽頭和系數(shù)的計(jì)算來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像由具有多種顏色成分的像素形成，并且是通過(guò)對(duì)輸入圖像進(jìn)行去馬賽克處理而獲得的圖像， 其中，預(yù)測(cè)計(jì)算單元使用與從具有預(yù)定像素密度的第一輸入圖像獲取的相應(yīng)的預(yù)測(cè)抽頭相乘的系數(shù)來(lái)計(jì)算輸出圖像中的關(guān)注像素的值，該輸出圖像是通過(guò)對(duì)第二輸入圖像進(jìn)行去馬賽克處理而獲得，該第二輸入圖像具有比第一輸入圖像低的像素密度且具有不同的像素陣列形式。
【文檔編號(hào)】H04N9/64GK103634579SQ201310354675
【公開(kāi)日】2014年3月12日 申請(qǐng)日期:2013年8月15日 優(yōu)先權(quán)日:2012年8月23日
【發(fā)明者】鴇崎友希, 千田圭祐 申請(qǐng)人:索尼公司