專利名稱：圖像處理裝置、圖像處理程序和記錄了該程序的記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字圖像處理裝置，特別是涉及可以獲得動(dòng)態(tài)范圍寬的圖形的圖像處理裝置、及其程序及其記錄介質(zhì)。
背景技術(shù)：
在以往的圖像處理裝置中，有可以獲得動(dòng)態(tài)范圍寬的圖形的裝置。在這種圖像處理裝置中，例如有特開平6-141229號(hào)公報(bào)公開的裝置。
圖9表示以往的圖像處理裝置的結(jié)構(gòu)。如圖9所示，以往的圖像處理裝置由攝像元件1、存儲(chǔ)器2、乘法部3、第一和第二加權(quán)處理部4、5、加法部6、速度變換部7、電平壓縮部8構(gòu)成。攝像元件1對(duì)被攝體攝像。被攝體由攝像元件1以短曝光時(shí)間和長(zhǎng)曝光時(shí)間進(jìn)行攝像，在每一幀中從攝像元件1依次輸出曝光時(shí)間短的圖像信號(hào)和曝光時(shí)間長(zhǎng)的圖像信號(hào)。曝光時(shí)間短的圖像信號(hào)和曝光時(shí)間長(zhǎng)的圖像信號(hào)兩個(gè)圖像信號(hào)在規(guī)定的處理后被合成而成為圖像信號(hào)，曝光時(shí)間短的圖像信號(hào)被輸出到存儲(chǔ)器2，曝光時(shí)間長(zhǎng)的圖像信號(hào)被輸出到第一電平加權(quán)處理部4。曝光時(shí)間短的圖像信號(hào)被存儲(chǔ)在存儲(chǔ)器2中，通過定時(shí)控制部9，與從攝像元件1輸出的曝光時(shí)間長(zhǎng)的信號(hào)進(jìn)行定時(shí)匹配，在乘法部3中乘以短曝光時(shí)間和長(zhǎng)曝光時(shí)間的曝光時(shí)間的比，將其輸出到第二電平加權(quán)處理部5。第二電平加權(quán)處理部5將來自乘法部3的曝光時(shí)間短的圖像信號(hào)，與該圖像信號(hào)的信號(hào)電平匹配來乘以加權(quán)系數(shù)。另一方面，第一電平加權(quán)處理部4將從攝像元件1輸出的曝光時(shí)間長(zhǎng)的圖像信號(hào)，與該圖像信號(hào)的信號(hào)電平匹配來乘以加權(quán)系數(shù)。由第一電平加權(quán)處理部4和第二電平加權(quán)處理部5加權(quán)的曝光時(shí)間短的圖像信號(hào)和曝光時(shí)間長(zhǎng)的圖像信號(hào)由加法部6相加。由于為了讀出曝光時(shí)間短的圖像信號(hào)和曝光時(shí)間長(zhǎng)的圖像信號(hào)，在攝像元件1中進(jìn)行比通常的讀出速度快的讀出，所以由加法部6相加的圖像信號(hào)由速度變換部7中與監(jiān)視器等與輸出有關(guān)的結(jié)構(gòu)要素的處理速度相匹配來變換圖形信號(hào)速度，由電平壓縮部8與輸出有關(guān)的結(jié)構(gòu)要素的動(dòng)態(tài)范圍匹配來壓縮圖像信號(hào)的信號(hào)電平高的部分，輸出到監(jiān)視器等。
因此，以往的圖像處理裝置，在被攝體的暗的部分使用曝光時(shí)間長(zhǎng)的圖像信號(hào)，在被攝體的亮的部分使用曝光時(shí)間短的信號(hào)，圖像信號(hào)的信號(hào)電平高的部分通過非線性壓縮來壓縮，獲得暗的部分沒有涂黑并且亮的部分沒有飛白的動(dòng)態(tài)范圍寬的圖像。
但是，以往的圖像處理裝置，由于如上述那樣，在曝光時(shí)間短的圖像信號(hào)上乘以曝光時(shí)間的比，而在曝光時(shí)間長(zhǎng)的圖像信號(hào)中匹配信號(hào)電平來進(jìn)行的圖像信號(hào)的處理，所以存在由于處理復(fù)雜，圖像信號(hào)的位數(shù)增加，電路規(guī)模隨之增大的問題。
而且，存在因?qū)τ趫D像信號(hào)的運(yùn)算次數(shù)增多，處理延遲增加，以及運(yùn)算誤差的累積而導(dǎo)致微小的圖像信息欠缺的問題。
進(jìn)而，在彩色圖像信號(hào)的情況下，由于將圖像信號(hào)分為亮度信號(hào)和色差信號(hào)，用亮度信號(hào)以非線性變化的變化率來控制色差信號(hào)，所以進(jìn)行求亮度信號(hào)的變化率的運(yùn)算，存在電路規(guī)模進(jìn)一步增大的問題。

發(fā)明內(nèi)容
本發(fā)明是為解決這樣的問題而完成的，提供一種圖像處理裝置及其程序和其記錄介質(zhì)，可以簡(jiǎn)單地獲得動(dòng)態(tài)范圍寬的圖像，進(jìn)而降低處理延遲和由于運(yùn)算誤差的累積而導(dǎo)致的圖像信息的欠缺。
本發(fā)明的圖像處理裝置，具有以下結(jié)構(gòu)，包括圖像信號(hào)輸入部，輸入曝光時(shí)間不同的多個(gè)圖像信號(hào)；電平變換系數(shù)運(yùn)算部，運(yùn)算所述多個(gè)圖像信號(hào)的電平變換系數(shù)；加權(quán)系數(shù)運(yùn)算部，運(yùn)算所述多個(gè)圖像信號(hào)的加權(quán)系數(shù)；以及加法部，將所述多個(gè)圖像信號(hào)乘以各個(gè)所述電平變換系數(shù)和所述加權(quán)系數(shù)的結(jié)果相加。
按照該結(jié)構(gòu)，通過使用電平變換系數(shù)，減少對(duì)于圖像信號(hào)的運(yùn)算次數(shù)，可以以寬的動(dòng)態(tài)范圍簡(jiǎn)單地獲得沒有暗的部分涂黑，亮的部分飛白的優(yōu)質(zhì)的圖像而不增大電路規(guī)模，進(jìn)而可以降低處理延遲和運(yùn)算誤差的累積導(dǎo)致的微小的圖像信息的欠缺。
而且，本發(fā)明的圖像處理裝置還具有以下結(jié)構(gòu)所述電平變換系數(shù)運(yùn)算部通過所述電平變換系數(shù)，進(jìn)行使所述多個(gè)圖像信號(hào)的信號(hào)電平匹配的電平匹配，同時(shí)進(jìn)行壓縮所述多個(gè)圖像信號(hào)的信號(hào)電平高的部分的電平壓縮。
按照該結(jié)構(gòu)，可以減少對(duì)圖像信號(hào)的運(yùn)算次數(shù)，不增大電路規(guī)模，確實(shí)簡(jiǎn)潔地構(gòu)成。
而且，本發(fā)明的圖像處理裝置，還具有以下結(jié)構(gòu)，還包括高頻分量提取部，從所述多個(gè)圖像信號(hào)中分別提取高頻分量；以及高頻電平變換系數(shù)運(yùn)算部，運(yùn)算對(duì)應(yīng)于所述高頻分量的特性的高頻電平變換系數(shù)，所述加法部將所述高頻分量乘以了所述高頻電平變換系數(shù)的結(jié)果與被乘以了所述電平變換系數(shù)的所述圖像信號(hào)相加，從而乘以所述加權(quán)系數(shù)。
按照該結(jié)構(gòu)，可以有效地使用圖像的高頻分量而產(chǎn)生強(qiáng)弱變化，從而在從暗的部分至亮的部分以寬的動(dòng)態(tài)范圍簡(jiǎn)單地獲得優(yōu)質(zhì)的圖像而不增大電路規(guī)模。
而且，本發(fā)明的圖像處理裝置，還具有以下結(jié)構(gòu)，包括代表值計(jì)算部，在所述圖像信號(hào)為多個(gè)彩色分量信號(hào)構(gòu)成的彩色圖像信號(hào)時(shí)，根據(jù)多個(gè)所述彩色圖像信號(hào)分別計(jì)算代表值，根據(jù)所述代表值計(jì)算所述電平變換系數(shù)和所述加權(quán)系數(shù)。
按照該結(jié)構(gòu)，對(duì)于各彩色信號(hào)分量使用相同的電平變換系數(shù)，可以沒有色相變化的從暗的部分到亮的部分以寬的動(dòng)態(tài)范圍簡(jiǎn)單地獲得優(yōu)質(zhì)的圖像而不增大電路規(guī)模。
而且，本發(fā)明的圖像處理裝置，具有以下結(jié)構(gòu)所述圖像信號(hào)輸入部輸入來自攝像裝置的圖像信號(hào)，該攝像裝置累積預(yù)定的曝光時(shí)間的圖像信號(hào)，匹配所述累積的圖像信號(hào)之間的定時(shí)而進(jìn)行合成，輸出合成的圖像信號(hào)。
按照該結(jié)構(gòu)，可以以寬的動(dòng)態(tài)范圍簡(jiǎn)單地獲得沒有暗的部分涂黑，亮的部分飛白的優(yōu)質(zhì)的圖像。
而且，本發(fā)明的圖像處理裝置的程序輸入曝光時(shí)間不同的多個(gè)圖像信號(hào)；運(yùn)算所述多個(gè)圖像信號(hào)的電平變換系數(shù)；運(yùn)算所述多個(gè)圖像信號(hào)的加權(quán)系數(shù)；以及將所述多個(gè)圖像信號(hào)乘以各個(gè)所述電平變換系數(shù)和所述加權(quán)系數(shù)的結(jié)果相加。
按照該程序，使微處理器和數(shù)字信號(hào)處理器動(dòng)作，可以以寬的動(dòng)態(tài)范圍獲得優(yōu)質(zhì)的圖像。
而且本發(fā)明的圖像處理裝置的程序通過所述電平變換系數(shù)，進(jìn)行使所述多個(gè)圖像信號(hào)的信號(hào)電平匹配的電平匹配，同時(shí)進(jìn)行壓縮所述多個(gè)圖像信號(hào)的信號(hào)電平高的部分的電平壓縮。
按照該程序，可以減少對(duì)圖像信號(hào)的運(yùn)算次數(shù)，可以容易地進(jìn)行簡(jiǎn)化而不增大電路規(guī)模。
而且，本發(fā)明的圖像處理裝置的程序具有以下步驟通過預(yù)定的電平變換系數(shù)的特性數(shù)據(jù)來運(yùn)算所述電平變換系數(shù)。
按照該程序，可以容易地獲得準(zhǔn)確的電平變換系數(shù)。
本發(fā)明的圖像處理裝置的記錄介質(zhì)，其中記錄了以下程序輸入曝光時(shí)間不同的多個(gè)圖像信號(hào)；運(yùn)算所述多個(gè)圖像信號(hào)的電平變換系數(shù)；運(yùn)算所述多個(gè)圖像信號(hào)的加權(quán)系數(shù)；以及將所述多個(gè)圖像信號(hào)乘以各個(gè)所述電平變換系數(shù)和所述加權(quán)系數(shù)的結(jié)果相加。
按照該程序的記錄介質(zhì)，使微處理器和數(shù)字信號(hào)處理器動(dòng)作，可以以寬的動(dòng)態(tài)范圍容易地獲得優(yōu)質(zhì)的圖像。
而且，本發(fā)明的圖像處理裝置的記錄介質(zhì)，其中記錄的程序還包括通過所述電平變換系數(shù)，進(jìn)行使所述多個(gè)圖像信號(hào)的信號(hào)電平匹配的電平匹配，同時(shí)進(jìn)行壓縮所述多個(gè)圖像信號(hào)的信號(hào)電平高的部分的電平壓縮。
按照該程序的記錄介質(zhì)，可以減少對(duì)圖像信號(hào)的運(yùn)算次數(shù)，容易地同時(shí)實(shí)現(xiàn)使圖像信號(hào)的信號(hào)電平匹配的電平匹配和信號(hào)電平高的部分的壓縮。
進(jìn)而，本發(fā)明的圖像處理裝置的記錄介質(zhì)，其中記錄的程序還包括以下步驟通過預(yù)定的電平變換系數(shù)的特性數(shù)據(jù)運(yùn)算所述電平變換系數(shù)。
按照該程序的記錄介質(zhì)，可以容易得獲得準(zhǔn)確的電平變換系數(shù)。


本發(fā)明的圖像處理裝置、圖像處理程序的特征和優(yōu)點(diǎn)，根據(jù)以下的附圖和后述的記載而變得清楚。
圖1是本發(fā)明的第一實(shí)施方式的圖像處理裝置的方框圖。
圖2是圖像信號(hào)與被攝體亮度的曲線圖。
圖3是電平壓縮函數(shù)和電平變換系數(shù)的特性數(shù)據(jù)與曝光時(shí)間長(zhǎng)的圖像的圖像信號(hào)(長(zhǎng)圖像信號(hào))和曝光時(shí)間短的圖像信號(hào)(短圖像信號(hào))的的曲線圖。
圖4是對(duì)圖像信號(hào)乘以了圖3表示的變換系數(shù)時(shí)的特性的曲線圖。
圖5是表示由圖1表示的加權(quán)系數(shù)運(yùn)算部運(yùn)算的加權(quán)系數(shù)的圖。
圖6是本發(fā)明的第二實(shí)施方式的圖像處理裝置的方框圖。
圖7是本發(fā)明的第三實(shí)施方式的圖像處理裝置的方框圖。
圖8是本發(fā)明的實(shí)施方式的圖像處理裝置中使用的攝像裝置的方框圖。
圖9是以往的圖像處理裝置的結(jié)構(gòu)圖。
具體實(shí)施例方式
以下，對(duì)本發(fā)明的實(shí)施方式進(jìn)行說明。
圖1表示本發(fā)明的第一實(shí)施方式的圖像處理裝置的方框圖。
如圖1所示，本發(fā)明的第一實(shí)施方式的圖像處理裝置包括圖像信號(hào)輸入部11，輸入曝光時(shí)間長(zhǎng)的圖像的圖像信號(hào)(以下稱為長(zhǎng)圖像信號(hào))和曝光時(shí)間短的圖像的圖像信號(hào)(以下稱為短圖像信號(hào))；第一電平變換系數(shù)運(yùn)算部12，運(yùn)算用于同時(shí)進(jìn)行長(zhǎng)圖像信號(hào)的信號(hào)電平的變換和信號(hào)電平高的部分的非線性壓縮的電平系數(shù)；第二電平變換系數(shù)運(yùn)算部13，運(yùn)算用于同時(shí)進(jìn)行短圖像信號(hào)的信號(hào)電平的變換和信號(hào)電平高的部分的非線性壓縮的電平系數(shù)；加權(quán)系數(shù)運(yùn)算部14，運(yùn)算用于長(zhǎng)圖像信號(hào)和短圖像信號(hào)的加權(quán)加法中使用的加權(quán)系數(shù)；乘法部15a，將加權(quán)系數(shù)運(yùn)算部14的輸出和長(zhǎng)圖像信號(hào)的第一電平變換系數(shù)運(yùn)算部12的輸出進(jìn)行相乘；乘法部15b，將加權(quán)系數(shù)運(yùn)算部14的輸出和短圖像信號(hào)的第二電平變換系數(shù)運(yùn)算部13的輸出進(jìn)行相乘；乘法部16a，將乘法部15a的輸出和來自圖像信號(hào)輸入部11的長(zhǎng)圖像信號(hào)進(jìn)行相乘；乘法部16b，將乘法部15b的輸出和來自圖像信號(hào)輸入部11的短圖像信號(hào)進(jìn)行相乘；加法部17，為了對(duì)乘法部16a的輸出和乘法部16b的輸出進(jìn)行合成而將它們相加。
接著，對(duì)本發(fā)明的第一實(shí)施方式的圖像處理裝置的動(dòng)作進(jìn)行說明。
圖像信號(hào)輸入部11輸入被同時(shí)化的圖像信號(hào)，以便同時(shí)處理曝光時(shí)間不同的同一被攝體的多個(gè)圖像的圖像信號(hào)。來自圖像信號(hào)輸入部11的多個(gè)圖像信號(hào)中的長(zhǎng)圖像信號(hào)被輸入長(zhǎng)圖像信號(hào)的第一電平變換系數(shù)運(yùn)算部12，運(yùn)算用于與長(zhǎng)圖像信號(hào)相乘的電平變換系數(shù)。同樣，短圖像信號(hào)也被輸入短圖像信號(hào)的第二電平變換系數(shù)運(yùn)算部13，運(yùn)算用于與短圖像信號(hào)相乘的電平變換系數(shù)。對(duì)于該長(zhǎng)和短圖像信號(hào)的電平變換系數(shù)的運(yùn)算方法在后面敘述。
在加權(quán)系數(shù)運(yùn)算部14，根據(jù)長(zhǎng)圖像信號(hào)的信號(hào)電平分別運(yùn)算長(zhǎng)圖像信號(hào)和短圖像信號(hào)的加權(quán)加法中使用的加權(quán)系數(shù)。對(duì)該加權(quán)系數(shù)的運(yùn)算方法在后面敘述。
在第一電平變換系數(shù)運(yùn)算部12中運(yùn)算的長(zhǎng)圖像信號(hào)的電平變換系數(shù)和在加權(quán)系數(shù)運(yùn)算部14中運(yùn)算的加權(quán)系數(shù)在乘法部15a相乘后，由乘法部16a與來自圖像信號(hào)輸入部11的長(zhǎng)圖像信號(hào)相乘，成為由電平變換系數(shù)進(jìn)行圖像信號(hào)的信號(hào)電平的電平匹配和電平壓縮，以及由加權(quán)系數(shù)進(jìn)行加權(quán)的長(zhǎng)圖像信號(hào)。同樣，在第二電平變換系數(shù)運(yùn)算部13中運(yùn)算的短圖像信號(hào)的電平變換系數(shù)和在加權(quán)系數(shù)運(yùn)算部14中運(yùn)算的加權(quán)系數(shù)在乘法部15a中相乘后，在乘法部16b中與來自圖像信號(hào)輸入部11的短圖像信號(hào)相乘，成為由電平變換系數(shù)進(jìn)行圖像信號(hào)的信號(hào)電平的電平匹配和電平壓縮，以及由加權(quán)系數(shù)進(jìn)行加權(quán)的短圖像信號(hào)。
在加法部17中，將從乘法部16a、16b輸出的被加權(quán)的長(zhǎng)圖像信號(hào)和短圖像信號(hào)相加，將圖像信號(hào)輸出到監(jiān)視器等。
接著，對(duì)長(zhǎng)圖像信號(hào)和短圖像信號(hào)的電平變換系數(shù)的運(yùn)算方法進(jìn)行說明。
圖2表示圖像信號(hào)與被攝體亮度的曲線圖，橫軸表示被攝體亮度，縱軸表示圖像信號(hào)的信號(hào)電平。
如圖2所示，可知長(zhǎng)圖像信號(hào)21在被攝體亮度高的部分中以飽和電平23而飽和，短圖像信號(hào)22對(duì)于長(zhǎng)圖像信號(hào)21，僅曝光時(shí)間比的部分傾斜小。即，可知被攝體亮度高的被攝體亮的部分的長(zhǎng)圖像信號(hào)21的圖像成為飛白的圖像，被攝體亮度低的被攝體暗的部分的短圖像信號(hào)22的圖像暗，從而成為不清楚的圖像。
因此，本發(fā)明的第一實(shí)施方式的圖像處理裝置為了獲得從亮的部分到暗的部分的高質(zhì)量的畫質(zhì)，將長(zhǎng)圖像信號(hào)21和短圖像信號(hào)22兩個(gè)圖像信號(hào)根據(jù)被攝體的亮度進(jìn)行合成。為了合成長(zhǎng)圖像信號(hào)21和短圖像信號(hào)22，進(jìn)行圖像信號(hào)的信號(hào)電平的匹配，但是為了電平匹配而將短圖像信號(hào)22放大曝光時(shí)間比的圖像信號(hào)24，由于圖像信號(hào)24的范圍變大，所以位數(shù)增加，由于圖像信號(hào)的例如監(jiān)視器等的輸出目的地的位數(shù)被限制，所以需要進(jìn)行收斂到規(guī)定的位數(shù)的處理。
因此，進(jìn)行將圖像信號(hào)的信號(hào)電平高的部分進(jìn)行非線性壓縮的電平壓縮，進(jìn)行圖像信號(hào)的位數(shù)的壓縮。
圖3表示電平壓縮函數(shù)和電平變換系數(shù)的特性數(shù)據(jù)與長(zhǎng)圖像信號(hào)和短圖像信號(hào)的曲線圖。
圖3(a)表示電平壓縮函數(shù)的特性數(shù)據(jù)與長(zhǎng)圖像信號(hào)的曲線圖。
如果將長(zhǎng)圖像信號(hào)的電平壓縮函數(shù)31設(shè)為F長(zhǎng)(X)，則該F長(zhǎng)(X)的計(jì)算值Y可以作為(式1)表示。
Y＝F長(zhǎng)(X)(式1)X輸入圖像信號(hào)電平壓縮函數(shù)31可以自由地設(shè)定將長(zhǎng)圖像信號(hào)的信號(hào)電平低的部分提高(boost)，將長(zhǎng)圖像信號(hào)的信號(hào)電平高的部分壓縮那樣的特性，由此，圖像信號(hào)的信號(hào)電平低的部分，即圖像暗的部分被增強(qiáng)而容易看見，信號(hào)電平高的部分被壓縮到飽和電平以下。
而且，按照被攝體和用途，通過將電平壓縮函數(shù)的特性設(shè)為S形狀，可以使中間電平的信號(hào)更容易看見，可以對(duì)照被攝體的狀態(tài)，計(jì)算機(jī)等自適應(yīng)地控制電平壓縮函數(shù)31的特性，可以達(dá)到良好的圖像質(zhì)量。
圖3(b)表示對(duì)于長(zhǎng)圖像信號(hào)的電平變換系數(shù)的特性數(shù)據(jù)的曲線圖。
如果將電平變換系數(shù)32設(shè)為A長(zhǎng)(X)，則A長(zhǎng)(X)對(duì)于電平壓縮函數(shù)31的F長(zhǎng)(X)可以表示為式2。
A長(zhǎng)(X)＝F長(zhǎng)(X)/X (式2)如式3所示，如果在長(zhǎng)圖像信號(hào)中乘以電平變換系數(shù)32，則可以獲得與使用了電平壓縮函數(shù)31時(shí)相同的結(jié)果。
A長(zhǎng)(X)*X＝F長(zhǎng)(X)/X*X＝Y(jié)(式3)即，如果在長(zhǎng)圖像信號(hào)中乘以電平變換系數(shù)32，可以進(jìn)行信號(hào)的信號(hào)電平高的部分的壓縮。
圖3(c)表示電平壓縮函數(shù)的特性數(shù)據(jù)與短圖像信號(hào)的曲線圖。
與長(zhǎng)圖像信號(hào)的情況相同，如果將短圖像信號(hào)的電平壓縮函數(shù)33設(shè)為F短(X)，則該F短(X)的計(jì)算值Y可以表示為式4。
Y＝F短(X) (式4)這里，F(xiàn)短(X)，通過利用式5，可以在進(jìn)行電平壓縮的同時(shí)，進(jìn)行使長(zhǎng)圖像信號(hào)和短圖像信號(hào)的信號(hào)電平匹配的電平匹配。
F短(X)＝F長(zhǎng)(X*N)(式5)N曝光時(shí)間的比率圖3(d)表示電平變換系數(shù)的特性數(shù)據(jù)與短圖像信號(hào)的曲線圖。
與長(zhǎng)圖像信號(hào)的情況相同，短圖像信號(hào)的電平變換系數(shù)34對(duì)于電平壓縮函數(shù)33的F短(X)，可以表示為式6。
A短(X)＝F短(X)/X (式6)
如式7所示，如果在短圖像信號(hào)上乘以電平變換系數(shù)34，則可以獲得與使用了電平壓縮函數(shù)33時(shí)相同的結(jié)果。
A短(X)*X＝F短(X)/X*X＝Y(jié)(式7)即，通過在短圖像信號(hào)上乘以電平變換系數(shù)34，可以在電平壓縮的同時(shí)，進(jìn)行匹配長(zhǎng)圖像信號(hào)和短圖像信號(hào)的信號(hào)電平的電平匹配。而且，長(zhǎng)圖像信號(hào)和短圖像信號(hào)的信號(hào)電平不一定需要嚴(yán)格地一致。
而且，圖3(b)和圖3(d)所示的電平變換系數(shù)32、34可以通過計(jì)算機(jī)等計(jì)算，作為表存儲(chǔ)在存儲(chǔ)器等中，通過以輸入圖像信號(hào)的信號(hào)電平參照表，可以獲得對(duì)應(yīng)的電平變換系數(shù)32、34。
而且，選擇圖3(b)和圖3(d)所示的電平變換系數(shù)32、34的代表點(diǎn)，僅將代表點(diǎn)作為表存儲(chǔ)在存儲(chǔ)器等中，代表點(diǎn)之間還可以通過線性插補(bǔ)等補(bǔ)充完善，這種方法在消減存儲(chǔ)器方面也是優(yōu)選的方法。
圖4表示在圖像信號(hào)中乘以圖3所示的變換系數(shù)時(shí)的特性的曲線圖，橫軸是電平變換前的輸入圖像信號(hào)，縱軸是電平變換后的輸出圖像信號(hào)。長(zhǎng)圖像信號(hào)41和短圖像信號(hào)42一起，在輸入信號(hào)中信號(hào)電平低的部分的輸出被提高，輸入信號(hào)中信號(hào)電平高的部分的輸出被抑制。而且，可知長(zhǎng)圖像信號(hào)41和短圖像信號(hào)42的輸入在信號(hào)電平低的部分相互一致。
進(jìn)而對(duì)圖像信號(hào)的加權(quán)系數(shù)的運(yùn)算方法進(jìn)行說明。
圖5表示由圖1所示的加權(quán)系數(shù)運(yùn)算部14運(yùn)算的加權(quán)系數(shù)。
在加權(quán)系數(shù)運(yùn)算部14中，根據(jù)長(zhǎng)圖像信號(hào)的輸入電平確定長(zhǎng)圖像信號(hào)的加權(quán)系數(shù)51和短圖像信號(hào)的加權(quán)系數(shù)52。在輸入電平低的部分增大長(zhǎng)圖像信號(hào)的加權(quán)系數(shù)51，在輸入電平大的部分增大短圖像信號(hào)的加權(quán)系數(shù)52。
由此，通過在被攝體暗的部分使用干擾導(dǎo)致的畫質(zhì)惡化少的長(zhǎng)圖像信號(hào)，在亮的部分使用不飽和的短圖像信號(hào)，可以獲得良好的圖像質(zhì)量。
而且，通過將長(zhǎng)圖像信號(hào)的加權(quán)系數(shù)51和短圖像信號(hào)的加權(quán)系數(shù)52的和始終保持為1，按照信號(hào)電平使長(zhǎng)圖像信號(hào)的加權(quán)系數(shù)51和短圖像信號(hào)的加權(quán)系數(shù)52變化，在對(duì)乘以了加權(quán)系數(shù)的圖像信號(hào)進(jìn)行相加時(shí)沒有電平變動(dòng)，可以以按照信號(hào)電平的比率平滑地合成多個(gè)圖像信號(hào)。
進(jìn)而，通過使圖像信號(hào)開始交換電平53和圖像信號(hào)交換的傾斜度54可變，可以與各種條件的圖像對(duì)應(yīng)。
而且，本發(fā)明的第一實(shí)施方式的圖像處理裝置分別處理長(zhǎng)圖像信號(hào)和短圖像信號(hào)，但是在長(zhǎng)圖像信號(hào)和短圖像信號(hào)中進(jìn)行的處理除了電平變換系數(shù)的值以外都相同，所以可以將進(jìn)行處理的結(jié)構(gòu)元件設(shè)為一個(gè)，將圖像信號(hào)提高為兩倍速度，從而將長(zhǎng)圖像信號(hào)和短圖像信號(hào)作為分時(shí)信號(hào)而僅切換電平變換系數(shù)的值，進(jìn)行切換，使得在加權(quán)系數(shù)運(yùn)算部14中僅輸入長(zhǎng)圖像信號(hào)，在加法部17中用對(duì)圖像信號(hào)之間進(jìn)行加法處理的部分進(jìn)行速度變換，可以在電路規(guī)模方面受到歡迎。
而且，本發(fā)明的第一實(shí)施方式的圖像處理裝置，對(duì)曝光時(shí)間不同的兩個(gè)圖像信號(hào)進(jìn)行了說明，但是利用大于等于三個(gè)不同的曝光時(shí)間的圖像信號(hào)也可以進(jìn)行相同的處理，以下的實(shí)施方式的圖像處理裝置也一樣。
如上所述，本發(fā)明的第一實(shí)施方式的圖像處理裝置，通過電平變換系數(shù)進(jìn)行的圖像信號(hào)的電平匹配和電平壓縮、加權(quán)系數(shù)進(jìn)行的加權(quán)，可以以寬的動(dòng)態(tài)范圍而不增大電路規(guī)模地簡(jiǎn)單地獲得減少對(duì)于圖像信號(hào)的運(yùn)算次數(shù)，沒有暗的部分的涂黑和亮的部分的飛白的優(yōu)質(zhì)的圖像，而且通過乘以電平變換系數(shù)和加權(quán)系數(shù)，可以減少對(duì)圖像信號(hào)的運(yùn)算次數(shù)，降低誤差延遲、運(yùn)算誤差的累積導(dǎo)致的微小的圖像信息的欠缺。
而且，通過使用電平變換系數(shù)，可以同時(shí)進(jìn)行圖像信號(hào)的信號(hào)電平的電平匹配和信號(hào)電平高的部分的電平壓縮，可以容易地避免伴隨圖像信號(hào)的電平匹配的乘法運(yùn)算導(dǎo)致位數(shù)增加的電路規(guī)模的增大。
圖6表示本發(fā)明的第二實(shí)施方式的圖像處理裝置的方框圖。
如圖6所示，本發(fā)明的第二實(shí)施方式的圖像處理裝置在本發(fā)明的第一實(shí)施方式的圖像處理裝置上追加以下部件構(gòu)成HPF(高通濾波器)65a、65b，為提取圖像信號(hào)的高頻的高頻分量提取部；第一高頻電平變換系數(shù)運(yùn)算部66，對(duì)變換短圖像信號(hào)的高頻分量的信號(hào)電平的高頻電平變換系數(shù)進(jìn)行運(yùn)算；第二高頻電平變換系數(shù)運(yùn)算部67，對(duì)變換長(zhǎng)圖像信號(hào)的高頻分量的信號(hào)電平的高頻電平變換系數(shù)進(jìn)行運(yùn)算。
以下，對(duì)與本發(fā)明的第一實(shí)施方式的圖像處理裝置的不同點(diǎn)進(jìn)行說明。
在HPF65a中，提取被輸入的長(zhǎng)圖像信號(hào)的高頻分量，在HPF65b中，提取被輸入的短圖像信號(hào)的高頻分量。第一高頻電平變換系數(shù)運(yùn)算部66將短圖像信號(hào)的高頻分量作為輸入，求高頻電平變換系數(shù)。這里，預(yù)先運(yùn)算的高頻電平變換系數(shù)的表通過具有與短圖像信號(hào)的電平變換系數(shù)不同的適于高頻分量的特性，例如還未怎么進(jìn)行信號(hào)電平高的部分的壓縮那樣的特性，在后面將所有圖像信號(hào)相加時(shí)保留高頻分量，可以獲得具有強(qiáng)弱變化的圖像。
第二高頻電平變換系數(shù)運(yùn)算部67也同樣將長(zhǎng)圖像信號(hào)的高頻分量作為輸入，求取高頻電平變換系數(shù)，使電平變換系數(shù)具有與長(zhǎng)圖像信號(hào)的電平變換系數(shù)不同的適于高頻分量的特性，例如沒怎么進(jìn)行信號(hào)電平高的部分的壓縮的特性。
加法部70a對(duì)用乘法部68a將來自第一電平變換系數(shù)運(yùn)算部62的電平變換系數(shù)與來自圖像信號(hào)輸入部61的長(zhǎng)圖像信號(hào)相乘的結(jié)果，以及用乘法部69a將來自第二高頻電平變換系數(shù)運(yùn)算部67的高頻電平變換系數(shù)與來自HPF65a的高頻分量的長(zhǎng)圖像信號(hào)相乘的結(jié)果進(jìn)行相加后合成。
同樣，加法部70b對(duì)用乘法部68b將來自第二電平變換系數(shù)運(yùn)算部63的電平變換系數(shù)與來自圖像信號(hào)輸入部61的短圖像信號(hào)相乘的結(jié)果，以及用乘法部69b將來自第一高頻電平變換系數(shù)運(yùn)算部66的高頻電平變換系數(shù)與來自HPF65b的高頻分量的短圖像信號(hào)相乘的結(jié)果進(jìn)行相加后合成。
加法部72將用乘法部71a對(duì)來自加法部70a的被合成的長(zhǎng)圖像信號(hào)加權(quán)后的長(zhǎng)圖像信號(hào)，以及用乘法部71b對(duì)來自加法部70b的被合成的短圖像信號(hào)加權(quán)后的短圖像信號(hào)進(jìn)行相加。加法部72相加的圖像信號(hào)被輸出到監(jiān)視器等進(jìn)行圖像顯示。
如上所述，本發(fā)明的第二實(shí)施方式的圖像處理裝置，通過取出圖像信號(hào)的高頻分量，乘以適于高頻分量特性的高頻電平變換系數(shù)，可以不象以往那樣，伴隨圖像信號(hào)的信號(hào)電平的電平匹配引起的位數(shù)增加而導(dǎo)致電路規(guī)模的增加，可以獲得利用了圖像信號(hào)的高頻分量引起的強(qiáng)弱變化的動(dòng)態(tài)范圍寬的優(yōu)質(zhì)的圖像。
圖7表示本發(fā)明的第三實(shí)施方式的圖像處理裝置的方框圖。
本發(fā)明的第三實(shí)施方式的圖像處理裝置進(jìn)行彩色圖像的處理，如圖7所示，成為在本發(fā)明的第一實(shí)施方式的圖像處理裝置上追加計(jì)算長(zhǎng)圖像信號(hào)的代表值的第一代表值計(jì)算部82a和計(jì)算短圖像信號(hào)的代表值的第二代表值計(jì)算部82b的結(jié)構(gòu)。
以下，對(duì)與本發(fā)明的第一實(shí)施方式的圖像處理裝置的不同點(diǎn)進(jìn)行說明。
在處理彩色圖像的情況下，圖像數(shù)據(jù)將一般作為紅(R)、綠(G)、蘭(B)的基色信號(hào)被輸入，或者作為青綠色(Cy)、品紅色(Mg)、黃色(Ye)、綠色(G)的互補(bǔ)色信號(hào)輸入。由于各顏色分量的圖像信號(hào)的信號(hào)電平不同，所以在原樣實(shí)施了第一實(shí)施方式的情況下，有時(shí)通過非線性變換，各個(gè)色分量的圖像信號(hào)的比率會(huì)被改變，色相會(huì)變化。
本發(fā)明的第三實(shí)施方式的圖像處理裝置，第一和第二代表值計(jì)算部82a、82b根據(jù)各顏色分量計(jì)算代表值。作為計(jì)算的代表值，在互補(bǔ)色信號(hào)中，有成為亮度值的平均值和最大值等。在原色數(shù)據(jù)的圖像信號(hào)的情況下，可以通過一般的式8計(jì)算亮度值，作為代表值。
亮度值＝0.3*R+0.6*G+0.1B (式8)將由第一和第二代表值計(jì)算部82a、82b計(jì)算的長(zhǎng)圖像信號(hào)和短圖像信號(hào)的各個(gè)代表值作為輸入，通過對(duì)變換長(zhǎng)圖像信號(hào)的信號(hào)電平的電平變換系數(shù)進(jìn)行運(yùn)算的第一電平變換系數(shù)運(yùn)算部83和對(duì)變換短圖像信號(hào)的信號(hào)電平的電平變換系數(shù)進(jìn)行運(yùn)算的第二電平變換系數(shù)運(yùn)算部84來求取各個(gè)電平變換系數(shù)。而且，對(duì)加權(quán)系數(shù)運(yùn)算部85的輸入也設(shè)為由第一代表值運(yùn)算部82a算出的長(zhǎng)圖像信號(hào)的代表值。以后，與本發(fā)明的第一實(shí)施方式的圖像處理裝置一樣，將對(duì)原來的各個(gè)顏色分量的圖像信號(hào)乘以電平變換系數(shù)和加權(quán)系數(shù)的結(jié)果相加。
如上所述，本發(fā)明的第三實(shí)施方式的圖像處理裝置因?yàn)閷?duì)輸入的色分量的各圖像信號(hào)乘以通過代表值求出的相同的系數(shù)，所以各色分量的比率不改變，沒有伴隨圖像信號(hào)的信號(hào)電平的電平匹配引起的位數(shù)增加的電路規(guī)模的增加以及用于獲得圖像信號(hào)的變化率的除法處理，可以獲得沒有色相的變化的動(dòng)態(tài)范圍寬的優(yōu)質(zhì)的彩色圖像。
圖8表示利用了本發(fā)明的實(shí)施方式的圖像處理裝置的攝像裝置的方框圖。
在本發(fā)明的實(shí)施方式的圖像處理裝置中使用的攝像裝置由以下部件構(gòu)成攝像元件91；模擬處理部92，進(jìn)行來自攝像元件91的模擬圖像信號(hào)的圖像處理；AD變換部93，將模擬圖像信號(hào)變換為數(shù)字圖像信號(hào)；圖像信號(hào)處理單元94，進(jìn)行數(shù)字圖像信號(hào)的圖像處理。圖像信號(hào)處理單元94由以下部件構(gòu)成定時(shí)控制部95，用于進(jìn)行圖像信號(hào)的同時(shí)化；存儲(chǔ)器96；圖像信號(hào)合成部97，合成長(zhǎng)圖像信號(hào)和短圖像信號(hào)。
攝像元件91由固體攝像元件(CCD或者CMOS)的傳感器，將光變換為電信號(hào)。圖像信號(hào)在模擬處理部92中進(jìn)行了所謂相關(guān)雙重采樣(CDS)和自動(dòng)振幅控制(AGC)的處理后，由AD變換部93數(shù)字化，輸入到圖像信號(hào)處理單元94。
定時(shí)控制部95使用存儲(chǔ)器96暫時(shí)存儲(chǔ)圖像信號(hào)，匹配長(zhǎng)圖像信號(hào)和短圖像信號(hào)的定時(shí)，以便同時(shí)這兩個(gè)信號(hào)的相同被攝體的圖像信號(hào)，進(jìn)行長(zhǎng)圖像信號(hào)和短圖像信號(hào)的合成，之后在圖像處理部98中進(jìn)行合成的圖像信號(hào)的圖像信號(hào)處理并輸出。
而且，為了獲得曝光時(shí)間不同的多個(gè)圖像信號(hào)，使攝像元件91、模擬處理部92和AD變換部93以與曝光時(shí)間不同的圖像的個(gè)數(shù)倍的速度工作，通過定時(shí)控制部95將圖像數(shù)據(jù)暫時(shí)存儲(chǔ)于存儲(chǔ)器96中，將其他圖像信號(hào)和定時(shí)進(jìn)行匹配而讀出。
因此，在以畫面的單位切換曝光時(shí)間的情況下，需要式9的存儲(chǔ)器容量。
存儲(chǔ)器容量＝一畫面整體的數(shù)據(jù)*(曝光時(shí)間不同的圖像個(gè)數(shù)-1)(式9)在以行為單位切換曝光時(shí)間的情況下，需要式10的存儲(chǔ)器容量。
存儲(chǔ)器容量＝一行的數(shù)據(jù)*(曝光時(shí)間不同的圖像個(gè)數(shù)-1)(式10)而且，可以成為準(zhǔn)備多個(gè)系列的攝像元件91、模擬處理部92、AD變換部93，不需要定時(shí)控制部95和存儲(chǔ)器96的圖像信號(hào)的同時(shí)化的結(jié)構(gòu)。
而且，也可以成為通過將攝像的結(jié)構(gòu)元件設(shè)為多個(gè)，在拍攝的多個(gè)圖像之間沒有時(shí)間的偏差的結(jié)構(gòu)。
進(jìn)而，通過將不改變圖像信號(hào)的頻率特性而抑制圖像信號(hào)的信號(hào)電平的光量限制濾波器(以下成為ND濾波器)在攝像元件91中配置為方格花紋或者條紋狀，可以獲得與使曝光時(shí)間變化的方法相同的亮度不同的多個(gè)圖像。在這種情況下，因?yàn)楦吡炼葓D像和低亮度圖像的像素通過ND濾波器交替地輸出，所以可以減少時(shí)間的偏差，并且可以容易進(jìn)行定時(shí)控制部95的同時(shí)化。
如上所述，通過在本發(fā)明的實(shí)施方式的圖像處理裝置中使用上述的攝像裝置，通過拍攝亮度不同的多個(gè)圖像，將它們進(jìn)行合成的結(jié)構(gòu)，可以獲得沒有暗的部分的涂黑和亮的部分的飛白的優(yōu)質(zhì)的圖像，可以獲得動(dòng)態(tài)范圍寬的圖像。
而且，在上述實(shí)施方式中，對(duì)與本發(fā)明有關(guān)的圖像處理裝置進(jìn)行了說明，但是可以將各處理作為步驟成為圖像處理裝置的程序，容易地獲得動(dòng)態(tài)范圍寬且優(yōu)質(zhì)的圖像，進(jìn)而可以減少處理延遲和運(yùn)算誤差的累積，可以降低微小的圖像信息的欠缺。
而且，可以作為存儲(chǔ)該程序的圖像處理裝置的存儲(chǔ)介質(zhì)，容易地獲得動(dòng)態(tài)范圍寬且優(yōu)質(zhì)的圖像，進(jìn)而可以減少處理延遲和運(yùn)算誤差的累積，降低微小的圖像信息的欠缺。
本發(fā)明在產(chǎn)業(yè)上的可利用性在于，如以上說明的那樣，按照本發(fā)明，通過輸入曝光時(shí)間不同的多個(gè)圖像信號(hào)，利用同時(shí)進(jìn)行電平變換和加權(quán)的變換系數(shù)，可以減少對(duì)于圖像信號(hào)的運(yùn)算次數(shù)，以寬的動(dòng)態(tài)范圍簡(jiǎn)單地獲得沒有暗的部分的涂黑和亮的部分的飛白的優(yōu)質(zhì)的圖像而不增大電路的規(guī)模，進(jìn)而可以減少處理延遲和運(yùn)算誤差的累積，降低微小的圖像信息的欠缺。
權(quán)利要求
1.一種圖像處理裝置，其特征在于，包括圖像信號(hào)輸入部，輸入曝光時(shí)間不同的多個(gè)圖像信號(hào)；電平變換系數(shù)運(yùn)算部，運(yùn)算所述多個(gè)圖像信號(hào)的電平變換系數(shù)；加權(quán)系數(shù)運(yùn)算部，運(yùn)算所述多個(gè)圖像信號(hào)的加權(quán)系數(shù)；以及加法部，將所述多個(gè)圖像信號(hào)乘以各個(gè)所述電平變換系數(shù)和所述加權(quán)系數(shù)的結(jié)果相加。
2.如權(quán)利要求1所述的圖像處理裝置，其特征在于，所述電平變換系數(shù)運(yùn)算部，通過所述電平變換系數(shù)，進(jìn)行使所述多個(gè)圖像信號(hào)的信號(hào)電平匹配的電平匹配，同時(shí)進(jìn)行壓縮所述多個(gè)圖像信號(hào)的信號(hào)電平高的部分的電平壓縮。
3.如權(quán)利要求1或2所述的圖像處理裝置，其特征在于，還包括高頻分量提取部，從所述多個(gè)圖像信號(hào)中分別提取高頻分量；以及高頻電平變換系數(shù)運(yùn)算部，運(yùn)算對(duì)應(yīng)于所述高頻分量的特性的高頻電平變換系數(shù)，所述加法部將所述高頻分量乘以了所述高頻電平變換系數(shù)的結(jié)果與被乘以了所述電平變換系數(shù)的所述圖像信號(hào)相加，從而乘以所述加權(quán)系數(shù)。
4.如權(quán)利要求1至3的任意一項(xiàng)所述的圖像處理裝置，其特征在于，還包括代表值計(jì)算部，在所述圖像信號(hào)為多個(gè)彩色分量信號(hào)構(gòu)成的彩色圖像信號(hào)時(shí)，根據(jù)多個(gè)所述彩色圖像信號(hào)分別計(jì)算代表值，根據(jù)所述代表值計(jì)算所述電平變換系數(shù)和所述加權(quán)系數(shù)。
5.如權(quán)利要求1至4的任意一項(xiàng)所述的圖像處理裝置，其特征在于，所述圖像信號(hào)輸入部輸入來自攝像裝置的圖像信號(hào)，該攝像裝置累積預(yù)定的曝光時(shí)間的圖像信號(hào)，匹配所述累積的圖像信號(hào)之間的定時(shí)而進(jìn)行合成，并輸出合成的圖像信號(hào)。
6.一種圖像處理裝置的程序，其特征在于輸入曝光時(shí)間不同的多個(gè)圖像信號(hào)；運(yùn)算所述多個(gè)圖像信號(hào)的電平變換系數(shù)；運(yùn)算所述多個(gè)圖像信號(hào)的加權(quán)系數(shù)；以及將所述多個(gè)圖像信號(hào)乘以各個(gè)所述電平變換系數(shù)和所述加權(quán)系數(shù)的結(jié)果相加。
7.如權(quán)利要求6所述的圖像處理裝置的程序，其特征在于通過所述電平變換系數(shù)，進(jìn)行使所述多個(gè)圖像信號(hào)的信號(hào)電平匹配的電平匹配，同時(shí)進(jìn)行壓縮所述多個(gè)圖像信號(hào)的信號(hào)電平高的部分的電平壓縮。
8.如權(quán)利要求6所述的圖像處理裝置的程序，其特征在于，通過預(yù)定的電平變換系數(shù)的特性數(shù)據(jù)來運(yùn)算所述電平變換系數(shù)。
9.一種圖像處理裝置的記錄介質(zhì)，其特征在于，其中記錄了以下程序輸入曝光時(shí)間不同的多個(gè)圖像信號(hào)；運(yùn)算所述多個(gè)圖像信號(hào)的電平變換系數(shù)；運(yùn)算所述多個(gè)圖像信號(hào)的加權(quán)系數(shù)；以及將所述多個(gè)圖像信號(hào)乘以各個(gè)所述電平變換系數(shù)和所述加權(quán)系數(shù)的結(jié)果相加。
10.如權(quán)利要求9所述的圖像處理裝置的記錄介質(zhì)，其特征在于，其中記錄的程序還包括通過所述電平變換系數(shù)，進(jìn)行使所述多個(gè)圖像信號(hào)的信號(hào)電平匹配的電平匹配，同時(shí)進(jìn)行壓縮所述多個(gè)圖像信號(hào)的信號(hào)電平高的部分的電平壓縮。
11.如權(quán)利要求9所述的圖像處理裝置的記錄介質(zhì)，其特征在于，其中記錄的程序還包括通過預(yù)定的電平變換系數(shù)的特性數(shù)據(jù)運(yùn)算所述電平變換系數(shù)。
全文摘要
本發(fā)明提供一種圖像處理裝置，具有以下結(jié)構(gòu)，包括輸入曝光時(shí)間不同的多個(gè)圖像信號(hào)的圖像信號(hào)輸入部(11)；運(yùn)算多個(gè)圖像信號(hào)的電平變換系數(shù)的第一和第二電平變換系數(shù)運(yùn)算部(12、13)；運(yùn)算多個(gè)圖像信號(hào)的加權(quán)系數(shù)的加權(quán)系數(shù)運(yùn)算部(14)；將在多個(gè)圖像信號(hào)中乘以各自的電平變換系數(shù)和加權(quán)系數(shù)的結(jié)果相加的加法部(17)，從而可以簡(jiǎn)單地獲得動(dòng)態(tài)范圍寬的圖像，進(jìn)而減少處理延遲和運(yùn)算誤差的累積所導(dǎo)致的微小的圖像信息的欠缺。
文檔編號(hào)H04N5/335GK1748409SQ20048000350
公開日2006年3月15日 申請(qǐng)日期2004年2月5日 優(yōu)先權(quán)日2003年2月5日
發(fā)明者隅谷一德, 矢田學(xué), 樋爪太郎, 須部信 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社