專利名稱：噪聲去除裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及去除數(shù)碼相機或移動電話機等所使用的攝像元件的噪聲的裝置。
背景技術(shù)：
數(shù)碼相機或移動電話機所使用的CCD或CMOS傳感器等的攝像元件，即使在沒有光入射的狀態(tài)下，由于在構(gòu)成像素的攝像元件上流動的暗電流的影響也產(chǎn)生某一程度確定模式的噪聲(暗電流噪聲)。
專利文獻1中公開了用于去除該暗電流噪聲的裝置。該裝置將在關(guān)閉快門的狀態(tài)下由攝像元件所攝像的圖像即暗電流噪聲成分，預(yù)先通過正交變換及量化來進行壓縮后儲存到存儲器，在實際進行圖像攝像時，通過從該圖像信號減去由正交逆變換進行譯碼后的暗電流噪聲成分，而去除暗電流噪聲。
該專利文獻1所公開的用于壓縮暗電流噪聲的方法即正交變換及量化使用了圖像壓縮中廣泛公知的方法。該方法利用了在對圖像信號進行正交變換時信息偏于低頻成分這樣的圖像的一般性質(zhì)，即使通過量化來切割(cut)高頻成分的信息，也不會給畫質(zhì)帶來太大的影響。
專利文獻1日本特開平11-298762號公報發(fā)明內(nèi)容(第一課題)暗電流噪聲成分含有很多高頻成分，因此若對該高頻成分的信息進行切割，則不能對暗電流噪聲成分準確地進行譯碼。從而存在以下問題在通過正交變換及量化對暗電流噪聲成分進行壓縮時，不能將該高頻成分的信息進行切割，從而不能提高壓縮率。
本發(fā)明是鑒于上述問題而提出的，其目的在于，提供一種用于削減暗電流噪聲的裝置，其中保持高頻成分多的特性且對暗電流成分進行高壓縮并儲存。
(第二課題)暗電流噪聲成分隨著攝像的時刻的攝像元件的溫度、曝光時間、及從攝像元件的輸出取出圖像信號作為模擬信號之際所乘的增益等而變化得較大，因此預(yù)先攝像的暗電流噪聲成分的大小、和在實際攝像狀態(tài)下所攝像的圖像成分中含有的暗電流噪聲成分的大小不同。但是，專利文獻1所公開的暗電流噪聲去除裝置雖然進行壓縮·擴張的處理，但是從圖像信號原封不動地減去預(yù)先儲存的暗電流噪聲成分，因此存在不能從圖像信號準確地去除暗電流噪聲成分的問題。
該發(fā)明是為了解決上述問題而提出的，其目的在于，提供一種能高精度地去除圖像信號中含有的暗電流噪聲成分的噪聲去除裝置。
(第三課題)從數(shù)碼相機或移動電話機所使用的CCD或CMOS傳感器等的攝像元件輸出的信號，除了圖像信號以外包括基于暗電流成分的固定模式噪聲、由于強烈的入射光而產(chǎn)生的尾斑(smear)噪聲、基于CCD的制造時的缺陷的固定缺陷噪聲、由設(shè)備的熱變動引起的隨機噪聲。從而，需要從攝像元件輸出的信號去除這些噪聲成分。特開2004-172925號公報中公開了從由攝像元件攝像的信號首先去除尾斑噪聲后，去除基于暗電流的固定模式噪聲的裝置。
但是，在由電路去除該尾斑噪聲時，為了推定尾斑噪聲的大小，需要推定入射到攝像元件的光量，該入射光量的推定根據(jù)從攝像元件輸出的信號來進行。從而，在考慮尾斑噪聲的推定精度時，推定所使用的信號中最好不要包含噪聲。
但是如上所述，從攝像元件輸出的信號中除了尾斑噪聲以外還包含各種噪聲。尤其固定模式噪聲，其所引起的暗電流具有較高的溫度依賴性，若攝像元件的溫度上升7度，則固體模式噪聲的大小變?yōu)?倍。另外，固定模式噪聲與曝光時間成比例地增大。從而，從攝像元件輸出的信號隨著攝像元件的溫度和曝光時間而其固定模式噪聲變化較大，因此特開2004-172925號公報中記載的裝置中存在以下問題在推定尾斑噪聲時，受該固定模式噪聲的影響較大，尾斑噪聲的去除精度變差。
本發(fā)明是為了解決上述問題而提出的，其目的在于，提供一種可分別高精度地去除攝像元件所輸出的信號中含有的多個噪聲成分的噪聲去除裝置。
(第一技術(shù)方案)第一方案的本發(fā)明的方式是一種噪聲去除裝置。該裝置具備噪聲分布分析部，對于在光遮斷的狀態(tài)下由攝像元件所攝像的第一圖像信號，求出構(gòu)成所述攝像元件的一部分或全部的像素的所述第一圖像信號的大小的分布，并根據(jù)該分布特定含有所述第一圖像信號可取大小的峰值的范圍，且在該范圍內(nèi)設(shè)定閾值；量化部，對于在光遮斷的狀態(tài)下由所述攝像元件所攝像的第二圖像信號，根據(jù)所述閾值進行量化；逆量化部，對所述量化后的第二圖像信號進行逆量化；減法部，從在光入射的狀態(tài)下由攝像元件所攝像的第三圖像信號減去所述逆量化后的第二圖像信號。在此“光遮斷的狀態(tài)”是指關(guān)閉設(shè)置在攝像元件的前面的快門，而沒有光到達攝像元件的狀態(tài)，也包含未完全遮斷而漏出的光入射到攝像元件那樣的“實質(zhì)上光遮斷的狀態(tài)”。
在光遮斷的狀態(tài)下所攝像的第一及第二圖像信號，其大部分是攝像元件的暗電流所引起的噪聲成分。從而，根據(jù)該方式，通過對該噪聲成分進行量化而能削減噪聲成分的信息量，能使儲存噪聲成分所需的存儲器的容量變小，且在進行量化之際，求出噪聲成分的大小的分布，根據(jù)該分布特定噪聲成分的大小集中的范圍，在該范圍內(nèi)進行量化壓縮，因此能具有高頻成分多的噪聲的特性并且高壓縮地儲存噪聲成分。
在該方式中，所述第一圖像信號和所述第二圖像信號是在不同的時刻所攝像的信號。由此使用在不同的時刻所攝像的兩個圖像信號，進行量化閾值的設(shè)定和量化，因此無需暫時儲存所攝像的圖像信號，能削減其量的存儲器容量。
在該方式中，所述第一圖像信號和所述第二圖像信號是相同的圖像信號，所述噪聲分布分析部，將所述第一圖像信號分割為多個區(qū)域，按該分割后的每個區(qū)域求出所述第一圖像信號的大小的分布，并根據(jù)該分布特定含有所述第一圖像信號可取大小的峰值的范圍，且在該范圍內(nèi)設(shè)定閾值。由此，為了儲存所攝像的圖像信號即噪聲成分，在光遮斷的狀態(tài)下對圖像信號進行攝像的次數(shù)為一次就完成，因此暗電流噪聲成分的量化簡單并且在短時間內(nèi)進行。
在該方式中，還具備頻帶分離部，將所述第一圖像信號及所述第二圖像信號分割為低頻成分和高頻成分；針對所述高頻成分，具備所述噪聲分布分析部、所述量化部及所述逆量化部；并且在所述低頻成分和由所述逆量化部所逆量化的所述高頻成分相加的基礎(chǔ)上，將其輸入到所述減法部。噪聲成分按每個像素不同而高頻成分具有支配性，但是由于裝置的特性或電源而存在所取得的噪聲信息中混入低頻成分。在這種情況下，將暗電流噪聲分為低頻成分和高頻成分，通過對該高頻成分進行本發(fā)明的壓縮處理，而能高精度地恢復(fù)噪聲成分。
另外，還具備壓縮部，將所述低頻成分以與所述高頻成分獨立的方法進行壓縮；和擴張部，將所述壓縮后的低頻成分擴張；在所述擴張后的低頻成分和由所述逆量化部所逆量化的所述高頻成分相加的基礎(chǔ)上，將其輸入到所述減法部。由此，通過以與低頻成分和高頻成分獨立的方法進行壓縮，而以各個成分的特性所具有的方法來進行壓縮，因此能高精度地恢復(fù)噪聲成分。
第二方案的本發(fā)明的另一方式為噪聲去除方法。該方法包括對于在光遮斷的狀態(tài)下由攝像元件所攝像的圖像信號，求出暗電流噪聲成分的大小的分布的步驟；特定含有所述暗電流噪聲成分的大小的峰值的范圍的步驟；在所述范圍內(nèi)設(shè)定用于量化的閾值的步驟；基于所述閾值對所述暗電流噪聲成分進行量化的步驟；對所述量化后的暗電流噪聲成分進行逆量子化的步驟；和從實際進行被攝體攝像時的圖像信號，減去所述逆量子化后的暗電流噪聲成分的步驟。
根據(jù)該方法，通過對暗電流噪聲成分進行量化而能削減暗電流噪聲成分的信息量，能使儲存暗電流噪聲成分所需的存儲器的容量變小。另外，進行量化之際，求出暗電流噪聲成分的大小的分布，根據(jù)其分布特定暗電流噪聲成分的大小集中的范圍，由于在其范圍內(nèi)進行量化壓縮，因此能具有高頻成分多的暗電流噪聲的特性并且以高壓縮儲存暗電流噪聲成分。
(第二方案)第二方案的本發(fā)明的方式為噪聲去除裝置。該裝置具備壓縮部，對在光遮斷的狀態(tài)下由攝像元件所得到的第一圖像信號進行壓縮；擴張部，將所述壓縮后的第一圖像信號擴張；噪聲成分預(yù)測部，基于由所述壓縮部壓縮前的第一圖像信號的狀態(tài)和在光入射的狀態(tài)下由攝像元件所得到的第二圖像信號的狀態(tài)之間的比較，根據(jù)所述擴張后的第一圖像信號預(yù)測所述第二圖像信號所含有的噪聲成分；和減法部，從所述第二圖像信號減去所預(yù)測的噪聲成分。
在此“光遮斷的狀態(tài)”是指關(guān)閉設(shè)置在攝像元件的前面的快門，而沒有光到達攝像元件的狀態(tài)，也包含未完全遮斷而漏出的光入射到攝像元件那樣的“實質(zhì)上光遮斷的狀態(tài)”。另外，該第一圖像信號與攝像它時的暗電流引起的噪聲成分大致相等。
根據(jù)該方式，通過將預(yù)先攝像的第一圖像信號的狀態(tài)和第二圖像信號的狀態(tài)相比較，而能判斷由攝像第一圖像信號的條件所得到的圖像信號的大小和由攝像第二圖像信號的條件所得到的圖像信號的大小之間的關(guān)系，因此基于該關(guān)系從第一圖像信號能預(yù)測第二圖像信號中含有的噪聲成分。從而，通過從第二圖像減去該預(yù)測后的噪聲成分，而能高精度地去除噪聲成分。
所述第一圖像信號的狀態(tài)是所述被壓縮前的第一圖像信號中含有的從遮光區(qū)域輸出的信號的大小；所述第二圖像信號的狀態(tài)是該第二圖像信號中含有的從遮光區(qū)域輸出的信號的大小。另外，所述噪聲成分預(yù)測部，求出所述第二圖像信號所含有的從遮光區(qū)域輸出的信號的大小和所述被壓縮前的第一圖像信號所含有的從遮光區(qū)域輸出的信號的大小之間的比率，并且對所述擴張后的第一圖像信號乘以所述比率，來預(yù)測所述第二圖像信號所含有的噪聲成分。
第二圖像信號所含有的從沒有光入射的區(qū)域輸出的信號與攝像第二圖像信號的條件下產(chǎn)生的暗電流引起的噪聲成分大致相等。另外，第一圖像信號所含有的從沒有光入射的區(qū)域輸出的信號與攝像第一圖像信號的條件下產(chǎn)生的暗電流引起的噪聲成分大致相等。從而，求出與這些信號的大小的比率，對第一圖像信號乘以該比率，而能預(yù)測第二圖像信號所含有的噪聲成分，因此從第二圖像減去該預(yù)測后的噪聲成分，而能高精度地去除噪聲成分。
該方式中，還具備前處理部，對所述壓縮后的第一圖像信號進行用于預(yù)測所述第二圖像信號所含有的噪聲成分的前處理，所述擴張部將該前處理后的第一圖像信號進行擴張也可。由此，在一度壓縮的第一圖像信號擴張后的狀態(tài)下不進行用于預(yù)測第二圖像信號所含有的噪聲成分的前處理，而在被壓縮后的狀態(tài)下直接進行前處理。被壓縮后的圖像信號與擴張后的圖像信號相比數(shù)據(jù)量小，因此能削減運算量。
在該方式中，所述前處理部將所述壓縮后的第一圖像信號分離為低頻成分和高頻成分，所述擴張部分別將所述低頻成分和高頻成分進行擴張，所述噪聲成分預(yù)測部，在根據(jù)所述擴張后的高頻成分預(yù)測所述第二圖像信號所含有的噪聲成分的高頻成分的基礎(chǔ)上，與所述擴張后的低頻成分相加，來預(yù)測所述第二圖像信號所含有的噪聲成分。一般圖像信號所含有的暗電流噪聲含有很多高頻成分，受溫度或曝光時間等攝像條件影響較大。另一方面，低頻成分的基于電源或裝置的特性的噪聲具有支配性，受溫度或曝光時間的攝像條件的影響較少。由此，去除攝像條件的影響少的低頻成分，對攝像條件的影響大的高頻成分進行預(yù)測處理，因此能進一步預(yù)測準確的噪聲成分。從而，能高精度地去除圖像含有的噪聲成分。
在該方式中，所述第一圖像信號的狀態(tài)是所述被壓縮前的第一圖像信號所含有的從遮光區(qū)域輸出的信號的高頻成分的大??；所述第二圖像信號的狀態(tài)是該第二圖像信號所含有的從遮光區(qū)域輸出的信號的高頻成分的大小，所述噪聲成分預(yù)測部，求出所述第二圖像信號所含有的從遮光區(qū)域輸出的信號的高頻成分的大小和所述被壓縮前的第一圖像信號所含有的從遮光區(qū)域輸出的信號的高頻成分的大小之間的比率，并且對所述擴張后的第一圖像信號的高頻成分乘以所述比率，由此預(yù)測所述第二圖像信號所含有的噪聲成分的高頻成分。由此，分別對第一圖像信號及第二圖像信號使用沒有光入射的區(qū)域所屬的一部分或全部的像素，對高頻成分彼此進行比較，算出其比率，進一步對第一圖像信號的高頻成分乘以算出的比率，而能高精度地預(yù)測第二圖像信號所含有的噪聲成分，由此能進行高精度的噪聲去除。
在該方式中，所述壓縮部具備噪聲分布分析部，針對所述第一圖像信號，求出一部分或全部的像素具有的所述第一圖像信號的大小的分布，根據(jù)該分布特定含有所述第一圖像信號可取大小的峰值的范圍，在該范圍內(nèi)設(shè)定量化的閾值；和量化部，對所述第一圖像信號基于所述閾值進行量化。由此，儲存第一圖像信號之際，在含有第一圖像信號可取大小的峰值的范圍內(nèi)進行量化壓縮，因此具有高頻成分多的噪聲的特性并且使第一圖像信號壓縮而儲存。
(第三方案)第三方案的本發(fā)明的某一方式為噪聲去除裝置。該裝置具備固定模式噪聲去除部，從攝像元件所輸出的圖像信號去除攝像元件的暗電流所引起的固定模式噪聲；和尾斑噪聲去除部，從去除所述固定模式噪聲的圖像信號去除入射光所引起的尾斑噪聲。
根據(jù)該方式，具有溫度依賴性且與曝光時間成比例地增大的固定模式噪聲在去除尾斑噪聲之前從圖像信號消除。從而使用去除該固定模式噪聲的圖像信號來推定尾斑，能高精度地去除尾斑噪聲。
在該方式中，作為所述固定模式噪聲去除部，利用上述的第一方案或第二方案所述的噪聲去除裝置。根據(jù)該方式，能有效地去除固定模式噪聲。
在該方式中，尾斑噪聲去除部，通過從固定模式噪聲去除后的圖像信號減去累加值來去除尾斑噪聲，該累加值是依次累加每次攝像元件的各受光比特所蓄積的信息電荷沿垂直方向逐行被傳送時從各受光比特混入的尾斑電荷的量而得到的值。根據(jù)該方式，能有效地去除尾斑噪聲。
在該方式中，還具備固定缺陷噪聲去除部，從尾斑噪聲去除后的圖像信號，去除攝像元件制造時的缺陷所引起的固定缺陷噪聲。根據(jù)該方式，在去除固定缺陷噪聲之前去除尾斑噪聲，因此不會由尾斑噪聲而影響到飽和后的信號電平，能進行缺陷像素的判斷。進一步，在去除固定缺陷噪聲之際，從噪聲電平大的固定模式噪聲或尾斑噪聲去除后的圖像信號生成插補圖像信號，因此能更自然地去除固定缺陷噪聲。
在該方式中，固定缺陷噪聲去除部，對攝像元件的每個像素是否是固定缺陷進行判斷，在判斷為固定缺陷時，從周邊的像素算出內(nèi)插值并且置換為該值。根據(jù)該方式，能有效地去除固定缺陷噪聲。
在該方式中，還具備隨機噪聲去除部，從所述固定缺陷噪聲去除后的圖像信號，去除攝像元件的熱變動所引起的隨機噪聲。
根據(jù)該方式，在其他噪聲成分被去除，且各像素具有的圖像信號成為接近真實值的狀態(tài)的階段，使用從周邊像素的特征進行推定插補的方法來去除隨機噪聲，因此能高精度地去除隨機噪聲。
在該方式中，還具備偏置去除部，去除圖像信號所含有的偏置成分，輸入到偏置去除部的圖像信號是由固定模式噪聲去除部去除固定模式噪聲后的信號。
根據(jù)該方式，去除固定模式噪聲之后算出偏置成分，因此不會給偏置成分的算出帶來固定模式噪聲的影響，能高精度地去除偏置成分。
偏置去除部具備偏置計算部，提取輸入到該偏置去除部的圖像信號中的、攝像元件的遮光區(qū)域所屬的像素的圖像信號，算出該提取后的圖像信號的大小的平均值作為偏置成分；和減法部，從輸入到該偏置去除部的圖像信號減去偏置成分。根據(jù)該方式，能有效地去除偏置成分。
此外，以上的構(gòu)成要素的任意的組合、將本發(fā)明的表現(xiàn)在方法、裝置、系統(tǒng)、計算機程序、數(shù)據(jù)結(jié)構(gòu)、記錄介質(zhì)等之間進行變換的組合也作為本發(fā)明的方式有效。
在噪聲去除裝置中，能提高噪聲去除性能。


圖1是實施方式1的數(shù)碼相機100的構(gòu)成圖。
圖2是表示暗電流噪聲成分的大小的分布的圖。
圖3是用于說明特定含有暗電流噪聲成分可取大小的峰值的范圍，在其范圍內(nèi)算出量化的閾值及代表值的圖。
圖4是實施方式2的數(shù)碼相機110的構(gòu)成圖。
圖5是用于說明將暗電流噪聲成分分割為多個線路的圖。
圖6是實施方式3的數(shù)碼相機120的構(gòu)成圖。
圖7是實施方式4的數(shù)碼相機1100的構(gòu)成圖。
圖8是表示暗電流噪聲成分的大小的分布的圖。
圖9是用于說明特定含有暗電流噪聲成分可取大小的峰值的范圍，在其范圍內(nèi)算出量化閾值及代表值的圖。
圖10是實施方式5的數(shù)碼相機2100的構(gòu)成圖。
圖11是實施方式5的固定模式噪聲去除部2010的構(gòu)成圖。
圖12是實施方式5的尾斑噪聲去除部2011的構(gòu)成圖。
圖13是實施方式5的固定缺陷噪聲去除部2012的構(gòu)成圖。
圖14是用于說明固定缺陷的判定方法的圖。
圖15是實施方式6的數(shù)碼相機2110的構(gòu)成圖。
圖16是實施方式6的偏置去除部2014的構(gòu)成圖。

1、7、8、1001-暗電流噪聲去除裝置；2、1002-透鏡；3、1003-快門；4、1004、2002-攝像元件；5、1005-A/D變換部；6、1006、2005-記錄介質(zhì)；10、20、1010-噪聲分布分析部；12、1012-量化部；14、30、1014、2020、2051-存儲器；16-逆量化部；18、1030、2021、2030、2052-減法部；22、2032、2040-線路存儲器；23-頻帶分離部；28-壓縮部；32-擴張部；34、1028、2031-加法部；100、110、120、1100、2100、2110-數(shù)碼相機；1016-低頻·高頻分離部；1080-第一逆量化部；1020-第二逆量化部；1022-高頻提取部；1024-乘法系數(shù)設(shè)定部；1026、2034-乘法部；2001、2006-噪聲去除裝置；2003-模擬前端處理器(analogue front end)(AFE)；2004-圖像壓縮裝置；2010-固定模式噪聲去除部；2011-尾斑噪聲去除部；2012-固定缺陷噪聲去除部；2013-隨機噪聲去除部；2014-偏置去除部；2033-系數(shù)產(chǎn)生部；2041-固定缺陷判定部；2042-內(nèi)插值計算部；2043-內(nèi)插值置換部；2050-偏置計算部。
具體實施例方式
(第一組)(實施方式1)圖1是表示具備本發(fā)明的最佳實施方式1的暗電流噪聲去除裝置1的數(shù)碼相機100的構(gòu)成圖。該構(gòu)成對于硬件而言可由任意的計算機的CPU、存儲器、其他LSI來實現(xiàn)，對于軟件而言可由載入存儲器中的具有編碼功能的程序等來實現(xiàn)，但是在此描述由這些結(jié)合所實現(xiàn)的功能塊。從而，這些功能塊或僅由硬件、或僅由軟件、或由這些組合以各種形式來實現(xiàn)，對于本領(lǐng)域技術(shù)人員來說是很容易理解的。
數(shù)碼相機100除了暗電流噪聲去除裝置1以外還具備透鏡2、快門3、攝像元件4、A/D變換部5和記錄介質(zhì)6。由被攝體所反射的光通過透鏡2、快門3入射到攝像元件4。攝像元件4將所入射的光變換為電信號并將其作為圖像信號輸出。作為該攝像元件4的一例有CCD和CMOS傳感器等。從攝像元件4輸出的圖像信號由A/D變換部5變換為例如10位的數(shù)字信號后，由暗電流噪聲去除裝置1去除暗電流噪聲，被記錄到記錄介質(zhì)6。
暗電流噪聲去除裝置1在預(yù)先關(guān)閉快門3的狀態(tài)下由攝像元件4攝像且由A/D變換部5變換為數(shù)字信號后的圖像信號作為暗電流噪聲成分進行儲存，從實際攝像時所攝像的圖像信號減去該暗電流噪聲成分，來去除暗電流噪聲。在儲存該暗電流噪聲成分之際，求出用于圖像構(gòu)成的全體像素的暗電流噪聲成分的大小的分布，從該分布調(diào)查含有暗電流噪聲成分的峰值的范圍，在該范圍內(nèi)進行量化壓縮。此外，在此所說的暗電流噪聲成分的大小是由A/D變換部5所得到的數(shù)字信號表示的值。
下面說明暗電流噪聲去除裝置1的構(gòu)成。暗電流噪聲去除裝置1具備噪聲分布分析部10、量化部12、存儲器14、逆量化部16、減法部18。噪聲分布分析部10在關(guān)閉快門3進行攝像時所得到的暗電流噪聲成分中，針對整個像素計數(shù)在整個像素中在其可取值上各出現(xiàn)何像素，求出其分布。
例如，假設(shè)由10像素構(gòu)成的圖像的暗電流噪聲成分在每個像素上具有以下值。
{1、3、2、5、3、3、4、5、3、2}在暗電流噪聲成分可具有0～7的值時，噪聲分布分析部10如下求出各個值的出現(xiàn)像素數(shù)。
值00像素、值11像素、值22像素、值34像素、值41像素、值52像素、值60像素、值70像素。
實際從攝像元件4得到的圖像的像素數(shù)是從幾十萬到幾百萬像素。另外，暗電流噪聲成分可取的值由A/D變換部5的分辨能力所決定。例如，A/D變換部5具有10位的分辨能力時，暗電流噪聲成分可取的值為0～1023。此時，噪聲分布分析部10對由攝像元件4所得到的整個像素的暗電流噪聲成分求出該可取的值0～1023各自的出現(xiàn)像素數(shù)。其結(jié)果，能得到圖2的分布。
噪聲分布分析部10求出暗電流噪聲成分的分布后，如圖3所示特定暗電流噪聲成分集中的范圍A～B。例如，該范圍的下限A假設(shè)是在求出分布時所使用的像素的數(shù)目設(shè)為x時，從像素值較小的像素起計數(shù)到第x/512像素編號的像素所具有的暗電流噪聲成分的值。另外，上限B設(shè)為從像素值較大的像素起計數(shù)到第x/512像素編號的像素所具有的暗電流噪聲成分的值。此外，該除數(shù)并不限于512也可以是任意的值。另外，在下限A和上限B中也可以使用不同的除數(shù)。進一步，也可以除數(shù)按可變方式由外部設(shè)定。
另外，作為求出該范圍的下限A和上限B的另一方法，按照特定暗電流噪聲成分的分布峰值的位置，且從下限A到該峰值為止所存在的像素的數(shù)目和從上限B到該峰值為止所存在的像素的數(shù)目成為某一恒定的像素數(shù)目的方式，確定下限A和上限B。
噪聲分布分析部10除了特定范圍A～B之外，按照在該范圍內(nèi)設(shè)置閾值并進行量化壓縮的方式算出量化的閾值和代表值。例如，考慮如圖3所示將暗電流噪聲成分量化為N級的情況。而且，從暗電流噪聲成分的值為零一側(cè)起設(shè)為量化電平0、量化電平1、量化電平2，并將暗電流噪聲成分的值為最大的位置設(shè)為量化電平(N-1)。另外，將它們統(tǒng)一表記為量化電平n(n＝0、1、2、…、N-1)。噪聲分布分析部10由以下式求出量化電平n和量化電平(n+1)之間的閾值THn及量化電平n的代表值Vn。將這些值送到量化部12。
THn＝DA+(2n+1)·(DB-DA)/(2·(N-1))…(1)Vn＝DA+2n·(DB-DA)/(2·(N-1))…(2)在此，DA、DB表示下限A及上限B中的暗電流噪聲成分的值。在這些值中，閾值THn被送到量化部12，而代表值Vn被送到逆量化部16。
量化部12對于在關(guān)閉快門3攝像時所得到的暗電流噪聲成分，參照由噪聲分布分析部10求出的量化的閾值來進行量化。例如，在將暗電流噪聲成分的大小設(shè)為a時，參照由(1)式求出的閾值THn并通過以下說明的方法來進行量化，得到量化后數(shù)據(jù)α。
如果，在暗電流噪聲成分a低于閾值TH0時，量化數(shù)據(jù)α設(shè)為0。另外，在暗電流噪聲成分a為閾值TH(N-2)以上時，量化數(shù)據(jù)α設(shè)為(N-1)。并且，暗電流噪聲成分a為閾值TH(n-1)以上并且低于THn時，量化數(shù)據(jù)α設(shè)為n。此外，噪聲分布分析部10和量化部12為本發(fā)明的“用于噪聲成分的量化的部件”的一例。
通過該方法，由量化部12所量化的數(shù)據(jù)α被儲存到存儲器14。此時，存儲器14所需的容量可以比未對暗電流噪聲成分進行量化時少。例如，在將N設(shè)為16時，量化數(shù)據(jù)α取得0～15的值。即，1像素原來由10位表示的暗電流成分在量化之后可由4位表示。從而，若將100萬像素的暗電流噪聲成分儲存到存儲器14時，相對于在未量化時需要1000萬位的容量，而在進行量化后只要400萬位即可。
逆量化部16與將實際攝像時在打開快門3的狀態(tài)下所攝像的圖像信號從A/D變換部5輸出的定時一致，從存儲器14讀出量化后的暗電流噪聲成分，參照噪聲分布分析部10所輸入的代表值而進行逆量化且進行譯碼。逆量化方法將從存儲器14讀出的量化數(shù)據(jù)α原封不動地替換為量化電平n(即n＝α)，將與該量化電平n對應(yīng)的代表值Vn輸出到減法部18。減法部18從實際攝像時所攝像的圖像信號減去由逆量化部16所逆量化的暗電流噪聲成分。
基于涉及的構(gòu)成，對圖1所示的數(shù)碼相機的動作進行說明。首先，攝像元件4在關(guān)閉快門3的狀態(tài)下進行圖像攝像。此時，由于沒有光入射到攝像元件4，因此從攝像元件4輸出的信號為暗電流噪聲成分。
該暗電流噪聲成分由A/D變換部5變換為數(shù)字信號后，輸入到噪聲分布分析部10。在噪聲分布分析部10中，根據(jù)整個像素的暗電流噪聲成分求出其大小的分布，根據(jù)該分布特定含有暗電流噪聲成分的峰值的范圍，在該范圍內(nèi)算出量化的閾值THn和代表值Vn。
接著，在再次關(guān)閉快門3的狀態(tài)下由攝像元件4對暗電流噪聲成分進行攝像。該暗電流噪聲成分由A/D變換部5變換為數(shù)字信號后，再次輸入到量化部12。量化部12基于由噪聲分布分析部10求出的閾值對暗電流噪聲成分進行量化，在存儲器14中儲存該量化后的暗電流噪聲成分。
以上為止的動作是至實際上進行被攝體攝像前的階段為止的動作。此前的動作即在存儲器14中儲存被量化的暗電流噪聲成分，也可以在每次的攝像時進行，也可以在數(shù)碼相機的電源接通時進行。在每次攝像時進行的情況下，也可以構(gòu)成為，設(shè)置未圖示的攝像時檢測部，若在攝像時檢測出，就向暗電流噪聲去除裝置1指示進行暗電流噪聲成分量化并且進行儲存。暗電流噪聲容易受到攝像元件的周邊的溫度環(huán)境的影響，在剛要攝像前進行儲存時能高精度地取得暗電流噪聲成分之值。在電源接通時進行的情況下，也可以構(gòu)成為，設(shè)置未圖示的電源接通時檢測部，若檢測出電源接通，就向暗電流噪聲去除裝置1指示進行暗電流噪聲成分量化并進行儲存。
另外，在存儲器14中儲存被量化后的暗電流噪聲成分也可以在制造數(shù)碼相機時進行。另外，也可以構(gòu)成為，在數(shù)碼相機上設(shè)置未圖示的定時器，按每一定期間向暗電流噪聲去除裝置1指示進行暗電流噪聲成分量化并進行儲存。
接著對實際進行被攝體攝像時的動作進行說明。這次在打開快門的狀態(tài)下由攝像元件4進行圖像攝像。從攝像元件4輸出的圖像信號由A/D變換部5變換為數(shù)字信號后送到減法部18。另一方面，逆量化部16與從A/D變換部5輸出圖像信號的定時一致，讀出存儲器14所儲存的被量化的暗電流噪聲成分，并且參照由噪聲分布分析部10算出的代表值，對暗電流噪聲成分進行逆量化。該逆量化后的暗電流噪聲成分被輸入到減法部18，由減法部18從圖像信號減去逆量化后的暗電流噪聲成分。由此，從圖像信號能去除暗電流噪聲成分。并且，去除了暗電流噪聲成分的圖像信號被記錄到記錄介質(zhì)6。
以上，根據(jù)本發(fā)明的最佳實施方式1，具有以下的作用效果。
(1)通過使暗電流噪聲成分量化而大幅度減少暗電流噪聲成分的信息量，由此能減少為了儲存暗電流噪聲成分所需的存儲器的容量。
(2)進行量化之際，求出暗電流噪聲成分的大小的分布，根據(jù)其分布特定含有暗電流噪聲成分可取大小的峰值的范圍，在其范圍內(nèi)進行量化壓縮，因此能保持高頻成分多的噪聲的特性，并且能對暗電流噪聲成分進行壓縮。
(3)如以往例那樣，除了將暗電流噪聲成分分割為塊后進行正交變換以外還進行量化的情況下，在每塊上其量化的參數(shù)不同，因此在其逆量化后，在塊邊界上產(chǎn)生噪聲。與此相對，本實施方式中，對暗電流噪聲成分整體使用相同的閾值來進行量化，因此在量化后的暗電流噪聲成分進行逆量化時，不產(chǎn)生上述的噪聲。
(4)使用在不同的時刻所攝像的兩個暗電流噪聲成分，進行量化閾值的設(shè)定和量化，因此無需暫時儲存所攝像的暗電流噪聲成分，能減少存儲器容量。也就是，使用最初取得的暗電流噪聲成分進行量化閾值的設(shè)定，只要在其量化閾值設(shè)定的瞬間保持暗電流噪聲成分即可，也可以之后消除暗電流噪聲成分的數(shù)據(jù)。另外，使用下一次取得的暗電流噪聲成分進行量化，只要在其量化的瞬間保持暗電流噪聲成分即可，也可以之后消除暗電流噪聲成分的數(shù)據(jù)。無需在量化閾值設(shè)定處理和量化處理之間保持暗電流噪聲成分，因此能減少存儲器容量。
(實施方式2)圖4是表示具備本發(fā)明的最佳實施方式2的暗電流噪聲去除裝置7的數(shù)碼相機110的構(gòu)成的圖。該數(shù)碼相機110是配置有與實施方式1的數(shù)碼相機100的噪聲分布分析部10不同的功能的噪聲分布分析部20，進一步附加了線路存儲器22的構(gòu)成。對于與實施方式1相同的構(gòu)成賦予相同的符號，省略說明。
實施方式2的噪聲分布分析部20與實施方式1的噪聲分布分析部10不同的點在于，不在整個像素上進行暗電流噪聲成分的大小的分布，如圖5所示將暗電流噪聲成分分割為多個線路的每個區(qū)域，在其分割后的范圍內(nèi)求出暗電流噪聲成分的大小的分布，算出量化的閾值和代表值。另外，噪聲分布分析部20將算出量化的閾值及代表值的多個線路的暗電流噪聲成分儲存到線路存儲器22。
基于涉及的構(gòu)成，對圖4所示的數(shù)碼相機的動作進行說明。首先，在關(guān)閉快門3的狀態(tài)下攝像元件4進行暗電流噪聲成分攝像。該暗電流噪聲成分由A/D變換部5變換為數(shù)字信號后，輸入到噪聲分布分析部20。噪聲分布分析部20根據(jù)最初的多個線路中存在的像素的暗電流噪聲成分求出其大小的分布，基于其分布算出量化的閾值和代表值。另外，噪聲分布分析部20求出分布，將算出量化的閾值和代表值的多個線路的暗電流噪聲成分儲存到線路存儲器22。
接著，量化部12讀出儲存在線路存儲器22的暗電流噪聲成分，參照由噪聲分布分析部20算出的閾值并且進行量化，將該量化后的暗電流噪聲成分儲存到存儲器14。此時，噪聲分布分析部20對于下一個多個線路中存在的像素求出暗電流噪聲成分的大小的分布，根據(jù)該分布算出量化的閾值和代表值，并且將該多個線路的暗電流噪聲成分重寫入線路存儲器22。以后，噪聲分布分析部20和量化部12及線路存儲器22對多個線路的每一個反復(fù)進行上述動作，對暗電流噪聲成分的整個像素進行量化壓縮，并且將量化后的暗電流噪聲成分儲存到存儲器14。
以上為止的動作是至實際進行被攝體攝像前的階段為止的動作。實際進行被攝體攝像時的動作與實施方式1中記載的動作相同，因此省略。
以上，根據(jù)本實施方式2，除了享受保持高頻成分多的特性并且將暗電流噪聲成分高壓縮后儲存的作用效果以外還享受以下的作用效果。即，本實施方式2中，將暗電流噪聲成分分割多個區(qū)域，按每個區(qū)域求出暗電流噪聲成分的大小的分布，算出量化的閾值和代表值，并且將算出該閾值和代表值的區(qū)域的暗電流噪聲成分暫時存儲到線路存儲器，對存儲到該線路存儲器的暗電流噪聲成分進行量化，因此一次就能完成暗電流噪聲成分的攝像，暗電流噪聲成分的量化簡單并且在短時間內(nèi)進行。
(實施方式3)圖6是表示具備本發(fā)明的最佳實施方式3的暗電流噪聲去除裝置8的數(shù)碼相機120的構(gòu)成的圖。該數(shù)碼相機120是在實施方式1的數(shù)碼相機100中附加了頻帶分離部24、壓縮部28、存儲器30、擴張部32及加法部34的構(gòu)成。對于與實施方式1相同的構(gòu)成賦予相同的符號，省略說明。
頻帶分離部24將暗電流噪聲成分分離為低頻成分和高頻成分。壓縮部28對由頻帶分離部24所分離的低頻成分進行壓縮處理。作為壓縮方法具有在壓縮對象的像素及其相鄰的像素中取出低頻成分彼此之間的差分的方法、或由規(guī)定的量化系數(shù)除低頻成分進行量化的方法等?；蛘咭砸?guī)定的像素間隔提取低頻成分，也可以刪除除此之外的像素的低頻成分，也可以是這些方法的組合。存儲器30儲存由壓縮部28壓縮后的低頻成分。
擴張部32讀出儲存到存儲器30的壓縮后的低頻成分，進行擴張?zhí)幚?。例如，低頻成分由壓縮部28通過取得與壓縮對象的相鄰的像素之間的低頻成分彼此之間的差分的方法進行壓縮時，通過將與存儲器30所儲存的值相鄰的像素的低頻成分相加而進行擴張?zhí)幚?。另外，通過除以規(guī)定的量化系數(shù)進行量化的方法來進行壓縮時，向儲存到存儲器30的值乘以量化系數(shù)而進行擴張?zhí)幚怼Ａ硗?，通過以規(guī)定的像素間隔提取低頻成分并刪除其以外的像素的低頻成分的方法來進行壓縮時，對存儲到存儲器30的像素的低頻成分進行濾波處理，來求出全部的像素的低頻成分，從而進行擴張?zhí)幚怼?br> 此外，噪聲分布分析部10、量化部12、存儲器14及逆量化部16具有與實施方式1的數(shù)碼相機中具備的元件相同的功能，但是這些針對頻帶分離部24所分離的暗電流噪聲的高頻成分起作用。
加法部34將由擴張部32擴張后的暗電流噪聲的低頻成分和由逆量化部16逆量化后的暗電流噪聲的高頻成分相加，并且對暗電流噪聲進行譯碼。
基于涉及的構(gòu)成，對圖6所示的數(shù)碼相機的動作進行說明。首先，在關(guān)閉快門3的狀態(tài)下所攝像的暗電流噪聲成分由A/D變換部5變換為數(shù)字信號后，由頻帶分離部24分離為低頻成分和高頻成分。并且，噪聲分布分析部10對整個像素求出高頻成分的大小的分布，基于該分布算出針對高頻成分的量化的閾值和代表值。
接著，在再次關(guān)閉快門3的狀態(tài)下由攝像元件4進行暗電流噪聲成分攝像，由A/D變換部5變換為數(shù)字信號后，由頻帶分離部24分離為低頻成分和高頻成分。并且，低頻成分由壓縮部28所壓縮，在存儲部30中儲存該壓縮后的低頻成分。另外，高頻成分被輸入到量化部12，根據(jù)由噪聲分布分析部10求出的閾值進行量化，在存儲器14中儲存該量化后的高頻成分。
以上的動作是至實際進行被攝體攝像前的階段為止的動作。接著，對實際進行被攝體攝像時的動作進行說明。這次在打開快門3的狀態(tài)下由攝像元件4進行圖像攝像。從攝像元件4輸出的圖像信號由A/D變換部5變換為數(shù)字信號后送到減法部18。另一方面，擴張部32與從A/D變換部5輸出圖像信號的定時一致，讀出儲存到存儲器30的量化后的暗電流噪聲低頻成分，并且對暗電流噪聲的低頻成分進行擴張。
同樣，逆量化部16與從A/D變換部5輸出圖像信號的定時一致，讀出儲存在存儲部14的量化后的暗電流噪聲的高頻成分，并且參照由噪聲分布分析部10算出的代表值，將暗電流噪聲的高頻成分進行逆量化。因而，通過將這些逆量化后的低頻成分及高頻成分由加法部34相加，而對暗電流噪聲成分進行譯碼。并且，該暗電流噪聲成分被輸入到減法部18，由減法部18從圖像信號減去逆量化后的暗電流噪聲成分，由此從圖像信號去除暗電流噪聲成分。
暗電流噪聲自身按每像素而不同，因此高頻成分具有支配性，由于裝置的特性或電源而存在低頻成分混入到所取得的噪聲信息的情況。根據(jù)本實施方式3，能享受以下的作用效果。
(1)通過將暗電流噪聲分離為低頻成分和高頻成分，在暗電流噪聲中對于支配性的高頻成分，求出其大小的分布，根據(jù)其分布特定暗電流噪聲的高頻成分可取大小的峰值的范圍，在其范圍內(nèi)進行量化壓縮，而能高精度地恢復(fù)暗電流噪聲。
(2)由于分別對低頻成分及高頻成分適用獨立的壓縮方法，所以可與各個成分的特性一致地進行壓縮，能高精度地恢復(fù)暗電流噪聲。
以上，根據(jù)實施方式1～3說明了本發(fā)明。實施方式是例示，本領(lǐng)域技術(shù)人員能夠理解可對這些各構(gòu)成要素或各處理工序的組合進行各種變形，并且這些變形處于本發(fā)明的范圍內(nèi)。這種變形例如下所示。
上述的實施方式中，示出了數(shù)碼相機的例子，但是并不限于此，只要是具備攝像元件的裝置，就能具備本發(fā)明的實施方式的暗電流噪聲去除裝置。
上述的實施方式2中，示出了設(shè)置線路存儲器來將暗電流噪聲成分分割為多個區(qū)域，并在該分割的范圍內(nèi)確定量化的閾值，進行量化的例子，但是如上述實施方式1記載那樣，根據(jù)在不同的時間所攝像的兩個暗電流噪聲成分中的、一方的暗電流噪聲成分確定量化的閾值，而對另一方的暗電流噪聲成分施加量化的處理也可，也可以選擇使用哪一個量化方法。
通過選擇這些量化方法，根據(jù)搭載暗電流噪聲去除裝置的系統(tǒng)的性能、攝像的圖像的像素數(shù)、或者使用者所設(shè)定的攝影模式等，可選擇最佳量化方法。
在上述實施方式3中，將線路存儲器如上述實施方式2那樣附加在噪聲分布分析部10和量化部12之間，在這些線路存儲器中也可以儲存在噪聲分布分析部10及26中使用的多個線路的低頻成分和高頻成分。由此，在上述實施方式3中，將暗電流噪聲成分分割為多個線路，在該分割后的范圍內(nèi)能進行暗電流噪聲成分的量化閾值的設(shè)定及量化，從而能享受與上述實施方式2相同的作用效果。
(第二組)(實施方式4)圖7是表示具備本發(fā)明的最佳實施方式4的暗電流噪聲去除裝置1001的數(shù)碼相機1100的構(gòu)成的圖。該構(gòu)成對于硬件而言可由任意的計算機的CPU、存儲器、其他LSI來實現(xiàn)，對于軟件而言可由具有載入存儲器中的編碼化功能的程序等來實現(xiàn)，在此描述由這些組合來實現(xiàn)的功能塊。從而，本領(lǐng)域技術(shù)人員應(yīng)該理解為這些功能塊或僅由硬件、或僅由軟件、或者由這些組合以各種形式來實現(xiàn)。
數(shù)碼相機1100除了暗電流噪聲去除裝置1001以外，還具備透鏡1002、快門1003、攝像元件1004、A/D變換部1005和記錄介質(zhì)1006。由被攝體反射的光通過透鏡1002、快門1003入射到攝像元件1004。攝像元件1004將入射后的光變換為電信號，并且將其作為圖像信號輸出。作為該攝像元件1004的一例，有CCD和CMOS傳感器等。從攝像元件1004輸出的圖像信號由A/D變換部1005變換為例如10位的數(shù)字信號。由該數(shù)字信號表示的值相當于本發(fā)明的“圖像信號的大小”。另外，將變換為數(shù)字信號的圖像信號分離為低頻成分和高頻成分的情況下，由數(shù)字信號表示的各個成分的值也包含在“圖像信號的大小”中。
由A/D變換部變換為數(shù)字信號的圖像信號由暗電流噪聲去除裝置1001去除暗電流噪聲，被記錄到記錄介質(zhì)1006。
暗電流噪聲去除裝置1001，將在預(yù)先關(guān)閉快門1003的狀態(tài)下由攝像元件1004所攝像、且由A/D變換部1005變換為數(shù)字信號的圖像信號儲存為暗電流噪聲成分，從實際攝像時所攝像的圖像信號減去暗電流噪聲成分，去除暗電流噪聲。在儲存該暗電流噪聲成分之際，求出構(gòu)成圖像的整個像素的暗電流噪聲成分的大小的分布，根據(jù)該分布特定含有暗電流噪聲成分的峰值的范圍，在其范圍內(nèi)進行量化壓縮。此外，在此所說的暗電流噪聲成分的大小是由A/D變換部1005所得到的數(shù)字信號表示的值。
另外，暗電流噪聲去除裝置1001，在從圖像信號減去暗電流噪聲成分之際，將預(yù)先進行暗電流噪聲成分攝像時的狀態(tài)與進行圖像信號攝像時的狀態(tài)相比較，基于該比較根據(jù)預(yù)先攝像后的暗電流噪聲成分，預(yù)測圖像信號中含有的暗電流噪聲成分。例如，在攝像元件1004中始終存在沒有光入射的區(qū)域，因此從該區(qū)域輸出的圖像信號可看成為該像素中的暗電流噪聲成分。因而，求出在光入射的狀態(tài)下所攝像的圖像信號中的、從始終沒有光入射的區(qū)域(遮光區(qū)域)所屬的像素輸出的圖像信號、和在預(yù)先所攝像的暗電流噪聲成分中的、從相同的像素輸出的暗電流噪聲成分之間的比率，將該比率乘以預(yù)先所攝像的暗電流噪聲成分整體，從而高精度地預(yù)測圖像信號中含有的暗電流噪聲成分。
進一步，暗電流噪聲去除裝置1001將預(yù)先所攝像的暗電流噪聲及從遮光區(qū)域輸出的圖像信號分離為低頻成分和高頻成分，對這些高頻成分彼此進行比較，利用預(yù)先所攝像的暗電流高頻成分，進行所述的預(yù)測。這是因為暗電流噪聲按每像素產(chǎn)生離散偏差而含有很多高頻成分，并且不受部位所引起的影響，另一方面在低頻成分中受到電源或裝置的特性等部位所引起的影響的噪聲變?yōu)榫哂兄湫?，因此若在含有低頻成分的狀態(tài)下進行預(yù)測處理，則不能準確地預(yù)測暗電流噪聲。
以下說明暗電流噪聲去除裝置1001的構(gòu)成。暗電流噪聲去除裝置1001具備噪聲分布分析部1010、量化部1012、存儲器1014、第一逆量化部1018、第二逆量化部1020、高頻提取部1022、乘法系數(shù)設(shè)定部1024、乘法部1026、加法部1028及減法部1030。噪聲分布分析部1010，在關(guān)閉快門1003進行攝像時所得到的暗電流噪聲成分中，針對整個像素計數(shù)在其每個可取值上各出現(xiàn)何像素，求出其分布。
例如，假設(shè)由10像素構(gòu)成的圖像的暗電流噪聲成分在每個像素上具有以下值。
{1，3，2，5，3，3，4，5，3，2}在暗電流噪聲成分可具有0～7的值時，噪聲分布分析部1010如下求出各個值的出現(xiàn)像素數(shù)。
值00像素，值11像素，值22像素，值34像素，值41像素，值52像素，值60像素，值70像素。
實際上從攝像元件1004得到的圖像的像素數(shù)是從幾十萬到幾百萬像素。另外，暗電流噪聲成分可取的值由A/D變換部1005的分辨能力所決定。例如，A/D變換部1005具有10位的分辨能力時，暗電流噪聲成分可取的值是0～1023。此時，噪聲分布分析部1010對于由攝像元件1004所得到的整個像素的暗電流噪聲成分求出其可取值0～1023各自的出現(xiàn)像素數(shù)。其結(jié)果，能取得圖8所示的分布。
噪聲分布分析部1010求出暗電流噪聲成分的分布后，如圖9所示那樣特定含有暗電流噪聲成分的峰值的范圍A～B。例如，該范圍的下限A在用于求出分布時所使用的像素的數(shù)設(shè)為x的情況下，設(shè)為從像素值小的一方起計數(shù)第x/512像素編號的像素具有的暗電流噪聲成分的值。另外，上限B設(shè)為從像素值大的一方起計數(shù)第x/512像素編號的像素具有的暗電流噪聲成分的值。此外，該除數(shù)并不限于512也可以是任意值。另外，在下限A和上限B中也可以使用不同的除數(shù)。進一步，也可以除數(shù)以可變方式由外部設(shè)定。
另外，作為求出該范圍的下限A和上限B的另一方法，按照特定暗電流噪聲成分的分布峰值的位置，從下限A至該峰值為止所存在的像素數(shù)目和從上限B至該峰值為止所存在的像素數(shù)目成為某一恒定的像素數(shù)目的方式，確定下限A和上限B也可。
噪聲分布分析部1010在特定范圍A～B的基礎(chǔ)上，按照在該范圍內(nèi)設(shè)置閾值而進行量化壓縮的方式算出量化的閾值和代表值。例如，如圖9所示考慮將暗電流噪聲成分量化為N級的情況。并且，從暗電流噪聲成分值的零的一方起設(shè)為量化電平0、量化電平1、量化電平2，暗電流噪聲成分值最大的位置設(shè)為量化電平(N-1)。另外，將這些集中而表記為量化電平n(n＝0，1，2，…，N-1)。噪聲分布分析部1010通過以下公式求出量化電平n和量化電平(n+1)之間的閾值THn及量化電平n的代表值Vn。
THn＝DA+(2n+1)·(DB-DA)/(2·(N-1))…(3)Vn＝DA+2n·(DB-DA)/(2·(N-1))…(4)在此，DA、DB表示下限A及上限B中的暗電流噪聲成分的值。閾值THn被送到量化部1012。另外，閾值THn、代表值Vn及下限A中的暗電流噪聲成分DA被送到第一逆量化部1018及第二逆量化部1020。
量化部1012對于在關(guān)閉快門1003進行攝像時所得到的暗電流噪聲成分，參照由噪聲分布分析部1010求出的量化的閾值來進行量化。例如，將暗電流噪聲成分的大小設(shè)為a時，參照由公式(3)求出的閾值THn通過以下說明的方法來進行量化，量化后得到數(shù)據(jù)α。
另外，暗電流噪聲成分a小于閾值TH0時，量化數(shù)據(jù)α為0。暗電流噪聲成分a為閾值TH(N-2)以上時，量化數(shù)據(jù)α為(N-1)。并且，暗電流噪聲成分a為閾值TH(n-1)以上且小于THn時，量化數(shù)據(jù)α為n。
通過該方法，由量化部1012所量化的數(shù)據(jù)α被儲存到存儲器1014。此時，存儲器1014所需的容量也可以比未使暗電流噪聲成分量化時少。例如，將N設(shè)為16時，量化數(shù)據(jù)α取得0～15的值。即，1像素原來由10位表示的暗電流噪聲成分在量化之后可由4位來表示。從而，若將暗電流噪聲成分儲存到存儲器1014時，相對于在沒有量化時，需要1000萬位的容量，在量化時400萬位即可。
低頻·高頻分離部1016，與在實際攝像時快門1003打開的狀態(tài)下所攝像的圖像信號從A/D變換部1005輸出的定時一致，從存儲器1014讀出量化后的暗電流噪聲成分，將其分離為低頻成分和高平成分。例如，低頻·高頻分離部1016將某一像素X的量化后的暗電流噪聲成分Qx根據(jù)以下公式分離為低頻成分Lx和高頻成分Hx。
Hx＝min2(Qx，Qx+1，Qx+2，…，Qx+15)…(5)Hx＝Qx-Lx…(6)在此，Qx+1～Qx+15表示與像素X的左橫相鄰而存在的15像素各自的量化后的暗電流噪聲成分的大小。另外，函數(shù)min2是在括號內(nèi)列舉的值中輸出第二號較小的值的函數(shù)。即，基于(5)公式、(6)公式的低頻·高頻分離方法，在分離對象的像素和與該像素的左橫相鄰而存在的15像素合計16像素具有的暗電流噪聲成分中，將第二號較小的值作為低頻成分，并將從分離對象的像素的暗電流噪聲成分減去低頻成分的值作為高頻成分。在此，未將低頻成分設(shè)為16像素的暗電流噪聲成分中的最小值是為了不將由缺陷像素輸出的低電平信號作為低頻成分。
第一逆量化部1018對于由低頻·高頻分離部1016分離后的高頻成分Hx，參照由噪聲分布分析部1010輸入的閾值THn和代表值Vn，通過以下公式進行逆量化。
IHx＝Hx×(Vn-THn)…(7)在此IHx是逆量化后的暗電流噪聲的高頻成分，該IHx被送到乘法部1026。
另外，第二逆量化部1020對于由低頻·高頻分離部1016所分離的低頻成分Lx，參照從噪聲分布分析部1010輸入的閾值THn和代表值Vn進行逆量化并且進行擴張。
ILx＝Lx×(Vn-THn)…(8)在此，ILx是逆量化后的暗電流噪聲的低頻成分。第二逆量化部1020將該ILx與從噪聲分布分析部1010輸入的下限A中的暗電流噪聲成分的值DA相加后的值送到加法部1028。
高頻提取部1022對于在關(guān)閉快門1003的狀態(tài)及打開快門1003的狀態(tài)下所攝像的圖像信號，從由設(shè)置在攝像元件1004的端部的遮光區(qū)域所輸出的圖像信號提取高頻成分，求出該高頻成分的平均值，向乘法系數(shù)設(shè)定部1024輸出。高頻成分與低頻·高頻分離部1016相同地利用公式(5)·公式(6)來計算。
乘法系數(shù)設(shè)定部1024根據(jù)在預(yù)先關(guān)閉快門1003的狀態(tài)下所攝像的暗電流噪聲成分取得由高頻提取部1022算出的遮光區(qū)域的高頻成分的平均值，并且進行儲存。另外，從高頻提取部1022得到在打開快門1003的狀態(tài)下所攝像的圖像信號中的遮光區(qū)域的高頻成分的平均值。在狀態(tài)下所攝像的圖像信號中的從遮光區(qū)域的像素輸出的圖像信號，是在進行圖像攝像時刻的該像素的暗電流噪聲成分。從而，求出與預(yù)先儲存的暗電流噪聲成分的遮光區(qū)域的高頻成分的平均值的比率，將該比率作為乘法系數(shù)與逆量化后的暗電流噪聲成分相乘，從而能預(yù)測所攝像的圖像信號中含有的暗電流噪聲的高頻成分。
乘法部1026，對由第一逆量化部所擴張的暗電流噪聲成分的高頻成分乘以從乘法系數(shù)設(shè)定部1024輸出的乘法系數(shù)，由此預(yù)測圖像信號中含有的暗電流噪聲成分的高頻成分。加法部1028，對該預(yù)測后的高頻成分加上從第二逆量化部輸出的值，由此生成暗電流噪聲成分。并且，通過減法部1030從實際的攝像狀態(tài)下所攝像的圖像信號減去加法部1028所生成的暗電流噪聲成分，由此從圖像信號去除暗電流噪聲。
基于涉及的構(gòu)成，說明圖7所示的數(shù)碼相機的動作。首先，在關(guān)閉快門1003的狀態(tài)下攝像元件1004進行圖像攝像。此時，沒有光入射到攝像元件1004，因此從攝像元件1004輸出的圖像信號為暗電流噪聲成分(A)。
該暗電流噪聲成分(A)由A/D變換部1005變換為數(shù)字信號后，被輸入到噪聲分布分析部1010。在噪聲分布分析部1010中，根據(jù)整個像素的暗電流噪聲成分求出其大小的分布，基于該分布算出量化的閾值THn和代表值Vn。
接著，在再次關(guān)閉快門1003的狀態(tài)下由攝像元件1004對暗電流噪聲成分(B)進行攝像。該暗電流噪聲成分(B)由A/D變換部1005變換為數(shù)字信號后，再次被輸入到量化部1012。量化部1012根據(jù)由噪聲分布分析部1010求出的閾值Vn來對暗電流噪聲成分(B)進行量化。在存儲器1014中儲存該量化后的暗電流噪聲成分(B)。
另外，此時所攝像的暗電流噪聲成分(B)也被輸入到高頻提取部1022。高頻提取部1022從攝像元件1004的遮光區(qū)域中含有的暗電流噪聲成分(B)提取高頻成分，求出其平均值。該平均值被送到乘法系數(shù)設(shè)定部1024，并且被儲存。
以上為止的動作是至實際進行被攝體攝像之前的階段為止的動作。至此的動作也可以在每次的攝像時進行，也可以在數(shù)碼相機的電源接通時進行。在每次攝像時進行的情況下，可以構(gòu)成為，設(shè)置未圖示的攝像時檢測部，在攝像時檢測出后向暗電流噪聲去除裝置1001指示進行到該階段為止的動作。暗電流噪聲容易受到攝像元件周邊的溫度環(huán)境的影響，因此在剛要攝像之前進行儲存的情況下能高精度地取得暗電流噪聲成分的值。在電源接通時進行的情況下，可以構(gòu)成為，設(shè)置未圖示的電源接通時檢測部，檢測出電源接通后向暗電流噪聲去除裝置1001指示進行到該階段為止的動作。
另外，在該實際進行被攝體攝像之前的階段為止的動作也可以在數(shù)碼相機的制造時進行。另外，也可以構(gòu)成為，在數(shù)碼相機上設(shè)置未圖示的定時器，按每恒定期間向暗電流噪聲去除裝置1001指示進行到該階段為止的動作。
接著說明實際進行被攝體攝像時的動作。再次在打開快門1003的狀態(tài)下由攝像元件1004對圖像(C)進行攝像。從攝像元件1004輸出的圖像信號(C)由A/D變換部1005變換為數(shù)字信號后，被送到減法部1030，并且也被送到高頻提取部1022。高頻提取部1022從攝像元件1004的遮光區(qū)域中含有的圖像信號(C)提取高頻成分，求出其平均值，將它送到乘法系數(shù)設(shè)定部1024。乘法系數(shù)設(shè)定部1024算出從高頻提取部送來的、在遮光區(qū)域中含有的圖像信號(C)的高頻成分的平均值和儲存的暗電流噪聲成分(B)的高頻成分的平均值之間的比率，將它送到乘法部1026作為乘法系數(shù)。
另一方面，低頻·高頻分離部1016，與圖像信號(C)從A/D變換部1005輸出的定時一致，讀出儲存到存儲器1014的量化后的暗電流噪聲成分(B)，將它分離為低頻成分(BL)和高頻成分(BH)。所分離的高頻成分(BH)由第一逆量化部1018逆量化后，由乘法部1026乘以由乘法系數(shù)設(shè)定部1024求出的乘法系數(shù)，來預(yù)測圖像信號中含有的暗電流噪聲成分的高頻成分，并被送到加法部1028。另外，所分離的低頻成分(BL)由第二逆量化部1020逆量化后，被送到加法部1028。
加法部1028，將逆量化后的暗電流噪聲的低頻成分(BL)和預(yù)測后的暗電流噪聲的高頻成分(BH)相加，而恢復(fù)暗電流噪聲(BD)。并且，該恢復(fù)后的暗電流噪聲成分(BD)被輸入到減法部1030，由減法部1030從圖像信號(C)減去恢復(fù)后的暗電流噪聲成分(BD)。由此，能從圖像信號(C)去除暗電流噪聲成分(BD)。并且，暗電流噪聲成分(BD)被去除后的圖像信號(CD)記錄到記錄介質(zhì)1006。
以上，根據(jù)本實施方式4，具有以下的作用效果。
(1)將從遮光區(qū)域所屬的像素輸出的圖像信號與預(yù)先所儲存的相同的像素的暗電流噪聲成分相比較，由此算出乘法系數(shù)，并與預(yù)先所儲存的暗電流噪聲成分相乘，而能高精度地預(yù)測圖像信號中含有的暗電流噪聲成分。能高精度地去除圖像信號中含有的暗電流噪聲成分。
(2)暗電流噪聲的高頻成分具有支配性，因此如本實施方式4所示，在算出乘法系數(shù)之際，圖像信號及預(yù)先所儲存的暗電流噪聲成分均分別提取多個像素的高頻成分，對高頻成分彼此進行比較來算出乘法系數(shù)，同時僅對暗電流噪聲的高頻成分進行預(yù)測，而能高精度地預(yù)測暗電流噪聲成分。
(3)預(yù)測暗電流噪聲成分之際，使一部分處理(在本實施方式4中用于將暗電流噪聲成分分離為低頻成分和高頻成分的處理)在逆量化并擴張之前進行，而能在數(shù)據(jù)量小的壓縮后的狀態(tài)下執(zhí)行處理，能減少預(yù)測所需的運算量。
以上根據(jù)實施方式4說明了本發(fā)明。實施方式是例示，本領(lǐng)域技術(shù)人員可理解可對這些各構(gòu)成要素或各處理工序的組合進行各種變形，并且這些變形也在本發(fā)明的范圍內(nèi)。
或者在上述的實施方式4中，例示出了數(shù)碼相機，但是并不限于此，只要是具備攝像元件的裝置，就能具備本發(fā)明的實施方式的暗電流噪聲去除裝置。
此外，上述實施方式4中，例示出了在高頻提取部1022中，從由遮光區(qū)域所輸出的圖像信號提取多個像素的高頻成分，求出該高頻成分的平均值的例子，但是并不限于此，也可以求出多個像素的高頻成分的中央值或均方根平均值。
另外，在上述實施方式4中，用高頻提取部1022求出從暗電流噪聲及圖像信號提取的多個像素的高頻成分的平均值，用乘法系數(shù)設(shè)定部1024求出這些平均值的比率，算出乘法系數(shù)，但是也可以對由高頻提取部1022提取的暗電流噪聲成分及圖像信號的高頻成分按每個像素求出各個比率，將這些比率的平均值或中央值或均方根平均值作為乘法系數(shù)。
(第三組)
(實施方式5)圖10是表示具備本發(fā)明的最佳實施方式5的噪聲去除裝置2001的數(shù)碼相機2100的構(gòu)成的圖。該構(gòu)成對于硬件而言可由任意的計算機的CPU、存儲器、其他LSI來實現(xiàn)，對于軟件而言可由具有載入存儲器中的編碼化功能的程序等來實現(xiàn)，在此描述由這些組合來實現(xiàn)的功能塊。從而，本領(lǐng)域技術(shù)人員應(yīng)該理解這些功能塊或僅由硬件、或僅由軟件、或者由這些組合以各種形式來實現(xiàn)。
數(shù)碼相機2100除了暗電流噪聲去除裝置2001以外，還具備攝像元件2002、模擬前端處理器(AFEAnalog Front End)2003、圖像壓縮裝置2004、記錄介質(zhì)2005。該數(shù)碼相機2100將由攝像元件2002入射的光變換為電信號，由AFE2003從攝像元件2002的輸出信號取出圖像信號并進行放大之后，變換為數(shù)字信號。其中，由AFE2003取出的圖像信號中含有各種噪聲成分，由后述的噪聲去除裝置2001去除這些噪聲成分。并且，由圖像壓縮裝置2004對噪聲去除后的圖像信號進行壓縮，記錄到記錄介質(zhì)2005。
噪聲去除裝置2001具備固定模式噪聲去除部2010、尾斑噪聲去除部2011、固定缺陷噪聲去除部2012、隨機噪聲去除部2013。圖11是表示固定模式噪聲去除部2010的構(gòu)成的圖。固定模式噪聲去除部2010具備存儲器2020和減法部2021。在存儲器2020中儲存預(yù)先由攝像元件2002在沒有光入射的狀態(tài)下攝像后的圖像信號?；蛘咭部梢詫⒃搱D像信號壓縮而儲存到存儲器2020，也可以儲存與該圖像信號相關(guān)聯(lián)的信息。在沒有光入射的狀態(tài)下所攝像的圖像信號相當于由暗電流引起的固定模式噪聲。
實際的攝像狀態(tài)即在光入射的狀態(tài)下由攝像元件2002攝像的圖像信號經(jīng)由AFE2003輸入到固定模式噪聲去除部2010，則與該定時一致，從存儲器2020讀出構(gòu)成圖像信號的各像素的固定模式噪聲，將其送到減法部2021。當儲存在存儲器2020中的為被壓縮的圖像信號或者與圖像信息相關(guān)聯(lián)的信息時，也可以與上述定時一致，從存儲器2020讀出按每個像素壓縮后的圖像信號或者與圖像信號相關(guān)聯(lián)的信息，從這些信號或信息恢復(fù)固定模式噪聲，并且將恢復(fù)后的固定模式噪聲送到減法部2021也可。并且，由減法部2021從在光入射的狀態(tài)下所攝像的圖像信號減去固定模式噪聲，從而去除固定模式噪聲。
該固定模式噪聲去除部2010也可以采用在上述的實施方式1～4中說明的暗電流噪聲去除裝置1、7、8、1001那樣的構(gòu)成。本實施方式中的固定模式相當于實施方式1～4的暗電流噪聲。
圖12是表示尾斑噪聲去除部2011的構(gòu)成的圖。尾斑噪聲去除部2011具備減法部2030、加法部2031、線路存儲器2032、系數(shù)產(chǎn)生部2033和乘法部2034。減法部2030從以1行單位連續(xù)輸入的圖像信號S1(n)減去第一尾斑噪聲成分D1(n)，并且作為不包含尾斑成分的圖像信號S2(n)輸出。加法部2031將減法部2030所輸出的圖像信號S2(n)和從線路存儲器2032讀出的累加值數(shù)據(jù)T(n)相加，該相加數(shù)據(jù)供給到線路存儲器2032。線路存儲器2032在每次1畫面量的圖像信號S1(n)的輸入完成時復(fù)位，并且逐行儲存從加法部2031輸入的相加數(shù)據(jù)。由此通過加法部2031將1畫面的圖像信號S2(n)以各列進行累加，并且在線路存儲器2032中儲存累加值數(shù)據(jù)T(n)。
系數(shù)產(chǎn)生部2033根據(jù)表示攝像元件2002的曝光狀態(tài)的曝光數(shù)據(jù)L(m)，產(chǎn)生與攝像元件2002的各受光位(bit比特)中的曝光期間對應(yīng)的系數(shù)k，供給到乘法部2034。乘法部2034對從線路存儲器2032讀出的累加數(shù)據(jù)T(n)乘以系數(shù)k并且生成尾斑噪聲成分D1(n)。
根據(jù)這樣的尾斑噪聲去除部2011，依次累加每次攝像元件的各受光比特所蓄積的信息電荷沿垂直方向逐行被傳送時從各受光比特混入的尾斑電荷的量。并且由該累加值表示在信息電荷被傳送的過程中混入的尾斑噪聲成分，因此從圖像信號S1(n)減去該值，而去除尾斑噪聲。
固定缺陷噪聲去除部2012對每個像素是否為固定缺陷進行判斷，判斷為固定缺陷時，從周邊的像素算出內(nèi)插值并且置換為該值。圖13是表示固定缺陷噪聲去除部2012的構(gòu)成的圖。固定缺陷噪聲去除部2012具備線路存儲器2040、固定缺陷判定部2041、內(nèi)插值算出部2042、內(nèi)插值置換部2043。
線路存儲器2040按每個行儲存以1行單位連續(xù)輸入的圖像信號。線路存儲器2040能儲存7行量的圖像信號。7行量的圖像信號被儲存之處，新輸入圖像信號時，將在最久的時間內(nèi)儲存的行的圖像信號由新輸入的圖像信號重寫入，而更新線路存儲器2040的內(nèi)容。
固定缺陷判定部2041對每個像素是否為固定缺陷進行判斷。例如，對于圖14所示的像素F7是否為固定缺陷進行判定時，從線路存儲器2040讀出周邊像素D5、D7、D9、F5、F9、H5、H7、H9的圖像信號。并且求出這些周邊像素的圖像信號的最大值和最小值，并且與像素F7的圖像信號的大小進行比較。其結(jié)果，當像素F7的圖像信號的大小比周邊像素的圖像信號的最大值異常地大或比最小值異常地小時，判斷像素F7為固定缺陷。其以外的情況下，判斷為沒有固定缺陷。固定缺陷判定部2041對構(gòu)成像素的全部的像素進行該判斷。
內(nèi)插值計算部2042對于由固定缺陷判定部2041判斷是否為固定缺陷的像素，根據(jù)周邊像素的值算出內(nèi)插值。內(nèi)插值置換部2043在固定缺陷判定部2041的判斷結(jié)果為固定缺陷時，將其像素的圖像信號置換為由內(nèi)插值計算部2042算出的內(nèi)插值并且輸出到外部，其以外的情況下，通過將其像素的圖像信號原封不動地輸出，而去除固定缺陷噪聲。
隨機噪聲去除部2013與圖13所示的固定缺陷噪聲去除部2012的構(gòu)成大致相同，但是在判斷隨機噪聲的有無之際，將周邊像素的圖像信號的最大值設(shè)為上限閾值，將周邊像素的圖像信號的最小值設(shè)為下限閾值，判斷對象的像素的圖像信號的大小從由該上限閾值和下限閾值表示的范圍偏離時，判斷為存在隨機噪聲。并且，在判斷為存在隨機噪聲時，置換為從周邊像素的像素值算出的內(nèi)插值，在判斷為不存在隨機噪聲時，將其像素的圖像信號原封不動地輸出。
基于涉及的構(gòu)成，說明圖10的數(shù)碼相機2100的動作。首先數(shù)碼相機2100在沒有光入射的狀態(tài)下由攝像元件2002對圖像進行攝像。此時所攝像的圖像表示暗電流引起的固定模式噪聲成分。該圖像經(jīng)由AFE2003被送到噪聲去除裝置2001的固定模式噪聲去除部2010，并且被儲存。
至此的動作是至實際進行被攝體攝像之前的階段為止的動作。上述的動作也可以在每次的攝像時進行，也可以在數(shù)碼相機的電源接通時進行。在每次攝像時進行的情況下，可以構(gòu)成為，設(shè)置未圖示的攝像時檢測部，攝像時檢測出后向固定模式噪聲去除部2010指示進行到該階段為止的動作。暗電流噪聲容易受到攝像元件周邊的溫度環(huán)境的影響，因此在剛要攝像之前進行儲存的情況下能高精度地取得暗電流噪聲成分的值。在電源接通時進行的情況下，可以構(gòu)成為，設(shè)置未圖示的電源接通時檢測部，檢測出電源接通后向固定模式噪聲去除部2010指示進行到該階段為止的動作。
另外，該實際進行被攝體攝像之前的階段為止的動作也可以在數(shù)碼相機的制造時進行。另外，具有構(gòu)成為，在數(shù)碼相機上設(shè)置未圖示的定時器，按每恒定期間向固定模式噪聲去除部2010指示進行到該階段為止的動作。
接著說明實際進行被攝體攝像時的動作。這次數(shù)碼相機2100在光入射的狀態(tài)下由攝像元件2002進行圖像攝像，該圖像信號經(jīng)由AFE2003被送到噪聲去除裝置2001。在噪聲去除裝置2001中，對該圖像信號首先由固定模式噪聲去除部2010去除固定模式噪聲，接著由尾斑噪聲去除部2011去除尾斑噪聲。接著，由固定缺陷噪聲去除部2012去除固定缺陷噪聲，進一步由隨機噪聲去除部2013去除隨機噪聲。通過該順序去除多個噪聲的圖像信號由圖像壓縮裝置2004進行圖像壓縮，并且記錄到記錄介質(zhì)2005。
本實施方式5中，其特征在于，由噪聲去除裝置2001按照固定模式噪聲、尾斑噪聲、固定缺陷噪聲、隨機噪聲的順序去除多個噪聲，能通過該順序根據(jù)以下的理由高精度地去除各個噪聲。例如，對尾斑噪聲而言，如上述所述需要對入射光量進行推定，根據(jù)所攝像的圖像信號來進行該推定，因此若在該圖像信號中噪聲多，則入射光量的推定精度變差，作為結(jié)果應(yīng)去除的尾斑的計算精度變差。尤其在具有溫度依賴性并且與曝光時間成比例地增大的固定模式噪聲包含在推定所使用的圖像信號中的情況下，很難高精度地推定尾斑噪聲。于是，固定模式噪聲優(yōu)選在去除尾斑噪聲之前從圖像信號中消除。
接著，對固定缺陷噪聲而言，為了將用于缺陷像素的判定和置換的插補像素根據(jù)周邊像素進行，而希望針對去除某一程度噪聲的圖像進行。另外，存在尾斑噪聲通過入射光量達到使信號電平飽和的電平的情況，固定缺陷噪聲相反被埋入。因此，尾斑噪聲去除希望在固定缺陷噪聲去除以前進行。
進一步，隨機噪聲與其他噪聲相比較，作為信號電平非常小，對尾斑噪聲去除或固定缺陷噪聲去除帶來的影響較少。但是，也有圖像的粗糙顯著的情況。該隨機噪聲去除使用根據(jù)周邊像素的特征推定插補的方法，因此優(yōu)選配置在去除其他噪聲成分，作為接近真實的像素值的像素的噪聲去除的最終段上。此外，如上所述，隨機噪聲與其他噪聲相比非常小，因此也可以從噪聲去除裝置2001省略隨機噪聲去除部。
如上所述，根據(jù)本實施方式5，作為去除噪聲的順序，最初去除固定模式噪聲，接著去除尾斑，接著去除固定缺陷噪聲，從而能高精度地去除各個噪聲。另外，在去除隨機噪聲時，通過去除其他噪聲成分之后進行消除，而能高精度地消除含有隨機噪聲的各個噪聲。
(實施方式6)圖15是表示具備本發(fā)明的最佳實施方式6的噪聲去除裝置2006的數(shù)碼相機2110的構(gòu)成的圖。該噪聲去除裝置2006相對圖10的噪聲去除裝置2001構(gòu)成為，在隨機噪聲去除部2013的后段附加了偏置去除部2014。對于與實施方式5相同的構(gòu)成賦予相同的符號，省略說明。
從攝像元件2002輸出的圖像信號即使是黑電平的圖像信號也不會完全變?yōu)榱悖泻愣ǖ钠贸煞?。偏置去除?014從該圖像信號去除該偏置成分。
圖16是表示偏置去除部2014的構(gòu)成的圖。偏置去除部2014具備偏置計算部2050、存儲器2051及減法部2052。偏置計算部2050從攝像元件2002輸出的圖像信號中提取設(shè)置在攝像元件2002的端部的、沒有光入射的區(qū)域(遮光區(qū)域)所屬的一部分的像素的圖像信號。為了使從該遮光區(qū)域輸出的圖像信號的大小成為攝像元件2002的黑電平的大小，偏置計算部2050將該圖像信號的大小的平均值設(shè)為偏置成分，并且將該值儲存到存儲器2051。因而，通過減法部2052從圖像信號減去儲存到存儲器2051的偏置成分，從而去除偏置成分。
基于涉及的構(gòu)成，說明圖15所示的數(shù)碼相機2110的動作。首先與圖10所示的數(shù)碼相機2100相同，數(shù)碼相機2110在沒有光入射的狀態(tài)下由攝像元件2002進行圖像攝像，該圖像經(jīng)由AFE2003被送到噪聲去除裝置2006的固定模式噪聲去除部2010，作為固定模式噪聲被儲存。
至此的動作是至實際進行被攝體攝像前的階段為止的動作。接著，說明實際進行被攝體攝像時的動作。這次數(shù)碼相機2110在光入射的狀態(tài)下由攝像元件2002進行圖像攝像，該圖像信號經(jīng)由AFE2003被送到噪聲去除裝置2006。在噪聲去除裝置2006中，對于該圖像信號首先由固定模式噪聲去除部2010去除固定模式噪聲，接著由尾斑噪聲去除部2011去除尾斑噪聲。接著，由固定缺陷噪聲去除部2012去除固定缺陷噪聲，進一步由隨機噪聲去除部2013去除隨機噪聲。并且，由偏置去除部2014去除偏置成分。由該順序去除多個噪聲后的圖像信號由圖像壓縮裝置2004進行圖像壓縮，并且記錄到記錄介質(zhì)2005。
本實施方式6中，其特征在于，由噪聲去除裝置2006去除固定模式噪聲之后去除偏置成分，根據(jù)以下的理由可高精度地去除偏置成分。即，計算偏置成分之際，使用攝像元件2002的遮光區(qū)域所屬的像素的圖像信號，但是在該圖像信號中含有較多暗電流所引起的固定模式噪聲。如后所述，固定模式噪聲具有溫度依賴性，并且與曝光時間成比例地增大，因此若在含有該固定模式噪聲的狀態(tài)下直接算出偏置成分，則其計算精度變差。在此，固定模式噪聲的去除希望在偏置成分的去除之前進行。由此，偏置成分的去除的精度變高，能改善畫質(zhì)。
此外，本實施方式6中，示出了將偏置去除部2014配置在隨機噪聲去除部2013的后段的例子，但是并不限于此，若偏置去除部2014配置在比固定模式去除部2010更靠向后段，則也含在本發(fā)明的范疇中。
以上，根據(jù)實施方式5及6說明了本發(fā)明。本領(lǐng)域技術(shù)人員應(yīng)理解可對這些各構(gòu)成要素或各處理工序的組合進行各種變形、并且這些變形也在本發(fā)明的范圍內(nèi)。
另外，上述的實施方式中，示出了數(shù)碼相機的例子，但是并不限于此，只要是具備攝像元件的裝置，就能具備本發(fā)明的實施方式的噪聲去除裝置。
產(chǎn)業(yè)上的可利用性本發(fā)明可利用于去除攝像元件的噪聲的裝置中。
權(quán)利要求
1.一種噪聲去除裝置，具備噪聲分布分析部，對于在光遮斷的狀態(tài)下由攝像元件所攝像的第一圖像信號，求出構(gòu)成所述攝像元件的一部分或全部的像素的所述第一圖像信號的大小的分布，并根據(jù)該分布特定含有所述第一圖像信號可取大小的峰值的范圍，且在該范圍內(nèi)設(shè)定閾值；量化部，對于在光遮斷的狀態(tài)下由所述攝像元件所攝像的第二圖像信號，根據(jù)所述閾值進行量化；逆量化部，對所述量化后的第二圖像信號進行逆量化；減法部，從在光入射的狀態(tài)下由攝像元件所攝像的第三圖像信號減去所述逆量化后的第二圖像信號。
2.根據(jù)權(quán)利要求1所述的噪聲去除裝置，其中，所述第一圖像信號和所述第二圖像信號是在不同的時刻所攝像的信號。
3.根據(jù)權(quán)利要求1所述的噪聲去除裝置，其中，所述第一圖像信號和所述第二圖像信號是相同的圖像信號，所述噪聲分布分析部，將所述第一圖像信號分割為多個區(qū)域，按該分割后的每個區(qū)域求出所述第一圖像信號的大小的分布，并根據(jù)該分布特定含有所述第一圖像信號可取大小的峰值的范圍，且在該范圍內(nèi)設(shè)定閾值。
4.根據(jù)權(quán)利要求1～3任一項所述的噪聲去除裝置，其中，還具備頻帶分離部，將所述第一圖像信號及所述第二圖像信號分割為低頻成分和高頻成分；針對所述高頻成分，具備所述噪聲分布分析部、所述量化部及所述逆量化部；并且在所述低頻成分和由所述逆量化部所逆量化的所述高頻成分相加的基礎(chǔ)上，將其輸入到所述減法部。
5.根據(jù)權(quán)利要求4所述的噪聲去除裝置，其中，還具備壓縮部，將所述低頻成分以與所述高頻成分獨立的方法進行壓縮；和擴張部，將所述壓縮后的低頻成分擴張；在所述擴張后的低頻成分和由所述逆量化部所逆量化的所述高頻成分相加的基礎(chǔ)上，將其輸入到所述減法部。
6.一種噪聲去除方法，其中，包括對于在光遮斷的狀態(tài)下由攝像元件所攝像的圖像信號，求出暗電流噪聲成分的大小的分布的步驟；特定含有所述暗電流噪聲成分的大小的峰值的范圍的步驟；在所述范圍內(nèi)設(shè)定用于量化的閾值的步驟；基于所述閾值對所述暗電流噪聲成分進行量化的步驟；對所述量子化后的暗電流噪聲成分進行逆量化的步驟；和從實際攝像被攝體時的圖像信號，減去所述逆量化后的暗電流噪聲成分的步驟。
7.一種噪聲去除裝置，其中，具備壓縮部，對在光遮斷的狀態(tài)下由攝像元件所得到的第一圖像信號進行壓縮；擴張部，將所述壓縮后的第一圖像信號擴張；噪聲成分預(yù)測部，基于由所述壓縮部壓縮前的第一圖像信號的狀態(tài)和在光入射的狀態(tài)下由攝像元件所得到的第二圖像信號的狀態(tài)之間的比較，根據(jù)所述擴張后的第一圖像信號預(yù)測所述第二圖像信號所含有的噪聲成分；和減法部，從所述第二圖像信號減去所預(yù)測的噪聲成分。
8.根據(jù)權(quán)利要求7所述的噪聲去除裝置，其中，所述第一圖像信號的狀態(tài)是所述被壓縮前的第一圖像信號中含有的從遮光區(qū)域輸出的信號的大??；所述第二圖像信號的狀態(tài)是該第二圖像信號中含有的從遮光區(qū)域輸出的信號的大小。
9.根據(jù)權(quán)利要求8所述的噪聲去除裝置，其中，所述噪聲成分預(yù)測部，通過求出所述第二圖像信號所含有的從遮光區(qū)域輸出的信號的大小和所述被壓縮前的第一圖像信號所含有的從遮光區(qū)域輸出的信號的大小之間的比率，并且對所述擴張后的第一圖像信號乘以所述比率，來預(yù)測所述第二圖像信號所含有的噪聲成分。
10.根據(jù)權(quán)利要求7～9中任一項所述的噪聲去除裝置，其中，還具備前處理部，對所述壓縮后的第一圖像信號進行用于預(yù)測所述第二圖像信號所含有的噪聲成分的前處理，所述擴張部將該前處理后的第一圖像信號進行擴張。
11.根據(jù)權(quán)利要求10所述的噪聲去除裝置，其中，所述前處理部將所述壓縮后的第一圖像信號分離為低頻成分和高頻成分，所述擴張部分別將所述低頻成分和高頻成分進行擴張，所述噪聲成分預(yù)測部，在根據(jù)所述擴張后的高頻成分預(yù)測所述第二圖像信號所含有的噪聲成分的高頻成分的基礎(chǔ)上，與所述擴張后的低頻成分相加，來預(yù)測所述第二圖像信號所含有的噪聲成分。
12.根據(jù)權(quán)利要求11所述的噪聲去除裝置，其中，所述第一圖像信號的狀態(tài)是所述被壓縮前的第一圖像信號所含有的從遮光區(qū)域輸出的信號的高頻成分的大?。凰龅诙D像信號的狀態(tài)是該第二圖像信號所含有的從遮光區(qū)域輸出的信號的高頻成分的大小，所述噪聲成分預(yù)測部，求出所述第二圖像信號所含有的從遮光區(qū)域輸出的信號的高頻成分的大小和所述被壓縮前的第一圖像信號所含有的從遮光區(qū)域輸出的信號的高頻成分的大小之間的比率，并且對所述擴張后的第一圖像信號的高頻成分乘以所述比率，由此預(yù)測所述第二圖像信號所含有的噪聲成分的高頻成分。
13.根據(jù)權(quán)利要求7～12中任一項所述的噪聲去除裝置，其中，所述壓縮部具備噪聲分布分析部，針對所述第一圖像信號，求出一部分或全部的像素具有的所述第一圖像信號的大小的分布，根據(jù)該分布特定含有所述第一圖像信號可取大小的峰值的范圍，在該范圍內(nèi)設(shè)定量化的閾值；和量化部，對所述第一圖像信號基于所述閾值進行量化。
14.一種噪聲去除裝置，其中，具備固定模式噪聲去除部，從攝像元件所輸出的圖像信號去除攝像元件的暗電流所引起的固定模式噪聲；和尾斑噪聲去除部，從去除所述固定模式噪聲的圖像信號去除入射光所引起的尾斑噪聲。
15.根據(jù)權(quán)利要求14所述的噪聲去除裝置，其中，作為所述固定模式噪聲去除部，利用權(quán)利要求1～5以及權(quán)利要求7～13的任一項所述的噪聲去除裝置。
16.根據(jù)權(quán)利要求14或15所述的噪聲去除裝置，其中，所述尾斑噪聲去除部，通過從所述固定模式噪聲去除后的圖像信號減去累加值來去除尾斑噪聲，該累加值是依次累加每次所述攝像元件的各受光比特所蓄積的信息電荷沿垂直方向逐行被傳送時從各受光比特混入的尾斑電荷的量而得到的值。
17.根據(jù)權(quán)利要求14～16中任一項所述的噪聲去除裝置，其中，還具備固定缺陷噪聲去除部，從所述尾斑噪聲去除后的圖像信號，去除攝像元件制造時的缺陷所引起的固定缺陷噪聲。
18.根據(jù)權(quán)利要求17所述的噪聲去除裝置，其中，所述固定缺陷噪聲去除部，對所述攝像元件的每個像素是否是固定缺陷進行判斷，在判斷為固定缺陷時，從周邊的像素算出內(nèi)插值并且置換為該值。
19.根據(jù)權(quán)利要求17或18所述的噪聲去除裝置，其中，還具備隨機噪聲去除部，從所述固定缺陷噪聲去除后的圖像信號，去除攝像元件的熱變動所引起的隨機噪聲。
20.根據(jù)權(quán)利要求14～19中任一項所述的噪聲去除裝置，其中，還具備偏置去除部，去除所述圖像信號所含有的偏置成分，輸入到所述偏置去除部的圖像信號是由所述固定模式噪聲去除部去除固定模式噪聲后的信號。
21.根據(jù)權(quán)利要求20所述的噪聲去除裝置，其中，所述偏置去除部具備偏置計算部，提取輸入到該偏置去除部的圖像信號中的、所述攝像元件的遮光區(qū)域所屬的像素的圖像信號，算出該提取后的圖像信號的大小的平均值作為偏置成分；和減法部，從輸入到該偏置去除部的圖像信號減去所述偏置成分。
全文摘要
提供一種具有高頻成分多的特性且將暗電流噪聲成分高壓縮地儲存的噪聲去除裝置，噪聲分布分析部(10)根據(jù)至少一部分的像素的暗電流噪聲成分求出其大小的分布，基于該分布算出量化的閾值和代表值。量化部(12)基于所算出的閾值對暗電流噪聲成分進行量化，在存儲器(14)中儲存該量化后的暗電流噪聲成分。逆量化部(16)對于儲存到存儲器(14)的量化后的暗電流噪聲成分，參照由噪聲分布分析部(10)所算出的代表值，對暗電流噪聲成分進行逆量化。該逆量化后的暗電流噪聲成分被輸入到減法部(18)，由減法部(18)從圖像信號減去逆量化后的暗電流噪聲成分。
文檔編號H04N5/217GK101049013SQ20058003607
公開日2007年10月3日 申請日期2005年10月18日 優(yōu)先權(quán)日2004年10月22日
發(fā)明者鈴木和博, 加藤桂史 申請人:三洋電機株式會社