專利名稱：圖像處理設(shè)備及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于使用幀間編碼重》文MPEG才各式的運(yùn)動(dòng) 圖像數(shù)據(jù)的技術(shù)。
背景技術(shù)：
近來(lái)，已經(jīng)出現(xiàn)了對(duì)于將運(yùn)動(dòng)圖像信息作為數(shù)字?jǐn)?shù)據(jù)進(jìn)行 處理并且為了在累積和傳輸中使用而以高壓縮率對(duì)其進(jìn)行高質(zhì) 量編碼的技術(shù)的需求。對(duì)于圖像信息壓縮，已經(jīng)提出了MPEG 等的用于使用運(yùn)動(dòng)圖像信息特有的冗余性通過正交變換(例如， 離散余弦變換)、運(yùn)動(dòng)預(yù)測(cè)和運(yùn)動(dòng)補(bǔ)償對(duì)圖像信息進(jìn)行壓縮編碼 的方法，并且這些方法日益普及。制造商已開發(fā)并商品化了能夠使用這些編碼方法記錄圖 像的攝像設(shè)備(例如，數(shù)字照相機(jī)和數(shù)字?jǐn)z像機(jī))和D V D記錄器 等。用戶可以容易地使用這些設(shè)備、個(gè)人計(jì)算機(jī)和DVD播放器 等來(lái)觀看圖像。目前，H.264(MPEG4-Part10 AVC)是旨在更高的壓縮率和 更高的圖^f象質(zhì)量的編碼方法。已知與MPEG-2和MPEG-4等傳統(tǒng) 編碼方法相比，H.264需要更多用于編碼和解碼的計(jì)算量，但可 以實(shí)現(xiàn)更高的編碼效率(參見ISO/IEC 14496-10, "Advanced Video Coding(高級(jí)視頻編碼)，，)。圖l是示出利用H.264壓縮圖像數(shù)據(jù)的圖像處理設(shè)備的結(jié) 構(gòu)的框圖。在圖l中，將輸入圖像數(shù)據(jù)劃分成發(fā)送至減法器1101 的宏塊(macroblock)。減法器1101計(jì)算圖 <象數(shù)據(jù)和預(yù)測(cè)值之間的 差，并將該差輸出到整數(shù)DCT(離散余弦變換)變換單元1102。 整數(shù)DCT變換單元1102對(duì)輸入數(shù)據(jù)執(zhí)行整數(shù)DCT變換，并且將4變換后的數(shù)據(jù)輸出到量化單元1103。量化單元1103量化輸入數(shù)據(jù)。將量化后的數(shù)據(jù)作為差分圖像數(shù)據(jù)發(fā)送到熵編碼器1115 ， 同時(shí)通過逆量化單元1104對(duì)量化后的數(shù)據(jù)進(jìn)行逆量化，并使其 經(jīng)過逆整數(shù)DCT變換單元1105的逆整數(shù)DCT變換。加法器1106 將預(yù)測(cè)值與逆變換后的數(shù)據(jù)相加，從而重建圖像。將重建后的圖像發(fā)送到幀內(nèi)(intra或intra-frame)預(yù)測(cè)用的 幀存儲(chǔ)器1107，同時(shí)，重建后的圖像經(jīng)過去塊濾波器(deblocking filter)l 109的去塊濾波處理，然后將其發(fā)送到幀間(inter或 inter-frame)預(yù)測(cè)用的幀存儲(chǔ)器1110。幀內(nèi)預(yù)測(cè)幀存儲(chǔ)器1107中 的圖像用于幀內(nèi)預(yù)測(cè)單元1108的幀內(nèi)預(yù)測(cè)。幀內(nèi)預(yù)測(cè)使用與編 碼后的塊相鄰的像素的值作為預(yù)測(cè)值。如后面所述，由多個(gè)圖片構(gòu)成幀間預(yù)測(cè)幀存儲(chǔ)器1110中的 圖像。將多個(gè)圖片分類成兩個(gè)列表"列表0"和"列表1"。分類到 這兩個(gè)列表中的多個(gè)圖片用于幀間預(yù)測(cè)單元llll的幀間預(yù)測(cè)。 在幀間預(yù)測(cè)之后，存儲(chǔ)器控制器1113更新內(nèi)部圖像。在幀間預(yù) 測(cè)單元llll的幀間預(yù)測(cè)中，使用基于運(yùn)動(dòng)3企測(cè)單元1112在不同 幀的圖像數(shù)據(jù)之間進(jìn)行運(yùn)動(dòng)檢測(cè)的結(jié)果的最佳運(yùn)動(dòng)矢量來(lái)確定 預(yù)測(cè)圖像。作為幀內(nèi)預(yù)觀'J和幀間預(yù)測(cè)的結(jié)果，選擇器1114選擇最佳預(yù) 測(cè)結(jié)果。將運(yùn)動(dòng)矢量發(fā)送至熵編碼器1115，并且與差分圖像數(shù) 據(jù)一起^皮編碼，/人而形成輸出比特流。將參考圖2 ~圖5詳細(xì)說明H.264幀間預(yù)測(cè)。H.264幀間預(yù)測(cè)可以使用多個(gè)預(yù)測(cè)用圖片。因此，準(zhǔn)備兩 個(gè)列表("列表O"和"列表l")以指定參考圖片?？梢韵蚋髁斜矸峙?最多5個(gè)參考圖片。P-圖片僅使用"列表0"以主要進(jìn)行前向預(yù)測(cè)(forward prediction)。
B-圖片使用"列表O"和"列表l"進(jìn)行雙向預(yù)測(cè)(或僅進(jìn)4亍前向予貞觀J或后向予貞觀'J (backward prediction))。也^t是i兌，"歹'J 表O"保持主要用于前向預(yù)測(cè)的圖片，并且"列表l"保持主要用于 后向預(yù)測(cè)的圖片。圖2示出編碼中所使用的參考列表的例子。該例子假定I-圖片、P-圖片和B-圖片的比是標(biāo)準(zhǔn)比，即，以15幀的間隔排列 I-圖片，以3幀的間隔排列P-圖片，并且以2幀的間隔排列I-圖片 和P-圖片之間的B-圖片。在圖2中，通過按照顯示順序排列圖片 獲得圖像數(shù)據(jù)1201。圖像數(shù)據(jù)1201中的各正方形描述圖片的類 型和表示顯示順序的編號(hào)。例如，圖片115是顯示順序?yàn)?5的1-圖片，并且僅用于幀內(nèi)預(yù)測(cè)。圖片P18是顯示順序?yàn)?8的P-圖片， 并且僅用于前向預(yù)測(cè)。圖片B16是顯示順序?yàn)?6的B-圖片，并 且用于雙向預(yù)測(cè)。編碼順序不同于顯示順序，并且按照預(yù)測(cè)順序?qū)?shù)據(jù)進(jìn)行編碼。在圖2中，按照"I15、 P18、 B16、 B17、 P21 、 B19、 B20.......，，的順序?qū)?shù)據(jù)進(jìn)行編碼。在圖2中，參考列表(列表0)1202臨時(shí)保持編碼/解碼后的圖 片。例如，使用圖片P21(顯示順序?yàn)?1的P-圖片)的幀間預(yù)測(cè)參 考在參考列表(列表0)1202中已編碼和解碼的圖片。在圖2所示 的例子中，參考列表1202保持圖片P06、 P09、 P12、 115和P18。在幀間預(yù)測(cè)中，根據(jù)參考列表(列表0)1202中的參考圖片獲 得各宏塊的具有最佳預(yù)測(cè)值的運(yùn)動(dòng)矢量，并且對(duì)該運(yùn)動(dòng)矢量進(jìn) 行編碼。對(duì)參考列表(列表0)1202中的圖片順序賦予參考圖片編 號(hào)，并且對(duì)其進(jìn)行區(qū)別(分別區(qū)別于圖2所示的編號(hào))。在結(jié)束對(duì)圖片P21的編碼之后，重新解碼圖片P21,并將其 添加至參考列表(列表0)1202。從參考列表(列表0)1202刪除最早 的參考圖片(在該情況下為圖片P06)。按照?qǐng)D片B19、 B20和P24 的順序進(jìn)行編碼。圖3示出此時(shí)的參考列表(列表0)1202的狀態(tài)。圖4示出各圖片的參考列表的變化。在圖4中，從上端開始順序?qū)D片進(jìn)行編碼。圖4示出編碼 期間的圖片和圖片的參考列表(列表0和列表l)的內(nèi)容。當(dāng)如圖4 所示對(duì)P-圖片(或I-圖片)進(jìn)行編碼時(shí)，更新參考列表(列表0和列 表1)以從參考列表(列表0和列表1)刪除最早的圖片。在該例子 中，參考列表(列表l)僅保持一個(gè)圖片。這是因?yàn)槿绻笙蝾A(yù) 測(cè)參考的圖片的數(shù)量增大，則直到解碼之前的緩沖量也增大。 換句話說，不參考在編碼期間過分遠(yuǎn)離圖片的后向圖片。在該例子中，參考I-圖片和P-圖片，并且將全部I-圖片和P-圖片順序添加至參考列表(列表0和列表1)。因?yàn)檎J(rèn)為該圖片排 列是最普及的圖片排列，因而在后向預(yù)測(cè)用參考列表(列表l) 中僅使用I-圖片。然而，參考列表中的圖片排列僅是最普遍的 圖片排列的例子，并且H.264本身在參考列表的結(jié)構(gòu)方面具有高 自由度。例如，不必將全部I-圖片和P-圖片都添加至參考列表，并且還可以將B-圖片添加至參考列表。另外，H.264定義在接收到 明確指令之前 一 直保持在參考列表中的圖片的長(zhǎng)期參考列表。圖5示出在將B-圖片添加至參考列表時(shí)的參考列表的變化。當(dāng)將 B-圖片添加至參考列表時(shí)，每當(dāng)對(duì)全部B-圖片進(jìn)行編碼時(shí)可以 將編碼后的圖片添加至參考列表。將說明用于記錄以這種方式壓縮的運(yùn)動(dòng)圖像數(shù)據(jù)的文件 格式。如上所述，4吏用MP4(MPEG-4)影片才各式作為用于記錄利用 數(shù)字?jǐn)z像機(jī)或數(shù)字靜止照相機(jī)等所獲得的MPEG(MPEG-2或 MPEG-4格式)圖像數(shù)據(jù)的通用格式。MP4文件格式確保與其它 數(shù)字裝置的兼容性，以例如重放作為MP4文件所記錄的圖像數(shù)據(jù)。如圖6的a所示，基本上由保持編碼后的流圖像數(shù)據(jù)的mdat 存儲(chǔ)箱和保持流圖像數(shù)據(jù)相關(guān)信息的moov存儲(chǔ)箱構(gòu)成MP4文 件。如圖6的b所示，mdat存儲(chǔ)箱由多個(gè)組塊(chunk cN)構(gòu)成。 如圖6的d所示，每一組塊由多個(gè)樣本(sample sM)構(gòu)成。例如，如圖6的e所示，樣本sl、樣本s2、樣本s3、樣本s4.......等各樣本對(duì)應(yīng)于編碼后的MPEG圖l象數(shù)據(jù)Io、B.2、B.。P3.......。I。 、 I。
12.......、 In表示幀內(nèi)編石馬(intra國(guó)encoded或intra-frame-encoded)的幀圖 <象數(shù)據(jù)。B0、B2........ Bn表示通過雙向參考參考圖像數(shù)據(jù)所編碼(幀間編碼)的幀圖像數(shù)據(jù)。P。、 Pp P2........ Pn表示通過單向(前向)參考參考圖像數(shù)據(jù)所編碼(幀間編碼)的幀圖像數(shù)據(jù)。這些幀圖像數(shù)據(jù)是可變長(zhǎng)度編 碼數(shù)據(jù)。如圖6的c所示，moov存儲(chǔ)箱由保持記錄創(chuàng)建日期和時(shí)間的 頭信息的mvhd存儲(chǔ)箱和保持與存儲(chǔ)在mdat存儲(chǔ)箱中的流圖像 數(shù)據(jù)有關(guān)的信息的trak存儲(chǔ)箱構(gòu)成。存儲(chǔ)在trak存儲(chǔ)箱中的信息 包括stco存儲(chǔ)箱、stsc存儲(chǔ)箱和stsz存儲(chǔ)箱，其中，如圖6的h所 示，stco存儲(chǔ)箱存儲(chǔ)mdat存儲(chǔ)箱的各組塊的偏移值的信息，如 圖6的g所示，stsc存儲(chǔ)箱存儲(chǔ)各組塊中的樣本的數(shù)量的信息， 如圖6的f所示，stsz存儲(chǔ)箱存儲(chǔ)各樣本的大小的信息。存儲(chǔ)在stco存儲(chǔ)箱、stsc存儲(chǔ)箱和stsz存儲(chǔ)箱中的數(shù)據(jù)量與 所記錄的圖像數(shù)據(jù)量即記錄時(shí)間一起增大。例如，當(dāng)通過將每 15幀存儲(chǔ)在一個(gè)組塊來(lái)將每秒30幀的圖^f象記錄為MP4文件時(shí)， 數(shù)據(jù)量增大到2小時(shí)1 Mbyte,因而需要moov存儲(chǔ)箱具有1 Mbyte 的容量。當(dāng)重放該MP4文件時(shí)，乂人記錄介質(zhì)讀出MP4文件的moov存 儲(chǔ)箱，通過moov存儲(chǔ)箱分析stco、 stsc和stsz存儲(chǔ)箱，然后可以 訪問mdat存儲(chǔ)箱中的各組塊。當(dāng)以MP4文件才各式記錄圖^f象時(shí)，流^t據(jù)隨著時(shí)間而增大。由于流數(shù)據(jù)的大小非常大，因而即使在記錄期間也必須將流數(shù)據(jù)寫入該文件中。然而，如上所述，moov存儲(chǔ)箱的大小也隨著 記錄時(shí)間而增大。直到結(jié)束記錄之前一直未定義MP4頭的大小， 因而不能確定文件中的流數(shù)據(jù)的寫偏移位置。由于該原因，一 般的運(yùn)動(dòng)圖像處理設(shè)備的記錄采用使用MP4文件格式的靈活性 的以下措施。(1) 將mdat存儲(chǔ)箱配置在文件的開頭，并且在記錄結(jié)束之 后，接著mdat存儲(chǔ)箱配置moov存儲(chǔ)箱(圖7A)。(2) 如日本特開2003-289495號(hào)公報(bào)所提出的，預(yù)先確定 moov存儲(chǔ)箱的大小以確定mdat存儲(chǔ)箱的偏移位置，然后進(jìn)行記 錄(圖7B)。即使當(dāng)記錄時(shí)間短、且頭區(qū)域未變滿時(shí)，仍保留該 區(qū)域作為空閑存儲(chǔ)箱。當(dāng)記錄數(shù)據(jù)超過頭大小時(shí)，通過適當(dāng)間 除(decimate)I-圖片的幀編號(hào)信息來(lái)記錄該數(shù)據(jù)，從而將頭大小 維持在預(yù)定大小。(3) 將 一 對(duì)moov和mdat存儲(chǔ)箱劃分成多對(duì)以配置它們(圖 7C)。將第二和隨后的頭區(qū)域稱為moof存儲(chǔ)箱。這些是一般MP4文件的結(jié)構(gòu)。下面將說明MP4文件的 一般重放方法。圖8是示出重放利用H.264壓縮編碼的運(yùn)動(dòng)圖像的運(yùn)動(dòng)圖 像重放設(shè)備的基本結(jié)構(gòu)的例子的框圖。在圖8中，運(yùn)動(dòng)圖像重放設(shè)備包括記錄介質(zhì)801、重放來(lái)自 記錄介質(zhì)的數(shù)據(jù)的重放電路802、緩沖電路803、可變長(zhǎng)度解碼 電^各804、逆量^f匕電3各805、逆DCT電^各806、力口法電^各807、存 儲(chǔ)器808、運(yùn)動(dòng)補(bǔ)償電路809、切換電路810、重排電路811、輸 出端子812、頭信息分析電路813、重放控制電路814和控制信號(hào) 輸入端子815。將說明圖8中的運(yùn)動(dòng)圖像重放設(shè)備的重放處理的序列。在從重》文控制電路814接收到指令時(shí)，重》文電路802重放記 錄在記錄介質(zhì)801上的MP4文件，并且開始將其提供至緩沖電路 803。同時(shí)，重放控制電路814控制頭信息分析電路813,以分析 表示moov存儲(chǔ)箱中的mdat的存儲(chǔ)狀況的stco存儲(chǔ)箱、stsc存儲(chǔ)箱 和stsz存儲(chǔ)箱中的偏移、組塊信息和樣本信息。重放控制電路 814控制重放電路802，以開始重放來(lái)自記錄介質(zhì)801的mdat存儲(chǔ) 箱中的流圖像數(shù)據(jù)。重放電路802從開始地址起重放記錄在記錄介質(zhì)801上的 文件的mdat存儲(chǔ)箱中的流圖像數(shù)據(jù)，并且將其提供至緩沖電路803。 根據(jù)緩沖電路803的占用率等開始讀取存儲(chǔ)在緩沖電路803 中的流圖像數(shù)據(jù)，從而將流圖像數(shù)據(jù)提供至可變長(zhǎng)度解碼電路804。 可變長(zhǎng)度解碼電路804對(duì)所重放的從緩沖電路803提供的流 圖像數(shù)據(jù)執(zhí)行可變長(zhǎng)度解碼，并且將解碼后的流圖像數(shù)據(jù)提供 至逆量化電路805。逆量化電路805逆量化從可變長(zhǎng)度解碼電路804所提供的 并經(jīng)過了可變長(zhǎng)度解碼的流圖像數(shù)據(jù)。逆量化電路805將逆量化 后的流圖像數(shù)據(jù)提供至逆DCT電路806。逆DCT電路806對(duì)從逆 量化電路805所提供的逆量化后的數(shù)據(jù)執(zhí)行逆DCT,并且將逆 DCT數(shù)據(jù)提供至加法電路807。加法電路807將從逆DCT電路806 所提供的逆DCT數(shù)據(jù)和從切換電路810所提供的數(shù)據(jù)相加。如圖9所示，在從記錄介質(zhì)801重放的流圖像數(shù)據(jù)中，首先 重放GOPO(Group Of Picture,圖片組)的幀內(nèi)編碼數(shù)據(jù)10。重放 控制電路814進(jìn)行控制以選擇切換電路810的端子a,并且切換電 路810將數(shù)據(jù)"0"提供至加法電路807。加法電路807將從切換電 路810所提供的數(shù)據(jù)"0"和從逆DCT電路806所提供的逆DCT數(shù) 據(jù)相加，并且將相加后的數(shù)據(jù)作為重放幀F(xiàn)。提供至存儲(chǔ)器808說 808存儲(chǔ)從加法電路807所提供的相加后的數(shù)據(jù)。接著GOPO的幀內(nèi)編碼數(shù)據(jù)Io重^:雙向預(yù)測(cè)編碼圖片數(shù)據(jù) B.2和B."直到逆DCT電路806的重放序列與針對(duì)幀內(nèi)編碼數(shù)據(jù) Io所述的相同，并且不再重復(fù)對(duì)其的說明。逆DCT電^各806將雙向預(yù)測(cè)編碼后的逆DCT圖l象數(shù)據(jù)提供 至加法電路807。此時(shí)，重》支控制電^各814控制切換電路810，以 使得切換電路810的可移動(dòng)端子c選擇固定端子b。將來(lái)自運(yùn)動(dòng)補(bǔ) 償電路809的數(shù)據(jù)才是供至加法電路807。運(yùn)動(dòng)補(bǔ)償電路809檢測(cè)在根據(jù)重放的流圖像數(shù)據(jù)進(jìn)行編碼 時(shí)生成的并被記錄在流圖像數(shù)據(jù)中的運(yùn)動(dòng)矢量。運(yùn)動(dòng)補(bǔ)償電路 809從存儲(chǔ)器808讀出參考?jí)K的數(shù)據(jù)(在這種情況下，由于剛開始 進(jìn)行記錄，因而僅為來(lái)自重放的幀內(nèi)編碼數(shù)據(jù)F。的數(shù)據(jù))，并且 將其提供至切換電路810的可移動(dòng)端子c。切換電路81 O所提供的運(yùn)動(dòng)補(bǔ)償后的數(shù)據(jù)相加，從而將相加后的 數(shù)據(jù)作為重放幀F(xiàn)-2和F.i提供至重排電路811 。然后，重放單向預(yù)測(cè)編碼的圖片數(shù)據(jù)P3。直到逆DCT電路 806的重放序列與針對(duì)幀內(nèi)編碼數(shù)據(jù)Io所述的相同，并且不再重 復(fù)對(duì)其的說明。逆DCT電路806將逆DCT圖片數(shù)據(jù)提供至加法電路807。此 時(shí)，重放控制電路814控制切換電路810，以使得切換電路810 的可移動(dòng)端子c選擇固定端子b。將來(lái)自運(yùn)動(dòng)補(bǔ)償電路809的數(shù)據(jù) 提供至加法電^各807。運(yùn)動(dòng)補(bǔ)償電路809檢測(cè)在根據(jù)重放的流圖像數(shù)據(jù)進(jìn)行編碼 時(shí)生成的并被記錄在流圖像數(shù)據(jù)中的運(yùn)動(dòng)矢量。運(yùn)動(dòng)補(bǔ)償電路 809從存儲(chǔ)器808讀出參考?jí)K的數(shù)據(jù)(在這種情況下為來(lái)自重放的幀內(nèi)編碼數(shù)據(jù)Fo的數(shù)據(jù))，并將其提供至切換電路810的可移 動(dòng)端子c。切換電路810所提供的運(yùn)動(dòng)補(bǔ)償后的數(shù)據(jù)相加，從而將相加后的 數(shù)據(jù)作為重放幀F(xiàn)3提供至存儲(chǔ)器808和重排電路811。存儲(chǔ)器808 存儲(chǔ)從加法電路807所提供的相加后的數(shù)據(jù)。然后，重放圖片Bi和B2。這些圖片不是記錄開始時(shí)的幀， 因此除通過雙向預(yù)測(cè)爿夂人幀F(xiàn)o和F3開始重ii這些圖片以外，通過 與針對(duì)上述圖片B.2和B.i所述的序列相同的序列重放這些圖片。 以上述方式順序重》文P6、 B4、 B5.......。重排電路811將順序重放的幀F(xiàn)。、 F-2、 F-p F3、 Fp F2、 F6、F4、 F5.......重排成F.2、 F.!、 Fo、 F!、 F2、 F3、 F4、 F5、 F6.......,并且將重排后的幀輸出至輸出端子812。在開始重放該文件時(shí)，頭信息分析電^各813分析來(lái)自表示 MP4文件的moov存儲(chǔ)箱中的mdat的存儲(chǔ)狀況的stco存儲(chǔ)箱、stsc 存儲(chǔ)箱和stsz存儲(chǔ)箱的偏移、組塊信息和樣本信息。重放控制 電路814工作以跳過GOP 1之前的數(shù)據(jù)，并且從GOP 1開始重放數(shù) 據(jù)。在鏡頭可互換的數(shù)字照相機(jī)中，當(dāng)從照相機(jī)主體卸下鏡頭 時(shí)，空氣中漂浮的微塵可能進(jìn)入照相機(jī)主體。該照相機(jī)包括快 門機(jī)構(gòu)等機(jī)械動(dòng)作的各種機(jī)械單元。當(dāng)這些機(jī)械單元?jiǎng)幼鲿r(shí)， 在照相機(jī)主體中可能生成金屬粉末等灰塵。當(dāng)灰塵或微塵等異物粘附到構(gòu)成數(shù)字照相機(jī)的攝像單元 的圖像傳感器的表面時(shí)，在所拍攝的圖像上捕獲到異物的陰影， 從而導(dǎo)致所拍攝的圖像的質(zhì)量下降。為了解決該問題，提出了一種用于通過使用相鄰像素的信 號(hào)等來(lái)校正捕獲到異物的陰影的像素的方法。作為用于校正異物的陰影的技術(shù)，例如，日本特開2003-289495號(hào)公報(bào)提出了 一種用于校正圖像傳感器的像素缺 陷的圖像缺陷校正方法。曰本特開平6-105241號(hào)公報(bào)提出了 一種用于簡(jiǎn)化像素缺陷 的位置信息的設(shè)置的方法。更具體地，改變以灰塵獲取模式所 記錄的圖像文件的擴(kuò)展名，使其不同于正常圖像的擴(kuò)展名，并 且PC自動(dòng)區(qū)分灰塵信息圖像。通過使用該信息，校正對(duì)象圖像。一些產(chǎn)品將灰塵信息作為拍攝信息記錄在所記錄的圖像 文件中，并且使用該信息來(lái)校正對(duì)象圖像。曰本特開2004-242158號(hào)公報(bào)公開了 一種相關(guān)技術(shù)。然而，當(dāng)在基于灰塵信息校正對(duì)象圖像的同時(shí)重放如上述 MP4文件一樣的運(yùn)動(dòng)圖像文件時(shí)，所使用的存儲(chǔ)器的量增大， 并且由于運(yùn)行速度的下降使得運(yùn)動(dòng)圖像重放的質(zhì)量降低。在靜止圖像重放中，重放灰塵校正后的靜止圖像，因此針 對(duì)每一圖像執(zhí)行一次灰塵校正就足夠了 。即使灰塵校正處理在 存儲(chǔ)器等的限制下用了很長(zhǎng)時(shí)間，靜止圖像的重放也可以等待， 直到完成灰塵校正處理為止。然而，在運(yùn)動(dòng)圖像重放中，通過每秒15或30幀等連續(xù)重》文 多個(gè)靜止圖像來(lái)表現(xiàn)圖像的運(yùn)動(dòng)。除一般重放處理之外，對(duì)于 每秒15幀必需執(zhí)行灰塵校正處理15次，或者對(duì)于每秒30幀必需 執(zhí)行灰塵校正處理30次。除非在限制的時(shí)間內(nèi)結(jié)束該處理，否 則不可能實(shí)現(xiàn)自然的運(yùn)動(dòng)圖像重放。當(dāng)不能進(jìn)行自然的運(yùn)動(dòng)圖 像重放時(shí)，可以在不進(jìn)行灰塵校正的情況下重放運(yùn)動(dòng)圖像。結(jié) 果，在運(yùn)動(dòng)圖像重放期間，在用戶長(zhǎng)時(shí)間仔細(xì)觀看圖像的暫停 或幀前進(jìn)(frame advance)時(shí)的靜止圖像顯示中，可能顯示沒有 校正灰塵的質(zhì)量差的圖像。發(fā)明內(nèi)容為了克服傳統(tǒng)缺陷以及在運(yùn)動(dòng)圖像重放期間進(jìn)行暫?；?幀前進(jìn)等操作時(shí)抑制顯示圖像的質(zhì)量下降，做出了本發(fā)明。根據(jù)本發(fā)明的第一方面，提供一種圖像處理設(shè)備，其重放 從攝像單元輸出的運(yùn)動(dòng)圖像數(shù)據(jù)，該攝像單元具有用于捕獲被 攝體圖像的圖像傳感器和配置在圖像傳感器前面的光學(xué)構(gòu)件，該圖像處理設(shè)備包括輸入單元，其從攝像單元接收捕獲了粘 附在光學(xué)構(gòu)件的表面上的異物的陰影的運(yùn)動(dòng)圖像數(shù)據(jù)；獲取單 元，其從運(yùn)動(dòng)圖像數(shù)據(jù)獲取包括運(yùn)動(dòng)圖像數(shù)據(jù)中的由攝像單元 所捕獲的異物的位置和大小的信息的異物信息；重放單元，其 能夠在通過使用由獲取單元所獲得的異物信息校正運(yùn)動(dòng)圖像數(shù) 據(jù)中的異物的陰影的同時(shí)，重放該運(yùn)動(dòng)圖像數(shù)據(jù)；顯示單元， 其顯示重放單元所重放的圖像；以及設(shè)置單元，其根據(jù)運(yùn)動(dòng)圖 像數(shù)據(jù)的重放狀況，設(shè)置是否進(jìn)行用于校正運(yùn)動(dòng)圖像數(shù)據(jù)的每 一幀中的異物的陰影的處理。根據(jù)本發(fā)明的第二方面，還提供一種圖像處理設(shè)備的控制 方法，該圖像處理設(shè)備重放從攝像單元輸出的運(yùn)動(dòng)圖像數(shù)據(jù)， 該攝像單元具有用于捕獲被攝體圖像的圖像傳感器和配置在圖 像傳感器前面的光學(xué)構(gòu)件；該控制方法包括以下步驟輸入步物的陰影的運(yùn)動(dòng)圖像數(shù)據(jù)；獲取步驟，用于從運(yùn)動(dòng)圖像數(shù)據(jù)獲 取包括運(yùn)動(dòng)圖像數(shù)據(jù)中的由攝像單元所捕獲的異物的位置和大 小的信息的異物信息；重放步驟，用于在通過使用在獲取步驟 中獲得的異物信息對(duì)運(yùn)動(dòng)圖像數(shù)據(jù)中的異物的陰影進(jìn)行校正或 不進(jìn)行校正的同時(shí)，重放該運(yùn)動(dòng)圖像數(shù)據(jù)；顯示步驟，用于顯 示在重放步驟中重放的圖像；以及設(shè)置步驟，用于根據(jù)運(yùn)動(dòng)圖 像數(shù)據(jù)的重放狀況，設(shè)置是否進(jìn)行用于校正運(yùn)動(dòng)圖像數(shù)據(jù)的每一幀中的異物的陰影的處理。通過以下參考附圖對(duì)典型實(shí)施例的說明，本發(fā)明的其它特 征將變得明顯。


圖l是示出傳統(tǒng)圖像處理設(shè)備的結(jié)構(gòu)的框圖； 圖2是示出在編碼圖片P21時(shí)的參考列表的例子的圖； 圖3是示出在編碼圖片P24時(shí)的參考列表的例子的圖； 圖4是示出各圖片的參考列表的變化的圖； 圖5是示出在將B-圖片添加至參考列表時(shí)的參考列表的變 化的圖；圖6是用于說明MP4文件的結(jié)構(gòu)的圖；圖7A ~圖7C是示出MP4文件的結(jié)構(gòu)的例子的圖；圖8是用于說明傳統(tǒng)重放設(shè)備的框圖；圖9是用于說明要編碼的幀的順序的圖；圖IO是示出本發(fā)明實(shí)施例通用的攝像設(shè)備的結(jié)構(gòu)的框圖；圖11是示出在獲得灰塵信息時(shí)的攝像設(shè)備的處理的流程圖；圖12是示出在獲得灰塵信息時(shí)的拍攝相關(guān)參數(shù)的設(shè)置例 子的表；圖13是示出在圖11的步驟S1106中執(zhí)行的灰塵區(qū)域大小計(jì)算的概況的圖；圖14是示出灰塵校正數(shù)據(jù)的數(shù)據(jù)格式的例子的圖；圖15是示出圖像處理設(shè)備的示意性系統(tǒng)結(jié)構(gòu)的框圖；圖16是示出圖像處理設(shè)備的GUI的例子的圖；圖17是用于說明第 一 實(shí)施例中的重放狀況判斷灰塵校正處理的流程圖；圖18是用于說明灰塵校正處理的細(xì)節(jié)的流程圖； 圖19是用于說明插值例程的細(xì)節(jié)的流程圖； 圖20是用于說明第二實(shí)施例中的重放狀況判斷灰塵校正 處理的流程圖；圖21是用于說明第三實(shí)施例中的重放狀況判斷灰塵校正 處理的流程圖；圖22是用于說明第三實(shí)施例中的幀前進(jìn)處理的流程圖；圖23是用于說明第四實(shí)施例中的重放狀況判斷灰塵校正 處理的流程圖；以及圖24是用于說明第五實(shí)施例中的重放狀況判斷灰塵校正 處理的流程圖。
具體實(shí)施方式
下面將參考附圖詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施例。第一實(shí)施例將參考圖IO說明本發(fā)明實(shí)施例通用的攝像設(shè)備的結(jié)構(gòu)。 在本實(shí)施例中，作為攝像設(shè)備將舉例說明鏡頭可互換的單鏡頭反光數(shù)字靜止照相機(jī)。本發(fā)明還可應(yīng)用于例如鏡頭可互換的數(shù)字?jǐn)z像機(jī)。如圖IO所示，根據(jù)本實(shí)施例的攝像設(shè)備主要包括照相機(jī)主 體100和鏡頭可互換型鏡頭單元300。鏡頭單元300包括由多個(gè)透鏡構(gòu)成的攝像透鏡310、光圈 312和將鏡頭單元300機(jī)械連接到照相機(jī)主體100的鏡頭座306。 鏡頭座306包含用于將鏡頭單元300電連接到照相機(jī)主體100的 各種功能。在鏡頭座306中，接口 320將鏡頭單元300連接到照相 機(jī)主體100。連接器322將鏡頭單元300電連接到照相機(jī)主體100。連接器322還具有用于在照相機(jī)主體100和鏡頭單元300之間交換控制信號(hào)、狀態(tài)信號(hào)和數(shù)據(jù)信號(hào)并接收各種電壓的電流的功能。連接器322還可以不僅通過電信而且通過光通信或語(yǔ)音 通信進(jìn)行通信。光圈控制單元340與快門控制單元40(后面i兌明)協(xié)作地控 制光圏312，其中，快門控制單元40基于來(lái)自測(cè)光控制單元46 的測(cè)光信息，控制照相才凡主體100的快門12。調(diào)焦控制單元342 控制攝像透鏡310的調(diào)焦。變焦控制單元3 44控制攝像透鏡310 的變焦。鏡頭系統(tǒng)控制電路350控制整個(gè)鏡頭單元300。鏡頭系統(tǒng)控 制電路350具有用于存儲(chǔ)運(yùn)行用的常數(shù)、變量和程序的存儲(chǔ)器。 鏡頭系統(tǒng)控制電路350還具有用于保持鏡頭單元300特有的編號(hào) 等的識(shí)別信息、管理信息、開放光圈值和最小光圏值及焦距等 功能信息、以及當(dāng)前和過去的設(shè)置值的非易失性存儲(chǔ)器。接著將說明照相機(jī)主體100的結(jié)構(gòu)。鏡頭座106將照相機(jī)主體100機(jī)械連接到鏡頭單元300。反 射鏡130和132利用單鏡頭反光方法將進(jìn)入攝像透鏡310的光束 引導(dǎo)至光學(xué)取景器104。反射鏡130可以是快速回位鏡(quick return mirror)或半反射鏡(half mirror)。附圖標(biāo)記12表示快門。 圖像傳感器14光電轉(zhuǎn)換被攝體圖像。利用單鏡頭反光方法，通 過用作光量限制部件的光圏312、鏡頭座306和106、反射鏡130、 以及快門12引導(dǎo)進(jìn)入攝像透鏡310的光束，并且該光束在圖像傳 感器14上形成光學(xué)圖像。A / D轉(zhuǎn)換器16將從圖像傳感器14輸出的模擬信號(hào)轉(zhuǎn)換成數(shù) 字信號(hào)。時(shí)序發(fā)生電路18向圖像傳感器14、 A/D轉(zhuǎn)換器16和D/A 轉(zhuǎn)換器26提供時(shí)鐘信號(hào)和控制信號(hào)。存儲(chǔ)器控制電路22和系統(tǒng) 控制電路50控制時(shí)序發(fā)生電路18。圖像處理電路20對(duì)來(lái)自A/D轉(zhuǎn)換器16的數(shù)據(jù)或來(lái)自存儲(chǔ)器控制電路22的數(shù)據(jù)執(zhí)行預(yù)定像素插值處理或顏色轉(zhuǎn)換處理。如 果需要，圖像處理電路20還使用從A/D轉(zhuǎn)換器16輸出的圖像數(shù) 據(jù)進(jìn)行預(yù)定運(yùn)算處理。基于所獲得的運(yùn)算結(jié)果，系統(tǒng)控制電路 50執(zhí)行TTL(通過鏡頭)方案的自動(dòng)調(diào)焦(AF)處理、自動(dòng)曝光(AE) 處理和預(yù)電子閃光(EF)處理，以控制快門控制單元40和焦點(diǎn)調(diào) 節(jié)單元42。圖像處理單元20還使用從A/D轉(zhuǎn)換器16輸出的圖像 數(shù)據(jù)執(zhí)行預(yù)定運(yùn)算處理，并且還基于所獲得的運(yùn)算結(jié)果通過 TTL方案進(jìn)行自動(dòng)白平衡(AWB)處理。在本實(shí)施例的圖IO所示的例子中，設(shè)置了專用的焦點(diǎn)調(diào)節(jié) 單元42和測(cè)光控制單元46。因此，還可以不使用圖像處理電路 20而使用焦點(diǎn)調(diào)節(jié)單元42和測(cè)光控制單元46來(lái)進(jìn)行AF處理、 AE處理和EF處理?？蛇x地，還可以首先通過使用焦點(diǎn)調(diào)節(jié)單元 42和測(cè)光控制單元46，然后通過^f吏用圖^象處理電^各20,進(jìn)行AF 處理、AE處理和EF處理。存儲(chǔ)器控制電路22控制A/D轉(zhuǎn)換器16、時(shí)序發(fā)生電路18、 圖像處理電路20、圖像顯示存儲(chǔ)器24、 D/A轉(zhuǎn)換器26、存儲(chǔ)器 30和壓縮/解壓縮電路32。通過圖像處理電路20和存儲(chǔ)器控制電 路22,或者僅通過存儲(chǔ)器控制電路22,將從A/D轉(zhuǎn)換器16輸出 的圖像數(shù)據(jù)寫入圖像顯示存儲(chǔ)器24或存儲(chǔ)器30。通過D/A轉(zhuǎn)換器26將寫入圖像顯示存儲(chǔ)器24的顯示圖像數(shù) 據(jù)顯示在TTL方案的LCD等圖像顯示單元28上。圖像顯示單元 28順序顯示所捕獲的圖像數(shù)據(jù)，從而實(shí)現(xiàn)電子取景器(EVF)功 能。圖像顯示單元28可以根據(jù)來(lái)自系統(tǒng)控制電路50的指令，任 意打開/關(guān)閉(ON/OFF)圖像顯示單元28的顯示。當(dāng)顯示處于關(guān)閉 (O F F)時(shí)，可以大大降j氐照相才幾主體10 0的功耗。使用存儲(chǔ)器30來(lái)存儲(chǔ)所拍攝的靜止圖像，并且存儲(chǔ)器30具 有足以存儲(chǔ)預(yù)定數(shù)量的靜止圖像的存儲(chǔ)容量。因此，即使在用于連續(xù)拍攝多個(gè)靜止圖像的連續(xù)拍攝或全景拍攝時(shí)，也可以以高速將大量圖像數(shù)據(jù)寫入存儲(chǔ)器30中。存儲(chǔ)器30還可用作系統(tǒng) 控制電路50的工作區(qū)。壓縮/解壓縮電路32使用已知壓縮方法對(duì)圖像數(shù)據(jù)進(jìn)行壓 縮/解壓縮。壓縮/解壓縮電路32從存儲(chǔ)器30讀出圖像，對(duì)其進(jìn) 行壓縮或解壓縮，并且將處理后的數(shù)據(jù)再次寫入存儲(chǔ)器30?？扉T控制單元40與光圏控制單元340協(xié)作對(duì)快門12進(jìn)行控 制，其中，光圏控制單元340基于來(lái)自測(cè)光控制單元46的測(cè)光信 息控制光圈312。焦點(diǎn)調(diào)節(jié)單元42"I丸行AF(自動(dòng)調(diào)焦)處理。利用 單鏡頭反光方法，通過光圏312、 4竟頭座306和106、反射鏡130 和焦點(diǎn)調(diào)節(jié)副反射鏡(未示出)引導(dǎo)進(jìn)入鏡頭單元300的攝像透 鏡310的光束，從而檢測(cè)作為光學(xué)圖像所形成的圖像的聚焦?fàn)?態(tài)。測(cè)光控制單元46執(zhí)行AE(自動(dòng)曝光)處理。利用單鏡頭反光 方法，通過光圈312、鏡頭座306和106、反射鏡130和測(cè)光副反 射鏡(未示出)引導(dǎo)進(jìn)入鏡頭單元300的攝像透鏡310的光束，從 而測(cè)量作為光學(xué)圖像所形成的圖像的曝光狀態(tài)。電子閃光燈48 具有AF輔助光投射功能和電子閃光燈控制功能。測(cè)光控制單元 46還具有與電子閃光燈48協(xié)作的EF(電子閃光燈控制)處理功^;匕 fl匕。還可以使用焦點(diǎn)調(diào)節(jié)單元42的測(cè)量結(jié)果和通過使圖像處 理電路20對(duì)來(lái)自A/D轉(zhuǎn)換器16的圖像數(shù)據(jù)進(jìn)行運(yùn)算處理所獲得 的運(yùn)算結(jié)果，進(jìn)行AF控制。還可以使用測(cè)光控制單元46的測(cè)量 結(jié)果和通過使圖像處理電路20對(duì)來(lái)自A/D轉(zhuǎn)換器16的圖像數(shù)據(jù) 進(jìn)行運(yùn)算處理所獲得的運(yùn)算結(jié)果，進(jìn)行曝光控制。系統(tǒng)控制電路50控制整個(gè)照相機(jī)主體100,并且包含已知 的CPU。存儲(chǔ)器52存儲(chǔ)系統(tǒng)控制電路50運(yùn)行用的常數(shù)、變量和19程序。通知單元54根據(jù)系統(tǒng)控制電路50所執(zhí)行的程序，使用文 本、圖像和聲音向外部通知工作狀態(tài)和消息等。作為通知單元54,使用用于可視顯示的LCD或LED等顯示單元和用于生成通 過聲音的通知的聲音生成元件。通知單元54包括它們中的一個(gè) 或者它們中的至少兩個(gè)的組合。特別地，將顯示單元配置在照 相機(jī)主體100的操作單元70附近的一個(gè)或多個(gè)可視位置處。將通 知單元54的某些功能配置在光學(xué)取景器104中。通知單元54的顯示內(nèi)容中的LCD等圖像顯示單元28的顯示 內(nèi)容包括單拍/連拍和自拍等與拍攝模式相關(guān)的顯示；壓縮率、 記錄像素的數(shù)量、已記錄圖像的數(shù)量和可記錄圖像的數(shù)量等與 記錄相關(guān)的顯示；以及快門速度、光圏值、曝光補(bǔ)償、亮度補(bǔ) 償、外部閃光燈光發(fā)射量和紅眼消除等與拍攝條件相關(guān)的顯示。 圖像顯示單元28還顯示微距拍攝(macro shooting)、蜂鳴器設(shè)置、 電池水平、錯(cuò)誤消息、多個(gè)數(shù)字的信息、以及記錄介質(zhì)200和 PC 210的安裝/卸下狀態(tài)。圖像顯示單元28還顯示鏡頭單元300 的安裝/卸下狀態(tài)、通信I/F操作、日期和時(shí)間、以及外部計(jì)算機(jī) 的連接狀態(tài)。在光學(xué)取景器104中顯示通知單元54的一些顯示內(nèi)容，包 括例如對(duì)焦、拍攝準(zhǔn)備就緒、照相機(jī)抖動(dòng)警告、閃光燈充電、 閃光燈充電完成、快門速度、光圈值、曝光補(bǔ)償和記錄介質(zhì)寫 操作。非易失性存儲(chǔ)器56是EEPROM等電可擦除可編程存儲(chǔ)器， 并且存儲(chǔ)程序(后面說明)等。附圖標(biāo)記60、 62、 64、 66、 68和70表示用于輸入系統(tǒng)控制 電路50的各種類型的操作指令的操作部件。它們包括單個(gè)組件， 或者包括多個(gè)開關(guān)、撥盤、觸摸面板、視線檢測(cè)的指示以及語(yǔ)音識(shí)別裝置的組合。
這里將詳細(xì)說明這些操作部件。
模式撥盤開關(guān)60可以選擇性地設(shè)置自動(dòng)拍攝模式、編程拍攝模式、快門速度優(yōu)先拍攝模式、光圈優(yōu)先拍攝模式、手動(dòng)拍攝模式、或焦深優(yōu)先(深度)拍攝模式等的拍攝模式。模式撥盤
開關(guān)60還可以選擇性地設(shè)置肖像拍攝模式、風(fēng)景拍攝模式、特寫拍攝模式、運(yùn)動(dòng)拍攝模式、夜景拍攝模式和全景拍攝模式等的拍攝模式。模式撥盤開關(guān)60還可以將模式切換成作為本實(shí)施例的特征的運(yùn)動(dòng)圖像記錄模式。
通過操作快門按鈕(未示出)半程(例如，半按下)打開快門開關(guān)SW162,以指示開始AF處理、AE處理、AWB處理或EF處理等操作。
通過完全操作快門按鈕(未示出)(例如，全按下)打開快門開關(guān)SW2 64，以指示開始一系列處理操作，包括曝光處理、顯影處理和記錄處理。在曝光處理中，通過A/D轉(zhuǎn)換器16和存儲(chǔ)器控制電路22將從圖像傳感器14讀出的信號(hào)寫入存儲(chǔ)器30中。然后，使用利用圖像處理電路20或存儲(chǔ)器控制電路22的計(jì)算進(jìn)行顯影處理。在記錄處理中，從存儲(chǔ)器30讀出圖像數(shù)據(jù)，通過壓縮/解壓縮電路32對(duì)該圖像數(shù)據(jù)進(jìn)行壓縮，并且將壓縮后的數(shù)據(jù)寫入或傳輸至記錄介質(zhì)200或PC 210。
重放開關(guān)66指示開始重放操作，其中重放操作用于從存儲(chǔ)器30 、記錄介質(zhì)200或PC 210讀出在拍攝模式下所拍攝的圖像，并將該圖像顯示在圖像顯示單元28上。重放開關(guān)66可以設(shè)置重放模式、多畫面重放/清除模式或PC連接模式等其它功能模式。
單拍/連拍開關(guān)68可以設(shè)置單拍模式或連拍模式，其中，在單拍模式中，當(dāng)用戶按下快門開關(guān)SW2 64時(shí)，照相機(jī)拍攝一個(gè)幀，然后處于待機(jī)狀態(tài)；在連拍模式中，在用戶按下快門開關(guān)SW2 64時(shí)，照相機(jī)連續(xù)拍攝。
操作單元70包括各種按鈕和觸摸面板。按鈕的例子為實(shí)時(shí)取景開始/停止按鈕、菜單按鈕、設(shè)置按鈕、多畫面重放/分頁(yè)按鈕、閃光燈設(shè)置按鈕、單拍/連拍/自拍切換按鈕、菜單移動(dòng)加(+ )按鈕和菜單移動(dòng)減(-)按鈕。操作單元7 0還包括重放圖像移動(dòng)加(+)按鈕、重放圖像移動(dòng)減(-)按鈕、拍攝圖像質(zhì)量選擇按鈕、曝光補(bǔ)償按鈕、亮度補(bǔ)償按鈕、外部閃光燈光發(fā)射量設(shè)置按鈕、以及日期/時(shí)間設(shè)置按鈕。使用旋轉(zhuǎn)撥盤開關(guān)可以更容易地選擇加按鈕和減按鈕的數(shù)值或功能。
操作單元70還具有打開/關(guān)閉圖像顯示單元28的圖像顯示ON/OFF開關(guān)和對(duì)在拍攝后立即自動(dòng)重放所拍攝的圖像數(shù)據(jù)的快速回放功能進(jìn)行設(shè)置的快速回放ON/OFF開關(guān)。操作單元70還具有選擇JPEG壓縮的壓縮率或選擇用于直接對(duì)來(lái)自圖像傳感器的信號(hào)進(jìn)行數(shù)字化并將其記錄在記錄介質(zhì)上的RAW模式的壓縮模式開關(guān)。操作單元70還具有能夠設(shè)置一拍AF模式或伺服AF模式的AF模式設(shè)置開關(guān)。在一拍AF模式中，當(dāng)用戶按下快門開關(guān)SW162時(shí)，開始自動(dòng)調(diào)焦操作。 一旦獲得對(duì)焦?fàn)顟B(tài)，則持續(xù)保持該狀態(tài)。在伺服AF模式中，在用戶按下快門開關(guān)SW1 62時(shí)，持續(xù)進(jìn)行自動(dòng)調(diào)焦操作。纟喿作單元70還包括如后面所述的能夠設(shè)置用以拍攝灰塵檢測(cè)圖像并獲得灰塵信息的灰塵信息獲取模式的設(shè)置開關(guān)。
電源開關(guān)7 2可以選擇性地設(shè)置照相機(jī)主體10 0的電源接通(ON)或電源斷開(OFF)模式。電源開關(guān)72還可以選擇性地設(shè)置包括與照相才幾主體100連接的4竟頭單元300、外部電子閃光燈112、記錄介質(zhì)200和PC 210的各種附件中的每一個(gè)的電源ON或電源OFF才莫式。
電源控制單元80包括電池檢測(cè)電路、DC/DC轉(zhuǎn)換器和用于切換要供電的塊的切換電路。電源控制單元8 0檢測(cè)是否安裝了電池、電池的類型和電池水平，并且基于該才全測(cè)結(jié)果和來(lái)自系
統(tǒng)控制電路50的指令，控制DC/DC轉(zhuǎn)換器，并且向包括記錄介質(zhì)在內(nèi)的單元提供必要時(shí)間的必要電壓。
附圖標(biāo)記82和84表示連接器；并且附圖標(biāo)記86表示電池單元，該電池單元包括石咸性電池或鋰電池等的一次電池；鎳鎘(NiCd)電池、鎳氫(NiMH)電池、鋰離子電池或鋰聚合物電池等的二次電池；或AC適配器。
附圖標(biāo)記90和94表示與PC或存4諸卡或石更盤等記錄介質(zhì)的接口 ；并且附圖標(biāo)記92和96表示連接PC或存儲(chǔ)卡或硬盤等記錄介質(zhì)的連接器。記錄介質(zhì)安裝檢測(cè)電路98檢測(cè)記錄介質(zhì)200或PC 210是否被安裝到連接器92和/或96。
在本實(shí)施例中，存在用以連接記錄介質(zhì)的接口和連接器的兩個(gè)系統(tǒng)。用以連接記錄介質(zhì)的接口和連接器可以具有一個(gè)或多個(gè)系統(tǒng)。還可以組合不同標(biāo)準(zhǔn)的4妄口和連4妻器。
可以使用符合各種存儲(chǔ)介質(zhì)標(biāo)準(zhǔn)的接口和連接器。例子有PCMCIA(個(gè)人計(jì)算機(jī)存儲(chǔ)卡國(guó)際協(xié)會(huì))卡、CF(CompactFlash⑧)卡以及SD卡。當(dāng)接口 90和94以及連接器92和96符合PCMCIA卡或CF⑧卡的標(biāo)準(zhǔn)時(shí)，可以連接各種類型的通信卡。通信卡的例子有LAN卡、調(diào)制解調(diào)器卡、USB(通用串行總線)卡和IEEE(電氣與電子工程師學(xué)會(huì))1394卡。還可以使用P1284卡、SCSI(小型計(jì)算機(jī)系統(tǒng)接口)卡和PHS。通過連接各種類型的通信卡，可以將圖像數(shù)據(jù)和與該圖像數(shù)據(jù)相關(guān)的管理信息傳送給另 一計(jì)算機(jī)
或打印機(jī)等外圍設(shè)備。
光學(xué)取景器104可以顯示通過進(jìn)入攝像透鏡310并利用單鏡頭反光方法通過光圏312、鏡頭座306和106以及反射鏡130和132所引導(dǎo)的光束而形成的光學(xué)圖像。因此可以不使用圖像顯示單元28的電子取景器功能而僅使用光學(xué)取景器進(jìn)行拍攝。在光學(xué)取景器104中顯示對(duì)焦?fàn)顟B(tài)、照相機(jī)抖動(dòng)警告、閃光燈充電、快門速度、光圏值和曝光補(bǔ)償?shù)鹊耐ㄖ獑卧?4的 一 些功能。通過附件插座110安裝外部電子閃光燈112。接口 120將照相機(jī)主體100連接到鏡頭座106中的鏡頭單元
300。
連接器122將照相機(jī)主體100電連接到鏡頭單元300。鏡頭安裝檢測(cè)單元(未示出)檢測(cè)鏡頭單元300是否被安裝到鏡頭座106和連接器122。連接器122還具有以下功能在照相機(jī)主體IOO和鏡頭單元300之間傳輸控制信號(hào)、狀態(tài)信號(hào)和數(shù)據(jù)信號(hào)等，并且還提供各種電壓的電流。連接器122還可以不僅通過電信而且通過光通信或語(yǔ)音通信進(jìn)4f通信。
記錄介質(zhì)200是存儲(chǔ)卡或硬盤。記錄介質(zhì)200包括由半導(dǎo)體存儲(chǔ)器或磁盤構(gòu)成的記錄單元202、與照相機(jī)主體100的接口204、以及用以連接照相機(jī)主體100的連"l妾器206。
作為記錄介質(zhì)200 ,可以使用PCMCIA卡或緊湊型閃存(compact flash⑧)等的存儲(chǔ)卡或硬盤。還可以使用micro DAT、磁光盤、CD-R或CD-RW等的光盤、或DVD等相變光盤。
PC 210包括由磁盤(HD)構(gòu)成的記錄單元212、與照相機(jī)主體100的接口 214和用以連接照相機(jī)主體100的連4妄器216。接口214可以是USB或IEEE1394接口等，但是沒有特別限制。
接著說明下面的處理在校正灰塵對(duì)配置在具有上述結(jié)構(gòu)的攝像設(shè)備的圖像傳感器前面的低通濾波器或蓋玻璃(coverglass)等光學(xué)構(gòu)件的影響的同時(shí)重放圖像。
本實(shí)施例將說明這樣一種方法，該方法用于拍才聶獲耳又灰塵信息(異物信息)用的灰塵檢測(cè)圖像(靜止圖像)，提取灰塵數(shù)據(jù)，并且將其添加至隨后所拍攝的正常圖像(運(yùn)動(dòng)圖像)，從而在PC等中校正灰塵的同時(shí)，重放該圖像。優(yōu)選通過拍攝具有盡可能均勻的亮度的表面來(lái)獲得灰塵檢測(cè)圖像。然而，由于期望容易地拍攝熟悉的地方中的圖像，因而均勻性不必十分嚴(yán)格。例如，假定拍攝藍(lán)色天空或白色墻壁。為了解釋本實(shí)施例的特征，將
說明主要用于運(yùn)動(dòng)圖像文件的M P 4文件格式的操作。
圖1 l是示出本實(shí)施例中在獲得灰塵信息時(shí)的攝像設(shè)備的處理的流程圖。
首先，在步驟S1101，判斷操作單元70是否選擇了灰塵信息荻取模式。重復(fù)步驟Sl 101的判斷直到選擇了灰塵信息獲取模式為止。當(dāng)選擇了灰塵信息獲取模式時(shí)，處理進(jìn)入步驟S1102，以判斷用戶是否打開了快門開關(guān)SW1 62。如果快門開關(guān)SW1 62處于OFF,則處理返回至步-驟S1101以重復(fù)上述處理。
如果用戶打開了快門開關(guān)SW1 62，則設(shè)置光圈值、ISO值、快門速度和其它拍攝相關(guān)參數(shù)(步驟S1103)。圖12示出這里所設(shè)置的參數(shù)。例如，在縮小光圈狀態(tài)下，將光圏值設(shè)置成F22。還可以使用與鏡頭座106所連接的鏡頭單元300的可設(shè)置范圍內(nèi)的最小光圏進(jìn)行拍攝。縮小光圈，因?yàn)榛覊m通常不是粘附到圖像傳感器14的表面，而是粘附到用于保護(hù)圖像傳感器14的保護(hù)玻璃的表面、或者粘附到未置于圖像傳感器側(cè)而是置于被攝體側(cè)的光學(xué)濾波器的表面，并且灰塵的成像狀態(tài)根據(jù)鏡頭單元300的光圏值而改變。如果光圈接近全光圈，則灰塵圖像變得模糊，并且不能獲得適當(dāng)?shù)幕覊m檢測(cè)圖像。由于該原因，優(yōu)選使用最小光圏進(jìn)行拍攝。
返回參考圖ll的流程圖，此時(shí)，用戶將攝像設(shè)備對(duì)著盡可能白的墻壁等的均勻亮度面，并且操作快門開關(guān)SW2 64。
在步驟S1104，判斷用戶是否打開了快門開關(guān)SW2 64。如果快門開關(guān)SW2 64處于OFF,則處理返回到步驟S1102,以判
25斷快門開關(guān)SW1 62是處于ON還是處于OFF。如果用戶打開了快門開關(guān)SW2 64，則處理進(jìn)入步驟S1105。在步驟S1105,拍攝灰塵檢測(cè)圖像(均勻亮度面)，并且將該圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器30中。在步驟S1106，從存儲(chǔ)在存儲(chǔ)器30中的圖像數(shù)據(jù)獲得灰塵信息。
將說明灰塵信息的獲取。更具體地，從所拍攝的灰塵檢測(cè)圖像獲得各灰塵區(qū)域的位置(坐標(biāo))和大小。首先，將所拍攝的灰塵檢測(cè)圖像的區(qū)域劃分成多個(gè)塊。計(jì)算各塊中的最大亮度Lmax和平均亮度Lave。通過下面的等式計(jì)算各塊中的闞值T1。
Tl = Lave x 0.6 + Lmax x 0.4
將小于閾值T1的像素判斷為灰塵像素。將由灰塵像素所形成的各3瓜立區(qū)i或定義為灰塵區(qū)i或di(i = 0、 1........ n)。
圖13是示出灰塵區(qū)域大小計(jì)算的概況的圖。如圖13所示，對(duì)于各灰塵區(qū)域，獲得灰塵區(qū)域中所包括的像素的水平坐標(biāo)的最大值Xmax和最小值Xmin 、以及垂直坐標(biāo)的最大值Ymax和最小值Ymin。通過下面的等式計(jì)算表示灰塵區(qū)域di的大小的半徑ri
ri = [ VuXmax陽(yáng)Xmin)2 + (Ymax - Ymin)2} ]/2通過下面的等式近似獲得中心坐標(biāo)(Xdi, Ydi)。Xdi = (Xmax + Xmin)/2Ydi = (Ymax + Ymin)/2
將獲得的位置(坐標(biāo))和半徑記錄為灰塵信息簡(jiǎn)檔(profile)?；覊m信息簡(jiǎn)檔具有圖14所示的結(jié)構(gòu)。如圖14所示，灰塵信息簡(jiǎn)檔存儲(chǔ)拍攝灰塵檢測(cè)圖像時(shí)的鏡頭信息以及灰塵的位置和大小的信息。更具體地，存儲(chǔ)拍攝檢測(cè)圖像時(shí)的實(shí)際光圈值(F值)和鏡頭透光孔(pupil)位置，作為拍攝檢測(cè)圖像時(shí)的鏡頭信息。接著，將所檢測(cè)到的灰塵區(qū)域的數(shù)量(整數(shù)值)存儲(chǔ)在存儲(chǔ)區(qū)域中。接著該值，與灰塵區(qū)域一樣多地重復(fù)存儲(chǔ)各灰塵區(qū)域
的具體參數(shù)。灰塵區(qū)域的參數(shù)包括一組三個(gè)數(shù)值灰塵的半徑(例如，2字節(jié))、有效圖像區(qū)域的中心的x坐標(biāo)(例如，2字節(jié))、以及該中心的y坐標(biāo)(例如，2字節(jié))。
在步驟S1107，將所獲得的灰塵信息(灰塵信息簡(jiǎn)檔)存儲(chǔ)在非易失性存儲(chǔ)器56中，并且結(jié)束用以獲取灰塵信息的處理。將灰塵信息存儲(chǔ)在非易失性存儲(chǔ)器56中的目的是為了 持續(xù)將該灰塵信息添加至通過在獲得該灰塵信息之后直到下一次獲得灰塵信息之前所執(zhí)行的正常拍攝而獲得的圖像數(shù)據(jù)(運(yùn)動(dòng)圖像數(shù)據(jù))。在每當(dāng)打開照相機(jī)電源時(shí)都請(qǐng)求用戶獲取灰塵信息的情況下，不必將灰塵信息存儲(chǔ)在非易失性存儲(chǔ)器中。
當(dāng)根據(jù)實(shí)施例的攝像設(shè)備記錄運(yùn)動(dòng)圖像時(shí)，使用上述MP4文件格式的運(yùn)動(dòng)圖像文件。因此，將臨時(shí)存儲(chǔ)在非易失性存儲(chǔ)器56中的灰塵信息簡(jiǎn)檔存儲(chǔ)在由運(yùn)動(dòng)圖像數(shù)據(jù)的moov存儲(chǔ)箱中的頭信息所構(gòu)成的mvhd存儲(chǔ)箱或moof存儲(chǔ)箱中的mvhd存儲(chǔ)箱中?？梢詫⒒覊m信息添加至由攝像設(shè)備所捕獲的運(yùn)動(dòng)圖像數(shù)據(jù)。
將說明灰塵校正重放處理的序列。在下面的說明中，不是在數(shù)字照相機(jī)主體內(nèi)，而是在分開準(zhǔn)備的圖像處理設(shè)備中執(zhí)行灰塵校正重放處理。圖15是示出該圖像處理設(shè)備的示意性系統(tǒng)結(jié)構(gòu)的框圖。
CPU 1501控制整個(gè)系統(tǒng)，并且例如執(zhí)行存儲(chǔ)在主存儲(chǔ)器(primary storage)1502中的程序。主存儲(chǔ)器1502是主要的存儲(chǔ)器，并且存儲(chǔ)從副存儲(chǔ)器(secondary storage)1503讀出的程序等。副存儲(chǔ)器1503例如為硬盤。通常，主存儲(chǔ)器的容量小于副存儲(chǔ)器的容量。將不能完全存儲(chǔ)在主存儲(chǔ)器中的程序和數(shù)據(jù)等存儲(chǔ)在副存儲(chǔ)器中。也將需要長(zhǎng)期存儲(chǔ)的數(shù)據(jù)等存儲(chǔ)在副存儲(chǔ)器中。
在本實(shí)施例中，將程序存儲(chǔ)在副存儲(chǔ)器1503中，并且當(dāng)執(zhí)行該程序時(shí)，將該程序裝載到主存儲(chǔ)器1502并由CPU 1501來(lái)執(zhí)行。輸入裝置1504例如包括用以控制系統(tǒng)的鼠標(biāo)和鍵盤、以及輸入圖像數(shù)據(jù)所需的卡讀取器、掃描器和膠片掃描器。輸出裝置1505例如包括監(jiān)視器和打印機(jī)。盡管該設(shè)備可以采用各種配置，但是這不是本發(fā)明的要點(diǎn)，并且省略對(duì)其的說明。
該圖像處理設(shè)備包括能夠并行執(zhí)行多個(gè)程序的操作系統(tǒng)，并且用戶可以使用GUI(圖形用戶界面)操作運(yùn)行在該設(shè)備上的程序。
圖16是示出該圖像處理設(shè)備中的圖像編輯程序的GUI的圖。
該畫面包括關(guān)閉按鈕1600和標(biāo)題欄1601。當(dāng)用戶按下關(guān)閉按鈕時(shí)，結(jié)束該程序。通過將文件拖放到圖像顯示區(qū)域1602來(lái)指定要經(jīng)過校正重放處理的圖像。當(dāng)確定了要經(jīng)過校正重放處理的圖像時(shí)，將文件名顯示在標(biāo)題欄1601，并且顯示對(duì)象圖像以使其適合圖像顯示區(qū)域1602。在運(yùn)動(dòng)圖像重放期間，可以作為靜止圖像重放來(lái)處理適合的顯示，因而在重放狀況判斷灰塵校正處理(后面說明)中，還可以通過適合的顯示來(lái)進(jìn)行顯示。
當(dāng)用戶按下重放按鈕1603時(shí)，執(zhí)行重放處理以將處理后的圖像顯示在圖像顯示區(qū)域1602中。當(dāng)用戶按下暫停按鈕1604時(shí)，暫停重放過程中的運(yùn)動(dòng)圖像。每當(dāng)用戶在這種狀態(tài)下按下幀正向前進(jìn)按鈕1605或幀反向前進(jìn)按鈕1606時(shí)，使圖像正向或反向前進(jìn) 一 個(gè)幀。
當(dāng)用戶按下慢動(dòng)作重放按鈕1607時(shí)，執(zhí)行慢動(dòng)作重放處理，以將處理后的圖像顯示在圖像顯示區(qū)域1602中。由于慢動(dòng)作重放是已知技術(shù)，因而不再詳細(xì)說明該重力文方法。在慢動(dòng)作重放中，通過延長(zhǎng)一個(gè)幀的顯示時(shí)間，與正常重放相比較慢地重放運(yùn)動(dòng)圖像。
當(dāng)用戶按下快速正向重》文按4丑1608時(shí)，扭^亍快速正向重ii處理，以將處理后的圖像顯示在圖像顯示區(qū)域1602中。由于快速正向重放是已知沖支術(shù)，因而不再詳細(xì)i兌明該重》t方法。在快速正向重放中，通過間除幀或縮短顯示時(shí)間，與正常重放相比更快地重放運(yùn)動(dòng)圖像。
當(dāng)用戶按下快速反向重放按鈕1609時(shí)，#丸行快速反向重放處理，以將處理后的圖像顯示在圖像顯示區(qū)域1602中。由于快速反向重》文是已知才支術(shù)，因而不再詳細(xì)說明該重力文方法。在快速反向重放中，在間除幀或縮短顯示時(shí)間的同時(shí)，反轉(zhuǎn)幀流，從而在時(shí)間上后退的同時(shí)，與正常重》文相比更快地重》文運(yùn)動(dòng)圖像。
圖17示出該圖像處理設(shè)備的重放狀況判斷灰塵校正處理的序列。將參考圖17說明暫停時(shí)的重放狀況判斷灰塵校正處理的序列。
將包括灰塵位置校正數(shù)據(jù)的運(yùn)動(dòng)圖像文件從數(shù)字照 一 目機(jī)或移除自數(shù)字照相機(jī)的記錄介質(zhì)200輸入到圖像處理設(shè)備，并且將該運(yùn)動(dòng)圖像文件存儲(chǔ)在主存儲(chǔ)器1502或副存儲(chǔ)器1503中(步驟S1701)。在步驟S1702，執(zhí)行顯示幀獲取處理(用以解碼MP4文件并重放幀的處理)。該處理為背景技術(shù)的說明中所公開的已知4支術(shù)，并且省略對(duì)其的詳細(xì)說明。
在步驟S1703,判斷用戶是否按下了暫停按鈕1604。如果在步驟S1703判斷為用戶沒有按下暫停按鈕1604，則執(zhí)行顯示處理(步驟S1704)。在顯示處理中，將在步驟S1702中獲得的幀顯示在圖像顯示區(qū)域1602中。只要存儲(chǔ)器等的資源和灰塵校正的處理時(shí)間允許，還可以在顯示處理之前寺丸行灰塵校正處理。然而，為了更易于說明本實(shí)施例的特征，僅在不進(jìn)行灰塵校正處理的情況下進(jìn)行顯示處理。
在步驟S1705，判斷當(dāng)前幀是否是最后一個(gè)幀。如果判斷為當(dāng)前幀是最后一個(gè)幀，則結(jié)束重放狀況判斷灰塵校正處理。如果判斷為當(dāng)前幀不是最后一個(gè)幀，則在步驟S1702中獲取接著要顯示的幀。重復(fù)步驟S1702和隨后的步驟，直到處理了所有幀為止。
如果在步驟S1703判斷為用戶按下了暫停按鈕1604,則中斷運(yùn)動(dòng)圖像重放，并且將按下暫停按鈕1604時(shí)所重放的幀顯示為靜止圖像。在顯示該幀之前，在步驟S1706,該幀經(jīng)過灰塵校正處理。將參考圖18說明灰塵校正處理。
在步驟S1707,進(jìn)行顯示處理。盡管步驟S1707中的顯示處理與步驟S1704中的顯示處理相同，但是在暫停期間，將在步驟S1706已通過灰塵校正處理校正了灰塵的幀顯示為靜止圖像。如果在步驟S1708判斷為發(fā)出了用以結(jié)束暫停的指令，則處理進(jìn)入步驟S1705，并且重復(fù)步驟S1702和隨后的步驟，直到處理了所有幀為止。
根據(jù)該序列，執(zhí)行重放狀況判斷灰塵校正處理。圖18示出圖17的步驟S1706中的灰塵校正處理的序列。從顯示在圖像顯示區(qū)域1602中的運(yùn)動(dòng)圖像的視頻樣本(幀)中選擇要經(jīng)過灰塵校正處理的幀(步驟S1801)。要經(jīng)過灰塵校正處理的幀是在圖17的步驟S1702所獲取的顯示幀。從包括所選擇的幀的m o o v或m o o f提取灰塵位置校正數(shù)據(jù)。從所提取的灰塵位置校正數(shù)據(jù)提取灰塵校正數(shù)據(jù)(灰塵信息簡(jiǎn)檔)，從而獲得坐
標(biāo)序列Di(i-l、 2........ n)、半徑序列Ri(i-l、 2、........ n)、
光圈值fl和鏡頭透光孔位置Ll。此外，獲取拍攝時(shí)的光圈值f2和鏡頭透光孔位置L2(步驟S1802)。 Ri表示在圖ll的步驟S1106中計(jì)算出的坐標(biāo)Di處的灰塵的大小。
在步驟S1803,通過下面的等式轉(zhuǎn)換Di。通過如下等式來(lái)定義轉(zhuǎn)換后的坐標(biāo)Di'和轉(zhuǎn)換后的半徑Ri'。
<formula>formula see original document page 31</formula>
其中，d是從圖像中心到坐標(biāo)Di的距離，并且H是從圖像傳感器14的表面到灰塵的距離。
單位為像素，并且Ri'的"+3"意為余量。
在步各聚S1804， 4企測(cè)通過坐標(biāo)Di'和半徑Ri'所定義的區(qū)域中的灰塵，并且如果需要，應(yīng)用插值處理。后面將說明插值處理的細(xì)節(jié)。
在步驟S1805，判斷是否已向所有坐標(biāo)應(yīng)用了灰塵去除處理。如果在所有坐標(biāo)處都結(jié)束了灰塵去除處理，則結(jié)束該處理。如果沒有在所有坐標(biāo)處結(jié)束灰塵去除處理，則處理返回至步驟Sl謝。
已說明了灰塵校正處理的序列。
將說明灰塵區(qū)域插值處理的細(xì)節(jié)。圖19是示出插值例程的序列的流程圖。在步驟S1901,判斷灰塵區(qū)域。將灰塵區(qū)域定義為滿足以下所有條件的區(qū)域
(1) 暗于閾值T2的區(qū)域，其中，使用落在通過圖18的步驟S1803中計(jì)算出的中心坐標(biāo)Di'和半徑Ri'(通過等式(l)計(jì)算出的Ri'和Di')所定義的區(qū)域中的像素的平均亮度Yave和最大亮度Ymax獲得閾值T2:
T2 = Yave x 0.6 + Ymax x 0.4
(2) 不與中心坐標(biāo)為Di'半徑為Ri'的圓4^觸的區(qū)域。
(3) 對(duì)于在(1)中選擇的低亮度像素的孤立區(qū)域，通過與圖11的步驟S1106相同的方法計(jì)算出的半徑值等于或大于xl像素且小于X2像素的區(qū)域。
(4)包含圓的中心坐標(biāo)Di的區(qū)域。
在本實(shí)施例中，xl表示3個(gè)像素，x2表示30個(gè)像素。利用該設(shè)置，僅小的孤立區(qū)域可作為灰塵區(qū)域來(lái)處理。當(dāng)不能正確獲得鏡頭透光孔位置時(shí)，還可以放寬條件(4)。例如，當(dāng)感興趣的區(qū)域包含X方向和Y方向上距離坐標(biāo)Di均為±3<象素的范圍的坐標(biāo)時(shí)，將其判斷為灰塵區(qū)域。
如果在步驟S1902中存在這種區(qū)域，則處理進(jìn)入步驟S1903以進(jìn)行灰塵區(qū)域插值。如果不存在這種區(qū)域，則結(jié)束該處理。在步驟S1903所執(zhí)行的灰塵區(qū)域插值處理采用已知的缺陷區(qū)域插值方法。已知的缺陷區(qū)域插值方法的例子有在日本特開2001-223894號(hào)公報(bào)中所公開的模式替換。在日本特開2001-223894號(hào)公報(bào)中，使用紅外光指定缺陷區(qū)域。在本實(shí)施例中，將在步驟S1901中檢測(cè)到的灰塵區(qū)域作為缺陷區(qū)域而處理，并且利用模式替換，通過正常相鄰像素對(duì)該灰塵區(qū)域進(jìn)行插值。對(duì)于不能通過模式替換進(jìn)行插值的像素，在正進(jìn)行模式校正的圖像數(shù)據(jù)中從最靠近要插值的像素的像素開始順序選擇p個(gè)正常像素，并且使用這p個(gè)像素的平均色對(duì)該對(duì)象像素進(jìn)行插值。
已經(jīng)說明了灰塵區(qū)域插值處理的序列。
如上所述，當(dāng)在使用灰塵信息進(jìn)行灰塵校正處理的同時(shí)重放MP4文件等的運(yùn)動(dòng)圖像文件時(shí)，第 一 實(shí)施例可以提高運(yùn)行速度并降低存儲(chǔ)器等資源的使用量。同時(shí)，在運(yùn)動(dòng)圖像重放期間，在用戶長(zhǎng)時(shí)間仔細(xì)觀看圖像的暫停時(shí)的靜止圖像顯示中，第一實(shí)施例可以向用戶提供校正了灰塵等的陰影的高質(zhì)量的圖像。
第二實(shí)施例
本發(fā)明第二實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu)與圖15所示的結(jié)構(gòu)相同，但是它們的操作不同。將說明第二實(shí)施例中的操作。圖20是示出第二實(shí)施例中的重放狀況判斷灰塵校正處理的流程圖。該處理不同于第一實(shí)施例中的處理。
類似于第 一 實(shí)施例，將參考圖20說明暫停時(shí)的重放狀況判斷灰塵校正處理的序列。
將包括灰塵位置校正數(shù)據(jù)的運(yùn)動(dòng)圖像文件從數(shù)字照對(duì)目機(jī)或移除自數(shù)字照相機(jī)的記錄介質(zhì)200輸入到圖像處理設(shè)備，并將該運(yùn)動(dòng)圖像文件存儲(chǔ)在主存儲(chǔ)器1502或副存儲(chǔ)器1503中(步驟S2001)。
在步驟S2002,判斷用戶是否按下了暫停按鈕1604。如果在步驟S2002判斷為用戶沒有按下暫停按鈕1604，則在步驟S2003中獲取顯示幀以進(jìn)行顯示處理(步驟S2004)。在步驟S2005,類似于第一實(shí)施例，判斷當(dāng)前幀是否是最后一個(gè)幀。
如果判斷為當(dāng)前幀是最后一個(gè)幀，則結(jié)束重放狀況判斷灰塵校正處理。如果判斷為當(dāng)前幀不是最后一個(gè)幀，則在步驟S2003獲取接著要顯示的幀。重復(fù)步驟S2002和隨后的步驟，直到處理了所有幀為止。
如果在步驟S2002判斷為用戶按下了暫停按鈕1604,則中斷運(yùn)動(dòng)圖像重放，并且在步驟S2006獲取任意顯示幀。在本實(shí)施例中，如果在步驟S2003已獲得了幀，則還可以再次使用該幀作為在步驟S2006中所獲得的任意顯示幀，或者還可以使用與在步驟S2003所獲得的幀緊挨著的前一幀。即使在步驟S2003沒有獲得幀，也足以獲得任意幀，從而還可以使用第一幀或中間幀。
在顯示所獲得的任意顯示幀之前，在步驟S2007進(jìn)行灰塵校正處理。已參考圖18說明了灰塵校正處理。
在步驟S2008,進(jìn)行顯示處理。盡管步驟S2008的顯示處理與步驟S2004的顯示處理相同，但是在暫停期間，將在步驟S2007中已通過灰塵校正處理校正了灰塵的幀顯示為靜止圖像。如果在步驟S2009判斷為發(fā)出了用以結(jié)束暫停的指令，則處理進(jìn)入步驟S2005，并且重復(fù)步驟S2002和隨后的步驟，直到處理了所有幀為止。
根據(jù)該序列，執(zhí)行了重放狀況判斷灰塵校正處理。
在步驟S2006再使用在步驟S2003所獲得的幀，有效地減少了存儲(chǔ)器，并且由于縮短了讀出時(shí)間和傳送時(shí)間，因而也有效地才是高了運(yùn)4亍速度。
如上所述，當(dāng)在使用灰塵信息進(jìn)行灰塵校正處理的同時(shí)重放MP4文件等運(yùn)動(dòng)圖像文件時(shí)，第二實(shí)施例可以提高運(yùn)行速度，并可以降低存儲(chǔ)器等資源的使用量。另外，當(dāng)在運(yùn)動(dòng)圖像重放期間的暫停中顯示靜止圖像中的任意靜止圖像并且用戶長(zhǎng)時(shí)間仔細(xì)觀看該圖像時(shí)，第二實(shí)施例可以向用戶提供校正了灰塵等的陰影的高質(zhì)量的圖像。
第三實(shí)施例
本發(fā)明的第三實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu)與圖15所示的結(jié)構(gòu)相同，但是它們的操作不同。將說明第三實(shí)施例中的操作。
將參考圖21說明第三實(shí)施例的幀正向前進(jìn)或幀反向前進(jìn)中的重放狀況判斷灰塵校正處理。
在第三實(shí)施例的幀正向前進(jìn)或幀反向前進(jìn)中，每當(dāng)用戶在暫停期間按下幀正向前進(jìn)按鈕1605或幀反向前進(jìn)按鈕1606時(shí)，正向或反向前進(jìn)一個(gè)幀。
直到步驟S 210 3的序列與第 一 實(shí)施例和第二實(shí)施例中的相同。
在步驟S2103,如果判斷為用戶沒有按下暫停按鈕1604,則進(jìn)行顯示處理(步驟S2104),并且類似于第一實(shí)施例，在步驟
34S2105判斷當(dāng)前幀是否是最后一個(gè)幀。另外，與第一實(shí)施例相
類似，如果判斷為當(dāng)前幀是最后一個(gè)幀，則結(jié)束重放狀況判斷 灰塵校正處理。如果判斷為當(dāng)前幀不是最后一個(gè)幀，則在步驟
S2102獲取接著要顯示的幀。重復(fù)步驟S2102和隨后的步驟，直 到處理了所有幀為止。
如果在步驟S2103判斷為用戶按下了暫停按鈕1604,則在 步驟S2106進(jìn)行幀前進(jìn)處理。將參考圖22說明幀前進(jìn)處理。
在步驟S2107判斷在步驟S2102 、 或者步驟S2202或 S2204(后面說明)是否獲得了顯示幀。如果判斷為獲得了顯示 幀，則類似于第一實(shí)施例中的步驟S1706和S1707,在步驟S2108 和S2109^^行灰塵一t正處理以顯示該顯示幀。如果判斷為沒有 獲得顯示幀，則在步驟S2110判斷是否發(fā)出了用以結(jié)束暫停的 指令。如果沒有發(fā)出用以結(jié)束暫停的指令，則處理返回到步驟 S2106以重復(fù)幀前進(jìn)處理。
如果在步驟S2110判斷為發(fā)出了用以結(jié)束暫停的指令，則 處理進(jìn)入步驟S2105，以判斷當(dāng)前幀是否是最后一個(gè)幀。如果 當(dāng)前幀不是最后一個(gè)幀，則在步驟S2102獲取接著要顯示的幀。 重復(fù)步驟S2102和隨后的步驟，直到處理了所有幀為止。
將參考圖22說明幀前進(jìn)處理的序列。
在步驟S2201,判斷用戶是否按下了幀正向前進(jìn)按鈕1605。 如果判斷為用戶按下了幀正向前進(jìn)按鈕1605,則處理進(jìn)入步驟 S2202,以獲得與在圖21的步驟S2102中獲得的幀緊挨著的前一 幀。然后，結(jié)束該處理。
如果在步驟S2201判斷為用戶沒有按下幀正向前進(jìn)按鈕
1605, 則在步驟S2203判斷用戶是否按下了幀反向前進(jìn)按鈕
1606。 如果判斷為用戶按下了幀反向前進(jìn)按4丑1606,則處理進(jìn) 入步驟S2204以獲得與在圖21的步驟S2102中獲得的幀緊挨著的后一幀。然后，結(jié)束該處理。
如果在步驟S2203判斷為用戶沒有按下幀反向前進(jìn)按鈕 1606，則不進(jìn)4于任何動(dòng)作而結(jié)束該處理。
才艮據(jù)本序列，沖丸行幀正向前進(jìn)和幀反向前進(jìn)時(shí)的重放狀況
判斷灰塵校正處理。
如上所述，當(dāng)在使用灰塵信息進(jìn)行灰塵校正處理的同時(shí)重 放M P 4文件等的運(yùn)動(dòng)圖像文件時(shí)，第三實(shí)施例可以提高運(yùn)行速 度，并可以降低存儲(chǔ)器等資源的使用量。另外，在運(yùn)動(dòng)圖像重 放期間用戶長(zhǎng)時(shí)間^子細(xì)觀看圖4象的幀正向前進(jìn)或幀反向前進(jìn)時(shí) 的靜止圖像顯示中，第三實(shí)施例可以向用戶提供校正了灰塵等 的陰影的高質(zhì)量的圖像。
第四實(shí)施例
本發(fā)明的第四實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu)與圖15所示 的結(jié)構(gòu)相同，但是它們的操作不同。將說明第四實(shí)施例的操作。
圖23示出第四實(shí)施例中的重放狀況判斷灰塵校正處理的 序列。將參考圖23說明慢動(dòng)作重放中的重放狀況判斷灰塵校正 處理的序列。
圖23中直到步驟S2302的序列與圖17中直到步驟S1702的
序列相同。
如果在步驟S2303判斷為用戶沒有按下慢動(dòng)作重放按鈕 1607,則進(jìn)行顯示處理(步驟S2304),并且類似于第一實(shí)施例， 在步驟S2305判斷當(dāng)前幀是否是最后一個(gè)幀。另外，與第一實(shí) 施例相類似，如果判斷為當(dāng)前幀是最后一個(gè)幀，則結(jié)束重放狀 況判斷灰塵校正處理。如果判斷為當(dāng)前幀不是最后一個(gè)幀，則 在步驟S2302獲取接著要顯示的幀。重復(fù)步驟S2302和隨后的步 驟，直到處理了所有幀為止。
如果在步驟S2303判斷為用戶按下了慢動(dòng)作重放按鈕1607，則因?yàn)樵诼齽?dòng)作重放中用戶長(zhǎng)時(shí)間仔細(xì)觀看運(yùn)動(dòng)圖像， 因而在步驟S2306進(jìn)行灰塵校正處理，以避免突出灰塵。
慢動(dòng)作重放圖像。然后，處理進(jìn)入步驟S2305，并且重復(fù)步驟 S2302和隨后的步驟，直到處理了所有幀為止。
根據(jù)本序列，執(zhí)行重放狀況判斷灰塵校正處理。 如上所述，當(dāng)在使用灰塵信息進(jìn)行灰塵校正處理的同時(shí)重 放MP4文件等的運(yùn)動(dòng)圖像文件時(shí)，第四實(shí)施例可以提高運(yùn)行速 度，并可以降低存儲(chǔ)器等資源的使用量。同時(shí)，在通過運(yùn)動(dòng)圖 像重放期間通過用戶長(zhǎng)時(shí)間仔細(xì)觀看圖像的慢動(dòng)作重放進(jìn)行的 圖像顯示中，第四實(shí)施例可以向用戶提供校正了灰塵等的陰影
的高質(zhì)量的圖像。 第五實(shí)施例
本發(fā)明的第五實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu)與圖15所示 的結(jié)構(gòu)相同，但是它們的操作不同。將說明第五實(shí)施例中的操作。
圖24示出第五實(shí)施例的重放狀況判斷灰塵校正處理的序 列。將參考圖24說明快速正向重放中的重放狀況判斷灰塵校正 處理的序列。
圖24中直到步驟S2402的序列與圖17中直到步驟S1702的
序歹寸相同。
如果在步驟S2403判斷為用戶按下了快速正向重放按鈕 1608,則進(jìn)行顯示處理(步驟S2404)。在步驟S2405,判斷當(dāng)前 幀是否是最后一個(gè)幀。如果當(dāng)前幀是最后一個(gè)幀，則結(jié)束重放 狀況判斷灰塵校正處理。如果當(dāng)前幀不是最后一個(gè)幀，則處理 返回到步驟S2402并重復(fù)上述處理。如果在步驟S2403判斷為用戶沒有按下快速正向重放按鈕 1608,則在步驟S2406進(jìn)行灰塵校正處理。在步驟S2407,執(zhí)行 與第 一實(shí)施例的步驟S1707中的顯示處理相同的顯示處理。
第 一 實(shí)施例~第四實(shí)施例主要說明了進(jìn)行灰塵校正的重 放狀況。相反，第五實(shí)施例判斷不執(zhí)行灰塵4交正的重放狀況。 第五實(shí)施例的特征為當(dāng)進(jìn)行快速正向重放時(shí)，由于用戶沒有 注意灰塵并且沒有灰塵需要校正，因而不執(zhí)行灰塵校正。
對(duì)于快速反向重力丈，應(yīng)用與快速正向重》丈幾乎相同的處 理。如果判斷為用戶按下了快速反向重》文按鈕1609,則不執(zhí)行 灰塵校正。
如上所述，在快速正向重》支或快速反向重i文等重i文中，即， 在灰塵不突出的重放狀況下，通過不進(jìn)行灰塵校正，第五實(shí)施 例可以提高運(yùn)行速度并降低存儲(chǔ)器等資源的使用量，其中，在 快速正向重放或快速反向重放中，重放MP4文件等的運(yùn)動(dòng)圖像 文件以使得用戶不長(zhǎng)時(shí)間仔細(xì)觀看圖像。
第六實(shí)施例
在第一實(shí)施例~第五實(shí)施例中，以分開準(zhǔn)備的圖像處理設(shè) 備重放運(yùn)動(dòng)圖像。還可以將類似圖像處理設(shè)備包含在攝像設(shè)備 中，進(jìn)行相同處理，并且在使用灰塵信息進(jìn)行灰塵校正處理的 同時(shí)，在攝像設(shè)備中重放MP4文件等的運(yùn)動(dòng)圖像文件。第六實(shí) 施例也可以提高運(yùn)行速度并降低運(yùn)動(dòng)圖像重放中存儲(chǔ)器等資源 的使用量。另外，第六實(shí)施例可以向用戶提供校正了明顯的灰 塵等的陰影的高質(zhì)量的圖像。
其它實(shí)施例
還可以通過下面的方法實(shí)現(xiàn)這些實(shí)施例的目的。向系統(tǒng)和 設(shè)備提供存儲(chǔ)用以實(shí)現(xiàn)上述實(shí)施例的功能的軟件程序代碼的存 儲(chǔ)介質(zhì)(或記錄介質(zhì))。該系統(tǒng)或設(shè)備的計(jì)算機(jī)(或CPU或MPU)
38讀出并執(zhí)行存儲(chǔ)在該存儲(chǔ)介質(zhì)中的程序代碼。在這種情況下， 從存儲(chǔ)介質(zhì)讀出的程序代碼實(shí)現(xiàn)上述實(shí)施例的功能。存儲(chǔ)程序 代碼的存儲(chǔ)介質(zhì)構(gòu)成本發(fā)明。不僅僅通過使計(jì)算機(jī)執(zhí)行所讀出 的程序代碼來(lái)實(shí)現(xiàn)上述實(shí)施例的功能。本發(fā)明還包括這樣一種 情況運(yùn)行在該計(jì)算機(jī)上的操作系統(tǒng)(OS)等基于程序代碼的指 令執(zhí)行部分或全部實(shí)際處理，從而實(shí)現(xiàn)上述實(shí)施例的功能。
本發(fā)明還包括下面的情況。更具體地，將從存儲(chǔ)介質(zhì)讀出 的程序代碼寫入插入計(jì)算機(jī)中的功能擴(kuò)展卡的存儲(chǔ)器或與計(jì)算 機(jī)連接的功能擴(kuò)展單元的存儲(chǔ)器中。該功能擴(kuò)展卡或功能擴(kuò)展 單元的CPU基于程序代碼的指令執(zhí)行部分或全部實(shí)際處理，從 而實(shí)現(xiàn)上述實(shí)施例的功能。
應(yīng)用了本發(fā)明的存儲(chǔ)介質(zhì)存儲(chǔ)與上述過程相對(duì)應(yīng)的程序 代碼。
盡管參考典型實(shí)施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā) 明不局限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合 最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。
權(quán)利要求
1.一種圖像處理設(shè)備，其重放運(yùn)動(dòng)圖像數(shù)據(jù)，所述圖像處理設(shè)備包括輸入單元，其接收捕獲了異物的陰影的運(yùn)動(dòng)圖像數(shù)據(jù)；獲取單元，其獲取包括所述異物的位置和大小的信息的異物信息；校正單元，其通過使用所述獲取單元所獲得的所述異物信息，校正所述運(yùn)動(dòng)圖像數(shù)據(jù)的每一幀中的所述異物的陰影；重放單元，其重放所述運(yùn)動(dòng)圖像數(shù)據(jù)；輸出單元，其輸出所述重放單元所重放的圖像；以及設(shè)置單元，其根據(jù)所述重放單元對(duì)所述運(yùn)動(dòng)圖像數(shù)據(jù)的重放狀況，設(shè)置是否進(jìn)行所述校正單元的校正操作。
2. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，當(dāng) 所述運(yùn)動(dòng)圖像數(shù)據(jù)的所述重放狀況是暫停時(shí)，所述設(shè)置單元設(shè) 置成進(jìn)行用于校正在暫停時(shí)從所述輸出單元輸出的重放幀中的 所述異物的陰影的處理。
3. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，當(dāng) 所述運(yùn)動(dòng)圖像數(shù)據(jù)的所述重放狀況是暫停時(shí)，所述設(shè)置單元設(shè) 置成進(jìn)行用于校正從所述輸出單元輸出的任意重放幀中的所述 異物的陰影的處理。
4. 根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其特征在于，所 述任意重放幀包括已輸出的重放幀。
5. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，當(dāng) 所述運(yùn)動(dòng)圖像數(shù)據(jù)的所述重放狀況是幀正向前進(jìn)和幀反向前進(jìn) 中的任一個(gè)時(shí)，所述設(shè)置單元設(shè)置成進(jìn)行用于校正從所述輸出 單元輸出的重放幀中的所述異物的陰影的處理。
6. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，當(dāng) 所述運(yùn)動(dòng)圖像數(shù)據(jù)的所述重放狀況是慢動(dòng)作重放時(shí)，所述設(shè)置單元設(shè)置成進(jìn)行用于校正從所述輸出單元輸出的重放幀中的所 述異物的陰影的處理。
7. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，當(dāng)所述運(yùn)動(dòng)圖像數(shù)據(jù)的所述重放狀況是快速正向重放和快速反向 重放中的任一個(gè)時(shí)，所述設(shè)置單元設(shè)置成不校正從所述輸出單 元輸出的重放幀中的所述異物的陰影。
8. —種圖像處理設(shè)備的控制方法，所述圖像處理設(shè)備重放 運(yùn)動(dòng)圖像數(shù)據(jù)，所述控制方法包括以下步驟輸入步驟，用于接收捕獲了異物的陰影的運(yùn)動(dòng)圖像數(shù)據(jù)； 獲取步驟，用于獲取包括所述異物的位置和大小的信息的 異物信息；異物信息，校正所述運(yùn)動(dòng)圖像數(shù)據(jù)的每一幀中的所述異物的陰影；重放步驟，用于重放所述運(yùn)動(dòng)圖像數(shù)據(jù)；以及 設(shè)置步驟，用于根據(jù)所述重放步驟中對(duì)所述運(yùn)動(dòng)圖像數(shù)據(jù) 的重放狀況，設(shè)置是否進(jìn)行所述校正步驟中的校正操作。
全文摘要
本發(fā)明涉及一種圖像處理設(shè)備及其控制方法。該圖像處理設(shè)備包括輸入單元，其從攝像設(shè)備接收捕獲了粘附在光學(xué)構(gòu)件的表面上的異物的陰影的運(yùn)動(dòng)圖像數(shù)據(jù)；獲取單元，其從運(yùn)動(dòng)圖像數(shù)據(jù)獲取包括在運(yùn)動(dòng)圖像數(shù)據(jù)中所捕獲的異物的位置和大小的信息的異物信息；重放單元，其可以在通過使用異物信息校正運(yùn)動(dòng)圖像數(shù)據(jù)中的異物的陰影的同時(shí)，重放該運(yùn)動(dòng)圖像數(shù)據(jù)；顯示單元，其顯示重放單元所重放的圖像；以及設(shè)置單元，其根據(jù)運(yùn)動(dòng)圖像數(shù)據(jù)的重放狀況，設(shè)置是否進(jìn)行用于校正運(yùn)動(dòng)圖像數(shù)據(jù)的每一幀中的異物的陰影的處理。
文檔編號(hào)H04N5/926GK101568031SQ20091013554
公開日2009年10月28日 申請(qǐng)日期2009年4月21日 優(yōu)先權(quán)日2008年4月21日
發(fā)明者新谷拓也 申請(qǐng)人:佳能株式會(huì)社