專利名稱：圖像處理裝置、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、圖像處理方法和用于圖像處理的程序。
背景技術(shù)：
長時間曝光技術(shù)通常用作基于膠片的拍攝或圖像捕獲技術(shù)。在此技術(shù)中， 連續(xù)執(zhí)行曝光一定時間段，如幾秒到幾十秒甚至超過幾十分鐘。
長時間曝光技術(shù)還用于提供拍攝表現(xiàn)以及調(diào)整被攝體的亮度。
例如，用長曝光時間拍攝夜景。因為光量低，所以增加曝光時間以收集 足夠光量來獲得夜景的照片。
長時間曝光技術(shù)還可用于其他目的。例如，將光圈有意設(shè)置為低或降低 圖像捕獲靈敏度以表現(xiàn)被攝體的運動或聚焦到運動對象當中的靜止對象。
在曰本未審專利申請公開No. 2005-354166中公開了 一種數(shù)字相機，被設(shè) 計為在圖像捕獲操作后通過增加多個圖像來執(zhí)行長時間曝光。
如在長時間曝光期間使用閃光(閃光燈設(shè)備)來實現(xiàn)如第一簾幕(curtain) 同步、第二簾幕同步以及多閃光的各種效果的拍攝技術(shù)也是普遍的。

發(fā)明內(nèi)容
然而，用戶難以獲得其期望的圖像作為應(yīng)用了如長時間曝光、第一簾幕 同步、第二簾幕同步、以及多閃光效果的特殊圖像效果的捕獲圖像。
需要確定如包括曝光時間和快門速度、閃光發(fā)射時間、以及閃光量的曝 光設(shè)置的適當設(shè)置，以獲得令人滿意的圖像作為具有上述特效的圖像。用戶 需要根據(jù)其經(jīng)驗和直覺確定這樣的設(shè)置，而這在實踐中對于沒有經(jīng)驗的用戶 是困難的。
因此，期望允許不是專家的 一般用戶通過執(zhí)行圖像捕獲等容易地獲得與 通過長時間曝光獲得的圖像或具有使用長時間曝光的圖像效果(如第一簾幕 同步、第二簾幕同步和多閃光效果)的圖像類似的靜態(tài)圖像。
在本發(fā)明的實施例中， 一種圖像處理裝置包括圖像獲取單元，被配置為執(zhí)行圖像獲取操作以獲取在時間上具有連續(xù)性的圖像數(shù)據(jù)的多個幀；存儲 單元，被配置為暫時存儲由圖像獲取單元在圖像獲取操作期間獲取的圖像數(shù)
據(jù)的多個幀的每個；以及算術(shù)操作控制單元，被配置為使用在圖像獲取操作 期間順序存儲在存儲單元中的圖像數(shù)據(jù)的多個幀執(zhí)行圖像組合處理，以生成 組合圖像數(shù)據(jù)，所述組合圖像數(shù)據(jù)用作用于顯示的數(shù)據(jù)。
所述算術(shù)操作控制單元可執(zhí)行根據(jù)記錄操作輸入、將在記錄操作輸入時
獲取的組合圖像數(shù)據(jù)作為靜止圖像數(shù)據(jù)記錄到記錄介質(zhì)上的處理。
所述算術(shù)操作控制單元可使用對每個預(yù)定時間段存儲的圖像數(shù)據(jù)的多個
幀當中的包括圖像數(shù)據(jù)的最近的幀的圖像數(shù)據(jù)的預(yù)定數(shù)目的幀，生成組合圖 像數(shù)據(jù)。
所述算術(shù)操作控制單元可通過將相等的加權(quán)系數(shù)分配到要經(jīng)歷組合處理 的圖像數(shù)據(jù)的各幀來執(zhí)行組合處理。
所述算術(shù)操作控制單元還可通過將高加權(quán)系數(shù)分配到要經(jīng)歷組合處理的 圖像數(shù)據(jù)的各幀當中的圖像數(shù)據(jù)的最近的幀、而將低加權(quán)系數(shù)分配到圖像數(shù) 據(jù)的剩余的各幀，執(zhí)行組合處理。
所述算術(shù)操作控制單元還可通過將高加權(quán)系數(shù)分配到要經(jīng)歷組合處理的
圖像數(shù)據(jù)的各幀當中的圖像數(shù)據(jù)的最舊的幀、而將低加權(quán)系數(shù)分配到圖像數(shù)
據(jù)的剩余的各幀，執(zhí)行組合處理。
所述算術(shù)操作控制單元還通過將高加權(quán)系數(shù)和低加權(quán)系數(shù)周期性地分配
到要經(jīng)歷組合處理的圖像數(shù)據(jù)的各幀，執(zhí)行組合處理。
所述算術(shù)操作控制單元可使用在圖像獲取操作期間順序存儲在存儲單元 中的圖像數(shù)據(jù)的多個幀執(zhí)行圖像組合處理，以生成多類組合圖像數(shù)據(jù)，所生 成的多類組合圖像數(shù)據(jù)用作用于顯示的數(shù)據(jù)。
所述算術(shù)操作控制單元可執(zhí)行根據(jù)記錄操作輸入、將在記錄操作輸入時
生成的多類組合圖像數(shù)據(jù)中的至少 一 些作為靜止圖像數(shù)據(jù)記錄到記錄介質(zhì)上 的處理。
所述算術(shù)操作控制單元可使用在圖像獲取操作期間順序存儲在存儲單元 中的圖像數(shù)據(jù)的多個幀執(zhí)行圖像組合處理，以生成組合圖像數(shù)據(jù)，并且將生 成的組合圖像數(shù)據(jù)作為形成運動圖像的 一幀的圖像數(shù)據(jù)記錄到記錄介質(zhì)上。
所述算術(shù)操作控制單元可使用記錄的組合圖像數(shù)據(jù)作為用于顯示的數(shù)據(jù)。
6所述圖像獲取單元可包括圖像捕獲單元，其被配置為執(zhí)行圖像捕獲操作 以獲取在時間上具有連續(xù)性的圖像數(shù)據(jù)的多個幀。
替代地，所述圖像獲取單元可包括回放單元，其被配置為執(zhí)行回放操作 以獲取在時間上具有連續(xù)性的圖像數(shù)據(jù)的多個幀。
替代地，所述圖像獲取單元可包括接收單元，其被配置為執(zhí)行接收操作 以獲取在時間上具有連續(xù)性的圖像數(shù)據(jù)的多個幀。
所述圖像處理裝置還可包括顯示單元，被配置為顯示基于由算術(shù)操作控 制單元生成的組合圖像數(shù)據(jù)的圖像。
所述圖像處理裝置還可包括發(fā)送單元，被配置為發(fā)送由算術(shù)操作控制單 元生成的組合圖像數(shù)據(jù)。
所述算術(shù)操作控制單元可使用對每個預(yù)定時間段存儲的圖像數(shù)據(jù)的多個
幀當中的包括圖像數(shù)據(jù)的最近的幀的圖像數(shù)據(jù)的預(yù)定數(shù)目的幀，生成組合圖 像數(shù)據(jù)，并且使用生成的組合圖像數(shù)據(jù)作為用于顯示的數(shù)據(jù)。
在本發(fā)明的另一實施例中， 一種圖像處理方法包括下述步驟獲取在時 間上具有連續(xù)性的圖像數(shù)據(jù)的多個幀；暫時存儲多個所獲取的圖像數(shù)據(jù)幀的 每個；使用多個順序存儲的圖像數(shù)據(jù)幀執(zhí)行圖像組合處理，以生成組合圖像 數(shù)據(jù)；以及輸出組合圖像數(shù)據(jù)作為用于顯示的數(shù)據(jù)。
在本發(fā)明的另 一實施例中， 一種用于使得計算機執(zhí)行圖像處理方法的程 序，所述圖像處理方法包括下述步驟獲取在時間上具有連續(xù)性的圖像數(shù)據(jù) 的多個幀；暫時存儲多個所獲取的圖像數(shù)據(jù)幀的每個；使用多個順序存儲的 圖像數(shù)據(jù)幀執(zhí)行圖像組合處理，以生成組合圖像數(shù)據(jù)；以及輸出組合圖像數(shù) 據(jù)作為用于顯示的數(shù)據(jù)。
根據(jù)本發(fā)明的各實施例，例如，通過將對于預(yù)定幀時段在被攝體圖像捕 獲、視頻回放等期間作為表示捕獲的監(jiān)視圖像、回放監(jiān)視圖像等的顯示數(shù)據(jù) 順序獲得的各幀的圖像組合，生成組合圖像數(shù)據(jù)。所述組合圖像數(shù)據(jù)表示應(yīng) 用了長時間曝光效果的圖像、或應(yīng)用了如第一簾幕同步效果、第二簾幕同步 效果或多閃光效果的效果的圖像。
然后，例如，在每一個幀時段組合最近的幀和預(yù)定數(shù)目的之前的幀，以 產(chǎn)生要顯示的一幀的圖像。連續(xù)執(zhí)行該處理以提供這樣的圖像的顯示，其中 在每個幀時段獲得的組合圖像數(shù)據(jù)表示運功圖像中的一幀。換句話說，具有 長時間曝光效果的圖像以電影方式顯示為在圖像捕獲或回放期間顯示的監(jiān)視圖像。
利用這種特效的運動圖像的顯示，用戶可在圖像捕獲或回放期間實時觀 看通過應(yīng)用特殊圖像效果產(chǎn)生的圖像。例如，用戶可在監(jiān)視應(yīng)用了這樣的特 效的圖像的同時，等待好的快門釋放機會。
根據(jù)如快門操作的用戶的記錄操作，在快門釋放時獲得的組合圖像數(shù)據(jù) 記錄到記錄介質(zhì)上。因此，用戶可獲得具有期望的特效的期望場景的圖像。
根據(jù)本發(fā)明實施例的圖像處理裝置和圖像處理方法可在包括如數(shù)字照相 機的圖像捕獲裝置和如個人計算機的信息處理裝置的各種裝置中實現(xiàn)。
根據(jù)本發(fā)明實施例，例如，在圖像捕獲期間(當用戶尋找拍攝機會時) 或在回放期間顯示應(yīng)用了如長時間曝光效果、第一簾幕同步效果、第二簾幕 同步效果和多閃光效果的效果的圖像。這允許用戶實際觀看將作為應(yīng)用特效 的結(jié)果獲得的圖像或看起來像實時的圖像。當期望場景出現(xiàn)時，用戶執(zhí)行記 錄操作(快門操作和捕獲操作)，從而獲得實際已經(jīng)觀看的、具有期望的效果 的圖像作為靜止圖像。
因此， 一般用戶可容易和輕易地獲得在現(xiàn)有技術(shù)中只有專家可以實現(xiàn)的 作為靜止圖像的圖像表現(xiàn)。例如，可提升增強的拍攝表現(xiàn)或更有創(chuàng)造性的拍 攝表現(xiàn)。
此外，每個組合圖像被記錄為形成運動圖像的一幀的圖像數(shù)據(jù)，從而允 許記錄應(yīng)用了長時間曝光效果等的特殊運動圖像。因此， 一般用戶可以容易 地實現(xiàn)在現(xiàn)有技術(shù)中不能實現(xiàn)的運動圖像記錄。


圖l是根據(jù)本發(fā)明實施例的圖像捕獲裝置的框圖2A和2B分別是根據(jù)實施例的圖像捕獲裝置的外部前視圖和后視圖3是示出根據(jù)實施例的圖像捕獲模式選擇屏幕的圖4是示出根據(jù)實施例的實時圖像(live-image )組合模式處理的流程圖;
圖5A和5B是示出根據(jù)實施例的緩沖區(qū)域的圖6是描述根據(jù)實施例的組合處理的圖7是描述具有根據(jù)實施例的長時間曝光效果的組合處理的圖； 圖8是描述具有根據(jù)實施例的第 一 簾幕同步效果的組合處理的圖； 圖9是描述具有根據(jù)實施例的第二簾幕同步效果的組合處理的圖；圖10是描述具有根據(jù)實施例的多閃光效果的組合處理的圖； 圖ll是示出根據(jù)實施例、在實時圖像組合模式下顯示的圖像的圖； 圖12是示出根據(jù)實施例、在實時圖像組合模式下顯示的圖像的圖； 圖13是示出根據(jù)實施例、在實時圖像組合模式下顯示的圖像的圖； 圖14是示出根據(jù)實施例、在實時圖像組合模式下顯示的圖像的圖； 圖15是示出根據(jù)實施例、在實時圖像組合模式下顯示的圖像的圖； 圖16是描述根據(jù)實施例的另 一 圖像捕獲模式選擇屏幕的圖； 圖17是示出根據(jù)實施例的另 一實時圖像組合模式處理的流程圖； 圖18是示出根據(jù)實施例、在實時圖像組合模式下顯示的圖像的圖； 圖19是示出根據(jù)實施例的特殊運動圖像捕獲模式處理的流程圖； 圖20A和20B是描述根據(jù)實施例的特殊運動圖像捕獲模式的圖； 圖21是根據(jù)本發(fā)明實施例的信息處理裝置的框圖； 圖22是示出根據(jù)實施例的信息處理裝置中執(zhí)行的長時間曝光效果模式 的流程圖；以及
圖23是示出根據(jù)實施例的信息處理裝置中執(zhí)行的特殊運動圖像記錄模 式處理的流程圖。
具體實施例方式
下面將按下述順序描述本發(fā)明實施例
1. 圖像捕獲裝置的結(jié)構(gòu)
2. 實時圖像組合模式下的示例性操作
3. 實時圖像組合模式的其他示例性操作
4. 特殊運動圖像捕獲模式下的示例性操作
5. 信息處理裝置的應(yīng)用示例
1.圖像捕獲裝置的結(jié)構(gòu)
現(xiàn)在將參照圖1到2B在數(shù)字照相機的結(jié)構(gòu)的上下文中描述根據(jù)本發(fā)明 實施例的圖像捕獲裝置的結(jié)構(gòu)。
圖2A和2B分別是根據(jù)本發(fā)明實施例的圖像捕獲裝置1的外部前視圖和 后視圖。如圖2A和2B所示，圖像捕獲裝置1可以是例如不是專家的一般用 戶通常使用的數(shù)字照相機。
9圖像捕獲裝置1包括在其前側(cè)的圖像捕獲鏡頭單元21a和閃光發(fā)射單元 15、以及在其后側(cè)的顯示面板6。顯示面板6可以是液晶面板、有機電致發(fā) 光(EL)面板等。圖像捕獲裝置l還包括用于用戶操作的在適當位置處的操 作器。例如，操作鍵5a、 5b、 5c、 5d、 5f和5g用作用于提供各種操作功能 的鍵，包括快門操作鍵、模式操作鍵、廣角/長焦操作鍵、菜單操作鍵、曝光 校正指令鍵、以及回放鍵。還布置了包括轉(zhuǎn)盤(dial)操作單元5h和十字鍵 (cross key) 5i的其他操作器。轉(zhuǎn)盤操作單元5h用于對例如圖像捕獲模式進 行選擇等。十字鍵5i用于如選擇/設(shè)置在顯示面板6上顯示的操作菜單項目的 各種操作。
將例如參照圖1描述圖像捕獲裝置1的示例結(jié)構(gòu)。
如圖1所示，圖像捕獲裝置1包括圖像捕獲系統(tǒng)2、控制系統(tǒng)3、相機數(shù) 字信號處理器(DSP) 4、操作單元5、顯示面板6、顯示控制器7、外部接口 (I/F) 8、同步動態(tài)隨機存取存儲器(SDRAM) 9、以及介質(zhì)接口 10。
圖像捕獲系統(tǒng)2被配置為執(zhí)行圖像捕獲操作。圖像捕獲系統(tǒng)2包括鏡頭 機構(gòu)單元21、光圏/中灰(ND )濾光鏡(neutral density filter)機構(gòu)22 、圖像 捕獲元件單元23、模擬信號處理單元24、模-數(shù)(A/D)轉(zhuǎn)換單元25、鏡頭 驅(qū)動單元26、鏡頭位置檢測單元27、定時發(fā)生電路28、模糊檢測單元13、 發(fā)光驅(qū)動單元14、閃光發(fā)射單元15、鏡頭驅(qū)動器17、光圈/ND驅(qū)動器18、 以及圖像捕獲元件驅(qū)動器19。
來自被攝體的入射光通過鏡頭機構(gòu)單元21和光圈/ND濾光鏡機構(gòu)22導(dǎo) 入圖像捕獲元件單元23。
鏡頭機構(gòu)單元21合并在圖2A所示的圖像捕獲鏡頭單元21內(nèi)，并且具 有包括蓋鏡(cover lens )、聚焦鏡頭、以及變焦鏡頭的多個光學(xué)鏡頭。鏡頭驅(qū) 動單元26用作用于將聚焦鏡頭或變焦鏡頭沿光軸移動的鏡頭移動機構(gòu)。當通 過使用鏡頭驅(qū)動器17施加驅(qū)動動力時，鏡頭驅(qū)動單元26使聚焦鏡頭或變焦 鏡頭移動。鏡頭驅(qū)動器17由下面將描述的中央處理單元(CPU) 31控制來執(zhí) 行聚焦控制或變焦操作。
光圈/ND濾光鏡機構(gòu)22包括插入到鏡頭光學(xué)系統(tǒng)以衰減(調(diào)整)入射光 量的光圈機構(gòu)和ND濾光鏡機構(gòu)。光圈/ND濾光鏡機構(gòu)22被配置為調(diào)整光強。
光圏/ND驅(qū)動器18通過打開和關(guān)閉光圈機構(gòu)調(diào)整入射光量。光圏/ND驅(qū) 動器18還通過沿入射光的光軸插入和移除ND濾光鏡來調(diào)整入射光量。CPU
1031控制光圈/ND驅(qū)動器18以驅(qū)動光圈機構(gòu)或ND濾光鏡來控制入射光量(例 如執(zhí)行曝光調(diào)整控制)。
來自被攝體的光通量透射經(jīng)過鏡頭機構(gòu)單元21和光圈/ND濾光鏡機構(gòu) 22,并且在圖像捕獲元件單元23上形成被攝體圖像。
圖像捕獲元件單元23對形成的被攝體圖像進行光電轉(zhuǎn)換，并且輸出與被 攝體圖像對應(yīng)的捕獲的圖像信號。
圖像捕獲元件單元23具有由多個像素形成的矩形圖像捕獲區(qū)域，并且將 各圖像信號一個像素接一個像素地順序輸出到模擬信號處理單元24,每個所 述圖像信號是與一個像素中累積的電荷量對應(yīng)的模擬信號。圖像捕獲元件單 元23可以通過例如電荷耦合器件(CCD)傳感器陣列、互補金屬氧化物半導(dǎo) 體(CMOS)傳感器陣列等實現(xiàn)。
模擬信號處理單元24包括如相關(guān)雙倍采樣(CDS )電路和自動增益控制 (AGC)電路的內(nèi)部電路。模擬信號處理單元24對從圖像捕獲元件單元23 輸入的圖像信號執(zhí)行預(yù)定的模擬處理。
A/D轉(zhuǎn)換單元25將通過模擬信號處理單元24處理的模擬信號轉(zhuǎn)換為數(shù) 字信號，并且將數(shù)字信號提供到相機DSP4。
定時發(fā)生電路28由CPU31控制來對圖像捕獲元件單元23、模擬信號處 理單元24和A/D轉(zhuǎn)換單元25的操作定時進行控制。
具體地，定時發(fā)生電路28將用于控制圖像捕獲元件單元23的圖像捕獲 操作的定時的信號通過圖像捕獲元件驅(qū)動器19提供到圖像捕獲元件單元23, 如曝光/電荷讀取定時信號、用于提供電子快門功能的定時信號、傳送時鐘信 號、以及按照幀頻的同步信號。定時發(fā)生電路28還將定時信號提供到模擬信 號處理單元24，使得模擬信號處理單元24可以與傳送來自圖像捕獲元件單 元23的圖像信號同步地執(zhí)行處理。
CPU 31可以控制由定時發(fā)生電路28生成的定時信號，以改變圖像捕獲 的幀頻或執(zhí)行電子快門控制(曝光時間的幀內(nèi)可變控制)。此外，例如，CPU 31可以將增益控制信號通過定時發(fā)生電路28應(yīng)用到模擬信號處理單元24， 以執(zhí)行捕獲的圖像信號的可變增益控制。
模糊檢測單元13被配置為檢測相機抖動量。模糊4企測單元13例如包括 加速度傳感器、振動傳感器等，并且將檢測的信息作為模糊量提供到CPU 31。
閃光發(fā)射單元15由發(fā)光驅(qū)動單元14驅(qū)動來發(fā)光。CPU 31指令發(fā)光驅(qū)動單元14在用戶操作等中指定的預(yù)定時間發(fā)射閃光，使得可以從閃光發(fā)射單元
15發(fā)光。
相機DSP 4對從圖像捕獲系統(tǒng)2的A/D轉(zhuǎn)換單元25輸入的捕獲的圖像 信號執(zhí)行各種數(shù)字信號處理。
在相機DSP4中，例如如圖l所示，通過內(nèi)部硬件或軟件實現(xiàn)如圖像信 號處理單元41、壓縮/解壓縮處理單元42、 SDRAM控制器43、以及信息生 成單元44的處理功能。
圖像信號處理單元41對輸入的捕獲圖像信號執(zhí)行處理。例如，圖像信號 處理單元41使用捕獲的圖像信號執(zhí)行用于控制圖像捕獲系統(tǒng)2的驅(qū)動的算術(shù) 處理，如自動聚焦(AF)處理和自動光圈(auto-iris)(自動曝光(AE ))處 理，并且還執(zhí)行對于輸入的捕獲圖像信號自身的處理，如自動白平衡(AWB) 處理。
例如，在自動聚焦處理中，圖像信號處理單元41執(zhí)行輸入的捕獲圖像信 號的對比度檢測，并且將檢測的信息發(fā)送到CPU31。各種控制技術(shù)可用作自 動聚焦控制方法。在稱為對比度AF的技術(shù)中，在使得聚焦鏡頭運動的每個 時間點執(zhí)行捕獲圖像信號的對比度檢測，并且確定處于最佳對比度狀態(tài)的聚 焦鏡頭的位置。具體地，在圖像捕獲操作之前，CPU31執(zhí)行控制以便在控制 聚焦鏡頭的運動的同時檢查由圖像信號處理單元41檢測的對比度檢測值，并 且將處于最佳對比度狀態(tài)的位置設(shè)置為最佳聚焦位置。
在圖像捕獲期間，CPU 31可以使用稱為擺動(wobbling) AF的檢測方 法執(zhí)行聚焦控制。在圖像捕獲操作期間，CPU31在使得聚焦鏡頭恒定地前后 稍微運動的同時檢查由圖像信號處理單元41檢測的對比度檢測值。盡管聚焦 鏡頭的最佳位置可能依賴于被攝體的情況而變化，但是通過將聚焦鏡頭稍微 前后位移來執(zhí)行對比度檢測，從而根據(jù)被攝體的變化確定聚焦控制方向的變 化。因此，可以根據(jù)被攝體情況執(zhí)行自動聚焦。
注意到，在鏡頭驅(qū)動單元26中的鏡頭移動機構(gòu)被分配了各個移動位置的 地址，并且使用移動位置的地址來識別鏡頭位置。
鏡頭位置檢測單元27識別聚焦鏡頭的當前鏡頭位置的地址，以計算到 所聚焦的被攝體的距離，并且將關(guān)于計算的距離的距離信息提供到CPU 31。 因此，CPU 31可以確定到所聚焦的主^皮:攝體的距離。
在由相機DSP4的圖像信號處理單元41執(zhí)行的自動光圏處理中，例如計算被攝體亮度。例如，計算輸入的捕獲圖像信號的平均亮度，并且將關(guān)于計 算的平均亮度的被攝體亮度信息或曝光信息提供到CPU 31。可使用各種方法 來計算平均亮度，如計算捕獲的圖像數(shù)據(jù)的 一幀的所有像素的亮度信號的平 均值或計算當為圖像的中心部分分配權(quán)重時各亮度信號的平均值。
CPU31可以基于曝光信息執(zhí)行自動曝光控制。具體地，使用光圈機構(gòu)、 ND濾光鏡、圖像捕獲元件單元23中的電子快門控制、或用于模擬信號處理 單元24的增益控制來執(zhí)行曝光調(diào)整。
相機DSP4的圖像信號處理單元41除了執(zhí)行用于生成自動聚焦操作和自 動光圏操作使用的信號的處理外，還執(zhí)行對捕獲的圖像信號自身的信號處理， 如自動白平衡、伽瑪(y )校正、邊緣增強、以及相機抖動校正。
相機DSP 4中的壓縮/解壓縮處理單元42對捕獲的圖像信號執(zhí)行壓縮處 理，或?qū)嚎s的圖像數(shù)據(jù)執(zhí)行解壓縮處理。例如，壓縮/解壓縮處理單元42 根據(jù)如聯(lián)合攝影專家組(JPEG)或運動圖像專家組(MPEG)技術(shù)的技術(shù)執(zhí) 行壓縮/解壓縮處理。
SDRAM控制器43對SDRAM 9執(zhí)行寫入/讀取。SDRAM 9用于例如暫 時存儲從圖像捕獲系統(tǒng)2輸入的捕獲圖像信號，在由圖像信號處理單元41或 壓縮/解壓縮處理單元42執(zhí)行的處理中存儲數(shù)據(jù)或保留工作區(qū)域，或存儲由 信息生成單元44獲得的信息。SDRAM控制器43對SDRAM 9執(zhí)行這樣的數(shù) 據(jù)的寫入/讀取。
信息生成單元44生成用于下述組合處理中的各種操作的信息。例如，信 息生成單元44生成在捕獲的圖像信號屏幕中指示到被攝體的距離的距離分 布信息。距離分布信息可以是例如關(guān)于以像素為單位到被攝體的距離以及到 主被攝體的距離的信息。所述信息還稱為景深圖(depth map )。
可通過分析在上述擺動AF期間的模糊量等來執(zhí)行用于生成距離分布信 息的基于像素的距離信息的確定。替代地，可提供被配置為發(fā)出具有非可見 光的特定波長的輔助光的發(fā)光單元(未示出)，并且可以測量在特定波長的光 已經(jīng)發(fā)出后到其返回的時間段，以便一個像素接一個像素地確定到被攝體的 距離。
控制系統(tǒng)3包括CPU 31、隨機存取存儲器(RAM) 32、閃存只讀存儲 器(ROM ) 33、以及時鐘電路34?？刂葡到y(tǒng)3中的每個單元、相機DSP 4中 的每個單元、圖像捕獲系統(tǒng)2中的每個單元、顯示控制器7、外部接口 8和介質(zhì)接口 10被配置為經(jīng)由系統(tǒng)總線彼此傳送圖像數(shù)據(jù)或控制信息。
CPU 31控制圖像捕獲裝置1的整體操作。具體地，CPU 31根據(jù)內(nèi)部ROM 等中存儲的程序并根據(jù)利用操作單元5的用戶操作，執(zhí)行各種算術(shù)處理或與 對應(yīng)的單元交換控制信號等，以使得各單元執(zhí)行必要操作。CPU31還執(zhí)行下 述的圖像組合的進一步的處理，如算術(shù)處理和圖像分析處理。
RAM32暫時存儲(或緩沖)由相機DSP4處理的捕獲的圖像信號(每 幀的圖像數(shù)據(jù))，或暫時存儲(或緩沖)由下述組合處理生成的組合圖像數(shù)據(jù)。 RAM 32還存儲對應(yīng)于CPU 31的各種處理的其他信息。
閃存ROM 33用于存儲表示(已經(jīng)由用戶捕獲為靜態(tài)圖像或運動圖像的) 捕獲圖像的圖像數(shù)據(jù)或要以非易失性方式保存的其他信息。閃存ROM 33還 可以用于存儲用于控制圖像捕獲裝置1的軟件程序、相機設(shè)置數(shù)據(jù)等。
時鐘電路34執(zhí)行時間計數(shù)以確定當前時間信息(年、月、日、小時、分 鐘和秒)。
操作單元5包括圖2A和2B所示的操作器和用于按照操作器的操作生成 信號的信號生成單元?；诓僮髌鞯挠脩舨僮餍畔牟僮鲉卧?發(fā)送到CPU 31。
操作單元5可以被配置為允許觸摸面板操作以及使用操作器的操作。具 體地，顯示面板6可以被提供有觸摸傳感器，使得可以響應(yīng)于用戶對屏幕的 觸摸來執(zhí)行操作輸入。
顯示面板6上的顯示操作的示例可包括監(jiān)視器的顯示(在圖像捕獲期間的所 謂的實時取景(live view )顯示)、從記錄介質(zhì)90或閃存ROM 33讀取的回 放圖像的顯示、操作菜單的顯示、各種圖標的顯示、以及時間和日期的顯示。
介質(zhì)接口 10在CPU31的控制下，對置入圖像捕獲裝置1中的如存儲卡 (卡形的可移除存儲器)的記錄介質(zhì)90執(zhí)行數(shù)據(jù)的讀取/寫入。例如，介質(zhì) 接口 10執(zhí)行將作為圖像捕獲的結(jié)果獲得的靜止圖像數(shù)據(jù)或運動圖像數(shù)據(jù)記 錄到記錄介質(zhì)90上的操作。
介質(zhì)接口 10還執(zhí)行從記錄介質(zhì)90讀取記錄的靜止圖像數(shù)據(jù)或運動圖像 數(shù)據(jù)的操作。
盡管作為示例將記錄介質(zhì)90實現(xiàn)為便攜式存儲卡，但是記錄介質(zhì)90可 以是用于記錄作為圖像捕獲的結(jié)果要保存的靜止圖像或運動圖像的圖像數(shù)據(jù)的任何其他記錄介質(zhì)。例如，可使用如光盤的便攜式記錄介質(zhì)，或可合并硬
盤驅(qū)動器(HDD)并將其用于記錄。
外部接口 8根據(jù)如通用串行總線(USB)標準的信號標準，經(jīng)由預(yù)定電 纜發(fā)送各種數(shù)據(jù)到外部設(shè)備并從所述外部設(shè)備接收各種數(shù)據(jù)。外部接口 8可 以是符合除了 USB標準以外的標準(如，電氣電子工程師協(xié)會(IEEE) 1394 標準)的外部^妾口。
替代有線傳輸接口，外部接口 8可以是如紅外傳輸接口或近場通信接口 的無線傳輸接口。
圖像捕獲裝置l被配置為經(jīng)由外部接口 8發(fā)送數(shù)據(jù)到個人計算機或其他 各種設(shè)備，并從所述個人計算機或其他各種設(shè)備接收數(shù)據(jù)。例如，圖像捕獲 裝置1可以將捕獲的圖像數(shù)據(jù)傳送到外部設(shè)備。
在本實施例的圖像捕獲裝置1中，CPU31根據(jù)存儲在其中的程序和來自 操作單元5的用戶操作，執(zhí)行圖像捕獲操作控制或算術(shù)處理和用于各種操作 的控制。CPU31執(zhí)行包括下述處理的算術(shù)處理和控制操作。
CPU 31執(zhí)行圖像捕獲操作控制。具體地，CPU 31控制圖像捕獲系統(tǒng)2 或相機DSP 4中的每個單元以捕獲被攝體圖像。CPU 31執(zhí)行如自動聚焦處理、 自動曝光調(diào)整處理、以及閃光發(fā)射控制處理的其他處理。在圖像捕獲期間， 用戶可以選擇下述的各種圖像捕獲模式中的任何，并且CPU 31根據(jù)所選擇的 圖像捕獲模式控制圖像捕獲系統(tǒng)2的操作。
CPU 31還執(zhí)行圖像組合處理。在圖像捕獲操作中，由圖像捕獲系統(tǒng)2 捕獲并由相機DSP 4處理的圖像數(shù)據(jù)的每幀傳送到RAM 32中并在其中緩沖。 具體地，在下述稱為"實時圖像組合"的圖像捕獲模式下，緩沖的圖像數(shù)據(jù) 的多個幀被組合以生成用于表示如長時間曝光效果的特效的組合圖像數(shù)據(jù)。
例如，CPU31可對時間上具有連續(xù)性的圖像數(shù)據(jù)的各幀當中的、來自圖 像數(shù)據(jù)的最近的幀的圖像數(shù)據(jù)的預(yù)定的幀執(zhí)行使用加權(quán)平均的組合處理，以 生成組合圖像數(shù)據(jù)，所述時間上具有連續(xù)性的圖像數(shù)據(jù)已經(jīng)在每個幀時段捕 獲并順序緩沖。
可通過分配相等的加權(quán)系數(shù)到圖像數(shù)據(jù)的每幀或分配高加權(quán)系數(shù)到圖像 數(shù)據(jù)的特定幀來組合圖像數(shù)據(jù)的多個幀，以獲得期望的圖像效果。
CPU31還執(zhí)行顯示控制。具體地，CPU31指令顯示控制器7通過應(yīng)用 用于顯示的數(shù)據(jù)，來使得顯示面板6執(zhí)行期望的顯示。例如，可執(zhí)行圖像捕獲期間的監(jiān)視器顯示或回放圖像的顯示。具體地，隨著用于圖像捕獲監(jiān)視的 數(shù)據(jù)的每幀，通過上述組合處理生成的組合圖像數(shù)據(jù)被提供到顯示控制器7， 從而顯示具有特殊圖像效果的監(jiān)視器運動圖像(實時取景電影)。
CPU31還執(zhí)行記錄、回放和傳輸控制。具體地，CPU31指示介質(zhì)接口 10控制從記錄介質(zhì)90讀取或?qū)懭氲接涗浗橘|(zhì)90。例如，根據(jù)用戶的快門操 作，CPU 31指示介質(zhì)接口 IO將已經(jīng)緩沖的圖像數(shù)據(jù)或組合圖像數(shù)據(jù)的某個 巾貞記錄到記錄介質(zhì)90上，作為要保存的靜止圖像數(shù)據(jù)。此外，CPU31還可 以指示介質(zhì)接口 10將要緩沖的捕獲的圖像數(shù)據(jù)或組合圖像數(shù)據(jù)的每個幀記 錄到記錄介質(zhì)90上，作為運動圖像數(shù)據(jù)。
CPU 31還執(zhí)行將捕獲的圖像數(shù)據(jù)、組合圖像數(shù)據(jù)、從記錄介質(zhì)90讀取 的圖像數(shù)據(jù)等通過外部接口 8發(fā)送到外部設(shè)備的處理。
CPU 31還執(zhí)行檢測由用戶給出的操作輸入信息的操作檢測處理。具體 地，檢測來自操作單元5的輸入信息?；谠谠摬僮鳈z測處理中檢測的操作 輸入信息，CPU31執(zhí)行圖像捕獲操作控制、圖像捕獲期間的組合處理、圖像 記錄/回放/傳輸控制等。
2.實時圖像組合模式下的示例性操作
現(xiàn)在將描述可以是本實施例的圖像捕獲裝置1的特征的實時圖像組合模 式下的示例性操作。
當用戶使用圖像捕獲裝置l執(zhí)行圖像捕獲時，他或她可選擇各種預(yù)設(shè)圖 像捕獲模式。
圖像捕獲模式的示例包括自動模式、人像模式、風(fēng)景模式、近攝模式 (macro mode )、體育模式、日落場景模式、夜景模式、以及運動圖像捕獲模 式。
自動模式是其中使用圖像捕獲裝置1自動執(zhí)行如光圈值、快門速度、以 及國際標準化組織(ISO)靈敏度的最佳設(shè)置的圖像捕獲模式。
人像模式是其中以對提供人的照片(shot)最佳的設(shè)置執(zhí)行圖像捕獲的 圖像捕獲模式。
風(fēng)景模式是其中以對提供風(fēng)景的照片最佳的設(shè)置執(zhí)行圖像捕獲的圖像捕 獲模式。
近攝模式是其中以對提供比正常更接近相機的被攝體的照片最佳的設(shè)置 執(zhí)行圖像捕獲的圖像捕獲模式。可提供特殊近攝模式，即，用于提供花朵和昆蟲的清晰和生動的近攝照片的自然近攝模式
體育模式是其中以對提供動作的照片最佳的設(shè)置執(zhí)行圖像捕獲的圖像捕 獲模式。
曰落場景模式是其中以對提供日落場景的照片最佳的設(shè)置執(zhí)行圖像捕獲 的圖像捕獲模式。
夜景模式是其中以對提供夜景的照片最佳的設(shè)置執(zhí)行圖像捕獲的圖像捕 獲模式。
運動圖像模式是其中捕獲運動圖像的圖像捕獲模式。
可提供其他模式，如適于提供夜景中的人的照片的夜間人像模式、以及 適于提供焰火的照片的焰火模式。
用戶從上述圖像捕獲模式中選擇期望的圖像捕獲模式，從而執(zhí)行圖像捕 獲操作以獲得適于被攝體類型或條件的捕獲的圖像。
在本示例性實施例中，"實時圖像組合"模式被預(yù)設(shè)為圖像捕獲模式。
CPU 31允許用戶使用在顯示面板6上顯示的、如圖3所述的模式選擇屏 幕來選擇圖像捕獲模式。
在此情況下，除了如"自動模式"圖像捕獲、"人像模式"圖像捕獲、"曰 落場景模式，，圖像捕獲和"近攝模式，，圖像捕獲的標準圖像捕獲模式之外， 實時圖像組合模式與其相關(guān)聯(lián)的圖像一起顯示。與實時圖像組合模式相關(guān)聯(lián) 的圖像可以是例如長時間曝光效果的圖像。用戶可通過移動光標K按照圖像 捕獲目的選擇期望的模式。與各個模式相關(guān)聯(lián)的圖像的顯示幫助沒有經(jīng)驗的 用戶選擇模式。具體地，不熟悉如長時間曝光效果的特效的實現(xiàn)的用戶可使
用與實時圖像組合模式相關(guān)聯(lián)的圖像，通過實時圖像組合模式的詳情導(dǎo)航。 選擇模式的操作可以例如利用圖2B所示的轉(zhuǎn)盤操作單元5h執(zhí)行。 當用戶選擇圖像捕獲模式時，CPU 31根據(jù)所選擇的圖像捕獲模式執(zhí)行操
作設(shè)置。例如，CPU31控制圖像捕獲系統(tǒng)2中的每個單元以確定如曝光量、
曝光方法、電子快門設(shè)置、幀頻和增益的設(shè)置。
現(xiàn)在將詳細描述響應(yīng)于用戶對實時圖像組合模式的選擇的示例性操作。 當用戶執(zhí)行選擇實時圖像組合模式的操作時，CPU31開始圖4所示的處
理。首先，在步驟F101, CPU31控制捕獲圖像操作的開始。CPU31使得圖
像捕獲系統(tǒng)2的每個單元和相機DSP4開始圖像捕獲操作。因此，開始對于
被攝體圖像的圖像數(shù)據(jù)的逐幀獲取。
17在步驟F102， CPU31監(jiān)視用戶的快門操作。在步驟F103, CPU31監(jiān)視 實時圖像組合模式的終止操作。如果這些操作都沒有出現(xiàn)，則CPU 31進行到 步驟F104。
在步驟F104,將由圖像捕獲系統(tǒng)2捕獲并由相機DSP 4處理的圖像數(shù)據(jù) 的一幀加載到RAM 32。
如圖5A所示，RAM32具有幀圖像緩沖區(qū)32a和組合圖像緩沖區(qū)32b。
幀圖像緩沖區(qū)32a是用于緩沖在步驟F101開始圖像捕獲操作之后、在每 個幀時段從相機DSP4傳送的圖像數(shù)據(jù)的各個幀的區(qū)域。在步驟F104,從相 機DSP 4傳送的圖像數(shù)據(jù)的一幀暫時存儲在幀圖像緩沖區(qū)32a。
然后，CPU31執(zhí)行步驟F105的組合處理、步驟F106的組合圖像數(shù)據(jù)的 緩沖、以及步驟F107的組合圖像數(shù)據(jù)的顯示控制。然后，CPU31再次通過 步驟F102和F103執(zhí)行步驟F104到F107的處理。
即，對于執(zhí)行快門操作之前的時段，CPU31在每個幀時段執(zhí)行步驟F104 到F107的處理。根據(jù)幀圖像緩沖區(qū)32a的容量，圖像數(shù)據(jù)的當前幀和圖像數(shù) 據(jù)的預(yù)定數(shù)目的之前的幀緩沖在RAM 32的幀圖像緩沖區(qū)32a中。當幀圖像 緩沖區(qū)32a隨著操作的進程變滿時，在刪除緩沖的圖像數(shù)據(jù)的最舊的幀的同 時可存儲圖像數(shù)據(jù)的新的幀。
步驟F105到F107的處理通過示例如下執(zhí)行。
首先，在步驟F105,利用當前時間暫時存儲在幀圖像緩沖區(qū)32a中的圖 像數(shù)據(jù)的各幀當中的、圖像數(shù)據(jù)的最近的幀(步驟F104中加載的圖像數(shù)據(jù)的 幀)和圖像數(shù)據(jù)的預(yù)定數(shù)目的之前的幀，執(zhí)行組合處理。
圖6示出在組合處理中獲得的圖像。
加載到幀圖像緩沖區(qū)32a的圖像數(shù)據(jù)的各幀由圖像數(shù)據(jù)弁l、 #2、 #3等表 示。假設(shè)用于組合處理的圖像數(shù)據(jù)范圍是包括最近幀的7個幀的范圍。用于 組合處理的幀的數(shù)目可以是但不限于7。
現(xiàn)在假設(shè)在步驟F104,圖像數(shù)據(jù)#7加載為在時間t7獲得的捕獲圖像幀。 在此情況下，在步驟F105的組合處理中，使用包括圖像數(shù)據(jù)的7幀的組合范 圍A1，該圖像數(shù)據(jù)的7幀包括最近的圖像數(shù)據(jù)#7 (即，#1到#7)。
然后，使用組合范圍Al中的圖像數(shù)據(jù)的各個幀(#1到#7),并且執(zhí)行加 權(quán)系數(shù)的設(shè)置或加權(quán)平均處理以生成組合圖像數(shù)據(jù)。
這里，生成四類組合圖像數(shù)據(jù)(GL、 GS、 GA和GM)。圖6示出組合
18圖像數(shù)據(jù)GL1、 GS1、 GA1和GM1。
組合圖像數(shù)據(jù)GL可以是用于實現(xiàn)長時間曝光效果的組合圖像數(shù)據(jù)。長 時間曝光效果是通過例如對運動圖像執(zhí)行長時間連續(xù)曝光表現(xiàn)的效果，由如 圖7所示的組合圖像示意性示出的。
例如，為了從圖像數(shù)據(jù)幀#1到#7生成具有長時間曝光效果的組合圖像數(shù) 據(jù)GLl,相等地加權(quán)和組合圖像數(shù)據(jù)幀#1到#7。圖7分別示意性示出要分配 到圖像數(shù)據(jù)幀#1到#7的加權(quán)系數(shù)wl到w7。加權(quán)系數(shù)wl到w7的每個具有 表示加權(quán)系數(shù)值的高度。以此方式，各個圖像數(shù)據(jù)幀#1到#7相等地加權(quán)，并 經(jīng)歷加權(quán)平均處理以生成組合圖像。具體地，將各個圖像數(shù)據(jù)幀#1到#7中的 對應(yīng)像素的值相加，并且將得到的和除以圖像數(shù)據(jù)的幀的數(shù)目(在此情況下， 7)。因此，獲得具有如圖7所示的長時間曝光效果的組合圖像。
例如，如果圖像數(shù)據(jù)幀序列# 1到#7表示被攝體正從右邊移動到左邊的圖 像，則生成與通過對正從右邊移動到左邊的被攝體執(zhí)行長時間曝光獲得的圖 像類似的圖像的組合圖像數(shù)據(jù)，作為圖7所示的組合圖像。
組合圖像數(shù)據(jù)GS可以是用于實現(xiàn)第一簾幕同步效果的組合圖像數(shù)據(jù)。 第一簾幕同步效果是通過僅在長時間曝光的開始激發(fā)(firing)閃光來提供時 間上的第 一狀態(tài)的清晰表示的圖像捕獲技術(shù)。
圖8示出具有第一簾幕同步效果的組合圖像的示例。
在此示例中，通過將組合范圍內(nèi)的圖像數(shù)據(jù)的連續(xù)各幀組合，使得為圖 像數(shù)據(jù)的第一幀分配高加權(quán)系數(shù)，而為圖像數(shù)據(jù)的隨后的剩余各幀分配低加 權(quán)系數(shù)，獲得這樣的第一簾幕同步效果。
具體地，在圖像數(shù)據(jù)幀#1到#7中，將高加權(quán)系數(shù)wl分配給圖像數(shù)據(jù)幀 #1,而將低加權(quán)系數(shù)w2到w7分配給剩余的圖像數(shù)據(jù)幀弁2到弁7。然后，執(zhí)行 加權(quán)平均處理以生成組合圖像數(shù)據(jù)GS1。因此，獲得具有如圖8所示的第一 簾幕同步效果的組合圖像。
組合圖像數(shù)據(jù)GA可以是用于實現(xiàn)第二簾幕同步效果的組合圖像數(shù)據(jù)。 第二簾幕同步效果是通過僅在長時間曝光的結(jié)束激發(fā)閃光來提供時間上最后 的狀態(tài)的清晰表示的圖像捕獲技術(shù)。
圖9示出具有第二簾幕同步效果的組合圖像的示例。
在此示例中，通過將組合范圍內(nèi)的圖像數(shù)據(jù)的連續(xù)各幀組合，使得為圖 像數(shù)據(jù)的最后幀分配高加權(quán)系數(shù)，而為圖像數(shù)據(jù)的剩余各幀分配低加權(quán)系數(shù)，獲得這樣的第二簾幕同步效果。
具體地，在圖像數(shù)據(jù)幀#1到#7中，將高加權(quán)系數(shù)W7分配給圖像數(shù)據(jù)幀
#7,而將低加權(quán)系數(shù)wl到w6分配給剩余的圖像數(shù)據(jù)幀弁l到#6。然后，執(zhí)行 加權(quán)平均處理以生成組合圖像數(shù)據(jù)GA1。因此，獲得具有如圖9所示的第二 簾幕同步效果的組合圖像。
組合圖像數(shù)據(jù)GM可以是用于實現(xiàn)多閃光效果的組合圖像數(shù)據(jù)。多閃光 效果是通過在長時間曝光期間周期性激發(fā)閃光來提供被攝體的狀態(tài)的清晰表 示的圖像捕獲技術(shù)。
圖IO示出具有多閃光效果的組合圖像的示例。
在此示例中，通過將高和低加權(quán)系數(shù)周期性分配到組合范圍內(nèi)的圖像數(shù) 據(jù)的連續(xù)幀并組合圖像數(shù)據(jù)的連續(xù)幀，獲得這樣的多閃光效果。
例如，在圖像數(shù)據(jù)幀#1到#7中，將高力口權(quán)系數(shù)wl、 w4和w7分配給圖 像數(shù)據(jù)幀#1、 #4和#7,而將低加權(quán)系數(shù)w2、 w3、 w5和w6分配給圖像數(shù)據(jù) 幀#2、 #3、 #5和#6。然后，執(zhí)行加權(quán)平均處理以生成組合圖像數(shù)據(jù)GM1。因 此，獲得具有如圖IO所示的多閃光效果的組合圖像。
當如圖6所示在時間t7加載圖像數(shù)據(jù)幀弁7時，在步驟F105， CPU31使 用緩沖的圖像數(shù)據(jù)幀#1到弁7生成組合圖像數(shù)據(jù)GL1、 GS1、 GA1和GM1。
然后，在步驟F106， CPU31將組合圖像數(shù)據(jù)GL1、 GS1、 GA1和GM1 暫時存儲到RAM 32的組合圖像緩沖區(qū)32b。
然后，在步驟F107， CPU31將組合圖像數(shù)據(jù)GL1、 GS1、 GA1和GM1 作為顯示數(shù)據(jù)輸出到顯示控制器7，并且使得顯示面板6執(zhí)行預(yù)定的監(jiān)視顯 示。下面將描述顯示的示例。
接下來，在如圖6所示的時間t8,將下一圖像數(shù)據(jù)幀#8加載到RAM32 (步驟F104 )。還在該情況下，CPU 31在步驟F105執(zhí)行類似的組合處理。 在此情況下，如圖6所示的組合范圍A2所示，包括最近的圖像數(shù)據(jù)幀#8的 7個圖像數(shù)據(jù)幀(#2到#8 )用于執(zhí)行組合處理，以生成四類組合圖像數(shù)據(jù)GL2、 GS2、 GA2和GM2。
然后，在步驟F106, CPU31將組合圖像數(shù)據(jù)GL2、 GS2、 GA2和GM2 暫時存儲到RAM 32的組合圖像緩沖區(qū)32b。
然后，在步驟F107, CPU31將組合圖像數(shù)據(jù)GL2、 GS2、 GA2和GM2 作為顯示數(shù)據(jù)輸出到顯示控制器7,并且使得顯示面板6執(zhí)行預(yù)定的監(jiān)視顯
20示。
此外，在如圖6所示的時間t9，將下一圖像數(shù)據(jù)幀#9加載到RAM32(步 驟F104)。還在此情況下，CPU 31在步驟F105執(zhí)行類似的組合處理。在此 情況下，如圖6所示的組合范圍A3所示，包括最近的圖像數(shù)據(jù)幀#9的7個 圖像數(shù)據(jù)幀(#3到#9)用于執(zhí)行組合處理，以生成四類組合圖像數(shù)據(jù)GL3、 GS3、 GA3和GM3。
然后，在步驟F106, CPU31將組合圖像數(shù)據(jù)GL3、 GS3、 GA3和GM3 暫時存儲到RAM 32的組合圖像緩沖區(qū)32b。
然后，在步驟F107, CPU31將組合圖像數(shù)據(jù)GL3、 GS3、 GA3和GM3 作為顯示數(shù)據(jù)輸出到顯示控制器7，并且使得顯示面板6執(zhí)行預(yù)定的監(jiān)視顯 示。
上述處理繼續(xù)直到執(zhí)行快門操作或直到執(zhí)行終止實時圖像組合模式的操 作(切換到另一模式的操作)。
圖5B示意性示出在步驟F106暫時加載到RAM 32的組合圖像緩沖區(qū) 32b的上述各類組合圖像數(shù)據(jù)。當作為重復(fù)上述處理的結(jié)果組合圖像緩沖區(qū) 32b變滿時，在刪除最舊的組合圖像數(shù)據(jù)的同時可暫時存儲新的組合圖像數(shù) 據(jù)。
步驟F104到F107的處理重復(fù)一段時間，在該段時間期間，用戶尋找拍 攝機會。換句話說，用戶在觀看顯示面板6的同時等待好的拍攝機會。
根據(jù)步驟F107的處理，將四類組合圖像數(shù)據(jù)(GL、 GS、 GA和GM) 提供到顯示控制器7,作為用于顯示的數(shù)據(jù)。顯示控制器7使得顯示面板6 利用組合圖像數(shù)據(jù)(GL、 GS、 GA和GM)執(zhí)行例如如圖11所示的顯示。
在顯示的圖像當中，在選擇圖像區(qū)61中顯示的圖像以最大尺寸顯示。
此外，并排顯示對應(yīng)于四類組合圖像數(shù)據(jù)(GL、 GS、 GA和GM)的圖 像。具體地，顯示基于組合圖像數(shù)據(jù)GL的長時間曝光效果圖像62、基于組 合圖像數(shù)據(jù)GS的第一簾幕同步效果圖像63、基于組合圖像數(shù)據(jù)GA的第二 簾幕同步效果圖像64、和基于組合圖像數(shù)據(jù)GM的多閃光效果圖像65。
此外，顯示組合設(shè)置指示66。組合設(shè)置指示66可以是例如組合時間指 示。例如，圖ll所示的"組合時間2秒"指示對最近的幀和對應(yīng)于過去兩 秒的在前幀執(zhí)行上述組合處理。例如，如果以每秒30幀的幀頻捕獲圖像，則 執(zhí)行60幀的組合處理。用戶可通過操作光標K,從四類圖像效果的圖像62、 63、 64和65當中 選擇期望的圖像。盡管在圖4所示的處理中沒有示出，但是CPU31根據(jù)用戶 的光標操作將光標K的顯示位置發(fā)送到顯示控制器7，使得使用光標K選擇 的對象可以表現(xiàn)在顯示面板6上。
此外，當前正使用光標K選擇的圖像的放大視圖可以顯示在屏幕上的選 擇圖像區(qū)61中。
例如，在圖ll中，當前正使用光標K選擇長時間曝光效果圖像62。在 此情況下，將應(yīng)用了長時間曝光效果的組合圖像顯示在選擇圖像區(qū)61中。
在圖12中，當前正使用光標K選擇第一簾幕同步效果圖像63。在此情 況下，將應(yīng)用了第一簾幕同步效果的組合圖像顯示在選擇圖像區(qū)61中。
在圖13中，當前正使用光標K選擇第二簾幕同步效果圖像64。在此情 況下，將應(yīng)用了第二簾幕同步效果的組合圖像顯示在選擇圖像區(qū)61中。
在圖14中，當前正使用光標K選擇多閃光效果圖像65。在此情況下， 將應(yīng)用了多閃光效果的組合圖像顯示在選擇圖像區(qū)61中。
如上所述，在步驟F107的處理中，在每個幀時段將四類組合圖像數(shù)據(jù) GL、 GS、 GA和GM輸出到顯示控制器7，作為顯示數(shù)據(jù)。
具體地，在每個幀時段中使用組合圖像數(shù)據(jù)GL1、 GL2、 GL3等以顯示 長時間曝光效果圖像62。
在每個幀時段中使用組合圖像數(shù)據(jù)GS1、 GS2、 GS3等以顯示第一簾幕 同步效果圖像63。
在每個幀時段中使用組合圖像數(shù)據(jù)GA1、 GA2、 GA3等以顯示第二簾幕 同步效果圖像64。
在每個幀時段中使用組合圖像數(shù)據(jù)GM1、 GM2、 GM3等以顯示多閃光 效果圖像65。
因此，在顯示面板6上，用作當前被攝體的監(jiān)視器屏幕圖像的實時運動 圖像(示出通過圖像的被攝體場景的運動圖像(實時取景))顯示為應(yīng)用了長 時間曝光效果的圖像、應(yīng)用了第一簾幕同步效果的圖像、應(yīng)用了第二簾幕同 步效果的圖像和應(yīng)用了多閃光效果的圖像。
具有這些效果的圖像之一由用戶選擇并顯示在選擇圖像區(qū)61。 因此，用戶可以實際觀看到將作為應(yīng)用了上述圖像效果的結(jié)果獲得的圖 像，同時等待好的拍攝機會。換句話說，用戶可以在觀看實際應(yīng)用特效的結(jié)果的同時尋找拍攝機會。
如圖14所示，當多閃光效果圖像65被選擇并顯示在選擇圖像區(qū)61中時， 可提供發(fā)光間隔指示67。
多閃光效果是通過周期性發(fā)射閃光獲得的圖像效果，并且圖像的視覺印 象依賴于發(fā)光間隔而不同。因此，期望的是用戶可以修改發(fā)光間隔，例如， 在本示例性操作中，在組合處理中按期望向其分配圖IO所示的高加權(quán)系數(shù)的 幀的間隔。如圖15所示，用戶可以被允許來使用光標K選擇發(fā)光間隔指示 67,并執(zhí)行預(yù)定操作以修改發(fā)光間隔。例如，可允許用戶將發(fā)光間隔改變?yōu)?0.5秒、0.75秒、1秒、1.25秒、1.5秒、2秒等。設(shè)置還可以以較小的時間步 進而改變。
當改變發(fā)光間隔時，CPU 31改變當在圖4所示的步驟F105中的組合處 理中生成組合圖像數(shù)據(jù)GM時分配高加權(quán)系數(shù)的間隔。因此，多閃光效果圖 像65的多閃光效果(當正選擇它時，在選擇圖像區(qū)61中顯示的圖像)可以 在顯示器上調(diào)整，并可由用戶觀看到。
還期望用戶被允許來通過使用光標K執(zhí)行預(yù)定操作來修改組合設(shè)置指示 66。例如，可允許用戶將組合時間改變?yōu)?.5秒、1秒、1.5秒、2秒、2.5秒、 3秒等。設(shè)置可以以較小的時間步進而改變。
當改變組合時間時，CPU 31根據(jù)改變的組合時間，改變在圖4所示的步 驟F105中的組合處理中使用的組合范圍(幀的數(shù)目)。
如上所述，用戶在實時觀看顯示在顯示面板6上的、應(yīng)用了長時間曝光 效果等的被攝體場景的監(jiān)視圖像的同時，在期望的時刻執(zhí)行快門操作。
當檢測到用戶的快門操作時，CPU 31將處理從步驟F102前進到步驟 F108,并且執(zhí)行將在快門釋放時獲得的組合圖像記錄到記錄介質(zhì)90上的處 理。在快門釋放時獲得的組合圖像可包括緊接在檢測到快門操作前已經(jīng)在步 驟F105中生成的并且在步驟F106中暫時存儲的組合圖像數(shù)據(jù)GL、 GS、 GA 和GM。
然后，例如，當前正由用戶選擇的組合圖像(即，在顯示面板6上的選 擇圖像區(qū)61中顯示的組合圖像)用作要實際保存為靜止圖像的組合圖像數(shù) 據(jù)。例如，如圖ll所示，當當前正選擇長時間曝光效果的組合圖像時，CPU 31將該長時間曝光效果的組合圖像GL(x)傳送到介質(zhì)接口 10以將組合圖像 GL(x)存儲在記錄介質(zhì)90上。因此，用戶可將期望場景的長時間曝光效果的組合圖像保存為 一 張照片 (靜止圖像)。
在步驟F109, CPU31控制顯示控制器7將記錄在記錄介質(zhì)90上的組合 圖像數(shù)據(jù)顯示在顯示面板6上，使得用戶可以觀看捕獲的圖像。記錄的組合 圖像可以全屏顯示例如大約2秒到大約5秒。
然后，當完成顯示時，恢復(fù)步驟F102到F107的處理。
因此，再次將長時間曝光效果等的圖像顯示為實時監(jiān)視圖像，使得用戶 可以尋找下一拍攝機會。
當在步驟F103檢測到終止實時圖像組合模式的用戶操作時，CPU31終 止圖4所示的處理。
在步驟F108中記錄捕獲圖像的處理還可以通過示例如下執(zhí)行。
例如，不僅當前正顯示在選擇圖像區(qū)61中的組合圖像、而且所有四類組 合圖像都可以記錄在記錄介質(zhì)90上。換句話說，長時間曝光效果、第一簾幕 同步效果、第二簾幕同步效果以及多閃光效果的四張照片的靜止圖像數(shù)據(jù)可 以通過單個快門操作記錄到記錄介質(zhì)90上。
盡管在快門釋放時獲得的組合圖像通過緊接在快門釋放之前的步驟 F105中生成的組合圖像數(shù)據(jù)實現(xiàn)，但是包括緊接在步驟F102中檢測到快門 操作之后獲得的幀的各幀也可用于生成組合圖像數(shù)據(jù)GL、 GS、 GA和GM, 并且組合圖像數(shù)據(jù)GL、 GS、 GA和GM可記錄到記錄介質(zhì)卯上，作為在快 門釋放時獲得的組合圖像數(shù)據(jù)。
在此情況下，可以僅生成并記錄當前正選4奪的組合圖^象。例如，如圖14 所示，如果當正選擇長時間曝光效果圖像時檢測到快門操作，則在步驟F108， 可使用緊接在快門操作后獲得的幀作為最近的幀生成長時間曝光效果的組合 圖像數(shù)據(jù)GL,并且可以將其記錄在記錄介質(zhì)90上。
此外，除了在快門釋放時獲得的組合圖像之外，在一定時間范圍內(nèi)獲得 的組合圖像數(shù)據(jù)也可以記錄在記錄介質(zhì)90上。如圖5B所示，在每個幀時段 中生成的組合圖像數(shù)據(jù)GL、 GS、 GA和GM暫時保存在組合圖像緩沖區(qū)32b 中。
因此，在快門釋放之前一段時間已經(jīng)獲得的組合圖像數(shù)據(jù)還可以記錄到 記錄介質(zhì)90上，作為捕獲的圖像。例如，可統(tǒng)一記錄在快門釋放之前已經(jīng)獲 得的組合圖像數(shù)據(jù)的若干幀。此外，除了組合圖像數(shù)據(jù)之外，在幀圖像緩沖區(qū)32a中緩沖的圖像數(shù)據(jù) (例如，從其生成要記錄的組合圖像數(shù)據(jù)的圖像數(shù)據(jù)的多個幀)還可以記錄 到記錄介質(zhì)90上。
在本示例性操作中，作為圖像捕獲的結(jié)果獲得的圖像數(shù)據(jù)保存在記錄介 質(zhì)90中。圖像數(shù)據(jù)可保存閃存ROM 33中，而不是記錄介質(zhì)90?？墒褂脤?圖像數(shù)據(jù)正常地記錄到記錄介質(zhì)90、而當沒有^L置記錄介質(zhì)90時將其記錄 到閃存ROM33上的另一操作方法。
利用上述本示例性操作，圖像捕獲裝置1可以被配置為使得生成并顯示 具有如長時間曝光、第一簾幕同步、第二簾幕同步、或多閃光的應(yīng)用的效果 的組合圖像，從而在用戶執(zhí)行圖像捕獲(或執(zhí)行快門操作)前向用戶呈現(xiàn)將 通過執(zhí)行圖像組合實現(xiàn)的圖像效果，使得用戶可以針對圖像效果來執(zhí)行圖像 捕獲操作。
此外，顯示實時應(yīng)用了上述每個效果的被攝體場景的圖像，因此方便了 用于實現(xiàn)長時間曝光、第一簾幕同步、第二簾幕同步和多閃光效果的最佳快 門釋放時間的識別。因此，即使沒有經(jīng)驗的用戶也可以適當?shù)夭东@各種特殊圖像。
此外，可同時觀看四類圖像效果。這幫助用戶根據(jù)用戶的偏好或被攝體 場景更精確地選擇期望的效果。
此外，如上所述，組合圖像數(shù)據(jù)還緩沖在組合圖像緩沖區(qū)32b中。這允 許根據(jù)快門操作記錄在快門釋放時獲得的顯示圖像和在快門釋放前后獲得的 組合圖像。因此，可以提供被設(shè)計來更多地避免用戶錯過好的快門釋放機會 以獲得特殊拍攝效果圖像的相機。
在上述示例中，在步驟F105中的每個幀時段內(nèi)生成四類組合圖像數(shù)據(jù)。 替代地，可生成應(yīng)用了一個、兩個、三個或多于四個圖像效果的組合圖像。
此外，步驟F105到F107的處理可以不必在每個幀時賴:執(zhí)行。例如，步 驟F105到F107的處理可以間斷地(如兩個幀時^殳一次，或三個幀時4殳一次) 執(zhí)行。具體地，在難以加速在組合處理中涉及的時間的情況下，優(yōu)選地間斷 地執(zhí)行步驟F105到F107的處理。
例如，在圖6所示的示例中，使用組合范圍Al執(zhí)行組合處理，然后可 以使用組合范圍A3執(zhí)行組合處理。
在組合范圍中涉及的時間長的情況下，可以在幀圖像緩沖區(qū)32a中累積對應(yīng)于比在組合處理中涉及的時間更長的時間的圖像數(shù)據(jù)。
此外，為了減少CPU 31對于組合處理和組合圖像顯示處理的處理負載，
步驟F105到F107的處理可通過生成并顯示低分辨率組合圖像數(shù)據(jù)而實現(xiàn)。
替代地，顯示在顯示面板6上的長時間曝光效果圖像62、第一簾幕同步 效果圖像63 、第二簾幕同步效果圖像64和多閃光效果圖像65的每個可以是 表現(xiàn)對應(yīng)圖像效果的預(yù)設(shè)圖像(靜止圖像或運動圖像)，并且被攝體場景的實 際監(jiān)視器圖像可以僅在選擇圖像區(qū)61中顯示。在此情況下，僅僅當前正使用 光標K選擇的 一類組合圖像數(shù)據(jù)可以處理為用于顯示的數(shù)據(jù)。
盡管上述圖14等中所示的顯示在顯示面板6上產(chǎn)生，但是例如，顯示圖 像數(shù)據(jù)可從外部接口 8傳送到外部顯示設(shè)備，并且圖14等中所示的圖像可以 顯示在所述顯示設(shè)備上。
當圖像捕獲裝置1通過數(shù)字單反鏡頭(SLR)相機實現(xiàn)時也可應(yīng)用本示 例性操作。如本領(lǐng)域共同的，在SLR相機中，被攝體光以成像光學(xué)系統(tǒng)的所 謂"向下反射(mirrordown)"狀態(tài)導(dǎo)入取景器中，并且當執(zhí)行快門操作時， 引入"向上反射(mirrorup)"狀態(tài)，并且將被攝體光導(dǎo)入成像設(shè)備單元，使 得對光線暴露成像設(shè)備單元。這里，當選擇上述實時圖像組合模式時，設(shè)置 向下反射狀態(tài)使得被攝體光可以導(dǎo)向成像元件單元，除非執(zhí)行快門操作。然 后，對通過成像元件單元獲得的圖像數(shù)據(jù)執(zhí)行組合處理，并顯示組合圖像。 因此，實現(xiàn)與上述類似的操作。下面的示例性操作也可應(yīng)用到數(shù)字SLR相機。
3.實時圖像組合模式的其他示例性操作
接下來，將參照圖16、 17和18描述實時圖像組合模式下的另一示例性 操作。
圖16示出圖像捕獲模式選擇屏幕。在上述示例性操作中，在圖3所示的 選擇屏幕上選擇"實時圖像組合模式，，以選擇圖像捕獲模式。在此示例性操 作中，如圖16所示，除了正常的圖像捕獲模式(如自動模式和人像模式)以 外，對于預(yù)先選擇還可獲得額外的模式，即"長時間曝光效果"、"第一簾幕 同步效果"、"第二簾幕同步效果"和"多閃光效果"。用戶操作光標K來選 擇期望的圖像捕獲模式。
例如，如圖16所示，當將光標K定位到"長時間曝光效果"模式并執(zhí) 行模式設(shè)置操作時，CPU31執(zhí)行圖17所示的長時間曝光效果模式處理。
現(xiàn)在將描述圖17所示的處理。例如，當用戶執(zhí)行選擇"長時間曝光效果，，模式的操作時，CPU31開始
圖17所示的處理。首先，在步驟F201， CPU31控制圖像捕獲操作的開始。 CPU 31使得圖像捕獲系統(tǒng)2的每個單元和相機DSP 4開始圖像捕獲操作。因 此，開始被攝體圖像的圖像數(shù)據(jù)的逐幀獲取。
在步驟F202, CPU31監(jiān)視用戶的快門操作。在步驟F203, CPU31監(jiān)視 長時間曝光效果模式的終止操作。如果這些操作都沒有出現(xiàn)，則CPU31進行 到步驟F204。
在步驟F204,將由圖像捕獲系統(tǒng)2捕獲并由相機DSP 4處理的圖像數(shù)據(jù) 的一幀加載到RAM 32的幀圖J象緩沖區(qū)32a。
然后，CPU 31執(zhí)行步驟F205的組合處理、步驟F206的組合的圖像數(shù)據(jù) 的緩沖、以及步驟F207的組合的圖像數(shù)據(jù)的顯示控制。然后，CPU31再次 通過步驟F202和F203執(zhí)行步驟F204到F207的處理。
即，對于執(zhí)行快門操作之前的時段，CPU31在每個幀時^:執(zhí)行步驟F204 到F207的處理。根據(jù)幀圖像緩沖區(qū)32a的容量，圖像數(shù)據(jù)的當前幀和圖像數(shù) 據(jù)的預(yù)定數(shù)目的在前幀緩沖在RAM32的幀圖像緩沖區(qū)32a中。
步驟F205到F207的處理通過示例如下執(zhí)行。
首先，在步驟F205，利用當前暫時存儲在幀圖像緩沖區(qū)32a中的圖像數(shù) 據(jù)的各幀當中的、圖像數(shù)據(jù)的最近的幀(步驟F204中加載的圖像數(shù)據(jù)的幀) 和圖像數(shù)據(jù)的預(yù)定數(shù)目的在前幀，執(zhí)行組合處理。
在此情況下，生成用于實現(xiàn)長時間曝光效果的組合圖像數(shù)據(jù)，作為組合 圖像數(shù)據(jù)GL。
然后，在步驟F206, CPU 31將組合圖像數(shù)據(jù)GL暫時存儲到RAM 32 的組合圖像緩沖區(qū)32b中。
然后，在步驟F207, CPU 31將組合圖像數(shù)據(jù)GL輸出到顯示控制器7 作為顯示數(shù)據(jù)，并且使得顯示面板6執(zhí)行預(yù)定監(jiān)視顯示。
上述處理繼續(xù)直到已經(jīng)執(zhí)行快門操作或直到已經(jīng)執(zhí)行終止長時間曝光效
果模式的操作(切換到另 一模式的操作)。
步驟F204到F207的處理重復(fù)一段時間，在該段時間期間，用戶尋找拍 攝機會。換句話說，用戶在觀看顯示面板6的同時等待好的拍攝機會。
根據(jù)步驟F207的處理，在每個幀時段將長時間曝光效果的組合圖像數(shù)據(jù) GL提供到顯示控制器7，作為用于顯示的數(shù)據(jù)。例如，顯示控制器7使得顯示面板6利用組合圖像數(shù)據(jù)GL執(zhí)行例如如圖18所示的顯示。 在此情況下，對應(yīng)于組合圖像數(shù)據(jù)GL的圖像全屏顯示。 此外，顯示例如組合時間的組合設(shè)置指示66。
因此，用戶可以實際觀看將作為應(yīng)用長時間曝光效果的結(jié)果獲得的圖像 同時等待好的拍攝機會。
用戶在實時觀看在顯示面板6上顯示的、應(yīng)用了長時間曝光效果的被攝 體場景的監(jiān)視圖像的同時，在預(yù)定時刻執(zhí)行快門操作。
當檢測到用戶的快門操作時，CPU 31將處理從步驟F202前進到步驟 F208，并且執(zhí)行將在快門釋放時獲得的組合圖像記錄到記錄介質(zhì)90的處理。 在快門釋放時獲得的組合圖像可以是緊接在快門操作的檢測之前在步驟F205 生成的并且在步驟F206中暫時存儲的組合圖像數(shù)據(jù)GL。
CPU31將該長時間曝光效果的組合圖像GL(x)應(yīng)用到介質(zhì)接口 10，以將 組合圖像GL(x)存儲到記錄介質(zhì)90上。
因此，用戶可將期望場景的長時間曝光效果的組合圖像保存為 一張照片 (靜止圖像)。
在步驟F209, CPU 31控制顯示控制器7將記錄在記錄介質(zhì)卯上的組合 圖像數(shù)據(jù)顯示在顯示面板6上預(yù)定時間段，以便允許用戶檢查捕獲的圖像。
然后，當完成顯示時，繼續(xù)步驟F202到F207的處理。
因此，長時間曝光效果的圖像再次顯示在實時監(jiān)視圖像中，使得用戶可 以尋找下一拍攝機會。
當在步驟F203檢測到終止長時間曝光效果模式的用戶操作時，CPU 31 終止圖17所示的處理。
還可以通過示例在下面執(zhí)行步驟F208的記錄捕獲圖像的處理。
盡管在快門釋放時獲得的組合圖像通過緊接在快門釋放之前在步驟 F205已經(jīng)生成的組合圖像數(shù)據(jù)實現(xiàn)，但是，例如，包括緊接在步驟F202中 檢測快門操作后獲得的幀的各幀也可用于生成組合圖像數(shù)據(jù)GL,并且組合圖 像數(shù)據(jù)Gl可記錄到記錄介質(zhì)90上，作為在快門釋放時獲得的組合圖像數(shù)據(jù)。
此外，除了在快門釋放時獲得的組合圖像之外，在一定時間范圍內(nèi)獲得 的、此時已經(jīng)暫時存儲在組合圖像緩沖區(qū)32b中的多條組合圖像數(shù)據(jù)GL可 以記錄在記錄介質(zhì)90上。
此外，除了組合圖像數(shù)據(jù)GL外，在幀圖像緩沖區(qū)32a中緩沖的圖像數(shù)
28據(jù)(例如，從其生成要記錄的組合圖像數(shù)據(jù)GL的圖像數(shù)據(jù)的多個幀)也可 以記錄到記錄介質(zhì)90上。
盡管在圖n所示的處理中，用戶選擇長時間曝光效果模式，但是當用戶 選擇第一簾幕同步效果模式、第二簾幕同步效果模式和多閃光效果模式時，
可執(zhí)行與圖17所示的處理類似的處理。例如，當用戶選擇第一簾幕同步效果 模式時，可在步驟F205中的組合處理中生成第一簾幕同步效果的組合圖像數(shù) 據(jù)GS,并且可以圖18所示的方式在步驟F207提供基于第一簾幕同步效果的 組合圖像數(shù)據(jù)GS的顯示。
根據(jù)上述本示例性處理，生成和顯示應(yīng)用了用戶選擇的圖像效果的組合 圖像。這允許用戶在觀看監(jiān)視器顯示的同時尋找拍攝機會，所述監(jiān)視器顯示 在用戶執(zhí)行圖像捕獲(或執(zhí)行快門操作)之前通過應(yīng)用用戶選擇的圖像效果 而產(chǎn)生。因此，可以容易地獲得應(yīng)用了期望的圖像效果的捕獲圖像。
具體地，與參照圖4所述的處理相比，CPU31上的處理負載可以極大地 減少。這是因為僅生成和顯示由用戶預(yù)先選擇的特定類型的組合圖像數(shù)據(jù)。
而且，在該示例性處理中，不必在每個幀時段執(zhí)行步驟F205到F207的 處理。例如，可以間斷地(如兩幀時段一次或三幀時段一次)執(zhí)行步驟F205 到F207的處理。具體地，在難以加速組合處理中涉及的時間的情況下，優(yōu)選 地間斷地執(zhí)行步驟F205到F207的處理。
在組合處理中涉及的時間長的情況下，可以在幀圖像緩沖區(qū)32a中累積 對應(yīng)于比在組合處理中涉及的時間更長的時間的圖像數(shù)據(jù)。
此外，為了進一步減少CPU 31用于組合處理和組合圖像顯示處理的處 理負載，可通過生成并顯示低分辨率組合圖像數(shù)據(jù)來實現(xiàn)步驟F205到F207 的處理。
此外，盡管在顯示面板6上產(chǎn)生上述圖18所示的顯示，但是例如顯示圖 像數(shù)據(jù)可以從外部接口 8傳送到外部顯示設(shè)備，并且圖18所示的圖像可顯示 在顯示設(shè)備上。
4.特殊運動圖像捕獲模式中的示例性操作
接下來，將參照圖19和20描述用于執(zhí)行特殊運動圖像捕獲的示例性操 作。這里使用的術(shù)語"特殊運動圖像捕獲"指將長時間曝光效果等的圖像記 錄為運動圖像。在上述示例性操作中，具有如長時間曝光效果的應(yīng)用的效果 的組合圖像數(shù)據(jù)在每個幀時段顯示，使得特效可以應(yīng)用到被攝體場景的運動圖像監(jiān)視器顯示上。在記錄介質(zhì)90上記錄這種應(yīng)用了特效的運動圖像被稱為 "特殊運動圖像捕獲"。
將參照圖20A和20B描述正常運動圖像捕獲和特殊運動圖像捕獲之間的 差別。
圖20B示出正常運動圖像捕獲。在正常運動圖像捕獲中，捕獲幀圖像#1、 #2、 #3等的每個是形成運動圖像的一個幀的數(shù)據(jù)。
另一方面，在本示例性操作的特殊運動圖像捕獲中，如圖20A所示，例 如，應(yīng)用了上述長時間曝光效果的組合圖像數(shù)據(jù)GL1、 GL2、 GL3等的每個 是形成運動圖像的 一個幀的數(shù)據(jù)。
通過執(zhí)行如圖20A所示的特殊運動圖像記錄，可以記錄具有應(yīng)用了如長 時間曝光效果、第一簾幕同步效果、第二簾幕同步效果和多閃光效果的特效 的運動圖像。
圖19示出當設(shè)置特殊運動圖像捕獲模式時的CPU31的示例性處理。 這里，作為示例，用戶執(zhí)行對"長時間曝光效果"執(zhí)行特殊運動圖像記
錄的模式選擇操作。
首先，在步驟F301, CPU31控制圖像捕獲操作的開始。CPU31使得圖 像捕獲系統(tǒng)2的每個單元和相機DSP4開始圖像捕獲操作。因此，開始對于 被攝體圖像的圖像數(shù)據(jù)的逐幀獲取。
在步驟F302, CPU31監(jiān)^L用戶的記錄開始操作。在步驟F303， CPU 31 監(jiān)視特殊圖像捕獲模式的終止操作。如果這些操作都沒有出現(xiàn)，則CPU 31 進行到步驟F304。
在步驟F304，將由圖像捕獲系統(tǒng)2捕獲并由相機DSP 4處理的圖像數(shù)據(jù) 的一幀加載到RAM 32的幀圖像緩沖區(qū)32a。
然后CPU 31執(zhí)行步驟F305的組合處理和步驟F306的組合的圖像數(shù)據(jù) 的顯示控制。然后，CPU 31再次通過步驟F302和F303執(zhí)行步驟F304到F306 的處理。
即，對于執(zhí)行記錄開始操作之前的時段(在記錄待機時段期間)，CPU 31 在每個幀時段執(zhí)行步驟F304到F307的處理。
在步驟F305，使用當前暫時存儲在幀圖像緩沖區(qū)32a中的圖像數(shù)據(jù)的各 幀當中的、圖像數(shù)據(jù)的最近的幀(步驟F304中加載的圖像數(shù)據(jù)的幀)和預(yù)定 數(shù)目的在前幀，執(zhí)行組合處理。在此情況下，生成用于實現(xiàn)長時間曝光效果的組合圖像數(shù)據(jù)，作為組合圖像數(shù)據(jù)GL。
然后，在步驟F206， CPU 31將組合圖像數(shù)據(jù)GL輸出到顯示控制器7 作為顯示數(shù)據(jù)，并且使得顯示面板6執(zhí)行預(yù)定監(jiān)視器顯示。
通過在記錄待機時段期間重復(fù)上述處理，將長時間曝光效果的組合圖像 數(shù)據(jù)GL在每個幀時段提供到顯示控制器，作為用于顯示的數(shù)據(jù)。
顯示控制器7使得顯示面板6利用組合圖像數(shù)據(jù)GL執(zhí)行例如如圖18所 示的顯示。
用戶在監(jiān)視這樣的應(yīng)用了長時間曝光效果的被攝體場景的運動圖像的同 時尋找開始記錄的機會。
當檢測到用戶的記錄開始操作時，CPU 31從步驟F302進行到步驟F307, 并且重復(fù)步驟F308到F3U的處理，直到檢測到記錄結(jié)束操作。
在步驟F308,由圖像捕獲系統(tǒng)2捕獲并由相機DSP4處理的圖像數(shù)據(jù)的 一幀被加載到RAM 32的幀圖像緩沖區(qū)32a。
在步驟F309，使用當前暫時存儲在幀圖像緩沖區(qū)32a中的圖像數(shù)據(jù)的各 幀當中的、圖像數(shù)據(jù)的最近的幀(步驟F308中加載的圖像數(shù)據(jù)的幀)和圖像 數(shù)據(jù)的預(yù)定數(shù)目的在前幀，執(zhí)行組合處理。在此情況下，生成用于實現(xiàn)長時 間曝光效果的組合圖像數(shù)據(jù)，作為組合圖像數(shù)據(jù)GL。
在步驟F310, CPU 31將組合圖像數(shù)據(jù)GL輸出到顯示控制器7作為顯 示數(shù)據(jù)，并且使得顯示面板6執(zhí)行預(yù)定監(jiān)視顯示。
然后，在步驟F311，組合圖像數(shù)據(jù)GL傳送到介質(zhì)接口 10，作為形成運 動圖像的一幀的數(shù)據(jù)，并且記錄到記錄介質(zhì)90上。
因此，對于從當執(zhí)行記錄開始操作時到當執(zhí)行記錄結(jié)束操作時的時間段， 如圖20A所示，使用一條組合圖像數(shù)據(jù)GL作為一幀的數(shù)據(jù)執(zhí)行運動圖像記 錄。
當在步驟F307檢測到記錄結(jié)束操作時，CPU31返回到步驟F302。然后， CPU 31執(zhí)行上述待機時段的處理。
當在步驟F303檢測到終止長時間曝光效果模式的用戶操作時，CPU 31 結(jié)束圖19所示的處理。
利用上述處理，實現(xiàn)應(yīng)用了長時間曝光效果的運動圖像的記錄。因此， 用戶可以容易地實現(xiàn)在現(xiàn)有技術(shù)中沒有實現(xiàn)的運動圖像捕獲。
此外，通過回放記錄的運動圖像，用戶可以欣賞應(yīng)用了長時間曝光效果
31等的運動圖像。
圖19示出基于長時間曝光效果的特殊運動圖像捕獲的處理?？蓤?zhí)行與圖 19所示的處理類似的處理，以實現(xiàn)第一簾幕同步效果模式、第二簾幕同步效 果模式或多閃光效果模式下的特殊運動圖像捕獲。例如，在第一簾幕同步效
果模式下，可在步驟F305或F309中的組合處理中生成第一簾幕同步效果的 組合圖像數(shù)據(jù)GS，并且可以圖18所示的方式在步驟F306或F310中提供基 于第一簾幕同步效果的組合圖像數(shù)據(jù)GS的顯示。在步驟F311,第一簾幕同 步效果的組合圖像數(shù)據(jù)GS可被記錄為運動圖像的一幀。
注意，與基于組合圖像數(shù)據(jù)的運動圖像一起，如圖20B所示的正常運動 圖像可記錄到記錄介質(zhì)90上。
此外，盡管上述圖18所示的顯示在顯示面板6上產(chǎn)生，但是例如顯示圖 像數(shù)據(jù)可從外部接口 8傳送到外部設(shè)備，并且圖18所示的圖像可在顯示設(shè)備 上顯示。
此外，特殊運動圖像數(shù)據(jù)可記錄到閃存ROM33等上，而不是記錄介質(zhì) 90上。
在上述運動圖像捕獲中，用戶執(zhí)行記錄開始操作和記錄結(jié)束操作?？衫?如如下實現(xiàn)記錄開始操作和記錄結(jié)束操作
(1 )用戶執(zhí)行快門操作以執(zhí)行記錄開始操作，并再次執(zhí)行快門操作以執(zhí) 行記錄結(jié)束操作。
(2 )對于用戶連續(xù)執(zhí)行快門操作(或正按下快門按鈕)的時段執(zhí)行記錄。 即，用戶開始快門操作以執(zhí)行記錄開始操作，并且釋放快門按鈕以執(zhí)行記錄 結(jié)束操作。
5.信息處理裝置的應(yīng)用示例
在上述實施例中，使用圖像捕獲裝置1執(zhí)行圖像捕獲和組合處理。在本 發(fā)明的實施例中，可使用除圖像捕獲裝置1以外的設(shè)備。
圖21示出根據(jù)本發(fā)明另一實施例的信息處理裝置，例如，個人計算機(以 下稱為"PC" ) 200。
如圖21所示，PC200包括中央處理單元(CPU) 211、存儲器單元212、 網(wǎng)絡(luò)接口單元213、顯示控制器214、輸入設(shè)備接口單元215、硬盤驅(qū)動(HDD ) 接口單元216、鍵盤217、鼠標218、 HDD 219、顯示設(shè)備220、總線221、外 部設(shè)備接口單元222、以及存儲卡接口單元223。
32CPU211用作PC200的主控制器，并且根據(jù)存儲器單元212中存儲的程 序執(zhí)行各種控制處理。CPU 211經(jīng)由總線221連接到其他單元。
總線221上的每個設(shè)備具有唯一的存儲器地址或輸入/輸出(I/O)地址， 并且CPU 211可使用所述地址來尋址各設(shè)備?？偩€221的示例可以是外圍組 件互連(PCI)總線。
存儲器單元212被配置為包括易失性存儲器和非易失性存儲器兩者。存 儲器單元212包括用于存儲程序的如ROM的非易失性存儲器、用作計算工 作區(qū)域或各種數(shù)據(jù)的暫時存儲的RAM、以及電可^f察除和可編程只讀存儲器 (EEPROM )。
存儲器單元212用于存儲由CPU 211執(zhí)行的程序代碼或如對PC 200唯 一的標識信息的其他信息，或用作通信數(shù)據(jù)的緩沖區(qū)或當其執(zhí)行時用于工作 數(shù)據(jù)的工作區(qū)。
網(wǎng)絡(luò)接口單元213根據(jù)如以太網(wǎng)(注冊商標)的預(yù)定通信協(xié)議，將PC 200 連接到如因特網(wǎng)或局域網(wǎng)(LAN)的網(wǎng)絡(luò)。CPU 211可以經(jīng)由網(wǎng)絡(luò)接口單元 213與連接到網(wǎng)絡(luò)的裝置通信。
顯示控制器214是用于實際處理由CPU 211發(fā)出的呈現(xiàn)命令的專用控制 器。例如，顯示控制器214支持對應(yīng)于超級視頻圖形陣列(SVGA)或擴展 圖形陣列(XGA)標準的位圖呈現(xiàn)功能。在顯示控制器214中處理的呈現(xiàn)數(shù) 據(jù)暫時寫到例如幀緩沖器(未示出)，然后輸出到顯示設(shè)備220。顯示設(shè)備220 可以是例如有機EL顯示器、陰極射線管(CRT)顯示器、液晶顯示器等。
輸入設(shè)備接口單元215是用于將包括^:盤217和鼠標218的用戶輸入設(shè) 備連接到實現(xiàn)為PC 200的計算機系統(tǒng)的設(shè)備。
具體地，輸入到PC200的用戶操作使用鍵盤217和鼠標218執(zhí)行，并且 將操作輸入信息經(jīng)由輸入設(shè)備接口單元215提供到CPU211。
HDD219是這樣的外部存儲設(shè)備，其中如本領(lǐng)域所普遍的，用作存儲介 質(zhì)的磁盤被固定地安裝，并且比其他外部存儲設(shè)備具有更大的存儲容量和更 高的數(shù)據(jù)傳輸率。將軟件程序以可執(zhí)行狀態(tài)放置在HDD 219上被稱為將程序 "安裝，，到系統(tǒng)中。通常，HDD219以非易失性狀態(tài)存儲由CPU211執(zhí)行的 操作系統(tǒng)(OS)的程序代碼、應(yīng)用程序、設(shè)備驅(qū)動等。
例如當啟動PC 200時或當啟動用戶層的應(yīng)用程序時，存儲到HDD 219中的程序展開到存儲器單元212中。CPU 211基于存儲器單元212中開發(fā)的 程序執(zhí)行處理。
外部設(shè)備接口單元222被配置為與根據(jù)如USB標準的標準連接的外部設(shè) 備接口。
在本實施例中，外部設(shè)備的示例可包括例如數(shù)字照相機、攝像機、以及
視頻播放器。
PC 200可經(jīng)由外部設(shè)備接口單元222,通過通信從數(shù)字照相機等獲取圖 像數(shù)據(jù)。
外部設(shè)備接口單元222支持的標準不限于USB標準，而可以是如電氣電 子工程師協(xié)會(IEEE) 1394的任何其他接口標準。
存儲卡接口單元223被配置為從如存儲卡的記錄介質(zhì)90讀取數(shù)據(jù)/將數(shù) 據(jù)寫入如存儲卡的記錄介質(zhì)90。
放置例如用作數(shù)字照相機的記錄介質(zhì)90、例如上述圖像捕獲裝置l、攝 像機等。然后，可從記錄介質(zhì)90讀取圖像數(shù)據(jù)。
在具有上述結(jié)構(gòu)的PC 200中，執(zhí)行基于CPU 211中的軟件配置(即， 如應(yīng)用程序、0S、和設(shè)備驅(qū)動的軟件)的算術(shù)處理/控制操作以執(zhí)行各種操作。
在本實施例中，操作包括例如下面描述的圖22和23中所示的處理。用 于執(zhí)行處理的程序安裝到例如HDD219中，并且當啟動所述程序時展開到存 儲器單元212中。CPU 211根據(jù)在存儲器單元212中展開的程序執(zhí)行必要的 算術(shù)處理或控制處理，以實現(xiàn)圖22和23所示的處理。
用于使得CPU 211執(zhí)行如圖22和23所示的處理的程序可以預(yù)先記錄到 用作合并在如PC200的裝置中的記錄介質(zhì)的HDD，或在具有CPU的微計算 機中的ROM、閃存等。
替代地，所述程序可以暫時或永久存儲(記錄)到可移除記錄介質(zhì)，如 軟盤、致密盤只讀存儲器(CD-ROM)、磁光(MO)盤、數(shù)字多功能盤(DVD)、 藍光盤、磁盤、半導(dǎo)體存儲器或存儲卡。這種可移除記錄介質(zhì)可以作為所謂 的封裝軟件而提供。
所述程序可經(jīng)由如LAN或因特網(wǎng)的網(wǎng)絡(luò)從下載站點下載，以及從可移除 記錄介質(zhì)安裝到個人計算機等中。
在具有上述結(jié)構(gòu)的PC 200中，例如，HDD 219可存儲各種類型的圖像 內(nèi)容。例如，由用戶使用數(shù)字照相機或攝像機捕獲的圖像內(nèi)容可被加載并存儲到HDD219中。因此，用戶可欣賞使用PC200回放的捕獲的圖像。
例如，PC200的外部接口單元222可連接到圖像捕獲裝置1的外部接口
8，使得使用圖像捕獲裝置1捕獲的圖像數(shù)據(jù)可傳送并加載到PC 200。
在圖像捕獲裝置1中使用的記錄介質(zhì)90 (存儲卡)還可放置在存儲卡接
口單元223中，使得PC 200可從記錄介質(zhì)90獲取使用圖像捕獲裝置1捕獲
的圖像數(shù)據(jù)。
除了用戶捕獲的圖像內(nèi)容外，例如使用外部視頻播放器等回放并從外部 接口單元222獲取的圖像內(nèi)容或使用網(wǎng)絡(luò)接口單元213經(jīng)由網(wǎng)絡(luò)從外部服務(wù) 器下載的圖像內(nèi)容還可存儲到HDD 219中并被回放。
在本實施例中，當要回放運動圖像內(nèi)容時，執(zhí)行圖22和23所示的處理， 以記錄長時間曝光效果圖像等的靜止圖像數(shù)據(jù)或記錄上述特殊運動圖像數(shù) 據(jù)。
這里使用的術(shù)語"運動圖像內(nèi)容"指可在PC200上回放的任何類型的運 動圖像數(shù)據(jù)。
運動圖像內(nèi)容的示例包括使用攝像機或具有運動圖像捕獲功能的數(shù)字照 相機捕獲并加載到PC 200中的運動圖像數(shù)據(jù)、在網(wǎng)絡(luò)上下載的運動圖像數(shù) 據(jù)、以及記錄在記錄介質(zhì)90上的運動圖像數(shù)據(jù)。
運動圖像內(nèi)容的另外的示例包括當圖21中未示出的DVD驅(qū)動、藍光 盤驅(qū)動等連接到PC 200時記錄在如DVD或藍光盤的光盤上的運動圖像數(shù)據(jù)； 以及電視廣播調(diào)諧器等合并到或連接到PC 200時的運動圖像數(shù)據(jù)。
即，可以使用PC 200回放并可以在顯示設(shè)備220上顯示的任何運動圖像 數(shù)據(jù)可以是下面將描述的"運動圖像內(nèi)容"，而無論運動圖像數(shù)據(jù)的類型。
當回放運動圖像內(nèi)容時，CPU211執(zhí)行圖22所示的處理。因此，用戶可 生成具有應(yīng)用了如長時間曝光效果、第一簾幕同步效果、第二簾幕同步效果 以及多閃光效果的效果的圖像數(shù)據(jù)(靜止圖像數(shù)據(jù))，并且可記錄(保存)生 成的圖像數(shù)據(jù)。
現(xiàn)在將描述圖22所示的處理。
這里，作為示例，用戶輸入指令以執(zhí)行"長時間曝光效果"模式下的操 作。在此情況下，CPU211開始圖22所示的處理。首先，在步驟F401, CPU 211控制回^L的開始。例如，CPU 211控制記錄在HDD 219等上的運動圖J象 內(nèi)容的回放的開始。這里使用的術(shù)語"回放"不僅指/人HDD219等讀取運動圖像內(nèi)容，而且指其他類型的回放，如在網(wǎng)絡(luò)上流傳輸回放、從外部設(shè)備輸 入的圖像的回放顯示、以及在合并到PC 200中的調(diào)諧器接收的電視廣播的運 動圖像的回放顯示。
在步驟F402 ， CPU 211監(jiān)視用戶的捕獲操作。在步驟F403 ， CPU 211監(jiān) 視回放的結(jié)束?；胤诺慕Y(jié)束包括由于運動圖像內(nèi)容的回放完成的回放結(jié)束以 及根據(jù)用戶執(zhí)行的回放結(jié)束操作的回放結(jié)束。
對于回放正在進行中的時段，CPU211進行到步驟F404。
在步驟F404,緩沖通過回放獲得的圖像數(shù)據(jù)的一幀。圖像數(shù)據(jù)的一幀存 儲到例如存儲器單元212中形成的幀圖像緩沖區(qū)。
然后，CPU 211執(zhí)行步驟F405的組合處理、步驟F406的組合圖像數(shù)據(jù) 的緩沖、以及步驟F407的組合圖像數(shù)據(jù)的顯示控制。
然后，CPU 211再次通過步驟F402和F403執(zhí)行步驟F404到F407的處理。
即，對于檢測到捕獲操作之前的時段，CPU 211在每個幀時段執(zhí)行步驟 F404到F407的處理。在存儲器單元212的幀圖像緩沖區(qū)中，對于正回放的 運動圖像內(nèi)容，緩沖圖像數(shù)據(jù)的當前幀和圖像數(shù)據(jù)的預(yù)定數(shù)目的在前幀。
作為示例，如下所示執(zhí)行步驟F405到F407的處理。
首先，在步驟F405,利用當前暫時存儲在存儲器單元212的幀圖像緩沖 區(qū)中的圖像數(shù)據(jù)的各幀當中的、圖像數(shù)據(jù)的最近的幀(步驟F404中加載的圖 像數(shù)據(jù)的幀)和圖像數(shù)據(jù)的預(yù)定數(shù)目的之前的幀，執(zhí)行組合處理。
在此情況下，生成用于實現(xiàn)長時間曝光效果的組合圖像數(shù)據(jù)，作為組合 圖像數(shù)據(jù)GL。
然后，在步驟F406, CPU211將組合圖像數(shù)據(jù)GL暫時存儲到存儲器單 元212的組合圖像緩沖區(qū)中。
然后，在步驟F407， CPU211將組合圖像數(shù)據(jù)GL輸出到顯示控制器214 作為顯示數(shù)據(jù)，以在顯示設(shè)備220上顯示對應(yīng)于組合圖像數(shù)據(jù)GL的圖像。
利用該處理，替代運動圖像內(nèi)容的正常回放顯示，在顯示設(shè)備220上執(zhí) 行對每幀應(yīng)用了長時間曝光效果的運動圖像回放顯示。
用戶在觀看顯示設(shè)備220的屏幕的同時尋找捕獲機會。
當檢測到用戶的捕獲操作時，CPU 211將處理從步驟F402前進到步驟 F408,并且執(zhí)行記錄在捕獲時獲得的組合圖像的處理。組合圖像記錄到例如HDD 219或記錄介質(zhì)90上。
在捕獲時獲得的組合圖像可以是緊接在捕獲操作的檢測之前在步驟 F405生成的并且在步驟F406中已經(jīng)暫時存儲的組合圖像數(shù)據(jù)GL。
因此，用戶可在觀看回放的長時間曝光效果的圖像的同時，將期望場景 的圖像保存為 一條靜止圖像數(shù)據(jù)。
在步驟F409， CPU 211控制顯示控制器214將記錄在HDD 219等上的 組合圖像數(shù)據(jù)顯示在顯示設(shè)備220的屏幕上預(yù)定時間段，以便允許用戶檢查 捕獲的圖像。
然后，當完成顯示時，繼續(xù)步驟F402到F407的處理。 當在步驟F403檢測到回放結(jié)束時，CPU 211結(jié)束圖22所示的處理。 圖22示出當用戶選擇長時間曝光效果模式的圖像。當用于選擇第一簾幕 同步效果模式、第二簾幕同步效果模式或多閃光效果模式時可執(zhí)行與圖22所 示的處理類似的處理。例如，當用戶選擇第一簾幕同步效果模式時，在步驟 F405的組合處理中可生成第一簾幕同步效果的組合圖像數(shù)據(jù)GS，并且在步 驟F407中可提供基于第一簾幕同步效果的組合圖像數(shù)據(jù)GS的顯示。
根據(jù)上述處理，用戶可在選擇和回放期望的運動圖像內(nèi)容的同時，獲得 應(yīng)用了所選擇的圖像效果的某個場景的組合圖像。因此，用戶可以容易地生 成和欣賞各種圖像。
除了上述示例性處理外，如參照圖4所描述的，可同時執(zhí)行顯示多個圖 像效果的圖像的處理。
接下來，將描述圖23所示的處理。
這里，將描述用于執(zhí)行"長時間曝光效果，，的特殊運動圖像記錄的處理。 首先，在步驟F501， CPU211控制運動圖像內(nèi)容的回放的開始。在步驟 F502, CPU211監(jiān)視用戶的記錄開始操作。在步驟F503, CPU211監(jiān)視運動 圖像內(nèi)容的回放的結(jié)束。對于執(zhí)行記錄開始操作之前的時段，CPU 211將正 回放的運動圖像內(nèi)容的圖像數(shù)據(jù)的一幀加載到存儲器單元212的幀圖像緩沖 區(qū)中。
在步驟F505,使用當前暫時存儲在存儲器單元212的幀圖像緩沖區(qū)中的 圖像數(shù)據(jù)的各幀當中的、圖像數(shù)據(jù)的最近的幀(步驟F504中加載的圖像數(shù)據(jù) 的幀)和圖像數(shù)據(jù)的預(yù)定數(shù)目的在前幀，執(zhí)行組合處理。
在此情況下，生成用于實現(xiàn)長時間曝光效果的組合圖像數(shù)據(jù)，作為組合
37圖像數(shù)據(jù)GL。
然后，在步驟F506， CPU 211將組合圖像數(shù)據(jù)GL輸出到顯示控制器214 作為顯示數(shù)據(jù)，以在顯示設(shè)備220上顯示對應(yīng)于組合圖像數(shù)據(jù)GL的圖像。
對于執(zhí)行記錄開始操作之前的時段(在記錄待機時段期間)，CPU 211在 每個幀時段執(zhí)行步驟F504到F506的處理。因此，替代運動圖像內(nèi)容的正常 回放顯示，在顯示設(shè)備20上執(zhí)行對每幀應(yīng)用了長時間曝光效果的運動圖像回 放顯示。
當檢測到用戶的記錄開始操作時，CPU 211從步驟F502進行到步驟 F507,并且重復(fù)步驟F509到F512的處理，直到檢測到記錄結(jié)束操作或直到 在步驟F508中檢測到回放的結(jié)束。
在步驟F509，當前正回放的運動圖像內(nèi)容的圖像數(shù)據(jù)的一幀被加載到存 儲器單元212的幀圖像緩沖區(qū)。
在步驟F510,使用當前暫時存儲在存儲器單元212的幀圖像緩沖區(qū)中的 圖像數(shù)據(jù)的各幀當中的、圖像數(shù)據(jù)的最近的幀(步驟F509中加載的圖像數(shù)據(jù) 的幀)和圖像數(shù)據(jù)的預(yù)定數(shù)目的在前幀，執(zhí)行組合處理，以生成用于實現(xiàn)長 時間曝光效果的組合圖像數(shù)據(jù)，作為組合圖像數(shù)據(jù)GL。
在步驟F511 ， CPU 211將組合圖像數(shù)據(jù)GL輸出到顯示控制器214作為 顯示數(shù)據(jù)，以在顯示設(shè)備220上顯示對應(yīng)于組合圖像數(shù)據(jù)GL的圖像。
然后，在步驟F512,組合圖像數(shù)據(jù)GL記錄到例如HDD219上，作為形 成運動圖像的 一幀的數(shù)據(jù)。
因此，對于從當執(zhí)行記錄開始操作時到當執(zhí)行記錄結(jié)束操作時的時間段， 如圖20A所示，使用一條組合圖像數(shù)據(jù)GL作為一幀的數(shù)據(jù)執(zhí)行運動圖像記 錄。
當在步驟F507檢測到記錄結(jié)束操作時，CPU 211返回到步驟F502。然 后，CPU211執(zhí)行上述待機時段的處理。
此外，當在步驟F503或F508 一企測到回放結(jié)束時，CPU 211結(jié)束圖23
所示的處理。
利用上述處理，實現(xiàn)對當前正回放的運動圖像內(nèi)容應(yīng)用了長時間曝光效 果的運動圖像記錄。因此，用戶可以創(chuàng)建在現(xiàn)有技術(shù)中沒有實現(xiàn)的運動圖像 內(nèi)容。
此外，通過回放記錄的運動圖像，用戶可以欣賞具有長時間曝光效果等的運動圖像。
圖23示出基于長時間曝光效果的特殊運動圖像記錄的處理。可執(zhí)行與圖 23所示的處理類似的處理，以實現(xiàn)第一簾幕同步效果模式、第二簾幕同步效 果模式或多閃光效果模式下的特殊運動圖像記錄。例如，在第一簾幕同步效 果模式下，可在步驟F505或F510中的組合處理中生成第一簾幕同步效果的 組合圖像數(shù)據(jù)GS,并且可在步驟F506或F511中提供基于第一簾幕同步效果 的組合圖像數(shù)據(jù)GS的顯示。在步驟F512,第一簾幕同步效果的組合圖像數(shù) 據(jù)GS可被記錄為運動圖像的一幀。
因此，可使用PC200回放運動圖像內(nèi)容，以從運動圖像內(nèi)容創(chuàng)建應(yīng)用了 如長時間曝光效果的圖像效果的靜止圖像數(shù)據(jù)或運動圖像數(shù)據(jù)。
在本實施例中，作為示例使用個人計算機作為信息處理裝置。使用圖像 數(shù)據(jù)的其他各種信息處理裝置(如移動電話、個人數(shù)字助理(PDA)、游戲單 元、以及視頻編輯器)可以與上述類似的方式執(zhí)行圖像組合。
本發(fā)明包含涉及于2008年4月7日向日本專利局提交的日本優(yōu)先權(quán)專利 申請JP 2008-099599所公開的主題，其全部內(nèi)容通過應(yīng)用合并于此。
本領(lǐng)域技術(shù)人員應(yīng)當理解，取決于設(shè)計需求和其他因素可出現(xiàn)各種修改、 組合、子組合和替代，只要它們在權(quán)利要求或其等效物的范圍內(nèi)。
39
權(quán)利要求
1.一種圖像處理裝置，包括圖像獲取單元，被配置為執(zhí)行圖像獲取操作以獲取在時間上具有連續(xù)性的圖像數(shù)據(jù)的多個幀；存儲單元，被配置為暫時存儲由圖像獲取單元在圖像獲取操作期間獲取的圖像數(shù)據(jù)的多個幀的每個；以及算術(shù)操作控制單元，被配置為使用在圖像獲取操作期間順序存儲在存儲單元中的圖像數(shù)據(jù)的多個幀執(zhí)行圖像組合處理，以生成組合圖像數(shù)據(jù)，所述組合圖像數(shù)據(jù)用作用于顯示的數(shù)據(jù)。
2. 如權(quán)利要求1所述的圖像處理裝置，其中算術(shù)操作控制單元根據(jù)記錄 操作輸入，執(zhí)行將在記錄操作輸入時獲取的組合圖像數(shù)據(jù)作為靜止圖像數(shù)據(jù) 記錄到記錄介質(zhì)上的處理。
3. 如權(quán)利要求2所述的圖像處理裝置，其中算術(shù)操作控制單元使用對每 個預(yù)定時間段存儲的圖像數(shù)據(jù)的多個幀當中的包括圖像數(shù)據(jù)的最近的幀的圖 像數(shù)據(jù)的預(yù)定數(shù)目的幀，生成組合圖像數(shù)據(jù)。
4. 如權(quán)利要求3所述的圖像處理裝置，其中算術(shù)操作控制單元通過將相 等的加權(quán)系數(shù)分配到要經(jīng)歷組合處理的圖像數(shù)據(jù)的各幀來執(zhí)行組合處理。
5. 如權(quán)利要求3所述的圖像處理裝置，其中算術(shù)操作控制單元通過將高 加權(quán)系數(shù)分配到要經(jīng)歷組合處理的圖像數(shù)據(jù)的各幀當中的圖像數(shù)據(jù)的最近的 幀、而將低加權(quán)系數(shù)分配到圖像數(shù)據(jù)的剩余的幀，執(zhí)行組合處理。
6. 如權(quán)利要求3所述的圖像處理裝置，其中算術(shù)操作控制單元通過將高 加權(quán)系數(shù)分配到要經(jīng)歷組合處理的圖像數(shù)據(jù)的各幀當中的圖像數(shù)據(jù)的最舊的 幀、而將低加權(quán)系數(shù)分配到圖像數(shù)據(jù)的剩余的幀，執(zhí)行組合處理。
7. 如權(quán)利要求3所述的圖像處理裝置，其中算術(shù)操作控制單元通過將高 加權(quán)系數(shù)和低加權(quán)系數(shù)周期性地分配到要經(jīng)歷組合處理的圖像數(shù)據(jù)的各幀， 執(zhí)行組合處理。
8. 如權(quán)利要求1所述的圖像處理裝置，其中算術(shù)操作控制單元使用在圖 像獲取操作期間順序存儲在存儲單元中的圖像數(shù)據(jù)的多個幀執(zhí)行圖像組合處 理，以生成多類組合圖像數(shù)據(jù)，所述生成的多類組合圖像數(shù)據(jù)用作用于顯示 的數(shù)據(jù)。
9. 如權(quán)利要求8所述的圖像處理裝置，其中算術(shù)操作控制單元根據(jù)記錄操作輸入，執(zhí)行將在記錄操作輸入時生成的多類組合圖像數(shù)據(jù)中的至少一些 作為靜止圖像數(shù)據(jù)記錄到記錄介質(zhì)上的處理。
10. 如權(quán)利要求1所述的圖像處理裝置，其中算術(shù)操作控制單元使用在 圖像獲取操作期間順序存儲在存儲單元中的圖像數(shù)據(jù)的多個幀執(zhí)行圖像組合 處理，以生成組合圖像數(shù)據(jù)，并且將生成的組合圖像數(shù)據(jù)作為形成運動圖像 的 一 幀的圖像數(shù)據(jù)記錄到記錄介質(zhì)上。
11. 如權(quán)利要求IO所述的圖像處理裝置，其中算術(shù)操作控制單元使用記 錄的組合圖像數(shù)據(jù)作為用于顯示的數(shù)據(jù)。
12. 如權(quán)利要求1所述的圖像處理裝置，其中圖像獲取單元包括圖像捕 獲單元，其被配置為執(zhí)行圖像捕獲操作以獲取在時間上具有連續(xù)性的圖像數(shù) 據(jù)的多個幀。
13. 如權(quán)利要求1所述的圖像處理裝置，其中圖像獲取單元包括回放單 元，其被配置為執(zhí)行回放操作以獲取在時間上具有連續(xù)性的圖像數(shù)據(jù)的多個幀。
14. 如權(quán)利要求1所述的圖像處理裝置，其中圖像獲取單元包括接收單 元，其被配置為執(zhí)行接收操作以獲取在時間上具有連續(xù)性的圖像數(shù)據(jù)的多個幀。
15. 如權(quán)利要求1所述的圖像處理裝置，還包括顯示單元，被配置為顯示基于由算術(shù)操作控制單元生成的組合圖像數(shù)據(jù)的圖像。
16. 如權(quán)利要求1所述的圖像處理裝置，還包括發(fā)送單元，被配置為發(fā) 送由算術(shù)操作控制單元生成的組合圖像數(shù)據(jù)。
17. 如權(quán)利要求1所述的圖像處理裝置，其中算術(shù)操作控制單元使用對 每個預(yù)定時間段存儲的圖像數(shù)據(jù)的多個幀當中的包括圖像數(shù)據(jù)的最近的幀的 圖像數(shù)據(jù)的預(yù)定數(shù)目的幀，生成組合圖像數(shù)據(jù)，并且使用生成的組合圖像數(shù) 據(jù)作為用于顯示的數(shù)據(jù)。
18. —種圖像處理方法，包括下述步驟 獲取在時間上具有連續(xù)性的圖像數(shù)據(jù)的多個幀； 暫時存儲多個所獲取的圖像數(shù)據(jù)幀的每個；使用多個順序存儲的圖像數(shù)據(jù)幀執(zhí)行圖像組合處理，以生成組合圖像數(shù) 據(jù)；以及輸出組合圖像數(shù)據(jù)作為用于顯示的數(shù)據(jù)。
19. 一種用于使得計算機執(zhí)行圖像處理方法的程序，所述圖像處理方法包括下述步驟獲取在時間上具有連續(xù)性的圖像數(shù)據(jù)的多個幀； 暫時存儲多個所獲取的圖像數(shù)據(jù)幀的每個；使用多個順序存儲的圖像數(shù)據(jù)幀執(zhí)行圖像組合處理，以生成組合圖像數(shù) 據(jù)；以及輸出組合圖像數(shù)據(jù)作為用于顯示的數(shù)據(jù)。
全文摘要
一種圖像處理裝置，包括圖像獲取單元，被配置為執(zhí)行圖像獲取操作以獲取在時間上具有連續(xù)性的圖像數(shù)據(jù)的多個幀；存儲單元，被配置為暫時存儲由圖像獲取單元在圖像獲取操作期間獲取的圖像數(shù)據(jù)的多個幀的每個；以及算術(shù)操作控制單元，被配置為使用在圖像獲取操作期間順序存儲在存儲單元中的圖像數(shù)據(jù)的多個幀執(zhí)行圖像組合處理，以生成組合圖像數(shù)據(jù)，所述組合圖像數(shù)據(jù)用作用于顯示的數(shù)據(jù)。
文檔編號H04N5/232GK101557468SQ200910133078
公開日2009年10月14日 申請日期2009年4月7日 優(yōu)先權(quán)日2008年4月7日
發(fā)明者牧井達郎 申請人:索尼株式會社