專利名稱：圖像拾取設(shè)備及其控制方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像拾取設(shè)備，尤其涉及一種能顯示拾取圖像的 圖像拾取設(shè)備和一種用于所述圖像拾取設(shè)備的控制方法以及一種用于 使計(jì)算機(jī)執(zhí)行該方法的程序。
背景技術(shù)：
在最近幾年，諸如數(shù)字?jǐn)z像機(jī)和數(shù)字?jǐn)z影機(jī)之類的圖像拾取設(shè)備 已經(jīng)普及。此外，如下圖像拾取設(shè)備是可得到的，其中這些圖像拾取 設(shè)備記錄的拾取圖像可被顯示和再現(xiàn)在諸如液晶面板的顯示部分上。
此外，如下圖像拾取設(shè)備是可得到的，其中這種顯示部分上顯示 的拾取圖像的顯示放大率可通過用戶操作而改變。例如，已經(jīng)提出一 種圖像再現(xiàn)設(shè)備，其中記錄圖像被再現(xiàn)和顯示的情況下，圖像的部分
區(qū)域按放大比例顯示(例如，參考日本專利公開No. 2000-217061(圖 4))。
根據(jù)以上描述的相關(guān)技術(shù)，由于在顯示部分顯示的拾取圖像的部 分區(qū)域可按放大比例顯示，所以用戶可放大和觀看希望的圖像部分。 另 一方面，考慮到在用戶想以鳥瞰(bird-eye)觀察方式觀看在顯示部分 顯示的拾取圖像時(shí)，拾取圖像按縮小比例顯示。例如，可能的想法是 在顯示部分的中央部分按縮小比例逐一依次顯示被依次記錄的靜止畫 面。這個(gè)例子中，由于只有作為顯示對象的靜止畫面以縮小狀態(tài)被顯 示，用戶不能掌握該靜止畫面與其它靜止畫面的關(guān)系，并且難以以鳥 瞰觀察方式觀看圖像。因此，可能的想法是例如按縮小比例顯示靜止 畫面，從而它們在顯示部分上按時(shí)間序列彼此并列。這個(gè)例子中，盡 管靜止畫面按時(shí)間序列并列，但可能用戶不能掌握例如靜止畫面的相 鄰畫面之間的關(guān)系，并且可能不能以鳥瞰觀察方式觀看拾取圖像。此外，可能的想法是，在顯示部分的中心附近按縮小比例再現(xiàn)拾 取動(dòng)態(tài)畫面。在這個(gè)實(shí)施例中，也有可能用戶不能掌握形成拾取動(dòng)態(tài) 畫面的一個(gè)拾取圖像和除該拾取圖像之外的其它拾取圖像的關(guān)系，并 且可能不能以鳥瞰觀察方式觀看拾取動(dòng)態(tài)畫面。
因此，考慮到例如如果相對于其它拾取圖像能以鳥瞰觀察方式觀 看被依次記錄的靜止畫面或拾取動(dòng)態(tài)畫面，那么用戶可容易地掌握拾 取圖像的內(nèi)容。
本發(fā)明的目的是當(dāng)訪問圖像拾取設(shè)備拾取的拾取圖像時(shí)，有可能 容易地掌握拾取圖像的內(nèi)容。

發(fā)明內(nèi)容
為解決上述主題已提出本發(fā)明，并且根據(jù)本發(fā)明的第一方面，提 供有 一 種圖像拾取設(shè)備、和 一 種用于該圖像拾取設(shè)備的控制方法以及
一種使計(jì)算機(jī)執(zhí)行該方法的程序，該圖像拾取設(shè)備包括圖像拾取裝 置，用于拾取圖像拾取對象以產(chǎn)生圖像數(shù)據(jù)；變換信息計(jì)算裝置，用
于基于第一拾取圖像和第二拾取圖像，計(jì)算關(guān)于第一拾取圖像和第二 拾取圖像的變換信息，該第 一拾取圖像是與所述圖像數(shù)據(jù)相對應(yīng)的圖 像，該第二拾取圖像在圖像拾取所述圖像數(shù)據(jù)時(shí)，在時(shí)間軸上定位得
比第一拾取圖像靠后；圖像存儲(chǔ)裝置，用于將在時(shí)間軸上定位在第二 拾取圖像之前的那些圖像存儲(chǔ)為歷史圖像；圖像變換裝置，用于基于 計(jì)算的變換信息變換第二拾取圖像；圖像合成裝置，用于合成變換的 第二拾取圖像與歷史圖像以形成合成圖像；操作接受裝置，用于接受 指定第二拾取圖像的顯示放大率的指定操作；及控制裝置，用于基于
指定的顯示放大率確定在圖像存儲(chǔ)裝置中存儲(chǔ)的合成圖像上的顯示區(qū) 域，并使在顯示區(qū)域中包括的圖像被依次顯示。這帶來如下操作。具 體地，基于變換信息變換第二拾取圖像，并且將變換的第二拾取圖像 與歷史圖像合成以形成合成圖像。如果接受指定用于第二拾取圖像的 顯示放大率的指定操作，那么基于指定的顯示放大率確定用于合成圖 像的顯示區(qū)域，并且依次顯示被包括在顯示區(qū)域中的那些圖像。
7此外，根據(jù)這個(gè)第一方面，當(dāng)指定縮小第二拾取圖像的顯示放大 率的指定操作由操作接受裝置接受時(shí)，控制裝置可以確定顯示區(qū)域， 該顯示區(qū)域至少包括在圖像存儲(chǔ)裝置中存儲(chǔ)的合成圖像中的變換的第 二拾取圖像、和第二拾取圖像周圍的那些圖像。這帶來如下操作。具 體地，如果指定縮小第二拾取圖像的顯示放大率的指定操作被接受， 那么確定顯示區(qū)域，該顯示區(qū)域至少包括變換的第二拾取圖像、和第 二拾取圖像周圍的那些圖像。
此外，根據(jù)這個(gè)第一方面，控制裝置基于計(jì)算的變換信息和指定 的顯示放大率可以確定顯示區(qū)域，并且圖像合成裝置可以將圖像變換 裝置變換之前的第二拾取圖像通過重寫與顯示區(qū)域中包括的圖像合 成，以形成顯示圖像。這帶來如下操作。具體地，基于變換信息和指 定的顯示放大率來確定顯示區(qū)域，并且變換之前的第二拾取圖像通過 重寫與顯示區(qū)域中包括的圖像合成，以產(chǎn)生顯示圖像。
此外，根據(jù)這個(gè)第一方面，控制裝置基于計(jì)算的變換信息，在圖 像變換裝置變換第二拾取圖像的變換方向相反的方向，變換在顯示區(qū) 域中包括的圖像，并且圖像合成裝置可以將圖像變換裝置變換之前的 第二拾取圖像通過重寫與變換之后在顯示區(qū)域中包括的圖像合成，以 形成顯示圖像。這帶來如下操作。具體地，基于變換信息，在與第二 拾取圖像的變換方向相反的方向，顯示區(qū)域中包括的圖像被變換，并 且變換之前的第二拾取圖像通過重寫與變換之后在顯示區(qū)域中包括的 圖像合成，以形成顯示圖像。
此外，根據(jù)這個(gè)第一方面，圖像拾取裝置可以拾取圖像拾取對象 以產(chǎn)生動(dòng)態(tài)畫面的圖像數(shù)據(jù)，并且第一拾取圖像和第二拾取圖像可以 是形成動(dòng)態(tài)畫面的拾取圖像。這帶來如下操作。具體地，圖像拾取對 象的圖像被拾取以產(chǎn)生動(dòng)態(tài)畫面的圖像數(shù)據(jù)，并且依次顯示關(guān)于拾取 圖像的顯示圖像，這些拾取圖像根據(jù)產(chǎn)生的圖像數(shù)據(jù)形成拾取動(dòng)態(tài)畫
面。此外，這個(gè)例子中，變換信息計(jì)算裝置可以包括特征點(diǎn)提取裝 置，用于基于像素提取第一拾取圖像和第二拾取圖像的特征點(diǎn)，這些 像素形成第一拾取圖像和第二拾取圖像，第一拾取圖像和第二拾取圖像形成圖像拾取動(dòng)態(tài)畫面；運(yùn)動(dòng)量計(jì)算裝置，用于基于提取的特征點(diǎn) 計(jì)算關(guān)于第一拾取圖像和第二拾取圖像的運(yùn)動(dòng)量；及變換參數(shù)計(jì)算裝 置，用于基于計(jì)算的運(yùn)動(dòng)量計(jì)算預(yù)定變換參數(shù)以計(jì)算變換信息。此外， 這個(gè)例子中，特征點(diǎn)提取裝置可以由多核處理器形成，并且多核處理 器通過SIMD數(shù)學(xué)運(yùn)算對形成第一拾取圖像和第二拾取圖像的像素可 以執(zhí)行并行處理，以提取第一拾取圖像和第二拾取圖像的特征量。此 外，這個(gè)例子中，運(yùn)動(dòng)量計(jì)算裝置可以由多核處理器形成，并且多核 處理器通過SIMD數(shù)學(xué)運(yùn)算對提取的特征點(diǎn)可以執(zhí)行并行處理，以計(jì) 算第一拾取圖像和第二拾取圖像的運(yùn)動(dòng)量。
此外，根據(jù)這個(gè)第一方面，操作接受裝置可以接受用于移動(dòng)顯示 區(qū)域的移動(dòng)操作，并且控制裝置基于接受的移動(dòng)操作來移動(dòng)在圖像存 儲(chǔ)裝置中存儲(chǔ)的合成圖像上的顯示區(qū)域。這帶來如下操作如果接受 用于移動(dòng)顯示區(qū)域的移動(dòng)操作，那么基于接受的移動(dòng)操作來移動(dòng)合成 圖像的顯示區(qū)域。
同時(shí)，根據(jù)本發(fā)明的第二方面，提供有一種圖像拾取設(shè)備、 一種 用于該圖像拾取設(shè)備的控制方法以及一種使計(jì)算機(jī)執(zhí)行該方法的程 序，圖像拾取設(shè)備包括圖像拾取裝置，用于拾取圖像拾取對象以產(chǎn) 生圖像數(shù)據(jù)；變換信息計(jì)算裝置，用于基于第一拾取圖像和第二拾取 圖像，計(jì)算關(guān)于第一拾取圖像和第二拾取圖像的變換信息，第一拾取 圖像是與所述圖像數(shù)據(jù)相對應(yīng)的圖像，第二拾取圖像在圖像拾取所述 圖像數(shù)據(jù)時(shí)，在時(shí)間軸上定位得比第一拾取圖像靠后；圖像存儲(chǔ)裝置， 用于將在時(shí)間軸上定位在第二拾取圖像之前的那些圖像存儲(chǔ)為歷史圖 像；圖像變換裝置，用于基于計(jì)算的變換信息來變換歷史圖像；圖像 合成裝置，用于合成第二拾取圖像與變換的歷史圖像以形成合成圖像； 操作接受裝置，用于接受指定第二拾取圖像的顯示放大率的指定操作； 及控制裝置，用于基于指定的顯示放大率確定在圖像存儲(chǔ)裝置中存儲(chǔ) 的合成圖像上的顯示區(qū)域，并且使顯示區(qū)域中包括的圖像被依次顯示。 這帶來如下操作。具體地，基于變換信息來變換歷史圖像，并且將第 二拾取圖像與變換的歷史圖像合成以形成合成圖像。如果接受指定用于第二拾取圖像的顯示放大率的指定操作，那么基于指定的顯示放大 率確定在合成圖像上的顯示區(qū)域，并且依次顯示被包括在顯示區(qū)域中 的圖像。
根據(jù)本發(fā)明，出色效果是當(dāng)訪問圖像拾取設(shè)備拾取的拾取圖像時(shí)， 可容易地掌握拾取圖像的內(nèi)容。


圖l是方塊圖，表示根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備IOO的功
能構(gòu)造例子。
圖2是視圖，表示根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備100的外觀。
圖3是方塊圖，表示在本發(fā)明實(shí)施例中的攝影機(jī)工作檢測部分120 的功能構(gòu)造例子。
圖4是視圖，示意地表示在本發(fā)明實(shí)施例中在動(dòng)態(tài)畫面存儲(chǔ)部分 200和元數(shù)據(jù)存儲(chǔ)部分210中記錄的文件。
圖5是視圖，表示與形成動(dòng)態(tài)畫面的幀相對應(yīng)的圖像的例子。
圖6是視圖，表示從與形成動(dòng)態(tài)畫面的幀相對應(yīng)的圖像中省去背 景等簡化的圖像。
圖7是流程圖，表明本發(fā)明實(shí)施例中通過圖像拾取設(shè)備IOO的仿 射變換參數(shù)檢測處理的處理過程。
圖8是視圖，表明圖像拾取設(shè)備100拾取的動(dòng)態(tài)畫面的轉(zhuǎn)變的例子。
圖9是視圖，以虛線表示與關(guān)于圖8所示圖像的緊前一幀相對應(yīng) 的圖像，并且表明檢測的光流。
圖IO是視圖，表明再現(xiàn)包括圖8所示圖像401至403的動(dòng)態(tài)畫面 時(shí)的顯示圖像的例子。
圖11是視圖，表明圖像拾取設(shè)備100拾取的動(dòng)態(tài)畫面的轉(zhuǎn)變的例子。
圖12是視圖，以虛線表示與關(guān)于圖11所示圖像的緊前一幀相對 應(yīng)的圖像，并且表明檢測的光流。圖13是視圖，表明再現(xiàn)包括在圖11所示圖像421至423的動(dòng)態(tài) 畫面時(shí)的顯示圖l象的例子。
圖14是視圖，表明圖像拾取設(shè)備100拾取的動(dòng)態(tài)畫面的轉(zhuǎn)變的例子。
圖15是視圖，以虛線表示與關(guān)于圖14所示圖像的緊前一幀相對 應(yīng)的圖像，并且表明檢測的光流。
圖16是視圖，表明再現(xiàn)包括在圖14所示圖像441至443的動(dòng)態(tài) 畫面時(shí)的顯示圖^f象的例子。
圖17是視圖，示意地表明在本發(fā)明實(shí)施例中在動(dòng)態(tài)畫面存儲(chǔ)部分 200存儲(chǔ)的動(dòng)態(tài)畫面文件的幀與顯示區(qū)域之間的關(guān)系。
圖18是視圖，示意地表明在圖像存儲(chǔ)器180中存儲(chǔ)的圖像和在液 晶面板251顯示的圖像，其中動(dòng)態(tài)畫面以其變化的顯示放大率被顯示。
圖19是視圖，示意地表明在本發(fā)明實(shí)施例中在動(dòng)態(tài)畫面存儲(chǔ)部分 200中存儲(chǔ)的動(dòng)態(tài)畫面文件的幀流。
圖20是視圖，表示在如下情況的合成(圖像480)例子其中圖像 拾取設(shè)備100拾取的動(dòng)態(tài)畫面被再現(xiàn)，并且在圖像480的當(dāng)前圖像482 之前的圖像484被仿射變換。
圖21是視圖，表示圖像485，其中按放大比例顯示在圖20所示 的框483圍繞的圖像區(qū)域；和存儲(chǔ)在顯示存儲(chǔ)器230的圖像487，在 仿射變換之后的當(dāng)前圖像被存儲(chǔ)到圖像存儲(chǔ)器180中的狀態(tài)下。
圖22是流程圖，表明根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備100的動(dòng) 態(tài)畫面再現(xiàn)處理的處理過程。
圖23是視圖，表明在如下情況的顯示例子再現(xiàn)包括圖8所示圖 4象401至403的動(dòng)態(tài)畫面。
圖24是視圖，表明在如下情況的顯示例子再現(xiàn)包括圖11所示 圖<象421至423的動(dòng)態(tài)畫面。
圖25是視圖，表明在如下情況的顯示例子再現(xiàn)包括在圖14所 示圖^f象441至443的動(dòng)態(tài)畫面。
圖26是視圖，示意地表明在本發(fā)明實(shí)施例中在動(dòng)態(tài)畫面存儲(chǔ)部分200存儲(chǔ)的動(dòng)態(tài)畫面文件的幀與顯示區(qū)域之間的關(guān)系。
圖27是方塊圖，表示根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備101的功 能構(gòu)造例子。
圖28是方塊圖，表示在本發(fā)明實(shí)施例中的重合點(diǎn)搜索部分340 的功能構(gòu)造例子。
圖29是視圖，示意地表示在本發(fā)明實(shí)施例中在動(dòng)態(tài)畫面存儲(chǔ)部分 200和相對關(guān)系信息存儲(chǔ)部分220中記錄的文件。
圖30是視圖，示意地表明仿射變換參數(shù)計(jì)算方法，通過選擇在圖 像中包括的重合點(diǎn)來計(jì)算關(guān)于兩個(gè)圖像的仿射變換參數(shù)，并且基于選 擇的重合點(diǎn)來合成兩個(gè)圖像。
圖31是視圖，示意地表明仿射變換參數(shù)計(jì)算方法，通過選擇在圖 像中包括的重合點(diǎn)來計(jì)算關(guān)于兩個(gè)圖像的仿射變換參數(shù)。
圖32是視圖，示意地表明合成兩個(gè)動(dòng)態(tài)畫面的合成例子。
圖33是視圖，示意地表明合成兩個(gè)動(dòng)態(tài)畫面的合成例子。
圖34是視圖，表明在如下情況的顯示例子在顯示部分250顯示 圖33所示的合成圖像。
圖35是視圖，示意地表示在本發(fā)明實(shí)施例中在動(dòng)態(tài)畫面存儲(chǔ)部分 200和相對關(guān)系信息存儲(chǔ)部分220中記錄的文件。
圖36是視圖，表示關(guān)于三個(gè)動(dòng)態(tài)畫面的圖像中包括的重合點(diǎn)被選 擇的圖像。
圖37是視圖，表示在如下情況的例子基于在關(guān)于三個(gè)動(dòng)態(tài)畫面
的圖像上選擇的重合點(diǎn)，合成三個(gè)圖像。
圖38是視圖，示意地表明合成三個(gè)動(dòng)態(tài)畫面的合成例子。 圖39是視圖，表示合成靜止畫面和多個(gè)動(dòng)態(tài)畫面的例子。 圖40是視圖，表示本發(fā)明實(shí)施例中多核處理器800的構(gòu)造例子。 圖41是視圖，表示本發(fā)明實(shí)施例中控制處理器核801的構(gòu)造例子。 圖42是視圖，表示本發(fā)明實(shí)施例中數(shù)學(xué)運(yùn)算處理器核(#1)811的
構(gòu)造例子。
圖43是視圖，示意地表明本發(fā)明實(shí)施例中多核處理器800的數(shù)學(xué)運(yùn)算方法。
圖44是視圖，示意地表明程序和數(shù)據(jù)流，其中本發(fā)明實(shí)施例的多 核處理器800執(zhí)行數(shù)學(xué)運(yùn)算。
圖45是視圖，表明按照各個(gè)指令執(zhí)行對多個(gè)數(shù)據(jù)的處理的數(shù)學(xué)運(yùn) 算方法的概要，和按照單個(gè)指令執(zhí)行對多個(gè)數(shù)據(jù)的處理的SIMD數(shù)學(xué) 運(yùn)算的概要。
圖46是視圖，表示在本發(fā)明實(shí)施例中控制處理器核801或數(shù)學(xué)運(yùn) 算處理器核(#1)811執(zhí)行的程序構(gòu)造例子。
圖47是視圖，示意地表明在本發(fā)明實(shí)施例中用于主存儲(chǔ)器781 存儲(chǔ)的圖像數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和處理流程，其中使用Sobel濾波器830 執(zhí)行濾波處理。
圖48是視圖，示意地表明數(shù)據(jù)流，其中在本發(fā)明實(shí)施例中對主存 儲(chǔ)器781存儲(chǔ)的圖像數(shù)據(jù)使用Sobel濾波器830執(zhí)行SIMD數(shù)學(xué)運(yùn)算。
圖49是視圖，示意地表明從第一緩沖器831存儲(chǔ)的圖像數(shù)據(jù)產(chǎn)生 九個(gè)向量的向量產(chǎn)生方法，其中使用本發(fā)明實(shí)施例的Sobel濾波器830 執(zhí)4亍濾波處理。
圖50是視圖，示意地表明對于向量數(shù)據(jù)841至849使用SIMD 指令執(zhí)行向量數(shù)學(xué)運(yùn)算的向量數(shù)學(xué)運(yùn)算方法，其中使用本發(fā)明實(shí)施例
的Sobel濾波器830執(zhí)行濾波處理。
圖51是視圖，按時(shí)間序列示意地表明本發(fā)明實(shí)施例的攝影機(jī)工作 參數(shù)計(jì)算處理的流程。
圖52是視圖，示意地表示作為記錄介質(zhì)例子的藍(lán)光(blu-ray)盤 880、藍(lán)光盤880上記錄的數(shù)據(jù)881至884、及藍(lán)光再現(xiàn)才幾8卯的內(nèi)部 構(gòu)造，藍(lán)光再現(xiàn)機(jī)890可再現(xiàn)藍(lán)光盤880。
具體實(shí)施例方式
下面參照附圖詳細(xì)描述本發(fā)明的實(shí)施例。
圖l是方塊圖，表示根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備100的功 能構(gòu)造例子。圖像拾取設(shè)備100包括圖像拾取部分110、攝影機(jī)工作檢測部分120、記錄控制部分130、文件獲取部分140、圖像變換部分 150、操作接受部分160、圖像合成部分170、圖像存儲(chǔ)器180、顯示 區(qū)域提取部分l卯、動(dòng)態(tài)畫面存儲(chǔ)部分200、元數(shù)據(jù)存儲(chǔ)部分210、顯 示存儲(chǔ)器230、顯示控制部分240及顯示部分250。圖像拾取設(shè)備IOO 可由數(shù)字?jǐn)z像機(jī)實(shí)施，數(shù)字?jǐn)z像機(jī)通過圖像分析可從例如拾取的動(dòng)態(tài) 畫面提取特征量，并且使用提取的特征量執(zhí)行各種圖像處理。
圖像拾取部分110接收從圖像拾取對象通過圖像拾取透鏡(未示出) 入射的光，并且執(zhí)行光電轉(zhuǎn)換，以響應(yīng)接收光量產(chǎn)生圖像信號，并且 對圖像信號執(zhí)行各種信號處理。然后，被執(zhí)行信號處理的圖像信號作 為動(dòng)態(tài)畫面(拾取動(dòng)態(tài)畫面)輸出到攝影機(jī)工作檢測部分120和記錄控 制部分130。
攝影機(jī)工作檢測部分120分析從圖像拾取部分110輸出的動(dòng)態(tài)畫 面，以檢測在圖像拾取時(shí)圖像拾取設(shè)備100的運(yùn)動(dòng)信息(攝影機(jī)工作)， 并且將基于圖像拾取設(shè)備100的運(yùn)動(dòng)信息計(jì)算的仿射變換參數(shù)(攝影 機(jī)工作參數(shù))輸出到記錄控制部分130。具體地，攝影機(jī)工作檢測部分 120從形成動(dòng)態(tài)畫面的每一個(gè)圖像提取特征點(diǎn)，并且提取關(guān)于每一個(gè) 特征點(diǎn)的光流(運(yùn)動(dòng)向量)。然后，攝影機(jī)工作檢測部分120分析所提 取的關(guān)于特征點(diǎn)的光流以選擇指示主導(dǎo)運(yùn)動(dòng)的那些特征點(diǎn)，并且基于 關(guān)于指示主導(dǎo)運(yùn)動(dòng)的特征點(diǎn)的光流，估計(jì)圖像拾取設(shè)備100的運(yùn)動(dòng)。 這里，主導(dǎo)運(yùn)動(dòng)表示關(guān)于多個(gè)特征點(diǎn)的光流中的較大量的光流指示的 有序運(yùn)動(dòng)。要注意，攝影機(jī)工作檢測部分120參照圖3詳細(xì)描述。
記錄控制部分130將從圖像拾取部分110輸出的動(dòng)態(tài)畫面作為動(dòng) 態(tài)畫面文件記錄到動(dòng)態(tài)畫面存儲(chǔ)部分200中，并且將從攝影機(jī)工作檢 測部分120輸出的仿射變換參數(shù)作為元數(shù)據(jù)文件以與對應(yīng)動(dòng)態(tài)畫面和 幀的相關(guān)聯(lián)關(guān)系存儲(chǔ)到元數(shù)據(jù)存儲(chǔ)部分210中。
動(dòng)態(tài)畫面存儲(chǔ)部分200在記錄控制部分130的控制下存儲(chǔ)從圖像 拾取部分110輸出的動(dòng)態(tài)畫面作為動(dòng)態(tài)畫面文件。此外，動(dòng)態(tài)畫面存 儲(chǔ)部分200按照來自文件荻取部分140的請求將動(dòng)態(tài)畫面文件供給到 文件獲取部分140。要注意，在動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的動(dòng)態(tài)畫面文件下文參照圖4描述。
元數(shù)據(jù)存儲(chǔ)部分210在記錄控制部分130的控制下存儲(chǔ)從攝影機(jī) 工作檢測部分120輸出的仿射變換參數(shù)作為元數(shù)據(jù)文件。此外，元數(shù) 據(jù)存儲(chǔ)部分210按照來自文件獲取部分140的請求將元數(shù)據(jù)文件供給 到文件獲取部分140。要注意，在元數(shù)據(jù)存儲(chǔ)部分210中存儲(chǔ)的元數(shù) 據(jù)文件下文參照圖4詳細(xì)描述。
文件獲取部分140響應(yīng)操作接受部分160接受的操作輸入獲取在 動(dòng)態(tài)畫面存儲(chǔ)部分200或元數(shù)據(jù)存儲(chǔ)部分210中存儲(chǔ)的文件的至少一 個(gè)，并且將獲取一個(gè)或多個(gè)文件的信息供給到各個(gè)部分。具體地，在 再現(xiàn)動(dòng)態(tài)畫面的指令操作由操作接受部分160接受時(shí)，文件獲取部分 140從動(dòng)態(tài)畫面存儲(chǔ)部分200獲取再現(xiàn)指令的對象的動(dòng)態(tài)畫面文件， 并且獲取以與動(dòng)態(tài)畫面文件相關(guān)聯(lián)關(guān)系在元數(shù)據(jù)存儲(chǔ)部分210中存儲(chǔ) 的元數(shù)據(jù)文件，然后將獲取的動(dòng)態(tài)畫面文件的動(dòng)態(tài)畫面和獲取的元數(shù) 據(jù)文件的仿射變換參數(shù)輸出到圖像變換部分150。
圖像變換部分150對每個(gè)幀使用與圖像(這些圖像形成從文件獲 取部分140輸出的動(dòng)態(tài)畫面文件的動(dòng)態(tài)畫面)相對應(yīng)的仿射變換數(shù)據(jù) 執(zhí)行圖像的仿射變換，并且將仿射變換后的圖像輸出到圖像合成部分 170。注意這樣的圖像變換參照圖8至19等詳細(xì)描述。
操作接受部分160包括各種操作部件，并且當(dāng)它接受到來自任一 個(gè)操作部件的操作輸入時(shí)，將接受的操作輸入的內(nèi)容輸出到文件獲取 部分140或顯示區(qū)域提取部分l卯。要注意這些操作部件參照圖2詳 細(xì)描述。此外，操作接受部分160和顯示部分250的至少部分可以整 體地構(gòu)造成觸摸面板。
圖像合成部分170通過用圖像變換部分150仿射變換之后的圖像 重寫在圖像存儲(chǔ)器180存儲(chǔ)的與直到緊前一幀的幀相對應(yīng)的合成圖 像，而合成圖像，并且將合成的新合成圖像存儲(chǔ)到圖像存儲(chǔ)器180中。 此外，圖像合成部分170基于響應(yīng)于顯示放大率的值確定的顯示區(qū)域 的大小，通過重寫將圖像變換部分150的仿射變換之前的當(dāng)前圖像與 顯示存儲(chǔ)器230存儲(chǔ)的合成圖像相合成。要注意，顯示存儲(chǔ)器230中的當(dāng)前圖像的合成參照圖19等詳細(xì)描述。此外，這樣的圖像合成參照
圖8至19等詳細(xì)描述。這里，圖像合成部分170壓縮圖像變換部分
150的仿射變換之后的圖像，并且用壓縮圖像重寫圖像存儲(chǔ)器180存
儲(chǔ)的合成圖像，從而在存儲(chǔ)器230存儲(chǔ)的合成圖像上被重寫的當(dāng)前圖
像由分辨率比非壓縮圖像或壓縮歷史圖像更高的拾取圖像形成。因此，
當(dāng)輸出合成圖像時(shí)，歷史圖像可由壓縮圖像形成，從而當(dāng)前圖像可由 分辨率比非壓縮圖像或壓縮歷史圖像更高的拾取圖像形成。
圖像存儲(chǔ)器180是保存圖像合成部分170合成的合成圖像的工作 緩沖器，并且將保存的合成圖像供給到圖像合成部分170或顯示區(qū)域 提取部分190。換句話說，圖像存儲(chǔ)器180是保存歷史圖像的圖像存 儲(chǔ)器。
顯示區(qū)域提取部分190從圖像存儲(chǔ)器180保存的合成圖像提取在 顯示區(qū)域的范圍中存在的圖像，該區(qū)域是顯示對象的區(qū)域，并且將提 取的圖像存儲(chǔ)在顯示存儲(chǔ)器230中。要注意，在顯示區(qū)域的范圍中包 括的圖像的提取參照圖17至19等詳細(xì)描述。
顯示存儲(chǔ)器230是保存顯示區(qū)域提取部分190從圖像存儲(chǔ)器180 提取的圖像的顯示緩沖器，并且在顯示存儲(chǔ)器230中保存的圖像被顯 示在顯示部分250。
顯示控制部分240控制顯示部分250，以依次顯示為每個(gè)幀在所 述顯示存儲(chǔ)器230中保存的合成圖像。
在顯示控制部分240的控制下，顯示部分250顯示當(dāng)前圖像或顯 示存儲(chǔ)器230存儲(chǔ)的合成圖像。例如，顯示部分250可由如圖2所示 的顯示面4反251實(shí)施。
圖2是視圖，表示根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備100的外觀。 具體地，圖2是視圖，表示液晶面板251和液晶面板251的外圍元件。
圖像拾取設(shè)備100包括液晶面板251、變焦按鈕161及十字按鈕 162。要注意，變焦按鈕161和十字按鈕162與圖1所示的操作接受部 分160相對應(yīng)。此外，液晶面板251與圖1所示的顯示部分250相對 應(yīng)。要注意，盡管諸如電源開關(guān)和拾取圖像記錄指令按鈕的其它操作部件被提供為圖像拾取設(shè)備100的操作接受部分160，這里省略它們 的說明和描述。
液晶面板251是顯示從圖像拾取部分110輸出的拾取動(dòng)態(tài)畫面的 液晶面板。要注意，液晶面板251可以形成為顯示各種選擇按鈕的觸 摸面板，從而用手指等觸及任一個(gè)選擇按鈕的區(qū)域，可執(zhí)行操作輸入。
變焦按鈕161是當(dāng)變焦放大率要調(diào)節(jié)時(shí)操作的按鈕。具體地，圖 2所示的W(廣)按鈕和T(遠(yuǎn))按鈕提供在變焦按鈕161上。然后，在圖 像拾取時(shí)，在W按鈕被按下的狀態(tài)下，變焦透鏡運(yùn)動(dòng)到廣端側(cè)(廣角 側(cè))，但在T按鈕被按下的狀態(tài)下，變焦透鏡運(yùn)動(dòng)到遠(yuǎn)端側(cè)(遠(yuǎn)攝側(cè))。 此外，在動(dòng)態(tài)畫面再現(xiàn)時(shí)，在W按鈕被按下的狀態(tài)下，再現(xiàn)期間的動(dòng) 態(tài)畫面按縮小比例被依次顯示，但在T按鈕被按下的另一種狀態(tài)下， 再現(xiàn)期間的動(dòng)態(tài)畫面按》支大比例^皮依次顯示。
十字按鈕162是在動(dòng)態(tài)畫面的再現(xiàn)時(shí)在向上、向下、向左或向右 方向移動(dòng)顯示區(qū)域而操作的按鈕。具體地，通過按壓十字按鈕162的 四個(gè)箭頭標(biāo)記的至少一個(gè)，顯示區(qū)域可在箭頭標(biāo)記指示的方向移動(dòng)。
圖3是方塊圖，表示本發(fā)明實(shí)施例中的攝影機(jī)工作檢測部分120 的功能構(gòu)造例子。攝影機(jī)工作檢測部分120包括特征點(diǎn)提取單元121、 光流計(jì)算單元122及攝影機(jī)工作參數(shù)計(jì)算單元123。
特征點(diǎn)提取單元121從形成圖像拾取部分110輸出的動(dòng)態(tài)畫面的 幀相對應(yīng)的圖像提取特征點(diǎn)，并且將提取的特征點(diǎn)輸出到光流計(jì)算單 元122。這里，特征點(diǎn)提取單元121，對于形成圖像拾取部分110輸出 的動(dòng)態(tài)畫面的幀的頂部幀，從整個(gè)圖像提取特^f正點(diǎn)，但對于除頂部幀 之外的幀，從與緊前一幀相對應(yīng)的圖像相比新拾取的區(qū)域部分提取特 征點(diǎn)。要注意，作為特征點(diǎn)，例如，可提取在豎直方向或水平方向的 邊緣上梯度很高的點(diǎn)(點(diǎn)一般叫做"角部點(diǎn)"。在如下描述中，所述點(diǎn)稱 作"角部點(diǎn)")。這個(gè)角部點(diǎn)是難以計(jì)算光流的特征點(diǎn)，并且可使用邊緣 檢測而確定。要注意，角部點(diǎn)的提取參照圖5和6詳細(xì)描述。此外， 在這個(gè)例子中，盡管特征點(diǎn)提取單元121對于頂部幀從整個(gè)圖像提取 特征點(diǎn)，并且對于除頂部幀之外的幀，從與緊前一圖像相比新拾取的區(qū)域部分提取特征點(diǎn)，但對于除頂部幀之外的幀，特征點(diǎn)也可以從整 個(gè)圖像提取。
光流計(jì)算單元122為從特征點(diǎn)提取單元121輸出的每個(gè)特征點(diǎn)計(jì) 算光流，并且將計(jì)算確定的光流輸出到攝影機(jī)工作參數(shù)計(jì)算單元123。 具體地，光流計(jì)算單元122將形成從圖像拾取部分110輸出的動(dòng)態(tài)畫 面的兩個(gè)連續(xù)幀(當(dāng)前幀和緊前一幀)彼此比較，以確定與緊前一幀相 對應(yīng)的圖像的各個(gè)特征點(diǎn)相對應(yīng)的光流作為當(dāng)前幀的光流。此外，為 形成動(dòng)態(tài)畫面的每一個(gè)幀確定光流。要注意，作為檢測光流的檢測方 法，可使用諸如傾斜法和塊匹配法的檢測方法。要注意，光流的計(jì)算 參照圖5和6詳細(xì)描述。
攝影機(jī)工作參數(shù)計(jì)算單元123使用從光流計(jì)算單元122輸出的與 特征點(diǎn)相對應(yīng)的光流，執(zhí)行計(jì)算攝影機(jī)工作參數(shù)的攝影機(jī)工作參數(shù)計(jì) 算處理，并且將計(jì)算的攝影機(jī)工作參數(shù)輸出到記錄控制部分130。這 里，本發(fā)明的實(shí)施例中，再現(xiàn)對象的多個(gè)動(dòng)態(tài)畫面的圖像被變換，并 且與圖像拾取設(shè)備100的運(yùn)動(dòng)相一致地顯示。為了執(zhí)行圖像的變換， 圖像拾取設(shè)備100的運(yùn)動(dòng)使用光流計(jì)算單元122計(jì)算的光流被提取， 并且基于提取的運(yùn)動(dòng)來計(jì)算攝影機(jī)工作參數(shù)(變換參數(shù))。要注意，本 發(fā)明的實(shí)施例中，描述如下例子其中作為變換形成對象再現(xiàn)的動(dòng)態(tài) 畫面的圖像的圖像變換方法，使用仿射變換。此外，描述如下例子 其中作為攝影機(jī)工作參數(shù)，使用仿射變換參數(shù)，與基于光流計(jì)算的仿 射變換參數(shù)的矩陣的逆矩陣相對應(yīng)。具體地，本發(fā)明的實(shí)施例中，用 作變換信息的仿射變換參數(shù)被定義為這樣的仿射變換參數(shù)，其不對應(yīng) 于代表連續(xù)圖像之間的特征點(diǎn)運(yùn)動(dòng)的仿射矩陣，而對應(yīng)于代表其中連 續(xù)圖像之一被確定為基準(zhǔn)圖像的仿射矩陣，對應(yīng)于與基準(zhǔn)圖像相鄰的 圖像運(yùn)動(dòng)到何處。此外，盡管描述仿射變換參數(shù)用作攝影機(jī)工作參數(shù) 的例子，但可以使用諸如投影變換之類的其它圖像變換方法。要注意， 使用在三個(gè)點(diǎn)處的向量通過計(jì)算可確定仿射變換參數(shù)。同時(shí)，使用在 四個(gè)點(diǎn)處的向量通過計(jì)算可確定投影變換參數(shù)。這里，攝影機(jī)工作參 數(shù)是將形成拾取動(dòng)態(tài)畫面的至少一個(gè)拾取圖像用作基準(zhǔn)而變換其它拾
18取圖像的變換信息，并且至少包括根據(jù)圖像拾取設(shè)備100的坐標(biāo)系描
述的位置信息和姿態(tài)信息。換句話說，攝影機(jī)工作參數(shù)包括與圖像拾
取設(shè)備100的位置和姿態(tài)有關(guān)的信息，其中圖像拾取由圖像拾取人執(zhí) 行。此外，基于攝影機(jī)工作參數(shù)計(jì)算單元123確定的仿射變換參數(shù)， 可估計(jì)圖像拾取人的操作圖像拾取設(shè)備100的運(yùn)動(dòng)，例如拉近、拉遠(yuǎn)、 拍攝全景、傾斜或轉(zhuǎn)動(dòng)。要注意，仿射變換參數(shù)的計(jì)算參照圖5和6 詳細(xì)描述。
圖4是視圖，示意地表示在本發(fā)明實(shí)施例中動(dòng)態(tài)畫面存儲(chǔ)部分200 和元數(shù)據(jù)存儲(chǔ)部分210中記錄的文件。在圖4(a)中，表明在動(dòng)態(tài)畫面 存儲(chǔ)部分200中存儲(chǔ)的動(dòng)態(tài)畫面文件201至204和在元數(shù)據(jù)存儲(chǔ)部分 210中以與動(dòng)態(tài)畫面文件201至204的相關(guān)聯(lián)關(guān)系存儲(chǔ)的元數(shù)據(jù)文件 211至213。這里，假定將動(dòng)態(tài)畫面ID應(yīng)用于每個(gè)動(dòng)態(tài)畫面文件，動(dòng) 態(tài)畫面ID是識(shí)別在動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的每一個(gè)動(dòng)態(tài)畫面 文件的識(shí)別信息。例如，將"#1"應(yīng)用于動(dòng)態(tài)畫面文件201;將"#2"應(yīng) 用于動(dòng)態(tài)畫面文件202;及將'Wn"應(yīng)用于動(dòng)態(tài)畫面文件204。
圖4(b)是視圖，示意地表明在動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的動(dòng) 態(tài)畫面文件201和在元數(shù)據(jù)存儲(chǔ)部分210中以與動(dòng)態(tài)畫面文件201相 關(guān)聯(lián)地存儲(chǔ)的元數(shù)據(jù)文件211。這里，動(dòng)態(tài)畫面文件201是n幀形成 的動(dòng)態(tài)畫面的文件，并且n幀;波指示為幀"1"205至"n"208。
同時(shí)，動(dòng)態(tài)畫面ID214、幀號215及仿射變換參數(shù)216以彼此關(guān) 聯(lián)關(guān)系存儲(chǔ)到元數(shù)據(jù)文件211中。
動(dòng)態(tài)畫面ID 214是用于對應(yīng)動(dòng)態(tài)畫面文件的動(dòng)態(tài)畫面ID，并且 例如，用于動(dòng)態(tài)畫面文件201的"#1":故存儲(chǔ)在動(dòng)態(tài)畫面ID 214中。
幀號215是形成對應(yīng)動(dòng)態(tài)畫面文件的每一個(gè)幀的序列號，并且例 如，與形成動(dòng)態(tài)畫面文件201的動(dòng)態(tài)畫面的幀"1"205至"n"208相對應(yīng) 的"l"至"n"被放置在幀號215中。
仿射變換參數(shù)216是為與幀號215相對應(yīng)的動(dòng)態(tài)畫面的每個(gè)幀計(jì) 算的仿射變換參數(shù)。要注意，與幀號215相對應(yīng)的"1"相對應(yīng)的仿射變 換參數(shù)216"al、 bl、 cl、 dl、 el、 fl，，是單位矩陣的仿射變換參數(shù)。
19此外，與幀號215的"m(m是等于或大于2的整數(shù))"相對應(yīng)的仿射變換參數(shù)216的"am、 bm、 cm、 dm、 em、 fm，，是用于幀"m"的緊前一幀"m-l" 的仿射變換參數(shù)?，F(xiàn)在，參照附圖詳細(xì)描述檢測用于圖像變換的仿射 變換參數(shù)的檢測方法。圖5(a)至(c)是視圖，表示與形成動(dòng)態(tài)畫面的幀相對應(yīng)的圖像例子。 圖6(a)是視圖，表示與圖5所示圖像300相對應(yīng)的幀提前一幀相對應(yīng) 的圖像中省去背景等簡化的圖像。同時(shí)，圖6(b)和(c)是視圖，表示通 過從圖5所示圖像300中省去背景等簡化的圖像。在圖5和6所示圖像300、 320及330包括木馬圖像301、 321及 331，人騎在木馬上，并且蛇的圖像302、 322及332位于木馬圖像301、 321及331的前面。此外，如圖5所示，旗子、椅子、等在圖像的背 景上存在，并且旗子被風(fēng)展開。在圖6(a)所示圖像320是簡化與圖5(a)至(c)和圖6(b)和(c)所示圖 像300、 330相對應(yīng)的幀提前一幀相對應(yīng)的圖像得到的圖像。此外，對 應(yīng)于兩個(gè)連續(xù)幀的圖像320和330是指示轉(zhuǎn)變的圖像，其中屏幕圖像 中的圖像拾取對象的尺寸逐漸增大。具體地，在圖像拾取所述圖像時(shí)， 執(zhí)行拉近操作，拉近操作是逐漸使屏幕圖像中的圖像拾取對象變大的 操作。下面將從形成動(dòng)態(tài)畫面的圖像檢測特征點(diǎn)和與特征點(diǎn)相對應(yīng)的光 流被用于計(jì)算仿射變換參數(shù)的方法作為例子，描述本發(fā)明的實(shí)施例。 此外，關(guān)于角部點(diǎn)被用作特征點(diǎn)的情形，描述本例子。這里，在圖6(a)至(c)中，描述一種方法作為例子，其中從圖像320 和330檢測的三個(gè)角部相對應(yīng)的光流被用于計(jì)算仿射變換參數(shù)。例如，假定，在圖6(a)所示圖像320中，檢測在木馬圖像321的 嘴附近的角部點(diǎn)323、在木馬圖像321的人臀部附近的另一個(gè)角部點(diǎn) 324及在蛇圖像322的嘴附近的另一角部點(diǎn)325。這個(gè)例子中，從圖 6(b)所示圖像330，通過傾斜法、塊匹配法等檢測圖像320的角部點(diǎn) 323、 324及325的光流337、 338及339。然后，基于檢測的光流337、 338及339，檢測與角部點(diǎn)323、 324及325相對應(yīng)的角部點(diǎn)333、 334及335。這里，例如，在圖6(a)和(b)所示圖像320和330中包括的木馬圖 像321和331和蛇圖像322和332不獨(dú)立于圖像拾取設(shè)備100的運(yùn)動(dòng) 而運(yùn)動(dòng)，因?yàn)樗鼈儽环胖迷诘孛嫔稀Ｒ虼?，基于從木馬圖像321和331 或蛇圖像322和332檢測的角部點(diǎn)而確定的光流，可準(zhǔn)確估計(jì)圖像拾 取設(shè)備100的運(yùn)動(dòng)。例如，如圖6(c)所示，基于圖像330中檢測的三 個(gè)光流337至339，可估計(jì)圖像330是通過相對于在點(diǎn)336提供的中 心而擴(kuò)展圖像320得到的圖像。因此，可判定，在圖像拾取圖像330 時(shí)，圖像拾取設(shè)備100的運(yùn)動(dòng)是以點(diǎn)336為中心的拉近操作。以此方 式，如果相對于不獨(dú)立于圖像拾取設(shè)備100的運(yùn)動(dòng)而運(yùn)動(dòng)的物理實(shí)體， 檢測角部點(diǎn)，那么基于關(guān)于角部點(diǎn)確定的光流，可準(zhǔn)確檢測具有固定 規(guī)律性的圖像拾取設(shè)備100的運(yùn)動(dòng)。因此，使用關(guān)于角部點(diǎn)確定的光 流，通過計(jì)算可確定仿射變換參數(shù)。然而，考慮到圖像有時(shí)包括獨(dú)立于圖像拾取設(shè)備IOO的運(yùn)動(dòng)而運(yùn) 動(dòng)的物理實(shí)體，像風(fēng)展開的旗子。例如，圖5所示圖像300包括由風(fēng) 展開的旗子。如果以此方式從獨(dú)立于圖〗象拾取設(shè)備100的運(yùn)動(dòng)而運(yùn)動(dòng) 的物理實(shí)體(像由風(fēng)展開的旗子)來檢測角部點(diǎn)，并且關(guān)于角部點(diǎn)確 定的光流被用于估計(jì)圖像拾取設(shè)備100的運(yùn)動(dòng)，那么不能準(zhǔn)確估計(jì)圖 像拾取設(shè)備100的運(yùn)動(dòng)。例如，從圖5(b)所示圖像300檢測的每個(gè)光流由箭頭標(biāo)記指示， 并且從光流檢測的角部點(diǎn)由箭頭標(biāo)記端部具有空白內(nèi)部的圓形標(biāo)記指 示。這里，角部點(diǎn)303至305是與圖6(b)和(c)所示角部點(diǎn)333至335 相對應(yīng)的角部點(diǎn)。同時(shí)，角部點(diǎn)306至311是關(guān)于旗子檢測的角部點(diǎn)， 旗子在關(guān)于木馬圖像301的背景上存在。然后，由于旗子被風(fēng)展開， 所以被風(fēng)影響的旗子的運(yùn)動(dòng)被檢測為光流。具體地，為獨(dú)立于圖像拾 取設(shè)備100的運(yùn)動(dòng)而運(yùn)動(dòng)的旗子，檢測與角部點(diǎn)306至311相對應(yīng)的 光流。因此，如果用于仿射變換參數(shù)計(jì)算的三個(gè)光流包括與來自角部 點(diǎn)306至311中的至少一個(gè)角部點(diǎn)相對應(yīng)的光流，那么不能檢測圖像 拾取設(shè)備IOO的準(zhǔn)確運(yùn)動(dòng)。這個(gè)例子中，不能計(jì)算準(zhǔn)確的仿射變換參21數(shù)。如上所述，例如，有時(shí)從拾取圖像檢測到關(guān)于獨(dú)立于圖像拾取設(shè)備100的運(yùn)動(dòng)而運(yùn)動(dòng)的物理實(shí)體的光流(與圖5(b)所示的角部點(diǎn)306至 311相對應(yīng)的光流)、和相對于圖像拾取設(shè)備100的運(yùn)動(dòng)具有固定規(guī)律 性的光流(除與圖5(b)所示的角部點(diǎn)306至311相對應(yīng)的光流之外的光 流)。因此，在本發(fā)明的實(shí)施例中，描述如下例子其中基于三個(gè)光流 計(jì)算仿射變換參數(shù)的仿射變換參數(shù)計(jì)算處理被執(zhí)行數(shù)次，以確定多個(gè) 仿射變換參數(shù)；并且從多個(gè)仿射變換參數(shù)中選擇最佳的仿射變換參數(shù)。 要注意，這個(gè)例子中，假定在形成動(dòng)態(tài)畫面的每一個(gè)圖像中包括的運(yùn) 動(dòng)物理實(shí)體的尺寸相對于圖像面積而言比較小。這里簡短描述仿射變換。在兩維系統(tǒng)上運(yùn)動(dòng)源的位置由(x，y)表示， 并且在兩維系統(tǒng)上在仿射變換之后的運(yùn)動(dòng)目的地的位置由(x'，y')表示 時(shí)，仿射變換的行列式由如下表達(dá)式l表示[表達(dá)式1a 0 6 e 0-C /丄—這里，a至f是仿射變換參數(shù)。依賴于仿射變換參數(shù)的仿射矩陣 AM可由如下表達(dá)式確定。此外，在x方向的變焦分量XZ、在y方向 的變焦分量YZ、在X方向的平移分量XT、在Y方向的平移分量YT 及轉(zhuǎn)動(dòng)分量R分別由如下表達(dá)式確定。要注意，在單位矩陣的情況下， a=e=l, b=c=d=f=0 。[表達(dá)式2[x' / l] = [x y 1]…(表達(dá)式1)贏=a 6 c忍=Vfl2 +t/2汀=/現(xiàn)在描述仿射變換參數(shù)的計(jì)算方法。首先，從特征點(diǎn)中選擇三個(gè)特征點(diǎn)，其中與當(dāng)前幀相對應(yīng)的圖像 中檢測光流，當(dāng)前幀是形成動(dòng)態(tài)畫面的幀之一。例如，從角部點(diǎn)(由具 有空白內(nèi)部的圓形標(biāo)記指示)中隨機(jī)選擇三個(gè)特征點(diǎn)，這些角部點(diǎn)從圖 5(b)所示圖像300檢測。要注意，在投影變換參數(shù)用作攝影機(jī)工作參 數(shù)時(shí)，隨機(jī)選擇四個(gè)特征點(diǎn)。然后，使用與選中的三個(gè)特征點(diǎn)相對應(yīng)的三個(gè)光流，計(jì)算仿射變 換參數(shù)。例如，使用與從圖5(b)所示圖像300的角部點(diǎn)(由具有空白內(nèi) 部的圓形標(biāo)記指示)中選擇的三個(gè)角部點(diǎn)相對應(yīng)的光流(由連接到具有 空白內(nèi)部的圓形標(biāo)記的箭頭標(biāo)記所指示)，計(jì)算仿射變換參數(shù)。使用表 達(dá)式1可確定仿射變換參數(shù)。然后，基于確定的仿射變換參數(shù)，計(jì)算仿射變換參數(shù)的分?jǐn)?shù)。具 體地，使用確定的仿射變換參數(shù)，確定與當(dāng)前幀的緊前一幀相對應(yīng)的 圖像的所有特征點(diǎn)的運(yùn)動(dòng)目的地位置。然后，將使用仿射變換參數(shù)確 定的特征點(diǎn)位置和從當(dāng)前幀檢測的特征點(diǎn)位置彼此比較，以為每個(gè)特征點(diǎn)計(jì)算彼此對應(yīng)的兩個(gè)特征點(diǎn)的位置的差值。至于差值，例如，計(jì) 算彼此對應(yīng)的兩個(gè)特征點(diǎn)的位置之間的絕對距離。然后，對于每個(gè)特 征點(diǎn)，將計(jì)算差值和預(yù)先設(shè)置的閾值彼此比較，以確定其差值低于所 述閾值的那些特征點(diǎn)的數(shù)量，作為仿射變換參數(shù)的分?jǐn)?shù)。以此方式， 從光流被檢測的特征點(diǎn)中隨機(jī)選擇三個(gè)特征點(diǎn)、和基于與這些特征點(diǎn) 相對應(yīng)的光流計(jì)算仿射變換參數(shù)的分?jǐn)?shù)的過程以此方式被重復(fù)預(yù)定次 數(shù)，以計(jì)算仿射變換參數(shù)的多個(gè)分?jǐn)?shù)。預(yù)定次數(shù)可以響應(yīng)于比較對象 的圖像類型、圖像拾取設(shè)備100的處理能力等被適當(dāng)設(shè)置，或者可以 使用固定值。例如，考慮到圖像拾取設(shè)備IOO的處理能力，預(yù)定次數(shù) 可以i殳置為近似20次。例如，考慮如下情形其中從圖5(b)所示圖像300檢測的角部點(diǎn) 中選擇除角部點(diǎn)306至311之外的三個(gè)角部點(diǎn)。如果使用以此方式選23算仿射變換參數(shù)，由于三個(gè)光 流如上述那樣具有固定規(guī)律性，確定了按照固定規(guī)則變換與緊前一幀 相對應(yīng)的圖像所使用的仿射變換參數(shù)。因此，在使用仿射變換參數(shù)確 定的角部點(diǎn)位置與從當(dāng)前幀檢測的角部點(diǎn)位置之間，關(guān)于除角部點(diǎn)306至311之外的角部點(diǎn)確定的差值具有比較低的值。因此，仿射變 換參數(shù)的分?jǐn)?shù)具有比較高的值。另一方面，考慮另一種情形其中從圖5(b)所示圖像300檢測的 角部點(diǎn)中選擇包括角部點(diǎn)306至311至少一個(gè)的三個(gè)角部點(diǎn)。如果使 用以此方式選擇的三個(gè)角部點(diǎn)相對應(yīng)的三個(gè)光流來計(jì)算仿射變換參 數(shù)，那么由于三個(gè)光流包括不具有固定規(guī)律性的光流，確定了按照固 定規(guī)則變換與緊前一幀相對應(yīng)的圖像所使用的仿射變換參數(shù)。因此， 在使用仿射變換參數(shù)確定的角部點(diǎn)位置與從當(dāng)前幀檢測的角部點(diǎn)位置 之間，確定的差值在任意角部點(diǎn)呈現(xiàn)比較高的值。因此，仿射變換參 數(shù)的分?jǐn)?shù)呈現(xiàn)比較低的值。然后，將確定的多個(gè)仿射變換參數(shù)的分?jǐn)?shù)中呈現(xiàn)最高分?jǐn)?shù)值的仿 射變換參數(shù)選作代表性仿射變換參數(shù)。然后，計(jì)算所選擇的代表性仿 射變換參數(shù)的矩陣的逆矩陣，并且將逆矩陣的仿射變換參數(shù)與當(dāng)前幀 相關(guān)聯(lián)地記錄到元數(shù)據(jù)存儲(chǔ)部分210中。因此，當(dāng)形成動(dòng)態(tài)畫面的圖 像被仿射變換時(shí)，它可使用最佳仿射變換參數(shù)被仿射變換。如上所迷，即使在形成動(dòng)態(tài)畫面的每一個(gè)圖像包括正在運(yùn)動(dòng)的物 理實(shí)體(運(yùn)動(dòng)物理實(shí)體)時(shí)，如人或汽車，在運(yùn)動(dòng)物理實(shí)體的尺寸相對 圖像面積而言比較小時(shí)，仍可提取圖像拾取設(shè)備100的運(yùn)動(dòng)，而不受 運(yùn)動(dòng)物理實(shí)體的影響。此外，通過提取圖像拾取設(shè)備100的運(yùn)動(dòng)，有可能估計(jì)被視為圖 像拾取人故意引起的運(yùn)動(dòng)，如拉近、拉遠(yuǎn)、拍攝全景、傾斜或轉(zhuǎn)動(dòng)?，F(xiàn)在參照附圖描述根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備100的操作。圖7是流程圖，表明通過根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備100 的仿射變換參數(shù)檢測處理的處理過程。首先，動(dòng)態(tài)畫面從圖像拾取部分110輸入(步驟S900)。然后，從 圖像拾取部分110輸出的動(dòng)態(tài)畫面被解碼，并且按時(shí)間序列順序獲取 一個(gè)幀的圖像(步驟S901)。然后，判定獲取的一個(gè)幀是否是從圖像拾 取部分110輸出的動(dòng)態(tài)畫面的頂部幀(步驟S902)。如果獲取的一個(gè)幀 是頂部幀(步驟S902)，那么從與頂部幀相對應(yīng)的整個(gè)圖像提取特征點(diǎn) (步驟S903)。例如，如圖5(b)看到的那樣，提取圖像的多個(gè)角部點(diǎn)。 然后，將單位矩陣的仿射變換參數(shù)選作仿射變換參數(shù)(步驟S卯4),此 后處理前進(jìn)到步驟S914。另一方面，如果獲取的一個(gè)幀不是頂部幀(步驟S902),那么從相 比與緊前一幀相對應(yīng)的圖像新拾取的區(qū)域提取特征點(diǎn)(步驟S905)。具體地，由于從與緊前一幀相對應(yīng)的圖像已經(jīng)提取的特征點(diǎn)可從與所述 特征點(diǎn)相對應(yīng)的光流確定，所以它們不從與當(dāng)前幀相對應(yīng)的圖像提取。 然.后，計(jì)算關(guān)于從與緊前一幀相對應(yīng)的圖像提取的特征點(diǎn)的光流 (步驟S906)。具體地，如在圖5(b)看到的那樣，計(jì)算關(guān)于角部點(diǎn)的光 流。此后，變量i被初始化到"l，，(步驟S907)。然后，從對其檢測光流 的特征點(diǎn)中選擇M個(gè)特征點(diǎn)(步驟S908)。例如，在仿射變換參數(shù)被用 作攝影機(jī)工作參數(shù)時(shí)，隨機(jī)選擇三個(gè)特征點(diǎn)。另一方面，如果投影變 換參數(shù)被用作攝影機(jī)工作參數(shù)，隨機(jī)選擇四個(gè)特征點(diǎn)。然后，基于與 選中的M個(gè)特征點(diǎn)相對應(yīng)地計(jì)算的M個(gè)光流，計(jì)算仿射變換參數(shù)(步 驟S909)。然后，基于通過計(jì)算確定的仿射變換參數(shù)，計(jì)算仿射變換參數(shù)的 分?jǐn)?shù)(步驟S910)。具體地，計(jì)算確定的仿射變換參數(shù)被用于確定與緊 前一幀相對應(yīng)的圖像中的所有特征點(diǎn)的運(yùn)動(dòng)目的地位置。然后，將使 用仿射變換參數(shù)確定的特征點(diǎn)位置和步驟S906的光流計(jì)算時(shí)確定的 與當(dāng)前幀相對應(yīng)的圖像的特征點(diǎn)位置彼此比較，以為每個(gè)特征點(diǎn)計(jì)算 每兩個(gè)對應(yīng)特征點(diǎn)的位置之間的差值。作為差值，例如，計(jì)算每兩個(gè) 對應(yīng)特征點(diǎn)之間的絕對距離。然后，為每個(gè)特征點(diǎn)，將計(jì)算的差值與 預(yù)先設(shè)置的閾值彼此比較，并且將差值比閾值低的那些特征點(diǎn)的數(shù)目確定為仿射變換參數(shù)的分?jǐn)?shù)。然后，將"l"加到變量i(步驟S911),并且判定變量i是否高于常 數(shù)N(步驟S912)。如果變量i低于常數(shù)N(步驟S912)，那么處理返回 到步驟S908,以重復(fù)仿射變換參數(shù)的分?jǐn)?shù)計(jì)算處理(步驟S908至 S910)。例如，20可用作常數(shù)N。另一方面，如果變量i高于常數(shù)N(步驟S912)，那么將仿射變換 參數(shù)的確定分?jǐn)?shù)之中分?jǐn)?shù)具有最高值的那些仿射變換參數(shù)選作代表性 仿射變換參數(shù)(步驟S913)。然后，將選中的代表性仿射變換參數(shù)的矩 陣的逆矩陣的仿射變換參數(shù)與當(dāng)前幀相關(guān)聯(lián)地記錄在元數(shù)據(jù)存儲(chǔ)部分 210中(步驟S914)。要注意，如果當(dāng)前幀是頂部幀，將選中的單位矩 陣的仿射變換參數(shù)以與頂部幀相關(guān)聯(lián)地記錄在元數(shù)據(jù)存儲(chǔ)部分210 中。然后，通過重寫來存儲(chǔ)與當(dāng)前幀相對應(yīng)的圖像和圖像的特征點(diǎn)(步 驟S915)。然后，判定當(dāng)前幀是否是從圖像拾取部分110輸出的動(dòng)態(tài)畫面的 最后幀(步驟S916)。如果當(dāng)前幀不是最后幀(步驟S916)，那么處理返 回到步驟S901,以重復(fù)仿射變換參數(shù)檢測處理(步驟S901至S915)。 另一方面，如果當(dāng)前幀是最后幀(步驟S916),那么仿射變換參數(shù)檢測 處理結(jié)束。盡管在本發(fā)明實(shí)施例的描述中，將基于從形成動(dòng)態(tài)畫面的圖像檢 測的光流來檢測仿射變換參數(shù)的例子描述為攝影機(jī)工作參數(shù)的檢測， 但可以使用諸如加速度傳感器或陀螺傳感器之類的傳感器、或當(dāng)執(zhí)行 變焦操作時(shí)使用的變焦按鈕161，從而檢測在圖像拾取時(shí)圖像拾取設(shè) 備100的運(yùn)動(dòng)量，并且基于圖像拾取設(shè)備100的運(yùn)動(dòng)量確定攝影機(jī)工 作參數(shù)。此外，基于為攝影機(jī)振動(dòng)校正確定的運(yùn)動(dòng)向量，可以確定攝 影機(jī)工作參數(shù)。此外，基于諸如加速度傳感器或陀螺傳感器的檢測裝置檢測的信息和為攝影機(jī)振動(dòng)校正確定的運(yùn)動(dòng)向量的組合信息，可以 確定攝影機(jī)工作參數(shù)。要注意，在圖像拾取時(shí)檢測的圖像拾取設(shè)備100 的運(yùn)動(dòng)量，可被用于判定攝影機(jī)工作參數(shù)計(jì)算單元123確定的攝影機(jī) 工作參數(shù)是否正確。此外，攝影機(jī)工作參數(shù)計(jì)算單元123可以檢測多個(gè)攝影機(jī)工作參數(shù)，從而基于在圖像拾取時(shí)檢測的圖像拾取設(shè)備100的運(yùn)動(dòng)量，使用所述多個(gè)攝影機(jī)工作參數(shù)之一?，F(xiàn)在，參照附圖詳細(xì)描述攝影機(jī)工作檢測部分120計(jì)算的仿射變 換參數(shù)被用于合成形成動(dòng)態(tài)畫面的圖像的情形。要注意，圖8至16 為了描述被簡化，并且以放大方式表明兩個(gè)連續(xù)幀之間的運(yùn)動(dòng)量。首先，描述如下情形其中，在圖像拾取設(shè)備100的圖像拾取時(shí)， 盡管放大率未改變，圖像拾取設(shè)備IOO的透鏡方向從圖像拾取設(shè)備IOO 的位置提供的中心在向上、向下、向左及向右方向之一移動(dòng)。圖8是視圖，表明圖像拾取設(shè)備100拾取的動(dòng)態(tài)畫面的轉(zhuǎn)變的例 子。圖8是表示與動(dòng)態(tài)畫面中包括的連續(xù)幀相對應(yīng)的圖像401至403 的視圖，其中以山為背景拾取人400的圖像。這個(gè)例子中，表明如下 情形其中在圖像拾取設(shè)備100的透鏡方向向右和向上運(yùn)動(dòng)時(shí)，圖像 拾取人執(zhí)行圖像拾取。這個(gè)例子中，在圖像拾取設(shè)備100拾取的動(dòng)態(tài) 畫面中包括的人400從右側(cè)向左側(cè)運(yùn)動(dòng)，并且運(yùn)動(dòng)到形成動(dòng)態(tài)畫面的 圖像的下側(cè)。圖9是視圖，其中在圖8所示圖像中，與緊前一幀相對應(yīng)的圖像 由虛線指示，并且表明檢測的光流的例子。圖9(a)所示圖像401與圖 8(a)所示圖像401相同。同時(shí)，圖9(b)所示圖像402的實(shí)線部分與圖 8(b)所示圖4象402的那些相同，并且圖9(b)所示圖4象402的虛線部分 與圖9(a)所示圖像401的實(shí)線部分相同。此外，圖9(b)所示圖像402 上的箭頭標(biāo)記404至406表明從圖像402檢測的光流的例子。類似地， 在圖9(c)所示圖像403的實(shí)線部分與圖8(c)所示圖像403的實(shí)線部分 相同，并且圖9(c)所示圖像403的虛線部分與圖9(b)所示圖像402的 實(shí)線部分相同。此外，在圖9(c)所示圖像403上的箭頭標(biāo)記407至409 表明從圖像403檢測的光流的例子。如圖9(b)和(c)所示，圖像中包括的人400和背景的山與圖像拾取 設(shè)備100的運(yùn)動(dòng)一致地運(yùn)動(dòng)。基于從運(yùn)動(dòng)檢測的光流，可以為每個(gè)幀 確定仿射變換參數(shù)。圖IO是表明圖像合成例子的視圖，在合成時(shí)，再現(xiàn)包括圖8所示圖像401至403的動(dòng)態(tài)畫面。要注意，由于在本發(fā)明的實(shí)施例中，合 成形成兩個(gè)動(dòng)態(tài)畫面的圖^^，隨著再現(xiàn)時(shí)間流逝，在顯示部分250顯 示的圖像變得比普通圖像大。因此，最初顯示的圖像與顯示部分250 的顯示區(qū)域的尺寸相比以小尺寸顯示。要注意，首先顯示的圖像的尺 寸、位置等可以由用戶指定。如圖10(a)所示，只有與第一幀相對應(yīng)的圖像401被首先顯示。這 里，在與圖像401相對應(yīng)的仿射變換參數(shù)的矩陣(3行x3列的矩陣)由 Al表示時(shí)，確定A1的值，并且參考頂部幀的圖像401的位置和大小， 使用所確定的Al矩陣，仿射變換圖像401。這里，由于A是單位矩 陣，所以不變換圖像401的位置和大小。然后，與下個(gè)幀相對應(yīng)的圖 像402被顯示時(shí)，使用與這個(gè)幀關(guān)聯(lián)的仿射變換參數(shù)，仿射變換圖像 402。具體地，與圖像402相對應(yīng)的仿射變換參數(shù)的矩陣由A2表示， 與圖像401相對應(yīng)的仿射變換參數(shù)的矩陣由Al表示，確定AlxA2的 值，并且參考頂部幀的圖像401的位置和尺寸，基于確定的AlxA2 矩陣，仿射變換圖像402。在圖10(b)所示圖像中，只變換圖像402的 位置。然后，使用仿射變換參數(shù)而仿射變換的圖像402被重寫，從而 它與緊前一幀相對應(yīng)的圖像401重疊。具體地，在與圖像402重疊的 區(qū)域410中，圖像402被重寫。此外，不與圖像402重疊的圖像401 的區(qū)域中，圖像401的圖像被合成。具體地，在顯示與第二幀相對應(yīng) 的圖像402時(shí)，圖像402的整個(gè)部分和圖像401的與區(qū)域411相對應(yīng) 的部分被合成的圖像被顯示，如在圖10(b)所示。此外，有可能使圖像 框在與當(dāng)前幀相對應(yīng)的圖像的周圍顯示，圖像框表示其中的圖像是來 自顯示圖像內(nèi)的最新近的圖像。在圖10(b)，在圖像402上顯示圖像框。 此外，圖像402的仿射變換得到的仿射變換參數(shù)被存儲(chǔ)到圖像變換部 分150中。然后，與隨后幀相對應(yīng)的圖像403要被顯示時(shí)，與這個(gè)幀相關(guān)聯(lián) 的仿射變換參數(shù)被用于仿射變換圖像403。具體地，通過使用與圖像 403相對應(yīng)的仿射變換參數(shù)的矩陣和用于緊前一仿射變換的與圖像 402相對應(yīng)的仿射變換參數(shù)的矩陣而確定的仿射變換參數(shù)，圖像403被仿射變換。具體地，與圖像403相對應(yīng)的仿射變換參數(shù)的矩陣由A3 表示、并且與圖像402相對應(yīng)的仿射變換參數(shù)的矩陣由A2表示、與 圖像401相對應(yīng)的仿射變換參數(shù)的矩陣由Al表示，確定AlxA2xA3 的值，并且參考頂部幀的圖像401的位置和尺寸，使用所確定的 AlxA2xA3矩陣，仿射變換圖像403。在圖10(c)所示圖像中，只變換 圖像403的位置。然后，使用仿射變換參數(shù)而仿射變換的圖像403以 這樣一種方式凈皮重寫，從而重疊于與前面幀相對應(yīng)的圖《象401和402 的合成圖像。具體地，圖像401和402的合成圖像的區(qū)域中與圖像403 重疊的區(qū)域413和414中，圖像403的圖像被重寫。另一方面，在圖 像401和402的合成圖像的區(qū)域中的不與圖像403重疊的區(qū)域411和 412中，圖像401和402的合成圖像被合成。具體地，在與第三幀相 對應(yīng)的圖^f象403 ^皮顯示時(shí)，圖《象403的整個(gè)部分、與區(qū)域411相對應(yīng) 的圖像401的部分及與區(qū)域412相對應(yīng)的圖像402的部分被合成的圖 像被顯示，如在圖10(c)所示。此外，在圖像框要被顯示在與當(dāng)前幀相 對應(yīng)的圖像的周圍時(shí)，圖像框表示其中的圖像是在顯示圖像中的最新 近圖像，在圖10(c)所示圖像403上顯示圖像框。此外，圖像403的仿 射變換得到的仿射變換參數(shù)被存儲(chǔ)到圖像變換部分150中。換句話說， 通過與圖像402和403相對應(yīng)的仿射變換參數(shù)的矩陣的相乘而確定的 仿射變換參數(shù)被存儲(chǔ)到圖像變換部分150中。以此方式，與當(dāng)前幀相 對應(yīng)的圖像要被仿射變換時(shí)，使用與當(dāng)前幀相對應(yīng)的仿射變換參數(shù)的 矩陣和與直到緊前一幀的幀相對應(yīng)的仿射變換參數(shù)的矩陣而確定的仿 射變換參數(shù)，進(jìn)行仿射變換。這種仿射變換時(shí)確定的仿射變換參數(shù)被 存儲(chǔ)到圖像變換部分150中，并用于下次仿射變換。這也類似地應(yīng)用 于圖13和16的情形?，F(xiàn)在，描述這樣一種情形其中在圖像拾取設(shè)備IOO的圖像拾取 時(shí)改變放大率，盡管圖像拾取設(shè)備100的透鏡方向不運(yùn)動(dòng)。圖11是視圖，表明圖像拾取設(shè)備100拾取的動(dòng)態(tài)畫面的轉(zhuǎn)變的例 子。圖11是表示與動(dòng)態(tài)畫面中包括的連續(xù)幀相對應(yīng)的圖像421至423 的視圖，其中在山的背景上拾取人420的圖像。在本例子中，描述這像拾取設(shè)備100的透鏡放 大率時(shí)，執(zhí)行圖像拾取。這個(gè)例子中，在圖像拾取設(shè)備100拾取的動(dòng) 態(tài)畫面中包括的人420在形成動(dòng)態(tài)畫面的圖像中逐漸變大。要注意， 盡管當(dāng)放大率提高時(shí)圖像拾取設(shè)備100的位置有時(shí)候移動(dòng)一些，但在 本例子中，進(jìn)行描述時(shí)不考慮圖像拾取設(shè)備100的位置運(yùn)動(dòng)。圖12是視圖，其中與圖11所示圖像中的緊前一幀相對應(yīng)的圖像 由虛線指示，并且表示檢測的光流的例子。圖12(a)所示圖像421與圖 ll(a)所示圖像421相同。同時(shí)，圖12(b)所示圖像422的實(shí)線部分與 圖11(b)所示圖像422的那些相同，而圖12(b)所示圖像422的虛線部 分與圖11(a)所示圖像421的實(shí)線部分相同。此外，圖12(b)所示圖像 422上的箭頭標(biāo)記424至426指示從圖像422檢測的光流的例子。類 似地，圖12(c)所示圖像423的實(shí)線部分與圖11(c)所示圖像423的那 些相同，而圖12(c)所示圖像423的虛線部分與圖11(b)所示圖像422 的實(shí)線部分相同。此外，圖12(c)所示圖像423上的箭頭標(biāo)記427至 429指示從圖像423檢測的光流的例子。如在圖12(b)和(c)所示，圖像中包括的人420和背景的山的尺寸 按照放大率的變化而變化。對于每個(gè)幀，基于由變化檢測的光流，可 確定仿射變換參數(shù)。圖13是視圖，表明如下情況下的顯示例子再現(xiàn)包括在圖ll所 示圖〗象421至423的動(dòng)態(tài)畫面。如圖13(a)所示，只有與頂部幀相對應(yīng)的圖像421被首先顯示。然 后，與隨后幀相對應(yīng)的圖像422要被顯示時(shí)，使用與這個(gè)幀關(guān)聯(lián)的仿 射變換參數(shù)，仿射變換圖像422。在圖13(b)所示圖像的情況下，只變 換圖像422的尺寸。然后，使用仿射變換參數(shù)而仿射變換的圖像422 以這樣一種方式被重寫，從而與緊前一幀相對應(yīng)的圖像421重疊。具 體地，圖像421的區(qū)域中的與圖像422重疊的區(qū)域中，圖像422的圖 像被重寫。這個(gè)例子中，由于圖像421與圖像422的整個(gè)區(qū)域相重疊， 整個(gè)圖像422被重寫在圖像421上。另一方面，在圖像421的區(qū)域中 的不與圖像422重疊的區(qū)域431中，圖像421的圖像被合成。具體地，當(dāng)與第二幀相對應(yīng)的圖像422要被顯示時(shí)，圖像422的整個(gè)部分和與 區(qū)域431相對應(yīng)的圖像421的部分被合成的圖像被顯示，如在圖13(b) 所示。此外，圖像框可在與當(dāng)前幀相對應(yīng)的圖像的周圍被顯示，圖像 框指示其中的圖像是來自顯示圖像內(nèi)的最新近圖像。在圖13(b)中，在 圖像422上顯示圖像框。此外，由圖像422的仿射變換得到的仿射變 換參數(shù)被存儲(chǔ)到圖像變換部分150中。此后，與下個(gè)幀相對應(yīng)的圖像423要被顯示時(shí)，使用與這個(gè)幀相 關(guān)聯(lián)的仿射變換參數(shù)，來仿射變換圖像423。具體地，通過與圖像423 相對應(yīng)的仿射變換參數(shù)的矩陣和用于緊前一仿射變換的與圖像422相 對應(yīng)的仿射變換參數(shù)的矩陣的相乘而確定的仿射變換參數(shù)，圖像423 被仿射變換。在圖13(c)所示圖像中，只變換圖像423的尺寸。然后， 仿射變換的圖像423被重寫，從而重疊于與前面幀相對應(yīng)的圖像421 和422的合成圖像。具體地，在圖像421和422的合成圖像的區(qū)域中 的與圖像423相重疊的區(qū)域中，圖像423的圖像被重寫。這個(gè)例子中， 由于圖像423與圖像421和422的整個(gè)區(qū)域相重疊，所以圖像423的 整個(gè)圖像被重寫在圖像421和422的合成圖像上。另一方面，在圖像 421和422的合成圖像的區(qū)域中的不與圖像423重疊的區(qū)域432和433 中，圖像421和422的合成圖像被合成。具體地，與第三幀相對應(yīng)的 圖像423要被顯示時(shí)，圖像423的整個(gè)部分、與區(qū)域432相對應(yīng)的圖 像421的部分及與區(qū)域433相對應(yīng)的圖像422的部分被合成的圖像被 顯示，如在圖13(c)所示。另一方面，在圖像框要被顯示在與當(dāng)前幀相 對應(yīng)的圖像的周圍時(shí)，圖像框表示其中的圖像是來自顯示圖像中的最 新近圖像，在圖13(c)所示圖像423上顯示圖像框。此外，圖像423的 仿射變換中使用的仿射變換參數(shù)被存儲(chǔ)到圖像變換部分150中。換句 話說，使用與圖像422和423相對應(yīng)的仿射變換參數(shù)確定的仿射變換 參數(shù)被存儲(chǔ)到圖像變換部分150中?，F(xiàn)在，描述這樣一種情形在圖像拾取設(shè)備100的圖像拾取時(shí)， 繞圖像拾取方向轉(zhuǎn)動(dòng)圖像拾取設(shè)備100，盡管不改變圖像拾取設(shè)備100 的方向或》文大率。圖14是視圖，表明圖像拾取設(shè)備100拾取的動(dòng)態(tài)畫面的轉(zhuǎn)變的例 子。圖14是表示與動(dòng)態(tài)畫面中包括的連續(xù)幀相對應(yīng)的圖像441至443 的視圖，其中在山的背景上拾取人440的圖像。在這個(gè)例子中，表明 這樣一種情形其中圖像拾取人在繞圖像拾取方向轉(zhuǎn)動(dòng)圖像拾取設(shè)備 100時(shí)，執(zhí)行圖像拾取。這個(gè)例子中，在形成動(dòng)態(tài)畫面的圖像上，在 圖像拾取設(shè)備100拾取的動(dòng)態(tài)畫面中包括的人440連續(xù)轉(zhuǎn)動(dòng)。要注意， 盡管圖像拾取設(shè)備100的位置有時(shí)通過圖像拾取設(shè)備100的轉(zhuǎn)動(dòng)而運(yùn) 動(dòng)一些，但不考慮圖像拾取設(shè)備100的位置運(yùn)動(dòng)來描述這個(gè)例子。圖15是視圖，其中與圖14所示圖像中的緊前一幀相對應(yīng)的圖像 由虛線指示，并且表示檢測的光流的例子。在圖15(a)所示圖像441與 圖14(a)所示圖像441相同。同時(shí)，圖15(b)所示圖像442的實(shí)線部分 與圖14(b)所示圖像442的那些相同，而圖15(b)所示圖像442的虛線 部分與圖14(a)所示圖l象441的實(shí)線部分相同。此外，圖15(b)所示圖 像442上的箭頭標(biāo)記444至446指示從圖像442檢測的光流的例子。 類似地，圖15(c)所示圖像443的實(shí)線部分與圖14(c)所示圖像443的 那些相同，而圖15(c)所示圖像443的虛線部分與圖14(b)所示圖像442 的實(shí)線部分相同。此外，圖15(c)所示圖《象443上的箭頭標(biāo)記447至 449指示從圖像443檢測的光流的例子。如在圖15(b)和(c)所示，圖像中包括的人440和背景的山與圖像 拾取設(shè)備100的轉(zhuǎn)動(dòng)相一致地轉(zhuǎn)動(dòng)運(yùn)動(dòng)。對于每個(gè)幀，基于由轉(zhuǎn)動(dòng)運(yùn) 動(dòng)檢測的光流，可確定仿射變換參數(shù)。圖16是視圖，表示在如下情況的顯示例子再現(xiàn)包括在圖14所 示圖《象441至443的動(dòng)態(tài)畫面。如圖16(a)所示，只有與頂部幀相對應(yīng)的圖^象441:帔首先顯示。然 后，與下個(gè)幀相對應(yīng)的圖像442要被顯示時(shí)，使用與這個(gè)幀關(guān)聯(lián)的仿 射變換參數(shù)，仿射變換圖像442。在圖16(b)所示圖像中，只變換圖像 442的角度。然后，使用仿射變換參數(shù)而仿射變換的圖像442被重寫， 從而與緊前一幀相對應(yīng)的圖像441相重疊。具體地，在圖像441的區(qū) 域中的與圖像442重疊的區(qū)域450中，圖像442的圖像被重寫。同時(shí)，在圖像441的區(qū)域中的不與圖像442重疊的區(qū)域451和452中，圖像 441的圖像被合成。具體地，與第二幀相對應(yīng)的圖像442要被顯示時(shí)， 如在圖16(b)所示，圖<象442的整個(gè)部分和與區(qū)域451和452相對應(yīng)的 圖像441的部分被合成的圖像被顯示。此外，有可能在與當(dāng)前幀相對 應(yīng)的圖像的周圍顯示圖像框，圖像框表示其中的圖像是來自顯示圖像 中的最新近圖像。在圖16(b),在圖像442上顯示圖像框。此外，由圖 像442的仿射變換得到的仿射變換參數(shù)被存儲(chǔ)到圖像變換部分150中。
然后，與下個(gè)幀相對應(yīng)的圖像443要被顯示時(shí)，使用與這個(gè)幀相 關(guān)聯(lián)的仿射變換參數(shù)，仿射變換圖像443。換句話說，使用與圖像443 相對應(yīng)的仿射變換參數(shù)的矩陣和在緊前一仿射變換中使用的與圖像 442相對應(yīng)的仿射變換參數(shù)的矩陣，仿射變換圖像443。在圖16(c)所 示圖像中，只變換圖像443的角度。然后，仿射變換的圖像443被重 寫，從而重疊于與前面幀相對應(yīng)的圖像441和442的合成圖像。具體 地，在圖像441和442的合成圖像的區(qū)域中的與圖像443相重疊的區(qū) 域453到457中，圖像443的圖像被重寫。另一方面，在圖像441和 442的合成圖^f象的區(qū)域中的不與圖^象443重疊的區(qū)域458至461中， 圖像441和442的合成圖像被進(jìn)一步合成。具體地，與第三幀相對應(yīng) 的圖像443要被顯示時(shí)，圖像443的整個(gè)部分、與區(qū)域459相對應(yīng)的 圖<象441的部分及與區(qū)域458和460相對應(yīng)的圖^f象442的部分4皮合成 的圖像被顯示，如在圖16(c)所示。另一方面，在圖像框要被顯示在與 當(dāng)前幀相對應(yīng)的圖像的周圍時(shí)，圖像框表示其中的圖像是來自顯示圖 像中的最新近圖像，在圖16(c)所示圖像443上顯示圖像框。此外，在 圖像443的仿射變換中使用的仿射變換參數(shù)被存儲(chǔ)到圖像變換部分 150中。換句話說，使用與圖像442和443相對應(yīng)的仿射變換參數(shù)確 定的仿射變換參數(shù)被存儲(chǔ)到圖像變換部分150中。
現(xiàn)在，參照附圖詳細(xì)描述提取要在顯示部分250上顯示的合成圖 像的方法。
圖17是視圖，示意地表明在本發(fā)明實(shí)施例中動(dòng)態(tài)畫面存儲(chǔ)部分 200中存儲(chǔ)的動(dòng)態(tài)圖像文件的幀與顯示區(qū)域之間的關(guān)系。這里只顯示圖像存儲(chǔ)器180、元數(shù)據(jù)存儲(chǔ)部分210、及操作接受部分160，省略除 它們之外的元件的說明。此外，關(guān)于形成圖4(b)所示的動(dòng)態(tài)畫面文件 201的幀"1"至"3"，使用元數(shù)據(jù)文件211中存儲(chǔ)的仿射變換參數(shù)216， 在圖像存儲(chǔ)器180中產(chǎn)生合成圖像的情形的例子被描述。
圖17(a)表明一種情形其中幀1(205)被存儲(chǔ)到圖像存儲(chǔ)器180中， 幀1(205)是形成圖4(b)表示的動(dòng)態(tài)畫面文件201的各個(gè)幀中的第 一幀。 例如，如圖17(a)所示，與動(dòng)態(tài)畫面文件201的幀1(205)相對應(yīng)的圖傳> 351被存儲(chǔ)到圖像存儲(chǔ)器180中。這里，至于與第一幀相對應(yīng)的圖像 351被存儲(chǔ)到圖像存儲(chǔ)器180的位置，基于所執(zhí)行的幀"l"至"n"的合 成圖像的尺寸計(jì)算，例如，使用關(guān)于在元數(shù)據(jù)文件211中存儲(chǔ)的動(dòng)態(tài) 畫面文件201的仿射變換參數(shù)216，來確定圖像351要被存儲(chǔ)的位置。 要注意，這個(gè)例子中，假定將在圖像存儲(chǔ)器180上布置的圖像351的 左頂點(diǎn)的位置被確定為原點(diǎn)、水平方向(橫坐標(biāo)軸)是x軸及豎直方向 (縱坐標(biāo)軸)是y軸，給出如下描述。
如圖17(a)所示，其中圖像351被布置在圖像存儲(chǔ)器180上的顯示 區(qū)域被確定為顯示區(qū)域361?；趫D像351被存儲(chǔ)的位置和尺寸，響 應(yīng)于操作接受部分160接受的顯示放大率的值，確定顯示區(qū)域361。 例如，普通再現(xiàn)時(shí)，由于僅再現(xiàn)當(dāng)前圖像的顯示放大率被指定，所以 顯示區(qū)域361具有與圖像351的尺寸相等的尺寸。另一方面，例如， 在拉遠(yuǎn)當(dāng)前圖像的"0.5倍"的顯示放大率被指定時(shí)，顯示區(qū)域361具有 與圖像351的兩倍尺寸相等的尺寸，并且以圖像351為中心。要注意， 用于圖像351的顯示區(qū)域361的位置可基于仿射變換參數(shù)被確定。具 體地，在"0.5倍，，的顯示放大率(當(dāng)前圖像以該顯示放大率拉遠(yuǎn))被 指定時(shí)，仿射變換參數(shù)被用于設(shè)置顯示區(qū)域，通過這些仿射變換參數(shù)， 在x方向和y方向的變焦分量被加倍。還有關(guān)于顯示區(qū)域相對于當(dāng)前 圖像被平行地運(yùn)動(dòng)或被轉(zhuǎn)動(dòng)的情形，顯示區(qū)域的位置和范圍可使用仿 射變換參數(shù)被確定。要注意，在這個(gè)例子中，盡管顯示區(qū)域與當(dāng)前圖 像的變換一起被變換，由于與幀1(205)相對應(yīng)的仿射變換參數(shù)是單位 矩陣的參數(shù)，僅考慮來自操作接受部分160的顯示放大率指定，來確定與幀1(205)相對應(yīng)的顯示區(qū)域361。
圖17(b)表明 一種情形其中幀2(206)被存儲(chǔ)到圖像存儲(chǔ)器180中， 幀2(206)來自形成圖4(b)所示的動(dòng)態(tài)畫面文件201的各個(gè)幀中。這個(gè) 例子中，與幀2(206)相對應(yīng)的圖像352使用元數(shù)據(jù)文件211中存儲(chǔ)的 仿射變換參數(shù)216、與幀號215的"1"和"2"相關(guān)聯(lián)地被變換，并且如 上述那樣通過重寫與圖像351合成，還相對于顯示區(qū)域執(zhí)行仿射變換。 具體地，與幀2(206)相對應(yīng)的圖像352使用元數(shù)據(jù)文件211中與幀號 215的"1"和"2"相關(guān)聯(lián)地存儲(chǔ)的仿射變換參數(shù)216、參照圖像351的位 置和尺寸被變換。然后，使用響應(yīng)于操作接受部分160接受的顯示放 大率的值確定的仿射變換參數(shù)，圖像352的位置和尺寸被變換，以及 基于變換后的位置和尺寸所確定的區(qū)域來形成顯示區(qū)域362。具體地， 與幀號215的"1"和"2"相對應(yīng)的仿射變換參數(shù)的矩陣由Al和A2表 示、并且響應(yīng)于操作接受部分160接受的顯示放大率的值而確定的仿 射變換參數(shù)的矩陣由B(例如，參考當(dāng)前圖像的矩陣)表示，確定 AlxA2xB的值，并且參考圖像351的位置和尺寸，顯示區(qū)域362由所 確定的AlxA2xB矩陣來確定。
圖17(c)表明一種情形其中幀3被存儲(chǔ)到圖像存儲(chǔ)器180中，該 幀3來自形成圖4(b)所示的動(dòng)態(tài)畫面文件201的各個(gè)幀。仍在這種情 況下，使用元數(shù)據(jù)文件211中與幀號215的"1"至"3"相關(guān)聯(lián)地存儲(chǔ)的 仿射變換參數(shù)216，與幀3相對應(yīng)的圖像353被變換，并且如上述那 樣通過重寫圖像351和352而合成，至于顯示區(qū)域，也執(zhí)行仿射變換， 以確定用于圖像353的顯示區(qū)域363。具體地，與幀號215的"1"至"3" 相對應(yīng)的仿射變換參數(shù)的矩陣由Al至A3分別表示、并且響應(yīng)于操作 接受部分160接受的顯示放大率的值而確定的仿射變換參數(shù)的矩陣由 B表示，確定AlxA2xA3xB的值，并且參考圖像351的位置和尺寸， 顯示區(qū)i或363由所確定的AlxA2xA3xB矩陣確定。
圖18是視圖，示意地表明在圖像存儲(chǔ)器180中存儲(chǔ)的圖像和液晶 面板251上顯示的圖像，其中動(dòng)態(tài)畫面以變化的顯示放大率被顯示。 圖18(a)表明只有液晶面板251的當(dāng)前圖像被顯示的情形，并且圖18(b)表明要顯示在液晶面板251上的動(dòng)態(tài)圖像按比例被減小(拉遠(yuǎn))的情形， 而圖18(c)表明要顯示在液晶面板251上的動(dòng)態(tài)圖像按比例被增大(拉 近)的情形。這個(gè)例子中，例示了魚被包括在當(dāng)前圖像的對象中的情形。
首先，當(dāng)再現(xiàn)動(dòng)態(tài)畫面的指令發(fā)出時(shí)，當(dāng)前圖像491和顯示區(qū)域 492如圖18(a)所示被設(shè)置成彼此相等，并且顯示區(qū)域492的范圍中包 括的合成圖像從圖像存儲(chǔ)器180提取，并且顯示在液晶面板251。換 句話說，只有當(dāng)前圖像被依次地顯示在液晶面板251上。
另一方面，在W按鈕在動(dòng)態(tài)畫面再現(xiàn)時(shí)被按下的狀態(tài)下，響應(yīng)于 W按鈕的按下時(shí)段，圖像存儲(chǔ)器180上的顯示區(qū)域493如圖18(b)所 示被放大，并且在顯示區(qū)域493中包括的合成圖像被依次顯示在液晶 面板251。同時(shí)，在T按鈕在動(dòng)態(tài)畫面再現(xiàn)時(shí)凈皮按下的狀態(tài)下，響應(yīng) 于T按鈕的按下時(shí)段，圖像存儲(chǔ)器180上的顯示區(qū)域495被縮小，并 且顯示區(qū)域495中包括的合成圖像被依次顯示在液晶面板251。要注 意，這樣的放大和縮小處理由顯示區(qū)域提取部分l卯執(zhí)行，從而當(dāng)前 圖像491被定位在中心。具體地，使用響應(yīng)于上文描述的操作接受部 分160接受的顯示放大率的值確定的仿射變換參數(shù)，當(dāng)前圖像491的 位置和尺寸被變換，并且基于變換之后的位置和尺寸來確定顯示區(qū)域。 在圖18(b)的例子中，由于降低顯示放大率的操作輸入被執(zhí)行，所以響 應(yīng)于顯示放大率的減小來確定仿射變換參數(shù)的變焦分量，而在圖18(c) 的例子中，由于提高顯示放大率的操作輸入被執(zhí)行，所以響應(yīng)于顯示 放大率的增大來確定仿射變換參數(shù)的變焦分量。以此方式，通過僅改 變顯示區(qū)域的尺寸，能以放大或縮小比例顯示包括當(dāng)前圖像的一個(gè)或 多個(gè)圖像。要注意，通過十字按鈕162的操作有可能向上、向下、向 左或向右移動(dòng)顯示區(qū)域。
如上所述，通過顯示在圖像存儲(chǔ)器180上布置的顯示區(qū)域范圍存 在的圖像，可依次顯示在再現(xiàn)期間的合成圖像。這里，當(dāng)前圖像被仿 射變換并且被合成到圖像存儲(chǔ)器180中時(shí)，有時(shí)執(zhí)行畫面質(zhì)量的轉(zhuǎn)換， 如分辨率轉(zhuǎn)換過程、壓縮過程等以轉(zhuǎn)換成較低分辨率。因此，在顯示
放大率要被提高以按放大比例顯示當(dāng)前圖像時(shí)，包括當(dāng)前圖像的合成圖像可能會(huì)變得模糊。因此，在本發(fā)明的實(shí)施例中，對于當(dāng)前再現(xiàn)的
當(dāng)前圖像，合成到圖像存儲(chǔ)器180中之前的圖像被用于顯示合成圖像。 下面參照附圖詳細(xì)描述這種顯示方法。
圖19是視圖，示意地表明在本發(fā)明實(shí)施例中在動(dòng)態(tài)畫面存儲(chǔ)部分 200中存儲(chǔ)的動(dòng)態(tài)畫面文件的幀流。這里l又顯示操作接受部分160、動(dòng) 態(tài)畫面存儲(chǔ)部分200、元數(shù)據(jù)存儲(chǔ)部分210、圖像存儲(chǔ)器180及顯示存 儲(chǔ)器230的關(guān)系，而省略其它構(gòu)造的說明。
圖19(a)以簡化形式表示圖4(b)所示動(dòng)態(tài)畫面文件201和元數(shù)據(jù)文 件211。在下面，描述與形成動(dòng)態(tài)畫面文件201的幀i(207)相對應(yīng)的圖 像被顯示的例子。換句話說，假定對于形成動(dòng)態(tài)畫面文件201的幀1 至"i-l"相對應(yīng)的圖像,已經(jīng)產(chǎn)生合成圖像。
圖19(b)示意地表示圖像存儲(chǔ)器180,在圖像存儲(chǔ)器180中存儲(chǔ)合 成圖像，其中合成與形成動(dòng)態(tài)畫面文件201的幀相對應(yīng)的圖像。如圖 17(b)所示，與形成動(dòng)態(tài)畫面文件201的幀1(205)相對應(yīng)的圖〗象351 ,皮 首先存儲(chǔ)到圖像存儲(chǔ)器180中。要注意，在圖17(a)所示圖像361由虛 線指示。然后，在圖像351被存儲(chǔ)到圖像存儲(chǔ)器180之后，與形成動(dòng) 態(tài)畫面文件201的幀2至"i-l"相對應(yīng)的圖像，使用以與幀2至"i-l"相 關(guān)聯(lián)地存儲(chǔ)在元數(shù)據(jù)文件211中的仿射變換參數(shù)216的值，被依次仿 射變換，并且仿射變換圖像通過重寫被依次存儲(chǔ)到圖像存儲(chǔ)器180中。 這里，顯示區(qū)域的尺寸響應(yīng)于來自操作接受部分160的顯示放大率目 標(biāo)的操作輸入(W按鈕或T按鈕的按下)被確定，并且響應(yīng)于當(dāng)前圖像 被仿射變換所計(jì)算。然后，對于來自圖像存儲(chǔ)器180中存儲(chǔ)的合成圖 像的每個(gè)幀，顯示區(qū)域提取部分190提取在計(jì)算的顯示區(qū)域中存在的 圖像。
與幀1至"i-l"相對應(yīng)的圖像的合成圖像被存儲(chǔ)在圖像存儲(chǔ)器180 中的狀態(tài)下，與形成動(dòng)態(tài)畫面文件201的幀i(207)相對應(yīng)的圖像，使 用以與幀1至i相關(guān)聯(lián)地存儲(chǔ)在元數(shù)據(jù)文件211中的仿射變換參數(shù) 216，被仿射變換，并且仿射變換后的當(dāng)前圖像692通過重寫被存儲(chǔ)到 圖像存儲(chǔ)器180。具體地，與幀i(207)相對應(yīng)的圖像，使用以與幀號215的"l"至"i"相關(guān)聯(lián)地存儲(chǔ)在元數(shù)據(jù)文件211中的仿射變換參數(shù) 216,參照是當(dāng)前圖像的圖像351，被仿射變換成圖像692，并且圖像 692被存儲(chǔ)到圖像存儲(chǔ)器180。然后，至于與幀i(207)相對應(yīng)的顯示區(qū) 域695，使用響應(yīng)于操作接受部分160接受的顯示放大率的值確定的 仿射變換參數(shù)，圖像692的位置和尺寸被變換。顯示區(qū)域的這種確定 由顯示區(qū)域提取部分190執(zhí)行。然后，顯示區(qū)域提取部分l卯從圖像 存儲(chǔ)器180存儲(chǔ)的合成圖像提取在顯示區(qū)域695中存在的圖像，并且 將提取的圖像例如存儲(chǔ)到顯示存儲(chǔ)器230中，如圖19(c)表明的那樣。
圖19(c)示意地表明顯示存儲(chǔ)器230，其中存儲(chǔ)顯示區(qū)域提取部分 l卯提取的圖像。這里，顯示存儲(chǔ)器230中存儲(chǔ)的圖像(除當(dāng)前圖像696 之外的圖像)是從顯示區(qū)域提取部分190提取的圖像(在顯示區(qū)域695 的范圍中存在的圖像)，使用用于顯示區(qū)域695的變換的仿射變換參數(shù) 矩陣的逆矩陣，變換而來的圖像。具體地，在圖像存儲(chǔ)器180上布置 的顯示區(qū)域的形狀有時(shí)具有平行四邊形的形狀，作為仿射變換等的結(jié) 果。為了使仿射變換的顯示區(qū)域中的合成圖像被顯示在顯示部分250, 顯示區(qū)域中的合成圖像使用目前用于當(dāng)前圖像的仿射變換時(shí)的仿射變 換參數(shù)矩陣的逆矩陣而被變換。例如，與幀號215的"l"至"i"相關(guān)聯(lián)
地在元數(shù)據(jù)文件211中存儲(chǔ)的仿射參數(shù)的矩陣由Al..... Ai表示、
并且用于顯示區(qū)域695的確定的仿射變換參數(shù)的矩陣(例如，參考當(dāng)前 圖像的矩陣)由B表示，Inv(Alx...xAixB)被用作變換在顯示區(qū)域中的 合成圖像的矩陣。因此，例如，如圖19(c)所示，有可能將按平行四邊 形變換的圖像變換成矩形，以顯示在顯示部分250。此外，對于與顯 示區(qū)域提取部分190提取的各個(gè)圖像之中的當(dāng)前幀相對應(yīng)的當(dāng)前圖像 696 ，以非仿射變換形式從動(dòng)態(tài)畫面存儲(chǔ)部分200獲取的圖像被使用， 以代替顯示區(qū)域提取部分190從圖像存儲(chǔ)器180提取的圖像。這里， 依據(jù)來自操作接受部分160的顯示放大率，確定在顯示存儲(chǔ)器230中 存儲(chǔ)所述圖像696所使用的位置和尺寸。
如圖19(c)所示，顯示區(qū)域提取部分190提取的圖像被存儲(chǔ)到顯示 存儲(chǔ)器230中，并且從動(dòng)態(tài)畫面存儲(chǔ)部分200獲取的圖像通過重寫顯
38示區(qū)域提取部分190提取的圖像而被存儲(chǔ)到顯示存儲(chǔ)器230中。因此， 仿射變換后的合成圖像在它返回到?jīng)]有使用逆矩陣被仿射變換的狀態(tài) 之后，可被顯示。同時(shí)，關(guān)于當(dāng)前圖像，通過使用在圖像受到諸如縮 小的處理之前的狀態(tài)下的圖像，比較清晰的當(dāng)前圖像可被顯示，并且 在仿射變換之后被存儲(chǔ)到圖像存儲(chǔ)器180。此外，還有在用戶操作執(zhí) 行放大等的情況下，可在清晰狀態(tài)顯示當(dāng)前圖像。
如上所述，由于對于當(dāng)前圖像，從動(dòng)態(tài)畫面存儲(chǔ)部分200獲取之 后被仿射變換的圖像可用于代替在圖像存儲(chǔ)器180中存儲(chǔ)的合成圖 像，所以可觀看到比較清晰的圖像。參照圖20和21詳細(xì)描述這個(gè)合 成例子。
圖20(a)是視圖，表示在如下情況的合成例子其中再現(xiàn)圖像拾取 設(shè)備IOO拾取的動(dòng)態(tài)畫面。在這個(gè)例子中，在合成圖像使用逆矩陣被 仿射變換的狀態(tài)下，動(dòng)態(tài)畫面形成的合成圖像被表示為圖像480,其 中圖像拾取設(shè)備100主要在向左和向右方向移動(dòng)時(shí)拾取母子的圖像， 母子正在大型建筑物站立于其上的草坪的敞開空間中玩耍。這里，在 圖像480中，以全景型式形成圖像481，圖像481由形成動(dòng)態(tài)畫面的 幀相對應(yīng)的圖像合成。此外，與圖像480的當(dāng)前幀相對應(yīng)的圖像是當(dāng) 前圖像482。
這里，描述框483圍繞的圖像區(qū)域按放大比例被顯示的情形。在 顯示部分250顯示的圖像要按放大或縮小比例被顯示時(shí)，用戶通過操 作變焦按鈕161指定希望的顯示放大率。例如，在框483圍繞的圖像 區(qū)域要按放大比例被顯示時(shí)，其中圖像480如圖20(a)所示被顯示在顯 示部分250，通過用戶操作變焦按鈕161以指定顯示放大率以及操作 十字按鈕162以指定位置，框483圍繞的圖像區(qū)域可按放大比例被顯 示。
圖20(b)是視圖，表示圖像480中的當(dāng)前圖像482被仿射變換之前 的狀態(tài)下的圖像484。
圖21(a)是視圖，表示如下情況的圖像485:其中按放大比例顯示 圖20(a)所示的框483圍繞的圖像區(qū)域。圖21(a)所示圖像485是在仿射變換之后的當(dāng)前圖像被存儲(chǔ)到圖像存儲(chǔ)器180之前的狀態(tài)下，在顯 示存儲(chǔ)器230中合成的圖像。以此方式，在當(dāng)前圖像486的區(qū)域中， 在存儲(chǔ)到圖像存儲(chǔ)器180之前的狀態(tài)下的比較清晰圖像被顯示在當(dāng)前 圖像486的區(qū)域。因此，當(dāng)前圖像486和除這個(gè)區(qū)域之外的區(qū)域彼此 相比較時(shí)，可觀察到比其它區(qū)域中的圖像更清晰的當(dāng)前圖像486。同 時(shí)，圖21(b)所示圖像487是仿射變換之后的當(dāng)前圖像被存儲(chǔ)到圖像存 儲(chǔ)器180中的狀態(tài)下，在顯示存儲(chǔ)器230中存儲(chǔ)的圖像。圖像487以 此方式顯示時(shí)，仍在當(dāng)前圖像488的區(qū)域中，顯示與其它區(qū)域中的圖 像的程度相似的圖像。具體地，對于本發(fā)明的實(shí)施例，當(dāng)圖像被合成 和顯示時(shí)，盡管顯示存儲(chǔ)器230中存儲(chǔ)的歷史圖像有時(shí)被壓縮，對于 目前的圖像(當(dāng)前圖像)，可使用非壓縮圖像或分辨率比歷史圖像更高 的圖像，因此，可實(shí)現(xiàn)高畫面質(zhì)量的圖像合成顯示。要注意，在本例 子中，為了解釋，為了表明顯示對象的圖像使用逆矩陣被仿射變換之 前的狀態(tài)，盡管當(dāng)前圖像不是矩形，通過以上描述的逆矩陣執(zhí)行仿射 變換，有可能將當(dāng)前圖像設(shè)置成矩形形狀。
下面參照附圖描述根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備100的操作。
圖22是流程圖，表明根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備100的動(dòng) 態(tài)畫面再現(xiàn)處理的處理過程。這個(gè)例子指示^皮再現(xiàn)的動(dòng)態(tài)畫面由用戶 選擇的情形。
首先，在圖像存儲(chǔ)器180中保證工作緩沖器(步驟S921)，工作緩 沖器具有比形成動(dòng)態(tài)畫面的圖像的尺寸更大的容量。然后，文件獲取 部分140從動(dòng)態(tài)畫面存儲(chǔ)部分200獲取操作接受部分160選擇的動(dòng)態(tài) 畫面文件，并且從元數(shù)據(jù)存儲(chǔ)部分210獲取與動(dòng)態(tài)畫面文件相關(guān)聯(lián)的 元數(shù)據(jù)文件(步驟S922)。
然后，文件獲取部分140解碼動(dòng)態(tài)畫面文件，并且獲取當(dāng)前幀(步 驟S923)，當(dāng)前幀是形成動(dòng)態(tài)畫面文件的一個(gè)幀。然后，文件獲取部 分140從元數(shù)據(jù)文件獲取與所獲取的當(dāng)前幀相對應(yīng)的仿射變換參數(shù) (步驟S924)。這里，當(dāng)前幀是頂部幀時(shí)，獲取單位矩陣的仿射變換參
40數(shù)。
然后，圖像變換部分150使用仿射變換參數(shù)仿射變換與當(dāng)前幀相對應(yīng)的圖像(步驟S925)。要注意，當(dāng)前幀是頂部幀時(shí)，那么由于它使用單位矩陣被仿射變換，實(shí)際圖像不被變換。
然后，圖像合成部分170把與仿射變換后的當(dāng)前幀相對應(yīng)的圖像和與當(dāng)前幀的以前幀相對應(yīng)的圖像，通過重寫而合成，并且將圖像存儲(chǔ)到圖像存儲(chǔ)器180中(步驟S926)，其中與當(dāng)前幀相對應(yīng)的圖像被合成。
此后，顯示區(qū)域提取部分190使用從第一幀至當(dāng)前幀的各個(gè)幀的仿射變換參數(shù)和與顯示放大率相對應(yīng)的仿射變換參數(shù)，確定顯示區(qū)域的位置和尺寸(步驟S927)。然后，顯示區(qū)域提取部分190從圖像存儲(chǔ)器180提取在顯示區(qū)域中包括的合成圖像(步驟S928)。然后，顯示區(qū)域提取部分190使用用于顯示區(qū)域確定的仿射變換參數(shù)矩陣的逆矩陣，仿射變換從圖像存儲(chǔ)器180提取的合成圖像(步驟S929)。
此后，顯示區(qū)域提取部分190將從圖像存儲(chǔ)器180提取的并且仿射變換后的合成圖像存儲(chǔ)到顯示存儲(chǔ)器230中(步驟S930)。然后，圖像合成部分170將當(dāng)前圖像通過重寫與顯示存儲(chǔ)器230存儲(chǔ)的合成圖像合成(步驟S931)。然后，顯示控制部分240控制顯示部分250,以顯示在顯示存儲(chǔ)器230中存儲(chǔ)的合成圖像(步驟S932)。
然后，判定當(dāng)前幀是否是形成選中動(dòng)態(tài)畫面文件的各幀中的最后幀(步驟S933)。如果當(dāng)前幀不是最后幀(步驟S933)，那么處理返回到步驟S923,以重復(fù)動(dòng)態(tài)畫面合成再現(xiàn)處理(步驟S923至S932)。另一方面，如果當(dāng)前幀是最后幀(步驟S933)，那么保證的工作緩沖器被釋放(步驟S934)，并且動(dòng)態(tài)畫面再現(xiàn)處理結(jié)束。
上文描述如下例子其中仿射變換被依次應(yīng)用于與當(dāng)前幀相對應(yīng)的當(dāng)前圖像以產(chǎn)生合成圖像，并且依次將合成圖像存儲(chǔ)到圖像存儲(chǔ)器中，然后從圖像存儲(chǔ)器的合成圖像中提取顯示區(qū)域，其中顯示區(qū)域是顯示對象的區(qū)域，以再現(xiàn)動(dòng)態(tài)畫面。這里，參照附圖詳細(xì)描述如下動(dòng)態(tài)畫面再現(xiàn)方法在與仿射變換參數(shù)的方向相反的方向，將仿射變換應(yīng)用于與以前幀相對應(yīng)的合成圖像，以產(chǎn)生動(dòng)態(tài)畫面，而與當(dāng)前幀相
對應(yīng)的當(dāng)前圖像被固定到顯示部分250的中央部分等。
首先，參照附圖詳細(xì)描述如下情形圖8至16所示圖像401至403、 421至423及441至443被用于合成和再現(xiàn)動(dòng)態(tài)畫面。要注意，圖23至25所示圖像為了描述被簡化，并且兩個(gè)連續(xù)幀之間的運(yùn)動(dòng)量以放大方式表明，與在圖8至16相類似。
首先，描述如下情形在圖像拾取設(shè)備100的圖像拾取時(shí)，圖像拾取設(shè)備100的透鏡方向相對于在圖像拾取設(shè)備100的位置中心在向上、向下、向左及向右方向之一運(yùn)動(dòng)，盡管放大率不變。
圖23是視圖，表明在如下情況的顯示例子其中再現(xiàn)包括在圖8所示圖〗象401至403的動(dòng)態(tài)畫面。在圖IO所示的顯示例子中，盡管與當(dāng)前幀之前的每個(gè)幀相對應(yīng)的合成圖像(第一， 一個(gè)圖像)被固定，通過在合成圖像上重寫與當(dāng)前幀相對應(yīng)的仿射變換圖像，合成形成的圖像被顯示。相反，在圖23所示的顯示例子中，盡管與當(dāng)前幀相對應(yīng)的圖像的位置被固定，通過重寫合成圖像而合成與當(dāng)前幀相對應(yīng)的圖像所形成的圖像被顯示，所述合成圖像是通過在與仿射變換參數(shù)的方向相反的方向，通過與當(dāng)前幀之前的每個(gè)幀相對應(yīng)的合成圖像的仿射變換而形成。具體地，盡管圖IO和圖23所示的顯示例子的區(qū)別在于在固定位置被顯示的圖像和形成仿射變換對象的圖像，但它們在其它方面相同。因此，與圖10的那些相同部分通過所應(yīng)用的相同附圖標(biāo)記來描述。
如圖23(a)所示，只有與頂部幀相對應(yīng)的圖像401被首先顯示。這里，由于圖像401是頂部幀，所以不存在以前幀。然后，與下個(gè)幀相對應(yīng)的圖像402要被顯示時(shí)，與這個(gè)幀關(guān)聯(lián)的仿射變換參數(shù)被用于仿射變換是緊前一幀的圖像401。具體地，與圖像402相對應(yīng)的仿射變換參數(shù)的矩陣由A2表示、并且與圖像401相對應(yīng)的仿射變換參數(shù)的矩陣由Al表示時(shí)，確定Inv(AlxA2)的值，并且基于確定的Inv(AlxA2)矩陣，仿射變換圖像401。這里，InvA(A是矩陣)表示A的逆矩陣。在圖23(b)所示圖像中，只變換圖像401的位置。然后，與當(dāng)前幀相對應(yīng)的圖像402使用仿射變換的圖像401被重寫，從而它與圖像402重疊。要注意，通過在圖像401上重寫圖像402形成的合成圖像的描述這里被省略，因?yàn)樗c圖10(b)所示的合成圖像相同。
此后，與下個(gè)幀相對應(yīng)的圖像403要被顯示時(shí)，與這個(gè)幀相關(guān)聯(lián)的仿射變換參數(shù)被用于在與仿射變換參數(shù)的方向相反的方向，仿射變換與以前幀相對應(yīng)的圖像401和圖像402的合成圖像。具體地，與圖像403相對應(yīng)的仿射變換參數(shù)的矩陣由A3表示、并且與圖像402相對應(yīng)的仿射變換參數(shù)的矩陣由A2表示、而與圖像401相對應(yīng)的仿射變換參數(shù)的矩陣由Al表示，確定Inv(AlxA2xA3)的值，并且圖像401和圖像402的合成圖像使用Inv(AlxA2xA3)矩陣被仿射變換。在圖23(c)所示圖像中，只變換圖像401和圖像402的合成圖像的位置。然后，與當(dāng)前幀相對應(yīng)的圖像403以這樣一種方式被重寫，從而與圖像401和402的仿射變換的合成圖像相重疊。要注意，通過在圖像401和402上重寫圖像403形成的合成圖像的描述這里被省略，因?yàn)樗c圖10(c)所示的合成圖像相同。
現(xiàn)在，描述這樣一種情形其中在圖像拾取設(shè)備100的圖像拾取時(shí)，放大率被改變，而圖像拾取設(shè)備100的透鏡方向不移動(dòng)。
圖24是視圖，表明在如下情況的顯示例子再現(xiàn)包括在圖ll所示圖〗象421至423的動(dòng)態(tài)畫面。圖13和24所示的顯示例子之間的差別與圖10和23所示的顯示例子之間的差別類似，盡管它們的區(qū)別在于，在固定位置顯示的圖像和形成仿射變換對象的圖像，但它們在其它部分方面相同。因此，與圖13相同的元件^f吏用所應(yīng)用的相同附圖標(biāo)記被描述。
如圖24(a)所示，只有與頂部幀相對應(yīng)的圖像421被首先顯示。然后，與下個(gè)幀相對應(yīng)的圖像422要被顯示時(shí)，與這個(gè)幀關(guān)聯(lián)的仿射變換參數(shù)被用于在與仿射變換參數(shù)的方向相反的方向，仿射變換緊前一圖像的圖像421。在圖24(b)所示圖像中，只變換圖像421的尺寸。然后，與當(dāng)前幀相對應(yīng)的圖像422以與仿射變換的圖像421的重疊關(guān)系被重寫。要注意，通過在圖像421上重寫圖像422形成的合成圖像的
43描述這里被省略，因?yàn)楸M管它就尺寸而言不同，但就其它方面與圖13(b)所示的合成圖像相同。
然后，與下個(gè)幀相對應(yīng)的圖像423要被顯示時(shí)，與這個(gè)幀相關(guān)聯(lián)的仿射變換參數(shù)被用于在與仿射變換參數(shù)的方向相反的方向，仿射變換圖像421和圖像422的合成圖像。在圖24(c)所示圖像中，只變換圖像421和422的合成圖像的尺寸。然后，與當(dāng)前幀相對應(yīng)的圖像423被重寫，從而與圖像421和422的仿射變換合成圖像相重疊。要注意，盡管通過在圖像421和422的合成圖像上重寫圖像423形成的合成圖像在尺寸方面不同，但其它方面與圖13(c)所示的合成圖像相同，并因此它的描述在這里^f皮省略。
現(xiàn)在，描述這樣一種情形在圖像拾取設(shè)備100的圖像拾取時(shí)，繞圖像拾取方向轉(zhuǎn)動(dòng)圖像拾取設(shè)備100，盡管圖像拾取設(shè)備100的透鏡的方向和放大率不變。
圖25是視圖，表明在如下情況的顯示例子再現(xiàn)包括在圖14所示圖像441至443的動(dòng)態(tài)畫面。圖16和25所示的顯示例子之間的差別與圖10和23所示的顯示例子之間的那些差別類似，盡管顯示例子的區(qū)別在于，在固定位置顯示的圖像和形成仿射變換對象的圖像，但它們在其它部分方面相同。因此，與圖16相同的那些元件使用所應(yīng)用的相同附圖標(biāo)記被描述。
如圖25(a)所示，只有與頂部幀相對應(yīng)的圖像441被首先顯示。然后，與下個(gè)幀相對應(yīng)的圖像442要被顯示時(shí)，與這個(gè)幀關(guān)聯(lián)的仿射變換參數(shù)被用于在與仿射變換參數(shù)的方向相反的方向，仿射變換緊前一圖像的圖像441。在圖25(b)所示圖像中，只變換圖像441的角度。然后，與當(dāng)前幀相對應(yīng)的圖像442被重寫，從而與仿射變換的圖像441相重疊。要注意，通過在圖像441上重寫圖像442形成的合成圖像的描述這里被省略，因?yàn)楸M管它就角度而言不同，但其它方面與圖16(b)所示的合成圖像相同。
然后，與下個(gè)幀相對應(yīng)的圖像443要被顯示時(shí)，與這個(gè)幀相關(guān)聯(lián)的仿射變換參數(shù)被用于在與仿射變換參數(shù)的方向相反的方向，仿射變
44換與以前幀相對應(yīng)的圖像441和圖像442的合成圖像。在圖25(c)所示圖像中，只變換圖像441和442的合成圖像的角度。然后，與當(dāng)前幀相對應(yīng)的圖像443以這樣一種方式被重寫，從而與圖像441和442的仿射變換合成圖像相重疊。要注意，通過在圖像441和442上重寫圖像443得到的合成圖像的描述在這里被省略，因?yàn)楸M管它在角度方面不同，但其它方面與圖16(c)所示的合成圖像相同。
現(xiàn)在，參照附圖詳細(xì)描述提取要在顯示部分250顯示的合成圖像的方法。
圖26是視圖，示意地表明在本發(fā)明實(shí)施例中在動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的動(dòng)態(tài)圖像文件的幀與顯示區(qū)域之間的關(guān)系。這里，只顯示圖像存儲(chǔ)器180、元數(shù)據(jù)存儲(chǔ)部分210、及操作接受部分160，省略除它們之外的元件的說明。此外，在圖26中，類似于圖17，將關(guān)于形成圖4(b)所示的動(dòng)態(tài)畫面文件201的幀"1"至"3", 4吏用在元數(shù)據(jù)文件211中存儲(chǔ)的仿射變換參數(shù)216，在圖像存儲(chǔ)器180中產(chǎn)生合成圖像的情形作為例子，給出描述。
這里，在圖17中，已經(jīng)描述了如下例子其中仿射變換被依次應(yīng)用于與當(dāng)前幀相對應(yīng)的當(dāng)前圖像，以形成要依次存儲(chǔ)到圖像存儲(chǔ)器
180中的合成圖像，并且從圖像存儲(chǔ)器180的這樣的合成圖像中，提取響應(yīng)于當(dāng)前圖像的變換的顯示區(qū)域的范圍中包括的合成圖像。在圖26中，表明如下例子仿射變換在與仿射變換參數(shù)的方向相反的方向，被應(yīng)用到與每一個(gè)以前幀相對應(yīng)的合成圖像，以將與當(dāng)前幀相對應(yīng)的當(dāng)前圖像固定到顯示部分250的特定位置，而不響應(yīng)于當(dāng)前圖像來變換顯示區(qū)域。這個(gè)例子中，圖像變換部分150將仿射變換應(yīng)用于圖像存儲(chǔ)器180中存儲(chǔ)的與直到緊前一幀的多個(gè)幀相對應(yīng)的合成圖像上，并且圖像合成部分170在仿射變換之后的合成圖像上重寫當(dāng)前圖像，以合成圖像，并將如此合成的新合成圖像存儲(chǔ)到圖像存儲(chǔ)器180中。要注意，與圖17的那些相似的元件由相似的附圖標(biāo)記指示。以此方式，當(dāng)前圖像可被固定到顯示部分250的特定位置，而不響應(yīng)于當(dāng)前圖像來變換顯示區(qū)域。此外，對于當(dāng)前圖像，從動(dòng)態(tài)畫面存儲(chǔ)部分200獲
45取之后、在仿射變換之前的圖像可用于代替圖像存儲(chǔ)器180中存儲(chǔ)的合成圖像，如上文參照圖19描述的那樣。
盡管將形成一個(gè)動(dòng)態(tài)畫面的圖像被彼此合成的情形作為例子給出以上描述，但在如下描述中，參照附圖詳細(xì)描述兩個(gè)動(dòng)態(tài)畫面的圖像被合成的合成例子。
圖27是方塊圖，表示根據(jù)本發(fā)明另一個(gè)實(shí)施例的圖像拾取設(shè)備101的功能構(gòu)造例子。這里，圖像拾取設(shè)備101是對圖1所示圖像拾取設(shè)備100的部分修改，并且包括圖像拾取部分110、攝影機(jī)工作檢測部分120、記錄控制部分131、文件獲取部分141、圖《象變換部分151、操作接受部分165、圖像合成部分171、圖像存儲(chǔ)器180、顯示區(qū)域提取部分190、動(dòng)態(tài)畫面存儲(chǔ)部分200、元數(shù)據(jù)存儲(chǔ)部分210、相對關(guān)系信息存儲(chǔ)部分220、顯示存儲(chǔ)器231、顯示控制部分240、顯示部分250、重合點(diǎn)選擇部分260、相對關(guān)系信息計(jì)算部分270、對象圖像變換信息計(jì)算部分280、及重合點(diǎn)搜索部分340。要注意，圖像拾取部分IIO、攝影機(jī)工作檢測部分120、圖像存儲(chǔ)器180、顯示區(qū)域提取部分190、元數(shù)據(jù)存儲(chǔ)部分210、顯示控制部分240及顯示部分250的構(gòu)造描述被省略，因?yàn)樗愃朴趫D1所示圖像拾取設(shè)備100。此外，在下面主要給出與圖l所示圖像拾取設(shè)備IOO的差別的描述。
記錄控制部分131將從圖像拾取部分IIO輸出的動(dòng)態(tài)畫面作為動(dòng)態(tài)畫面文件記錄在動(dòng)態(tài)畫面存儲(chǔ)部分200中，并且將從攝影機(jī)工作檢測部分120輸出的仿射變換參數(shù)以與對應(yīng)動(dòng)態(tài)畫面和幀相關(guān)聯(lián)地記錄到元數(shù)據(jù)存儲(chǔ)部分210中作為元數(shù)據(jù)文件。此外，記錄控制部分131將從相對關(guān)系信息計(jì)算部分270輸出的仿射變換參數(shù)，以與仿射變換參數(shù)相對應(yīng)的動(dòng)態(tài)畫面和幀相關(guān)聯(lián)地記錄到相對關(guān)系信息存儲(chǔ)部分220中。
動(dòng)態(tài)畫面存儲(chǔ)部分200在記錄控制部分131的控制下將從圖像拾取部分110輸出的動(dòng)態(tài)畫面存儲(chǔ)為動(dòng)態(tài)畫面文件。此外，動(dòng)態(tài)畫面存儲(chǔ)部分200按照來自文件獲取部分141的請求將動(dòng)態(tài)畫面文件供給到文件獲取部分141，并且按照來自重合點(diǎn)搜索部分340的請求將至少兩個(gè)動(dòng)態(tài)畫面文件供給到重合點(diǎn)搜索部分340。
相對關(guān)系信息存儲(chǔ)部分220在記錄控制部分131的控制下將從相對關(guān)系信息計(jì)算部分270輸出的仿射變換參數(shù)和相應(yīng)的動(dòng)態(tài)畫面和幀以彼此關(guān)聯(lián)關(guān)系存儲(chǔ)為相對關(guān)系元數(shù)據(jù)文件。此外，相對關(guān)系信息存儲(chǔ)部分220按照來自文件獲取部分141的請求將相對關(guān)系元數(shù)據(jù)文件供給到文件獲取部分141。要注意，下文參照圖29和35描述在相對關(guān)系信息存儲(chǔ)部分220中存儲(chǔ)的相對關(guān)系元數(shù)據(jù)文件。
文件獲取部分141獲取在動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的至少一個(gè)或多個(gè)動(dòng)態(tài)畫面文件、在元數(shù)據(jù)存儲(chǔ)部分210中與每一個(gè)動(dòng)態(tài)畫面文件相關(guān)聯(lián)地存儲(chǔ)的元數(shù)據(jù)文件、及在相對關(guān)系信息存儲(chǔ)部分220中以與動(dòng)態(tài)畫面文件的相同關(guān)聯(lián)關(guān)系存儲(chǔ)的相對關(guān)系元數(shù)據(jù)文件，并且響應(yīng)于操作接受部分165接受的操作輸入將獲取文件的信息供給到各個(gè)部分。具體地，當(dāng)用于普通動(dòng)態(tài)畫面再現(xiàn)的操作輸入由操作接受部分165接受時(shí)，文件荻取部分141獲取在動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的一個(gè)或多個(gè)動(dòng)態(tài)畫面文件，并且依次將獲取的動(dòng)態(tài)畫面文件的動(dòng)態(tài)畫面輸出到重合點(diǎn)選擇部分260和顯示存儲(chǔ)器231。當(dāng)普通動(dòng)態(tài)畫面再現(xiàn)正在執(zhí)行時(shí)，如果用于停止動(dòng)態(tài)畫面再現(xiàn)的操作輸入由操作接受部分165接受，文件獲取部分141停止動(dòng)態(tài)畫面的輸出。此外，指定一個(gè)或多個(gè)動(dòng)態(tài)畫面文件的合成再現(xiàn)的指令操作由操作接受部分165接受時(shí)，文件獲取部分141獲取在動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的一個(gè)或多個(gè)指定動(dòng)態(tài)畫面文件、在元數(shù)據(jù)存儲(chǔ)部分210中與所述動(dòng)態(tài)畫面文件各自關(guān)聯(lián)地存儲(chǔ)的元數(shù)據(jù)文件、及在相對關(guān)系信息存儲(chǔ)部分220中以與動(dòng)態(tài)畫面文件的相同關(guān)聯(lián)關(guān)系存儲(chǔ)的相對關(guān)系元數(shù)據(jù)文件，并且將獲取的一個(gè)或多個(gè)動(dòng)態(tài)畫面文件的動(dòng)態(tài)畫面和一個(gè)或多個(gè)元數(shù)據(jù)文件的仿射變換參數(shù)輸出到圖像變換部分151。此外，文件獲取部分141將獲取的元數(shù)據(jù)文件和相對關(guān)系元數(shù)據(jù)文件的內(nèi)容輸出到對象圖像變換信息計(jì)算部分280。
圖像變換部分151使用與圖像相對應(yīng)的仿射變換參數(shù)，對每個(gè)幀執(zhí)行圖像的仿射變換，所述幀形成從文件獲取部分141輸出的動(dòng)態(tài)畫
47面文件的動(dòng)態(tài)畫面，并且將仿射變換后的圖像輸出到圖像合成部分
171。這里，指定合成多個(gè)動(dòng)態(tài)畫面時(shí)，圖像變換部分151將再現(xiàn)對象的多個(gè)動(dòng)態(tài)畫面之一確定為基準(zhǔn)動(dòng)態(tài)畫面，并且使用與形成基準(zhǔn)動(dòng)態(tài)畫面的圖像相對應(yīng)的仿射變換參數(shù)對每個(gè)幀執(zhí)行基準(zhǔn)動(dòng)態(tài)畫面的仿射變換。同時(shí)，對于作為再現(xiàn)對象的多個(gè)動(dòng)態(tài)畫面之中除基準(zhǔn)動(dòng)態(tài)畫面之外的其它動(dòng)態(tài)畫面，圖像變換部分151使用對象圖像變換信息計(jì)算部分280計(jì)算的對象圖像變換信息(仿射變換參數(shù))和與形成動(dòng)態(tài)畫面的圖像相對應(yīng)的仿射變換參數(shù)，對每個(gè)幀執(zhí)行仿射變換。要注意，下文參照圖32、 38等詳細(xì)描述所述其它動(dòng)態(tài)畫面的變換方法。
操作接受部分165包括各種類型的操作部件，并且當(dāng)從任一個(gè)操作部件接受操作輸入時(shí)，將接受的操作輸入的內(nèi)容輸出到文件獲取部分141、重合點(diǎn)選擇部分260、圖像合成部分171、顯示區(qū)域提取部分190或重合點(diǎn)搜索部分340。要注意，這樣的操作部件與以上參照圖2描述的那些類似。
重合點(diǎn)選擇部分260，當(dāng)指定重合點(diǎn)的指定操作的操作輸入由操作接受部分165接受時(shí)，選擇圖像的重合點(diǎn)，所述圖像形成從文件獲取部分141輸出的動(dòng)態(tài)畫面文件的動(dòng)態(tài)畫面。對一個(gè)圖像選擇至少三個(gè)重合點(diǎn)時(shí)，重合點(diǎn)選擇部分260將選中重合點(diǎn)的位置和選擇順序以及選擇對象的圖像輸出到相對關(guān)系信息計(jì)算部分270。重合點(diǎn)的選擇操作可以對多個(gè)圖像同時(shí)執(zhí)行，或者可以對每個(gè)動(dòng)態(tài)畫面依次執(zhí)行。
重合點(diǎn)搜索部分340，在指定相對關(guān)系信息的再現(xiàn)的指令操作由操作接受部分165接受時(shí)，該相對關(guān)系信息是關(guān)于動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的多個(gè)動(dòng)態(tài)畫面文件中的至少兩個(gè)動(dòng)態(tài)畫面，搜索關(guān)于形成指定多個(gè)動(dòng)態(tài)畫面的圖像的至少三個(gè)重合點(diǎn)，并且將包括搜索出的重合點(diǎn)的位置的圖像輸出到相對關(guān)系信息計(jì)算部分270。對重合點(diǎn)的搜索可例如通過使用一般對象識(shí)別等技術(shù)(例如，參考日本專利公開No.2002-65399)實(shí)現(xiàn)，通過其可識(shí)別在圖像中包括的物體，而與圖像尺寸無關(guān)。此外，參照圖28詳細(xì)描述重合點(diǎn)搜索部分340。
相對關(guān)系信息計(jì)算部分270基于從重合點(diǎn)選擇部分260或重合點(diǎn)搜索部分340輸出的至少兩個(gè)圖像和圖像的至少三個(gè)重合點(diǎn)，計(jì)算仿射變換參數(shù)作為關(guān)于所述圖像的相對關(guān)系信息，并且將計(jì)算的仿射變換參數(shù)和為仿射變換參數(shù)的計(jì)算使用的動(dòng)態(tài)畫面ID和圖像幀號輸出到記錄控制部分131。要注意，參照圖30和31詳細(xì)描述關(guān)于圖像的仿射變換參數(shù)的計(jì)算。此外，盡管在本發(fā)明的實(shí)施例中，描述仿射變換參數(shù)被用作相對關(guān)系信息的例子，但可以使用諸如投影變換參數(shù)的其它圖像變換信息。要注意，仿射變換參數(shù)可使用三個(gè)點(diǎn)的向量通過計(jì)算來確定，投影變換參數(shù)可使用四個(gè)點(diǎn)的向量通過計(jì)算來確定。
當(dāng)接收到合成和再現(xiàn)多個(gè)動(dòng)態(tài)畫面的指令時(shí)，其中形成來自再現(xiàn)對象的多個(gè)動(dòng)態(tài)畫面中的一個(gè)動(dòng)態(tài)畫面的至少一個(gè)圖像被確定為基準(zhǔn)圖像，并且形成其它動(dòng)態(tài)畫面的圖像被確定為對象圖像，對象圖像變換信息計(jì)算部分280,基于從文件獲取部分141輸出的元數(shù)據(jù)文件的仿射變換參數(shù)和相對關(guān)系元數(shù)據(jù)文件，計(jì)算用于變換對象圖像的對象圖像變換信息。然后，對象圖像變換信息計(jì)算部分280將計(jì)算的對象圖像變換信息輸出到圖像變換部分151。作為一個(gè)動(dòng)態(tài)畫面的基準(zhǔn)圖像，例如，可使用與形成一個(gè)動(dòng)態(tài)畫面的頂部幀相對應(yīng)的圖像。此外，對象圖像變換信息是例如就基準(zhǔn)圖像而言用于對象圖像的變換的仿射變換參數(shù)。要注意，參照圖32等詳細(xì)描述對象圖像變換信息的計(jì)算。
圖4象合成部分171通過在圖^象存儲(chǔ)器180保存的與直到緊前一幀的幀相對應(yīng)的合成圖像上重寫圖像變換部分151的仿射變換之后的圖像，來合成圖像，并且將合成的新合成圖像存儲(chǔ)到圖像存儲(chǔ)器180中。此外，在接收合成和再現(xiàn)多個(gè)動(dòng)態(tài)畫面的指令時(shí)，圖像合成部分171通過在圖像存儲(chǔ)器180存儲(chǔ)的與直到緊前一幀的幀相對應(yīng)的合成圖像上重寫圖像變換部分151相對于基準(zhǔn)圖像而仿射變換的圖像，來合成圖像，并且將合成的新合成圖像存儲(chǔ)到圖像存儲(chǔ)器180中。要注意，圖像合成部分171基于響應(yīng)顯示放大率的值而確定的顯示區(qū)域的尺寸，在顯示存儲(chǔ)器231中存儲(chǔ)的合成圖像上合成圖像變換部分151的仿射變換之前的當(dāng)前圖像。這里，顯示存儲(chǔ)器231中合成的當(dāng)前圖像的尺寸基于顯示放大率的值而確定。要注意，多個(gè)動(dòng)態(tài)畫面的再現(xiàn)開
49始位置可以響應(yīng)來自操作接受部分165的操作輸入被獨(dú)立地確定。要注意，參照圖32至34等詳細(xì)描述這樣的圖像合成。
顯示存儲(chǔ)器231是保存顯示區(qū)域提取部分190從圖像存儲(chǔ)器180提取的圖像的顯示緩沖器，并且在圖像存儲(chǔ)器180中保存的圖像被顯示在顯示部分250。
圖28是方塊圖，表示本發(fā)明實(shí)施例中的重合點(diǎn)搜索部分340的功能構(gòu)造例子。重合點(diǎn)搜索部分340包括動(dòng)態(tài)畫面獲取單元145、多分辨率產(chǎn)生單元341、特征點(diǎn)提取單元342、特征量提取單元343、模型詞典寄存單元344、多分辨率產(chǎn)生單元345、特征點(diǎn)提取單元346、特征量提取單元347、 kd樹構(gòu)建單元348、及特征量比較單元349。并且，重合點(diǎn)搜索部分340計(jì)算在形成多個(gè)動(dòng)態(tài)畫面的各個(gè)幀之間的部分重合程度，并基于計(jì)算的重合程度自動(dòng)地將多個(gè)動(dòng)態(tài)畫面彼此相關(guān)聯(lián)。
動(dòng)態(tài)畫面獲取單元145響應(yīng)來自操作接受部分165的用于動(dòng)態(tài)畫面獲取的操作輸入，獲取在動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的兩個(gè)動(dòng)態(tài)畫面文件，并且為每個(gè)幀將形成獲取動(dòng)態(tài)畫面文件之一 的圖像輸出到多分辨率產(chǎn)生單元341。此外，動(dòng)態(tài)畫面獲取單元145為每個(gè)幀將形成另一動(dòng)態(tài)畫面文件的圖像輸出到多分辨率產(chǎn)生單元345。
多分辨率產(chǎn)生單元341按預(yù)先確定的比率降低從動(dòng)態(tài)畫面獲取單元145輸出的圖像的分辨率，以比識(shí)別時(shí)更精細(xì)的精度產(chǎn)生多個(gè)不同分辨率的圖像形成的多分辨率圖像，并且將產(chǎn)生的多分辨率圖像輸出到特征點(diǎn)提取單元342。
特征點(diǎn)提取單元342從多分辨率產(chǎn)生單元341輸出的多分辨率圖像的不同分辨率的圖像來提取特征點(diǎn)，并且將提取的特征點(diǎn)輸出到特征量提取單元343。至于特征點(diǎn)提取方法，例如，可使用與圖3所示的特征點(diǎn)提取單元121的特征點(diǎn)提取方法相類似的方法。
特征量提取單元343提取在特征點(diǎn)提取單元342輸出的特征點(diǎn)的至少兩個(gè)局部特征量，并且將提取的特征量寄存到模型詞典寄存單元344中。這里，特征量提取單元343提取的兩個(gè)局部特征量包括提取的特征點(diǎn)附近的濃度梯度的方向直方圖作為第一類型特征量，和提取 的尺寸退化濃度梯度向量作為第二類型特征量。
模型詞典寄存單元344寄存從特征量提取單元343輸出的特征量， 并且將寄存的特征量供給到kd樹構(gòu)建單元348。
多分辨率產(chǎn)生單元345按預(yù)先確定的比率降低從動(dòng)態(tài)畫面獲取單 元145輸出的圖像的分辨率，以比學(xué)習(xí)時(shí)更粗糙的精度產(chǎn)生多個(gè)不同 分辨率的圖像形成的多分辨率圖像，并且將產(chǎn)生的多分辨率圖像輸出 到特征點(diǎn)提取單元346。
特征點(diǎn)提取單元346從多分辨率產(chǎn)生單元345輸出的多分辨率圖 像的不同分辨率的每個(gè)圖像來提取特征點(diǎn)，并且將提取的特征點(diǎn)輸出 到特征量提取單元347。至于這種特征點(diǎn)提取方法，例如，可使用與 特征點(diǎn)提取單元342的方法相類似的方法。
特征量提取單元347提取從特征點(diǎn)提取單元346輸出的特征點(diǎn)的 至少兩個(gè)局部特征量，并且將提取的特征量輸出到特征量比較單元 349。至于特征量提取，例如，可使用與特征量提取單元343的方法相 類似的方法。
kd樹構(gòu)建單元348基于模型詞典寄存單元344中寄存的特征量構(gòu) 建kd樹，用于特征量比較單元349的特征量比較，并且將構(gòu)建的kd 樹輸出到特征量比較單元349。這里，在特征量要被特征量比較單元 349比較時(shí)，特征量比較單元349將從特征量提取單元347提取的特 征點(diǎn)特征量和模型詞典寄存單元344中寄存的特征點(diǎn)特征量彼此比 較，以搜索從特征量提取單元347提取的特征點(diǎn)特征量和在模型詞典 寄存單元344中寄存的相似特征點(diǎn)特征量的組合。作為特征量比較方 法的最簡單方法是全部檢查。具體地，最簡單方法是計(jì)算從特征量提 取單元347提取的每一個(gè)特征點(diǎn)特征量與模型詞典寄存單元344中寄 存的特征點(diǎn)特征量的特征量相似程度、并且基于計(jì)算的相似程度來選 擇相似特征點(diǎn)特征量的組合。然而，全部搜索的方法要求很長處理時(shí) 間。因此，在本發(fā)明的實(shí)施例中，為了從大量數(shù)據(jù)組以高速搜索數(shù)據(jù)， 描述使用樹搜索方法的例子，樹搜索方法使用叫做kd樹的數(shù)據(jù)結(jié)構(gòu)(J.H. Friedamn， J. L Bentley and R. A. Finkel: "An algorithm for finding best matches in logarithmic expected time(對數(shù)期望時(shí)間中用 于求出最好匹配的算法)，"ACM Transaction on Mathematical Software, Vol.3， No. 3， pp.209-226， September 1977)。 kd樹是具有k 維樹結(jié)構(gòu)的樹。要注意，本發(fā)明的實(shí)施例中，構(gòu)建類型l的特征量的 36d樹(k-36)和類型2的特征量的18d樹(k-18)。所構(gòu)建的樹的每個(gè)葉 (終端節(jié)點(diǎn))， 一個(gè)特征點(diǎn)特征量與標(biāo)簽等的信息保存在一起，以便查 閱特征量是哪個(gè)特征點(diǎn)的、從哪一個(gè)級別提取該特征點(diǎn)、是多分辨率 圖像組的哪個(gè)圖像的級別、及多分辨率圖像組是哪個(gè)幀的。
特征量比較單元349將從特征量提取單元347提取的特征點(diǎn)特征 量與kd樹構(gòu)建單元348構(gòu)建的表示為Kd樹的特征點(diǎn)特征量彼此比 較，以執(zhí)行k-NN(k Nearest Neighbor(最鄰近))搜索來計(jì)算相似程度， 以搜索相似特征點(diǎn)特征量的組合；并且將與搜索出的特征點(diǎn)特征量的 組合相對應(yīng)的特征點(diǎn)的位置作為重合點(diǎn)輸出到相對關(guān)系信息計(jì)算部分 270。這里，關(guān)于一個(gè)或多個(gè)動(dòng)態(tài)畫面的特征量可以預(yù)先寄存在模型詞 典寄存單元344中，從而動(dòng)態(tài)畫面獲取單元145依次獲取在動(dòng)態(tài)畫面 存儲(chǔ)部分200中存儲(chǔ)的其它動(dòng)態(tài)畫面文件，以依次搜索寄存的動(dòng)態(tài)畫 面與其它動(dòng)態(tài)畫面之間的重合點(diǎn)?；蛘撸睾宵c(diǎn)搜索部分340可以獲 取動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的動(dòng)態(tài)畫面文件，以自動(dòng)和依次地搜 索關(guān)于動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的動(dòng)態(tài)畫面文件的重合點(diǎn)。要注 意，參照圖31詳細(xì)描述搜索對象的重合點(diǎn)。
圖29是視圖，示意地表示本發(fā)明實(shí)施例中在動(dòng)態(tài)畫面存儲(chǔ)部分 200和相對關(guān)系信息存儲(chǔ)部分220中記錄的文件。在本例子中，示意 地表明在動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的動(dòng)態(tài)畫面文件201至204和 相對關(guān)系信息存儲(chǔ)部分220中以與動(dòng)態(tài)畫面文件201至204相關(guān)聯(lián)地 存儲(chǔ)的相對關(guān)系元數(shù)據(jù)文件221至223。在本例子中，描述如下例子 形成動(dòng)態(tài)畫面文件(#1)201的幀"5"1361和"8"1362、形成動(dòng)態(tài)畫面文 件(#2)202的幀"7，，1363和"9"1364、及形成動(dòng)態(tài)畫面文件(#3)203的幀 "3"1365和"10"1366與相對關(guān)系信息存儲(chǔ)部分220中存儲(chǔ)的相對關(guān)系元數(shù)據(jù)文件221至223相關(guān)聯(lián)地被存儲(chǔ)。要注意，動(dòng)態(tài)畫面存儲(chǔ)部分 200中存儲(chǔ)的動(dòng)態(tài)畫面文件的描述這里被省略，因?yàn)樗鼈兣c圖4所示 的動(dòng)態(tài)畫面文件相同。
相對關(guān)系元數(shù)據(jù)文件221至223中，彼此關(guān)聯(lián)地存儲(chǔ)動(dòng)態(tài)畫面ID 224、幀號225及仿射變換參數(shù)226。
動(dòng)態(tài)畫面ID 224是應(yīng)用于與各自包括至少三個(gè)重合點(diǎn)的兩個(gè)圖 1象相對應(yīng)的兩個(gè)動(dòng)態(tài)畫面文件的動(dòng)態(tài)畫面ID，例如，在相對關(guān)系元數(shù) 據(jù)文件221中，存儲(chǔ)應(yīng)用于動(dòng)態(tài)畫面文件201的#1和應(yīng)用于動(dòng)態(tài)畫面 文件202的#2。
幀號225是與包括至少三個(gè)重合點(diǎn)的兩個(gè)圖像相對應(yīng)的兩個(gè)幀的 序列號，例如，在相對關(guān)系元數(shù)據(jù)文件221中，設(shè)置形成動(dòng)態(tài)畫面文 件201的動(dòng)態(tài)畫面的幀的幀號"5，，和形成動(dòng)態(tài)畫面文件202的動(dòng)態(tài)畫面 的幀的幀號"7"。
仿射變換參數(shù)226指示為與動(dòng)態(tài)畫面ID 224和幀號225相對應(yīng)的 至少兩個(gè)圖像計(jì)算的仿射變換參數(shù)，例如，在相對關(guān)系元數(shù)據(jù)文件221 中，設(shè)置"ao、 bo、 co、 do、 eo、 fo"，作為與形成動(dòng)態(tài)畫面文件201 的動(dòng)態(tài)畫面的幀"5"和形成動(dòng)態(tài)畫面文件202的動(dòng)態(tài)畫面的幀"7"相 對應(yīng)的仿射變換參數(shù)。要注意，在本發(fā)明的實(shí)施例中，仿射變換參數(shù) 226指示如下情況的仿射變換參數(shù)其中，與對應(yīng)動(dòng)態(tài)畫面ID 224和 幀號225之間的在圖29所示下部的幀號相對應(yīng)的圖像被確定為基準(zhǔn)圖 像，并且上部的另一個(gè)幀號被確定為對象圖像。例如，相對關(guān)系元數(shù) 據(jù)文件221中設(shè)置的仿射變換參數(shù)226指示用于幀"7"1363的仿射變 換參數(shù)，其形成幀"5，，1361的動(dòng)態(tài)畫面文件(#2)202的動(dòng)態(tài)畫面，其形 成動(dòng)態(tài)畫面文件(#1)201的動(dòng)態(tài)畫面。
圖30是視圖，示意地表明仿射變換參數(shù)計(jì)算方法，該方法通過選 擇圖像中包括的重合點(diǎn)來計(jì)算關(guān)于兩個(gè)圖像的仿射變換參數(shù)，并且基 于選中重合點(diǎn)來合成兩個(gè)圖像。圖30(a)表示圖像370，是基準(zhǔn)圖像的 例子，形成用作基準(zhǔn)的一個(gè)動(dòng)態(tài)畫面；并且圖30(b)表示圖像376，是 比較對象圖像的例子，其形成用作比較對象的另 一個(gè)動(dòng)態(tài)畫面。圖30(a)和(b)所示圖像370和376是表明如下狀態(tài)的圖像其中，在顯示部分 250的再現(xiàn)期間停止包括圖〗象370和376之一的兩個(gè)動(dòng)態(tài)畫面。在本 例子中，示意地表明如下選擇方法其中，在顯示部分250停止動(dòng)態(tài) 畫面的狀態(tài)下，動(dòng)態(tài)畫面停止時(shí)在顯示圖像上的重合點(diǎn)被手工指定。 圖30(c)表明當(dāng)在圖像370和376上選擇的重合點(diǎn)被用于計(jì)算仿射變換 參數(shù)時(shí)使用的光流檢測的例子。同時(shí)，圖30(d)表明基于在圖像370 和376上選擇的重合點(diǎn)合成圖像370和376的例子。
假定圖30(a)和(b)所示圖像370和376包括同一對象的房屋371。 這里，關(guān)于包括圖^象370的動(dòng)態(tài)畫面和包括圖^f象376的動(dòng)態(tài)畫面的相 對關(guān)系元數(shù)據(jù)文件要通過用戶的手工操作被生成時(shí)，用戶通過手工操 作再現(xiàn)兩個(gè)動(dòng)態(tài)畫面，從而包括同一對象的圖像被顯示在顯示部分 250。例如，包括是同一對象的房屋371的圖^象370和376^^顯示在顯 示部分250。這個(gè)例子中，圖像370和376的兩個(gè)圖像可以顯示在顯 示部分250的同一屏幕，或者一個(gè)圖像可以依次顯示。
例如，在圖30(a)所示圖像370被顯示在顯示部分250的狀態(tài)下， 用戶對操作接受部分165執(zhí)行操作輸入，以使用光標(biāo)375指定房屋371 的屋頂?shù)纳喜坎糠?72和房屋371下側(cè)的角部部分373和374。光標(biāo) 375例如響應(yīng)來自十字按鈕162的操作輸入可以;故移動(dòng)，或者響應(yīng)來 自某種其它操作部件的操作輸入可以被移動(dòng)。例如，通過在光標(biāo)375 疊加在待指定部分的狀態(tài)下執(zhí)行指定操作，可指定希望的部分。以此 方式執(zhí)行指定操作時(shí)，例如，如圖30(a)看到的那樣，圓形標(biāo)記可以應(yīng) 用于對其執(zhí)行指定操作的部分，從而用戶可識(shí)別該部分。還在圖30(b)
所示圖像376上，類似地指定房屋371的屋頂?shù)纳喜坎糠?77和房屋 371下側(cè)的角部部分378和379。當(dāng)指定操作由用戶執(zhí)行時(shí)，重合點(diǎn)選 擇部分260將指定位置選作圖像上的重合點(diǎn)，并且將重合點(diǎn)的選中位 置和這一指定順序與圖像一起輸出到相對關(guān)系信息計(jì)算部分270。
如圖30(a)和(b)所示，三個(gè)重合點(diǎn)在兩個(gè)圖像370和376被分別 選擇時(shí)，相對關(guān)系信息計(jì)算部分270基于重合點(diǎn)計(jì)算向量，并且使用 計(jì)算的向量計(jì)算仿射變換參數(shù)。每一個(gè)向量被計(jì)算，例如，作為基于指定重合點(diǎn)的順序在兩個(gè)圖像上選擇的對應(yīng)重合點(diǎn)的組合。例如，如
果指定操作按圖像370的房屋371的屋頂?shù)纳喜坎糠?72和房屋371 的下側(cè)的角部部分373和374的順序被執(zhí)行，并且然后指定操作按圖 像376的房屋371的屋頂?shù)纳喜坎糠?77和房屋371的下側(cè)的角部部 分378和379的順序被執(zhí)行，那么相對于圖像370的上部部分372和 圖像376的上部部分377計(jì)算向量，并且相對于圖像370的角部部分 373和圖像376的角部部分378計(jì)算向量，然后相對于圖像370的角 部部分374和圖像376的角部部分379計(jì)算向量。以此方式，基于在 圖像370和376上選擇的重合點(diǎn)計(jì)算的向量由圖30(c)的箭頭標(biāo)記381 至383指示。要注意，圖30(c)所示圖像380上，圖30(a)所示圖像370 包括的線由虛線指示，并且圖30(b)所示圖像376包括的線由實(shí)線指 示。以此方式計(jì)算的向量用于計(jì)算仿射變換參數(shù)。仿射變換參數(shù)的計(jì) 算方法類似于圖6和7表明的計(jì)算方法。要注意，在本發(fā)明的實(shí)施例 中，描述如下例子與使用重合點(diǎn)計(jì)算的仿射變換參數(shù)的矩陣的逆矩 陣相對應(yīng)的仿射變換參數(shù)被用作相對關(guān)系參數(shù)。換句話說，被用作相 對關(guān)系元數(shù)據(jù)的仿射變換參數(shù)被定義為，不是對應(yīng)于重合點(diǎn)被確定的 兩個(gè)圖像之間的向量代表的仿射變換矩陣、而是對應(yīng)于代表兩個(gè)圖像 之一被確定為基準(zhǔn)圖像且另 一 圖像向其位置移動(dòng)的仿射矩陣的仿射變
'要注意，相對關(guān)系信息計(jì)算部分270可以計(jì)算仿射變換參數(shù)而不 使用所述指定順序。例如，關(guān)于被選作圖像上的重合點(diǎn)的三個(gè)點(diǎn)的每 一種組合來計(jì)算向量。三個(gè)重合點(diǎn)在兩個(gè)圖像上被獨(dú)立選擇時(shí)，作為 圖像的重合點(diǎn)的組合，可得到六種組合。然后，對六種組合計(jì)算的向 量被用于計(jì)算六種仿射變換參數(shù)。然后，將兩個(gè)圖像之一確定為基準(zhǔn) 圖像而將另一圖像確定為比較對象圖像，六種計(jì)算的仿射變換參數(shù)被 用于依次仿射變換比較對象圖像。因此，產(chǎn)生一個(gè)基準(zhǔn)圖像和六個(gè)仿 射變換的比較對象圖像。然后，將頂點(diǎn)位于基準(zhǔn)圖像的三個(gè)重合點(diǎn)的 三角形內(nèi)存在的像素和頂點(diǎn)在仿射變換后的比較對象圖像的三個(gè)重合 點(diǎn)的三角形內(nèi)存在的像素彼此相比較，以依次計(jì)算在三角形內(nèi)存在的像素之間的亮度值的差值。因此，計(jì)算與六種仿射變換參數(shù)相對應(yīng)的 六種差值的平方值的全部值。然后，從如此計(jì)算的六種差值中選擇呈 現(xiàn)最低差值的仿射變換參數(shù)，并且將選中的仿射變換參數(shù)確定為關(guān)于 已經(jīng)執(zhí)行重合點(diǎn)指定操作的這兩個(gè)圖像的仿射變換參數(shù)。
此外，例如，基于圖像370和376上選擇的重合點(diǎn)計(jì)算的仿射變 換參數(shù)被用于仿射變換并重寫圖像370到圖像376上時(shí)，產(chǎn)生在圖30(d) 所示圖像384。以種方式使用計(jì)算的仿射變換參數(shù)合成圖像370和376， 產(chǎn)生合成圖像，其中在比該圖像的背景更寬的范圍上包括房屋371周 圍的背景。
圖31是視圖，示意地表示仿射變換參數(shù)計(jì)算方法，通過選擇在圖 像中包括的重合點(diǎn)來計(jì)算關(guān)于兩個(gè)圖像的仿射變換參數(shù)。這里，描述 如下例子其中圖像中包括的重合點(diǎn)由圖27和28所示的重合點(diǎn)搜索 部分340搜索，并且搜索出的重合點(diǎn)被用于計(jì)算關(guān)于兩個(gè)圖像的仿射 變換參數(shù)。要注意，除重合點(diǎn)搜索部分340搜索出的每一個(gè)特征點(diǎn)被 圓形標(biāo)記指示之外，圖31(a)至(c)所示圖像370、 376及380與圖30(a) 至(c)所示圖像370、 376及380相同。如上述那樣，重合點(diǎn)搜索部分 340計(jì)算在形成動(dòng)態(tài)畫面的各個(gè)幀之間的部分重合程度，并且基于這 樣計(jì)算的重合程度自動(dòng)地將多個(gè)圖像彼此相關(guān)聯(lián)。在執(zhí)行對兩個(gè)動(dòng)態(tài) 畫面之間的重合點(diǎn)的搜索時(shí)，例如，將特;f正點(diǎn)801至810和377至379 提取為圖像370的特征點(diǎn)，并且將特征點(diǎn)811至823和377至379提 取為圖像376的特征點(diǎn)。然后，從提取的特征點(diǎn)中，選擇圖像的類似 特征點(diǎn)的組合。例如，在圖像370和376上，選擇特征點(diǎn)805至810 與372至374和特征點(diǎn)818至823與377至379。在圖31(a)和(b),匹 配特征點(diǎn)由粗圓形標(biāo)記指示。以此方式選擇的特征點(diǎn)中，搜索出用于 仿射變換參數(shù)的計(jì)算的三個(gè)特征點(diǎn)作為重合點(diǎn)。例如，在圖像370和 376上，搜索出特征點(diǎn)372至374和特征點(diǎn)377至379作為重合點(diǎn)。 對于重合點(diǎn)的搜索，選擇例如在相似程度方面呈現(xiàn)最高分?jǐn)?shù)的特征點(diǎn) 的組合。然后，基于搜索出的特征點(diǎn)來計(jì)算向量，并且基于向量來計(jì) 算仿射變換參數(shù)。要注意，仿射變換參數(shù)的計(jì)算由與圖30表明的計(jì)算方法相類似的方法執(zhí)行。
圖32是視圖，示意地表明合成兩個(gè)動(dòng)態(tài)畫面的情況下的合成例 子。這個(gè)例子中，描述合成形成動(dòng)態(tài)畫面500的圖^象501至514和形 成動(dòng)態(tài)畫面520的圖像521至527的情形。此外，假定應(yīng)用斜線所指 示的圖^f象508和524是與關(guān)于動(dòng)態(tài)畫面500和520的相對關(guān)系元數(shù)據(jù) 中包括的幀號相對應(yīng)的圖像。
在圖32(a),表明如下情形形成動(dòng)態(tài)畫面500的圖4象501至514 使用與各幀相關(guān)聯(lián)地存儲(chǔ)的仿射變換參數(shù)被依次仿射變換，并且在圖
像存儲(chǔ)器180被合成。例如，與頂部幀相對應(yīng)的圖像501被首先存儲(chǔ) 到圖像存儲(chǔ)器180中。然后，圖像502至514參考圖像501被依次仿 射變換，并且被合成在圖像存儲(chǔ)器180中。通過仿射變換的當(dāng)前圖像 流由箭頭標(biāo)記515指示。換句話說，圖<象501至514沿箭頭標(biāo)記515 被依次合成。
在圖32(b),表明如下情形形成動(dòng)態(tài)畫面520的圖像521至527 使用與各個(gè)幀相關(guān)聯(lián)地存儲(chǔ)的仿射變換參數(shù)被依次仿射變換，并且在
圖像存儲(chǔ)器180被合成。同時(shí)，在圖32(c),表示在如下情況下圖像 508和圖像524的相對關(guān)系位置其中圖像524參考圖像501使用關(guān) 于動(dòng)態(tài)畫面500和520的相對關(guān)系元數(shù)據(jù)中包括的仿射變換參數(shù)被仿 射變換。這里，圖32(b)所示的合成圖像表示參考圖32(c)所示圖像508 和圖像524的相對關(guān)系位置由圖像521至527合成的圖像。這個(gè)例子 中通過仿射變換的當(dāng)前圖像流由箭頭標(biāo)記528指示。具體地，圖像521 至527沿箭頭標(biāo)記528被依次合成。描述如下情況的合成例子其中 圖32(a)所示的合成圖像和圖32(b)所示的合成圖像，參考在圖32(c) 所示圖像508和圖像524的相對關(guān)系位置被合成。注意，在圖32(d) 所示的例子中，表明如下例子其中圖<象508和524#>同時(shí)再現(xiàn)，并 且同時(shí)再現(xiàn)的圖像通過在動(dòng)態(tài)畫面500上重寫動(dòng)態(tài)畫面520而被合成。 這里，描述關(guān)于各個(gè)動(dòng)態(tài)畫面的存儲(chǔ)位置的具體計(jì)算方法。首先， 確定形成多個(gè)動(dòng)態(tài)畫面之一的至少一個(gè)動(dòng)態(tài)畫面的位置。例如，確定 與形成動(dòng)態(tài)畫面500的頂部幀相對應(yīng)的圖1象501的位置。如此確定的位置可以由用戶通過操作接受部分165指定，或者可以使用上文描述 的計(jì)算而計(jì)算的位置確定。然后，計(jì)算形成其它動(dòng)態(tài)畫面的圖像的至 少一個(gè)的存儲(chǔ)位置。例如，與圖像501至514相對應(yīng)的各個(gè)幀相關(guān)聯(lián) 的仿射變換參數(shù)的矩陣由Al至A14表示。同時(shí)，與圖像521至527 相對應(yīng)的幀相關(guān)聯(lián)的仿射變換參數(shù)的矩陣由Bl至B7表示。此外，與 動(dòng)態(tài)畫面500和520相關(guān)聯(lián)地存儲(chǔ)的相對關(guān)系元數(shù)據(jù)的仿射變換參數(shù) 的矩陣由C1表示。這里，基準(zhǔn)圖像是圖像501。圖像存儲(chǔ)器180上的 圖像501的存儲(chǔ)位置被確定為基準(zhǔn)時(shí)，圖像508的存儲(chǔ)位置通過Al 至A8的相乘被計(jì)算。換句話說，圖像508的存儲(chǔ)位置使用Alx…xA8 被計(jì)算。同時(shí)，圖像存儲(chǔ)器180上的圖像501的存儲(chǔ)位置被確定為基 準(zhǔn)時(shí)，圖像524的存儲(chǔ)位置通過A1至A8和C1的相乘被計(jì)算。換句 話說，圖像524的存儲(chǔ)位置使用Alx…xA8xCl被計(jì)算。這里，例如， 與動(dòng)態(tài)畫面520相對應(yīng)的頂部幀的圖像521的存儲(chǔ)位置要被計(jì)算時(shí)， 可通過A1至A8和C1、及B1至B4的逆矩陣的相乘被計(jì)算。換句話 說，圖像521的存儲(chǔ)位置可使用"Alx…xA8xClxInv(Blx…xB4)"被計(jì) 算。形成動(dòng)態(tài)畫面520的任何其它圖像的存儲(chǔ)位置可使用Al至A8和 Cl、以及B1至B4或B5至B7的逆矩陣被計(jì)算。
另一方面，形成除包括基準(zhǔn)圖像的動(dòng)態(tài)畫面之外的動(dòng)態(tài)畫面的圖 像要被仿射變換時(shí)，使用與頂部幀相對應(yīng)的圖像的存儲(chǔ)位置的計(jì)算所 使用的矩陣和與該圖像相關(guān)聯(lián)的仿射變換參數(shù)而執(zhí)行。例如，在動(dòng)態(tài) 畫面 520 的圖像 522 要被仿射變換時(shí)，使用 "Alx…xA8xClxInv(B3xB4)"的矩陣，^吏用與圖《象522相對應(yīng)的矩陣 B2來變換。還在例如動(dòng)態(tài)畫面520的圖〗象523要,皮仿射變換時(shí)，類似 地使用"Alx…xA8xClxInv(B4)"的矩陣來變換。動(dòng)態(tài)畫面520的每 個(gè)圖像被類似地變換。
以此方式，在多個(gè)動(dòng)態(tài)畫面要被合成和再現(xiàn)時(shí)，在確定在圖像存 儲(chǔ)器180上的動(dòng)態(tài)畫面之一的基準(zhǔn)圖像的位置和尺寸之后，使用與動(dòng) 態(tài)畫面各自相關(guān)聯(lián)的元數(shù)據(jù)文件和與各個(gè)動(dòng)態(tài)畫面相關(guān)聯(lián)的相對關(guān)系 元數(shù)據(jù)文件可計(jì)算每個(gè)圖像的位置和尺寸。因此，在多個(gè)動(dòng)態(tài)畫面要被合成和再現(xiàn)時(shí)，有可能從任何位置再現(xiàn)動(dòng)態(tài)畫面。例如，如下例子
表明在圖32(d)中圖像存儲(chǔ)器180上合成形成動(dòng)態(tài)畫面500的圖像 501至504之后，形成動(dòng)態(tài)畫面520的圖^f象521被合成。具體地，同 時(shí)合成圖像505和521 ，并且然后同時(shí)合成圖像506和522。也在此后， 類似地執(zhí)行合成。要注意，盡管這個(gè)例子表明同時(shí)再現(xiàn)的圖像通過將 動(dòng)態(tài)畫面520重寫在動(dòng)態(tài)畫面500上纟皮合成，；故重寫的動(dòng)態(tài)畫面可以 通過操作接受部分165被指定。此外，基于基準(zhǔn)動(dòng)態(tài)畫面的當(dāng)前圖像 來確定顯示區(qū)域。
圖33是視圖，示意地表明合成兩個(gè)動(dòng)態(tài)畫面的合成例子。在圖 33(a)，表明形成運(yùn)動(dòng)畫面530的圖4象531至537的轉(zhuǎn)變，并且在圖 33(b)，表明形成另一個(gè)運(yùn)動(dòng)畫面540的圖4象541至547的轉(zhuǎn)變，而圖 33(c)表明是運(yùn)動(dòng)畫面530和540被合成的合成圖像的圖像551至557 的轉(zhuǎn)變。注意，假定動(dòng)態(tài)畫面530和540是在時(shí)刻tl至?xí)r刻t7記錄 的動(dòng)態(tài)畫面。此外，假定在時(shí)刻t3的圖像533和543是與圖30所示 圖像370和376相對應(yīng)的圖像，并且關(guān)于圖像533和543已執(zhí)行圖30 所示的重合點(diǎn)的選擇操作。此外，假定使用選擇操作計(jì)算的相對關(guān)系 元數(shù)據(jù)來合成動(dòng)態(tài)畫面530和540。
圖34是視圖，表明如下情況的顯示例子其中在顯示部分250 上顯示圖33所示的合成圖像。圖像561至567是代表動(dòng)態(tài)畫面530 和540合成的合成圖像的轉(zhuǎn)變的圖像，并且實(shí)線指示當(dāng)前圖像，虛線 指示該當(dāng)前圖像之前的每個(gè)圖像的區(qū)域。如圖34看到的那樣，圖30 所示的房屋371周圍的背景從房屋371以擴(kuò)展形式顯示。大體相同位 置拾取的動(dòng)態(tài)畫面530和540以此方式,皮同時(shí)再現(xiàn)時(shí)，通過合成動(dòng)態(tài) 畫面530和540,可在觀看背景等的同時(shí)，再現(xiàn)和欣賞這兩個(gè)動(dòng)態(tài)畫 面，這通常在普通動(dòng)態(tài)畫面上不能觀察。此外，通過合成動(dòng)態(tài)畫面530 和540，可容易地掌握動(dòng)態(tài)畫面530和540的圖像拾取位置的相對關(guān) 系。盡管這個(gè)例子表明，對于同時(shí)拾取的圖^f象，形成動(dòng)態(tài)畫面540的 圖像通過重寫形成動(dòng)態(tài)畫面530的圖像而合成的例子，響應(yīng)于來自操 作接受部分165的操作輸入可以選擇應(yīng)該重寫哪一個(gè)圖像。此外，盡管已經(jīng)描述了按照時(shí)間合成相同圖像拾取時(shí)間的圖像的例子，但也可
類似地應(yīng)用于如下情形從對應(yīng)于來自操作接受部分165的操作輸入 的位置，依次合成不同時(shí)刻的圖像。
盡管在以上描述中，描述如下例子兩個(gè)動(dòng)態(tài)畫面被再現(xiàn)，同時(shí) 使用相對關(guān)系元數(shù)據(jù)文件被合成，在所述相對關(guān)系元數(shù)據(jù)文件中存儲(chǔ) 關(guān)于兩個(gè)動(dòng)態(tài)畫面的仿射變換參數(shù)，但有可能將關(guān)于三個(gè)或更多個(gè)動(dòng) 態(tài)畫面的仿射變換參數(shù)存儲(chǔ)在一個(gè)相對關(guān)系元數(shù)據(jù)文件中，并且使用 仿射變換參數(shù)在合成三個(gè)或更多個(gè)動(dòng)態(tài)畫面的同時(shí)再現(xiàn)它們。下面， 參照附圖詳細(xì)描述三個(gè)或更多個(gè)動(dòng)態(tài)畫面被再現(xiàn)同時(shí)被合成的例子。
圖35是視圖，示意地表示在本發(fā)明實(shí)施例中在動(dòng)態(tài)畫面存儲(chǔ)部分 200和相對關(guān)系信息存儲(chǔ)部分220中記錄的文件。這個(gè)例子中，圖35 是視圖，示意地表示在動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的動(dòng)態(tài)畫面文件 (#12)651至(#14)653和在相對關(guān)系信息存儲(chǔ)部分220中與動(dòng)態(tài)畫面文 件(#12)651至(#14)653相關(guān)聯(lián)地存儲(chǔ)的相對關(guān)系元數(shù)據(jù)文件660。在 這個(gè)例子中，描述關(guān)于三個(gè)動(dòng)態(tài)畫面文件(#12)651至(#14)653的仿射 變換參數(shù)被存儲(chǔ)在一個(gè)相對關(guān)系元數(shù)據(jù)文件660中的例子。注意，在 動(dòng)態(tài)畫面存儲(chǔ)部分200中存儲(chǔ)的動(dòng)態(tài)畫面文件的構(gòu)造的描述這里,皮省 略，因?yàn)槠錁?gòu)造與圖4和29等所示的動(dòng)態(tài)畫面文件的構(gòu)造相類似。此 外，在相對關(guān)系信息存儲(chǔ)部分220中存儲(chǔ)的相對關(guān)系元數(shù)據(jù)文件的構(gòu) 造的描述這里被省略，因?yàn)槌岁P(guān)于三個(gè)或更多個(gè)動(dòng)態(tài)畫面的仿射變 換參數(shù)被存儲(chǔ)在一個(gè)相對關(guān)系元數(shù)據(jù)文件中之外，其構(gòu)造與29所示的 相對關(guān)系元數(shù)據(jù)文件的構(gòu)造相類似。
在相對關(guān)系元數(shù)據(jù)文件660中，以彼此關(guān)聯(lián)關(guān)系存儲(chǔ)動(dòng)態(tài)畫面ID 224、幀號225及仿射變換參數(shù)226。此外，關(guān)于形成動(dòng)態(tài)畫面文件 (#12)651至(#14)653的各個(gè)圖像中的每兩個(gè)圖像的相對關(guān)系的仿射變 換參數(shù)被存儲(chǔ)在相對關(guān)系元數(shù)據(jù)文件630中。具體地，在形成動(dòng)態(tài)畫 面文件(#12)651的幀"2"654被確定為基準(zhǔn)的情況下，用于計(jì)算形成動(dòng) 態(tài)畫面文件(#13)652的幀"5"656的位置的仿射變才灸參數(shù)"at、 M、 ct、 dt、 et、 ft"，和在形成動(dòng)態(tài)畫面文件(#12)651的幀"9，，655被確定為基準(zhǔn)的情況下，用于計(jì)算形成動(dòng)態(tài)畫面文件(#14)653的幀"6，，657的位置 的仿射變換參數(shù)"au、 bu、 cu、 du、 eu、 fu"被存儲(chǔ)在相對關(guān)系元數(shù) 據(jù)文件630中。因此，在三個(gè)動(dòng)態(tài)畫面在被合成的同時(shí)被再現(xiàn)時(shí)，考 慮三個(gè)動(dòng)態(tài)畫面的相對關(guān)系來再現(xiàn)動(dòng)態(tài)畫面。
圖36是視圖，表示選擇被包括在關(guān)于三個(gè)動(dòng)態(tài)畫面的圖像中的重 合點(diǎn)。要注意，圖36(a)和(b)所示圖像370和376與圖30(a)和(b)所示 圖^象370和376相同，并且假定選擇重合點(diǎn)1372至1374和1377至 1379。此外，假定圖36(b)所示圖像376中，作為除了重合點(diǎn)1372至 1374之外的重合點(diǎn)，選擇房屋371右側(cè)布置的多用電桿的上部部分671 至673。假定在圖36(c)所示圖像674中，選擇多用電桿的上部部分675 至677。要注意，圖36(a)至(c)所示圖像的重合點(diǎn)的選擇和仿射變換參 數(shù)的計(jì)算的描述這里被省略，因?yàn)樗鼈兣c圖30表明的方法的描述相類 似。
圖37是視圖，表示如下情況下的例子基于在關(guān)于三個(gè)動(dòng)態(tài)畫面 的圖像上選擇的重合點(diǎn)，合成三個(gè)圖像。圖37表示使用基于圖36(a) 至(c)所示圖像370、 376及674上選擇的重合點(diǎn)計(jì)算的仿射變換參數(shù) 通過圖像370、 376及674的仿射變換合成的合成圖像680。通過以此 方式使用計(jì)算的仿射變換參數(shù)合成三個(gè)動(dòng)態(tài)畫面，產(chǎn)生合成圖像680， 其中房屋371周圍的背景被包括在比每個(gè)圖像的背景范圍更大的范圍 上。
圖38是視圖，示意地表明合成三個(gè)動(dòng)態(tài)畫面的合成例子。在這個(gè) 例子中，描述形成動(dòng)態(tài)畫面500的圖〗象501至514、形成另一個(gè)動(dòng)態(tài) 畫面520的圖^f象521至527、及形成另一個(gè)動(dòng)態(tài)畫面6卯的圖^象691 至697纟皮合成的情形。注意，形成動(dòng)態(tài)畫面500的圖^f象501至514和 形成動(dòng)態(tài)畫面520的圖像521至527的描述這里被省略，因?yàn)樗鼈兣c 圖32所示的那些相同。此外，假定其內(nèi)使用斜線指示的圖像508和 524是與關(guān)于動(dòng)態(tài)畫面500和520的相對關(guān)系元數(shù)據(jù)中包括的幀號相 對應(yīng)的圖像，類似地，其內(nèi)使用斜線指示的圖像510和694是與關(guān)于 動(dòng)態(tài)畫面500和6卯的相對關(guān)系元數(shù)據(jù)中包括的幀號相對應(yīng)的圖# 。除了其內(nèi)使用斜線指示的圖像510之外，圖38(a)所示的動(dòng)態(tài)畫面500 與圖32所示的動(dòng)態(tài)畫面500相類似。
圖38(b)表明形成動(dòng)態(tài)畫面690的圖像691至697使用以與各個(gè)幀 相關(guān)聯(lián)地存儲(chǔ)的仿射變換參數(shù)被依次仿射變換并且然后在圖像存儲(chǔ)器 180被合成的情形。這里，圖38(b)所示的合成圖像是參考圖像510和 圖像694的相對關(guān)系位置合成圖像691至697的情況下的合成圖像。 這個(gè)例子中仿射變換的當(dāng)前圖像流由箭頭標(biāo)記698指示。換句話說， 沿箭頭標(biāo)記698依次合成圖像691至697。在圖38(a)所示的合成圖像、 在圖38(b)所示的合成圖像、及在圖32(b)所示的合成圖像，參考圖像 510和圖像694的相對關(guān)系位置以此方式被合成的情況下的合成例子， 顯示在圖38(c)。要注意，在圖38(c)所示的例子中，表明圖像508和 524被同時(shí)再現(xiàn)并且圖像510和694被同時(shí)再現(xiàn)的例子，并且表明同 時(shí)再現(xiàn)的圖傳^皮合成從而動(dòng)態(tài)畫面52(M皮重寫在動(dòng)態(tài)畫面500上和動(dòng) 態(tài)畫面690 ,皮重寫在動(dòng)態(tài)畫面500上的例子。要注意，關(guān)于動(dòng)態(tài)畫面 的具體存儲(chǔ)位置的計(jì)算方法，可使用與圖32表明的計(jì)算方法相類似的 計(jì)算方法。要注意，即使關(guān)于形成再現(xiàn)對象的多個(gè)動(dòng)態(tài)畫面的相對關(guān) 系元數(shù)據(jù)不存在的情況下，也有可能使用其它動(dòng)態(tài)畫面的相對關(guān)系元 數(shù)據(jù)將再現(xiàn)對象的多個(gè)動(dòng)態(tài)畫面合成和再現(xiàn)。例如，在圖38(c)所示的 動(dòng)態(tài)畫面500、動(dòng)態(tài)畫面520和動(dòng)態(tài)畫面690中的動(dòng)態(tài)畫面520和動(dòng) 態(tài)畫面690要被合成時(shí)，動(dòng)態(tài)畫面500和520的相對關(guān)系元數(shù)據(jù)和動(dòng) 態(tài)畫面500和6卯的相對關(guān)系元數(shù)據(jù)可被用于計(jì)算任何其它動(dòng)態(tài)畫面 的位置，其中動(dòng)態(tài)畫面520和動(dòng)態(tài)畫面690之一,皮確定為基準(zhǔn)動(dòng)態(tài)畫 面。例如，動(dòng)態(tài)畫面520,皮確定為基準(zhǔn)動(dòng)態(tài)畫面時(shí)，Z使用圖^f象508和 圖像524的相對關(guān)系位置，可計(jì)算形成動(dòng)態(tài)畫面500的圖像508的位 置。此外，基于圖像508可計(jì)算圖像510的位置。然后，使用圖像510 和圖像694的相對關(guān)系位置，可計(jì)算在圖像510被確定為基準(zhǔn)的情況 下形成動(dòng)態(tài)畫面690的圖像的位置。以此方式，不具有共同的相對關(guān) 系元數(shù)據(jù)的動(dòng)態(tài)畫面520和動(dòng)態(tài)畫面6卯也可通過動(dòng)態(tài)畫面500 #皮合 成和再現(xiàn)。這也可類似地應(yīng)用于多個(gè)動(dòng)態(tài)畫面通過兩個(gè)或更多個(gè)動(dòng)態(tài)畫面,皮合成和再現(xiàn)的情形。
圖39是視圖，表明在如下情況的例子合成靜止畫面和多個(gè)動(dòng)態(tài) 畫面。圖39(a)是表明作為靜止畫面的圖像701至718被存儲(chǔ)在圖像存 儲(chǔ)器180中的情形，并且圖39(b)是表明動(dòng)態(tài)畫面500、 520及690 通過重寫圖像存儲(chǔ)器180中存儲(chǔ)的圖像701至718而被合成的情形。 在圖中，圖像701至718的框線由粗線指示。如圖所示，靜止畫面可 與多個(gè)動(dòng)態(tài)畫面一起合成。這個(gè)例子中，關(guān)于靜止畫面與形成動(dòng)態(tài)畫 面的至少 一個(gè)圖像之間的相對關(guān)系的仿射變換參數(shù)被存儲(chǔ)為相對關(guān)系 元數(shù)據(jù)文件，并且這個(gè)相對關(guān)系元數(shù)據(jù)文件被用于執(zhí)行合成。此外， 靜止畫面可以在形成動(dòng)態(tài)畫面的圖像之間;故合成，或者靜止畫面可以 合成在動(dòng)態(tài)畫面上。
此外，根據(jù)本發(fā)明實(shí)施例的圖像拾取設(shè)備101可以連接到諸如互 聯(lián)網(wǎng)的網(wǎng)絡(luò)，從而動(dòng)態(tài)畫面可以與通過網(wǎng)絡(luò)接收的圖像或動(dòng)態(tài)畫面相 組合地再現(xiàn)。例如，圖像拾取設(shè)備101可通過互聯(lián)網(wǎng)接收預(yù)定公園的 風(fēng)景圖像，并且再現(xiàn)動(dòng)態(tài)畫面，其中小孩的圖像被拾取，同時(shí)將該圖 像合成在背景圖像上，背景圖像是所接收的公園的風(fēng)景圖像。這樣， 可提供小孩在公園中運(yùn)動(dòng)的人造再現(xiàn)圖像。
現(xiàn)在，參照附圖描述在本發(fā)明實(shí)施例中特征點(diǎn)提取處理和光流計(jì) 算處理由多核處理器執(zhí)行的情形。
圖40是視圖，表示在本發(fā)明實(shí)施例中多核處理器800的構(gòu)造例子。 多核處理器800是不同類型的多個(gè)處理器核被合并在一個(gè)CPU(中央 處理單元)封裝中的處理器。具體地，多核處理器800包括兩種不同類 型的多個(gè)處理器核，包括與所有應(yīng)用(用途)相對應(yīng)的一種類型的核、 和優(yōu)化到一定程度以用于預(yù)定用途的另一種類型的核，以保持每個(gè)處 理器核件的處理性能并實(shí)現(xiàn)簡單構(gòu)造。
多核處理器800包括控制處理器核801、數(shù)學(xué)運(yùn)算處理器核(#1)811 至(#8)818、及總線802，并且連接到主存儲(chǔ)器781。此外，多核處理 器800連接到其它裝置，像例如連接到圖形裝置782和I/O裝置783 上。至于多核處理器800，例如，可采納是本發(fā)明受讓人已開發(fā)的微處理器的"Cell(cell: Cell Broadband Engine)".
控制處理器核801是主要執(zhí)行操作系統(tǒng)等的頻繁線程轉(zhuǎn)換的控制 處理器核。要注意，參照圖41詳細(xì)描述控制處理器核801。
數(shù)學(xué)運(yùn)算處理器核(#1)811至(#8)818是善于多媒體類型處理的簡 單且小尺寸的數(shù)學(xué)運(yùn)算處理器核。要注意，參照圖42詳細(xì)描述數(shù)學(xué)運(yùn) 算處理器核(#1)811至(#8)818。
總線802是叫做EIB(Element Interconnect Bus(元件互連總線)) 的高速總線，并且控制處理器核801和數(shù)學(xué)運(yùn)算處理器核(#1)811至 (#8)818由總線802彼此連接，從而每個(gè)處理器核的數(shù)據(jù)訪問通過總線 802執(zhí)行。
主存儲(chǔ)器781連接到總線802，并且是存儲(chǔ)待加載到處理器核中 的各種程序和處理器核的處理必需的數(shù)據(jù)并且存儲(chǔ)處理器核處理后的 數(shù)據(jù)的主存儲(chǔ)器。
圖形裝置782是連接到總線802的圖形裝置，并且I/O裝置783 是連接到總線802的外部輸入/輸出裝置。
圖41是視圖，表示在本發(fā)明實(shí)施例中控制處理器核801的構(gòu)造例 子?？刂铺幚砥骱?01包括控制處理器單元803和控制處理器存儲(chǔ)系 統(tǒng)806。
控制處理器單元803是用于執(zhí)行控制處理器核801的數(shù)學(xué)運(yùn)算處 理的核的單元，并且包括基于微處理器體系結(jié)構(gòu)的指令集，指令高速 緩沖存儲(chǔ)器804和數(shù)據(jù)高速緩沖存儲(chǔ)器805作為第一高速緩沖存儲(chǔ)器 被合并入控制處理器單元803。指令高速緩沖存儲(chǔ)器804是例如32 KB 的指令高速緩沖存儲(chǔ)器，并且數(shù)據(jù)高速緩沖存儲(chǔ)器805是例如32 KB 的數(shù)據(jù)高速緩沖存儲(chǔ)器。
控制處理器存儲(chǔ)系統(tǒng)806是用于控制從控制處理器單元803到主 存儲(chǔ)器781的數(shù)據(jù)訪問的單元，并且512 KB的第二高速緩沖存儲(chǔ)器 807被并入控制處理器存儲(chǔ)系統(tǒng)806,以便加速來自控制處理器單元 803的存儲(chǔ)器訪問。
圖42是視圖，表示本發(fā)明實(shí)施例中數(shù)學(xué)運(yùn)算處理器核(#1)811的構(gòu)造例子。數(shù)學(xué)運(yùn)算處理器核(#1)811包括數(shù)學(xué)運(yùn)算處理器單元820和 存儲(chǔ)器流程控制器822。要注意，數(shù)學(xué)運(yùn)算處理器核(#2)812至(#8)818 的描述這里被省略，因?yàn)樗鼈兙哂信c數(shù)學(xué)運(yùn)算處理器核(#1)811的構(gòu)造 相類似的構(gòu)造。
數(shù)學(xué)運(yùn)算處理器單元820是用作執(zhí)行數(shù)學(xué)運(yùn)算處理器核(#1)811的 數(shù)學(xué)運(yùn)算的核的單元，并且包括與控制處理器核801的控制處理器單 元803的指令集不同的獨(dú)特指令集。此外，本地存儲(chǔ)器(LS: Local Store)821被并入數(shù)學(xué)運(yùn)算處理器單元820。
本地存儲(chǔ)器821是專用于數(shù)學(xué)運(yùn)算處理器單元820的存儲(chǔ)器，并 且是可從數(shù)學(xué)運(yùn)算處理器單元820直接查閱的唯——個(gè)存儲(chǔ)器。至于 本地存儲(chǔ)器821，例如，可使用具有例如256 K字節(jié)容量的存儲(chǔ)器。 要注意，為了使數(shù)學(xué)運(yùn)算處理器單元820訪問主存儲(chǔ)器781上的本地 存儲(chǔ)器或其它數(shù)學(xué)運(yùn)算處理器核(數(shù)學(xué)運(yùn)算處理器核(#2)812至 (#8)818)，必須利用存儲(chǔ)器流程控制器822。
存儲(chǔ)器流程控制器822是用于將數(shù)據(jù)傳輸進(jìn)/出主存儲(chǔ)器781、其 它數(shù)學(xué)運(yùn)算處理器核等的單元，是叫做MFC(Memory Flow Controller(存儲(chǔ)器流程控制器))的單元。這里，數(shù)學(xué)運(yùn)算處理器單元 820通過稱為通道的接口將對數(shù)據(jù)傳輸?shù)鹊恼埱蟀l(fā)出到存儲(chǔ)器流程控 制器822。
至于上述的多核處理器800的編程模型，已經(jīng)提出各種編程模型。 作為在編程模型中的最基本模型，已知主程序在控制處理器核801上 執(zhí)行并且子程序在數(shù)學(xué)運(yùn)算處理器核(#1)811至(#8)818上執(zhí)行的模型。 在本發(fā)明的實(shí)施例中，參照附圖詳細(xì)描述使用這種模型的多核處理器 800的數(shù)學(xué)運(yùn)算方法。
圖43是視圖，示意地表明在本發(fā)明實(shí)施例中多核處理器800的數(shù) 學(xué)運(yùn)算方法。這個(gè)例子中，作為例子描述如下情形在控制處理器核 801使用數(shù)據(jù)785執(zhí)行任務(wù)784時(shí)，使用對于任務(wù)786的處理必需的 數(shù)據(jù)787(數(shù)據(jù)785的部分)，任務(wù)786是任務(wù)784的一部分。
如圖所示，控制處理器核801使用數(shù)據(jù)785執(zhí)行任務(wù)784時(shí)，使數(shù)學(xué)運(yùn)算處理器核使用對于作為任務(wù)784的一部分的任務(wù)786的處理 必需的數(shù)據(jù)787(數(shù)據(jù)785的一部分)執(zhí)行任務(wù)786。在本發(fā)明的實(shí)施例 中，對于形成動(dòng)態(tài)畫面的每一幀，由每個(gè)數(shù)學(xué)運(yùn)算處理器核執(zhí)行數(shù)學(xué) 運(yùn)算處理。
多核處理器800如圖表明那樣以此方式執(zhí)行數(shù)學(xué)運(yùn)算時(shí)，在較短 時(shí)間中并行利用數(shù)學(xué)運(yùn)算處理器核(#1)811至(#8)818可執(zhí)行大量數(shù)學(xué) 運(yùn)算，并且利用在數(shù)學(xué)運(yùn)算處理器核(#1)811至(#8)818上的 SMID(Singl Instruction/Multiple Data:單指令/多數(shù)據(jù))數(shù)學(xué)運(yùn)算，使用 進(jìn)一步減小數(shù)量的指令，可執(zhí)行更大數(shù)量的數(shù)學(xué)運(yùn)算。要注意，參照 圖47至50等詳細(xì)描述SMID數(shù)學(xué)運(yùn)算。
圖44是視圖，示意地表明在在本發(fā)明實(shí)施例的多核處理器800 執(zhí)行數(shù)學(xué)運(yùn)算的情況下的程序和數(shù)據(jù)流。這里，盡管將來自數(shù)學(xué)運(yùn)算 處理器核(#1)811至(#8)818中的數(shù)學(xué)運(yùn)算處理器核(#1)811當(dāng)作例子給 出描述，但以上描述的數(shù)學(xué)運(yùn)算也可類似地由數(shù)學(xué)運(yùn)算處理器核 (#2)812至(#8)818執(zhí)行。
首先，控制處理器核801向數(shù)學(xué)運(yùn)算處理器核(#1)811發(fā)送指令， 將在主存儲(chǔ)器781中存儲(chǔ)的數(shù)學(xué)運(yùn)算處理器核程序823加載到數(shù)學(xué)運(yùn) 算處理器核(#1)811的本地存儲(chǔ)器821。因此，數(shù)學(xué)運(yùn)算處理器核(#1)811 將在主存儲(chǔ)器781中存儲(chǔ)的數(shù)學(xué)運(yùn)算處理器核程序823加載到本地存 儲(chǔ)器821。
然后，控制處理器核801向數(shù)學(xué)運(yùn)算處理器核(#1)811發(fā)出指令， 執(zhí)行在本地存儲(chǔ)器821存儲(chǔ)的數(shù)學(xué)運(yùn)算處理器核程序825。
此后，數(shù)學(xué)運(yùn)算處理器核(#1)811將對于本地存儲(chǔ)器821存儲(chǔ)的數(shù) 學(xué)運(yùn)算處理器核程序825的執(zhí)行過程必需的數(shù)據(jù)824從主存儲(chǔ)器781 傳輸?shù)奖镜卮鎯?chǔ)器821。
然后，數(shù)學(xué)運(yùn)算處理器核(#1)811基于在本地存儲(chǔ)器821存儲(chǔ)的數(shù) 學(xué)運(yùn)算處理器核程序825來處理從主存儲(chǔ)器781傳輸?shù)臄?shù)據(jù)826，按 照條件執(zhí)行處理，及將處理結(jié)果存儲(chǔ)到本地存儲(chǔ)器821中。
然后，數(shù)學(xué)運(yùn)算處理器核(#1)811將基于本地存儲(chǔ)器821存儲(chǔ)的數(shù)學(xué)運(yùn)算處理器核程序825執(zhí)行的處理結(jié)果從本地存儲(chǔ)器821傳輸?shù)街?存儲(chǔ)器781。
此后，數(shù)學(xué)運(yùn)算處理器核(#1)811向控制處理器核801發(fā)出數(shù)學(xué)運(yùn) 算處理結(jié)束的通知。
現(xiàn)在，參照附圖詳細(xì)描述使用多核處理器800執(zhí)行的SIMD數(shù)學(xué) 運(yùn)算。這里，SIMD數(shù)學(xué)運(yùn)算是用于多個(gè)數(shù)據(jù)的處理由一條指令執(zhí)行 的數(shù)學(xué)運(yùn)算方法。
圖45(a)是視圖，示意地表明數(shù)學(xué)運(yùn)算方法的概要，其中用于多個(gè) 數(shù)據(jù)的指令通過對每一個(gè)數(shù)據(jù)的運(yùn)算被執(zhí)行。在圖45(a)表明的數(shù)學(xué)運(yùn) 算方法是普通數(shù)學(xué)運(yùn)算方法，并且叫做例如標(biāo)量數(shù)學(xué)運(yùn)算。例如，數(shù) 據(jù)"C1"的處理結(jié)果由將數(shù)據(jù)"A1"加到數(shù)據(jù)"B1"的指令確定。對于其 它三種數(shù)學(xué)運(yùn)算，對每個(gè)處理類似地執(zhí)行在同一行中將數(shù)據(jù)"A2"、 "A3"及"A4"加到數(shù)據(jù)"B2"、 "B3"及"B4，，的指令，并且通過這個(gè)指令， 各個(gè)行中的值受到加法處理，處理結(jié)果被確定為數(shù)據(jù)"C2"、 "C3"及 "C4"。以此方式，在標(biāo)量數(shù)學(xué)運(yùn)算中，對于多個(gè)數(shù)據(jù)的處理，必須對 于它們的每一個(gè)執(zhí)行指令。
圖45(b)是視圖，示意地表明SIMD數(shù)學(xué)運(yùn)算的概要，SIMD數(shù)學(xué) 運(yùn)算是多個(gè)數(shù)據(jù)的處理由單條指令執(zhí)行的數(shù)學(xué)運(yùn)算方法。這里，用于 SIMD數(shù)學(xué)運(yùn)算的數(shù)據(jù)(虛線827和828的每一條包圍的數(shù)據(jù))有時(shí)叫做 向量數(shù)據(jù)。此外，使用這樣的向量數(shù)據(jù)執(zhí)行的SIMD數(shù)學(xué)運(yùn)算有時(shí)叫 做向量數(shù)學(xué)運(yùn)算。
例如，通過將虛線827圍繞的向量數(shù)據(jù)"A1"、 "A2"、 "A3"及"A4" 加到虛線828圍繞的向量數(shù)據(jù)"B1"、 "B2"、 "B3"及"B4"的一條指令， 確定"C1，，、"C2"、"C3"及"C4"(另一虛線829圍繞的數(shù)據(jù))的處理結(jié)果。 由于在SIMD數(shù)學(xué)運(yùn)算中，對多個(gè)數(shù)據(jù)的處理能以此方式由單條指令 執(zhí)行，所以可迅速地執(zhí)行數(shù)學(xué)運(yùn)算處理。此外，關(guān)于SIMD數(shù)學(xué)運(yùn)算 的指令由多核處理器800的控制處理器核801發(fā)出，并且根據(jù)該指令 的多個(gè)數(shù)據(jù)的數(shù)學(xué)運(yùn)算處理由數(shù)學(xué)運(yùn)算處理器核(#1)811至(#8)818并 行執(zhí)行。另一方面，例如，將"A1"和"B1"相加、將數(shù)據(jù)"A2"和"B2"相減、 將數(shù)據(jù)"A3"和"B3"相乘、及將數(shù)據(jù)"A4，，和"B4"相除的處理不能由 SIMD數(shù)學(xué)運(yùn)算執(zhí)行。換句話說，對多個(gè)數(shù)據(jù)要分別執(zhí)行不同處理時(shí)， 不能執(zhí)行通過SIMD數(shù)學(xué)運(yùn)算的處理。
現(xiàn)在，參照附圖詳細(xì)描述在如下情況的SIMD數(shù)學(xué)運(yùn)算的具體數(shù) 學(xué)運(yùn)算方法其中執(zhí)行特征點(diǎn)提取處理和光流計(jì)算處理。
圖46是視圖，表示本發(fā)明實(shí)施例中控制處理器核801或數(shù)學(xué)運(yùn)算 處理器核(#1)811執(zhí)行的程序的構(gòu)造例子。盡管這里表明僅通過數(shù)學(xué)運(yùn) 算處理器核(#1)811的處理，但類似處理也由數(shù)學(xué)運(yùn)算處理器核(#2)812 至(#8)818執(zhí)行。
控制處理器核801關(guān)于解碼851執(zhí)行解碼852、交織853及調(diào)整 大小854。解碼852是解碼動(dòng)態(tài)畫面文件的過程。交織853是去交織 解碼幀的過程。調(diào)整大小854是減小去交織幀的過程。
此外，控制處理器核801，關(guān)于數(shù)學(xué)運(yùn)算處理器核管理856，執(zhí)行 指令傳輸857和859和結(jié)束通知接受858和860。指令傳輸857和859 是將SIMD數(shù)學(xué)運(yùn)算的執(zhí)行指令傳輸?shù)綌?shù)學(xué)運(yùn)算處理器核(#1)811至 (#8)818的處理，并且結(jié)束通知接受858和860是從響應(yīng)上述指令的數(shù) 學(xué)運(yùn)算處理器核(#1)811至(#8)818接收SIMD數(shù)學(xué)運(yùn)算的結(jié)束通知的 處理。此外，控制處理器核801，關(guān)于攝影機(jī)工作檢測861,執(zhí)行攝影 機(jī)工作參數(shù)計(jì)算處理862。攝影機(jī)工作參數(shù)計(jì)算處理862是對每個(gè)幀 基于數(shù)學(xué)運(yùn)算處理器核(#1)811至(#8)818通過SIMD數(shù)學(xué)運(yùn)算計(jì)算的 光流來計(jì)算仿射變換參數(shù)的處理。
數(shù)學(xué)運(yùn)算處理器核(#1)811，關(guān)于特征點(diǎn)提取處理863，執(zhí)行Sobel 濾波器(Sobel Filter)處理864、 二次矩矩陣(Second Moment Matrix)計(jì) 算處理865、可分離濾波器(Separable Filter)處理866、 Harris角部提 取(Calc Harris)處理867、膨脹(Dilation)處理868及重新排序(Sort)處 理869。
Sobel濾波器處理864是用于計(jì)算使用P2(x方向)的濾波器得到的 在x方向的值dx和使用在Y方向的濾波器得到的在y方向的值dy的處理。要注意，參照圖47至50詳細(xì)描述在x方向的值dx的計(jì)算。
二次矩矩陣計(jì)算處理865是使用Sobel濾波器處理864計(jì)算的dx 和dy計(jì)算dx2、 dy2及dx"y的值的處理。
可分離濾波器處理866是將Gaussian濾波器(濃淡處理)應(yīng)用于二 次矩矩陣計(jì)算處理865計(jì)算的dx2、 dyZ及dx,dy的圖像的處理。
Harris角部提取處理867是使用dx2、 dy2及dx參dy的值計(jì)算Harris 角部的分?jǐn)?shù)的處理，對于這些dx2、 dyZ及dx.dy的值由可分離濾波器 處理866已經(jīng)執(zhí)行濃淡(shading)處理。例如按照如下表達(dá)式計(jì)算 Harris角部的分?jǐn)?shù)S:
S=(dx2xdy2-dx*dyxdx dy)/(dx2+dy2+s)
膨脹處理868是對于使用Harris角部提取處理867計(jì)算的Harris 角部的分?jǐn)?shù)構(gòu)造的圖像執(zhí)行濃淡處理的處理。
重新排列處理869是按Harris角部提取處理867計(jì)算的Harris 角部的下降順序排列像素、拾取預(yù)定數(shù)量的具有較高分?jǐn)?shù)的像素、及 提取所拾取的點(diǎn)作為特征點(diǎn)的處理。
數(shù)學(xué)運(yùn)算處理器核(#1)811,關(guān)于光流(Optical Flow)數(shù)學(xué)運(yùn)算處理 870，執(zhí)行多分辨率圖像產(chǎn)生(Make Pyramid Image)處理871和光流計(jì) 算(Calc Optical Flow)處理872。多分辨率圖像產(chǎn)生處理871是在圖像 拾取設(shè)備圖像拾取時(shí)依次產(chǎn)生從畫面尺寸減小到預(yù)定數(shù)量級別的圖像 的處理，產(chǎn)生的圖像叫做多分辨率圖像。
光流計(jì)算處理872是關(guān)于多分辨率圖像產(chǎn)生處理871產(chǎn)生的多分 辨率圖像中的最小圖像計(jì)算光流、并且使用計(jì)算結(jié)果對于分辨率高一 級的圖像再次計(jì)算光流的處理，并且處理序列被重復(fù)地執(zhí)行，直到達(dá) 到最大圖像。
以此方式，例如，關(guān)于圖3等所示的特征點(diǎn)提取單元121執(zhí)行的 特征點(diǎn)提取處理和光流計(jì)算單元122執(zhí)行的光流計(jì)算處理，使用多核 處理器800通過SIMD數(shù)學(xué)運(yùn)算通過并行處理可確定處理結(jié)果。要注 意，在圖46等表明的特征點(diǎn)提取處理和光流計(jì)算處理是例子，對于形 成動(dòng)態(tài)畫面的圖像，通過多核處理器800的SIMD數(shù)學(xué)運(yùn)算可以使用從各種濾波器處理、閾值處理等構(gòu)造的其它處理執(zhí)行。
圖47是視圖，示意地表明如下情況的數(shù)據(jù)結(jié)構(gòu)和處理流程其中 在本發(fā)明實(shí)施例中對于主存儲(chǔ)器781存儲(chǔ)的圖像數(shù)據(jù)(與形成圖像拾 取設(shè)備拾取的動(dòng)態(tài)畫面的一個(gè)幀相對應(yīng)的圖像數(shù)據(jù))使用Sobel濾波器 830執(zhí)行濾波。要注意，在圖中主存儲(chǔ)器781存儲(chǔ)的圖像數(shù)據(jù)以簡化 形式表明，其中在水平方向的像素?cái)?shù)量是32。而且Sobel濾波器830 是3x3邊緣提取濾波器。如圖所示，對于在主存儲(chǔ)器781中存儲(chǔ)的圖 像數(shù)據(jù)執(zhí)行使用Sobel濾波器830的濾波處理，并且輸出濾波處理的 結(jié)果。這個(gè)例子中，描述使用SIMD數(shù)學(xué)運(yùn)算一次得到四個(gè)濾波結(jié)果 的例子。
圖48是視圖，示意地表明在如下情況的數(shù)據(jù)流程在本發(fā)明實(shí)施 例中對于主存儲(chǔ)器781存儲(chǔ)的圖像數(shù)據(jù)使用Sobel濾波器830執(zhí)行 SIMD數(shù)學(xué)運(yùn)算。首先，包括在主存儲(chǔ)器781中存儲(chǔ)的第一行圖像數(shù) 據(jù)的預(yù)定數(shù)量的行(例如三行)被DMA(Direct Memory Access)傳輸?shù)?在數(shù)學(xué)運(yùn)算處理器核的本地存儲(chǔ)器821中提供的第一緩沖器831,并 且從DMA傳輸?shù)降谝痪彌_器831的各行向下偏移一行的預(yù)定數(shù)量的 行被DMA傳輸?shù)降诙彌_器832。通過以此方式使用雙緩沖器，可 掩蓋DMA傳輸?shù)难舆t。
圖49是^f見圖，示意地表明在本發(fā)明實(shí)施例中的Sobel濾波器830 被用于執(zhí)行濾波處理的情況，從第一緩沖器831中存儲(chǔ)的圖像數(shù)據(jù)產(chǎn) 生九個(gè)向量的向量產(chǎn)生方法。在如圖48表明的那樣執(zhí)行DMA傳輸之 后，從第一緩沖器831中存儲(chǔ)的圖像數(shù)據(jù)產(chǎn)生九個(gè)向量。具體地，由 第一緩沖器831中存儲(chǔ)的圖像數(shù)據(jù)的一行中的左角的四個(gè)數(shù)據(jù)產(chǎn)生向 量數(shù)據(jù)841,并且從四個(gè)數(shù)據(jù)向右側(cè)偏移一個(gè)的四個(gè)數(shù)據(jù)產(chǎn)生向量數(shù) 據(jù)842。類似地，從上述后四個(gè)數(shù)據(jù)向右側(cè)偏移一個(gè)的四個(gè)數(shù)據(jù)產(chǎn)生 向量數(shù)據(jù)843。在第二行和第三行中，也類似地每次由四個(gè)數(shù)據(jù)產(chǎn)生 向量數(shù)據(jù)844至849。
圖50是視圖，示意地表明在使用本發(fā)明實(shí)施例的Sobel濾波器 830執(zhí)行濾波處理的情況下，對向量數(shù)據(jù)841至849使用SIMD指令用于執(zhí)行向量數(shù)學(xué)運(yùn)算的向量數(shù)學(xué)運(yùn)算方法。具體地，對于向量數(shù)據(jù)
841至843依次執(zhí)行SIMD數(shù)學(xué)運(yùn)算以確定向量A。這種SIMD數(shù)學(xué) 運(yùn)算中，首先執(zhí)行'"-l"x"向量數(shù)據(jù)841"，的SIMD數(shù)學(xué)運(yùn)算。然后， 執(zhí)行"'0"x"向量數(shù)據(jù)842"，的SIMD數(shù)學(xué)運(yùn)算，并且然后執(zhí)行"T，x"向 量數(shù)據(jù)843，"的SIMD數(shù)學(xué)運(yùn)算。這里，"'0"x"向量數(shù)據(jù)842"，可省略， 因?yàn)榕卸〝?shù)學(xué)運(yùn)算的結(jié)果是"O"。此外，"T，x"向量數(shù)據(jù)843，，，可省略， 因?yàn)榕卸〝?shù)學(xué)運(yùn)算的結(jié)果具有與"向量數(shù)據(jù)843"的值相等的值。
然后，SIMD數(shù)學(xué)運(yùn)算執(zhí)行'"-l"x"向量數(shù)據(jù)841"，的數(shù)學(xué)運(yùn)算結(jié) 果和'"0，，x"向量數(shù)據(jù)842"，的數(shù)學(xué)運(yùn)算結(jié)果的疊加過程，并且然后 SIMD數(shù)學(xué)運(yùn)算執(zhí)行疊加過程結(jié)果和"'l"x"向量數(shù)據(jù)843，，，的數(shù)學(xué)運(yùn)算 結(jié)果的疊加過程。這里，SIMD數(shù)學(xué)運(yùn)算可執(zhí)行例如"向量數(shù)據(jù)l，，x"向 量數(shù)據(jù)2"+"向量數(shù)據(jù)3"的數(shù)據(jù)結(jié)構(gòu)的數(shù)學(xué)運(yùn)算。因此，在向量A的 數(shù)學(xué)運(yùn)算中，例如，"'0"x"向量數(shù)據(jù)842，"和"T，x"向量數(shù)據(jù)843"，的 SIMD數(shù)學(xué)運(yùn)算可以省略，而'"-l，，x"向量數(shù)據(jù)841，，+"向量數(shù)據(jù)843"， 由SIMD數(shù)學(xué)運(yùn)算的單次運(yùn)算執(zhí)行。
類似地，對于向量數(shù)據(jù)844至846依次執(zhí)行SIMD數(shù)學(xué)運(yùn)算以確 定向量B，并且對于向量數(shù)據(jù)847至849依次執(zhí)行SIMD數(shù)學(xué)運(yùn)算以 確定向量C。
然后，對于SIMD數(shù)學(xué)運(yùn)算確定的向量A至C執(zhí)行SIMD數(shù)學(xué) 運(yùn)算以確定向量D。以此方式，通過進(jìn)行SIMD數(shù)學(xué)運(yùn)算， 一次可得 到與向量的分量數(shù)量相等的多個(gè)結(jié)果(這個(gè)例子中，四個(gè)數(shù)據(jù))。
在計(jì)算向量D之后，從圖48表明的第一緩沖器831中存儲(chǔ)的圖 像數(shù)據(jù)中提取數(shù)據(jù)的位置被向右側(cè)依次偏移一個(gè)的同時(shí)，重復(fù)執(zhí)行類 似處理，以依次執(zhí)行向量D的計(jì)算。然后，如果直到圖48所示的第 一緩沖器831中存儲(chǔ)的圖像數(shù)據(jù)的右端的處理結(jié)束，處理結(jié)果被DMA 傳輸?shù)街鞔鎯?chǔ)器781。
然后，與從主存儲(chǔ)器781存儲(chǔ)的圖像數(shù)據(jù)中被DMA傳輸?shù)降诙?緩沖器832的各行偏移一行的預(yù)定數(shù)量的行被DMA傳輸?shù)降谝痪彌_ 器831，并且對于第二緩沖器832存儲(chǔ)的圖像數(shù)據(jù)重復(fù)以上描述的處理。然后，重復(fù)類似處理，直到到達(dá)主存儲(chǔ)器781中存儲(chǔ)的圖像數(shù)據(jù) 的各行之中的下端行。
類似地，通過SIMD數(shù)學(xué)運(yùn)算執(zhí)行大部分處理，可實(shí)現(xiàn)用于特征 點(diǎn)提取和光流計(jì)算的處理加速。
圖51是視圖，按時(shí)間序列示意地表明在本發(fā)明實(shí)施例中的攝影機(jī) 工作參數(shù)計(jì)算處理的流程。例如，通過使用上述多核處理器800進(jìn)行 SIMD數(shù)學(xué)運(yùn)算，可并行進(jìn)行對動(dòng)態(tài)畫面的解碼和分析處理。因此， 與解碼時(shí)間相比，有可能減小對于形成動(dòng)態(tài)畫面的一個(gè)幀的分析時(shí)間。
例如，在圖中，tl指示通過控制處理器核801對于形成動(dòng)態(tài)畫面 的一幀的解碼處理需要的時(shí)間段，t2指示通過數(shù)學(xué)運(yùn)算處理器核 (#1)811至(#8)818對于形成動(dòng)態(tài)畫面的一幀的特征點(diǎn)提取處理需要的 時(shí)間段，t3指示通過數(shù)學(xué)運(yùn)算處理器核(#1)811至(#8)818對于形成動(dòng) 態(tài)畫面的一幀的光流計(jì)算處理需要的時(shí)間段，及t4指示通過控制處理 器核801對于形成動(dòng)態(tài)畫面的一幀的攝影機(jī)工作檢測處理需要的時(shí)間 段。注意，t5指示通過控制處理器核801和數(shù)學(xué)運(yùn)算處理器核(^1)811 至(#8)818對于形成動(dòng)態(tài)畫面的一幀的攝影機(jī)工作檢測處理需要的時(shí) 間段。此外，t6指示通過控制處理器核801對于管理數(shù)學(xué)運(yùn)算處理器 核(#1)811至(#8)818的處理所需要的時(shí)間段。例如，。tl可設(shè)置到"25.0 ms"， t2到"7.9 ms"， t3到"6.7 ms"， t4到"1.2 ms"，及t5到"15'8 ms"。
現(xiàn)在，參照附圖詳細(xì)描述使用本發(fā)明實(shí)施例中的數(shù)據(jù)文件的動(dòng)態(tài) 畫面內(nèi)容被再現(xiàn)的情形。
圖52(a)是俯視平面圖，示意地表示作為記錄介質(zhì)例子的藍(lán)光盤 (Blu-ray Disc(注冊商標(biāo)))880;并且圖52(b)是視圖，示意地表示在藍(lán) 光盤880上記錄的數(shù)據(jù)881至884。在藍(lán)光盤880上，例如，與攝影 機(jī)等拾取的動(dòng)態(tài)畫面的動(dòng)態(tài)畫面內(nèi)容882 —起，記錄動(dòng)態(tài)畫面內(nèi)容882 的子標(biāo)題883和通過動(dòng)態(tài)畫面內(nèi)容882的分析得到的元數(shù)據(jù)884(例如， 圖4(b)表明的元數(shù)據(jù)文件和圖29和35表明的相對關(guān)系元數(shù)據(jù)文件)、 用于本發(fā)明實(shí)施例的動(dòng)態(tài)畫面再現(xiàn)的Java(注冊商標(biāo))程序881。
圖52(c)是視圖，示意地表示藍(lán)光再現(xiàn)機(jī)(Blu-ray Disc Player) 890的內(nèi)部構(gòu)造，藍(lán)光再現(xiàn)機(jī)890可再現(xiàn)藍(lán)光盤880。這里，由于可再現(xiàn) 藍(lán)光盤的藍(lán)光再現(xiàn)機(jī)890與CPU 891和OS 892 —起包括Java(注冊商 標(biāo))VM(Java(注冊商標(biāo))虛擬才幾)和庫893作為標(biāo)準(zhǔn)功能，所以它可執(zhí)4亍 Java(注冊商標(biāo))程序。因此，如果藍(lán)光盤880 4皮加載到藍(lán)光再現(xiàn)才幾890 中，那么藍(lán)光再現(xiàn)才幾890可加載和執(zhí)行Java(注冊商標(biāo))程序881。因 此，藍(lán)光再現(xiàn)才幾890再現(xiàn)動(dòng)態(tài)畫面內(nèi)容882的情況下，元數(shù)據(jù)884可 用于進(jìn)行本發(fā)明實(shí)施例的動(dòng)態(tài)畫面再現(xiàn)。換句話說，本發(fā)明實(shí)施例的 動(dòng)態(tài)畫面再現(xiàn)可在所有藍(lán)光再現(xiàn)機(jī)上實(shí)現(xiàn)，而不使用專門用途的PC 軟件等。
如上所述，在本發(fā)明的實(shí)施例中，在一個(gè)或多個(gè)動(dòng)態(tài)畫面要在圖 像拾取設(shè)備上被再現(xiàn)時(shí)，由于與當(dāng)前顯示圖像的以前幀相對應(yīng)的圖像 被顯示、同時(shí)與當(dāng)前圖像合成，所以用戶能與位于圖像中心的對象一 起，以鳥瞰方式訪問在時(shí)區(qū)的至少一部分內(nèi)拾取的圖像的背景等。具 體地，從與圖像拾取時(shí)的畫面尺寸相同的畫面尺寸再現(xiàn)圖像的初始狀 態(tài)，通過拉遠(yuǎn)操作擴(kuò)展圖像時(shí)，由于整個(gè)當(dāng)前圖像變小并且與過去幀 相對應(yīng)的圖像顯示在當(dāng)前圖像的周圍，所以可實(shí)現(xiàn)空間拉遠(yuǎn)。因此， 能夠以鳥瞰方式觀看比拾取圖像尺寸更大的范圍上的圖像。
此外，例如，用戶想觀看在時(shí)區(qū)的至少一部分內(nèi)拾取的圖像的背 景等時(shí)，即使不進(jìn)行倒片操作、搜索操作等，如果進(jìn)行拉遠(yuǎn)操作，那 么用戶也可觀看當(dāng)前顯示的圖像、同時(shí)一起觀看背景等。因此，當(dāng)用 戶訪問圖像拾取設(shè)備拾取的動(dòng)態(tài)畫面時(shí)，用戶可容易地掌握動(dòng)態(tài)畫面 的內(nèi)容。此外，例如，在同一對象被包括其中的多個(gè)動(dòng)態(tài)畫面要被再 現(xiàn)時(shí)，由于在包括該對象的位置，彼此重疊地顯示多個(gè)動(dòng)態(tài)畫面，所 以用戶可容易地掌握多個(gè)動(dòng)態(tài)畫面的相對關(guān)系。
具體地，多個(gè)動(dòng)態(tài)畫面可在空間展開，并且利用過去的幀而被欣 賞。因此，由于可提供一種欣賞方法以在再現(xiàn)多個(gè)動(dòng)態(tài)畫面時(shí)提供例 如完整的全景圖像，所以訪問人員能以較大興趣欣賞動(dòng)態(tài)畫面。此外， 對于當(dāng)前圖像，因?yàn)樵诋?dāng)前圖像被存儲(chǔ)到圖像存儲(chǔ)器180中之前的狀 態(tài)下的圖像可被依次顯示，可顯示較清晰的圖像。此外，盡管在本發(fā)明實(shí)施例的描述中，描述了預(yù)先檢測的仿射變 換參數(shù)被用于再現(xiàn)和顯示的例子，但可以在再現(xiàn)時(shí)計(jì)算仿射變換參數(shù)， 從而計(jì)算的仿射變換參數(shù)被用于再現(xiàn)和顯示。例如，使用多核處理器
由SIMD數(shù)學(xué)運(yùn)算計(jì)算仿射變換參數(shù)，有可能在用于解碼一幀的處理 時(shí)間內(nèi)計(jì)算用于一幀的仿射變換參數(shù)。因此，即使在未計(jì)算仿射變換 參數(shù)的動(dòng)態(tài)畫面要被再現(xiàn)時(shí)，也有可能進(jìn)行動(dòng)態(tài)畫面再現(xiàn)，同時(shí)計(jì)算 仿射變換參數(shù)，因此，可迅速地進(jìn)行動(dòng)態(tài)畫面的空間展開的欣賞。
此外，在本發(fā)明實(shí)施例的描述中，描述了如下例子多個(gè)動(dòng)態(tài)畫 面文件纟皮存儲(chǔ)到動(dòng)態(tài)畫面存儲(chǔ)部分200中，并且與動(dòng)態(tài)畫面相對應(yīng)的
210中作為元數(shù)據(jù)文件，除此之外，關(guān)于多個(gè)動(dòng)態(tài)畫面的相對關(guān)系信 息被存儲(chǔ)到相對關(guān)系信息存儲(chǔ)部分220中；動(dòng)態(tài)畫面、與動(dòng)態(tài)畫面相 對應(yīng)的仿射變換參數(shù)、及關(guān)于動(dòng)態(tài)畫面的相對關(guān)系信息可以彼此關(guān)聯(lián) 地存儲(chǔ)到動(dòng)態(tài)畫面存儲(chǔ)部分中作為動(dòng)態(tài)畫面文件，從而當(dāng)再現(xiàn)時(shí)，從 動(dòng)態(tài)畫面文件提取該信息并使用。
此外，盡管在本發(fā)明的實(shí)施例中，已經(jīng)描述了按從頂部幀向最后 幀的順序進(jìn)行合成和再現(xiàn)的例子，但按從最后幀向頂部幀的順序進(jìn)行 合成和再現(xiàn)時(shí)，也可類似地應(yīng)用本發(fā)明。這個(gè)例子中，使用與幀相關(guān) 聯(lián)的仿射變換參數(shù)的逆矩陣進(jìn)行仿射變換。
此外，圖像合成部分合成的合成圖像可以記錄在記錄介質(zhì)等，從 而它們可以用于其它再現(xiàn)和顯示。此外，盡管在本發(fā)明的實(shí)施例中， 將動(dòng)態(tài)畫面當(dāng)作例子給出描述，但例如，可類似地合成和顯示靜止畫 面(諸如依次記錄的拾取圖像)。具體地，本發(fā)明的實(shí)施例可應(yīng)用于圖 像拾取設(shè)備，如個(gè)人計(jì)算機(jī)的動(dòng)態(tài)畫面再現(xiàn)應(yīng)用程序、數(shù)字靜態(tài)攝影 機(jī)、專業(yè)級錄像機(jī)、可攜帶電話機(jī)，它們具有動(dòng)態(tài)畫面或靜止畫面的 再現(xiàn)功能以及在再現(xiàn)時(shí)改變顯示放大率的功能。
此外，盡管在本發(fā)明實(shí)施例的描述中，將圖像合成部分合成的圖 像顯示在顯示部分的圖像拾取設(shè)備當(dāng)作例子給出描述，但本發(fā)明的實(shí) 施例可應(yīng)用于包括圖像輸出裝置的圖像拾取設(shè)備，圖像輸出裝置用于輸出圖像信息，以便允許圖像合成部分合成的圖像顯示在另 一 圖像顯 示設(shè)備上。
要注意，本發(fā)明的實(shí)施例指示用于實(shí)現(xiàn)本發(fā)明的例子，并且與下 面所述權(quán)利要求書中規(guī)定主題的發(fā)明具有對應(yīng)關(guān)系。然而，本發(fā)明不 限于此，而是可應(yīng)用各種修改，而不脫離本發(fā)明的主題。
具體地，在權(quán)利要求1，圖像拾取裝置例如與圖像拾取部分110 相對應(yīng)。此外，變換信息計(jì)算裝置例如與攝影機(jī)工作檢測部分120相 對應(yīng)。此外，圖像存儲(chǔ)裝置例如與圖像存儲(chǔ)器180相對應(yīng)。此外，圖 像變換裝置例如與圖像變換部分150和151相對應(yīng)。此外，圖像合成 裝置例如與圖像合成部分170和171相對應(yīng)。此外，操作接受裝置例 如與操作接受部分160和165相對應(yīng)。此外，控制裝置例如與顯示區(qū) 域提取部分190和顯示控制部分240相對應(yīng)。
此外，在權(quán)利要求7，圖像拾取裝置例如與圖像拾取部分110相 對應(yīng)。此外，變換信息計(jì)算裝置例如與攝影機(jī)工作檢測部分120相對 應(yīng)。此外，圖像存儲(chǔ)裝置例如與圖像存儲(chǔ)器180相對應(yīng)。此外，圖像 變換裝置例如與圖像變換部分150相對應(yīng)。此外，圖像合成裝置例如 與圖像合成部分170相對應(yīng)。此外，操作接受裝置例如與操作接受部 分160相對應(yīng)。此外，控制裝置例如與顯示區(qū)域提取部分190和顯示 控制部分240相對應(yīng)。
此外，在權(quán)利要求8或9，變換信息計(jì)算步驟例如與步驟S903至 S913相對應(yīng)。此外，使圖像存儲(chǔ)裝置存儲(chǔ)圖像作為歷史圖像的步驟例 如與步驟S926相對應(yīng)。此外，圖像變換步驟例如與步驟S926相對應(yīng)。 此外，操作接受步驟例如由操作接受部分160和165執(zhí)行。此外，控 制步驟例如與步驟S927至S932相對應(yīng)。
要注意，本發(fā)明實(shí)施例的說明中描述的處理過程可以作為具有以 上描述的步驟序列的方法被掌握，或者可以作為使計(jì)算機(jī)執(zhí)行步驟序 列的程序、或在其上存儲(chǔ)程序的記錄介質(zhì)被掌握。
權(quán)利要求
1.一種圖像拾取設(shè)備，包括圖像拾取裝置，用于拾取圖像拾取對象，以產(chǎn)生圖像數(shù)據(jù)；變換信息計(jì)算裝置，用于基于第一拾取圖像和第二拾取圖像，計(jì)算關(guān)于第一拾取圖像和第二拾取圖像的變換信息，該第一拾取圖像是與所述圖像數(shù)據(jù)相對應(yīng)的圖像，該第二拾取圖像在時(shí)間軸上定位得比圖像拾取所述圖像數(shù)據(jù)時(shí)的第一拾取圖像靠后；圖像存儲(chǔ)裝置，用于將在時(shí)間軸上定位在第二拾取圖像之前的那些圖像存儲(chǔ)為歷史圖像；圖像變換裝置，用于基于計(jì)算的變換信息來變換第二拾取圖像；圖像合成裝置，用于合成變換的第二拾取圖像與歷史圖像，以形成合成圖像；操作接受裝置，用于接受指定第二拾取圖像的顯示放大率的指定操作；及控制裝置，用于基于指定的顯示放大率確定在圖像存儲(chǔ)裝置中存儲(chǔ)的所述合成圖像上的顯示區(qū)域，并且使所述顯示區(qū)域中包括的圖像被依次顯示。
2. 根據(jù)權(quán)利要求1所述的閨像拾取設(shè)備，其中，當(dāng)指定縮小第二 拾取圖像的顯示放大率的指定操作由操作接受裝置接受時(shí)，控制裝置 確定所述顯示區(qū)域，所述顯示區(qū)域至少包括在圖像存儲(chǔ)裝置中存儲(chǔ)的 所述合成圖像中的變換后的第二拾取圖像、和在第二拾取圖像周圍的 那些圖像。
3. 根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其中控制裝置基于計(jì)算的變換信息和指定的顯示放大率來確定所述顯示區(qū)域，以及圖像合成裝置將由圖像變換裝置變換之前的第二拾取圖像通過重 寫與所述顯示區(qū)域中包括的圖像合成，以形成顯示圖像。
4. 根據(jù)權(quán)利要求3所述的圖像拾取設(shè)備，其中控制裝置基于計(jì)算的變換信息在與圖像變換裝置變換第二拾取圖 像的方向相反的方向變換在所述顯示區(qū)域中包括的圖像，以及圖像合成裝置將圖像變換裝置變換之前的第二拾取圖像通過重寫 與變換之后的在所述顯示區(qū)域中包括的圖像合成，以形成顯示圖像。
5. 根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其中 圖像拾取裝置拾取圖像拾取對象，以產(chǎn)生動(dòng)態(tài)畫面的圖像數(shù)據(jù)，以及第一拾取圖像和第二拾取圖像是形成所述動(dòng)態(tài)畫面的拾取圖像。
6. 根據(jù)權(quán)利要求1所述的圖像拾取設(shè)備，其中 操作接受裝置接受用于移動(dòng)所述顯示區(qū)域的移動(dòng)操作，以及 控制裝置基于接受的移動(dòng)操作來移動(dòng)在圖像存儲(chǔ)裝置中存儲(chǔ)的所述合成圖像上的所述顯示區(qū)域。
7. —種圖像拾取設(shè)備，包括圖像拾取裝置，用于拾取圖像拾取對象，以產(chǎn)生圖像數(shù)據(jù)； 變換信息計(jì)算裝置，用于基于第一拾取圖像和第二拾取圖像，計(jì) 算關(guān)于第一拾取圖像和第二拾取圖像的變換信息，該第一拾取圖像是 與所述圖像數(shù)據(jù)相對應(yīng)的圖像，該第二拾取圖像在時(shí)間軸上定位得比 圖像拾取所述圖像數(shù)據(jù)時(shí)的第一拾取圖像靠后；圖像存儲(chǔ)裝置，用于將在時(shí)間軸上定位在第二拾取圖像之前的那些圖像存儲(chǔ)為歷史圖像；圖像變換裝置，用于基于計(jì)算的變換信息來變換歷史圖像； 圖像合成裝置，用于合成第二拾取圖像與變換后的歷史圖像，以形成合成圖像；操作接受裝置，用于接受指定第二拾取圖像的顯示放大率的指定 操作；及控制裝置，用于基于指定的顯示放大率確定在圖像存儲(chǔ)裝置中存 儲(chǔ)的所述合成圖像上的顯示區(qū)域，并且使所述顯示區(qū)域中包括的圖像 4皮依次顯示。
8. —種用于圖像拾取設(shè)備的控制方法，該圖像拾取設(shè)備包括用于拾取圖像拾取對象以產(chǎn)生圖像數(shù)據(jù)的圖像拾取裝置，該控制方法包括 變換信息計(jì)算步驟，基于第一拾取圖像和第二拾取圖像，計(jì)算關(guān)于第 一拾取圖像和第二拾取圖像的變換信息，該第 一拾取圖像是與所述圖像數(shù)據(jù)相對應(yīng)的圖像，該第二拾取圖像在時(shí)間軸上定位得比圖像拾取所述圖像數(shù)據(jù)時(shí)的第一拾取圖像靠后；使圖像存儲(chǔ)裝置將在時(shí)間軸上定位在第二拾取圖像之前的那些圖像存儲(chǔ)為歷史圖像的步驟；圖像變換步驟，基于計(jì)算的變換信息變換第二拾取圖像； 圖像合成步驟，合成變換后的第二拾取圖像與歷史圖像，以形成合成圖像；操作接受步驟，接受指定第二拾取圖像的顯示放大率的指定操作；及控制步驟，基于指定的顯示放大率確定在圖像存儲(chǔ)裝置中存儲(chǔ)的 所述合成圖像上的顯示區(qū)域，并且使所述顯示區(qū)域中包括的圖像被依 次顯示。
9.一種用于圖像拾取設(shè)備的程序，該圖像拾取設(shè)備包括用于拾取 圖像拾取對象以產(chǎn)生圖像數(shù)據(jù)的圖像拾取裝置，該程序使計(jì)算機(jī)執(zhí)行變換信息計(jì)算步驟，基于第一拾取圖像和第二拾取圖像，計(jì)算關(guān) 于第一拾取圖像和第二拾取圖像的變換信息，該第一拾取圖像是與所 述圖像數(shù)據(jù)相對應(yīng)的圖像，該第二拾取圖像在時(shí)間軸上定位得比圖像 拾取所述圖像數(shù)據(jù)時(shí)的第一拾取圖像靠后；使圖像存儲(chǔ)裝置將在時(shí)間軸上定位在第二拾取圖像之前的那些圖 像存儲(chǔ)為歷史圖像的步驟；圖像變換步驟，基于計(jì)算的變換信息變換第二拾取圖像；圖像合成步驟，合成變換后的第二拾取圖像與歷史圖像，以形成 合成圖像；操作接受步驟，接受指定第二拾取圖像的顯示放大率的指定操作；及控制步驟，基于指定的顯示放大率確定在圖像存儲(chǔ)裝置中存儲(chǔ)的所述合成圖像上的顯示區(qū)域，并且使所述顯示區(qū)域中包括的圖像被依 次顯示。
全文摘要
本發(fā)明涉及圖像拾取設(shè)備及其控制方法和程序。當(dāng)訪問圖像拾取設(shè)備拾取的拾取圖像時(shí)，可容易地掌握拾取圖像的內(nèi)容。動(dòng)態(tài)畫面存儲(chǔ)部分200存儲(chǔ)圖像拾取部分110產(chǎn)生的圖像數(shù)據(jù)。元數(shù)據(jù)存儲(chǔ)部分210存儲(chǔ)關(guān)于第一拾取圖像和第二拾取圖像的變換信息。圖像存儲(chǔ)器180將圖像保存為歷史圖像。圖像變換部分150基于變換信息變換第二拾取圖像。圖像合成部分170合成變換后的第二拾取圖像與歷史圖像，以形成合成圖像。操作接受部分160接受指定第二拾取圖像的顯示放大率的指定操作。顯示區(qū)域提取部分190基于指定的顯示放大率確定在圖像存儲(chǔ)器180中保存的合成圖像上的顯示區(qū)域，并且提取顯示區(qū)域中包括的那些圖。顯示控制部分240將提取的圖像依次顯示在顯示部分250。
文檔編號H04N5/225GK101595728SQ200880003628
公開日2009年12月2日 申請日期2008年12月15日 優(yōu)先權(quán)日2007年12月27日
發(fā)明者鶴見辰吾 申請人:索尼株式會(huì)社