專利名稱：記錄裝置、再現(xiàn)裝置、記錄方法、記錄程序和計算機可讀取的記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及拍攝視頻后進行記錄的記錄裝置、再現(xiàn)裝置、記錄方法、 記錄程序和計算機可讀取的記錄介質(zhì)。但是，本發(fā)明的用途不限于上述 記錄裝置、再現(xiàn)裝置、記錄方法、記錄程序和計算機可讀取的記錄介質(zhì)。
背景技術(shù)：
通常的照片攝影與視頻攝影相比，快門速度為高速。這樣設(shè)置的目 的還在于抑制被攝體移動或手抖等的運動模糊，作為靜態(tài)圖像，為了得 到好的畫質(zhì)，往往需要一定程度的高速快門速度。但是，在動態(tài)圖像拍 攝時則相反，采用各幀包含運動模糊的低速快門速度。這是因為若沒有運動模糊，則人眼會看成運動不流暢的間歇運動。因此，在CG動畫等 中，特意執(zhí)行向各個畫面加入運動模糊的處理。艮P,在低速快門的攝影中，可拍攝運動流暢的動態(tài)圖像，但不能拍 攝運動模糊少的靜態(tài)圖像，在高速快門的攝影中可得到運動模糊少的靜 態(tài)圖像，但動態(tài)圖像再現(xiàn)時運動被看成間歇性運動，變得不自然。因此， 在要實現(xiàn)動態(tài)圖像與靜態(tài)圖像的同時攝影功能的情況下，若使動態(tài)圖像 的流暢感優(yōu)先，則只能得到帶有運動模糊的靜態(tài)圖像，若使靜態(tài)圖像的 畫質(zhì)優(yōu)先，則喪失動態(tài)圖像的流暢感。作為現(xiàn)有技術(shù)，有以下技術(shù)除通常分辨率的照相機外，還并用低 分辨率高速照相機，取得幀間的匹配(例如參照專利文獻l。)。另外，通過在再現(xiàn)時附加視覺殘像(after-image),得到自然的畫質(zhì)(例如參照專利 文獻2。)。專利文獻1:日本特開2003-203237號公報 專利文獻2:日本特開平5-268515號公報但是，在專利文獻l的現(xiàn)有技術(shù)中，除通常的(高分辨率)照相機外， 還需要低分辨率高速照相機，無附加運動模糊的模塊。該技術(shù)的目的在 于準確求出幀間的對應(yīng)點(-求出運動矢量)，此時的高速照相機圖像僅用 于取得匹配。另外，將由低分辨率高速照相機圖像得到的匹配信息或己 知對應(yīng)點信息作為限制條件，求出高分辨率圖像中的對應(yīng)點。即，沒有 將靜態(tài)圖像與動態(tài)圖像的同時攝影作為目的。另外，專利文獻2的現(xiàn)有技術(shù)為了附加視覺殘像，在再現(xiàn)時求出運 動矢量，存在難以求出高精度的運動矢量并提高了再現(xiàn)器的成本的問題。發(fā)明內(nèi)容本發(fā)明第1方面所述的記錄裝置的特征在于所述記錄裝置具備 攝影單元，其以高速的快門速度連續(xù)拍攝一連串圖像；算出單元，其根據(jù)由所述攝影單元拍攝到的一連串圖像的前后關(guān)系，求出運動矢量；和 記錄單元，其將由所述攝影單元拍攝到的一連串圖像和與該圖像對應(yīng)的 運動矢量一起記錄。本發(fā)明第8方面所述的記錄裝置的特征在于所述記錄裝置具備 攝影單元，其以高速的快門速度連續(xù)拍攝一連串圖像；算出單元，其根據(jù)由所述攝影單元拍攝到的一連串圖像的前后關(guān)系，求出運動矢量；追 加單元，其根據(jù)由所述算出單元求出的運動矢量，求出運動模糊，向由所述攝影單元拍攝到的一連串圖像追加所述運動模糊；和記錄單元，其 記錄由所述追加單元追加了運動模糊的一連串圖像。本發(fā)明第16方面所述的再現(xiàn)裝置再現(xiàn)由本發(fā)明第1 7方面中任意一項所述的記錄裝置記錄的一連串圖像，其特征在于所述再現(xiàn)裝置具 備追加單元，其根據(jù)由所述記錄裝置記錄的運動矢量，向由所述記錄裝 置記錄的一連串圖像追加運動模糊。本發(fā)明第20方面所述的再現(xiàn)裝置再現(xiàn)由本發(fā)明第1 7和9 15方面中的任意一項所述的記錄裝置記錄的一連串圖像，其特征在于所述再現(xiàn)裝置具備分組單元，其對由所述記錄裝置記錄的運動矢量進行分組； 和處理單元，其對與所述分組后的運動矢量對應(yīng)的每個對象進行處理。本發(fā)明第21方面所述的再現(xiàn)裝置再現(xiàn)由本發(fā)明第7方面所述的記錄裝置記錄的一連串圖像，其特征在于所述再現(xiàn)裝置具備第一再現(xiàn)單元，其再現(xiàn)由所述記錄裝置記錄的靜態(tài)圖像；和第二再現(xiàn)單元，其根據(jù)由所述記錄裝置記錄的運動矢量，向由所述記錄裝置記錄的一連串圖像追加 運動模糊，作為動態(tài)圖像進行再現(xiàn)。本發(fā)明第22方面所述的再現(xiàn)裝置再現(xiàn)由本發(fā)明第15方面所述的記 錄裝置記錄的一連串圖像，其特征在于所述再現(xiàn)裝置具備第一再現(xiàn)單 元，其再現(xiàn)由所述記錄裝置記錄的靜態(tài)圖像；和第二再現(xiàn)單元，其將由 所述記錄裝置記錄的一連串圖像作為動態(tài)圖像進行再現(xiàn)。本發(fā)明第23方面所述的記錄方法的特征在于所述記錄方法包含以下步驟攝影步驟，其以高速的快門速度連續(xù)拍攝一連串圖像；算出步驟，其根據(jù)由所述攝影步驟拍攝到的一連串圖像的前后關(guān)系，求出運動矢量；和記錄步驟，其將由所述攝影步驟拍攝到的一連串圖像和與該圖 像對應(yīng)的運動矢量一起進行記錄。本發(fā)明第24方面所述的記錄方法的特征在于所述記錄方法包含以 下步驟攝影步驟，其以高速的快門速度連續(xù)拍攝一連串圖像；算出步 驟，其根據(jù)由所述攝影步驟拍攝到的一連串圖像的前后關(guān)系，求出運動 矢量；追加步驟，其根據(jù)由所述算出步驟求出的運動矢量，求出運動模 糊，向由所述攝影步驟拍攝到的一連串圖像追加所述運動模糊；和記錄 步驟，其記錄由所述追加步驟追加了運動模糊的一連串圖像。本發(fā)明第25方面所述的記錄程序的特征在于使計算機執(zhí)行本發(fā)明 第23或24方面所述的記錄方法。本發(fā)明第26方面所述的計算機可讀取的記錄介質(zhì)的特征在于其記 錄本發(fā)明第25方面所述的記錄程序。


圖1是說明本發(fā)明實施方式的無運動模糊的記錄裝置的功能性結(jié)構(gòu) 的框圖。圖2是說明本發(fā)明實施方式的有運動模糊的記錄裝置的功能性結(jié)構(gòu)8的框圖。
圖3是說明本發(fā)明實施方式的再現(xiàn)裝置的功能性結(jié)構(gòu)的框圖。 圖4是說明無運動模糊的記錄處理的流程圖。
圖5是說明無運動模糊條件下記錄的信號的再現(xiàn)處理的流程圖。 圖6是說明有運動模糊的記錄處理的流程圖。
圖7是說明對幀進行間疏(間引<)后記錄視頻的記錄裝置的構(gòu)成 的框圖。
圖8是說明對幀進行間疏后進行MV合并，并對合并后的MV進行
編碼后記錄視頻的記錄裝置的構(gòu)成的框圖。
圖9是說明幀間疏、MV合并、有運動模糊的記錄裝置的框圖。
圖10是表示復(fù)用由MV合并部合并后的運動矢量后進行記錄的記錄
裝置的框圖。
圖11是表示進行分辨率轉(zhuǎn)換處理后記錄視頻的記錄裝置的結(jié)構(gòu)的框圖。
圖12是說明使用靜態(tài)圖像記錄快門的記錄裝置的結(jié)構(gòu)的框圖。
圖13是說明具有互換性確保功能的記錄裝置的結(jié)構(gòu)的框圖。
圖14是說明執(zhí)行幀內(nèi)插處理的再現(xiàn)裝置的框圖。
圖15是說明執(zhí)行運動矢量內(nèi)插處理的再現(xiàn)裝置的框圖。
圖16是說明再現(xiàn)高品位慢速再現(xiàn)的再現(xiàn)裝置的結(jié)構(gòu)的框圖。
圖17是說明實現(xiàn)不同對象的再現(xiàn)的再現(xiàn)裝置的結(jié)構(gòu)的框圖。
圖18是說明無運動模糊追加部、由單獨的編碼器對靜態(tài)圖像編碼后
進行復(fù)用的記錄裝置所對應(yīng)的再現(xiàn)裝置的結(jié)構(gòu)的框圖。
圖19是說明有運動模糊追加部、由單獨的編碼器對靜態(tài)圖像編碼后
進行復(fù)用的記錄裝置所對應(yīng)的再現(xiàn)裝置的結(jié)構(gòu)的框圖。
圖20是說明應(yīng)用于DVD攝像機或HDV攝相機時的記錄裝置的結(jié)
構(gòu)的框圖。
圖21是說明應(yīng)用于DV攝相機時的記錄裝置的結(jié)構(gòu)的框圖。
標號說明
301高速照相機302存儲器
303MV算出部
304視頻編碼器
305MV編碼器
306復(fù)用器
307記錄器
401再現(xiàn)器
術(shù)逆復(fù)用器
403視頻解碼器
404MV解碼器
405運動模糊追加部
楊靜態(tài)圖像輸出部
407動態(tài)圖像輸出部
具體實施例方式
下面，參照附圖來詳細說明本發(fā)明的記錄裝置、再現(xiàn)裝置、記錄方 法、記錄程序和計算機可讀取的記錄介質(zhì)的最佳實施方式。
圖1是說明本發(fā)明實施方式的無運動模糊的記錄裝置的功能性結(jié)構(gòu)
的框圖。該記錄裝置由高速照相機301、存儲器302、 MV算出部303、 視頻編碼器304、 MV編碼器305、復(fù)用器306、記錄器307構(gòu)成。所謂 運動模糊是在運動物體中發(fā)生的視覺殘像等圖像模糊，后面表達為運動 模糊或動作模糊。
高速照相機301是以比通常的照相機高速的快門速度進行拍攝的照 相機。這里所謂的'高速'是指可以得到被攝體模糊少的清晰的靜態(tài)圖像的 快門速度，是若原樣作為動態(tài)圖像連續(xù)再現(xiàn)則會被看作間歇的不自然的 運動的快門速度。關(guān)于與幀頻之間的關(guān)系，除了為幀頻以上外并無關(guān)聯(lián)。 例如，就每秒30幀的幀頻而言，快門速度為1/60秒、或1/250秒、或1/1000 秒。
存儲器302記錄由高速照相機301拍攝到的圖像。存儲在存儲器302中的圖像被傳遞到MV算出部303與視頻編碼器304。 MV算出部303算 出從存儲器302讀出的圖像間的運動矢量(Motion Vector)。將算出的運動 矢量輸入到MV編碼器305。
視頻編碼器304對存儲在存儲器302中的圖像信息作為視頻信息進 行編碼。將編碼后的視頻信息輸出到復(fù)用器306。 MV編碼器305對由 MV算出部303算出的運動矢量進行編碼。將編碼后的視頻信息與編碼后 的運動矢量輸出到復(fù)用器306。
復(fù)用器306復(fù)用編碼后的信息。復(fù)用后的信息由記錄器307記錄。 存儲器302、 MV算出部303、視頻編碼器304、 MV編碼器305、復(fù)用器 306、記錄器307可通過CPU讀出記錄在ROM中的程序并將RAM用作 工作區(qū)域來實現(xiàn)。
利用以上結(jié)構(gòu)，使用高速快門進行拍攝，檢測運動矢量(MV)，記錄 各幀圖像與運動矢量。通過使用高速快門進行拍攝，得到運動模糊少的 清晰的靜態(tài)圖像，由此推定高精度的運動矢量。
另外，作為視頻的編碼方式，也可在使用MPEG等利用運動信息的 方式的情況下，向視頻編碼器304輸入由MV算出部303算出的運動矢 量，視頻編碼器304根據(jù)運動矢量得到視頻編碼所需的運動信息。此時， 視頻解碼所需的運動信息復(fù)用于視頻編碼數(shù)據(jù)中。
另外，也可將上述視頻編碼數(shù)據(jù)中的運動信息設(shè)為再現(xiàn)側(cè)使用的運 動矢量。此時，不需要MV編碼器305，不進行由復(fù)用器執(zhí)行的編碼后的 運動矢量的復(fù)用。
圖2是說明本發(fā)明實施方式的有運動模糊的記錄裝置的功能性結(jié)構(gòu) 的框圖。該記錄裝置在圖1所示的無運動模糊的記錄裝置中，在存儲器 302與視頻編碼器304之間加入運動模糊追加部310，接納來自MV算出 部303的輸入。
運動模糊追加部310讀出記錄在存儲器302中的視頻，另外，根據(jù) 由MV算出部303求出的運動矢量，算出運動模糊，將算出的運動模糊 追加到讀出的視頻中。追加了運動模糊的視頻與圖1 一樣，輸出到視頻 編碼器304。另外，與圖l一樣，處理編碼后的視頻與運動矢量。利用上述結(jié)構(gòu)，可將使用高速快門進行拍攝并檢測運動矢量(MV)、 利用運動矢量追加了運動模糊的視頻與作為其基礎(chǔ)的運動矢量一起記錄。
與圖1時一樣，也可在使用MPEG等利用動態(tài)信息的方式作為視頻 的編碼方式的情況下，向視頻編碼器304輸入由MV算出部303算出的 運動矢量，視頻編碼器304根據(jù)運動矢量得到視頻編碼所需的運動信息。 此時也與圖l一樣，將視頻解碼所需的運動信息復(fù)用于視頻編碼數(shù)據(jù)中。
另外，與圖1時一樣，也可將上述視頻編碼數(shù)據(jù)中的運動信息設(shè)為 再現(xiàn)側(cè)使用的運動矢量。此時，不需要MV編碼器305，不進行由復(fù)用器 執(zhí)行的編碼后的運動矢量的復(fù)用。另外，由于在未假設(shè)在再現(xiàn)裝置中除 視頻解碼器以外的單元利用運動矢量的情況下，也不必由復(fù)用器306對 運動矢量進行復(fù)用，所以不需要MV編碼器305。
圖3是說明本發(fā)明實施方式的再現(xiàn)裝置的功能性結(jié)構(gòu)的框圖。該再 現(xiàn)裝置由再現(xiàn)器401、逆復(fù)用器402、視頻解碼器403、 MV解碼器404、 運動模糊追加部405、靜態(tài)圖像輸出部406、動態(tài)圖像輸出部407構(gòu)成。 該再現(xiàn)裝置通過接受由圖1所示的記錄裝置編碼的視頻，可將視頻解碼 后迸行再現(xiàn)。
再現(xiàn)器401在對編碼后的視頻與編碼后的運動矢量進行了復(fù)用的狀 態(tài)下進行再現(xiàn)。逆復(fù)用器402對編碼后的視頻與編碼后的運動矢量進行 逆復(fù)用。之后，分別輸入到視頻解碼器403和MV解碼器404。另外，逆 復(fù)用器402輸出聲音等。
視頻解碼器403對編碼后的視頻進行解碼。將解碼后的視頻輸出到 運動模糊追加部405和靜態(tài)圖像輸出部406。 MV解碼器404接受來自逆 復(fù)用器402的輸入，對運動矢量進行解碼。運動模糊追加部405接受解 碼后的運動矢量的輸入，對由視頻解碼器403解碼后的視頻，制作包含 運動模糊的視頻。
這樣，在再現(xiàn)時使用運動矢量來追加運動模糊。即，通過利用記錄 時得到的運動矢量對記錄時得到的靜態(tài)圖像加入運動模糊，從而同時得 到運動流暢的動態(tài)圖像。所謂運動矢量是指當就某個圖像而言、在應(yīng)參照的圖像與當前的圖像之間取差分時的、求出運動區(qū)域的移動方向與移 動距離的移動量。通過使用該運動矢量，可在再現(xiàn)時，對于運動的區(qū)域， 根據(jù)運動矢量求出圖像的運動模糊。
利用上述說明的再現(xiàn)裝置，就拍攝到的一連串圖像中與運動矢量一 起記錄的視頻而言，可在再現(xiàn)時讀出該算出的運動矢量。由此，根據(jù)可 由該運動矢量求出的運動模糊，可以流暢地再現(xiàn)視頻。因此，在再現(xiàn)側(cè)， 無論將拍攝到的一連串圖像作為無運動模糊的清晰的靜態(tài)圖像，還是作 為流暢的動態(tài)圖像，均可由相同的數(shù)據(jù)再現(xiàn)。
在圖2的有運動模糊的記錄裝置所對應(yīng)的再現(xiàn)裝置中，不必在再現(xiàn)
側(cè)追加運動模糊，另外，不能從視頻解碼器403再現(xiàn)無運動模糊的靜態(tài) 圖像，所以變?yōu)閺膱D3中去除了運動模糊追加部405與靜態(tài)圖像輸出部 406的結(jié)構(gòu)。另外，在再現(xiàn)側(cè)不利用運動矢量的情況下，也不需要MV解 碼器404。
下面，說明'高速'快門速度的設(shè)定方法的一例。該'高速'快門速度是 準確求出運動矢量所必需的，但因視頻內(nèi)的被攝體的移動速度不同而不 同。因此，考慮如下方法，即推定該視頻內(nèi)的移動速度，根據(jù)該推定出 的移動量，確定快門速度，進行反饋。
另外，還根據(jù)被攝體的種類和拍攝場景等來確定大致所需的快門速 度。因此，也可設(shè)置用戶在拍攝前進行設(shè)定的模式設(shè)定撥盤，如風(fēng)景或 運動慢的被攝體時的快門速度為1/250，運動會等時的快門速度為1/1000， 賽車運動等時的快門速度為1/10000等那樣設(shè)定與各模式相符的基準值。 實際使用的快門速度根據(jù)被攝體的亮度、拍攝靈敏度、光圈等，相對該 基準值最終確定。
圖4是說明無運動模糊時的記錄處理的流程圖。首先，以高速的快 門速度連續(xù)拍攝一連串圖像(步驟S201)。接著，根據(jù)拍攝到的一連串圖 像的前后關(guān)系，求出運動矢量(步驟S202)。接著，將拍攝到的一連串圖 像和與該圖像對應(yīng)的運動矢量一起記錄(步驟S203)。之后，結(jié)束一連串 的處理。利用以上處理，使用高速照相機進行拍攝，檢測運動矢量(MV)， 記錄各幀圖像與運動矢量。圖5是說明無運動模糊狀態(tài)下記錄的信號的再現(xiàn)處理的流程圖。首 先，對由記錄裝置記錄下的一連串圖像與由記錄裝置記錄下的運動矢量
進行分離(步驟S211)。接著，判定一連串的圖像是靜態(tài)圖像還是動態(tài)圖 像(步驟S212)。
在動態(tài)圖像的情況下(步驟S212:動態(tài)圖像)，根據(jù)分離出的運動矢 量，追加運動模糊(步驟S213)。之后，再現(xiàn)動態(tài)圖像(步驟S214)。在靜 態(tài)圖像的情況下(步驟S212:靜態(tài)圖像)，再現(xiàn)靜態(tài)圖像(步驟S215)。艮卩， 原樣輸出分離后的圖像。
通過以上的再現(xiàn)處理，對于拍攝到的一連串圖像，可根據(jù)與運動矢 量一起記錄的視頻，同時再現(xiàn)無運動模糊的清晰的靜態(tài)圖像、與追加了 運動模糊的運動流暢的視頻。
圖6是說明有運動模糊的記錄處理的流程圖。首先，以高速的快門 速度連續(xù)拍攝一連串圖像(步驟S221)。接著，根據(jù)拍攝到的一連串圖像 的前后關(guān)系，求出運動矢量(步驟S222)。接著，根據(jù)運動矢量，求出運 動模糊，向一連串圖像追加求出的運動模糊(步驟S223)。
接著，記錄追加了運動模糊的一連串圖像(步驟S224)。然后，結(jié)束 一連串的處理。通過以上處理，使用高速快門進行拍攝，檢測運動矢量 (MV)，將根據(jù)運動矢量追加了運動模糊的視頻與作為其基礎(chǔ)的運動矢量 —起記錄。
如上所述，根據(jù)利用圖1 圖6說明的本發(fā)明的實施方式，可同時 記錄再現(xiàn)模糊少的靜態(tài)圖像與運動流暢的動態(tài)圖像。即，通過使用高速 照相機301，可拍攝靜態(tài)圖像，另一方面，根據(jù)由高速拍攝的多個靜態(tài)圖 像求出的運動矢量，可求出運動模糊。由此，即便根據(jù)高速拍攝的多個 靜態(tài)圖像也可再現(xiàn)運動流暢的動態(tài)圖像。
另外，由于通常在記錄側(cè)執(zhí)行必需大量運算量的運動矢量的算出， 所以抑制了再現(xiàn)器401的成本。另外，根據(jù)由圖2說明的本發(fā)明的實施 方式，通過在記錄側(cè)使用高精度的運動矢量來追加運動模糊，而不必在 再現(xiàn)側(cè)追加運動模糊，具有與現(xiàn)有再現(xiàn)系統(tǒng)的互換性，可執(zhí)行高畫質(zhì)的 視頻編碼，同時，可在再現(xiàn)側(cè)應(yīng)用高精度的運動矢量。另外，通過使用高速照相機301，可使運動矢量檢測精度提高。在
通常的動態(tài)圖像攝影中使用的快門速度下，運動模糊大多不適合靜態(tài)圖 像，同時，在運動模糊多的幀與運動模糊少的幀中，物體形狀變化，所 以不能高精度地檢測運動矢量。
相反，使用高速照相機301拍攝的圖像由于運動模糊少，所以各幀 是高畫質(zhì)的靜態(tài)圖像，同時，可根據(jù)幀間的相關(guān)來高精度地檢測物體的 運動。另外，由于各幀中無模糊的動態(tài)圖像看上去為不自然的運動，所 以通過在再現(xiàn)時根據(jù)運動矢量所示的運動方向和運動量來追加運動模 糊，可再現(xiàn)為運動流暢的動態(tài)圖像。
另外，視頻/聲音的編碼不必使用特定的方式，但例如在使用以MPEG 為代表的運動補償預(yù)測編碼作為視頻的編碼的情況下，如上所述，通過 根據(jù)運動矢量生成編碼中使用的運動信息，從而運動矢量被高精度地檢 測，所以預(yù)測殘差變小，可抑制代碼量的發(fā)生。因此，與執(zhí)行通常的MPEG 編碼的情況相比，具有在相同比特速率下可執(zhí)行高畫質(zhì)的記錄、在相同 程度的畫質(zhì)下可執(zhí)行長時間記錄等優(yōu)點。
實施例
在以上發(fā)明的實施方式中，說明了無運動模糊、有運動模糊的記錄 裝置、與其對應(yīng)的再現(xiàn)裝置及其處理。這里，說明本發(fā)明實施方式中說 明的記錄裝置和再現(xiàn)裝置的適用例和變形例。
圖7是說明對幀進行間疏后記錄視頻的記錄裝置的結(jié)構(gòu)的框圖。該 圖7所示的記錄裝置是在圖1所示的記錄裝置中，在存儲器302與視頻 編碼器304之間加入幀間疏部501的裝置。另外，高速照相機301不僅 快門速度高速，而且以比通常的視頻再現(xiàn)的幀頻高速的幀頻進行拍攝。
幀間疏部501根據(jù)從存儲器302讀出的視頻，執(zhí)行幀的間疏處理。 即，在由MV算出部303取得所需的量的運動矢量中使用各幀之后，以 在由高速照相機301拍攝的幀中間疏掉除必需幀以外的幀的形式，僅剩 余一部分幀輸出到視頻編碼器304。另外，與圖1一樣，對編碼后的視頻 與運動矢量進行處理。
圖8是說明在間疏幀的同時，與其相應(yīng)地合并MV，并將合并后的MV編碼與視頻一起進行記錄的記錄裝置的結(jié)構(gòu)的框圖。該記錄裝置是向圖7所示的記錄裝置加入MV合并部601的結(jié)構(gòu)。MV合并部601合并由MV算出部303求出的運動矢量。將合并后 的運動矢量輸出到視頻編碼器304與MV編碼器305。視頻編碼器304 根據(jù)間疏后的幀，對視頻編碼。MV編碼器305對合并后的運動矢量編碼。 編碼后的視頻和運動矢量由復(fù)用器306進行復(fù)用，由記錄器307進行記 錄。在求解運動矢量時，當伴隨有幀間的變形時，MPEG等中使用的塊 匹配不能取得匹配。為了對應(yīng)于形狀變化，還有根據(jù)像素單位的光學(xué)流 (optical flow)來求出特征點的移動矢量的方法，但在運動量大的情況下或 有亮度變化的情況下，仍然不能取得匹配。因此，在這種情況下難以求 出準確的運動矢量。根據(jù)上述說明的記錄裝置，若以比通常的視頻攝影高速的幀頻進行 拍攝，則由于幀間的形狀變化/移動量減小，所以可高精度地求出運動矢 量或特征點的移動矢量。在求出運動矢量之后，間疏到適于通常再現(xiàn)的 幀頻，與之相應(yīng)地也合并運動矢量。由于對幀進行間疏，所以在高速且 大量地進行拍攝的同時，還可將實際的數(shù)據(jù)量抑制為必要最小限度。另 外，對應(yīng)于運動矢量所示的運動方向與運動量來追加運動模糊，以使再 現(xiàn)時不出現(xiàn)運動的不自然。因此，可提高運動模糊的精度，而數(shù)據(jù)量不 會大量增加。艮口，通過以比通常的視頻拍攝高速的幀頻進行拍攝，幀間物體的移 動量變小。因此，可求出高精度的運動矢量。另外，通過在執(zhí)行高速拍 攝求出運動矢量之后對幀進行間疏，可求出高精度的運動矢量，而不大 量增加數(shù)據(jù)量。此時，對想求出在移動量大的情況或照度的變化大的情 況下難以推定的光學(xué)流的情況等特別有效。另外，如圖7所示，也可不合并運動矢量而將對應(yīng)于高速幀頻的運 動矢量編碼后進行復(fù)用。由此，由于再現(xiàn)裝置可直接利用對應(yīng)于高速幀 頻的運動矢量進行幀內(nèi)插，所以可進一步高品位地執(zhí)行慢速再現(xiàn)。此時， 雖然運動矢量的數(shù)據(jù)量增大，但與視頻數(shù)據(jù)相比，數(shù)據(jù)量少，所以沒有大的影響。
另外，也可幀間疏到低于通常的幀頻，在再現(xiàn)裝置中使用運動矢量 進行幀內(nèi)插后，以通常的幀頻進行再現(xiàn)。在本實施例中，由于運動矢量 為高精度，所以即便這樣削減視頻的數(shù)據(jù)量進行記錄，再現(xiàn)裝置也可再 現(xiàn)良好的動態(tài)圖像。此時，無論合并運動矢量進行復(fù)用，還是不合并地 進行復(fù)用，均可執(zhí)行，然而在不合并時雖然數(shù)據(jù)量增加，但幀內(nèi)插的精 度提高。
圖9是說明幀間疏、MV合并、有運動模糊的記錄裝置的框圖。該 記錄裝置構(gòu)成為向圖8所示的記錄裝置加入運動模糊追加部310的結(jié)構(gòu)。
運動模糊追加部310讀出記錄在存儲器302中的視頻，另外，根據(jù) 由MV合并部601合并的運動矢量，算出運動模糊，將算出的運動模糊 追加到讀出的視頻中。追加運動模糊后的視頻與圖1 一樣，輸出到視頻 編碼器304。并且，與圖1—樣，對編碼后的視頻與運動矢量進行處理。
圖10是表示對由MV合并部601合并后的運動矢量復(fù)用后進行記錄 的記錄裝置的框圖。該記錄裝置利用MV合并部601對由圖9所示的記 錄裝置的MV算出部303求出的運動矢量進行合并處理及編碼/復(fù)用處 理。
艮P，由MV算出部303求出的運動矢量在圖9中在發(fā)送給MV編碼 器305的同時，還發(fā)送給MV合并部601。另外，合并化前的運動矢量構(gòu) 成處理對象。圖10中，由MV算出部303求出的運動矢量利用MV合并 部601進行合并處理。之后，合并處理后的運動矢量在發(fā)送到MV編碼 器305的同時，還發(fā)送到運動模糊追加部310。即，由MV編碼器305 處理合并化后的運動矢量。
圖11是表示分辨率轉(zhuǎn)換處理后記錄視頻的記錄裝置的結(jié)構(gòu)的框圖。 該記錄裝置構(gòu)成為向圖1所示的記錄裝置加入分辨率轉(zhuǎn)換部卯l和運動 模糊追加部310。
分辨率轉(zhuǎn)換部901讀出記錄在存儲器302中的視頻，轉(zhuǎn)換分辨率。 分辨率轉(zhuǎn)換處理之后，運動模糊追加部310根據(jù)從MV算出部303讀出 的運動矢量，向視頻追加運動模糊。另外，運動模糊追加部310并非必須，當在記錄時要預(yù)先追加運動模糊的情況下，由運動模糊追加部310 執(zhí)行處理，但當在再現(xiàn)裝置中形成追加運動模糊的結(jié)構(gòu)等、不必在記錄
時追加運動模糊的情況下，可以不準備運動模糊追加部310，而將由分辨 率轉(zhuǎn)換部901處理后的視頻直接輸出到視頻編碼器。另外，與其它記錄 裝置的構(gòu)成一樣，執(zhí)行編碼后的視頻與運動矢量的處理。
圖12是說明使用靜態(tài)圖像記錄快門的記錄裝置的結(jié)構(gòu)框圖。該記錄 裝置構(gòu)成為去除圖1所示記錄裝置中的視頻編碼器304，加入分辨率轉(zhuǎn)換 部卯l、動態(tài)圖像編碼器902、靜態(tài)圖像記錄快門1201、靜態(tài)圖像編碼器 1202的結(jié)構(gòu)。
分辨率轉(zhuǎn)換部901對從存儲器302讀出的視頻的分辨率進行轉(zhuǎn)換。 在動態(tài)圖像的情況下，相比于靜態(tài)圖像大多分辨率較低即可，所以分辨 率轉(zhuǎn)換部901在必要時降低該動態(tài)圖像的分辨率。將降低分辨率后的視 頻輸出到動態(tài)圖像解碼器902。動態(tài)圖像編碼器902將該分辨率轉(zhuǎn)換后的 圖像作為動態(tài)圖像，進行編碼。編碼后的動態(tài)圖像經(jīng)復(fù)用器306，輸出到 記錄器307。若不必降低動態(tài)圖像的分辨率，則也可不設(shè)置分辨率轉(zhuǎn)換部。
靜態(tài)圖像記錄快門1201是在將拍攝到的圖像記錄為靜態(tài)圖像時使 用的快門。靜態(tài)圖像編碼器1202接受來自靜態(tài)圖像記錄快門1201的圖 像指定的輸入，將從存儲器302讀出的圖像作為靜態(tài)圖像進行編碼。編 碼后的靜態(tài)圖像經(jīng)復(fù)用器306，輸出到記錄器307。
如上所述，圖12的記錄裝置在使用高速照相機拍攝并求出運動矢量 之后，在需要動態(tài)圖像的情況下，根據(jù)需要進行分辨率轉(zhuǎn)換后進行記錄， 靜態(tài)圖像僅記錄按下靜態(tài)圖像記錄快門的幀。
圖13與圖2—樣，是說明具有與現(xiàn)有再現(xiàn)系統(tǒng)的互換性、可進行動 態(tài)圖像編碼的記錄裝置的結(jié)構(gòu)的框圖。該記錄裝置構(gòu)成為在圖1所示記 錄裝置中去除視頻編碼器304與MV編碼器305，加入分辨率轉(zhuǎn)換部901、 運動模糊追加部310、動態(tài)圖像編碼器902、靜態(tài)圖像記錄控制器1301、 靜態(tài)圖像編碼器1202。
分辨率轉(zhuǎn)換部901從存儲器302中讀出所拍攝的圖像，轉(zhuǎn)換該圖像 的分辨率。將轉(zhuǎn)換后的圖像輸出到運動模糊追加部310。運動模糊追加部310使用從MV算出部303輸出的運動矢量，向由分辨率轉(zhuǎn)換部卯l進行 分辨率轉(zhuǎn)換后的圖像追加運動模糊。動態(tài)圖像編碼器902將追加了該運 動模糊后的圖像作為動態(tài)圖像進行編碼。編碼后的動態(tài)圖像經(jīng)復(fù)用器 306，輸出到記錄器307。
靜態(tài)圖像記錄控制器1301例如指定靜態(tài)圖像的間歇記錄。此時，可 不記錄運動矢量，或為了將運動矢量用于再現(xiàn)裝置中的靜態(tài)圖像間的圖 像內(nèi)插而合并運動矢量后，記錄為新的運動矢量。此外，例如，靜態(tài)圖 像記錄控制器1301也可是靜態(tài)圖像記錄用快門。此時，不需要記錄運動
靜態(tài)圖像編碼器1202將從存儲器302中讀出的圖像作為靜態(tài)圖像進 行編碼。另外，接受來自靜態(tài)圖像記錄控制器1301的輸入，根據(jù)指示內(nèi) 容，對靜態(tài)圖像進行編碼。編碼后的靜態(tài)圖像經(jīng)復(fù)用器306，輸出到記錄 器307。
這里，在圖13的記錄裝置中使用高速照相機301拍攝并求出運動矢 量之后，對于靜態(tài)圖像，原樣記錄或記錄必要的幀，對于動態(tài)圖像，加 入運動模糊后進行記錄，由此可具有與現(xiàn)有再現(xiàn)系統(tǒng)的動態(tài)圖像編碼方 式的互換性。
(再現(xiàn)裝置)
圖14是說明執(zhí)行幀內(nèi)插處理的再現(xiàn)裝置的框圖。該再現(xiàn)裝置構(gòu)成為 向圖3所示的再現(xiàn)裝置加入幀內(nèi)插部1401的結(jié)構(gòu)。利用幀內(nèi)插部1401，
對進行了幀間疏處理后的視頻進行幀內(nèi)插，以使其能以原來的幀進行再 現(xiàn)。該幀內(nèi)插部1401根據(jù)由MV解碼器404解碼后的運動矢量，對由視 頻解碼器403解碼后的視頻進行幀內(nèi)插。此時，設(shè)運動矢量對應(yīng)于未間 疏的原始的幀。幀內(nèi)插后的視頻在靜態(tài)圖像的情況下輸出到靜態(tài)圖像輸 出部406，在動態(tài)圖像的情況下輸出到運動模糊追加部405。
圖15是說明執(zhí)行運動矢量內(nèi)插處理的再現(xiàn)裝置的框圖。該再現(xiàn)裝置 構(gòu)成為向圖14所示的再現(xiàn)裝置加入MV內(nèi)插部1501的結(jié)構(gòu)，對應(yīng)于與 視頻一樣將運動矢量也間疏后進行記錄的記錄裝置。MV內(nèi)插部1501對 由MV解碼器404解碼后的運動矢量進行內(nèi)插。內(nèi)插后的運動矢量對應(yīng)于未間疏的原始的幀，與圖14所示的再現(xiàn)裝置一樣，輸出到幀內(nèi)插部 1401、運動模糊追加部405。利用這種結(jié)構(gòu)，在圖14、圖15所示的再現(xiàn) 裝置中，通過在利用運動矢量對幀進行內(nèi)插后追加運動模糊，可流暢地 再現(xiàn)視頻。
另外，在圖14、圖15中，向靜態(tài)圖像輸出部406的輸入可以不來 自幀內(nèi)插部1401，而從視頻解碼器403中取出。另夕卜，在對應(yīng)于如圖2 所示具備運動模糊追加部的記錄裝置的再現(xiàn)裝置的情況下，不需要運動 模糊追加部405。
圖16是說明實現(xiàn)高品位慢速再現(xiàn)的再現(xiàn)裝置的結(jié)構(gòu)的框圖。該再現(xiàn) 裝置構(gòu)成為對圖3所示的再現(xiàn)裝置加入幀內(nèi)插部1401、視頻輸出部1602、 再現(xiàn)速度控制器1601 ，并去除靜態(tài)圖像輸出部406與動態(tài)圖像輸出部407 的結(jié)構(gòu)。
幀內(nèi)插部1401對從視頻解碼器403輸出的解碼視頻進行幀內(nèi)插。幀 內(nèi)插部1401不僅根據(jù)從視頻解碼器輸入的幀，還根據(jù)來自MV解碼器404 的運動矢量來執(zhí)行內(nèi)插。
視頻輸出部1602再現(xiàn)由運動模糊追加部405追加了運動模糊的視 頻。再現(xiàn)速度控制器1601通過向再現(xiàn)器401、逆復(fù)用器402、視頻解碼 器403、運動模糊追加部405、幀內(nèi)插部1401的各部輸入速度控制信號， 控制各部中的動作速度，由此控制再現(xiàn)速度。
這樣，可利用再現(xiàn)速度控制器1601控制再現(xiàn)速度，所以也可降低視 頻的再現(xiàn)速度，由此可實現(xiàn)視頻的慢速再現(xiàn)。另一方面，對于因慢速再 現(xiàn)引起的每單位時間內(nèi)顯示幀數(shù)的減少，利用幀內(nèi)插部1401對幀進行內(nèi) 插，所以可無不協(xié)調(diào)感地視聽慢速再現(xiàn)的視頻。慢速再現(xiàn)的視頻根據(jù)由 MV解碼器404解碼后的運動矢量，利用運動模糊追加部405追加運動模 糊。由此，可從視頻輸出部1602輸出流暢的運動視頻。
根據(jù)上述說明的圖16的再現(xiàn)裝置，通過使用在記錄裝置中高精度求 出的運動矢量來進行幀內(nèi)插，可得到高畫質(zhì)的內(nèi)插圖像。利用其可毫無 停滯地對從運動模糊少的靜態(tài)圖像到流暢的動態(tài)圖像執(zhí)行高品位的慢速 再現(xiàn)。只要高精度地求出與進行內(nèi)插的幀對應(yīng)的運動矢量，則即便在下面 的i) iii)之一的情況下，也可進行高品位的慢速再現(xiàn)。
i) 以高的幀頻拍攝并幀間疏至通常的動態(tài)圖像再現(xiàn)速率后，記錄圖像 的情況。
ii) 以通常的動態(tài)圖像再現(xiàn)的幀頻拍攝后原樣記錄圖像的情況。
iii) 間疏至通常的幀頻以下后記錄圖像的情況。
圖17是說明實現(xiàn)不同對象的再現(xiàn)的再現(xiàn)裝置的結(jié)構(gòu)的框圖。該再現(xiàn)
裝置構(gòu)成為向圖3所示的再現(xiàn)裝置加入MV分組部1702、對象處理部 1701、視頻輸出部1602，并去除運動模糊追加部405、靜態(tài)圖像輸出部 406、動態(tài)圖像輸出部407的結(jié)構(gòu)。
MV分組部1702對由MV解碼器404解碼的運動矢量進行分組，輸 出到對象處理部1701。對象處理部1701接受從MV分組部1702輸出的、 分組后的運動矢量的輸入，執(zhí)行從視頻解碼器403輸出的視頻中包含的 對象的識別/追蹤/分離。另外，也可對得到的對象執(zhí)行顏色處理，或執(zhí)行 對象的置換處理。視頻輸出部1602再現(xiàn)從對象處理部1701輸出的視頻。
這樣，由MV解碼器404解碼后的運動矢量被MV分組部1702分組 為相似的運動矢量。因此，可由對象處理部1701分別處理基于相似的運 動矢量的對象。
并且，通過在記錄裝置中進行高速拍攝，還可準確求出光學(xué)流等像 素單位的運動。另外，通過解析像素單位的運動，可以提高物理距離推 定和對象識別的精度，且可執(zhí)行立體觀察或每個對象的單獨處理/對象的 置換處理等。這樣的處理與通常的動態(tài)圖像攝影同時進行。
根據(jù)上述說明的圖17的再現(xiàn)裝置，例如通過對相似的運動矢量分 組，可高精度地求出運動矢量，所以可進行對象識別/追蹤/分離。因此， 可對每個對象調(diào)整顏色或亮度，或?qū)ο笾脫Q成其它對象。
圖18是說明與如圖12所示那樣無運動模糊追加部、且由單獨的編 碼器對靜態(tài)圖像編碼后進行復(fù)用的記錄裝置所對應(yīng)的再現(xiàn)裝置的結(jié)構(gòu)的 框圖。該再現(xiàn)裝置構(gòu)成為將圖3所示的再現(xiàn)裝置的視頻解碼器403置換 成動態(tài)圖像解碼器1102，將靜態(tài)圖像輸出部406與動態(tài)圖像輸出部407置換成視頻輸出部1103，加入靜態(tài)圖像解碼器1101的結(jié)構(gòu)。
靜態(tài)圖像解碼器1101對由逆復(fù)用器402逆復(fù)用的靜態(tài)圖像進行解 碼。解碼后的靜態(tài)圖像輸出到視頻輸出部1103。動態(tài)圖像解碼器1102對 由逆復(fù)用器402逆復(fù)用的動態(tài)圖像進行解碼，另一方面，MV解碼器404 對運動矢量進行解碼。之后，運動模糊追加部405向動態(tài)圖像追加運動 模糊，輸出到視頻輸出部1103。視頻輸出部1103再現(xiàn)輸入的靜態(tài)圖像或 動態(tài)圖像。
上述說明的圖18的再現(xiàn)裝置在動態(tài)圖像再現(xiàn)時，可對應(yīng)于運動矢量 所示的運動方向與運動量來追加運動模糊并進行再現(xiàn)，在靜態(tài)圖像再現(xiàn) 時可再現(xiàn)高分辨率的靜態(tài)圖像。
圖19是說明與如圖13所示那樣有運動模糊追加部、且由單獨的編 碼器對靜態(tài)圖像編碼后進行復(fù)用的記錄裝置所對應(yīng)的再現(xiàn)裝置的構(gòu)成框 圖。該再現(xiàn)裝置構(gòu)成為向圖3所示的再現(xiàn)裝置的再現(xiàn)器401與逆復(fù)用器 402加入靜態(tài)圖像解碼器801、動態(tài)圖像解碼器802和視頻輸出部803的 結(jié)構(gòu)。
在從逆復(fù)用器402輸出靜態(tài)圖像的情況下，靜態(tài)圖像解碼器801對 靜態(tài)圖像進行解碼后輸出到視頻輸出部803。在從逆復(fù)用器402輸出了動 態(tài)圖像的情況下，動態(tài)圖像解碼器802對動態(tài)圖像進行解碼，輸出到視 頻輸出部803。視頻輸出部803再現(xiàn)從靜態(tài)圖像解碼器801輸出的靜態(tài)圖 像、或從動態(tài)圖像解碼器802輸出的動態(tài)圖像。
在與上述說明的圖19的再現(xiàn)裝置對應(yīng)的記錄裝置中，設(shè)置成在用戶 區(qū)域等對由高速照相機得到的模糊少的高畫質(zhì)的靜態(tài)圖像進行復(fù)用。另 一方面，關(guān)于動態(tài)圖像，在根據(jù)需要執(zhí)行分辨率轉(zhuǎn)換后，對應(yīng)于運動矢 量所示的運動方向與運動量來追加運動模糊，并復(fù)用于可由現(xiàn)有再現(xiàn)裝 置再現(xiàn)的區(qū)域中。由此，現(xiàn)有的再現(xiàn)裝置可再現(xiàn)通常的動態(tài)圖像，在對 應(yīng)于本記錄裝置的圖19的再現(xiàn)裝置中，除通常的動態(tài)圖像外，還可再現(xiàn) 模糊少的高畫質(zhì)的靜態(tài)圖像。
這樣，可在確保與現(xiàn)有動態(tài)圖像再現(xiàn)裝置的互換性的同時，進行高 畫質(zhì)的靜態(tài)圖像的再現(xiàn)。另外，若記錄裝置間歇記錄靜態(tài)圖像，且還記錄靜態(tài)圖像間的運動矢量，則若對應(yīng)再現(xiàn)裝置具有MV解碼器，即可再 現(xiàn)利用靜態(tài)圖像的高分辨率的動態(tài)圖像或準動態(tài)圖像。
圖20是說明應(yīng)用于DVD攝像機或HDV攝相機時的記錄裝置的結(jié) 構(gòu)的框圖。該記錄裝置構(gòu)成為對圖8所示的記錄裝置加入系統(tǒng)控制單元 2001、速率調(diào)節(jié)部2002、同步頭生成部2003、聲音編碼器2004、打包
(packing)部2005 2007，并將記錄器307置換成DVD記錄部2010、 HDV記錄部2020的結(jié)構(gòu)。參照圖12，示出記錄裝置應(yīng)用于DVD攝像機 /HDV攝相機的示例。
在該記錄裝置中，對于從高速照相機301得到的視頻，MV算出部 303高精度地求出運動矢量。MV合并部601對應(yīng)于基于幀間疏部501進 行幀間疏的速率，合并該運動矢量。另外，視頻編碼器304和MV編碼 器305分別對幀間疏后的視頻與合并后的運動矢量進行編碼。這里設(shè)視 頻編碼中使用MPEG，將合并后的運動矢量用于視頻編碼中。
此時，運動矢量作為運動信息，存儲在視頻數(shù)據(jù)記錄區(qū)域中，但未 能存儲在視頻數(shù)據(jù)記錄區(qū)域中的運動矢量數(shù)據(jù)或根據(jù)光學(xué)流求出的與任 意形狀變化所對應(yīng)的運動矢量等也可與視頻數(shù)據(jù)不同，由打包部2006執(zhí) 行打包，作為專用流進行記錄。
為了應(yīng)對記錄附加的運動矢量數(shù)據(jù)而引起的數(shù)據(jù)量的增加部分，系 統(tǒng)控制單元2001根據(jù)需要控制視頻數(shù)據(jù)或聲音數(shù)據(jù)的比特速率調(diào)節(jié)。速 率調(diào)節(jié)部2002接受系統(tǒng)控制單元2001的控制，來控制視頻編碼器304、 MV編碼器305和聲音編碼器2004的速率。同步頭生成部2003接受系統(tǒng) 控制單元2001的控制，生成同步頭，輸出到打包部2005 2007。
另一方面，聲音編碼器2004對輸入的聲音進行編碼。視頻編碼器 304、 MV編碼器305、聲音編碼器2004接受速率調(diào)節(jié)部2002的速率調(diào) 節(jié)，向打包部2005 2007分別輸出編碼后的數(shù)據(jù)。打包部2005 2007 接受從同步頭生成部2003輸出的同步頭，執(zhí)行編碼后的數(shù)據(jù)的打包。艮口， 附加同步用的分組頭。之后，與AUX數(shù)據(jù)一起輸出到復(fù)用器306。
當復(fù)用器306對打包后的數(shù)據(jù)進行復(fù)用且記錄在記錄用DVD 2012 中時，將其輸出到DVD記錄部2010，而在記錄在HDV2022的情況下，
23將其輸出到HDV記錄部2020。
之后，DVD記錄部2010利用調(diào)制器2011執(zhí)行調(diào)制，記錄在記錄用 DVD 2012中。記錄用DVD 2012是可記錄的DVD(數(shù)字視頻盤)。HDV 記錄部2020利用調(diào)制器2021執(zhí)行調(diào)制，記錄在HDV 2022中。HDV介 質(zhì)2022是可記錄HDV格式的視頻的介質(zhì)。
根據(jù)上述說明的圖20的記錄裝置，由于記錄運動模糊少的視頻與高 精度的運動矢量，所以可在DVD攝像機或HDV攝相機中實現(xiàn)模糊少的 靜態(tài)圖像或包含運動模糊的運動流暢的動態(tài)圖像的再現(xiàn)。并且，由于運 動矢量的精度高，所以能夠以與以前相同的比特速率來執(zhí)行高畫質(zhì)的記 錄，或以相同程度的畫質(zhì)來執(zhí)行更長時間的記錄。
圖21是說明應(yīng)用于DV攝相機時的記錄裝置的結(jié)構(gòu)的框圖。該記錄 裝置構(gòu)成為對圖8所示的記錄裝置加入聲音編碼器2004、調(diào)制器2100和 DV介質(zhì)2101的結(jié)構(gòu)。參照該圖13，示出記錄裝置應(yīng)用到DV(數(shù)字視頻) 攝相機的示例。
與視頻編碼器304對視頻進行編碼、MV編碼器305對運動矢量進 行編碼一樣，聲音編碼器2004對輸入的聲音進行編碼。之后，分別輸入 復(fù)用器306。由于除聲音外，還向復(fù)用器306輸入視頻、運動矢量，所以 對這些進行復(fù)用后，輸出到調(diào)制器2100。此外，在DV標準中，視頻編 碼中不利用運動矢量。
由高速照相機視頻得到的高精度運動矢量在MV合并部601中對應(yīng) 于幀間疏的速率進行合并。之后，在編碼后，在復(fù)用器306中，與視頻 數(shù)據(jù)獨立地被打包，利用附加數(shù)據(jù)區(qū)域或未使用的備用區(qū)域，復(fù)用為視 頻數(shù)據(jù)、聲音數(shù)據(jù)。之后，通過調(diào)制器2100進行調(diào)制，記錄在DV介質(zhì) 2101中。DV介質(zhì)2101是可記錄DV格式的視頻的介質(zhì)。
根據(jù)上述說明的圖21的記錄裝置，由于記錄運動模糊少的視頻與高 精度的運動矢量，所以可在DV攝相機中實現(xiàn)模糊少的靜態(tài)圖像或包含 運動模糊的運動流暢的動態(tài)圖像的再現(xiàn)。
此外，本發(fā)明中的運動矢量的編碼與復(fù)用包含象MPEG這樣的視頻 編碼中的運動矢量的編碼與復(fù)用。此外，各實施例并不限定本發(fā)明，各實施例中說明的各構(gòu)成要素可組合，可通過組合來形成各種變形例。例 如，也可同時執(zhí)行圖11的分辨率轉(zhuǎn)換與圖9的幀間疏后進行記錄。
此外，上述說明的記錄方法可通過由個人計算機或工作站等計算機
執(zhí)行事先準備的程序來實現(xiàn)。該程序記錄在硬盤、軟盤、CD-ROM、 MO、 DVD等可由計算機讀取的記錄介質(zhì)中，通過由計算機從記錄介質(zhì)中讀出 來執(zhí)行。另外，也可以是可經(jīng)因特網(wǎng)等網(wǎng)絡(luò)散發(fā)該程序的傳送介質(zhì)。
權(quán)利要求
1、一種記錄裝置，其特征在于，所述記錄裝置具備攝影單元，其以高速的快門速度連續(xù)拍攝一連串圖像；算出單元，其根據(jù)由所述攝影單元拍攝到的一連串圖像的前后關(guān)系，求出運動矢量；和記錄單元，其將由所述攝影單元拍攝到的一連串圖像和與該圖像對應(yīng)的運動矢量一起記錄。
2、 根據(jù)權(quán)利要求1所述的記錄裝置，其特征在于-該記錄裝置具備從所述一連串圖像中間疏幀的幀間疏單元。
3、 根據(jù)權(quán)利要求2所述的記錄裝置，其特征在于 該記錄裝置具備運動矢量合并單元，該運動矢量合并單元合并與所述所間疏的幀對應(yīng)的運動矢量，所述記錄單元將所述一連串圖像與所述合并后的運動矢量一起進行 記錄。
4、 根據(jù)權(quán)利要求1 3中的任意一項所述的記錄裝置，其特征在于該記錄裝置具備對所述一連串圖像的分辨率進行轉(zhuǎn)換的分辨率轉(zhuǎn)換單元。
5、 根據(jù)權(quán)利要求1所述的記錄裝置，其特征在于-該記錄裝置具備編碼單元，該編碼單元使用所述求出的運動矢量，對所述一連串圖像進行編碼。
6、 根據(jù)權(quán)利要求5所述的記錄裝置，其特征在于所述編碼單元將運動矢量與所述一連串圖像一起，作為該一連串圖 像的編碼數(shù)據(jù)的一部分進行復(fù)用。
7、 根據(jù)權(quán)利要求1所述的記錄裝置，其特征在于 該記錄裝置具備對記錄所述一連串圖像所包含的圖像中的靜態(tài)圖像的定時進行控制的控制單元。
8、 一種記錄裝置，其特征在于，所述記錄裝置具備 攝影單元，其以高速的快門速度連續(xù)拍攝一連串圖像；算出單元，其根據(jù)由所述攝影單元拍攝到的一連串圖像的前后關(guān)系， 求出運動矢量；追加單元，其根據(jù)由所述算出單元求出的運動矢量，求出運動模糊， 向由所述攝影單元拍攝到的一連串圖像追加所述運動模糊；和記錄單元，其記錄由所述追加單元追加了運動模糊的一連串圖像。
9、 根據(jù)權(quán)利要求8所述的記錄裝置，其特征在于-所述記錄單元將所述運動矢量與追加了所述運動模糊的一連串圖像一起進行記錄。
10、 根據(jù)權(quán)利要求8或9所述的記錄裝置，其特征在于 該記錄裝置具備從所述一連串圖像中間疏幀的幀間疏單元。
11、 根據(jù)權(quán)利要求10所述的記錄裝置，其特征在于 該記錄裝置具備運動矢量合并單元，該運動矢量合并單元合并與所述所間疏的幀對應(yīng)的運動矢量，所述記錄單元將所述一連串圖像與所述合并后的運動矢量一起進行 記錄。
12、 根據(jù)權(quán)利要求8所述的記錄裝置，其特征在于 該記錄裝置具備對所述一連串圖像的分辨率進行轉(zhuǎn)換的分辨率轉(zhuǎn)換單元。
13、 根據(jù)權(quán)利要求8所述的記錄裝置，其特征在于-該記錄裝置具備編碼單元，該編碼裝置使用所述求出的運動矢量，對所述一連串圖像進行編碼。
14、 根據(jù)權(quán)利要求8所述的記錄裝置，其特征在于 編碼單元將運動矢量與所述一連串圖像一起，作為該一連串圖像的編碼數(shù)據(jù)的一部分進行復(fù)用。
15、 根據(jù)權(quán)利要求8所述的記錄裝置，其特征在于該記錄裝置具備對記錄所述一連串圖像所包含的圖像中的靜態(tài)圖像 的定時進行控制的控制單元。
16、 一種再現(xiàn)裝置，其再現(xiàn)由權(quán)利要求1 7中的任意一項所述的記錄裝置記錄的一連串圖像，其特征在于該再現(xiàn)裝置具備追加單元，該追加單元根據(jù)由所述記錄裝置記錄的 運動矢量，向由所述記錄裝置記錄的一連串圖像追加運動模糊。
17、 根據(jù)權(quán)利要求16所述的再現(xiàn)裝置，其特征在于 該再現(xiàn)裝置具備根據(jù)所述運動矢量對幀進行內(nèi)插的幀內(nèi)插單元。
18、 根據(jù)權(quán)利要求17所述的再現(xiàn)裝置，其特征在于 該再現(xiàn)裝置具備對所述運動矢量進行內(nèi)插的運動矢量內(nèi)插單元。
19、 根據(jù)權(quán)利要求16 18中的任意一項所述的再現(xiàn)裝置，其特征在于該再現(xiàn)裝置具備對再現(xiàn)所述一連串圖像的速度進行控制的速度控制 單元。
20、 一種再現(xiàn)裝置，其再現(xiàn)由權(quán)利要求1 7和9 15中的任意一項 所述的記錄裝置記錄的一連串圖像，其特征在于，所述再現(xiàn)裝置具備分組單元，其對由所述記錄裝置記錄的運動矢量進行分組；和處理單元，其對與所述分組后的運動矢量對應(yīng)的每個對象進行處理。
21、 一種再現(xiàn)裝置，其再現(xiàn)由權(quán)利要求7所述的記錄裝置記錄的一 連串圖像，其特征在于，所述再現(xiàn)裝置具備-第一再現(xiàn)單元，其再現(xiàn)由所述記錄裝置記錄的靜態(tài)圖像；和 第二再現(xiàn)單元，其根據(jù)由所迷記錄裝置記錄的運動矢量，向由所述記錄裝置記錄的一連串圖像追加運動模糊，將其作為動態(tài)圖像進行再現(xiàn)。
22、 一種再現(xiàn)裝置，其再現(xiàn)由權(quán)利要求15所述的記錄裝置記錄的一 連串圖像，其特征在于，所述再現(xiàn)裝置具備第一再現(xiàn)單元，其再現(xiàn)由所述記錄裝置記錄的靜態(tài)圖像；和 第二再現(xiàn)單元，其將由所述記錄裝置記錄的一連串圖像作為動態(tài)圖像進行再現(xiàn)。
23、 一種記錄方法，其特征在于，所述記錄方法包含以下步驟 攝影步驟，其以高速的快門速度連續(xù)拍攝一連串圖像； 算出步驟，其根據(jù)由所述攝影步驟拍攝到的一連串圖像的前后關(guān)系，求出運動矢量；和記錄步驟，其將由所述攝影步驟拍攝到的一連串圖像和與該圖像對應(yīng)的運動矢量一起進行記錄。
24、 一種記錄方法，其特征在于，所述記錄方法包含以下步驟 攝影步驟，其以高速的快門速度連續(xù)拍攝一連串圖像；算出步驟，其根據(jù)由所述攝影步驟拍攝到的一連串圖像的前后關(guān)系， 求出運動矢量；追加步驟，其根據(jù)由所述算出步驟求出的運動矢量，求出運動模糊， 向由所述攝影步驟拍攝到的一連串圖像追加所述運動模糊；和記錄步驟，其記錄由所述追加步驟追加了運動模糊的一連串圖像。
25、 一種記錄程序，其特征在于 使計算機執(zhí)行權(quán)利要求23或24所述的記錄方法。
26、 一種計算機可讀取的記錄介質(zhì)，其特征在于 其記錄權(quán)利要求25所述的記錄程序。
全文摘要
在記錄裝置中，高速照相機(301)以高速的快門速度連續(xù)拍攝一連串圖像。接著，MV算出部(303)根據(jù)由高速照相機(301)拍攝到的一連串圖像的前后關(guān)系，求出運動矢量。接著，記錄器(307)將由高速照相機(301)拍攝到的圖像和與該圖像對應(yīng)的運動矢量一起進行記錄。另一方面，在再現(xiàn)裝置中，向由記錄器(307)記錄的一連串圖像追加由記錄裝置記錄的運動矢量后進行再現(xiàn)。
文檔編號H04N5/91GK101317450SQ20068004465
公開日2008年12月3日 申請日期2006年11月28日 優(yōu)先權(quán)日2005年11月29日
發(fā)明者守山義明, 山崎博司, 巖村宏, 杉原源興 申請人:日本先鋒公司