專利名稱：圖像處理設(shè)備和方法以及圖像拾取設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和方法，以及圖像獲取設(shè)備，特別涉及其中在由傳感器檢測(cè)的信號(hào)和真實(shí)世界之間的差別被考慮進(jìn)去的圖像處理設(shè)備和方法，以及圖像獲取設(shè)備。
背景技術(shù)：
用于通過(guò)傳感器檢測(cè)在真實(shí)世界發(fā)生的事件和用于處理從圖像傳感器輸出的采樣數(shù)據(jù)的技術(shù)被廣泛地使用。
例如，如果運(yùn)動(dòng)速度是相對(duì)的高，則在通過(guò)采集在預(yù)定固定背景前面移動(dòng)的目標(biāo)而獲得的圖像中將發(fā)生運(yùn)動(dòng)模糊。
但是，迄今，不允許檢測(cè)已經(jīng)被采集的圖像的快門(mén)時(shí)間(shutter time)。

發(fā)明內(nèi)容
鑒于上述背景提出了本發(fā)明，其目的是允許檢測(cè)已經(jīng)被采集的圖像的曝光時(shí)間。
根據(jù)本發(fā)明的圖像處理設(shè)備包括幀間移動(dòng)量檢測(cè)裝置，用于基于指定幀和指定幀之前或者之后的幀，檢測(cè)圖像數(shù)據(jù)的指定幀的前景目標(biāo)的各幀之間的移動(dòng)量；混合比率檢測(cè)裝置，用于檢測(cè)在指定幀中在其中前景目標(biāo)分量和背景目標(biāo)分量被混合的混合區(qū)域中表示構(gòu)成前景目標(biāo)的前景目標(biāo)分量和構(gòu)成背景目標(biāo)的背景目標(biāo)分量的混合的比率的混合比率；曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)裝置，用于根據(jù)混合比率檢測(cè)在其中獲得了構(gòu)成圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量；以及曝光時(shí)間比率檢測(cè)裝置，用于基于在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量和在各幀之間的移動(dòng)量來(lái)檢測(cè)各幀的時(shí)間間隔與該曝光時(shí)間的比率。
基于在各幀之間的移動(dòng)量與在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量的比率和基于各幀的時(shí)間間隔，曝光時(shí)間比率檢測(cè)裝置可以檢測(cè)曝光時(shí)間。
混合比率檢測(cè)裝置可以包括相關(guān)表達(dá)式產(chǎn)生裝置，用于關(guān)于圖像數(shù)據(jù)的指定幀的指定像素提取在指定幀周圍的外圍幀的像素?cái)?shù)據(jù)，作為對(duì)應(yīng)于背景目標(biāo)的背景像素?cái)?shù)據(jù)，還提取指定幀中指定像素的指定像素?cái)?shù)據(jù)和在指定像素附近的附近像素的附近像素?cái)?shù)據(jù)，并且產(chǎn)生多個(gè)相關(guān)表達(dá)式，其表示在指定像素?cái)?shù)據(jù)、附近像素?cái)?shù)據(jù)、和對(duì)應(yīng)于指定像素和附近像素的背景像素?cái)?shù)據(jù)之間的關(guān)系，混合比率檢測(cè)裝置基于相關(guān)表達(dá)式檢測(cè)指定像素和附近像素的混合比率。
基于其中在指定像素?cái)?shù)據(jù)和在附近像素?cái)?shù)據(jù)中包括的前景目標(biāo)的分量的值相同的第一近似值、和基于其中混合比率在混合區(qū)域中關(guān)于像素的位置線性改變的第二近似值，相關(guān)表達(dá)式產(chǎn)生裝置可以產(chǎn)生相關(guān)表達(dá)式。
曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)裝置可以檢測(cè)在混合區(qū)域中混合比率關(guān)于像素的位置的線性改變的梯度的倒數(shù)，作為在其中獲得了圖像數(shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量，并輸出所檢測(cè)的移動(dòng)量。
根據(jù)本發(fā)明的圖像處理方法包括幀間移動(dòng)量檢測(cè)步驟，基于指定幀和指定幀之前或者之后的幀，檢測(cè)圖像數(shù)據(jù)的指定幀的前景目標(biāo)的各幀之間的移動(dòng)量；混合比率檢測(cè)步驟，檢測(cè)在指定幀中在其中前景目標(biāo)分量和背景目標(biāo)分量被混合的混合區(qū)域中表示構(gòu)成前景目標(biāo)的前景目標(biāo)分量和構(gòu)成背景目標(biāo)的背景目標(biāo)分量的混合的比率的混合比率；曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)步驟，根據(jù)混合比率檢測(cè)在其中獲得了構(gòu)成圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量；以及曝光時(shí)間比率檢測(cè)步驟，基于在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量和在各幀之間的移動(dòng)量來(lái)檢測(cè)各幀的時(shí)間間隔與該曝光時(shí)間的比率。
基于在各幀之間的移動(dòng)量與在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量的比率和基于各幀的時(shí)間間隔，在曝光時(shí)間比率檢測(cè)步驟中可以檢測(cè)曝光時(shí)間。
混合比率檢測(cè)步驟可以包括相關(guān)表達(dá)式產(chǎn)生步驟，用于關(guān)于圖像數(shù)據(jù)的指定幀的指定像素提取在指定幀周圍的外圍幀的像素?cái)?shù)據(jù)，作為對(duì)應(yīng)于背景目標(biāo)的背景像素?cái)?shù)據(jù)，還提取指定幀中指定像素的指定像素?cái)?shù)據(jù)和在指定像素附近的附近像素的附近像素?cái)?shù)據(jù)，并且產(chǎn)生多個(gè)相關(guān)表達(dá)式，其表示在指定像素?cái)?shù)據(jù)、附近像素?cái)?shù)據(jù)、和對(duì)應(yīng)于指定像素和附近像素的背景像素?cái)?shù)據(jù)之間的關(guān)系，在混合比率檢測(cè)步驟中基于相關(guān)表達(dá)式檢測(cè)指定像素和附近像素的混合比率。
基于其中在指定像素?cái)?shù)據(jù)和在附近像素?cái)?shù)據(jù)中包括的前景目標(biāo)的分量的值相同的第一近似值、和基于其中混合比率在混合區(qū)域中關(guān)于像素的位置線性改變的第二近似值，在相關(guān)表達(dá)式產(chǎn)生步驟中可以產(chǎn)生相關(guān)表達(dá)式。
在曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)步驟中，可以檢測(cè)在混合區(qū)域中混合比率關(guān)于像素的位置的線性改變的梯度的倒數(shù)，作為在其中獲得了圖像數(shù)據(jù)的曝光時(shí)間內(nèi)前景目標(biāo)的移動(dòng)量，并輸出所檢測(cè)的移動(dòng)量。
根據(jù)本發(fā)明的記錄介質(zhì)中的程序，包括幀間移動(dòng)量檢測(cè)步驟，基于指定幀和指定幀之前或者之后的幀，檢測(cè)圖像數(shù)據(jù)的指定幀的前景目標(biāo)的各幀之間的移動(dòng)量；混合比率檢測(cè)步驟，檢測(cè)在指定幀中在其中前景目標(biāo)分量和背景目標(biāo)分量被混合的混合區(qū)域中表示構(gòu)成前景目標(biāo)的前景目標(biāo)分量和構(gòu)成背景目標(biāo)的背景目標(biāo)分量的混合的比率的混合比率；曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)步驟，根據(jù)混合比率檢測(cè)在其中獲得了構(gòu)成圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量；以及曝光時(shí)間比率檢測(cè)步驟，基于在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量和在各幀之間的移動(dòng)量來(lái)檢測(cè)各幀的時(shí)間間隔與該曝光時(shí)間的比率。
基于在各幀之間的移動(dòng)量與在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量的比率和基于各幀的時(shí)間間隔，在曝光時(shí)間比率檢測(cè)步驟中可以檢測(cè)曝光時(shí)間。
混合比率檢測(cè)步驟可以包括相關(guān)表達(dá)式產(chǎn)生步驟，用于關(guān)于圖像數(shù)據(jù)的指定幀的指定像素提取在指定幀周圍的外圍幀的像素?cái)?shù)據(jù)，作為對(duì)應(yīng)于背景目標(biāo)的背景像素?cái)?shù)據(jù)，還提取指定幀中指定像素的指定像素?cái)?shù)據(jù)和在指定像素附近的附近像素的附近像素?cái)?shù)據(jù)，并且產(chǎn)生多個(gè)相關(guān)表達(dá)式，其表示在指定像素?cái)?shù)據(jù)、附近像素?cái)?shù)據(jù)、和對(duì)應(yīng)于指定像素和附近像素的背景像素?cái)?shù)據(jù)之間的關(guān)系，在混合比率檢測(cè)步驟中基于相關(guān)表達(dá)式檢測(cè)指定像素和附近像素的混合比率。
基于其中在指定像素?cái)?shù)據(jù)和在附近像素?cái)?shù)據(jù)中包括的前景目標(biāo)的分量的值相同的第一近似值、和基于其中混合比率在混合區(qū)域中關(guān)于像素的位置線性改變的第二近似值，在相關(guān)表達(dá)式產(chǎn)生步驟中可以產(chǎn)生相關(guān)表達(dá)式。
在曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)步驟中，可以檢測(cè)在混合區(qū)域中混合比率關(guān)于像素的位置的線性改變的梯度的倒數(shù)，作為在其中獲得了圖像數(shù)據(jù)的曝光時(shí)間內(nèi)前景目標(biāo)的移動(dòng)量，并輸出所檢測(cè)的移動(dòng)量。
根據(jù)本發(fā)明的程序允許計(jì)算機(jī)執(zhí)行幀間移動(dòng)量檢測(cè)步驟，基于指定幀和指定幀之前或者之后的幀，檢測(cè)圖像數(shù)據(jù)的指定幀的前景目標(biāo)的各幀之間的移動(dòng)量；混合比率檢測(cè)步驟，檢測(cè)在指定幀中在其中前景目標(biāo)分量和背景目標(biāo)分量被混合的混合區(qū)域中表示構(gòu)成前景目標(biāo)的前景目標(biāo)分量和構(gòu)成背景目標(biāo)的背景目標(biāo)分量的混合的比率的混合比率；曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)步驟，根據(jù)混合比率檢測(cè)在其中獲得了構(gòu)成圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量；以及曝光時(shí)間比率檢測(cè)步驟，基于在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量和在各幀之間的移動(dòng)量來(lái)檢測(cè)各幀的時(shí)間間隔與該曝光時(shí)間的比率。
基于在各幀之間的移動(dòng)量與在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量的比率和基于各幀的時(shí)間間隔，在曝光時(shí)間比率檢測(cè)步驟中可以檢測(cè)曝光時(shí)間。
混合比率檢測(cè)步驟可以包括相關(guān)表達(dá)式產(chǎn)生步驟，用于關(guān)于圖像數(shù)據(jù)的指定幀的指定像素提取在指定幀周圍的外圍幀的像素?cái)?shù)據(jù)，作為對(duì)應(yīng)于背景目標(biāo)的背景像素?cái)?shù)據(jù)，還提取指定幀中指定像素的指定像素?cái)?shù)據(jù)和在指定像素附近的附近像素的附近像素?cái)?shù)據(jù)，并且產(chǎn)生多個(gè)相關(guān)表達(dá)式，其表示在指定像素?cái)?shù)據(jù)、附近像素?cái)?shù)據(jù)和對(duì)應(yīng)于指定像素和附近像素的背景像素?cái)?shù)據(jù)之間的關(guān)系，在混合比率檢測(cè)步驟中基于相關(guān)表達(dá)式檢測(cè)指定像素和附近像素的混合比率。
基于其中在指定像素?cái)?shù)據(jù)和在附近像素?cái)?shù)據(jù)中包括的前景目標(biāo)的分量的值相同的第一近似值、和基于其中混合比率在混合區(qū)域中關(guān)于像素的位置線性改變的第二近似值，在相關(guān)表達(dá)式產(chǎn)生步驟中可以產(chǎn)生相關(guān)表達(dá)式。
在曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)步驟中，可以檢測(cè)在混合區(qū)域中混合比率關(guān)于像素的位置的線性改變的梯度的倒數(shù)，作為在其中獲得了圖像數(shù)據(jù)的曝光時(shí)間內(nèi)前景目標(biāo)的移動(dòng)量，并輸出所檢測(cè)的移動(dòng)量。
根據(jù)本發(fā)明的圖像采集設(shè)備包括圖像采集裝置，用于輸出通過(guò)圖像采集器件采集的主題圖像作為由預(yù)定數(shù)目的像素?cái)?shù)據(jù)構(gòu)成的圖像數(shù)據(jù)，該圖像采集器件包括具有時(shí)間積分功能的預(yù)定數(shù)目的像素；幀間移動(dòng)量檢測(cè)裝置，用于基于指定幀和指定幀之前或者之后的幀，檢測(cè)圖像數(shù)據(jù)的指定幀的前景目標(biāo)的各幀之間的移動(dòng)量；混合比率檢測(cè)裝置，用于檢測(cè)在指定幀中在其中前景目標(biāo)分量和背景目標(biāo)分量被混合的混合區(qū)域中表示構(gòu)成前景目標(biāo)的前景目標(biāo)分量和構(gòu)成背景目標(biāo)的背景目標(biāo)分量的混合的比率的混合比率；曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)裝置，用于根據(jù)混合比率檢測(cè)在其中獲得了構(gòu)成圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量；以及曝光時(shí)間比率檢測(cè)裝置，用于基于在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量和在各幀之間的移動(dòng)量來(lái)檢測(cè)各幀的時(shí)間間隔與該曝光時(shí)間的比率。
基于在各幀之間的移動(dòng)量與在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量的比率和基于各幀的時(shí)間間隔，曝光時(shí)間比率檢測(cè)裝置可以檢測(cè)曝光時(shí)間。
混合比率檢測(cè)裝置可以包括相關(guān)表達(dá)式產(chǎn)生裝置，用于關(guān)于圖像數(shù)據(jù)的指定幀的指定像素提取在指定幀周圍的外圍幀的像素?cái)?shù)據(jù)，作為對(duì)應(yīng)于背景目標(biāo)的背景像素?cái)?shù)據(jù)，還提取指定幀中指定像素的指定像素?cái)?shù)據(jù)和在指定像素附近的附近像素的附近像素?cái)?shù)據(jù)，并且產(chǎn)生多個(gè)相關(guān)表達(dá)式，其表示在指定像素?cái)?shù)據(jù)、附近像素?cái)?shù)據(jù)、和對(duì)應(yīng)于指定像素和附近像素的背景像素?cái)?shù)據(jù)之間的關(guān)系，混合比率檢測(cè)裝置基于相關(guān)表達(dá)式檢測(cè)指定像素和附近像素的混合比率。
基于其中在指定像素?cái)?shù)據(jù)和在附近像素?cái)?shù)據(jù)中包括的前景目標(biāo)的分量的值相同的第一近似值、和基于其中混合比率在混合區(qū)域中關(guān)于像素的位置線性改變的第二近似值，相關(guān)表達(dá)式產(chǎn)生裝置可以產(chǎn)生相關(guān)表達(dá)式。
曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)裝置可以檢測(cè)在混合區(qū)域中混合比率關(guān)于像素的位置的線性改變的梯度的倒數(shù)，作為在其中獲得了圖像數(shù)據(jù)的曝光時(shí)間內(nèi)前景目標(biāo)的移動(dòng)量，并輸出所檢測(cè)的移動(dòng)量。
基于指定幀和指定幀之前或者之后的幀，檢測(cè)圖像數(shù)據(jù)的指定幀的前景目標(biāo)的各幀之間的移動(dòng)量；檢測(cè)在指定幀中在其中前景目標(biāo)分量和背景目標(biāo)分量被混合的混合區(qū)域中表示構(gòu)成前景目標(biāo)的前景目標(biāo)分量和構(gòu)成背景目標(biāo)的背景目標(biāo)分量的混合的比率的混合比率；根據(jù)混合比率，檢測(cè)在其中獲得了構(gòu)成圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量；以及基于在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量和在各幀之間的移動(dòng)量檢測(cè)各幀的時(shí)間間隔與該曝光時(shí)間的比率。
因此，允許檢測(cè)已經(jīng)被采集的圖像的曝光時(shí)間。


圖1是表示根據(jù)本發(fā)明的圖像處理設(shè)備實(shí)施例的示意圖。
圖2是表示圖像處理設(shè)備結(jié)構(gòu)的方框圖。
圖3表示由傳感器實(shí)現(xiàn)的圖像采集。
圖4表示像素的配置。
圖5表示檢測(cè)器件的操作。
圖6A表示通過(guò)圖像采集對(duì)應(yīng)于移動(dòng)前景的目標(biāo)和對(duì)應(yīng)于固定背景的目標(biāo)而獲得的圖像。
圖6B表示通過(guò)圖像采集對(duì)應(yīng)于移動(dòng)前景的目標(biāo)和對(duì)應(yīng)于固定背景的目標(biāo)而獲得的圖像的模型。
圖7表示背景區(qū)域、前景區(qū)域、混合區(qū)域、遮蓋(covered)背景區(qū)域和未遮蓋(uncovered)背景區(qū)域。
圖8表示在由圖像采集對(duì)應(yīng)于固定前景的目標(biāo)和對(duì)應(yīng)于固定背景的目標(biāo)而獲得的圖像中通過(guò)擴(kuò)展在時(shí)間方向被并排排列的像素的像素值而得到的模型。
圖9表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖10表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖11表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖12表示其中在前景區(qū)域、背景區(qū)域和混合區(qū)域中的像素被提取的例子。
圖13表示在像素和通過(guò)擴(kuò)展在時(shí)間方向上的像素值獲得的模型之間的關(guān)系。
圖14表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖15表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖16表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖17表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖18表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖19表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖20表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖21表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖22表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖23表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖24A是表示調(diào)節(jié)移動(dòng)模糊量的示意圖。
圖24B是表示調(diào)節(jié)移動(dòng)模糊量的示意圖。
圖25A是表示調(diào)節(jié)移動(dòng)模糊量的示意圖。
圖25B是表示調(diào)節(jié)移動(dòng)模糊量的示意圖。
圖26是表示用于調(diào)節(jié)移動(dòng)模糊量的處理的流程圖。
圖27是表示區(qū)域指定單元103的結(jié)構(gòu)的例子的方框圖。
圖28表示當(dāng)對(duì)應(yīng)于前景的目標(biāo)正在移動(dòng)時(shí)的圖像。
圖29表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖30表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖31表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖32表示用于確定區(qū)域的條件。
圖33A表示通過(guò)用區(qū)域指定單元103規(guī)定區(qū)域而獲得的結(jié)果的例子。
圖33B表示通過(guò)用區(qū)域指定單元103規(guī)定區(qū)域而獲得的結(jié)果的例子。
圖33C表示通過(guò)用區(qū)域指定單元103規(guī)定區(qū)域而獲得的結(jié)果的例子。
圖33D表示通過(guò)用區(qū)域指定單元103規(guī)定區(qū)域而獲得的結(jié)果的例子。
圖34表示通過(guò)用區(qū)域指定單元103規(guī)定區(qū)域而獲得的結(jié)果的例子。
圖35是表示區(qū)域規(guī)定處理的流程圖。
圖36是表示區(qū)域指定單元103的結(jié)構(gòu)的另一個(gè)例子的方框圖。
圖37表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖38表示背景圖像的例子。
圖39是表示二進(jìn)制目標(biāo)圖像提取部分302的結(jié)構(gòu)的方框圖。
圖40A表示相關(guān)值的計(jì)算。
圖40B表示相關(guān)值的計(jì)算。
圖41A表示相關(guān)值的計(jì)算。
圖41B表示相關(guān)值的計(jì)算。
圖42表示二進(jìn)制目標(biāo)圖像的例子。
圖43是表示時(shí)間變化檢測(cè)器303的結(jié)構(gòu)的方框圖。
圖44表示由區(qū)域確定部分342進(jìn)行的確定。
圖45表示由時(shí)間變化檢測(cè)器303進(jìn)行的確定的例子。
圖46是表示由區(qū)域指定單元103完成的區(qū)域規(guī)定處理的流程圖。
圖47是表示區(qū)域規(guī)定處理的細(xì)節(jié)的流程圖。
圖48是表示混合比率計(jì)算器104的結(jié)構(gòu)的方框圖。
圖49表示理想混合比率α的例子。
圖50表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖51表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖52表示用于近似混合比率α的直線。
圖53表示用于近似混合比率α的平面。
圖54表示當(dāng)混合比率α被計(jì)算時(shí)多個(gè)幀中像素的關(guān)系。
圖55是表示混合比率估計(jì)處理器401的結(jié)構(gòu)的方框圖。
圖56是用于解釋從混合比率確定部分403輸出的在快門(mén)時(shí)間內(nèi)的移動(dòng)矢量的示意圖。
圖57是表示估計(jì)混合比率的例子的示意圖。
圖58是表示混合比率計(jì)算器104的另一個(gè)結(jié)構(gòu)的方框圖。
圖59是表示用于計(jì)算混合比率和在快門(mén)時(shí)間內(nèi)的移動(dòng)矢量的處理的流程圖。
圖60是表示用于通過(guò)使用對(duì)應(yīng)于遮蓋背景區(qū)域的模型來(lái)估計(jì)混合比率和移動(dòng)矢量的處理的流程圖。
圖61是表示前景/背景分離器105結(jié)構(gòu)的例子的方框圖。
圖62A表示輸入圖像，前景分量圖像和背景分量圖像。
圖62B表示輸入圖像，前景分量圖像和背景分量圖像的模型。
圖63表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖64表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖65表示其中像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖66是表示分離部分601的結(jié)構(gòu)的例子的方框圖。
圖67A表示分離的前景分量圖像的例子。
圖67B表示分離的背景分量圖像的例子。
圖68是表示用于分離前景和背景的處理的流程圖。
圖69是表示移動(dòng)模糊調(diào)節(jié)單元106結(jié)構(gòu)的例子的方框圖。
圖70表示處理的單位。
圖71表示其中前景分量圖像的像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖72表示其中前景分量圖像的像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖73表示其中前景分量圖像的像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖74表示其中前景分量圖像的像素值在時(shí)間方向被擴(kuò)展和對(duì)應(yīng)于快門(mén)時(shí)間的周期被分割的模型。
圖75表示移動(dòng)模糊調(diào)節(jié)單元106另一個(gè)結(jié)構(gòu)的例子。
圖76是表示通過(guò)移動(dòng)模糊調(diào)節(jié)單元107完成的用于調(diào)節(jié)前景分量圖像中包含的移動(dòng)模糊量的處理的流程圖。
圖77是表示移動(dòng)模糊調(diào)節(jié)單元107另一個(gè)結(jié)構(gòu)的例子的方框圖。
圖78表示其中在像素值和前景分量之間的關(guān)系被表示的模型的例子。
圖79表示前景分量的計(jì)算。
圖80表示前景分量的計(jì)算。
圖81是表示用于調(diào)節(jié)在前景中包含的移動(dòng)模糊量的處理的流程圖。
圖82表示合成器108的結(jié)構(gòu)。
圖83是表示圖像處理設(shè)備功能的另一個(gè)結(jié)構(gòu)的方框圖。
圖84是表示混合比率計(jì)算器1101的結(jié)構(gòu)的方框圖。
圖85是表示前景/背景分離器1102的結(jié)構(gòu)的方框圖。
圖86是表示合成器1103的結(jié)構(gòu)的方框圖。
具體實(shí)施例方式
圖1是表示根據(jù)本發(fā)明的圖像處理設(shè)備實(shí)施例的示意圖。CPU(中央處理單元)21根據(jù)在ROM(只讀存儲(chǔ)器)22中或者在存儲(chǔ)單元28中存儲(chǔ)的程序執(zhí)行各種類型的處理。由CPU 21執(zhí)行的程序和數(shù)據(jù)根據(jù)要求被存儲(chǔ)在RAM(隨機(jī)存取存儲(chǔ)器)23中。CPU 21，ROM 22和RAM 23通過(guò)總線24被相互連接。
輸入/輸出接口25通過(guò)總線24也被連接到CPU 21。由鍵盤(pán)，鼠標(biāo)，麥克風(fēng)等形成的輸入單元26和由顯示器、揚(yáng)聲器等形成的輸出單元27被連接到輸入/輸出接口25。響應(yīng)于從輸入單元26輸入的命令，CPU 21執(zhí)行各種類型的處理。CPU 21然后將作為處理結(jié)果獲得的圖像或者聲音輸出到輸出單元27。
連接到輸入/輸出接口25的存儲(chǔ)單元28是由例如硬盤(pán)形成的，存儲(chǔ)由CPU 21執(zhí)行的程序和各種類型的數(shù)據(jù)。通信單元29通過(guò)因特網(wǎng)或者另外的網(wǎng)絡(luò)與外部裝置通信。在本例子中，通信單元29用作為獲得單元，用于獲得傳感器的輸出。
另外，程序可以通過(guò)通信單元29獲得并被存儲(chǔ)在存儲(chǔ)單元28中。
當(dāng)這種記錄介質(zhì)被固定到驅(qū)動(dòng)器30時(shí)，連接到輸入/輸出接口25的驅(qū)動(dòng)器30驅(qū)動(dòng)磁盤(pán)51，光盤(pán)52，磁光盤(pán)53，半導(dǎo)體存儲(chǔ)器54等，并且獲得在對(duì)應(yīng)介質(zhì)中存儲(chǔ)的程序或者數(shù)據(jù)。所獲得程序或者數(shù)據(jù)被傳送到存儲(chǔ)單元28并且如果需要被存儲(chǔ)在其中。
圖2是表示圖像處理設(shè)備的方框圖。
無(wú)關(guān)緊要的是圖像處理設(shè)備的單個(gè)功能是通過(guò)硬件還是通過(guò)軟件實(shí)現(xiàn)。即，本說(shuō)明書(shū)的方框圖可以是硬件方框圖或者是軟件功能性的方框圖。
在本說(shuō)明書(shū)中，被采集的對(duì)應(yīng)于現(xiàn)實(shí)世界中目標(biāo)的圖像被稱為圖像目標(biāo)。
提供給圖像處理設(shè)備的輸入圖像被提供給目標(biāo)提取單元101，區(qū)域指定單元103，混合比率計(jì)算器104和前景/背景分離器105。
目標(biāo)提取單元101提取對(duì)應(yīng)于包含在輸入圖像中的前景目標(biāo)的粗糙圖像目標(biāo)和將所提取的圖像目標(biāo)提供給移動(dòng)檢測(cè)器102。目標(biāo)提取單元101檢測(cè)例如包含在輸入圖像中的前景圖像目標(biāo)的輪廓以便提取對(duì)應(yīng)于前景目標(biāo)的粗糙圖像目標(biāo)。
目標(biāo)提取單元101提取對(duì)應(yīng)于包含在輸入圖像中的背景目標(biāo)的粗糙圖像目標(biāo)和將所提取的圖像目標(biāo)提供給移動(dòng)檢測(cè)器102。目標(biāo)提取單元101從例如在輸入圖像和對(duì)應(yīng)于前景目標(biāo)的所提取圖像目標(biāo)之間的差別中提取對(duì)應(yīng)于背景目標(biāo)的粗糙圖像目標(biāo)。
另外，例如，目標(biāo)提取單元101可以從在機(jī)內(nèi)背景存儲(chǔ)器中存儲(chǔ)的背景圖像和輸入圖像之間的差別中提取對(duì)應(yīng)于前景目標(biāo)的粗糙圖像目標(biāo)和對(duì)應(yīng)于背景目標(biāo)的粗糙圖像目標(biāo)。
移動(dòng)檢測(cè)器102根據(jù)諸如塊匹配、梯度、相位相關(guān)、或者像素遞歸(pel-recursive)技術(shù)的技術(shù)來(lái)計(jì)算對(duì)應(yīng)于前景目標(biāo)的粗糙提取圖像目標(biāo)的運(yùn)動(dòng)矢量，該運(yùn)動(dòng)矢量表示幀之間的移動(dòng)，并且將所計(jì)算的幀間運(yùn)動(dòng)矢量和幀間運(yùn)動(dòng)矢量位置信息(其是用于規(guī)定對(duì)應(yīng)于該運(yùn)動(dòng)矢量的像素的位置的信息)提供給快門(mén)時(shí)間計(jì)算器106。
移動(dòng)檢測(cè)器102可以將每個(gè)圖像目標(biāo)的幀間運(yùn)動(dòng)矢量以及用于規(guī)定圖像目標(biāo)的像素的像素位置信息輸出到快門(mén)時(shí)間計(jì)算器106。
區(qū)域指定單元103確定輸入圖像的每個(gè)像素屬于前景區(qū)域、背景區(qū)域或者混合區(qū)域的哪一個(gè)，和將表示每個(gè)像素屬于哪個(gè)區(qū)域的信息(以后稱為“區(qū)域信息”)提供給混合比率計(jì)算器104、前景/背景分離器105、移動(dòng)模糊調(diào)節(jié)單元107和合成器108。
混合比率計(jì)算器104基于輸入圖像和從區(qū)域指定單元103提供的區(qū)域信息來(lái)計(jì)算對(duì)應(yīng)于在混合區(qū)域中包含的像素的混合比率(以后稱為“混合比率α”)，并且將該混合比率α提供給前景/背景分離器105和合成器108。
混合比率α是表示對(duì)應(yīng)于背景目標(biāo)的圖像分量(以后也稱為“背景分量”)對(duì)由方程(3)表示的像素值的比率的值，其在下面表示。
混合比率計(jì)算器104基于輸入圖像和從區(qū)域指定單元103提供的區(qū)域信息在快門(mén)時(shí)間之內(nèi)產(chǎn)生表示幀內(nèi)圖像移動(dòng)的運(yùn)動(dòng)矢量，以及對(duì)應(yīng)于在快門(mén)時(shí)間之內(nèi)產(chǎn)生表示像素或者圖像目標(biāo)的運(yùn)動(dòng)矢量的位置信息，并且在快門(mén)時(shí)間之內(nèi)將運(yùn)動(dòng)矢量和其位置信息提供給快門(mén)時(shí)間計(jì)算器106和移動(dòng)模糊調(diào)節(jié)單元107。
由混合比率計(jì)算器104輸出的在快門(mén)時(shí)間之內(nèi)的運(yùn)動(dòng)矢量包括對(duì)應(yīng)于在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v的信息。
在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v是表示在對(duì)應(yīng)于移動(dòng)目標(biāo)的圖像中以像素節(jié)距(pitch)為單位的位置改變的值。例如，如果對(duì)應(yīng)于前景的目標(biāo)圖像的分量正在移動(dòng)使得被包括在幀的四個(gè)像素中，則對(duì)應(yīng)于前景的目標(biāo)圖像的快門(mén)時(shí)間之內(nèi)的移動(dòng)量v是4。
前景/背景分離器105基于從區(qū)域指定單元103提供的區(qū)域信息和混合比率計(jì)算器104提供的混合比率α將輸入圖像分離成僅僅由對(duì)應(yīng)于前景目標(biāo)的圖像分量形成的前景分量圖像(以后也稱為“前景分量”)和僅僅由背景分量形成的背景分量圖像，并且將該前景分量圖像提供給移動(dòng)模糊調(diào)節(jié)單元107和選擇器107。被分離的前景分量圖像可以被設(shè)置為最終輸出。比較其中僅僅規(guī)定前景和背景而不考慮混合區(qū)域的公知方法，能夠獲得更為精確的前景和背景。
基于從移動(dòng)檢測(cè)器102提供的幀間運(yùn)動(dòng)矢量和其位置信息以及從混合比率計(jì)算器104提供的在快門(mén)時(shí)間之內(nèi)的運(yùn)動(dòng)矢量和其位置信息，快門(mén)時(shí)間計(jì)算器106計(jì)算快門(mén)時(shí)間，并將快門(mén)時(shí)間提供給移動(dòng)模糊調(diào)節(jié)單元107。
移動(dòng)模糊調(diào)節(jié)單元107基于從在快門(mén)時(shí)間之內(nèi)的運(yùn)動(dòng)矢量獲得的在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v和基于區(qū)域信息來(lái)確定表示在前景分量圖像中包含的至少一個(gè)像素之處理的單位，該處理的單位是規(guī)定要進(jìn)行移動(dòng)模糊調(diào)節(jié)的一組像素的數(shù)據(jù)。
基于快門(mén)時(shí)間，從前景/背景分離器105提供的前景分量圖像，從移動(dòng)檢測(cè)器102提供的在快門(mén)時(shí)間之內(nèi)的運(yùn)動(dòng)矢量和其位置信息，以及處理的單位，移動(dòng)模糊調(diào)節(jié)單元107通過(guò)去掉、降低或者增加在前景分量圖像中包含的移動(dòng)模糊來(lái)調(diào)節(jié)在前景分量圖像中包含的移動(dòng)模糊量。移動(dòng)模糊調(diào)節(jié)單元106然后將其中移動(dòng)模糊量被調(diào)節(jié)的前景分量圖像輸出到合成器108。
移動(dòng)模糊是在對(duì)應(yīng)于運(yùn)動(dòng)目標(biāo)的圖像中包含的失真，其是由在現(xiàn)實(shí)世界中被采集的目標(biāo)移動(dòng)和傳感器的圖像采集特性引起的。
基于從區(qū)域指定單元103提供的區(qū)域信息和從混合比率計(jì)算器104提供的混合比率，合成器108將被輸入到圖像處理設(shè)備的某個(gè)背景圖像與從移動(dòng)模糊調(diào)節(jié)單元107提供的其中移動(dòng)模糊量被調(diào)節(jié)的前景分量圖像合成，并輸出合成的圖像。
下面參考圖3到25討論被提供給圖像處理設(shè)備的輸入圖像。
圖3表示由傳感器完成的圖像采集。傳感器是由例如安裝有CCD區(qū)域傳感器的CCD(電荷偶合器件)視頻攝象機(jī)形成，其是固體圖像采集器件。對(duì)應(yīng)于現(xiàn)實(shí)世界的前景的目標(biāo)111例如水平地在對(duì)應(yīng)于背景的目標(biāo)112和傳感器之間從左移動(dòng)到右。
傳感器采集對(duì)應(yīng)于前景的目標(biāo)111的圖像以及對(duì)應(yīng)于背景的目標(biāo)112的圖像。傳感器以幀為單位輸出所采集的圖像。例如，傳感器輸出具有每秒30幀的圖像。
在本說(shuō)明書(shū)中，幀的時(shí)間間隔將稱為幀間隔時(shí)間。
傳感器的曝光時(shí)間能夠是1/30秒。曝光時(shí)間是從當(dāng)傳感器開(kāi)始將輸入光轉(zhuǎn)變?yōu)殡姾蓵r(shí)到從輸入光到電荷的轉(zhuǎn)變被完成為止的時(shí)間周期。曝光時(shí)間也被稱為“快門(mén)時(shí)間”。
圖4表示像素的排列。圖4中，A到I表示單個(gè)像素。像素被布置在對(duì)應(yīng)圖像的平面上。對(duì)應(yīng)于每個(gè)像素的一個(gè)檢測(cè)器件被布置在傳感器上。當(dāng)傳感器執(zhí)行圖像采集時(shí)，每個(gè)檢測(cè)器件輸出形成圖像的對(duì)應(yīng)像素的像素值。例如，檢測(cè)器件在X方向的位置對(duì)應(yīng)于圖像上的水平方向，而檢測(cè)器件在Y方向的位置對(duì)應(yīng)于圖像上的垂直方向。
如圖5表示，例如是CCD的檢測(cè)器件在對(duì)應(yīng)于快門(mén)時(shí)間的周期期間將輸入光轉(zhuǎn)變?yōu)殡姾?，并且存?chǔ)所變換的電荷。電荷量幾乎正比于輸入光的強(qiáng)度和光被輸入的時(shí)間周期。檢測(cè)器件隨后將從輸入光轉(zhuǎn)變來(lái)的電荷加到在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期期間所存儲(chǔ)的電荷上。即，檢測(cè)器件積分在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期期間的輸入光并且存儲(chǔ)對(duì)應(yīng)于所積分光量的電荷。能夠認(rèn)為檢測(cè)器件具有關(guān)于時(shí)間的積分功能。
在檢測(cè)器件中存儲(chǔ)的電荷通過(guò)電路(沒(méi)有表示出)被轉(zhuǎn)變成電壓值，該電壓值被進(jìn)一步轉(zhuǎn)變成諸如數(shù)字?jǐn)?shù)據(jù)的像素值和被輸出。因此，從傳感器輸出的每個(gè)像素值是被投射到線性空間的值，其是關(guān)于快門(mén)時(shí)間積分對(duì)應(yīng)于前景或者背景的目標(biāo)的某個(gè)三維部分的結(jié)果。
圖像處理設(shè)備通過(guò)傳感器的存儲(chǔ)操作提取嵌置在輸出信號(hào)中的重要信息，例如為混合比率α。圖像處理設(shè)備調(diào)節(jié)由前景圖像目標(biāo)本身的混合引起的例如為移動(dòng)模糊量的失真量。圖像處理設(shè)備還調(diào)節(jié)由前景圖像目標(biāo)和背景圖像目標(biāo)的混合引起的失真量。
圖6A表示通過(guò)圖像采集對(duì)應(yīng)于移動(dòng)前景的目標(biāo)和對(duì)應(yīng)于固定背景的目標(biāo)而獲得的圖像。
圖6B表示通過(guò)圖像采集對(duì)應(yīng)于移動(dòng)前景的目標(biāo)和對(duì)應(yīng)于固定背景的目標(biāo)而獲得的圖像。
圖6A表示通過(guò)采集對(duì)應(yīng)于前景的移動(dòng)目標(biāo)和對(duì)應(yīng)于背景的固定目標(biāo)而獲得的圖像。在圖6A表示的例子中，對(duì)應(yīng)于前景的目標(biāo)關(guān)于屏幕是水平地左起移動(dòng)到右邊。
圖6B表示通過(guò)在時(shí)間方向擴(kuò)展對(duì)應(yīng)于圖6A中表示圖像的一條線的像素值而獲得的模型。圖6B中表示的水平方向?qū)?yīng)于圖6A中的空間方向X。
背景區(qū)域中像素的值是僅僅從背景分量即對(duì)應(yīng)于背景目標(biāo)的圖像分量形成的。前景區(qū)域中像素的值是僅僅從前景分量即對(duì)應(yīng)于前景目標(biāo)的圖像分量形成的。
混合區(qū)域像素的值是從背景分量和前景分量形成的。由于混合區(qū)域中像素的值是從背景分量和前景分量形成的，其可以被稱為“失真區(qū)域”。混合區(qū)域還被分類成遮蓋背景區(qū)域和未遮蓋背景區(qū)域。
遮蓋背景區(qū)域是在對(duì)應(yīng)于其中前景目標(biāo)正在運(yùn)動(dòng)的方向的前端的位置的混合區(qū)域，在這里，隨著時(shí)間的過(guò)去，背景分量逐漸地被前景所遮蓋。
相反，未遮蓋背景區(qū)域是對(duì)應(yīng)于其中前景目標(biāo)正在運(yùn)動(dòng)的方向的后端的混合區(qū)域，在這里，隨著時(shí)間的過(guò)去，背景分量逐漸地出現(xiàn)。
如上討論，包含前景區(qū)域、背景區(qū)域、或者遮蓋背景區(qū)域或者未遮蓋背景區(qū)域的圖像被作為輸入圖像輸入到區(qū)域指定單元103、混合比率計(jì)算器104和前景/背景分離器105。
圖7表示上述的背景區(qū)域、前景區(qū)域、混合區(qū)域、遮蓋背景區(qū)域和未遮蓋背景區(qū)域。在對(duì)應(yīng)于圖6A表示圖像的區(qū)域中，背景區(qū)域是固定部分，前景區(qū)域是移動(dòng)部分，混合區(qū)域的遮蓋背景區(qū)域是從背景變化到前景的部分，混合區(qū)域的未遮蓋背景區(qū)域是從前景變化到背景的部分。
圖8表示在由采集對(duì)應(yīng)于固定前景的目標(biāo)的圖像和對(duì)應(yīng)于固定背景的目標(biāo)的圖像而獲得的圖像中，通過(guò)在時(shí)間方向擴(kuò)展被并排排列的像素的像素值而得到的模型。例如，作為并排排列的像素，可以選擇在屏幕的一條線中配置的像素。
在圖8中表示的由F01到F04表示的像素值是對(duì)應(yīng)于固定前景的目標(biāo)的像素的值。在圖8中表示的由B01到B04表示的像素值是對(duì)應(yīng)于固定背景的目標(biāo)的像素的值。
圖8的垂直方向?qū)?yīng)于時(shí)間，并且時(shí)間是在圖中表示的從頂部到底部流逝。圖8矩形的頂邊的位置對(duì)應(yīng)于時(shí)間，此時(shí)傳感器開(kāi)始將輸入光轉(zhuǎn)變成電荷，而圖8矩形的底邊的位置對(duì)應(yīng)于時(shí)間，此時(shí)從輸入光到電荷的轉(zhuǎn)變完成。即，圖8中從矩形的頂邊到底邊的距離對(duì)應(yīng)于快門(mén)時(shí)間。
圖8的水平方向?qū)?yīng)于圖6A的空間方向X。更具體地說(shuō)，在圖8表示的例子中，從圖8由“F01”表示的矩形的左邊到由“B04”表示的矩形的右邊的距離是八倍的像素節(jié)距，即8個(gè)連續(xù)的像素。
當(dāng)前景目標(biāo)和背景目標(biāo)是固定的時(shí)，被輸入傳感器的光在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期期間不變化。
對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期被分成兩個(gè)或者更多部分的相等周期。例如，如果有效(virtual)分割部分的數(shù)目是4，則圖8表示的模型能夠由圖9表示的模型表示。有效分割部分的數(shù)目能夠根據(jù)在快門(mén)時(shí)間之內(nèi)對(duì)應(yīng)于前景的目標(biāo)的移動(dòng)量v來(lái)設(shè)置。例如，當(dāng)快門(mén)時(shí)間之內(nèi)的移動(dòng)量v是4時(shí)有效分割部分的數(shù)目被設(shè)置為4，并且對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期被分成四個(gè)部分。
圖中最上面的線對(duì)應(yīng)于第一分割周期，此時(shí)快門(mén)已經(jīng)打開(kāi)。圖中第二條線對(duì)應(yīng)于第二分割周期，此時(shí)快門(mén)已經(jīng)打開(kāi)。圖中第三條線對(duì)應(yīng)于第三分割周期，此時(shí)快門(mén)已經(jīng)打開(kāi)。圖中第四條線對(duì)應(yīng)于第四分割周期，此時(shí)快門(mén)已經(jīng)打開(kāi)。
根據(jù)快門(mén)時(shí)間內(nèi)移動(dòng)量v分割的快門(mén)時(shí)間今后也被稱為“快門(mén)時(shí)間/v”。
當(dāng)對(duì)應(yīng)于前景的目標(biāo)是固定的時(shí)，輸入到傳感器的光不變化，并且因此，前景分量F01/v等于通過(guò)將像素值F01與有效分割部分的數(shù)目相除而獲得的值。類似地，當(dāng)對(duì)應(yīng)于前景的目標(biāo)是固定的時(shí)，前景分量F02/v等于通過(guò)將像素值F02與有效分割部分的數(shù)目相除而獲得的值，前景分量F03/v等于通過(guò)將像素值F03與有效分割部分的數(shù)目相除而獲得的值，以及前景分量F04/v等于通過(guò)將像素值F04與有效分割部分的數(shù)目相除而獲得的值。
當(dāng)對(duì)應(yīng)于背景的目標(biāo)是固定的時(shí)，輸入到傳感器的光不變化，并且因此，背景分量B01/v等于通過(guò)將像素值B01與有效分割部分的數(shù)目相除而獲得的值。類似地，當(dāng)對(duì)應(yīng)于背景的目標(biāo)是固定的時(shí)，背景分量B02/v等于通過(guò)將像素值B02與有效分割部分的數(shù)目相除而獲得的值，背景分量B03/v等于通過(guò)將像素值B03與有效分割部分的數(shù)目相除而獲得的值，以及背景分量B04/v等于通過(guò)將像素值B04與有效分割部分的數(shù)目相除而獲得的值。
更具體地說(shuō)，當(dāng)對(duì)應(yīng)于前景的目標(biāo)是固定的時(shí)，對(duì)應(yīng)于前景目標(biāo)的輸入到傳感器的光在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期期間不變化。因此，對(duì)應(yīng)于此時(shí)快門(mén)已經(jīng)打開(kāi)的快門(mén)時(shí)間/v第一部分的前景分量F01/v，對(duì)應(yīng)于此時(shí)快門(mén)已經(jīng)打開(kāi)的快門(mén)時(shí)間/v第二部分的前景分量F01/v，對(duì)應(yīng)于此時(shí)快門(mén)已經(jīng)打開(kāi)的快門(mén)時(shí)間/v第三部分的前景分量F01/v，以及對(duì)應(yīng)于此時(shí)快門(mén)已經(jīng)打開(kāi)的快門(mén)時(shí)間/v第四部分的前景分量F01/v變成相同的值。該相同的值適用于F02/v到F04/v，如同在F01/v的情況。
當(dāng)對(duì)應(yīng)于背景的目標(biāo)是固定的時(shí)，對(duì)應(yīng)于背景目標(biāo)的輸入到傳感器的光在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期期間不變化。因此，對(duì)應(yīng)于此時(shí)快門(mén)已經(jīng)打開(kāi)的快門(mén)時(shí)間/v第一部分的背景分量B01/v，對(duì)應(yīng)于此時(shí)快門(mén)已經(jīng)打開(kāi)的快門(mén)時(shí)間/v第二部分的背景分量B01/v，對(duì)應(yīng)于此時(shí)快門(mén)已經(jīng)打開(kāi)的快門(mén)時(shí)間/v第三部分的背景分量B01/v，以及對(duì)應(yīng)于此時(shí)快門(mén)已經(jīng)打開(kāi)的快門(mén)時(shí)間/v第四部分的背景分量B01/v變成相同的值。該相同的值適用于B02/v到B04/v。
說(shuō)明書(shū)給出其中對(duì)應(yīng)于前景的目標(biāo)是移動(dòng)的和對(duì)應(yīng)于背景的目標(biāo)是固定的的情況。
圖10表示當(dāng)對(duì)應(yīng)于前景的目標(biāo)正在移向圖中表示的右邊時(shí)，通過(guò)在時(shí)間方向擴(kuò)展包括遮蓋背景區(qū)域的一條線中像素的像素值而獲得的模型。
由于一幀是短周期，能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體。圖10中，對(duì)應(yīng)于前景的目標(biāo)的圖像的分量移動(dòng)使得其被包括在四個(gè)像素中。
例如，前景分量F04/v被包括在左起第一到第四像素中。
圖10中，在快門(mén)時(shí)間之內(nèi)的移動(dòng)量是4。
圖10中，從最左邊像素到第四個(gè)像素的像素屬于前景區(qū)域。圖10中，從左起第五個(gè)像素到第七個(gè)像素的像素屬于混合區(qū)域，其是遮蓋背景區(qū)域。圖10中，最右邊的像素屬于背景區(qū)域。
對(duì)應(yīng)于前景的目標(biāo)移動(dòng)，使得隨著時(shí)間的過(guò)去其漸漸地遮蓋對(duì)應(yīng)于背景的目標(biāo)。因此，在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期期間，在確定的時(shí)間，在屬于遮蓋背景區(qū)域的像素的像素值中包含的分量從背景分量變化到前景分量。
例如，由圖10中的厚幀(thick frame)包圍的像素值M由下面的方程(1)表示。
M＝B02/v+B02/v+F07/v+F06/v(1)例如，左起第五個(gè)像素包含對(duì)應(yīng)于快門(mén)時(shí)間/v的一個(gè)部分的背景分量和對(duì)應(yīng)于快門(mén)時(shí)間/v的三個(gè)部分的前景分量，并且因此，左起第五個(gè)像素的混合比率α是1/4。左起第六個(gè)像素包含對(duì)應(yīng)于快門(mén)時(shí)間/v的兩個(gè)部分的背景分量和對(duì)應(yīng)于快門(mén)時(shí)間/v的兩個(gè)部分的前景分量，并且因此，左起第六個(gè)像素的混合比率α是1/2。左起第七個(gè)像素包含對(duì)應(yīng)于快門(mén)時(shí)間/v的三個(gè)部分的背景分量和對(duì)應(yīng)于快門(mén)時(shí)間/v的一個(gè)部分的前景分量，并且因此，左起第七個(gè)像素的混合比率α是3/4。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，并且前景目標(biāo)是用不變速度移動(dòng)的使得其被包括在四個(gè)像素中。因此，例如，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖10中左起第四個(gè)像素的前景分量F07/v等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖10中左起第五個(gè)像素的前景分量。類似地，前景分量F07/v是等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖10中左起第六個(gè)像素的前景分量，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖10中左起第七個(gè)像素的前景分量。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，并且前景目標(biāo)是用不變速度移動(dòng)的使得其被包括在四個(gè)像素中。因此，例如，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖10中左起第三個(gè)像素的前景分量F06/v等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖10中左起第四個(gè)像素的前景分量。類似地，前景分量F06/v是等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖10中左起第五個(gè)像素的前景分量，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖10中左起第六個(gè)像素的前景分量。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，并且前景目標(biāo)是用不變速度移動(dòng)的使得其被包括在四個(gè)像素中。因此，例如，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖10中左起第二個(gè)像素的前景分量F05/v是等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖10中左起第三個(gè)像素的前景分量。類似地，前景分量F05/v是等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖10中左起第四個(gè)像素的前景分量，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖10中左起第五個(gè)像素的前景分量。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，并且前景目標(biāo)是用不變速度移動(dòng)的使得其被包括在四個(gè)像素中。因此，例如，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖10中最左邊像素的前景分量F04/v是等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖10中左起第二個(gè)像素的前景分量。類似地，前景分量F04/v是等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖10中左起第三個(gè)像素的前景分量，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖10中左起第四個(gè)像素的前景分量。
由于對(duì)應(yīng)于運(yùn)動(dòng)目標(biāo)的前景區(qū)域包含上述的移動(dòng)模糊，其能夠被稱為“失真區(qū)域”。
圖11表示當(dāng)對(duì)應(yīng)于前景的目標(biāo)正在移向圖中表示的右邊時(shí)，通過(guò)在時(shí)間方向擴(kuò)展包括未遮蓋背景區(qū)域的一條線中像素的像素值而獲得的模型。
由于一幀是短周期，能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體。圖11中，對(duì)應(yīng)于前景的目標(biāo)圖像分量是用不變速度移動(dòng)的使得其被包括在四個(gè)像素中。例如，前景分量F01/v移動(dòng)使得其被包括在左起第五到第八個(gè)像素中。
圖11中，前景的在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v是4。
圖11中，從最左邊像素到第四個(gè)像素的像素屬于背景區(qū)域。圖11中，從左起第五個(gè)像素到第七個(gè)像素的像素屬于混合區(qū)域，其是未遮蓋背景區(qū)域。圖11中，最右邊的像素屬于前景區(qū)域。
對(duì)應(yīng)于遮蓋了對(duì)應(yīng)于背景的目標(biāo)的前景的目標(biāo)是移動(dòng)的使得隨著時(shí)間的過(guò)去其漸漸地從對(duì)應(yīng)于背景的目標(biāo)移開(kāi)。因此，在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間周期的確定時(shí)間上，在屬于未遮蓋背景區(qū)域的像素的像素值中包含的分量從前景分量變化到背景分量。
例如，由圖11中的厚幀(thick frame)包圍的像素值M’由下面的方程(2)表示。
M’＝F02/v+F01/v+B26/v+B26/v(2)
例如，左起第五個(gè)像素包含對(duì)應(yīng)于快門(mén)時(shí)間/v的三個(gè)部分的背景分量和對(duì)應(yīng)于快門(mén)時(shí)間/v的一個(gè)快門(mén)部分的前景分量，并且因此，左起第五個(gè)像素的混合比率α是3/4。左起第六個(gè)像素包含對(duì)應(yīng)于快門(mén)時(shí)間/v的兩個(gè)部分的背景分量和對(duì)應(yīng)于快門(mén)時(shí)間/v的兩個(gè)部分的前景分量，并且因此，左起第六個(gè)像素的混合比率α是1/2。左起第七個(gè)像素包含對(duì)應(yīng)于快門(mén)時(shí)間/v的一個(gè)部分的背景分量和對(duì)應(yīng)于快門(mén)時(shí)間/v的三個(gè)部分的前景分量，并且因此，左起第七個(gè)像素的混合比率α是1/4。
當(dāng)方程(1)和(2)被概括時(shí)，像素值M能夠由方程(3)表示M=α·B+ΣiFi/v----(3)]]>這里，α是混合比率，B表示背景的像素值，F(xiàn)i/v指定前景分量。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，其用不變速度移動(dòng)，并且在快門(mén)時(shí)間之內(nèi)的移動(dòng)量是4。因此，例如，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖11中左起第五個(gè)像素的前景分量F01/v是等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖11中左起第六個(gè)像素的前景分量。類似地，前景分量F01/v是等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖11中左起第七個(gè)像素的前景分量，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖11中左起第八個(gè)像素的前景分量。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，其用不變速度移動(dòng)，并且有效分割部分的數(shù)目是4。因此，例如，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖11中左起第六個(gè)像素的前景分量F02/v是等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖11中左起第七個(gè)像素的前景分量。類似地，前景分量F02/v是等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖11中左起第八個(gè)像素的前景分量。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是剛體，其用不變速度移動(dòng)，并且在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v是4。因此，例如，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖11中左起第七個(gè)像素的前景分量F03/v是等于當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖11中左起第八個(gè)像素的前景分量。
參考圖9到11已經(jīng)說(shuō)明了有效分割部分的數(shù)目是4。有效分割部分的數(shù)目對(duì)應(yīng)于在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v。通常，在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v對(duì)應(yīng)于對(duì)應(yīng)前景的目標(biāo)的移動(dòng)速度。例如，如果前景分量移動(dòng)使得其被包括在幀中的四個(gè)像素中的話，則在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v被設(shè)置為4。有效分割部分的數(shù)目根據(jù)該在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v被設(shè)置為4。
類似地，如果前景目標(biāo)移動(dòng)使得其被包括在幀中的六個(gè)像素中，則在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v被設(shè)置為6，有效分割部分的數(shù)目被設(shè)置為6。
圖12和13表示上述的前景區(qū)域、背景區(qū)域和由遮蓋背景或者未遮蓋背景構(gòu)成的混合區(qū)域與對(duì)應(yīng)于快門(mén)時(shí)間的分割時(shí)間周期的前景分量和背景分量的關(guān)系。
圖12表示其中在前景區(qū)域、背景區(qū)域和混合區(qū)域中的像素從圖像中被提取的例子，該圖像包含對(duì)應(yīng)于在固定背景之前移動(dòng)的目標(biāo)的前景。在圖12表示的例子中，對(duì)應(yīng)于由A表示的前景的目標(biāo)正相對(duì)于屏幕水平地移動(dòng)。
幀#n+1是在幀#n之后的幀，幀#n+2是在幀#n+1之后的幀。
在前景區(qū)域、背景區(qū)域和混合區(qū)域中的像素是從幀#n到幀#n+2的一個(gè)中被提取的，并且在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v被設(shè)置為4。通過(guò)在時(shí)間方向擴(kuò)展所提取像素的像素值而獲得的模型被表示在圖13中。
由于對(duì)應(yīng)于前景的目標(biāo)是移動(dòng)的，前景區(qū)域中的像素值是由對(duì)應(yīng)于快門(mén)時(shí)間/v的四個(gè)不同背景分量形成的。例如，圖13表示的在前景區(qū)域中像素的最左邊像素是由F01/v，F(xiàn)02/v，F(xiàn)0 3/v，和F04/v構(gòu)成的。即，前景中的像素包含移動(dòng)模糊。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，在快門(mén)時(shí)間期間對(duì)應(yīng)于背景的輸入到傳感器的光不變化。在這種情況下，背景區(qū)域中的像素值不包含移動(dòng)模糊。
由遮蓋背景區(qū)域或者未遮蓋背景區(qū)域構(gòu)成的混合區(qū)域中的像素值是由前景分量和背景分量形成的。
下面的說(shuō)明給出了通過(guò)在時(shí)間方向擴(kuò)展在多個(gè)幀中被并排排列的和當(dāng)對(duì)應(yīng)于目標(biāo)的圖像在移動(dòng)時(shí)這些幀被重疊之時(shí)被定位在相同位置處的像素的像素值而獲得的模型。例如，當(dāng)對(duì)應(yīng)于目標(biāo)的圖像正相對(duì)于屏幕水平移動(dòng)時(shí)，在屏幕上排列的像素能夠被選擇作為被并排排列的像素。
圖14表示通過(guò)在時(shí)間方向擴(kuò)展在由采集對(duì)應(yīng)于固定背景的目標(biāo)而獲得的圖像的三個(gè)幀中被并排排列的和當(dāng)幀被重疊之時(shí)被定位在相同位置處的像素的像素值而獲得的模型。圖14中，快門(mén)時(shí)間是與幀間隔時(shí)間一樣長(zhǎng)。
幀#n是在幀#n-1之后的幀，幀#n+1是在幀#n之后的幀。相同的情況適用于其它幀。
圖14表示的像素值B01到B12是對(duì)應(yīng)于固定背景目標(biāo)的像素值。由于對(duì)應(yīng)于背景的目標(biāo)是固定的，幀#n-1到幀#n+1中對(duì)應(yīng)像素的像素值不變化。例如，位于具有幀#n-1中像素值B05的像素的對(duì)應(yīng)位置上的幀#n中像素和幀#n+1中像素具有像素值B05。
參考圖15和16，說(shuō)明包括遮蓋背景區(qū)域的圖像，對(duì)此，快門(mén)時(shí)間和幀間隔時(shí)間是相同的。
圖15表示通過(guò)在時(shí)間方向擴(kuò)展在由采集對(duì)應(yīng)于正向圖中所表示右邊移動(dòng)的前景的目標(biāo)以及對(duì)應(yīng)于固定背景的目標(biāo)而獲得的圖像的三個(gè)幀中被并排排列的、和當(dāng)幀被重疊之時(shí)被定位在相同位置處的像素的像素值而獲得的模型。
圖15中，能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體，并且前景目標(biāo)移動(dòng)使得其被包括在幀中的四個(gè)像素中。因此，在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v是4，以及有效分割部分的數(shù)目是4。
例如，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖15中幀#n-1最左邊像素的前景分量是F12/v，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖15中左起第二像素的前景分量也是F12/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖15左起第三像素的前景分量和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖15中左起第四像素的前景分量是F12/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖15中幀#n-1最左邊像素的前景分量是F11/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖15中左起的第二像素的前景分量也是F11/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖15中左起的第三像素的前景分量是F11/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖15中幀#n-1最左邊像素的前景分量是F10/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖15中左起的第二像素的前景分量也是F10/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖15中幀#n-1最左邊像素的前景分量是F09/v。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖15中幀#n-1左起第二像素的背景分量是B01/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一和第二部分的圖15中幀#n-1左起第三像素的背景分量是B02/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一到第三部分的圖15中幀#n-1左起第四像素的背景分量是B03/v。
圖15的幀#n-1中，左起的最左邊像素屬于前景區(qū)域，而左起的第二到第四像素屬于混合區(qū)域，其是遮蓋背景區(qū)域。
圖15中幀#n-1的左起的第五到第十二像素屬于背景區(qū)域，并且其像素值分別是B04到B11。
圖15中幀#n的左起的第一到第五像素屬于前景區(qū)域。幀#n前景區(qū)域中快門(mén)時(shí)間/v的前景分量是F05/v到F12/v的任何一個(gè)。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體，在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v是4，并且快門(mén)時(shí)間和幀間隔時(shí)間是相同的，前景圖像移動(dòng)使得在隨后幀的右邊被顯示四個(gè)像素。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖15中幀#n左起第五像素的前景分量是F12/v，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖15中左起的第六像素的前景分量也是F12/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖15中左起第七像素的前景分量和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖15中左起第八像素的前景分量是F12/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖15中幀#n左起第五像素的前景分量是F11/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖15中左起的第六像素的前景分量也是F11/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖15中左起第七像素的前景分量是F11/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖15中幀#n左起第五像素的前景分量是F10/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖15中左起的第六像素的前景分量也是F10/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖15中幀#n的左起第五像素的前景分量是F09/v。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖15中幀#n左起第六像素的背景分量是B05/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一和第二部分的圖15中幀#n左起第七像素的背景分量是B06/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一到第三部分的圖15中幀#n左起第八像素的背景分量是B07/v。
圖15的幀#n中，左起的第六到第八像素屬于混合區(qū)域，其是遮蓋背景區(qū)域。
圖15中幀#n的左起的第九到第十二像素屬于背景區(qū)域，并且其像素值分別是B08到B11。
圖15中幀#n+1的左起的第一到第九像素屬于前景區(qū)域。幀#n+1前景區(qū)域中快門(mén)時(shí)間/v的前景分量是F01/v到F12/v的任何一個(gè)。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體，在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v是4，并且快門(mén)時(shí)間和幀間隔時(shí)間是相同的。因此，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖15中幀#n+1左起第九像素的前景分量是F12/v，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖15中左起的第十像素的前景分量也是F12/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖15中左起第十一像素的前景分量和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖15中左起第十二像素的前景分量是F12/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖15中幀#n+1左起第九像素的前景分量是F11/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖15中左起的第十像素的前景分量也是F11/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖15中左起第十一像素的前景分量是F11/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖15中幀#n+1左起第九像素的前景分量是F10/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖15中左起的第十像素的前景分量也是F10/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖15中幀#n+1的左起第十像素的前景分量是F09/v。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖15中幀#n+1左起第十像素的背景分量是B09/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一和第二部分的圖15中幀#n+1左起第十一像素的背景分量是B10/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一到第三部分的圖15中幀#n+1左起第十二像素的背景分量是B11/v。
圖15的幀#n+1中，左起的第十到第十二像素屬于混合區(qū)域，其是遮蓋背景區(qū)域。
圖16是通過(guò)從圖15表示的像素值中提取前景分量獲得的圖像的模型。
圖17表示通過(guò)在時(shí)間方向擴(kuò)展在由采集對(duì)應(yīng)于固定背景的目標(biāo)而獲得的圖像的三個(gè)幀中被并排排列的和當(dāng)幀被重疊之時(shí)被定位在相同位置處的像素的像素值而獲得的模型。圖17中，幀間隔時(shí)間是兩倍于快門(mén)時(shí)間。
圖17中表示的像素值B01到B12是對(duì)應(yīng)于固定背景目標(biāo)的像素值。由于對(duì)應(yīng)于背景的目標(biāo)是固定的，幀#n-1到幀#n+1中對(duì)應(yīng)像素的像素值不改變。例如，位于具有幀#n-1中像素值B05的像素的對(duì)應(yīng)位置上的幀#n中像素和幀#n+1中像素具有像素值B05。
如上述，即使快門(mén)時(shí)間和幀間隔時(shí)間之間的關(guān)系改變，通過(guò)僅僅采集固定目標(biāo)獲得的圖像的分量也不改變。
參考圖18和19，說(shuō)明包括遮蓋背景區(qū)域的圖像，此時(shí)快門(mén)時(shí)間是幀間隔時(shí)間的一半。
圖18表示通過(guò)在時(shí)間方向擴(kuò)展在由采集對(duì)應(yīng)于正在向圖中表示的右邊移動(dòng)的前景的目標(biāo)以及與對(duì)應(yīng)于固定背景的目標(biāo)而獲得的圖像的三個(gè)幀中被并排排列的和當(dāng)幀被重疊之時(shí)被定位在相同位置處的像素的像素值而獲得的模型。
圖18中，能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體，并且前景分量移動(dòng)使得其被包括在幀中的四個(gè)像素中。因此，在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v是4，有效分割部分的數(shù)目是4。
例如，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖18中幀#n-1最左邊像素的前景分量是F20/v，和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖18中左起的第二像素的前景分量也是F20/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖18中左起第三像素的前景分量和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖18中左起第四像素的前景分量是F20/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖18中幀#n-1最左邊像素的前景分量是F19/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖18中左起的第二像素的前景分量也是F19/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖18中左起第三像素的前景分量是F19/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖18中幀#n-1最左邊像素的前景分量是F18/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖18中左起的第二像素的前景分量也是F18/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖18中幀#n-1最左邊像素的前景分量是F17/v。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖18中幀#n-1左起第二像素的背景分量是B01/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一和第二部分的圖18中幀#n-1左起第三像素的背景分量是B02/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一到第三部分的圖18中幀#n-1左起第四像素的背景分量是B03/v。
圖18的幀#n-1中，左起的最左邊像素屬于前景區(qū)域，左起第二到第四像素屬于混合區(qū)域，其是遮蓋背景區(qū)域。
圖18中從幀#n-1的左邊的第五到第十二像素屬于背景區(qū)域。并且其像素值分別是B04到B19。
圖18中從幀#n的左邊的第一到第九像素屬于前景區(qū)域。該幀#n前景區(qū)域中快門(mén)時(shí)間內(nèi)的前景分量是F09/v到F20/v的任何一個(gè)。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體，并且?guī)g隔時(shí)間是快門(mén)時(shí)間的兩倍，以便前景圖像移動(dòng)使得其在隨后的幀中向右邊被顯示八個(gè)像素。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖18中幀#n左起第九像素的前景分量是F20/v，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖18中左起的第十像素的前景分量也是F20/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖18中左起第十一像素的前景分量和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖18中左起的第十二像素的前景分量是F20/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖18中幀#n左起第九像素的前景分量是F19/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖18中左起的第十像素的前景分量也是F19/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖18中左起第十一像素的前景分量是F19/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖18中幀#n左起第九像素的前景分量是F18/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖18中左起的第十像素的前景分量也是F18/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖18中幀#n左起第九像素的前景分量是F17/v。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖18中幀#n左起第十像素的背景分量是B09/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一和第二部分的圖18中幀#n左起第十一像素的背景分量是B10/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一到第三部分的圖18中幀#n左起第十二像素的背景分量是B11/v。
圖18的幀#n中，左起第十像素到第十二像素屬于混合區(qū)域，其是遮蓋背景區(qū)域。
圖18中從幀#n的左邊的第十三像素到第二十像素屬于背景區(qū)域，并且其像素值分別是B12到B19。
圖18中從幀#n+1的左邊的第一到第十七像素屬于前景區(qū)域。幀#n+1的前景區(qū)域中快門(mén)時(shí)間內(nèi)前景分量是F01/v到F20/v的任何一個(gè)。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體，在快門(mén)時(shí)間內(nèi)的移動(dòng)量v是4，并且?guī)g隔時(shí)間是快門(mén)時(shí)間的兩倍。因此，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖18中幀#n+1左起第十七像素的前景分量是F20/v，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖18中左起的第十八像素的前景分量也是F20/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖18中左起第十九像素的前景分量和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖18中左起的第二十像素的前景分量是F20/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖18中幀#n+1左起第十七像素的前景分量是F19/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖18中左起的第十八像素的前景分量也是F19/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖18中左起第十九像素的前景分量是F19/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖18中幀#n+1左起第十七像素的前景分量是F18/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖18中左起的第十八像素的前景分量也是F18/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖18中幀#n+1左起第十七像素的前景分量是F17/v。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖18中幀#n+1左起第十八像素的背景分量是B17/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一和第二部分的圖18中幀#n+1左起第十九像素的背景分量是B18/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一到第三部分的圖18中幀#n+1左起第二十像素的背景分量是B19/v。
圖18的幀#n+1中，左起第八像素到第二十像素屬于混合區(qū)域，其是遮蓋背景區(qū)域。
圖19表示通過(guò)從圖18中表示的像素值中提取前景分量獲得的圖像的模型。
下面，參考圖20和21，說(shuō)明包括未遮蓋背景區(qū)域的圖像，此時(shí)快門(mén)時(shí)間和幀間隔時(shí)間是相同的。
圖20表示通過(guò)在時(shí)間方向擴(kuò)展在由采集對(duì)應(yīng)于正在向圖中表示的右邊移動(dòng)的前景的目標(biāo)以及與對(duì)應(yīng)于固定背景的目標(biāo)而獲得的圖像的三個(gè)幀中被并排排列的和當(dāng)幀被重疊之時(shí)被定位在相同位置處的像素的像素值而獲得的模型。
圖20中，能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體。由于前景分量移動(dòng)使得其被包括在幀中的四個(gè)像素中，在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v是4。
例如，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖20中幀#n-1最左邊像素的前景分量是F13/v，和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖20中左起的第二像素的前景分量也是F13/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖20中左起第三像素的前景分量和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖20中左起第四像素的前景分量是F13/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖20中幀#n-1左起第二像素的前景分量是F14/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖20中左起的第三像素的前景分量也是F14/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖20中左起第三像素的前景分量是F15/v。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二到第四部分的圖20中幀#n-1最左邊像素的背景分量是B25/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三和第四部分的圖20中幀#n-1左起第二像素的背景分量是B26/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖20中幀#n-1左起第三像素的背景分量是B27/v。
圖20的幀#n-1中，最左邊像素到第三像素屬于混合區(qū)域，其是未遮蓋背景區(qū)域。
圖20中從幀#n-1的左邊的第四到第十二像素屬于前景區(qū)域。該幀的前景分量是F13/v到F24/v的任何一個(gè)。
圖20中從幀#n的左邊的最左邊像素到第四像素屬于背景區(qū)域，并且其像素值分別是B25到B28。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體，并且前景分量移動(dòng)使得其被包括在幀中的四個(gè)像素中。因此，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖20中幀#n左起第五像素的前景分量是F13/v，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖20中左起的第六像素的前景分量也是F13/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖20中左起第七像素的前景分量和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖20中左起的第八像素的前景分量是F13/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖20中幀#n左起第六像素的前景分量是F14/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖20中左起的第七像素的前景分量也是F14/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖20中左起第八像素的前景分量是F15/v。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二到第四部分的圖20中幀#n左起第五像素的背景分量是B29/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三和第四部分的圖20中幀#n左起第六像素的背景分量是B30/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖20中幀#n左起第七像素的背景分量是B31/v。
圖20的幀#n中，左起第五像素到第七像素屬于混合區(qū)域，其是未遮蓋背景區(qū)域。
圖20中從幀#n的左邊的第八到第十二像素屬于前景區(qū)域。對(duì)應(yīng)于快門(mén)時(shí)間/v的周期之幀#n的前景區(qū)域中的值是F13/v到F20/v的任何一個(gè)。
圖20中從幀#n+1的左邊的最左邊像素到第八像素屬于背景區(qū)域，并且其像素值分別是B25到B32。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體，并且前景分量移動(dòng)使得其被包括在幀中的四個(gè)像素中。因此，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖20中幀#n+1左起第九像素的前景分量是F13/v，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖20中左起的第十像素的前景分量也是F13/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖20中左起第十一像素的前景分量和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖20中左起的第十二像素的前景分量是F13/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖20中幀#n+1左起第十像素的前景分量是F14/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖20中左起的第十一像素的前景分量也是F14/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖20中左起第十二像素的前景分量是F15/v。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二到第四部分的圖20中幀#n+1左起第九像素的背景分量是B33/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三和第四部分的圖20中幀#n+1左起第十像素的背景分量是B34/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖20中幀#n+1左起第十一像素的背景分量是B35/v。
圖20的幀#n+1中，圖中表示的左起第九到第十一像素屬于混合區(qū)域，其是未遮蓋背景區(qū)域。
圖20中從幀#n+1左起的第十二像素屬于前景區(qū)域。幀#n+1的前景區(qū)域中快門(mén)時(shí)間/v內(nèi)的前景分量分別是F13/v到F16/v的任何一個(gè)。
圖21表示通過(guò)從圖20中表示的像素值中提取前景分量獲得的圖像的模型。
下面，參考圖22和23，說(shuō)明包括未遮蓋背景區(qū)域的圖像，此時(shí)幀間隔時(shí)間是快門(mén)時(shí)間的兩倍。
圖22表示通過(guò)在時(shí)間方向擴(kuò)展在由采集對(duì)應(yīng)于正在向圖中表示的右邊移動(dòng)的前景的目標(biāo)以及與對(duì)應(yīng)于固定背景的目標(biāo)而獲得的圖像的三個(gè)幀中被并排排列的和當(dāng)幀被重疊之時(shí)被定位在相同位置處的像素的像素值而獲得的模型。
圖22中，能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體。由于前景分量移動(dòng)使得其被包括在幀中的四個(gè)像素中，在快門(mén)時(shí)間之內(nèi)的移動(dòng)量v是4。
例如，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖22中幀#n-1最左邊像素的前景分量是F13/v，和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖22中左起的第二像素的前景分量也是F13/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖22中左起第三像素的前景分量和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖22中左起第四像素的前景分量是F13/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖22中幀#n-1左起第二像素的前景分量是F14/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖22中左起的第三像素的前景分量也是F14/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖22中左起第三像素的前景分量是F15/v。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二到第四部分的圖22中幀#n-1最左邊像素的背景分量是B25/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三和第四部分的圖22中幀#n-1左起第二像素的背景分量是B26/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖22中幀#n-1左起第三像素的背景分量是B27/v。
圖22的幀#n-1中，最左邊像素到第三像素屬于混合區(qū)域，其是未遮蓋背景區(qū)域。
圖22中從幀#n-1的左邊的第四到第二十像素屬于前景區(qū)域。該幀的前景分量是F13/v到F32/v的任何一個(gè)。
圖22中從幀#n的左邊的最左邊像素到第八像素屬于背景區(qū)域，并且其像素值分別是B25到B32。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體，快門(mén)時(shí)間內(nèi)移動(dòng)量v是4，并且?guī)g隔時(shí)間是快門(mén)時(shí)間的兩倍。因此，前景圖像移動(dòng)使得對(duì)于隨后幀中的右邊被顯示八個(gè)像素。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖22中幀#n左起第九像素的前景分量是F13/v，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖22中左起的第十像素的前景分量也是F13/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖22中左起第十一像素的前景分量和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖22中左起的第十二像素的前景分量是F13/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖22中幀#n左起第十像素的前景分量是F14/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖22中左起的第十一像素的前景分量也是F14/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖22中左起第十二像素的前景分量是F15/v。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二到第四部分的圖22中幀#n左起第九像素的背景分量是B33/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三和第四部分的圖22中幀#n左起第十像素的背景分量是B34/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖22中幀#n左起第十一像素的背景分量是B35/v。
圖22的幀#n中，左起第九像素到第十一像素屬于混合區(qū)域，其是未遮蓋背景區(qū)域。
圖22中從幀#n的左邊的第十二到第二十像素屬于前景區(qū)域。對(duì)應(yīng)于快門(mén)時(shí)間/v的周期之幀#n的前景區(qū)域中的值是F13/v到F24/v的任何一個(gè)。
圖22中從幀#n+1的左邊的最左邊像素到第十六像素屬于背景區(qū)域，并且其像素值分別是B25到B40。
能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體，并且前景分量移動(dòng)使得其被包括在幀中的四個(gè)像素中。因此，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分之圖22中幀#n+1左起第十七像素的前景分量是F13/v，以及當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖22中左起的第十八像素的前景分量也是F13/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三部分的圖22中左起第十九像素的前景分量和當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖22中左起的第二十像素的前景分量是F13/v。
當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖22中幀#n+1左起第十八像素的前景分量是F14/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二部分的圖22中左起的第十九像素的前景分量也是F14/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第一部分的圖22中左起第十九像素的前景分量是F15/v。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第二到第四部分的圖22中幀#n+1左起第十七像素的背景分量是B41/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第三和第四部分的圖22中幀#n+1左起第十八像素的背景分量是B42/v。當(dāng)快門(mén)已經(jīng)打開(kāi)時(shí)對(duì)應(yīng)于快門(mén)時(shí)間/v第四部分的圖22中幀#n+1左起第十九像素的背景分量是B43/v。
圖22的幀#n+1中，左起第十七到第十九像素屬于混合區(qū)域，其是未遮蓋背景區(qū)域。
圖22中從幀#n+1的左邊的第二十像素屬于前景區(qū)域。幀#n+1的前景區(qū)域中快門(mén)時(shí)間/v內(nèi)的前景分量分別是F13/v到F16/v的任何一個(gè)。
圖23表示通過(guò)從圖22中表示的像素值中提取前景分量獲得的圖像的模型。
回來(lái)參考圖2，區(qū)域指定單元103通過(guò)使用多個(gè)幀的像素值來(lái)規(guī)定表示輸入圖像的單獨(dú)像素是屬于前景區(qū)域、背景區(qū)域、遮蓋背景區(qū)域或者未遮蓋背景區(qū)域之哪一個(gè)的標(biāo)志(flag)，和將該標(biāo)志作為區(qū)域信息提供給混合比率計(jì)算器104和移動(dòng)模糊調(diào)節(jié)單元107。
混合比率計(jì)算器104基于多個(gè)幀的像素值和區(qū)域信息計(jì)算在混合區(qū)域中包含的每個(gè)像素的混合比率α，并且將所計(jì)算的混合比率α提供給前景/背景分離器105。
基于從區(qū)域指定單元103提供的輸入圖像和區(qū)域信息，混合比率計(jì)算器104產(chǎn)生快門(mén)時(shí)間內(nèi)的移動(dòng)矢量和表示對(duì)應(yīng)于該快門(mén)時(shí)間內(nèi)移動(dòng)矢量的像素或者圖像目標(biāo)的位置信息，并且將該快門(mén)時(shí)間內(nèi)的移動(dòng)矢量和其位置信息提供給移動(dòng)模糊調(diào)節(jié)單元107。通過(guò)混合比率計(jì)算器104獲得的快門(mén)時(shí)間內(nèi)移動(dòng)矢量的幅值代表快門(mén)時(shí)間內(nèi)的移動(dòng)量v。
前景/背景分離器105基于多個(gè)幀的像素值、區(qū)域信息和混合比率α提取僅僅由前景分量構(gòu)成的前景分量圖像，和將該前景分量圖像提供給移動(dòng)模糊調(diào)節(jié)單元107。
基于從前景/背景分離器105提供的前景分量圖像、從混合比率計(jì)算器104提供的快門(mén)時(shí)間內(nèi)移動(dòng)矢量、以及從區(qū)域指定單元103提供的區(qū)域信息，移動(dòng)模糊調(diào)節(jié)單元107調(diào)節(jié)在前景分量圖像中包含的移動(dòng)模糊量，并且然后輸出其中移動(dòng)模糊被調(diào)節(jié)的前景分量圖像。
參考圖24A到25B說(shuō)明用于通過(guò)移動(dòng)模糊調(diào)節(jié)單元107調(diào)節(jié)前景分量圖像中的移動(dòng)模糊的處理。
圖24A和24B是表示在調(diào)節(jié)移動(dòng)模糊之前的前景分量圖像和要被合成的背景圖像。圖24A中，A表示前景分量圖像，B表示快門(mén)時(shí)間內(nèi)的移動(dòng)量。圖24B中，C表示要被合成的背景圖像。
通過(guò)下述例子進(jìn)行說(shuō)明，這里前景分量圖像的幀間隔時(shí)間是與要被組合的背景圖像的幀間隔時(shí)間一樣長(zhǎng)，前景分量圖像的快門(mén)時(shí)間是幀間隔時(shí)間的一半，以及背景圖像的快門(mén)時(shí)間是與幀間隔時(shí)間一樣長(zhǎng)。
如圖24A中表示，由于快門(mén)時(shí)間較短，與快門(mén)時(shí)間是與幀間隔時(shí)間一樣長(zhǎng)的情況相比，前景分量圖像的快門(mén)時(shí)間內(nèi)移動(dòng)量較小。因此，如果前景分量圖像在不調(diào)節(jié)移動(dòng)模糊量的情況下與背景圖像合成，則合成的圖像對(duì)觀察者看上去是不自然的。
因此，如圖25A和25B中表示，移動(dòng)模糊調(diào)節(jié)單元107根據(jù)快門(mén)時(shí)間的長(zhǎng)度和幀間隔時(shí)間的長(zhǎng)度調(diào)節(jié)前景分量圖像的快門(mén)時(shí)間內(nèi)移動(dòng)量即移動(dòng)模糊量。圖25A中，A表示前景分量圖像，B表示快門(mén)時(shí)間內(nèi)的移動(dòng)量。圖25B中，C表示要被合成的背景圖像。
因此，在前景分量圖像中和在背景分量圖像中包括的移動(dòng)模糊量變成相等，使得通過(guò)合成前景分量圖像和背景圖像獲得的合成圖像對(duì)觀察者看上去是自然的。
下面參考圖26的流程圖說(shuō)明通過(guò)圖像處理設(shè)備完成的用于調(diào)節(jié)移動(dòng)模糊量的處理。在步驟S11，區(qū)域指定單元103基于輸入圖像執(zhí)行區(qū)域規(guī)定處理，用于產(chǎn)生表示輸入圖像的每個(gè)像素是屬于前景區(qū)域、背景區(qū)域、遮蓋背景區(qū)域或者未遮蓋背景區(qū)域之哪一個(gè)的區(qū)域信息。下面給出區(qū)域規(guī)定處理的細(xì)節(jié)。區(qū)域指定單元103將所產(chǎn)生的區(qū)域信息提供給混合比率計(jì)算器104。
在步驟S11，區(qū)域指定單元103可以基于輸入圖像產(chǎn)生表示輸入圖像的每個(gè)像素是屬于前景區(qū)域、背景區(qū)域、或者混合區(qū)域(與每個(gè)像素是否屬于遮蓋背景區(qū)域或者未遮蓋背景區(qū)域無(wú)關(guān))之哪一個(gè)的區(qū)域信息。在這種情況下，前景/背景分離器105和移動(dòng)模糊調(diào)節(jié)單元107基于快門(mén)時(shí)間內(nèi)移動(dòng)矢量或者幀間移動(dòng)矢量的方向確定混合區(qū)域是遮蓋背景區(qū)域還是未遮蓋背景區(qū)域。例如，如果輸入圖像在快門(mén)時(shí)間內(nèi)移動(dòng)矢量或者幀間移動(dòng)矢量的方向上被布置成前景區(qū)域、混合區(qū)域和背景區(qū)域的順序，則確定該混合區(qū)域是遮蓋背景區(qū)域。如果輸入圖像在快門(mén)時(shí)間內(nèi)移動(dòng)矢量或者幀間移動(dòng)矢量的方向上被布置成背景區(qū)域、混合區(qū)域和前景區(qū)域的順序，則確定該混合區(qū)域是未遮蓋背景區(qū)域。
在步驟S12，混合比率計(jì)算器104基于輸入圖像和區(qū)域信息計(jì)算在混合區(qū)域中包含的每個(gè)像素的混合比率α和快門(mén)時(shí)間內(nèi)移動(dòng)矢量。下面給出用于計(jì)算混合比率α和快門(mén)時(shí)間內(nèi)移動(dòng)矢量的處理的細(xì)節(jié)?；旌媳嚷视?jì)算器104將計(jì)算的混合比率α提供給前景/背景分離器105和合成器108，并且將快門(mén)時(shí)間內(nèi)移動(dòng)矢量提供給快門(mén)時(shí)間計(jì)算器106和移動(dòng)模糊調(diào)節(jié)單元107。
在步驟S13，快門(mén)時(shí)間計(jì)算器106基于從移動(dòng)檢測(cè)器102提供的幀間移動(dòng)矢量和其位置信息以及從混合比率計(jì)算器104提供的快門(mén)時(shí)間內(nèi)移動(dòng)矢量和其位置信息計(jì)算快門(mén)時(shí)間?？扉T(mén)時(shí)間計(jì)算器106將所計(jì)算的快門(mén)時(shí)間提供給移動(dòng)模糊調(diào)節(jié)單元107。
在步驟S14，前景/背景分離器105基于區(qū)域信息和混合比率α從輸入圖像中提取前景分量，和將前景分量提供給移動(dòng)模糊調(diào)節(jié)單元107，作為前景分量圖像。
在步驟S15，移動(dòng)模糊調(diào)節(jié)單元107基于快門(mén)時(shí)間內(nèi)移動(dòng)矢量和區(qū)域信息產(chǎn)生表示在移動(dòng)方向上布置的和屬于未遮蓋背景區(qū)域、前景區(qū)域和遮蓋背景區(qū)域之任何一個(gè)的連續(xù)像素的位置的處理單位?；谠摽扉T(mén)時(shí)間，移動(dòng)模糊調(diào)節(jié)單元107調(diào)節(jié)在對(duì)應(yīng)于該處理單位之前景分量中包含的移動(dòng)模糊量。移動(dòng)模糊調(diào)節(jié)單元107將其中移動(dòng)模糊被調(diào)節(jié)的前景分量提供給合成器108。下面給出用于調(diào)節(jié)移動(dòng)模糊量的處理的細(xì)節(jié)。
在步驟S16，圖像處理設(shè)備確定該處理是否在整個(gè)屏幕完成。如果其確定該處理沒(méi)在整個(gè)屏幕中完成，則處理返回到步驟S15，并且重復(fù)對(duì)應(yīng)于該處理單位的用于調(diào)節(jié)該前景分量的移動(dòng)模糊量的處理。
如果在步驟S16確定該處理在整個(gè)屏幕中完成，則處理前進(jìn)到步驟S17，其中合成器108基于從區(qū)域指定單元103提供的區(qū)域信息和從混合比率計(jì)算器104提供的混合比率，將輸入到圖像處理設(shè)備的某個(gè)背景圖像與從移動(dòng)模糊調(diào)節(jié)單元107提供的、其中移動(dòng)模糊被調(diào)節(jié)的前景分量圖像進(jìn)行合成，以及而后退出該處理。
在這種方式下，圖像處理設(shè)備能夠調(diào)節(jié)在前景中包含的移動(dòng)模糊量和將所得圖像與希望的背景圖像合成。即，圖像處理設(shè)備能夠調(diào)節(jié)在表示前景像素的像素值的采樣數(shù)據(jù)中包含的移動(dòng)模糊量。
下面說(shuō)明區(qū)域指定單元103，混合比率計(jì)算器104，前景/背景分離器105和移動(dòng)模糊調(diào)節(jié)單元107的每一個(gè)的結(jié)構(gòu)。
圖27是表示區(qū)域指定單元103結(jié)構(gòu)例子的方框圖。幀存儲(chǔ)器201以幀為單位存儲(chǔ)輸入圖像。當(dāng)要被處理的圖像是幀#n時(shí)，幀存儲(chǔ)器201存儲(chǔ)幀#n-2，其是在幀#n之前兩個(gè)幀的幀，存儲(chǔ)幀#n-1，其是在幀#n之前一個(gè)幀的幀，存儲(chǔ)幀#n，存儲(chǔ)在幀#n之后一個(gè)幀的幀即幀#n+1，存儲(chǔ)在幀#n之后兩個(gè)幀的幀即幀#n+2。
固定/移動(dòng)確定部分202-1從幀存儲(chǔ)器201讀出幀#n+2的像素的像素值，其位于其中該像素屬于的區(qū)域被確定的幀#n的指定像素的相同位置，以及讀出位于與幀#n的指定像素相同位置的幀#n+1的像素的像素值，并且計(jì)算在所讀出像素值之間的差別的絕對(duì)值。固定/移動(dòng)確定部分202-1確定在幀#n+2的像素值和幀#n+1的像素值之間的差別的絕對(duì)值是否大于預(yù)先設(shè)置的閾值Th。如果確定出該差別大于閾值Th，則表示“移動(dòng)”的固定/移動(dòng)確定被提供給區(qū)域確定部分203-1。如果確定出在幀#n+2的像素的像素值和幀#n+1的像素的像素值之間的差別的絕對(duì)值小于或者等于閾值Th，固定/移動(dòng)確定部分202-1將表示“固定”的固定/移動(dòng)確定提供給區(qū)域確定部分203-1。
固定/移動(dòng)確定部分202-2從幀存儲(chǔ)器201讀出其中該像素屬于的區(qū)域被確定的幀#n的指定像素的像素值，以及讀出位于與幀#n的指定像素相同位置的幀#n+1的像素的像素值，并且計(jì)算在像素值之間的差別的絕對(duì)值。固定/移動(dòng)確定部分202-2確定在幀#n+1的像素值和幀#n的像素值之間的差別的絕對(duì)值是否大于預(yù)先設(shè)置的閾值Th。如果確定出在像素值之間的差別的絕對(duì)值大于閾值Th，則表示“移動(dòng)”的固定/移動(dòng)確定被提供給區(qū)域確定部分203-1和區(qū)域確定部分203-2。如果確定出在幀#n+1的像素的像素值和幀#n的像素的像素值之間的差別的絕對(duì)值小于或者等于閾值Th，固定/移動(dòng)確定部分202-2將表示“固定”的固定/移動(dòng)確定提供給區(qū)域確定部分203-1和區(qū)域確定部分203-2。
固定/移動(dòng)確定部分202-3從幀存儲(chǔ)器201讀出其中該像素屬于的區(qū)域被確定的幀#n的指定像素的像素值，以及讀出位于與幀#n的指定像素相同位置的幀#n-1的像素的像素值，并且計(jì)算在像素值之間的差別的絕對(duì)值。固定/移動(dòng)確定部分202-3確定在幀#n的像素值和幀#n-1的像素值之間的差別的絕對(duì)值是否大于預(yù)先設(shè)置的閾值Th。如果確定出在像素值之間的差別的絕對(duì)值大于閾值Th，則表示“移動(dòng)”的固定/移動(dòng)確定被提供給區(qū)域確定部分203-2和區(qū)域確定部分203-3。如果確定出在幀#n的像素的像素值和幀#n-1的像素的像素值之間的差別的絕對(duì)值小于或者等于閾值Th，固定/移動(dòng)確定部分202-3將表示“固定”的固定/移動(dòng)確定提供給區(qū)域確定部分203-2和區(qū)域確定部分203-3。
固定/移動(dòng)確定部分202-4從幀存儲(chǔ)器201讀出其中該像素屬于的區(qū)域被確定的位于與幀#n的指定像素相同位置的幀#n-1的像素的像素值，以及讀出位于與幀#n的指定像素相同位置的幀#n-2的像素的像素值，并且計(jì)算在像素值之間的差別的絕對(duì)值。固定/移動(dòng)確定部分202-4確定在幀#n-1的像素值和幀#n-2的像素值之間的差別的絕對(duì)值是否大于預(yù)先設(shè)置的閾值Th。如果確定出在像素值之間的差別的絕對(duì)值大于閾值Th，則表示“移動(dòng)”的固定/移動(dòng)確定被提供給區(qū)域確定部分203-3。如果確定出在幀#n-1的像素的像素值和幀#n-2的像素的像素值之間的差別的絕對(duì)值小于或者等于閾值Th，固定/移動(dòng)確定部分202-4將表示“固定”的固定/移動(dòng)確定提供給區(qū)域確定部分203-3。
當(dāng)從固定/移動(dòng)確定部分202-1提供的固定/移動(dòng)確定表示“固定”時(shí)和當(dāng)從固定/移動(dòng)確定部分202-2提供的固定/移動(dòng)確定表示“移動(dòng)”時(shí)，區(qū)域確定部分203-1確定幀#n的指定像素屬于未遮蓋背景區(qū)域，并且在與指定像素相關(guān)的未遮蓋背景區(qū)域確定標(biāo)志中設(shè)置“1”，其表示指定像素屬于未遮蓋背景區(qū)域。
當(dāng)從固定/移動(dòng)確定部分202-1提供的固定/移動(dòng)確定表示“移動(dòng)”時(shí)或者當(dāng)從固定/移動(dòng)確定部分202-2提供的固定/移動(dòng)確定表示“固定”時(shí)，區(qū)域指定單元203-1確定幀#n的指定像素不屬于未遮蓋背景區(qū)域，并且在與指定像素相關(guān)的未遮蓋背景區(qū)域確定標(biāo)志中設(shè)置“0”，其表示指定像素不屬于未遮蓋背景區(qū)域。
區(qū)域確定部分203-1將上述的其中被設(shè)置為“1”或者“0”的未遮蓋背景區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204。
當(dāng)從固定/移動(dòng)確定部分202-2提供的固定/移動(dòng)確定表示“固定”時(shí)和當(dāng)從固定/移動(dòng)確定部分202-3提供的固定/移動(dòng)確定表示“固定”時(shí)，區(qū)域確定部分203-2確定幀#n的指定像素屬于固定區(qū)域，并且在與指定像素相關(guān)的固定區(qū)域確定標(biāo)志中設(shè)置“1”，其表示該像素屬于固定區(qū)域。
當(dāng)從固定/移動(dòng)確定部分202-2提供的固定/移動(dòng)確定表示“移動(dòng)”時(shí)或者當(dāng)從固定/移動(dòng)確定部分202-3提供的固定/移動(dòng)確定表示“移動(dòng)”時(shí)，區(qū)域確定部分203-2確定幀#n的指定像素不屬于固定區(qū)域，并且在與指定像素相關(guān)的固定區(qū)域確定標(biāo)志中設(shè)置“0”，其表示該像素不屬于固定區(qū)域。
區(qū)域確定部分203-2將上述的其中被設(shè)置為“1”或者“0”的固定區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204。
當(dāng)從固定/移動(dòng)確定部分202-2提供的固定/移動(dòng)確定表示“移動(dòng)”時(shí)和當(dāng)從固定/移動(dòng)確定部分202-3提供的固定/移動(dòng)確定表示“移動(dòng)”時(shí)，區(qū)域確定部分203-2確定幀#n的指定像素屬于移動(dòng)區(qū)域，并且在與指定像素相關(guān)的移動(dòng)區(qū)域確定標(biāo)志中設(shè)置“1”，其表示該指定像素屬于移動(dòng)區(qū)域。
當(dāng)從固定/移動(dòng)確定部分202-2提供的固定/移動(dòng)確定表示“固定”時(shí)或者當(dāng)從固定/移動(dòng)確定部分202-3提供的固定/移動(dòng)確定表示“固定”時(shí)，區(qū)域確定部分203-2確定幀#n的指定像素不屬于移動(dòng)區(qū)域，并且在與指定像素相關(guān)的移動(dòng)區(qū)域確定標(biāo)志中設(shè)置“0”，其表示該像素不屬于移動(dòng)區(qū)域。
區(qū)域確定部分203-2將上述的其中被設(shè)置為“1”或者“0”的移動(dòng)區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204。
當(dāng)從固定/移動(dòng)確定部分202-3提供的固定/移動(dòng)確定表示“移動(dòng)”時(shí)和當(dāng)從固定/移動(dòng)確定部分202-4提供的固定/移動(dòng)確定表示“固定”時(shí)，區(qū)域確定部分203-3確定幀#n的指定像素屬于遮蓋背景區(qū)域，并且在與指定像素相關(guān)的遮蓋背景區(qū)域確定標(biāo)志中設(shè)置“1”，其表示指定像素屬于遮蓋背景區(qū)域。
當(dāng)從固定/移動(dòng)確定部分202-3提供的固定/移動(dòng)確定表示“固定”時(shí)或者當(dāng)從固定/移動(dòng)確定部分202-4提供的固定/移動(dòng)確定表示“移動(dòng)”時(shí)，區(qū)域確定部分203-3確定幀#n的指定像素不屬于遮蓋背景區(qū)域，并且在與指定像素相關(guān)的遮蓋背景區(qū)域確定標(biāo)志中設(shè)置“0”，其表示指定像素不屬于遮蓋背景區(qū)域。
區(qū)域確定部分203-3將上述的其中被設(shè)置為“1”或者“0”的遮蓋背景區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204。
確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204因此存儲(chǔ)從區(qū)域確定部分203-1提供的未遮蓋背景區(qū)域確定標(biāo)志、從區(qū)域確定部分203-2提供的固定區(qū)域確定標(biāo)志、從區(qū)域確定部分203-2提供的移動(dòng)區(qū)域確定標(biāo)志以及從區(qū)域確定部分203-3提供的遮蓋背景區(qū)域確定標(biāo)志。
確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204將其中存儲(chǔ)的未遮蓋背景區(qū)域確定標(biāo)志、固定區(qū)域確定標(biāo)志、移動(dòng)區(qū)域確定標(biāo)志、以及遮蓋背景區(qū)域確定標(biāo)志提供給合成器205。合成器205基于從確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204提供的未遮蓋背景區(qū)域確定標(biāo)志、固定區(qū)域確定標(biāo)志、移動(dòng)區(qū)域確定標(biāo)志、以及遮蓋背景區(qū)域確定標(biāo)志來(lái)產(chǎn)生表示每個(gè)像素是屬于未遮蓋背景區(qū)域、固定區(qū)域、移動(dòng)區(qū)域或者遮蓋背景區(qū)域的哪一個(gè)的區(qū)域信息，并且將該區(qū)域信息提供給確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器206。
確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器206存儲(chǔ)從合成器205提供的區(qū)域信息，并且也輸出其中存儲(chǔ)的區(qū)域信息。
下面參考圖28到32說(shuō)明在幀間隔時(shí)間與快門(mén)時(shí)間一樣長(zhǎng)的情況下由區(qū)域指定單元103完成的處理的例子。
當(dāng)對(duì)應(yīng)于前景的目標(biāo)是移動(dòng)的時(shí)，對(duì)應(yīng)于屏幕上目標(biāo)的圖像的位置在每幀中變化。如圖28中表示，對(duì)應(yīng)于幀#n中位于由Yn(x，y)表示的位置的目標(biāo)的圖像被定位在幀#n+1中的Yn+1(x，y)，其在幀#n之后。
圖22中表示了通過(guò)在時(shí)間方向擴(kuò)展在對(duì)應(yīng)于前景目標(biāo)的圖像的移動(dòng)方向上被并排排列的像素的像素值而獲得的模型。例如，如果對(duì)應(yīng)于前景目標(biāo)的圖像的移動(dòng)方向是關(guān)于屏幕為水平的，則圖29中表示的模型是通過(guò)在時(shí)間方向擴(kuò)展在并排的線上所布置的像素的像素值而獲得的模型。
圖29中，幀#n中的線等于幀#n+1中的線。
對(duì)應(yīng)于幀#n中左起第二像素到第十三像素中包含的目標(biāo)的前景分量被包含在幀#n+1中左起第六像素到第十七像素中。
幀#n中，屬于遮蓋背景區(qū)域的像素是左起的第十一到第十三像素，屬于未遮蓋背景區(qū)域的像素是左起的第二到第四像素。幀#n+1中，屬于遮蓋背景區(qū)域的像素是左起的第十五到第十七像素，屬于未遮蓋背景區(qū)域的像素是左起的第六到第八像素。
在圖29表示的例子中，由于在幀#n中包含的前景分量移動(dòng)使得其被包括在四個(gè)像素中，快門(mén)時(shí)間內(nèi)移動(dòng)量v是4。有效分割部分的數(shù)目根據(jù)該快門(mén)時(shí)間內(nèi)移動(dòng)量v也為4。
下面的說(shuō)明給出在指定幀之前和之后的幀中屬于混合區(qū)域的像素的像素值的變化。
圖30中，屬于其中背景是固定的并且前景中快門(mén)時(shí)間內(nèi)移動(dòng)量v是4的幀#n中遮蓋背景區(qū)域的像素是左起的第十五到第十七像素。由于快門(mén)時(shí)間內(nèi)移動(dòng)量v是4，前幀#n-1中左起的第十五到第十七幀僅僅包含背景分量和屬于背景區(qū)域。是幀#n-1之前一幀的幀#n-2中左起的第十五到第十七像素僅僅包含背景分量和屬于背景區(qū)域。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，幀#n-1中左起第十五像素的像素值與在幀#n-2中左起第十五像素的像素值不變化。類似地，幀#n-1中左起第十六像素的像素值與在幀#n-2中左起第十六像素的像素值不變化，和幀#n-1中左起第十七像素的像素值與在幀#n-2中左起第十七像素的像素值不變化。
即，對(duì)應(yīng)于屬于幀#n中遮蓋背景區(qū)域的像素的幀#n-1和幀#n-2中的像素僅僅是由背景分量構(gòu)成的，并且其像素值不改變。因此，像素值之間差別的絕對(duì)值幾乎為0。因此，通過(guò)固定/移動(dòng)確定部分202-4為對(duì)應(yīng)于屬于幀#n中混合區(qū)域的像素的幀#n-1和幀#n-2中的像素而做的固定/移動(dòng)確定是“固定”。
由于屬于幀#n中遮蓋背景區(qū)域的像素包含前景分量，其像素值與僅僅由背景分量構(gòu)成的幀#n-1的像素值是不同的。因此，通過(guò)固定/移動(dòng)確定部分202-3為屬于幀#n中混合區(qū)域的像素和幀#n-1中對(duì)應(yīng)像素而做的固定/移動(dòng)確定是“移動(dòng)”的。
當(dāng)表示“移動(dòng)”的固定/移動(dòng)確定結(jié)果被從固定/移動(dòng)確定部分202-3提供時(shí)，和當(dāng)表示“固定”的固定/移動(dòng)確定結(jié)果被從固定/移動(dòng)確定部分202-4提供時(shí)，如上述，區(qū)域確定部分203-3確定該對(duì)應(yīng)像素屬于遮蓋背景區(qū)域。
圖31中，在其中背景是固定的和前景中快門(mén)時(shí)間內(nèi)移動(dòng)量v是4的幀#n中，在未遮蓋背景區(qū)域中包含的像素是左起的第二到第四像素。由于幀間隔時(shí)間是與快門(mén)時(shí)間一樣長(zhǎng)和快門(mén)時(shí)間內(nèi)移動(dòng)量v是4，隨后幀#n+1中左起的第二到第四像素僅僅包含背景分量和屬于背景區(qū)域。在幀#n+2中，其在幀#n+1的后面，左起的第二到第四像素僅僅包含背景分量和屬于背景區(qū)域。
由于對(duì)應(yīng)于背景的目標(biāo)是固定的，幀#n+2中左起第二像素的像素值與在幀#n+1中左起第二像素的像素值不變化。類似地，幀#n+2中左起第三像素的像素值與在幀#n+1中左起第三像素的像素值不變化，和幀#n+2中左起第四像素的像素值與在幀#n+1中左起第四像素的像素值不變化。
即，對(duì)應(yīng)于屬于幀#n中未遮蓋背景區(qū)域的像素的幀#n+1和幀#n+2中的像素僅僅是由背景分量構(gòu)成的，并且其像素值不改變。因此，像素值之間差別的絕對(duì)值幾乎為0。因此，通過(guò)固定/移動(dòng)確定部分202-1為對(duì)應(yīng)于屬于幀#n中混合區(qū)域的像素的幀#n+1和幀#n+2中的像素而做的固定/移動(dòng)確定是“固定”。
由于屬于幀#n未遮蓋背景區(qū)域的像素包含前景分量，其像素值與僅僅由背景分量構(gòu)成的幀#n+1的像素值是不同的。因此，通過(guò)固定/移動(dòng)確定部分202-2為屬于幀#n中混合區(qū)域的像素和幀#n+1中對(duì)應(yīng)像素而做的固定/移動(dòng)確定是“移動(dòng)”的。
當(dāng)表示“移動(dòng)”的固定/移動(dòng)確定結(jié)果被從固定/移動(dòng)確定部分202-2提供時(shí)，和當(dāng)表示“固定”的固定/移動(dòng)確定結(jié)果被從固定/移動(dòng)確定部分202-1提供時(shí)，如上述，區(qū)域確定部分203-1確定該對(duì)應(yīng)像素屬于未遮蓋背景區(qū)域。
圖32表示由區(qū)域指定單元103做的用于幀#n的確定條件。當(dāng)對(duì)位于與要被處理的幀#n中像素的相同圖像位置的幀#n-2中像素和對(duì)位于與幀#n中像素的相同位置的幀#n-1中像素的確定結(jié)果是固定的時(shí)，和當(dāng)對(duì)幀#n中像素和位于與幀#n中像素的相同圖像位置的幀#n-1中像素的確定結(jié)果是移動(dòng)的時(shí)，區(qū)域指定單元103確定幀#n中像素屬于遮蓋背景區(qū)域。
當(dāng)對(duì)幀#n中像素和位于與幀#n中像素的相同圖像位置的幀#n-1中像素的確定結(jié)果是固定的時(shí)，和當(dāng)對(duì)幀#n中像素和位于與幀#n中像素的相同圖像位置的幀#n+1中像素的確定結(jié)果是固定的時(shí)，區(qū)域指定單元103確定幀#n中像素屬于固定區(qū)域。
當(dāng)對(duì)幀#n中像素和位于與幀#n中像素的相同圖像位置的幀#n-1中像素的確定結(jié)果是移動(dòng)的時(shí)，和當(dāng)對(duì)幀#n中像素和位于與幀#n中像素的相同圖像位置的幀#n+1中像素的確定結(jié)果是移動(dòng)的時(shí)，區(qū)域指定單元103確定幀#n中像素屬于移動(dòng)區(qū)域。
當(dāng)對(duì)幀#n中像素和位于與幀#n中像素的相同圖像位置的幀#n+1中像素的確定結(jié)果是移動(dòng)的時(shí)，和當(dāng)對(duì)位于與幀#n中像素的相同圖像位置的幀#n+1中像素和位于與幀#n中像素的相同圖像位置的幀#n+2中像素的確定結(jié)果是固定的時(shí)，區(qū)域指定單元103確定幀#n中像素屬于未遮蓋背景區(qū)域。
圖33A到33D表示通過(guò)區(qū)域指定單元103獲得的區(qū)域確定結(jié)果的例子。圖33A中，被確定為屬于遮蓋背景區(qū)域的像素是用白色表示。圖33B中，被確定為屬于未遮蓋背景區(qū)域的像素是用白色表示。
圖33C中，被確定為屬于移動(dòng)區(qū)域的像素是用白色表示。圖33D中，被確定為屬于固定區(qū)域的像素是用白色表示。
圖34說(shuō)明表示從確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器206輸出的區(qū)域信息中選擇的呈圖像形式的混合區(qū)域的區(qū)域信息。圖34中，被確定為屬于遮蓋背景區(qū)域或者未遮蓋背景區(qū)域的像素即被確定為屬于混合區(qū)域的像素是用白色表示。表示從確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器206輸出的混合區(qū)域的區(qū)域信息指定混合區(qū)域和由沒(méi)有前景區(qū)域中的紋理(texture)的部分包圍的、具有紋理的部分。
下面參考圖35的流程圖說(shuō)明由區(qū)域指定單元103完成的區(qū)域規(guī)定處理。在步驟S201，幀存儲(chǔ)器201獲得包括幀#n的幀#n-2到幀#n+2的圖像。
在步驟S202，固定/移動(dòng)確定部分202-3確定對(duì)于幀#n-1中像素和位于相同位置的幀#n中像素的確定結(jié)果是否是固定的。如果確定出該確定結(jié)果是固定的，則處理前進(jìn)到步驟S203，其中固定/移動(dòng)確定部分202-2確定對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是否是固定的。
如果在步驟S203確定出對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是固定的話，則處理前進(jìn)到步驟S204。在步驟S204，區(qū)域確定部分203-2在與要被處理的像素相關(guān)的固定區(qū)域確定標(biāo)志中設(shè)置“1”，其表示要被處理的像素屬于固定區(qū)域。區(qū)域確定部分203-2將該固定區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204，并且該處理前進(jìn)到步驟S205。
如果在步驟S202確定出對(duì)于位于相同位置的幀#n-1中的像素和幀#n中的像素的確定結(jié)果是移動(dòng)的話，或者如果在步驟S203確定出對(duì)于位于相同位置的幀#n中像素和幀#n+1中像素的確定結(jié)果是移動(dòng)的話，則要被處理的像素不屬于固定區(qū)域。因此，步驟S204的處理被跳過(guò)，處理前進(jìn)到步驟S205。
在步驟S205，固定/移動(dòng)確定部分202-3確定對(duì)于位于相同位置的幀#n-1中像素和幀#n中像素的確定結(jié)果是否是移動(dòng)的。如果確定出該確定結(jié)果是移動(dòng)的，則處理前進(jìn)到步驟S206，其中固定/移動(dòng)確定部分202-2確定對(duì)于位于相同位置的幀#n中像素和幀#n+1中像素的確定結(jié)果是否是移動(dòng)的。
如果在步驟S206確定出對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是移動(dòng)的話，則處理前進(jìn)到步驟S207。在步驟S207，區(qū)域確定部分203-2在與要被處理像素相關(guān)的移動(dòng)區(qū)域確定標(biāo)志中設(shè)置“1”，其表示要被處理的像素屬于移動(dòng)區(qū)域。區(qū)域確定部分203-2將該移動(dòng)區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204，并且該處理前進(jìn)到步驟S208。
如果在步驟S205確定出對(duì)于位于相同位置的幀#n-1中像素和幀#n中像素的確定結(jié)果是固定的話，或者如果在步驟S206確定出對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是固定的話，則幀#n中的像素不屬于移動(dòng)區(qū)域。因此，步驟S207的處理被跳過(guò)，處理前進(jìn)到步驟S208。
在步驟S208，固定/移動(dòng)確定部分202-4確定對(duì)于位于相同位置的幀#n-2中像素和幀#n-1中像素的確定結(jié)果是否是固定的。如果確定出該確定結(jié)果是固定的，則處理前進(jìn)到步驟S209，其中，固定/移動(dòng)確定部分202-3確定對(duì)于幀#n-1中像素和位于相同位置的幀#n中像素的確定結(jié)果是否是移動(dòng)的。
如果在步驟S209確定出對(duì)于幀#n-1中像素和位于相同位置的幀#n中像素的確定結(jié)果是移動(dòng)的話，則處理前進(jìn)到步驟S210。在步驟S210，區(qū)域確定部分203-3在與要被處理像素相關(guān)的遮蓋背景區(qū)域確定標(biāo)志中設(shè)置“1”，其表示要被處理像素屬于遮蓋背景區(qū)域。區(qū)域確定部分203-3將該遮蓋背景區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204，并且處理前進(jìn)到步驟S211。
如果在步驟S208確定出對(duì)于幀#n-2中像素和位于相同位置的幀#n-1中像素的確定結(jié)果是移動(dòng)的話，或者如果在步驟S209確定出對(duì)于幀#n-1中像素和位于相同位置的幀#n中像素的確定結(jié)果是固定的話，則幀#n中的像素不屬于遮蓋背景區(qū)域。因此，步驟S210的處理被跳過(guò)，處理前進(jìn)到步驟S211。
在步驟S211，固定/移動(dòng)確定部分202-2確定對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是否是移動(dòng)的。如果在步驟S211確定出該確定結(jié)果是移動(dòng)的，則處理前進(jìn)到步驟S212，其中固定/移動(dòng)確定部分202-1確定對(duì)于幀#n+1中像素和位于相同位置的幀#n+2中像素的確定結(jié)果是否是固定的。
如果在步驟S212確定出對(duì)于幀#n+1中像素和位于相同位置的幀#n+2中像素的確定結(jié)果是固定的話，則處理前進(jìn)到步驟S213。在步驟S213，區(qū)域確定部分203-1在與要被處理像素相關(guān)的未遮蓋背景區(qū)域確定標(biāo)志中設(shè)置“1”，其表示要被處理像素屬于未遮蓋背景區(qū)域。區(qū)域確定部分203-1將該未遮蓋背景區(qū)域確定標(biāo)志提供給確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204，并且處理前進(jìn)到步驟S214。
如果在步驟S211確定出對(duì)于幀#n中像素和位于相同位置的幀#n+1中像素的確定結(jié)果是固定的話，或者如果在步驟S212確定出對(duì)于幀#n+1中像素和幀#n+2中像素的確定結(jié)果是移動(dòng)的話，則幀#n中的像素不屬于未遮蓋背景區(qū)域。因此，步驟S213的處理被跳過(guò)，處理前進(jìn)到步驟S214。
在步驟S214，區(qū)域指定單元103確定幀#n中所有像素的區(qū)域是否被規(guī)定。如果確定出不是幀#n中所有像素的區(qū)域都被規(guī)定了，則處理返回到步驟S202，并且對(duì)剩余像素重復(fù)該區(qū)域規(guī)定處理。
如果在步驟S214確定出幀#n中所有像素的區(qū)域被規(guī)定，處理前進(jìn)到步驟S215。在步驟S215，合成器215基于在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204中存儲(chǔ)的未遮蓋背景區(qū)域確定標(biāo)志和遮蓋背景區(qū)域確定標(biāo)志產(chǎn)生表示混合區(qū)域的區(qū)域信息，并且還產(chǎn)生表示每個(gè)像素屬于未遮蓋背景區(qū)域、固定區(qū)域、移動(dòng)區(qū)域或者遮蓋背景區(qū)域中哪一個(gè)的區(qū)域信息，以及在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器206中設(shè)置所產(chǎn)生的區(qū)域信息。處理然后結(jié)束。
如上述，區(qū)域指定單元103能夠產(chǎn)生區(qū)域信息，其表示幀中包含的每個(gè)像素屬于移動(dòng)區(qū)域、固定區(qū)域、未遮蓋背景區(qū)域、或者遮蓋背景區(qū)域的哪一個(gè)。
區(qū)域指定單元103可以將邏輯或施加到對(duì)應(yīng)于未遮蓋背景區(qū)域的區(qū)域信息和對(duì)應(yīng)于遮蓋背景區(qū)域的區(qū)域信息以便產(chǎn)生對(duì)應(yīng)于混合區(qū)域的區(qū)域信息，并且然后可以產(chǎn)生由標(biāo)志構(gòu)成的區(qū)域信息，該標(biāo)志表示幀中包含的單個(gè)像素屬于移動(dòng)區(qū)域、固定區(qū)域、或者混合區(qū)域中的哪一個(gè)。
當(dāng)對(duì)應(yīng)于前景的目標(biāo)具有紋理(texture)時(shí)，區(qū)域指定單元103能夠更精確地規(guī)定移動(dòng)區(qū)域。
區(qū)域指定單元103能夠?qū)⒈硎疽苿?dòng)區(qū)域的區(qū)域信息作為表示前景區(qū)域的區(qū)域信息輸出，和將表示固定區(qū)域的區(qū)域信息作為表示背景區(qū)域的區(qū)域信息輸出。
假設(shè)對(duì)應(yīng)于背景的目標(biāo)是固定的已經(jīng)說(shuō)明了本實(shí)施例。但是，即使對(duì)應(yīng)于背景區(qū)域的圖像包含移動(dòng)，上述區(qū)域規(guī)定處理也能夠被應(yīng)用。例如，如果對(duì)應(yīng)于背景區(qū)域的圖像是均勻移動(dòng)的，區(qū)域指定單元103根據(jù)該移動(dòng)來(lái)移位整個(gè)圖像，并且以類似于其中對(duì)應(yīng)于背景的目標(biāo)是固定的情況的方式來(lái)完成處理。如果對(duì)應(yīng)于背景區(qū)域的圖像包含局部不同的移動(dòng)，區(qū)域指定單元103選擇對(duì)應(yīng)于該移動(dòng)的像素和執(zhí)行上述處理。
圖36是表示區(qū)域指定單元103的結(jié)構(gòu)的另一個(gè)例子的方框圖。背景圖像產(chǎn)生器301產(chǎn)生對(duì)應(yīng)于輸入圖像的背景圖像，和將所產(chǎn)生的背景圖像提供給二進(jìn)制目標(biāo)圖像提取部分302。背景圖像產(chǎn)生器301例如提取對(duì)應(yīng)于輸入圖像中包含的背景目標(biāo)的圖像目標(biāo)，并且產(chǎn)生背景圖像。
通過(guò)在時(shí)間方向上擴(kuò)展在對(duì)應(yīng)于前景目標(biāo)的圖像的移動(dòng)方向上被并排排列的像素的像素值而獲得的模型的例子被表示在圖37中。例如，如果對(duì)應(yīng)于前景目標(biāo)的圖像的移動(dòng)方向相對(duì)于屏幕為水平，則圖37中表示的模型是通過(guò)擴(kuò)展在時(shí)間域的單線上被并排布置的像素的像素值而獲得的模型。
圖37中，幀#n中的線與幀#n-1中的線和幀#n+1中的線相同。
幀#n中，對(duì)應(yīng)于左起第六像素到第十七像素中包含的目標(biāo)的前景分量被包含在幀#n-1中左起第二到第十三像素中和也被包含在幀#n+1中左起第十到第二十一像素中。
幀#n-1中，屬于遮蓋背景區(qū)域的像素是左起的第十一到第十三像素，屬于未遮蓋背景區(qū)域的像素是左起的第二到第四像素。幀#n中，屬于遮蓋背景區(qū)域的像素是左起的第十五到第十七像素，屬于未遮蓋背景區(qū)域的像素是左起的第六到第八像素。幀#n+1中，屬于遮蓋背景區(qū)域的像素是左起的第十九到第二十一像素，屬于未遮蓋背景區(qū)域的像素是左起的第十到第十二像素。
幀#n-1中，屬于背景區(qū)域的像素是左起的第一像素，和左起的第十四到第二十一像素。幀#n中，屬于背景區(qū)域的像素是左起的第一到第五像素，和左起的第十八到第二十一像素。幀#n+1中，屬于背景區(qū)域的像素是左起的第一到第九像素。
由背景圖像發(fā)生器301產(chǎn)生的對(duì)應(yīng)于圖37中表示例子的背景圖像的例子被表示在圖38中。背景圖像由對(duì)應(yīng)于背景目標(biāo)的像素構(gòu)成，不包含對(duì)應(yīng)于前景目標(biāo)的圖像分量。
二進(jìn)制目標(biāo)圖像提取部分302基于在背景圖像和輸入圖像之間的相關(guān)性產(chǎn)生二進(jìn)制目標(biāo)圖像，并且將所產(chǎn)生的二進(jìn)制目標(biāo)圖像提供給時(shí)間變化檢測(cè)器303。
圖39是表示二進(jìn)制目標(biāo)圖像提取部分302結(jié)構(gòu)的方框圖。相關(guān)值計(jì)算器321計(jì)算在從背景圖像發(fā)生器301提供的背景圖像和輸入圖像之間的相關(guān)性以便產(chǎn)生相關(guān)值，并且將所產(chǎn)生的相關(guān)值提供給閾值處理器322。
相關(guān)值計(jì)算器321將方程(4)應(yīng)用于例如如圖40A中表示的具有在中心為X4的3×3背景圖像塊和應(yīng)用于例如如圖40B中表示的對(duì)應(yīng)于背景圖像塊的具有在中心為Y4的3×3背景圖像塊，由此計(jì)算對(duì)應(yīng)于Y4的相關(guān)值。 X‾=Σi=08Xi9----(5)]]>Y‾=Σi=08Yi9----(6)]]>
相關(guān)值計(jì)算器321將上述對(duì)每個(gè)像素計(jì)算的相關(guān)值提供給閾值處理器322。
另外，相關(guān)值計(jì)算器321可以將方程(7)應(yīng)用于例如如圖41A中表示的具有在中心為X4的3×3背景圖像塊和應(yīng)用于例如如圖41B中表示的對(duì)應(yīng)于背景圖像塊的具有在中心為Y4的3×3背景圖像塊，由此計(jì)算對(duì)應(yīng)于Y4的差的絕對(duì)值。 相關(guān)值計(jì)算器321將按上述計(jì)算的差的絕對(duì)值提供給閾值處理器322作為相關(guān)值。
閾值處理器322將相關(guān)圖像的像素值與閾值th0相比較。如果相關(guān)值小于或者等于閾值th0，則1被設(shè)置在二進(jìn)制目標(biāo)圖像的像素值中。如果相關(guān)值大于閾值th0，則0被設(shè)置在二進(jìn)制目標(biāo)圖像的像素值中。閾值處理器322然后輸出其像素值被設(shè)置為0或者1的二進(jìn)制目標(biāo)圖像。閾值處理器322可以在其中預(yù)先存儲(chǔ)閾值th0，或者可以使用從外部源輸入的閾值th0。
圖42表示對(duì)應(yīng)于圖37中表示的輸入圖像模型的二進(jìn)制目標(biāo)圖像。在二進(jìn)制目標(biāo)圖像中，0被設(shè)置在與背景圖像具有較高相關(guān)性的像素的像素值中。
圖43是表示時(shí)間改變檢測(cè)器303結(jié)構(gòu)的方框圖。當(dāng)確定幀#n中像素的區(qū)域時(shí)，幀存儲(chǔ)器341存儲(chǔ)從二進(jìn)制目標(biāo)圖像提取部分302提供的幀#n-1、幀#n、和幀#n+1的二進(jìn)制目標(biāo)圖像。
區(qū)域確定部分342基于幀#n-1、幀#n、和幀#n+1的二進(jìn)制目標(biāo)圖像確定幀#n的每個(gè)像素的區(qū)域以便產(chǎn)生區(qū)域信息，并且輸出所產(chǎn)生的區(qū)域信息。
圖44表示由區(qū)域確定部分342進(jìn)行的確定。當(dāng)幀#n中二進(jìn)制目標(biāo)圖像的指定像素是0時(shí)，區(qū)域確定部分342確定幀#n中指定像素屬于背景區(qū)域。
當(dāng)幀#n中二進(jìn)制目標(biāo)圖像的指定像素是1時(shí)，和當(dāng)幀#n-1中二進(jìn)制目標(biāo)圖像的對(duì)應(yīng)像素是1時(shí)，以及當(dāng)幀#n+1中二進(jìn)制目標(biāo)圖像的對(duì)應(yīng)像素是1時(shí)，區(qū)域確定部分342確定幀#n中指定像素屬于前景區(qū)域。
當(dāng)幀#n中二進(jìn)制目標(biāo)圖像的指定像素是1時(shí)，和當(dāng)幀#n-1中二進(jìn)制目標(biāo)圖像的對(duì)應(yīng)像素是0時(shí)，區(qū)域確定部分342確定幀#n中指定像素屬于遮蓋背景區(qū)域。
當(dāng)幀#n中二進(jìn)制目標(biāo)圖像的指定像素是1時(shí)，和當(dāng)幀#n+1中二進(jìn)制目標(biāo)圖像的對(duì)應(yīng)像素是0時(shí)，區(qū)域確定部分342確定幀#n中指定像素屬于未遮蓋背景區(qū)域。
圖45表示在對(duì)應(yīng)于圖37所示輸入圖像模型的二進(jìn)制目標(biāo)圖像上通過(guò)時(shí)間改變檢測(cè)器303做的確定的例子。由于幀#n中二進(jìn)制目標(biāo)圖像的對(duì)應(yīng)像素是0，時(shí)間改變檢測(cè)器303確定幀#n中左起第一到第五像素屬于背景區(qū)域。
由于幀#n中二進(jìn)制目標(biāo)圖像的像素是1，以及幀#n+1中對(duì)應(yīng)像素是0，時(shí)間改變檢測(cè)器303確定左起第六到第九像素屬于未遮蓋背景區(qū)域。
由于幀#n中二進(jìn)制目標(biāo)圖像的像素是1，幀#n-1中對(duì)應(yīng)像素是1，以及幀#n+1中對(duì)應(yīng)像素是1，時(shí)間改變檢測(cè)器303確定左起第十到第十三像素屬于前景區(qū)域。
由于幀#n中二進(jìn)制目標(biāo)圖像的像素是1，以及幀#n-1中對(duì)應(yīng)像素是0，時(shí)間改變檢測(cè)器30 3確定左起第十四到第十七像素屬于遮蓋背景區(qū)域。
由于幀#n中二進(jìn)制目標(biāo)圖像的對(duì)應(yīng)像素是0，時(shí)間改變檢測(cè)器303確定左起第十八到第二十一像素屬于背景區(qū)域。
下面參考圖46的流程圖說(shuō)明由區(qū)域指定單元103完成的區(qū)域規(guī)定處理。在步驟S301，區(qū)域指定單元103的背景圖像發(fā)生器301基于輸入圖像提取例如對(duì)應(yīng)于輸入圖像中包含的背景目標(biāo)的圖像目標(biāo)以便產(chǎn)生背景圖像，并且將產(chǎn)生的背景圖像提供給二進(jìn)制目標(biāo)圖像提取部分302。
在步驟S302，二進(jìn)制目標(biāo)圖像提取部分302根據(jù)例如參考圖40A和40B討論的計(jì)算來(lái)計(jì)算輸入圖像和從背景圖像發(fā)生器301提供的背景圖像之間的相關(guān)值。在步驟S303，二進(jìn)制目標(biāo)圖像提取部分302通過(guò)例如將相關(guān)值與閾值th0相比較而從相關(guān)值和閾值th0計(jì)算二進(jìn)制目標(biāo)圖像。
在步驟S304，時(shí)間改變檢測(cè)器303執(zhí)行區(qū)域確定處理，并且結(jié)束該處理。
下面參考圖47的流程圖說(shuō)明步驟S304中區(qū)域確定處理的細(xì)節(jié)。在步驟S321，時(shí)間改變檢測(cè)器303的區(qū)域確定部分342確定在幀存儲(chǔ)器341中存儲(chǔ)的幀#n中指定像素是否是0。如果確定出幀#n中指定像素是0，處理前進(jìn)到步驟S322。在步驟S322，確定幀#n中指定像素屬于背景區(qū)域，并且結(jié)束處理。
如果在步驟S321確定出幀#n中指定像素是1，處理前進(jìn)到步驟S323。在步驟S323，時(shí)間改變檢測(cè)器303的區(qū)域確定部分342確定在幀存儲(chǔ)器341中存儲(chǔ)的幀#n中指定像素是否是1，以及幀#n-1中對(duì)應(yīng)像素是否是0。如果確定出幀#n中指定像素是1和幀#n-1中對(duì)應(yīng)像素是0，處理前進(jìn)到步驟S324。在步驟S324，確定幀#n中指定像素屬于遮蓋背景區(qū)域，并且結(jié)束處理。
如果在步驟323確定出幀#n中指定像素是0，或者幀#n-1中對(duì)應(yīng)像素是1，處理前進(jìn)到步驟S325。在步驟S325，時(shí)間改變檢測(cè)器303的區(qū)域確定部分342確定在幀存儲(chǔ)器341中存儲(chǔ)的幀#n中指定像素是否是1，以及幀#n+1中對(duì)應(yīng)像素是否是0。如果確定出幀#n中指定像素是1和幀#n+1中對(duì)應(yīng)像素是0，處理前進(jìn)到步驟S326。在步驟S326，確定幀#n中指定像素屬于未遮蓋背景區(qū)域，并且結(jié)束處理。
如果在步驟325確定出幀#n中指定像素是0，或者幀#n+1中對(duì)應(yīng)像素是1，處理前進(jìn)到步驟S327。在步驟S327，時(shí)間改變檢測(cè)器303的區(qū)域確定部分342確定幀#n中指定像素屬于前景區(qū)域，并且結(jié)束處理。
如上述，區(qū)域指定單元103能夠基于在輸入圖像和對(duì)應(yīng)背景圖像之間的相關(guān)值規(guī)定輸入圖像的每個(gè)像素屬于前景區(qū)域，背景區(qū)域，遮蓋背景區(qū)域，或者未遮蓋背景區(qū)域的哪一個(gè)，并且產(chǎn)生對(duì)應(yīng)于規(guī)定結(jié)果的區(qū)域信息。
圖48是表示混合比率計(jì)算器104的結(jié)構(gòu)的例子的方框圖。估算混合比率處理器401通過(guò)基于輸入圖像計(jì)算遮蓋背景區(qū)域的模型來(lái)計(jì)算每個(gè)像素的估算混合比率，和將所計(jì)算的估算混合比率提供給混合比率確定部分403。估算混合比率處理器401基于通過(guò)計(jì)算遮蓋背景區(qū)域的模型為每個(gè)像素計(jì)算的估算混合比率來(lái)計(jì)算估算移動(dòng)矢量，和將所計(jì)算的估算移動(dòng)矢量提供給混合比率確定部分403。
估算混合比率處理器402通過(guò)基于輸入圖像計(jì)算未遮蓋背景區(qū)域的模型來(lái)計(jì)算每個(gè)像素的估算混合比率，和將所計(jì)算的估算混合比率提供給混合比率確定部分403。估算混合比率處理器402基于通過(guò)計(jì)算未遮蓋背景區(qū)域的模型為每個(gè)像素計(jì)算的估算混合比率來(lái)計(jì)算估算移動(dòng)矢量，和將所計(jì)算的估算移動(dòng)矢量提供給混合比率確定部分403。
混合比率確定部分403基于從區(qū)域指定單元103提供的、和表示對(duì)要被計(jì)算混合比率α的像素是屬于前景區(qū)域、背景區(qū)域、遮蓋背景區(qū)域或者未遮蓋背景區(qū)域的哪一個(gè)的區(qū)域信息來(lái)設(shè)置混合比率α。當(dāng)對(duì)應(yīng)像素屬于前景區(qū)域時(shí)混合比率確定部分403將混合比率α設(shè)置為0，當(dāng)對(duì)應(yīng)像素屬于背景區(qū)域時(shí)將混合比率α設(shè)置為1。當(dāng)對(duì)應(yīng)像素屬于遮蓋背景區(qū)域時(shí)，混合比率確定部分403將從估算混合比率處理器401提供的估算混合比率設(shè)置為混合比率α。當(dāng)對(duì)應(yīng)像素屬于未遮蓋背景區(qū)域時(shí)，混合比率確定部分403將從估算混合比率處理器402提供的估算混合比率設(shè)置為混合比率α?；旌媳嚷蚀_定部分403輸出基于區(qū)域信息已經(jīng)被設(shè)置的混合比率α。
基于從區(qū)域指定單元103提供的區(qū)域信息，如果對(duì)應(yīng)像素屬于遮蓋背景區(qū)域，混合比率確定部分403將從估算混合比率處理器401提供的估算移動(dòng)矢量設(shè)置為快門(mén)時(shí)間內(nèi)的移動(dòng)矢量，而如果對(duì)應(yīng)像素屬于未遮蓋背景區(qū)域，其將從估算混合比率處理器402提供的估算移動(dòng)矢量提供作為快門(mén)時(shí)間內(nèi)的移動(dòng)矢量。
混合比率確定部分403輸出基于區(qū)域信息已經(jīng)被設(shè)置的快門(mén)時(shí)間內(nèi)的移動(dòng)矢量和其位置信息。
由于能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)在快門(mén)時(shí)間之內(nèi)是用不變速度移動(dòng)的，屬于混合區(qū)域的像素的混合比率α展現(xiàn)出下面的特性。即，混合比率α根據(jù)像素中位置的改變而線性地變化。如果像素中位置改變是一維的，則混合比率α的變化能夠被線性地表示。如果像素中位置改變是二維的，則混合比率α的變化能夠被表示在平面上。
由于一幀的周期是短的，能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)是用不變速度移動(dòng)的剛體。
混合比率α的梯度在前景的快門(mén)時(shí)間之內(nèi)反比于移動(dòng)量v。
理想混合比率α的例子被表示在圖49中?；旌蠀^(qū)域中理想混合比率α的梯度1能夠由快門(mén)時(shí)間內(nèi)移動(dòng)量v的倒數(shù)表示。
如圖49中表示，理想混合比率α具有在背景區(qū)域中為1的值，在前景區(qū)域中為0的值，和在混合區(qū)域中為大于0和小于1的值。
在圖50表示的例子中，通過(guò)使用幀#n-1中左起第七個(gè)像素的像素值P06，幀#n中左起第七個(gè)像素的像素值C06能夠由方程(8)表示。C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v----(8)]]>=2/v·P06+Σi=12Fi/v]]>
方程(8)中，像素值C06是由混合區(qū)域中像素的像素值M表示的，而像素值P06是由背景區(qū)域中像素的像素值B表示的。即，混合區(qū)域中像素的像素值M和背景區(qū)域中像素的像素值B能夠分別由方程(9)和(10)表示。
M＝C06(9)B＝P06(10)方程(8)中，2/v對(duì)應(yīng)于混合比率α。由于快門(mén)時(shí)間內(nèi)移動(dòng)量v是4，幀#n中左起第七個(gè)像素的混合比率α是0.5。
如上述，指定幀#n中的像素值C被認(rèn)為是混合區(qū)域中的像素值，而在幀#n之前的幀#n-1的像素值P被認(rèn)為是背景區(qū)域中的像素值。因此，表示混合比率α的方程(3)能夠由方程(11)表示C＝α·P+f(11)這里方程(11)中的f表示在指定像素中包含的前景分量之和∑iFi/v。在方程(11)中包含的變量是兩個(gè)因數(shù)，即混合比率α和前景分量之和f。
類似地，圖51中表示出通過(guò)在時(shí)間方向擴(kuò)展其中快門(mén)時(shí)間內(nèi)移動(dòng)量v是4和在未遮蓋背景區(qū)域中有效分割部分的數(shù)目是4的像素值而獲得的模型。
正如在遮蓋背景區(qū)域的表示中，在未遮蓋背景區(qū)域中，指定幀#n的像素值C被認(rèn)為是混合區(qū)域中的像素值，而在幀#n之后的幀#n+1的像素值N被認(rèn)為是背景區(qū)域中的像素值。因此，表示混合比率α的方程(3)能夠由方程(12)表示C＝α·N+f(12)已經(jīng)說(shuō)明了該實(shí)施例，假設(shè)背景目標(biāo)是固定的。但是，通過(guò)使用被定位對(duì)應(yīng)于背景的快門(mén)時(shí)間內(nèi)移動(dòng)量v的像素的像素值，方程(8)到(12)能夠被應(yīng)用于其中背景目標(biāo)是移動(dòng)的情況。例如現(xiàn)在假設(shè)在圖50中，對(duì)應(yīng)于背景的目標(biāo)的快門(mén)時(shí)間內(nèi)移動(dòng)量v是2和有效分割部分的數(shù)目是2。在這種情況下，當(dāng)對(duì)應(yīng)于背景的目標(biāo)正移向圖49中的右邊時(shí)，方程(10)中背景區(qū)域像素的像素值B是由像素值P04表示。
由于方程(11)和(12)每個(gè)都包含兩個(gè)變量，在不修改方程的情況下不能夠確定混合比率α。
根據(jù)與對(duì)應(yīng)于用不變速度移動(dòng)的前景的目標(biāo)的像素位置的變化，混合比率α線性變化。通過(guò)利用這個(gè)特征，其中混合比率α和前景分量之和f在空間方向被近似的方程能夠成立。通過(guò)利用屬于混合區(qū)域的像素的多組像素值和屬于背景區(qū)域的像素的像素值，其中混合比率α和前景分量之和f被近似的方程被求解。
當(dāng)混合比率α的變化被近似為直線時(shí)，混合比率α能夠由方程(13)表示。
α＝i1+p(13)方程(13)中，i表示當(dāng)指定像素的位置被設(shè)置為0時(shí)的空間指數(shù)，1指定混合比率α直線的梯度，以及p指定混合比率α直線的截距和也表示指定像素的混合比率α。方程(13)中，指數(shù)i是已知的，梯度1和截距p是未知的。
指數(shù)i，梯度1和截距p之間的關(guān)系被表示在圖52中。圖52中，白點(diǎn)表示指定像素，黑點(diǎn)表示鄰近指定像素的像素。
通過(guò)按方程(13)近似混合比率α，用于多個(gè)像素的多個(gè)不同混合比率α能夠由兩個(gè)變量表示。在圖52表示的例子中，用于5個(gè)像素的5個(gè)混合比率由兩個(gè)變量表示，即梯度1和截距p。
當(dāng)混合比率α被近似在圖53表示的平面中時(shí)，通過(guò)考慮對(duì)應(yīng)于兩個(gè)方向即圖像的水平方向和垂直方向的移動(dòng)v，方程(13)被擴(kuò)展到該平面，并且混合比率α能夠由方程(14)表示。在圖53中，白色點(diǎn)表示指定像素。
α＝j(luò)m+kq+p(14)方程(14)中，當(dāng)指定像素的位置是0時(shí)，j是水平方向的指數(shù)，k是垂直方向的指數(shù)。m指定平面中混合比率α的水平梯度，q指定平面中混合比率α的垂直梯度。p指定平面中混合比率α的截距。
例如，在圖50表示的幀#n中，方程(15)到(17)對(duì)于C05到C07也分別成立。
C05＝α05·B05/v+f05(15)C06＝α06·B06/v+f06(16)C07＝α07·B07/v+f07(17)假設(shè)位于相互緊密靠近的前景分量是相互相等的，即F01到F03是相等的，通過(guò)用fc替換F01到F03方程(18)成立。
F(x)＝(1-α(x))·fc(18)方程(18)中，x表示空間方向的位置。
當(dāng)α(x)被方程(14)代替時(shí)，方程(18)能夠由方程(19)表示。
f(x)＝(1-(jm+kq+p))·fc＝j(luò)·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)＝j(luò)s+kt+u (19)方程(19)中，(-m·Fc)，(-q·Fc)，和(1-p)·Fc分別按方程(20)到(22)所表示的替換。
s＝-m·Fc (20)t＝-q·Fc (21)u＝(1-p)·Fc(22)方程(19)中，當(dāng)指定像素的位置是0時(shí)，j是水平方向的指數(shù)，k是垂直方向的指數(shù)。
如上述，由于能夠假設(shè)對(duì)應(yīng)于前景的目標(biāo)在快門(mén)周期之內(nèi)是用不變速度移動(dòng)的，以及位于相互緊密靠近的前景分量是均勻的，前景分量之和能夠由方程(19)近似。
當(dāng)混合比率α由直線近似時(shí)，前景分量之和能夠由方程(23)表示。
f(x)＝is+u (23)通過(guò)使用方程(14)和(19)代替方程(13)中的混合比率α和前景分量之和，像素值M能夠由方程(24)表示。
M＝(jm+kq+p)·B+js+kt+u＝j(luò)B·m+kB·q+B·p+j·s+k·t+u (24)方程(24)中，未知變量是六個(gè)因數(shù)，諸如平面中混合比率α的水平梯度m，平面中混合比率α的垂直梯度q，以及平面中混合比率α的截距，p，s，t和u。
更具體地，根據(jù)靠近指定像素的像素，像素值M或者像素值B在方程(24)表示的標(biāo)準(zhǔn)方程中被設(shè)置。然后，其中像素值M或者像素值B被設(shè)置的多個(gè)標(biāo)準(zhǔn)方程是通過(guò)最小二乘方法求解的，由此計(jì)算混合比率α。
例如，指定像素的水平指數(shù)j被設(shè)置為0，指定像素的垂直指數(shù)k被設(shè)置為0。然后，對(duì)于位于臨近指定像素的3x3像素來(lái)說(shuō)像素值M或者像素值B在由方程(24)表示的標(biāo)準(zhǔn)方程中被設(shè)置，由此得到方程(25)到方程(33)。M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1，-1·p+(-1)·s+(-1)·t+u (25)M0，-1＝(0)·B0，-1·m+(-1)· B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u (26)M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u(27)M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u (28)M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u (29)M+1，0＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u (30)M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u (31)M0，+1＝(0)·B0，+1·m+(+1)·B0，+1·q+B0，+1·p+(0)·s+(+1)·t+u (32)M+1，+1＝(+1)·B+1，+1·m+(+1)·B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u (33)由于指定像素的水平指數(shù)j是0，以及指定像素的垂直指數(shù)k是0，指定像素的混合比率α等于當(dāng)方程(14)中j是0和k是0時(shí)的值，即混合比率α等于方程(14)中的截距p。
因此，基于該9個(gè)方程，即方程(25)到(33)，水平梯度m，垂直梯度q，以及截距p，s，t和u通過(guò)最小二乘方法計(jì)算，并且截距p被作為混合比率α輸出。
通過(guò)應(yīng)用最小二乘方法用于計(jì)算混合比率α的特定處理如下。
當(dāng)指數(shù)i和指數(shù)k由單個(gè)指數(shù)x表示時(shí)，指數(shù)I、指數(shù)k和指數(shù)x之間的關(guān)系能夠由方程(34)表示。
X＝(j+1)·3+(k+1)(34)現(xiàn)在假設(shè)水平梯度m，垂直梯度q，以及截距p，s，t和u分別由變量w0，w1，w2，w3，w4和w5表示，以及jB，kB，B，j，k和l分別由a0，a1，a2，a3，a4和a5表示?？紤]誤差ex，方程(25)到(33)能夠被修改為方程(35)。Mx=Σy=05ay·wy+ex----(35)]]>方程(35)中，x是從0到8整數(shù)的任何一個(gè)。
從方程(35)能夠得到方程(36)。ex=Mx-Σy=05ay·wy----(36)]]>由于應(yīng)用了最小二乘方方法，誤差的平方之和E被定義如下，如方程(37)中表示。E=Σx=08ex2----(37)]]>為了最小化該誤差，變量Wv關(guān)于誤差的平方之和E的偏微分值應(yīng)當(dāng)是0。V是從0到5整數(shù)的任何一個(gè)。因此，wy被確定為滿足方程(38)。∂E∂Wv=2·Σx=08ex·∂ex∂Wv=2·Σx=08ex·av=0----(38)]]>通過(guò)將方程(36)代入方程(38)，得到方程(39)。Σx=08(av·Σy=05ay·Wy)=Σx=08av·Mx----(39)]]>例如，刮去法(Gauss-Jordan消去法)被應(yīng)用到由六個(gè)方程，該六個(gè)方程是通過(guò)將從0到5的一個(gè)整數(shù)替換方程(39)中的v而得到的，由此獲得wy。如上述，w0是水平梯度m，w1是垂直梯度q，w2是截距p，w3是s，w4是t，以及w5是u。
如上述，通過(guò)將最小二乘方法應(yīng)用到其中像素值M和像素值B被設(shè)置的方程中，能夠確定水平梯度m，垂直梯度q，以及截距p，s，t和u。
通過(guò)假設(shè)在混合區(qū)域中包含的像素的像素值是M，在背景區(qū)域中包含的像素的像素值是B，已經(jīng)參考方程(25)到(33)給出了說(shuō)明。在這種情況下，對(duì)指定像素包含在遮蓋背景區(qū)域或者指定像素包含在未遮蓋背景區(qū)域中的每一種情況，設(shè)置標(biāo)準(zhǔn)方程是必須的。
例如，當(dāng)在圖50表示的幀#n的遮蓋背景區(qū)域中包含的像素的混合比率α被確定時(shí)，幀#n中像素的C04到C08和幀#n-1中像素的像素值P04到P08在標(biāo)準(zhǔn)方程中被設(shè)置。
為了確定在圖51表示的幀#n的未遮蓋背景區(qū)域中包含的像素的混合比率α，幀#n中像素的C28到C32和幀#n+1中像素的像素值N28到N32在標(biāo)準(zhǔn)方程中被設(shè)置。
而且，如果例如在圖54表示的遮蓋背景區(qū)域中包含的像素的混合比率α被計(jì)算，則下面的方程(40)到(48)被設(shè)置。圖54中，白色點(diǎn)表示屬于背景的像素，黑色點(diǎn)表示屬于混合區(qū)域的像素。混合比率α被計(jì)算的像素的像素值是Mc5。Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u(40)Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u (41)Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(-1)·s+(-1)·t+u(42)Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u (43)Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u(44)Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u (45)Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u(46)Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u (47)Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u(48)當(dāng)計(jì)算幀#n遮蓋背景區(qū)域中包含的像素的混合比率α?xí)r，在方程(40)到(48)中使用分別對(duì)應(yīng)于幀#n中像素的幀#n-1背景區(qū)域的像素的像素值Bc1到Bc9。
當(dāng)計(jì)算在圖54表示的未遮蓋背景區(qū)域中包含的像素的混合比率α?xí)r，則下面的方程(49)到(57)能夠成立。混合比率α被計(jì)算的像素的像素值是Mu5。Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u(49)Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u (50)Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u(51)Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u (52)Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u(53)Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u (54)Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u(55)Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u (56)Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u(57)當(dāng)計(jì)算幀#n中未遮蓋背景區(qū)域中包含的像素的混合比率α?xí)r，在方程(49)到(57)中使用對(duì)應(yīng)于幀#n中像素的幀#n+1背景區(qū)域的像素的像素值Bu1到Bu9。
圖55是表示估計(jì)混合比率處理器401的結(jié)構(gòu)的方框圖。輸入到估計(jì)混合比率處理器401的圖像被提供給延遲電路421和加法器422。
延遲電路421延遲輸入圖像一幀，和將圖像提供給加法器422。當(dāng)幀#n被作為輸入圖像提供給加法器422時(shí)，延遲電路421將幀#n-1提供給加法器422。
加法器422設(shè)置靠近混合比率α被計(jì)算的像素的像素的像素值，以及標(biāo)準(zhǔn)方程中幀#n-1的像素值。例如，基于方程(40)到(48)，加法器422分別設(shè)置像素值Mc1到Mc9，以及標(biāo)準(zhǔn)方程中像素值Bc1到Bc9。加法器422將其中像素值被設(shè)置的標(biāo)準(zhǔn)方程提供給計(jì)算器423。
計(jì)算器423通過(guò)利用例如刮去法求解從加法器422提供的標(biāo)準(zhǔn)方程來(lái)確定估計(jì)混合比率和輸出確定的估計(jì)混合比率。
計(jì)算器423基于混合比率α的梯度a，通過(guò)方程(58)計(jì)算快門(mén)時(shí)間內(nèi)的移動(dòng)v。
a＝1/v(58)更具體地說(shuō)，基于方程(24)中在水平方向上混合比率α平面的梯度m和在垂直方向上混合比率α平面的梯度q，計(jì)算器423計(jì)算在x方向的快門(mén)時(shí)間內(nèi)的移動(dòng)vix和在y方向的快門(mén)時(shí)間內(nèi)的移動(dòng)viy。
Vix＝1/m (59)Viy＝1/q (60)計(jì)算器423輸出x方向由在快門(mén)時(shí)間內(nèi)移動(dòng)vix和y方向在快門(mén)時(shí)間內(nèi)移動(dòng)viy表示的估計(jì)移動(dòng)矢量。
如圖56中表示，由計(jì)算器423輸出的估算移動(dòng)矢量的幅值對(duì)應(yīng)于快門(mén)時(shí)間內(nèi)的移動(dòng)量v。
幀間移動(dòng)量vf是表示在兩個(gè)相鄰幀之間目標(biāo)的移動(dòng)的值。例如，如果對(duì)應(yīng)于前景的目標(biāo)圖像正在移動(dòng)使得當(dāng)其被定位在隨后幀中時(shí)其被顯示在離開(kāi)基準(zhǔn)幀八個(gè)像素的位置的話，則對(duì)應(yīng)于前景的目標(biāo)圖像的幀間移動(dòng)量vf是8。圖56中，A表示背景目標(biāo)。
這樣，估計(jì)混合比率處理器401能夠基于輸入圖像計(jì)算估計(jì)混合比率和估算移動(dòng)矢量，并且將它們提供給混合比率確定部分403。
估計(jì)混合比率處理器402被構(gòu)成為類似于估計(jì)混合比率處理器401，其解釋因此省略。
圖57是表示由估計(jì)混合比率處理器401計(jì)算的估計(jì)混合比率例子的示意圖。圖57表示對(duì)于一條線的估計(jì)混合比率，其是在對(duì)應(yīng)于以不變速度移動(dòng)的目標(biāo)的前景移動(dòng)量v是11時(shí)和方程是對(duì)7x7像素塊為單位被產(chǎn)生的情況中計(jì)算的。
從圖57可理解，估計(jì)混合比率在混合區(qū)域中是幾乎線性地改變。
圖58是表示混合比率計(jì)算器104的另一個(gè)結(jié)構(gòu)的方框圖。與圖48中表示的相同單元被指定為相同的附圖標(biāo)記，因此其解釋被省略。
選擇器441基于從區(qū)域指定單元103提供的區(qū)域信息將屬于遮蓋背景區(qū)域的像素和在前后幀中的對(duì)應(yīng)像素提供給估計(jì)混合比率處理器401。選擇器441基于從區(qū)域指定單元103提供的區(qū)域信息將屬于未遮蓋背景區(qū)域的像素和在前后幀中的對(duì)應(yīng)像素提供給估計(jì)混合比率處理器402。
估計(jì)混合比率處理器401基于從選擇器441輸入的像素值計(jì)算屬于遮蓋背景區(qū)域的指定像素的估計(jì)混合比率，和將估計(jì)混合比率提供給選擇器442。估計(jì)混合比率處理器401基于估計(jì)混合比率計(jì)算估計(jì)移動(dòng)矢量，和將估計(jì)移動(dòng)矢量提供給選擇器442。
估計(jì)混合比率處理器402基于從選擇器441輸入的像素值計(jì)算屬于未遮蓋背景區(qū)域的指定像素的估計(jì)混合比率，和將估計(jì)混合比率提供給選擇器442。估計(jì)混合比率處理器402基于估計(jì)混合比率計(jì)算估計(jì)移動(dòng)矢量，和將估計(jì)移動(dòng)矢量提供給選擇器442。
基于從區(qū)域指定單元103提供的區(qū)域信息，選擇器442當(dāng)指定像素屬于前景區(qū)域時(shí)將混合比率α設(shè)置為0，以及當(dāng)指定像素屬于背景區(qū)域時(shí)將混合比率α設(shè)置為1。當(dāng)指定像素屬于遮蓋背景區(qū)域時(shí)，選擇器442選擇從估計(jì)混合比率處理器442提供的估計(jì)混合比率和將其設(shè)置為混合比率α。當(dāng)指定像素屬于未遮蓋背景區(qū)域時(shí)，選擇器442選擇從估計(jì)混合比率處理器443提供的估計(jì)混合比率和將其設(shè)置為混合比率α。選擇器442然后輸出已經(jīng)基于區(qū)域信息被選擇和設(shè)置的混合比率α。
基于從區(qū)域指定單元103提供的區(qū)域信息，選擇器442當(dāng)指定像素屬于遮蓋背景區(qū)域時(shí)選擇從估計(jì)混合比率處理器401提供的估計(jì)移動(dòng)矢量和將其設(shè)置為快門(mén)時(shí)間內(nèi)的移動(dòng)矢量。當(dāng)指定像素屬于未遮蓋背景區(qū)域時(shí)，選擇器442選擇從估計(jì)混合比率處理器402提供的估計(jì)移動(dòng)矢量和將其設(shè)置為快門(mén)時(shí)間內(nèi)的移動(dòng)矢量。選擇器442然后輸出已經(jīng)基于區(qū)域信息被選擇和設(shè)置的快門(mén)時(shí)間內(nèi)移動(dòng)矢量。
如上述，混合比率計(jì)算器104能夠計(jì)算圖像中包含的每個(gè)像素的混合比率α和輸出所計(jì)算的混合比率α以及快門(mén)時(shí)間內(nèi)的移動(dòng)矢量。
下面參考圖59的流程圖討論通過(guò)混合比率計(jì)算器104完成的用于計(jì)算混合比率α和快門(mén)時(shí)間內(nèi)移動(dòng)矢量的處理。在步驟S401，混合比率計(jì)算器104獲得從區(qū)域指定單元103提供的區(qū)域信息。在步驟S402，估計(jì)混合比率處理器401執(zhí)行通過(guò)使用對(duì)應(yīng)于遮蓋背景區(qū)域的模型來(lái)估計(jì)混合比率和移動(dòng)矢量的處理，和將估計(jì)的混合比率和估計(jì)的移動(dòng)矢量提供給混合比率確定部分403。用于估計(jì)混合比率的處理的細(xì)節(jié)在下面參考圖60的流程圖進(jìn)行討論。
在步驟S403，估計(jì)混合比率處理器402執(zhí)行通過(guò)使用對(duì)應(yīng)于未遮蓋背景區(qū)域的模型來(lái)估計(jì)混合比率和移動(dòng)矢量的處理，和將估計(jì)的混合比率和估計(jì)的移動(dòng)矢量提供給混合比率確定部分403。
在步驟404，混合比率計(jì)算器104確定對(duì)整個(gè)幀是否已經(jīng)估計(jì)了混合比率。如果確定出還沒(méi)有對(duì)整個(gè)幀估計(jì)混合比率，則處理返回步驟S402，并且用于估計(jì)隨后像素的混合比率的處理被執(zhí)行。
如果在步驟S404確定出對(duì)整個(gè)幀已經(jīng)估計(jì)了混合比率，則處理前進(jìn)到步驟S405。在步驟S405，混合比率確定部分403基于從區(qū)域指定單元103提供的、和表示要被計(jì)算混合比率α的像素屬于前景區(qū)域、背景區(qū)域、遮蓋背景區(qū)域或者未遮蓋背景區(qū)域中哪一個(gè)的區(qū)域信息來(lái)確定混合比率α和快門(mén)時(shí)間內(nèi)移動(dòng)矢量。混合比率確定部分403在對(duì)應(yīng)像素屬于前景區(qū)域時(shí)設(shè)置混合比率α為0，和在對(duì)應(yīng)像素屬于背景區(qū)域時(shí)設(shè)置混合比率α為1。在對(duì)應(yīng)像素屬于遮蓋背景區(qū)域時(shí)，混合比率確定部分403將從估計(jì)混合比率處理器401提供的估計(jì)混合比率設(shè)置為混合比率α。在對(duì)應(yīng)像素屬于未遮蓋背景區(qū)域時(shí)，混合比率確定部分403將從估計(jì)混合比率處理器402提供的估計(jì)混合比率設(shè)置為混合比率α。
基于從區(qū)域指定單元103提供的區(qū)域信息，混合比率確定部分403在如果指定像素屬于遮蓋背景區(qū)域時(shí)選擇從估計(jì)混合比率處理器401提供的估計(jì)移動(dòng)矢量和將其設(shè)置為快門(mén)時(shí)間內(nèi)的移動(dòng)矢量，而當(dāng)如果指定像素屬于未遮蓋背景區(qū)域時(shí)，混合比率確定部分403選擇從估計(jì)混合比率處理器402提供的估計(jì)移動(dòng)矢量和將其設(shè)置為快門(mén)時(shí)間內(nèi)的移動(dòng)矢量。然后處理結(jié)束。
如上述，混合比率計(jì)算器104基于從區(qū)域指定單元103提供的區(qū)域信息和輸入圖像能夠計(jì)算表示對(duì)應(yīng)于每個(gè)像素的特征數(shù)量的混合比率α和快門(mén)時(shí)間內(nèi)的移動(dòng)矢量。
按圖58表示構(gòu)成的混合比率計(jì)算器104完成的用于計(jì)算混合比率α的處理是類似于參考圖59的流程圖所討論的，其說(shuō)明因此被省略。
參考圖60的流程圖，現(xiàn)在給出通過(guò)使用對(duì)應(yīng)于遮蓋背景區(qū)域的模型由估計(jì)混合比率處理器401完成的對(duì)應(yīng)于步驟S402中的處理而進(jìn)行的用于估計(jì)混合比率和移動(dòng)矢量的處理的說(shuō)明。
在步驟S421，加法器422在對(duì)應(yīng)于遮蓋背景區(qū)域的模型的標(biāo)準(zhǔn)方程中設(shè)置輸入圖像中包含的像素值和在從延遲電路421提供的圖像中包含的像素值。
在步驟S422，估算混合比率處理器401確定目標(biāo)像素的設(shè)置是否完成。如果確定出目標(biāo)像素的設(shè)置沒(méi)有完成，處理返回到步驟S521，并且重復(fù)用于設(shè)置標(biāo)準(zhǔn)方程中像素值的處理。
如果在步驟S422確定出目標(biāo)像素的設(shè)置被完成，處理前進(jìn)到步驟S423。在步驟S423，計(jì)算器423基于其中像素值被設(shè)置的標(biāo)準(zhǔn)方程計(jì)算估算混合比率，并且輸出該計(jì)算的混合比率。
在步驟S424，計(jì)算器423基于估算混合比率的梯度計(jì)算估算移動(dòng)矢量，然后結(jié)束處理。
如上述，具有圖55中所示結(jié)構(gòu)的估計(jì)混合比率處理器401能夠基于輸入圖像計(jì)算估計(jì)混合比率和估計(jì)移動(dòng)矢量。
通過(guò)使用對(duì)應(yīng)于未遮蓋背景區(qū)域的模型用于估算混合比率和移動(dòng)矢量的處理類似于通過(guò)使用對(duì)應(yīng)于未遮蓋背景區(qū)域的模型的標(biāo)準(zhǔn)方程由圖60的流程圖表示的處理，其說(shuō)明因此被省略。
實(shí)施例已經(jīng)被說(shuō)明，假設(shè)對(duì)應(yīng)于背景的目標(biāo)是固定的。但是，即使對(duì)應(yīng)于背景區(qū)域的圖像包含移動(dòng)，也能夠應(yīng)用上述的混合比率計(jì)算處理。例如，如果對(duì)應(yīng)于背景區(qū)域的圖像是均勻移動(dòng)的，估計(jì)混合比率處理器401根據(jù)該移動(dòng)來(lái)移位整個(gè)圖像，并且以類似于其中對(duì)應(yīng)于背景的目標(biāo)是固定的情況的方式來(lái)完成處理。如果對(duì)應(yīng)于背景區(qū)域的圖像包含局部不同的移動(dòng)，估計(jì)混合比率處理器401選擇對(duì)應(yīng)于移動(dòng)的像素作為屬于混合區(qū)域的對(duì)應(yīng)像素，并且執(zhí)行上述處理。
混合比率計(jì)算器104僅僅通過(guò)使用對(duì)應(yīng)于遮蓋背景區(qū)域的模型可以執(zhí)行用于所有像素的混合比率估計(jì)處理，和輸出所計(jì)算的估計(jì)混合比率作為混合比率α。在這種情況下，混合比率α表示用于屬于遮蓋背景區(qū)域的像素的背景分量的比率，以及表示用于屬于未遮蓋背景區(qū)域的像素的前景分量的比率。對(duì)于屬于未遮蓋背景區(qū)域的像素，確定在所計(jì)算混合比率α和1之間的差別的絕對(duì)值，并且所計(jì)算的絕對(duì)值被設(shè)置為混合比率α。然后，圖像處理設(shè)備能夠確定表示用于屬于未遮蓋背景區(qū)域的像素的背景分量的比率的混合比率α。
類似地，混合比率處理器104通過(guò)僅僅使用對(duì)應(yīng)于未遮蓋背景區(qū)域的模型可以執(zhí)行用于所有像素的混合比率估計(jì)處理，以便輸出所計(jì)算的估計(jì)混合比率作為混合比率α。
如上述，混合比率計(jì)算器104基于從區(qū)域指定單元103提供的區(qū)域信息和輸入圖像能夠計(jì)算表示對(duì)應(yīng)于每個(gè)像素的特征數(shù)量的混合比率α和移動(dòng)矢量。
通過(guò)使用由混合比率計(jì)算器104計(jì)算的混合比率α，有可能分離像素值中包含的前景分量和背景分量，同時(shí)保持在對(duì)應(yīng)于移動(dòng)目標(biāo)的圖像中包含的移動(dòng)模糊的信息。
通過(guò)基于混合比率α合成圖像，也有可能建立包含正確移動(dòng)模糊的圖像，其與移動(dòng)目標(biāo)的速度符合并如實(shí)反映真實(shí)世界。
由混合比率計(jì)算器104計(jì)算的移動(dòng)矢量代表快門(mén)時(shí)間內(nèi)的移動(dòng)量v，這里不允許其檢測(cè)。
通過(guò)利用由混合比率計(jì)算器104計(jì)算的移動(dòng)矢量，允許在對(duì)應(yīng)于移動(dòng)目標(biāo)的圖像中包括的移動(dòng)模糊量的調(diào)節(jié)。
混合比率計(jì)算器104可以將對(duì)應(yīng)于超過(guò)0和低于1的估算混合比率的估計(jì)移動(dòng)矢量設(shè)置作為快門(mén)時(shí)間內(nèi)的移動(dòng)矢量。在這種情況下，混合比率計(jì)算器104被允許產(chǎn)生快門(mén)時(shí)間內(nèi)移動(dòng)矢量，而不使用區(qū)域信息。
下面討論前景/背景分離器105。圖61是表示前景/背景分離器105結(jié)構(gòu)的例子的方框圖。提供給前景/背景分離器105的輸入圖像被提供給分離部分601，開(kāi)關(guān)602和開(kāi)關(guān)604。從區(qū)域指定單元103提供的和表示遮蓋背景區(qū)域和未遮蓋背景區(qū)域的信息的區(qū)域信息被提供給分離部分601。表示前景區(qū)域的區(qū)域信息被提供給開(kāi)關(guān)602。表示背景區(qū)域的區(qū)域信息被提供給開(kāi)關(guān)604。
從混合比率計(jì)算器104提供的混合比率α被提供給分離部分601。
分離部分601基于表示遮蓋背景區(qū)域的區(qū)域信息、表示未遮蓋背景區(qū)域的區(qū)域信息和混合比率α將前景分量從輸入圖像中分離，并將所分離的前景分量提供給合成器603。分離部分601也將背景分量從輸入圖像中分離和將所分離的背景分量提供給合成器605。
開(kāi)關(guān)602在對(duì)應(yīng)于前景的像素被基于表示前景區(qū)域的區(qū)域信息輸入時(shí)被關(guān)閉和僅僅將輸入圖像中包含的對(duì)應(yīng)于前景的像素提供給合成器603。
開(kāi)關(guān)604在對(duì)應(yīng)于背景的像素被基于表示背景區(qū)域的區(qū)域信息輸入時(shí)被關(guān)閉和僅僅將輸入圖像中包含的對(duì)應(yīng)于背景的像素提供給合成器605。
合成器603基于從分離部分601提供的前景分量和對(duì)應(yīng)于從開(kāi)關(guān)602提供的前景的像素來(lái)合成前景分量圖像，并且輸出所合成的前景分量圖像。由于前景區(qū)域和混合區(qū)域不重疊，合成器603例如將邏輯或施加到前景分量和前景像素，由此合成前景分量圖像。
在用于前景分量圖像的合成處理開(kāi)始時(shí)執(zhí)行的初始處理中，合成器603在內(nèi)置幀存儲(chǔ)器中存儲(chǔ)其像素值是全部0的圖像。然后，在用于前景分量圖像的合成處理中，合成器603存儲(chǔ)前景分量圖像(通過(guò)前景分量圖像重寫(xiě)在先圖像)。因此，在對(duì)應(yīng)于從合成器603輸出的前景分量圖像的背景區(qū)域的像素中存儲(chǔ)0。
合成器605基于從分離部分601提供的背景分量和對(duì)應(yīng)于從開(kāi)關(guān)604提供的背景的像素來(lái)合成背景分量圖像，并且輸出所合成的背景分量圖像。由于背景區(qū)域和混合區(qū)域不重疊，合成器605例如將邏輯或施加到背景分量和背景像素，由此合成背景分量圖像。
在用于背景分量圖像的合成處理開(kāi)始時(shí)執(zhí)行的初始處理中，合成器605在內(nèi)置幀存儲(chǔ)器中存儲(chǔ)其像素值是全部0的圖像。然后，在用于背景分量圖像的合成處理中，合成器605存儲(chǔ)背景分量圖像(通過(guò)背景分量圖像重寫(xiě)在先圖像)。因此，在對(duì)應(yīng)于從合成器605輸出的背景分量圖像的前景區(qū)域的像素中存儲(chǔ)0。
圖62A表示被輸入到前景/背景分離器105的輸入圖像，以及從前景/背景分離器105輸出的前景分量圖像和背景分量圖像。圖62B表示被輸入到前景/背景分離器105的輸入圖像以及從前景/背景分離器105輸出的前景分量圖像和背景分量圖像的模型。
圖62A是要被顯示的圖像的示意圖，圖62B是包括對(duì)應(yīng)于圖62A的屬于前景區(qū)域的像素、屬于背景區(qū)域的像素、和屬于混合區(qū)域的像素的一條線的像素在時(shí)間方向上被擴(kuò)展的模型。
如圖62A和62B中表示，從前景/背景分離器105輸出的背景分量圖像由屬于背景區(qū)域的像素和在混合區(qū)域的像素中包含的背景分量構(gòu)成。
如圖62A和62B中表示，從前景/背景分離器105輸出的前景分量圖像由屬于前景區(qū)域的像素和在混合區(qū)域的像素中包含的前景分量構(gòu)成。
混合區(qū)域中像素的像素值通過(guò)前景/背景分離器105被分離成背景分量和前景分量。所分離的背景分量與屬于背景區(qū)域的像素一起形成背景分量圖像。所分離的前景分量與屬于前景區(qū)域的像素一起形成前景分量圖像。
如上述，在前景分量圖像中，對(duì)應(yīng)于背景區(qū)域的像素的像素值被設(shè)置為0，有效像素值被設(shè)置在對(duì)應(yīng)于前景區(qū)域的像素中和對(duì)應(yīng)于混合區(qū)域的像素中。類似地，在背景分量圖像中，對(duì)應(yīng)于前景區(qū)域的像素的像素值被設(shè)置為0，有效像素值被設(shè)置在對(duì)應(yīng)于背景區(qū)域的像素中和對(duì)應(yīng)于混合區(qū)域的像素中。
下面給出說(shuō)明由分離部分601執(zhí)行的處理，在幀間隔時(shí)間是與快門(mén)時(shí)間一樣長(zhǎng)的范圍，其用于從屬于混合區(qū)域的像素中分離前景分量和背景分量。
圖63表示在包括圖中表示的左起移動(dòng)到右邊的前景目標(biāo)的兩幀中說(shuō)明前景分量和背景分量的圖像的模型。在圖63表示的圖像的模型中，快門(mén)時(shí)間內(nèi)移動(dòng)量v是4，有效分割部分的數(shù)目是4。
幀#n中，左起的最左邊像素和第十四到十八像素僅僅由背景分量構(gòu)成和屬于背景區(qū)域。幀#n中，左起的第二到第四像素包含背景分量和前景分量，并且屬于未遮蓋背景區(qū)域。幀#n中，左起的第十一到第十三像素包含背景分量和前景分量，并且屬于遮蓋背景區(qū)域。幀#n中，左起的第五到第十像素僅僅由前景分量構(gòu)成和屬于前景區(qū)域。
幀#n+1中，左起的第一到第五像素和左起的第十八像素僅僅由背景分量構(gòu)成和屬于背景區(qū)域。幀#n+1中，左起的第六到第八像素包含背景分量和前景分量，并且屬于未遮蓋背景區(qū)域。幀#n+1中，左起的第十五到第十七像素包含背景分量和前景分量，并且屬于遮蓋背景區(qū)域。幀#n+1中，左起的第九到第十四像素僅僅由前景分量構(gòu)成和屬于前景區(qū)域。
圖64表示用于從屬于遮蓋背景區(qū)域的像素中分離前景分量的處理。圖64中，α1到α18表示幀#n的單獨(dú)像素的混合比率。圖64中，左起的第十五到第十七像素屬于遮蓋背景區(qū)域。
幀#n中左起的第十五像素的像素值C15能夠由方程(61)表示。
C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v(61)這里α15表示幀#n的左起第十五像素的混合比率。P15指定幀#n-1的左起第十五像素的像素值。
幀#n的左起第十五像素的前景分量之和f15能夠由基于方程(61)的方程(62)表示。
f15＝F09/v+F08/v+F07/v＝C15-α15·P15(62)類似地，幀#n的左起第十六像素的前景分量之和f16能夠由方程(63)表示，幀#n的左起第十七像素的前景分量之和f17能夠由方程(64)表示。
f16＝C16-α16·P16(63)f17＝C17-α17·P17(64)以這種方式，在屬于遮蓋背景區(qū)域的像素的像素值C中包含的前景分量fc能夠由方程(65)表示fc＝C-α·P (65)這里，P指定在先幀中對(duì)應(yīng)像素的像素值。
圖65表示用于從屬于未遮蓋背景區(qū)域的像素中分離前景分量的處理。圖65中，α1到α18表示幀#n的單獨(dú)像素的混合比率。圖65中，左起的第二到第四像素屬于未遮蓋背景區(qū)域。
幀#n中左起第二像素的像素值C02能夠由方程(66)表示。
C02＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v (66)這里α2表示幀#n的左起第二像素的混合比率。N02指定幀#n+1的左起第二像素的像素值。
幀#n的左起第二像素的前景分量之和f02能夠由基于方程(66)的方程(67)表示。
f02＝F01/v＝C02-α2·N02 (67)類似地，幀#n的左起第三像素的前景分量之和f03能夠由方程(68)表示，幀#n的左起第四像素的前景分量之和f04能夠由方程(69)表示。
f03＝C03-α3·N03 (68)f04＝C04-α4·N04 (69)這樣，在屬于未遮蓋背景區(qū)域的像素的像素值C中包含的前景分量fu能夠由方程(70)表示fu＝C-α·N (70)
這里，N指定后續(xù)幀中對(duì)應(yīng)像素的像素值。
如上述，基于在區(qū)域信息中包含的表示遮蓋背景區(qū)域的信息和表示未遮蓋背景區(qū)域的信息以及每個(gè)像素的混合比率α，分離部分601能夠從屬于混合區(qū)域的像素中分離前景分量和從屬于混合區(qū)域的像素中分離背景分量。
圖66是表示用于執(zhí)行上述處理的分離部分601的結(jié)構(gòu)的例子的方框圖。被輸入到分離部分601的圖像被提供給幀存儲(chǔ)器621，表示從混合比率計(jì)算器104提供的遮蓋背景區(qū)域和未遮蓋背景區(qū)域的區(qū)域信息以及混合比率α被提供給分離處理塊622。
幀存儲(chǔ)器621以幀為單位存儲(chǔ)輸入圖像。當(dāng)要被處理的幀是幀#n時(shí)，幀存儲(chǔ)器621存儲(chǔ)作為幀#n之前一幀的幀的幀#n-1、幀#n、以及作為幀#n之后一幀的幀的幀#n+1。
幀存儲(chǔ)器621將幀#n-1、幀#n、和幀#n+1中對(duì)應(yīng)像素提供給分離處理塊622。
分離處理塊622基于表示遮蓋背景區(qū)域和未遮蓋背景區(qū)域的區(qū)域信息以及混合比率α將參考圖64和65討論的計(jì)算施加到從幀存儲(chǔ)器621提供的幀#n-1、幀#n、和幀#n+1中對(duì)應(yīng)像素的像素值，以便從屬于幀#n混合區(qū)域的像素中分離前景分量和背景分量，并且將它們提供給幀存儲(chǔ)器623。
分離處理塊622由未遮蓋區(qū)域處理器631、遮蓋區(qū)域處理器632、合成器633和合成器634形成。
未遮蓋區(qū)域處理器631的乘法器641將從幀存儲(chǔ)器621提供的幀#n+1中像素的像素值乘以混合比率α，和將所得像素值輸出到開(kāi)關(guān)642。在從幀存儲(chǔ)器621提供的的幀#n的像素(對(duì)應(yīng)于幀#n+1中的像素)屬于未遮蓋背景區(qū)域時(shí)開(kāi)關(guān)642被關(guān)閉，并且將從乘法器641提供的用混合比率α相乘的像素值提供給計(jì)算器643和合成器634。通過(guò)將幀#n+1中像素的像素值乘以從開(kāi)關(guān)642輸出的混合比率α所獲得的值是與幀#n中對(duì)應(yīng)像素的像素值的背景分量相等的。
計(jì)算器643將開(kāi)關(guān)642提供的背景分量從幀存儲(chǔ)器621提供的幀#n中像素的像素值中減去以便獲得前景分量。計(jì)算器643將屬于未遮蓋背景區(qū)域的幀#n中像素的前景分量提供給合成器633。
遮蓋區(qū)域處理器632的乘法器651將從幀存儲(chǔ)器621提供的幀#n-1中像素的像素值乘以混合比率α，和將所得像素值輸出到開(kāi)關(guān)652。在從幀存儲(chǔ)器621提供的的幀#n的像素(對(duì)應(yīng)于幀#n-1中的像素)屬于遮蓋背景區(qū)域時(shí)開(kāi)關(guān)652被關(guān)閉，并且將從乘法器651提供的用混合比率α相乘的像素值提供給計(jì)算器653和合成器634。通過(guò)將幀#n-1中像素的像素值乘以從開(kāi)關(guān)652輸出的混合比率α所獲得的值是與幀#n中對(duì)應(yīng)像素的像素值的背景分量相等的。
計(jì)算器653將開(kāi)關(guān)652提供的背景分量從幀存儲(chǔ)器621提供的幀#n中像素的像素值中減去以便獲得前景分量。計(jì)算器653將屬于遮蓋背景區(qū)域的幀#n中像素的前景分量提供給合成器633。
合成器633將屬于未遮蓋背景區(qū)域和從計(jì)算器643提供的像素的前景分量與屬于遮蓋背景區(qū)域和從計(jì)算器653提供的像素的前景分量合成，并且將合成的前景分量提供給幀存儲(chǔ)器623。
合成器634將屬于未遮蓋背景區(qū)域和從開(kāi)關(guān)642提供的像素的背景分量與屬于遮蓋背景區(qū)域和從開(kāi)關(guān)652提供的像素的背景分量合成，并且將合成的背景分量提供給幀存儲(chǔ)器623。
幀存儲(chǔ)器623存儲(chǔ)從分離處理塊622提供的幀#n混合區(qū)域中像素的前景分量和背景分量。
幀存儲(chǔ)器623輸出所存儲(chǔ)的幀#n混合區(qū)域中像素的前景分量和所存儲(chǔ)的幀#n混合區(qū)域中像素的背景分量。
通過(guò)利用表示特征數(shù)量的混合比率α，在像素值中包含的前景分量和背景分量能夠被完全地分離。
合成器603將從分離部分601輸出的幀#n混合區(qū)域中像素的前景分量與屬于前景區(qū)域的像素合成以便產(chǎn)生前景分量圖像。合成器605將從分離部分601輸出的幀#n混合區(qū)域中像素的背景分量與屬于背景區(qū)域的像素合成以便產(chǎn)生背景分量圖像。
圖67A表示對(duì)應(yīng)于圖63中幀#n的前景分量圖像的例子。左起的最左邊像素和第十四像素僅僅構(gòu)成前景和背景被分離之前的背景分量，并且因此，像素值被設(shè)置為0。
左起第二和第十四像素屬于前景和背景被分離之前的未遮蓋背景區(qū)域。因此，背景分量被設(shè)置為0，并且前景分量被保持。左起第十一和第十三像素屬于前景和背景被分離之前的遮蓋背景區(qū)域。因此，背景分量被設(shè)置為0，并且前景分量被保持。左起第五到第十像素僅僅構(gòu)成前景分量，其因此被保持。
圖67B表示對(duì)應(yīng)于圖63中幀#n的背景分量圖像的例子。左起的最左邊像素和第十四像素僅僅構(gòu)成前景和背景被分離之前的背景分量，并且因此，背景分量被保持。
左起第二到第四像素屬于前景和背景被分離之前的未遮蓋背景區(qū)域。因此，前景分量被設(shè)置為0，并且背景分量被保持。左起第十一和第十三像素屬于前景和背景被分離之前的遮蓋背景區(qū)域。因此，前景分量被設(shè)置為0，并且背景分量被保持。左起第五到第十像素僅僅由前景分量構(gòu)成，并且因此，像素值被設(shè)置為0。
下面參考圖68的流程圖說(shuō)明用于通過(guò)前景/背景分離器105執(zhí)行的用于分離前景和背景的處理。在步驟S601，分離部分601的幀存儲(chǔ)器621獲得輸入圖像和存儲(chǔ)對(duì)此前景和背景被分離的幀#n，以及在先幀#n-1和隨后幀#n+1。
在步驟S602，分離部分601的分離處理塊622獲得從混合比率計(jì)算器104提供的區(qū)域信息。在步驟S603，分離部分601的分離處理塊622獲得從混合比率計(jì)算器104提供的混合比率α。
在步驟S604，未遮蓋區(qū)域處理器631基于區(qū)域信息和混合比率α從幀存儲(chǔ)器621提供的屬于未遮蓋背景區(qū)域的像素的像素值中提取背景分量。
在步驟S605，未遮蓋區(qū)域處理器631基于區(qū)域信息和混合比率α從幀存儲(chǔ)器621提供的屬于未遮蓋背景區(qū)域的像素的像素值中提取前景分量。
在步驟S606，遮蓋區(qū)域處理器632基于區(qū)域信息和混合比率α從幀存儲(chǔ)器621提供的屬于遮蓋背景區(qū)域的像素的像素值中提取背景分量。
在步驟S607，遮蓋區(qū)域處理器632基于區(qū)域信息和混合比率α從幀存儲(chǔ)器621提供的屬于遮蓋背景區(qū)域的像素的像素值中提取前景分量。
在步驟S608，合成器633將在步驟S605處理中提取的屬于未遮蓋背景區(qū)域的像素的前景分量與在步驟S607處理中提取的屬于遮蓋背景區(qū)域的像素的前景分量合成。合成的前景分量被提供給合成器603。合成器603進(jìn)一步將通過(guò)開(kāi)關(guān)602提供的屬于前景區(qū)域的像素與從分離部分601提供的前景分量合成以便產(chǎn)生前景分量圖像。
在步驟S609，合成器634將在步驟S604處理中提取的屬于未遮蓋背景區(qū)域的像素的背景分量與在步驟S606處理中提取的屬于遮蓋背景區(qū)域的像素的背景分量合成。合成的背景分量被提供給合成器605。合成器605進(jìn)一步將通過(guò)開(kāi)關(guān)604提供的屬于背景區(qū)域的像素與從分離部分601提供的背景分量合成以便產(chǎn)生背景分量圖像。
在步驟S610，合成器603輸出前景分量圖像。在步驟S611，合成器605輸出背景分量圖像。然后處理完成。
如上述，前景/背景分離器105基于區(qū)域信息和混合比率α能夠從輸入圖像中分離前景分量和背景分量，并且輸出僅僅由前景分量構(gòu)成的前景分量圖像和僅僅由背景分量構(gòu)成的背景分量圖像。
下面說(shuō)明通過(guò)快門(mén)時(shí)間計(jì)算器106進(jìn)行的快門(mén)時(shí)間的計(jì)算。
基于在從移動(dòng)檢測(cè)器102提供的幀間移動(dòng)矢量中包括的x方向的幀間移動(dòng)vfx和y方向的幀間移動(dòng)vfy以及在從混合比率計(jì)算器104提供的快門(mén)時(shí)間內(nèi)移動(dòng)矢量中包括的x方向的快門(mén)時(shí)間內(nèi)移動(dòng)vix和y方向的快門(mén)時(shí)間內(nèi)移動(dòng)viy，快門(mén)時(shí)間計(jì)算器106計(jì)算快門(mén)時(shí)間。
如圖56中表示，由于能夠假設(shè)前景目標(biāo)用不變速度移動(dòng)，快門(mén)時(shí)間內(nèi)移動(dòng)量對(duì)幀間移動(dòng)量的比率等于快門(mén)時(shí)間對(duì)幀間隔時(shí)間的比率。
基于在快門(mén)時(shí)間內(nèi)移動(dòng)中包括的x方向的快門(mén)時(shí)間內(nèi)移動(dòng)vix和在幀間移動(dòng)矢量中包括的x方向的幀間移動(dòng)vfx，快門(mén)時(shí)間計(jì)算器106例如通過(guò)方程(71)計(jì)算快門(mén)時(shí)間對(duì)幀間隔時(shí)間的比率S1。
S1＝vix/vfx (71)例如，如果x方向的快門(mén)時(shí)間內(nèi)移動(dòng)vix是5和x方向的幀間移動(dòng)vfx是10，快門(mén)時(shí)間計(jì)算器106計(jì)算快門(mén)時(shí)間對(duì)幀間隔時(shí)間的比率S1為0.5。
另外，基于幀間移動(dòng)矢量中包括的x方向的幀間移動(dòng)vfx和y方向的幀間移動(dòng)vfy以及在快門(mén)時(shí)間內(nèi)移動(dòng)矢量中包括的x方向的快門(mén)時(shí)間內(nèi)移動(dòng)vix和y方向的快門(mén)時(shí)間內(nèi)移動(dòng)viy，快門(mén)時(shí)間計(jì)算器106例如通過(guò)方程(72)計(jì)算快門(mén)時(shí)間對(duì)幀間隔時(shí)間的比率S2。
S2＝((vix/vfx)+(viy/vfy))/2 (72)基于幀間移動(dòng)矢量中包括的x方向的幀間移動(dòng)vfx和y方向的幀間移動(dòng)vfy以及在快門(mén)時(shí)間內(nèi)移動(dòng)矢量中包括的x方向的快門(mén)時(shí)間內(nèi)移動(dòng)vix和y方向的快門(mén)時(shí)間內(nèi)移動(dòng)viy，快門(mén)時(shí)間計(jì)算器106例如通過(guò)方程(73)計(jì)算快門(mén)時(shí)間對(duì)幀間隔時(shí)間的比率S3。S3=vix2+viy2vfx2+vfy2----(73)]]>快門(mén)時(shí)間計(jì)算器能夠通過(guò)方程(71)比通過(guò)方程(72)或者方程(73)更簡(jiǎn)單地計(jì)算快門(mén)時(shí)間對(duì)幀間隔時(shí)間的比率。
快門(mén)時(shí)間計(jì)算器能夠通過(guò)方程(72)或方程(73)比通過(guò)方程(71)更精確地計(jì)算快門(mén)時(shí)間對(duì)幀間隔時(shí)間的比率。
快門(mén)時(shí)間計(jì)算器106基于幀間隔時(shí)間和計(jì)算的快門(mén)時(shí)間對(duì)幀間隔時(shí)間的比率計(jì)算快門(mén)時(shí)間。
如上述，基于在從移動(dòng)檢測(cè)器102提供的幀間移動(dòng)矢量中包括的x方向的幀間移動(dòng)vfx和y方向的幀間移動(dòng)vfy以及在從混合比率計(jì)算器104提供的快門(mén)時(shí)間內(nèi)移動(dòng)矢量中包括的x方向的快門(mén)時(shí)間內(nèi)移動(dòng)vix和y方向的快門(mén)時(shí)間內(nèi)移動(dòng)viy，快門(mén)時(shí)間計(jì)算器106能夠計(jì)算快門(mén)時(shí)間。
下面說(shuō)明前景分量圖像中移動(dòng)模糊量的調(diào)節(jié)。
圖69是表示移動(dòng)模糊調(diào)節(jié)單元107結(jié)構(gòu)的例子的方框圖。從混合比率計(jì)算器104提供的快門(mén)時(shí)間內(nèi)移動(dòng)矢量和其位置信息被提供給處理單位確定部分801、模型形成部分802、以及計(jì)算器805。從區(qū)域指定單元103提供的區(qū)域信息被提供給處理單位確定部分801。從前景/背景分離器105提供的前景分量圖像被提供給加法器804。
處理單位確定部分801提供基于快門(mén)時(shí)間內(nèi)移動(dòng)矢量和其位置信息以及區(qū)域信息產(chǎn)生的處理單位給模型形成部分802。處理單位確定部分801將所產(chǎn)生的處理單位提供給加法器804。
如圖70中表示例子中A表示的，由處理單位確定部分801產(chǎn)生的處理單位表示從對(duì)應(yīng)于前景分量圖像的遮蓋背景區(qū)域的像素開(kāi)始直到對(duì)應(yīng)于未遮蓋背景區(qū)域的像素為止在移動(dòng)方向上布置的連續(xù)像素，或者表示從對(duì)應(yīng)于未遮蓋背景區(qū)域的像素開(kāi)始直到對(duì)應(yīng)于遮蓋背景區(qū)域的像素為止在移動(dòng)方向上布置的連續(xù)像素。處理單位是由兩塊數(shù)據(jù)形成的，其表示例如左上點(diǎn)(其是由處理單位指定的圖像中最左邊或者最上面像素的位置)和右下點(diǎn)。
模型形成部分802基于快門(mén)時(shí)間內(nèi)移動(dòng)矢量和處理單位形成模型。更具體地，例如，根據(jù)在處理單位中包含的像素?cái)?shù)目、在時(shí)間方向像素值的有效分割部分的數(shù)目、以及每個(gè)像素之前景分量的數(shù)目，模型形成部分802提前存儲(chǔ)多個(gè)模型。然后，基于處理單位和在時(shí)間方向像素值的有效分割部分的數(shù)目，模型形成部分902選擇其中在像素值和前景分量之間的相關(guān)性被指定的模型，諸如圖71中表示的。
現(xiàn)在假設(shè)，例如，對(duì)應(yīng)于處理單位的像素的數(shù)目是12，快門(mén)時(shí)間之內(nèi)移動(dòng)量v是5。然后，模型形成部分802設(shè)置有效分割部分的數(shù)目是5，并且選擇由八種類型的前景分量形成的模型使得最左邊像素包含一個(gè)前景分量，左起第二像素包含兩個(gè)前景分量，左起第三像素包含三個(gè)前景分量，左起第四像素包含四個(gè)像素分量，左起第五像素包含五個(gè)前景分量，左起第六像素包含五個(gè)前景分量，左起第七像素包含五個(gè)前景分量，左起第八像素包含五個(gè)前景分量，左起第九像素包含四個(gè)前景分量，左起第十像素包含三個(gè)前景分量，左起第十一像素包含兩個(gè)前景分量，以及左起第十二像素包含一個(gè)前景分量。
代替從預(yù)先存儲(chǔ)模型中選擇模型，當(dāng)提供了快門(mén)時(shí)間內(nèi)移動(dòng)矢量和處理單位時(shí)，基于該快門(mén)時(shí)間內(nèi)移動(dòng)矢量和處理單位，模型形成部分802可以產(chǎn)生模型。
模型形成部分802將所選擇模型提供給方程發(fā)生器803。
基于從模型形成部分802提供的模型，方程發(fā)生器803產(chǎn)生方程。下面參考圖71中表示的前景分量圖像的模型，給出在當(dāng)前景分量的數(shù)目是8，對(duì)應(yīng)于處理單位的像素的數(shù)目是12，快門(mén)時(shí)間內(nèi)移動(dòng)量v是5，以及有效分割部分的數(shù)目是5時(shí)由方程發(fā)生器803產(chǎn)生的方程的說(shuō)明。
當(dāng)在對(duì)應(yīng)于快門(mén)時(shí)間/v的前景分量圖像中包含的前景分量是F01/v到F08/v時(shí)，在F01/v到F08/v和像素值C01到C12之間的關(guān)系能夠由方程(74)到(85)表示。
C01＝F01/v(74)C02＝F02/v+F01/v (75)C03＝F03/v+F02/v+F01/v(76)C04＝F04/v+F03/v+F02/v+F01/v (77)C05＝F05/v+F04/v+F03/v+F02/v+F01/v(78)C06＝F06/v+F05/v+F04/v+F03/v+F02/v(79)C07＝F07/v+F06/v+F05/v+F04/v+F03/v(80)C08＝F08/v+F07/v+F06/v+F05/v+F04/v(81)C09＝F08/v+F07/v+F06/v+F05/v (82)
C10＝F08/v+F07/v+F06/v(83)C11＝F08/v+F07/v (84)C12＝F08/v(85)方程發(fā)生器803通過(guò)修改所產(chǎn)生的方程來(lái)產(chǎn)生方程。通過(guò)方程發(fā)生器803產(chǎn)生的方程由方程(86)到(97)表示。
C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(86)C02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(87)C03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(88)C04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v(89)C05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v(90)C06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v(91)C07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v(92)C08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(93)C09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v(94)C10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v(95)C11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v(96)C12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+1·F08/v(97)方程(86)到(97)能夠由方程(98)表示。Cj=Σi=0108aij·Fi/v----(98)]]>方程(98)中，j指定像素的位置。在該例子中，j具有1到12的值中的一個(gè)。方程(98)中，i指定前景值的位置。在該例子中，i具有1到8的值中的一個(gè)。方程(98)中，aij根據(jù)i和j的值具有0或者1值。
考慮誤差，方程(98)能夠由方程(99)表示。Cj=Σi=0108aij·Fi/v+ej----(99)]]>方程(99)中，ej指定在指定像素Cj中包含的誤差。
方程(99)能夠被修改為方程(100)。ej=Cj-Σi=0108aij-Fi/v----(100)]]>為了應(yīng)用最小二乘法，誤差的平方和E被定義為方程(101)。E=Σj=0112ej2----(101)]]>為了最小化誤差，對(duì)于誤差的平方和E，使用變量Fk的偏微分值應(yīng)當(dāng)為0。Fk被確定為使得滿足方程(102)。∂E∂Fk=2·Σj=0112ej·∂ej∂Fk----(102)]]>=2·Σj=0112{(Cj-Σi=0108aij·Fi/v)·(-akj/v)=0]]>方程(102)中，由于快門(mén)時(shí)間內(nèi)移動(dòng)量是固定值，能夠推導(dǎo)出方程(103)。Σi=0112akj·(Cj-Σi=0108aij·Fi/v)=0----(103)]]>通過(guò)展開(kāi)方程(103)和置換各項(xiàng)，能夠得到方程(104)。Σj=0112(akj·Σi=0108aij·Fi)=vΣj=0112akj·Cj----(104)]]>通過(guò)將從1到8的單個(gè)整數(shù)替換方程(104)中的k，方程(104)被展開(kāi)為八個(gè)方程。所獲得的八個(gè)方程能夠由一個(gè)矩陣方程表示。該方程被稱為“標(biāo)準(zhǔn)方程”。
由方程發(fā)生器803基于最小二乘法產(chǎn)生的標(biāo)準(zhǔn)方程的例子由方程(105)表示。5432100045432100345432102345432112345432012345430012345400012345F01F02F03F04F05F06F07F08=v·Σi=0812CiΣi=0711CiΣi=0610CiΣi=0509CiΣi=0408CiΣi=0307CiΣi=0206CiΣi=0105Ci---(105)]]>當(dāng)方程(105)由A·F＝v·C表示時(shí)，C，A和v是公知的，F(xiàn)是未知的。當(dāng)模型形成時(shí)A和v是已知的，同時(shí)當(dāng)像素值被輸入到加處理時(shí)C變成已知的。
通過(guò)基于最小二乘法根據(jù)標(biāo)準(zhǔn)方程計(jì)算前景分量，像素C中包含的誤差能夠被分布(distributed)。
方程發(fā)生器803將按上述產(chǎn)生的標(biāo)準(zhǔn)方程提供給加法器804。
基于從處理單位確定部分801提供的處理單位，加法器804設(shè)置從方程發(fā)生器803提供的矩陣方程中前景分量圖像內(nèi)包含的像素值C。加法器804將其中像素值C被設(shè)置的矩陣提供給計(jì)算器805。
計(jì)算器805計(jì)算前景分量Fi/v，在該前景分量Fi/v中，移動(dòng)模糊通過(guò)基于諸如刮去法(Gauss-Jordan消去法)的技術(shù)方案的處理被消除，以便獲得對(duì)應(yīng)于表示從1到8整數(shù)之一個(gè)的i的Fi，其是移動(dòng)模糊被從中消除的像素值。計(jì)算器805然后將諸如圖72中表示的由沒(méi)有移動(dòng)模糊的像素值Fi構(gòu)成的前景分量圖像輸出到移動(dòng)模糊加法器806和選擇器807。
在圖72中表示的沒(méi)有移動(dòng)模糊的前景分量圖像中，用于將F01到F08分別設(shè)置到C03到C10中的原因是不改變前景分量圖像相對(duì)于屏幕的位置。但是，F(xiàn)01到F08可以被設(shè)置在任何希望的位置中。
移動(dòng)模糊加法器806基于從快門(mén)時(shí)間計(jì)算器106提供的快門(mén)時(shí)間產(chǎn)生移動(dòng)模糊被調(diào)節(jié)的量v’。例如，移動(dòng)模糊加法器806將預(yù)先存儲(chǔ)的幀間隔時(shí)間除以從快門(mén)時(shí)間計(jì)算器106提供的快門(mén)時(shí)間和將從混合比率計(jì)算器104提供的快門(mén)時(shí)間內(nèi)移動(dòng)乘以該除法的結(jié)果，由此產(chǎn)生移動(dòng)模糊被調(diào)節(jié)的量v’。
通過(guò)相加不同于快門(mén)時(shí)間內(nèi)移動(dòng)量v的移動(dòng)模糊被調(diào)節(jié)的量v’，例如是快門(mén)時(shí)間內(nèi)移動(dòng)量v的一半值的移動(dòng)模糊被調(diào)節(jié)的量v’，或者是與快門(mén)時(shí)間內(nèi)移動(dòng)量v無(wú)關(guān)的移動(dòng)模糊被調(diào)節(jié)的量v’，移動(dòng)模糊加法器806能夠調(diào)節(jié)移動(dòng)模糊的量。例如，如圖73中表示，移動(dòng)模糊加法器806通過(guò)移動(dòng)模糊被調(diào)節(jié)的量v’分割沒(méi)有移動(dòng)模糊的前景像素值Fi以便獲得前景分量Fi/v’。移動(dòng)模糊加法器806然后計(jì)算前景分量Fi/v’之和，由此產(chǎn)生其中移動(dòng)模糊量被調(diào)節(jié)的像素值。例如，當(dāng)移動(dòng)模糊被調(diào)節(jié)的量v’是3時(shí)，像素值C02被設(shè)置為(F01)/v’，像素值C03被設(shè)置為(F01+F02)/v’，像素值C04被設(shè)置為(F01+F02+F03)/v’，以及像素值C05被設(shè)置為(F02+F03+F04)/v’。
移動(dòng)模糊加法器806將其中移動(dòng)模糊量被調(diào)節(jié)的前景分量圖像提供給選擇器807。
選擇器807基于反映用戶選擇的選擇信號(hào)選擇從計(jì)算器805提供的沒(méi)有移動(dòng)模糊的前景分量圖像和從移動(dòng)模糊加法器806提供的其中移動(dòng)模糊量被調(diào)節(jié)的前景分量圖像之一，并且輸出所選擇前景分量圖像。
如上述，移動(dòng)模糊調(diào)節(jié)單元106能夠基于選擇信號(hào)和移動(dòng)模糊被調(diào)節(jié)的量v’來(lái)調(diào)節(jié)移動(dòng)模糊量。
而且，例如，當(dāng)對(duì)應(yīng)于處理單位的像素的數(shù)目是8和快門(mén)時(shí)間內(nèi)移動(dòng)量v是4時(shí)，如圖74中表示，移動(dòng)模糊調(diào)節(jié)單元107產(chǎn)生由方程(106)表示的矩陣方程。4321034321234321234301234F01F02F03F04F05=v·Σi=0508CiΣi=0407CiΣi=0306CiΣi=0205CiΣi=0104Ci----(106)]]>
這樣，通過(guò)根據(jù)處理單位的長(zhǎng)度建立方程，移動(dòng)模糊調(diào)節(jié)單元107計(jì)算Fi，其是其中移動(dòng)模糊量被調(diào)節(jié)的像素值。類似地，例如，當(dāng)在處理單位中包含的像素的數(shù)目是100時(shí)，對(duì)應(yīng)于100個(gè)像素的方程被產(chǎn)生以便計(jì)算Fi。
圖75表示移動(dòng)模糊調(diào)節(jié)單元107另一個(gè)結(jié)構(gòu)的例子。與圖69表示的相同單元被指定為類似的參考標(biāo)記，并且因此其解釋省略。
基于從快門(mén)時(shí)間計(jì)算器106提供的快門(mén)時(shí)間，選擇器821產(chǎn)生移動(dòng)模糊被調(diào)節(jié)的量v’。
基于選擇信號(hào)，選擇器821直接將輸入的快門(mén)時(shí)間內(nèi)移動(dòng)矢量和其位置信號(hào)提供給處理單位確定部分801和模型形成部分802。另外，選擇器821可以將快門(mén)時(shí)間內(nèi)移動(dòng)矢量的幅值替換為一個(gè)其移動(dòng)模糊被調(diào)節(jié)的量v’，并且然后將該移動(dòng)矢量和其位置信號(hào)提供給處理單位確定部分801和模型形成單元802。
借助該方案，圖75中表示移動(dòng)模糊調(diào)節(jié)單元107的處理單位確定部分801到計(jì)算器805能夠根據(jù)移動(dòng)量v和其移動(dòng)模糊被調(diào)節(jié)的量v’來(lái)調(diào)節(jié)移動(dòng)模糊量。例如，當(dāng)快門(mén)時(shí)間內(nèi)移動(dòng)量是5和其移動(dòng)模糊被調(diào)節(jié)的量v’是3時(shí)，圖75中表示的移動(dòng)模糊調(diào)節(jié)單元107的處理單位確定部分801到計(jì)算器805根據(jù)其中其移動(dòng)模糊被調(diào)節(jié)的量v’是3的圖73中表示的模型執(zhí)行有關(guān)圖71中表示的其中快門(mén)時(shí)間內(nèi)移動(dòng)量v是5的前景分量圖像的計(jì)算。結(jié)果，獲得包含具有(快門(mén)時(shí)間內(nèi)移動(dòng)量v)/(其移動(dòng)模糊被調(diào)節(jié)的量v’)＝5/3即大約1.7的快門(mén)時(shí)間內(nèi)的移動(dòng)量v的移動(dòng)模糊的圖像。在這種情況下，所計(jì)算的圖像不包含對(duì)應(yīng)于快門(mén)時(shí)間內(nèi)移動(dòng)量v為3的移動(dòng)模糊。因此，應(yīng)當(dāng)注意，在快門(mén)時(shí)間內(nèi)移動(dòng)量v和其移動(dòng)模糊被調(diào)節(jié)的量v’之間的關(guān)系是與移動(dòng)模糊加法器806的結(jié)果不同的。
如上述，移動(dòng)模糊調(diào)節(jié)單元107根據(jù)快門(mén)時(shí)間內(nèi)移動(dòng)量v和處理單位產(chǎn)生方程，并且設(shè)置所產(chǎn)生方程中前景分量圖像的像素值，由此計(jì)算其中移動(dòng)模糊量被調(diào)節(jié)的前景分量圖像。
下面參考圖76的流程圖說(shuō)明用于通過(guò)移動(dòng)模糊調(diào)節(jié)單元107執(zhí)行的調(diào)節(jié)在前景分量圖像中包含的移動(dòng)模糊量的處理。
在步驟S801，移動(dòng)模糊調(diào)節(jié)單元107的處理單位確定部分801基于快門(mén)時(shí)間內(nèi)移動(dòng)矢量和區(qū)域信息產(chǎn)生處理單位，并且將所產(chǎn)生的處理單位提供給模型形成部分802。
在步驟S802，移動(dòng)模糊調(diào)節(jié)單元107的模型形成部分802根據(jù)快門(mén)時(shí)間內(nèi)移動(dòng)量和處理單位選擇或者產(chǎn)生模型。在步驟S803，方程發(fā)生器803基于所選擇模型產(chǎn)生標(biāo)準(zhǔn)方程。
在步驟S804，加法器804設(shè)置所產(chǎn)生標(biāo)準(zhǔn)方程中前景分量圖像的像素值。在步驟S805，加法器804確定對(duì)應(yīng)于處理單位的所有像素的像素值是否被設(shè)置。如果確定出沒(méi)有設(shè)置對(duì)應(yīng)于處理單位的所有像素的像素值，則處理返回到步驟S804，并且重復(fù)用于設(shè)置標(biāo)準(zhǔn)方程中像素值的處理。
如果在步驟S805確定出對(duì)應(yīng)于處理單位的所有像素的像素值被設(shè)置，則處理前進(jìn)到步驟S806。在步驟S806，計(jì)算器805基于其中像素值被設(shè)置的、從加法器804提供的標(biāo)準(zhǔn)方程來(lái)計(jì)算其中移動(dòng)模糊量被調(diào)節(jié)的前景的像素值。然后處理完成。
如上述，移動(dòng)模糊調(diào)節(jié)單元107能夠基于快門(mén)時(shí)間、快門(mén)時(shí)間內(nèi)移動(dòng)矢量和區(qū)域信息調(diào)節(jié)包含移動(dòng)模糊之前景圖像的移動(dòng)模糊量。
即，有可能調(diào)節(jié)像素值中包含的、即采樣數(shù)據(jù)中包含的移動(dòng)模糊量。
圖77是表示移動(dòng)模糊調(diào)節(jié)單元107另一個(gè)結(jié)構(gòu)的例子的方框圖。從混合比率計(jì)算器104提供的快門(mén)時(shí)間內(nèi)移動(dòng)矢量和其位置信息被提供給處理單位確定部分901和調(diào)節(jié)部分905。從區(qū)域指定單元103提供的區(qū)域信息被提供給處理單位確定部分901。從前景/背景分離器105提供的前景分量圖像被提供給計(jì)算器904。
處理單位確定部分901基于快門(mén)時(shí)間內(nèi)移動(dòng)矢量和其位置信息以及區(qū)域信息產(chǎn)生處理單位，并且將處理單位與快門(mén)時(shí)間內(nèi)移動(dòng)矢量一起提供給模型形成部分902。
模型形成部分902基于快門(mén)時(shí)間內(nèi)移動(dòng)矢量和輸入的處理單位形成模型。更具體地，例如，模型形成部分902可以根據(jù)在處理單位中包含的像素?cái)?shù)目、在時(shí)間方向像素值的有效分割部分的數(shù)目、以及每個(gè)像素之前景分量的數(shù)目，預(yù)先存儲(chǔ)多個(gè)模型?；谔幚韱挝缓驮跁r(shí)間方向像素值的有效分割部分的數(shù)目，模型形成部分902然后選擇其中在像素值和前景分量之間的相關(guān)性被指定的模型，諸如圖78中表示的。
現(xiàn)在假設(shè)，例如，對(duì)應(yīng)于處理單位的像素的數(shù)目是12，和快門(mén)時(shí)間內(nèi)移動(dòng)量v是5。然后，模型形成部分902將有效分割部分的數(shù)目為5，和選擇由八種前景分量構(gòu)成的模型，以便最左邊像素包含一個(gè)前景分量，左起第二像素包含兩個(gè)前景分量，左起第三像素包含三個(gè)前景分量，左起第四像素包含四個(gè)前景分量，左起第五像素包含五個(gè)前景分量，左起第六像素包含五個(gè)前景分量，左起第七像素包含五個(gè)前景分量，左起第八像素包含五個(gè)前景分量，左起第九像素包含四個(gè)前景分量，左起第十像素包含三個(gè)前景分量，左起第十一像素包含兩個(gè)前景分量，以及左起第十二像素包含一個(gè)前景分量。
代替從預(yù)先存儲(chǔ)模型中選擇模型，當(dāng)提供了快門(mén)時(shí)間內(nèi)移動(dòng)矢量和處理單位時(shí)，基于該快門(mén)時(shí)間內(nèi)移動(dòng)矢量和處理單位，模型形成部分902可以產(chǎn)生模型。
基于從模型形成部分902提供的模型，方程發(fā)生器903產(chǎn)生方程。
下面參考圖78到80中表示的前景分量圖像的模型，給出在當(dāng)前景分量的數(shù)目是8，對(duì)應(yīng)于處理單位的像素的數(shù)目是12，快門(mén)時(shí)間內(nèi)移動(dòng)量v是5時(shí)由方程發(fā)生器903產(chǎn)生的方程的例子的說(shuō)明。
當(dāng)在對(duì)應(yīng)于快門(mén)時(shí)間/v的前景分量圖像中包含的前景分量是F01/v到F08/v時(shí)，在F01/v到F08/v和像素值C01到C12之間的關(guān)系能夠由方程(74)到(85)表示，如上述。
通過(guò)考慮像素值C12和C11，像素值C12僅僅包含前景分量F08/v，如方程(107)表示的，并且像素值C11由前景分量F08/v和前景分量F07/v的乘積和構(gòu)成，因此，前景分量F07/v能夠由方程(108)得出。
F08/v＝C12(107)F07/v＝C11-C12(108)類似地，通過(guò)考慮在像素值C10到C01中包含的前景分量，前景分量F06/v到F01/v能夠分別由方程(109)到(114)得出。
F06/v＝C10-C11(109)F05/v＝C09-C10(110)F04/v＝C08-C09(111)F03/v＝C07-C08+C12(112)F02/v＝C06-C07+C11-C12(113)F01/v＝C05-C06+C10-C11(114)方程發(fā)生器903產(chǎn)生用于通過(guò)在像素值之間的差別按方程(107)到(114)表示來(lái)計(jì)算前景分量的方程。方程發(fā)生器903將所產(chǎn)生的方程提供給計(jì)算器904。
計(jì)算器904設(shè)置從方程發(fā)生器903提供的方程中的前景分量圖像的像素值以便獲得基于其中像素值被設(shè)置方程的前景分量。例如，當(dāng)方程(107)到(114)被從方程發(fā)生器903中提供時(shí)，計(jì)算器904設(shè)置方程(107)到(114)中像素值C05到C12。
計(jì)算器904基于其中像素值被設(shè)置的方程來(lái)計(jì)算前景分量。例如，計(jì)算器904基于其中像素值C05到C12被設(shè)置的方程(107)到(114)的計(jì)算來(lái)計(jì)算前景分量F01/v到F08/v，如圖79中所示。計(jì)算器904將前景分量F01/v到F08/v提供給調(diào)節(jié)部分905。
調(diào)節(jié)部分905將從混合比率計(jì)算器104提供的前景分量乘以從處理單位確定部分901提供的快門(mén)時(shí)間內(nèi)移動(dòng)矢量中包含的快門(mén)時(shí)間內(nèi)移動(dòng)量v以便獲得其移動(dòng)模糊被消除的前景像素值。例如，當(dāng)前景分量F01/v到F08/v被從計(jì)算器904提供時(shí)，調(diào)節(jié)部分905將前景分量F01/v到F08/v的每一個(gè)乘以快門(mén)時(shí)間內(nèi)移動(dòng)量v即5，以便獲得其移動(dòng)模糊被消除的前景像素值F01到F08，如圖80中表示。
調(diào)節(jié)部分905將由按上述計(jì)算的沒(méi)有移動(dòng)模糊的前景像素值構(gòu)成的前景分量圖像提供給移動(dòng)模糊加法器906和選擇器907。
通過(guò)使用不同于基于快門(mén)時(shí)間產(chǎn)生的快門(mén)時(shí)間內(nèi)移動(dòng)量v的移動(dòng)模糊被調(diào)節(jié)的量v’，例如為快門(mén)時(shí)間內(nèi)移動(dòng)量v的一半值的移動(dòng)模糊被調(diào)節(jié)的量v’，或者為與快門(mén)時(shí)間內(nèi)移動(dòng)量v無(wú)關(guān)的移動(dòng)模糊被調(diào)節(jié)的量v’，移動(dòng)模糊加法器906能夠調(diào)節(jié)移動(dòng)模糊的量。例如，如圖73中表示，移動(dòng)模糊加法器906用移動(dòng)模糊被調(diào)節(jié)的量v’除沒(méi)有移動(dòng)模糊的前景像素值Fi以便獲得前景分量Fi/v’。移動(dòng)模糊加法器906然后計(jì)算前景分量Fi/v’之和，由此產(chǎn)生其中移動(dòng)模糊量被調(diào)節(jié)的像素值。例如，當(dāng)移動(dòng)模糊被調(diào)節(jié)的量v’是3時(shí)，像素值C02被設(shè)置為(F01)/v’，像素值C03被設(shè)置為(F01+F02)/v’，像素值C04被設(shè)置為(F01+F02+F03)/v’，以及像素值C05被設(shè)置為(F02+F03+F04)/v’。
基于快門(mén)時(shí)間，移動(dòng)模糊加法器906將其中移動(dòng)模糊量被調(diào)節(jié)的前景分量圖像提供給選擇器907。
選擇器907基于反映用戶選擇的選擇信號(hào)選擇從調(diào)節(jié)部分905提供的沒(méi)有移動(dòng)模糊的前景分量圖像或者從移動(dòng)模糊加法器906提供的其中移動(dòng)模糊量被調(diào)節(jié)的前景分量圖像，并且輸出所選擇前景分量圖像。
如上述，移動(dòng)模糊調(diào)節(jié)單元107能夠基于選擇信號(hào)和移動(dòng)模糊被調(diào)節(jié)的量v’來(lái)調(diào)節(jié)移動(dòng)模糊量。
下面參考圖81的流程圖說(shuō)明用于通過(guò)按圖77構(gòu)成的移動(dòng)模糊調(diào)節(jié)單元107執(zhí)行的調(diào)節(jié)前景的移動(dòng)模糊量的處理。
在步驟S901，移動(dòng)模糊調(diào)節(jié)單元107的處理單位確定部分901基于快門(mén)時(shí)間內(nèi)移動(dòng)矢量和區(qū)域信息產(chǎn)生處理單位，并且將所產(chǎn)生的處理單位提供給模型形成部分902和調(diào)節(jié)部分905。
在步驟S902，移動(dòng)模糊調(diào)節(jié)單元107的模型形成部分902根據(jù)快門(mén)時(shí)間內(nèi)移動(dòng)量v和處理單位選擇或者產(chǎn)生模型。在步驟S903，方程發(fā)生器903基于所選擇或者所產(chǎn)生的模型產(chǎn)生方程，用于通過(guò)前景分量圖像像素值之間的差別計(jì)算前景分量。
在步驟S904，計(jì)算器904設(shè)置所產(chǎn)生方程中前景分量圖像的像素值，并且基于其中像素值被設(shè)置的方程通過(guò)使用像素值之間的差別來(lái)提取前景分量。在步驟S905，計(jì)算器904確定對(duì)應(yīng)于處理單位的所有前景分量是否已經(jīng)被提取。如果確定出沒(méi)有提取對(duì)應(yīng)于處理單位的所有前景分量，則處理返回到步驟S904，并且重復(fù)用于提取前景分量的處理。
如果在步驟S905確定出對(duì)應(yīng)于處理單位的所有前景分量已經(jīng)被提取，則處理前進(jìn)到步驟S906。在步驟S906，調(diào)節(jié)部分905基于快門(mén)時(shí)間內(nèi)移動(dòng)量v來(lái)調(diào)節(jié)從計(jì)算器904提供的前景分量F01/v到F08/v的每一個(gè)，以便獲得其移動(dòng)模糊被消除的前景像素值F01/v到F08/v。
在步驟S907，移動(dòng)模糊加法器906計(jì)算其中移動(dòng)模糊量被調(diào)節(jié)的前景像素值，選擇器907選擇沒(méi)有移動(dòng)模糊的圖像或者其中移動(dòng)模糊量被調(diào)節(jié)的圖像，并且輸出所選擇的圖像。處理然后結(jié)束。
如上述，按圖77表示構(gòu)成的移動(dòng)模糊調(diào)節(jié)單元107能夠根據(jù)較簡(jiǎn)單的計(jì)算來(lái)更快速地調(diào)節(jié)包含移動(dòng)模糊的前景圖像的移動(dòng)模糊。
諸如Wiener濾波器的用于部分消除移動(dòng)模糊的公知技術(shù)在被用于理想狀態(tài)時(shí)是有效的，但是對(duì)于被量化和包含噪聲的實(shí)際圖像是不夠的。相反，按圖77表示構(gòu)成的移動(dòng)模糊調(diào)節(jié)單元107對(duì)被量化和包含噪聲的實(shí)際圖像被證明是足夠有效的。因此有可能以高的精確度消除移動(dòng)模糊。
圖82表示合成器108的結(jié)構(gòu)。背景分量發(fā)生器1021基于混合比率α和某個(gè)背景圖像產(chǎn)生背景分量圖像，并且將該背景分量圖像提供給混合區(qū)域圖像合成部分1022。
混合區(qū)域圖像合成部分1022將從背景分量發(fā)生器1021提供的背景分量圖像與前景分量圖像合成以便產(chǎn)生混合區(qū)域合成圖像，和將所產(chǎn)生的混合區(qū)域合成圖像提供給圖像合成部分1023。
圖像合成器1023基于區(qū)域信息合成前景分量圖像、從混合區(qū)域圖像合成部分1022提供的混合區(qū)域合成圖像、以及某個(gè)背景圖像，以便產(chǎn)生合成圖像和輸出它。
如上述，合成器108能夠?qū)⑶熬胺至繄D像與某個(gè)背景圖像合成。
與通過(guò)簡(jiǎn)單合成像素獲得的圖像相比較，通過(guò)基于是特征數(shù)量的混合比率α將前景分量圖像與某個(gè)背景圖像合成獲得的圖像出現(xiàn)的更為自然。
如上述，按圖2表示構(gòu)成的圖像處理設(shè)備能夠從輸入圖像中分離出前景分量圖像，調(diào)節(jié)在分離的前景分量圖像中包括的移動(dòng)模糊量，和將它與希望的背景圖像合成。
圖83是表示用于調(diào)節(jié)移動(dòng)模糊量的圖像處理設(shè)備功能的另一個(gè)結(jié)構(gòu)的方框圖。圖2中表示的圖像處理設(shè)備順序地完成區(qū)域規(guī)定操作和用于混合比率α的計(jì)算。相反，圖84中表示的圖像處理設(shè)備同時(shí)執(zhí)行區(qū)域規(guī)定操作和用于混合比率α的計(jì)算。
類似于圖2方框圖中的功能單元被指定為類似的參考標(biāo)記，因此其解釋被省略。
輸入圖像被提供給目標(biāo)提取單元101、區(qū)域指定單元103、混合比率計(jì)算器1101、和前景/背景分離器1102。
區(qū)域指定單元103基于輸入圖像產(chǎn)生區(qū)域信息，和將區(qū)域信息提供給前景/背景分離器1102、移動(dòng)模糊調(diào)節(jié)單元107和合成器1103。
混合比率計(jì)算器1101基于輸入圖像計(jì)算當(dāng)假設(shè)在輸入圖像中包含的每個(gè)像素屬于遮蓋背景區(qū)域時(shí)的估計(jì)混合比率和當(dāng)假設(shè)在輸入圖像中包含的每個(gè)像素屬于未遮蓋背景區(qū)域時(shí)的估計(jì)混合比率，并且將用每個(gè)像素屬于遮蓋背景區(qū)域的假設(shè)計(jì)算的估計(jì)混合比率和用每個(gè)像素屬于未遮蓋背景區(qū)域的假設(shè)計(jì)算的估計(jì)混合比率提供給前景/背景分離器1102。
混合比率計(jì)算器1101基于用每個(gè)像素屬于遮蓋背景區(qū)域的假設(shè)計(jì)算的估計(jì)混合比率和用每個(gè)像素屬于未遮蓋背景區(qū)域的假設(shè)計(jì)算的估計(jì)混合比率來(lái)產(chǎn)生快門(mén)時(shí)間內(nèi)的移動(dòng)矢量，并且將快門(mén)時(shí)間內(nèi)移動(dòng)矢量提供給快門(mén)時(shí)間計(jì)算器106和移動(dòng)模糊調(diào)節(jié)單元107。
圖85是表示混合比率計(jì)算器1101的結(jié)構(gòu)例子的方框圖。
圖85中表示的估計(jì)混合比率處理器401是與圖49中表示的估計(jì)混合比率處理器401相同。圖85中表示的估計(jì)混合比率處理器402是與圖49中表示的估計(jì)混合比率處理器402相同。
估算混合比率處理器401通過(guò)基于輸入圖像對(duì)應(yīng)于遮蓋背景區(qū)域的模型的計(jì)算來(lái)計(jì)算每個(gè)像素的估算混合比率，和輸出所計(jì)算的估算混合比率?；诠浪慊旌媳嚷?，估算混合比率處理器401計(jì)算估算移動(dòng)矢量，和將估算混合比率與估算移動(dòng)矢量提供給選擇器1111。
估算混合比率處理器402通過(guò)基于輸入圖像對(duì)應(yīng)于未遮蓋背景區(qū)域的模型的計(jì)算來(lái)計(jì)算每個(gè)像素的估算混合比率，和輸出所計(jì)算的估算混合比率?；诠浪慊旌媳嚷?，估算混合比率處理器402計(jì)算估算移動(dòng)矢量，和將估算混合比率與估算移動(dòng)矢量提供給選擇器1111。
選擇器1111選擇對(duì)應(yīng)于超過(guò)0和低于1的估算混合比率的估算移動(dòng)矢量，和將估算移動(dòng)矢量設(shè)置為快門(mén)時(shí)間內(nèi)的移動(dòng)矢量并輸出它。
基于當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的遮蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率、當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的未遮蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率、以及從區(qū)域指定單元103提供的區(qū)域信息，前景/背景分離器1102從輸入圖像中產(chǎn)生前景分量圖像，并且將所產(chǎn)生的前景分量圖像提供給移動(dòng)模糊調(diào)節(jié)單元1103。
圖85是表示前景/背景分離器1102的結(jié)構(gòu)的例子的方框圖。
類似于圖61中表示的前景/背景分離器105的單元被由相同的參考標(biāo)記表示，因此其解釋被省略。
選擇器1121基于從區(qū)域指定單元103提供的區(qū)域信息選擇當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的遮蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率或者當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的未遮蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率，和將所選擇的估計(jì)混合比率作為混合比率α提供給分離部分601。
分離部分601基于從選擇器1121提供的混合比率α和區(qū)域信息從屬于混合區(qū)域的像素的像素值中提取前景分量和背景分量，并且將所提取的前景分量提供合成器603，和也將前景分量提供給合成器605。
分離部分601能夠被構(gòu)造成類似于圖66中表示的對(duì)應(yīng)部分。
合成器603合成前景分量圖像并輸出它。合成器605合成背景分量圖像并輸出它。
基于從區(qū)域指定單元103提供的區(qū)域信息、從混合比率計(jì)算器1101提供的快門(mén)時(shí)間內(nèi)移動(dòng)矢量、和從快門(mén)時(shí)間計(jì)算器106提供的快門(mén)時(shí)間，移動(dòng)模糊調(diào)節(jié)單元107調(diào)節(jié)在從前景/背景分離器1102提供的前景分量圖像中包含的移動(dòng)模糊量，并且輸出其中移動(dòng)模糊量被調(diào)節(jié)的前景分量圖像給合成器1103。
基于當(dāng)假設(shè)像素屬于遮蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率和當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的未遮蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率、以及從區(qū)域指定單元103提供的區(qū)域信息，合成器1103將某個(gè)背景圖像與其中移動(dòng)模糊被調(diào)節(jié)的從移動(dòng)模糊調(diào)節(jié)單元107提供的前景分量圖像合成，并且輸出合成圖像。
圖86是表示合成器1103的結(jié)構(gòu)的方框圖。類似于圖82表示的單元被指定為相同的參考標(biāo)記，因此其解釋被省略。
選擇器1131基于從區(qū)域指定單元103提供的區(qū)域信息選擇當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的遮蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率或者當(dāng)假設(shè)像素屬于從混合比率計(jì)算器1101提供的未遮蓋背景區(qū)域時(shí)計(jì)算的估計(jì)混合比率，和將所選擇的估計(jì)混合比率作為混合比率α提供給背景分量發(fā)生器1021。
如上述，按圖83表示構(gòu)成的圖像處理設(shè)備能夠調(diào)節(jié)對(duì)應(yīng)于輸出之前的輸入圖像的前景目標(biāo)的圖像中包括的移動(dòng)模糊量。
實(shí)施例已經(jīng)通過(guò)將混合比率α設(shè)置為像素值中包含的背景分量的比率進(jìn)行了討論。但是，混合比率α可以被設(shè)置為像素值中包含的前景分量的比率。
實(shí)施例已經(jīng)通過(guò)將前景目標(biāo)的移動(dòng)方向設(shè)置為從左到右的方向進(jìn)行了討論。但是，移動(dòng)方向不局限于上述方向。
在上述說(shuō)明中，具有三維空間和時(shí)間軸信息的真實(shí)空間圖像通過(guò)使用視頻攝象機(jī)被投影到具有二維空間和時(shí)間軸信息的時(shí)間空間。但是，本發(fā)明不局限制于該例子，和能夠被應(yīng)用到下述情況。當(dāng)一維空間中較大量的第一信息被投影到二維空間中較小量的第二信息上時(shí)，由投影產(chǎn)生的失真能夠被修正，大量的信息能夠被提取或者能夠合成更自然的圖像。
傳感器不限制于CCD，可以是另外類型的傳感器，例如為固體成像器件，諸如CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)，BBD(斗鏈器件(Bucket BrigadeDevice))，CID(電荷注入器件)，或者CPD(電荷引發(fā)器件(Charge PrimingDevice))。另外，傳感器不是必須為其中檢測(cè)器件以矩陣排列的傳感器，可以是其中檢測(cè)器件以一條線排列的傳感器。
其中記錄了用于完成本發(fā)明信號(hào)處理的程序的記錄介質(zhì)可以是由其中記錄了程序的封裝介質(zhì)形成，其配置用于將程序提供給與計(jì)算機(jī)分開(kāi)的用戶，如圖1中表示，其諸如為磁盤(pán)51(包括軟盤(pán)(注冊(cè)的商標(biāo)名稱))，光盤(pán)52(CD-ROM(致密盤(pán)只讀存儲(chǔ)器)和DVD(數(shù)字通用盤(pán))，磁光盤(pán)53(包括MD(迷你盤(pán))(注冊(cè)的商標(biāo)名稱))，或者半導(dǎo)體存儲(chǔ)器54。記錄介質(zhì)也可以由其中記錄了程序的在存儲(chǔ)單元28中包含的ROM 22或者硬盤(pán)構(gòu)成，這種記錄介質(zhì)在被預(yù)先存儲(chǔ)在計(jì)算機(jī)中的同時(shí)被提供給用戶。
形成記錄介質(zhì)中記錄程序的步驟可以根據(jù)說(shuō)明中說(shuō)明的次序依次被執(zhí)行。但是，它們不必要以時(shí)間串行方式被執(zhí)行，它們可以同時(shí)地或者單獨(dú)地被執(zhí)行。
工業(yè)實(shí)用性根據(jù)本發(fā)明，允許進(jìn)行已經(jīng)被采集圖像的曝光時(shí)間的檢測(cè)。
權(quán)利要求
1.一種圖像處理設(shè)備，用于處理由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)，該預(yù)定數(shù)目的像素?cái)?shù)據(jù)是通過(guò)包括預(yù)定數(shù)目的像素的圖像采集器件獲得的，所述像素具有時(shí)間積分功能，所述圖像處理設(shè)備包括幀間移動(dòng)量檢測(cè)裝置，用于根據(jù)指定幀和指定幀之前或者之后的幀，檢測(cè)圖像數(shù)據(jù)的指定幀的前景目標(biāo)的各幀之間的移動(dòng)量；混合比率檢測(cè)裝置，用于檢測(cè)在指定幀中在其中前景目標(biāo)分量和背景目標(biāo)分量被混合的混合區(qū)域中表示構(gòu)成前景目標(biāo)的前景目標(biāo)分量和構(gòu)成背景目標(biāo)的背景目標(biāo)分量的混合的比率的混合比率；曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)裝置，用于根據(jù)混合比率檢測(cè)其中在獲得了構(gòu)成圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量；以及曝光時(shí)間比率檢測(cè)裝置，用于基于在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量和在各幀之間的移動(dòng)量來(lái)檢測(cè)各幀的時(shí)間間隔與該曝光時(shí)間的比率。
2.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中基于在各幀之間的移動(dòng)量與在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量的比率和基于各幀的時(shí)間間隔，所述曝光時(shí)間比率檢測(cè)裝置檢測(cè)曝光時(shí)間。
3.根據(jù)權(quán)利要求1的圖像處理設(shè)備，其中所述混合比率檢測(cè)裝置包括相關(guān)表達(dá)式產(chǎn)生裝置，用于相對(duì)于圖像數(shù)據(jù)的指定幀的指定像素提取在指定幀周圍的外圍幀的像素?cái)?shù)據(jù)，作為對(duì)應(yīng)于背景目標(biāo)的背景像素?cái)?shù)據(jù)，還提取指定幀中指定像素的指定像素?cái)?shù)據(jù)和在指定像素附近的附近像素的附近像素?cái)?shù)據(jù)，并且產(chǎn)生多個(gè)相關(guān)表達(dá)式，其表示在指定像素?cái)?shù)據(jù)、附近像素?cái)?shù)據(jù)和對(duì)應(yīng)于指定像素和附近像素的背景像素?cái)?shù)據(jù)之間的關(guān)系，所述混合比率檢測(cè)裝置基于相關(guān)表達(dá)式檢測(cè)指定像素和附近像素的混合比率。
4.根據(jù)權(quán)利要求3的圖像處理設(shè)備，其中基于其中在指定像素?cái)?shù)據(jù)和在附近像素?cái)?shù)據(jù)中包括的前景目標(biāo)的分量的值相同的第一近似值、和基于其中混合比率在混合區(qū)域中關(guān)于像素的位置線性改變的第二近似值，所述相關(guān)表達(dá)式產(chǎn)生裝置產(chǎn)生相關(guān)表達(dá)式。
5.根據(jù)權(quán)利要求4的圖像處理設(shè)備，其中所述曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)裝置檢測(cè)在與像素的位置相關(guān)的混合區(qū)域中的混合比率的線性改變的梯度的倒數(shù)，作為在其中獲得了圖像數(shù)據(jù)的曝光時(shí)間內(nèi)前景目標(biāo)的移動(dòng)量，并輸出所檢測(cè)的移動(dòng)量。
6.一種圖像處理方法，用于處理由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)，該預(yù)定數(shù)目的像素?cái)?shù)據(jù)是通過(guò)包括預(yù)定數(shù)目的像素的圖像采集器件獲得的，所述像素具有時(shí)間積分功能，所述圖像處理方法包括幀間移動(dòng)量檢測(cè)步驟，基于指定幀和指定幀之前或者之后的幀，檢測(cè)圖像數(shù)據(jù)的指定幀的前景目標(biāo)的幀之間的移動(dòng)量；混合比率檢測(cè)步驟，在指定幀中檢測(cè)其中前景目標(biāo)分量和背景目標(biāo)分量被混合的混合區(qū)域中表示構(gòu)成前景目標(biāo)的前景目標(biāo)分量和構(gòu)成背景目標(biāo)的背景目標(biāo)分量的混合的比率的混合比率；曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)步驟，根據(jù)混合比率檢測(cè)在其中獲得了構(gòu)成圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量；以及曝光時(shí)間比率檢測(cè)步驟，基于在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量和在各幀之間的移動(dòng)量來(lái)檢測(cè)各幀的時(shí)間間隔與該曝光時(shí)間的比率。
7.根據(jù)權(quán)利要求6的圖像處理方法，其中，基于在各幀之間的移動(dòng)量與在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量的比率和基于各幀的時(shí)間間隔，在所述曝光時(shí)間比率檢測(cè)步驟中檢測(cè)曝光時(shí)間。
8.根據(jù)權(quán)利要求6的圖像處理方法，其中，所述混合比率檢測(cè)步驟包括相關(guān)表達(dá)式產(chǎn)生步驟，用于關(guān)于圖像數(shù)據(jù)的指定幀的指定像素提取在指定幀周圍的外圍幀的像素?cái)?shù)據(jù)，作為對(duì)應(yīng)于背景目標(biāo)的背景像素?cái)?shù)據(jù)，還提取指定幀中指定像素的指定像素?cái)?shù)據(jù)和在指定像素附近的附近像素的附近像素?cái)?shù)據(jù)，并且產(chǎn)生多個(gè)相關(guān)表達(dá)式，其表示在指定像素?cái)?shù)據(jù)、附近像素?cái)?shù)據(jù)、和對(duì)應(yīng)于指定像素和附近像素的背景像素?cái)?shù)據(jù)之間的關(guān)系，在所述混合比率檢測(cè)步驟中，基于相關(guān)表達(dá)式檢測(cè)指定像素和附近像素的混合比率。
9.根據(jù)權(quán)利要求8的圖像處理方法，其中，基于其中在指定像素?cái)?shù)據(jù)和在附近像素?cái)?shù)據(jù)中包括的前景目標(biāo)的分量的值相同的第一近似值、和基于其中混合比率在與像素的位置相關(guān)的混合區(qū)域中線性改變的第二近似值，在所述相關(guān)表達(dá)式產(chǎn)生步驟中產(chǎn)生相關(guān)表達(dá)式。
10.根據(jù)權(quán)利要求9的圖像處理方法，其中，在所述曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)步驟中，檢測(cè)在關(guān)于像素的位置的混合區(qū)域中的混合比率的線性改變的梯度的倒數(shù)，作為在其中獲得了圖像數(shù)據(jù)的曝光時(shí)間內(nèi)前景目標(biāo)的移動(dòng)量，并輸出所檢測(cè)的移動(dòng)量。
11.一種記錄介質(zhì)，其中記錄計(jì)算機(jī)可讀程序，所述程序是圖像處理程序，該程序用于處理由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)，該預(yù)定數(shù)目的像素?cái)?shù)據(jù)是通過(guò)包括預(yù)定數(shù)目像素的圖像采集器件獲得的，所述像素具有時(shí)間積分功能，所述圖像處理程序包括幀間移動(dòng)量檢測(cè)步驟，基于指定幀和指定幀之前或者之后的幀，檢測(cè)圖像數(shù)據(jù)的指定幀的前景目標(biāo)的各幀之間的移動(dòng)量；混合比率檢測(cè)步驟，檢測(cè)在指定幀中在其中前景目標(biāo)分量和背景目標(biāo)分量被混合的混合區(qū)域中表示構(gòu)成前景目標(biāo)的前景目標(biāo)分量和構(gòu)成背景目標(biāo)的背景目標(biāo)分量的混合的比率的混合比率；曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)步驟，根據(jù)混合比率檢測(cè)在其中獲得了構(gòu)成圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量；以及曝光時(shí)間比率檢測(cè)步驟，基于在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量和在各幀之間的移動(dòng)量來(lái)檢測(cè)各幀的時(shí)間間隔與該曝光時(shí)間的比率。
12.根據(jù)權(quán)利要求11的記錄介質(zhì)，其中，基于在各幀之間的移動(dòng)量與在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量的比率和基于各幀的時(shí)間間隔，在所述曝光時(shí)間比率檢測(cè)步驟中檢測(cè)曝光時(shí)間。
13.根據(jù)權(quán)利要求11的記錄介質(zhì)，其中，所述混合比率檢測(cè)步驟包括相關(guān)表達(dá)式產(chǎn)生步驟，用于關(guān)于圖像數(shù)據(jù)的指定幀的指定像素提取在指定幀周圍的外圍幀的像素?cái)?shù)據(jù)作為對(duì)應(yīng)于背景目標(biāo)的背景像素?cái)?shù)據(jù)，還提取指定幀中指定像素的指定像素?cái)?shù)據(jù)和在指定像素附近的附近像素的附近像素?cái)?shù)據(jù)，并且產(chǎn)生多個(gè)相關(guān)表達(dá)式，其表示在指定像素?cái)?shù)據(jù)、附近像素?cái)?shù)據(jù)、和對(duì)應(yīng)于指定像素和附近像素的背景像素?cái)?shù)據(jù)之間的關(guān)系，在所述混合比率檢測(cè)步驟中基于相關(guān)表達(dá)式檢測(cè)指定像素和附近像素的混合比率。
14.根據(jù)權(quán)利要求13的記錄介質(zhì)，其中，基于其中在指定像素?cái)?shù)據(jù)和在附近像素?cái)?shù)據(jù)中包括的前景目標(biāo)的分量的值相同的第一近似值、和基于其中混合比率在混合區(qū)域中關(guān)于像素的位置線性改變的第二近似值，在所述相關(guān)表達(dá)式產(chǎn)生步驟中產(chǎn)生相關(guān)表達(dá)式。
15.根據(jù)權(quán)利要求14的記錄介質(zhì)，其中，在所述曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)步驟中，檢測(cè)在混合區(qū)域中混合比率關(guān)于像素的位置的線性改變的梯度的倒數(shù)，作為在其中獲得了圖像數(shù)據(jù)的曝光時(shí)間內(nèi)前景目標(biāo)的移動(dòng)量，并輸出所檢測(cè)的移動(dòng)量。
16.一種程序，用于允許計(jì)算機(jī)處理圖像數(shù)據(jù)，該圖像數(shù)據(jù)是由預(yù)定數(shù)目的像素?cái)?shù)據(jù)形成的，該預(yù)定數(shù)目的像素?cái)?shù)據(jù)是通過(guò)包括預(yù)定數(shù)目的像素的圖像采集器件獲得的，所述像素具有時(shí)間積分功能，執(zhí)行幀間移動(dòng)量檢測(cè)步驟，基于指定幀和指定幀之前或者之后的幀，檢測(cè)圖像數(shù)據(jù)的指定幀的前景目標(biāo)的各幀之間的移動(dòng)量；混合比率檢測(cè)步驟，檢測(cè)在指定幀中在其中前景目標(biāo)分量和背景目標(biāo)分量被混合的混合區(qū)域中表示構(gòu)成前景目標(biāo)的前景目標(biāo)分量和構(gòu)成背景目標(biāo)的背景目標(biāo)分量的混合的比率的混合比率；曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)步驟，根據(jù)混合比率檢測(cè)在其中獲得了構(gòu)成圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量；以及曝光時(shí)間比率檢測(cè)步驟，基于在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量和在各幀之間的移動(dòng)量來(lái)檢測(cè)各幀的時(shí)間間隔與該曝光時(shí)間的比率。
17.根據(jù)權(quán)利要求16的程序，其中基于在各幀之間的移動(dòng)量與在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量的比率和基于各幀的時(shí)間間隔，在所述曝光時(shí)間比率檢測(cè)步驟中檢測(cè)曝光時(shí)間。
18.根據(jù)權(quán)利要求16的程序，其中，所述混合比率檢測(cè)步驟包括相關(guān)表達(dá)式產(chǎn)生步驟，用于關(guān)于圖像數(shù)據(jù)的指定幀的指定像素提取在指定幀周圍的外圍幀的像素?cái)?shù)據(jù)，作為對(duì)應(yīng)于背景目標(biāo)的背景像素?cái)?shù)據(jù)，還提取指定幀中指定像素的指定像素?cái)?shù)據(jù)和在指定像素附近的附近像素的附近像素?cái)?shù)據(jù)，并且產(chǎn)生多個(gè)相關(guān)表達(dá)式，其表示在指定像素?cái)?shù)據(jù)、附近像素?cái)?shù)據(jù)、和對(duì)應(yīng)于指定像素和附近像素的背景像素?cái)?shù)據(jù)之間的關(guān)系，在所述混合比率檢測(cè)步驟中，基于相關(guān)表達(dá)式檢測(cè)指定像素和附近像素的混合比率。
19.根據(jù)權(quán)利要求18的程序，其中，基于其中在指定像素?cái)?shù)據(jù)和在附近像素?cái)?shù)據(jù)中包括的前景目標(biāo)的分量的值相同的第一近似值、和基于其中混合比率在混合區(qū)域中關(guān)于像素的位置線性改變的第二近似值，在所述相關(guān)表達(dá)式產(chǎn)生步驟中產(chǎn)生相關(guān)表達(dá)式。
20.根據(jù)權(quán)利要求19的程序，其中，在所述曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)步驟中，檢測(cè)混合比率在混合區(qū)域中關(guān)于像素的位置的線性改變的梯度的倒數(shù)，作為在其中獲得了圖像數(shù)據(jù)的曝光時(shí)間內(nèi)前景目標(biāo)的移動(dòng)量，并輸出所檢測(cè)的移動(dòng)量。
21.一種圖像采集設(shè)備，包括圖像采集裝置，用于輸出通過(guò)圖像采集器件采集的主題圖像作為由預(yù)定數(shù)目的像素?cái)?shù)據(jù)構(gòu)成的圖像數(shù)據(jù)，該圖像采集器件包括具有時(shí)間積分功能的預(yù)定數(shù)目的像素；幀間移動(dòng)量檢測(cè)裝置，用于基于指定幀和指定幀之前或者之后的幀，檢測(cè)圖像數(shù)據(jù)的指定幀的前景目標(biāo)的各幀之間的移動(dòng)量；混合比率檢測(cè)裝置，用于檢測(cè)在指定幀中、在其中前景目標(biāo)分量和背景目標(biāo)分量被混合的混合區(qū)域中表示構(gòu)成前景目標(biāo)的前景目標(biāo)分量和構(gòu)成背景目標(biāo)的背景目標(biāo)分量的混合的比率的混合比率；曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)裝置，用于根據(jù)混合比率檢測(cè)在其中獲得了構(gòu)成圖像數(shù)據(jù)的像素?cái)?shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量；以及曝光時(shí)間比率檢測(cè)裝置，用于基于在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量和在各幀之間的移動(dòng)量來(lái)檢測(cè)各幀的時(shí)間間隔與該曝光時(shí)間的比率。
22.根據(jù)權(quán)利要求21的圖像采集設(shè)備，其中，基于在各幀之間的移動(dòng)量與在前景目標(biāo)的曝光時(shí)間內(nèi)的移動(dòng)量的比率和基于各幀的時(shí)間間隔，所述曝光時(shí)間比率檢測(cè)裝置檢測(cè)曝光時(shí)間。
23.根據(jù)權(quán)利要求21的圖像采集設(shè)備，其中，所述混合比率檢測(cè)裝置包括相關(guān)表達(dá)式產(chǎn)生裝置，用于關(guān)于圖像數(shù)據(jù)的指定幀的指定像素，提取在指定幀周圍的外圍幀的像素?cái)?shù)據(jù)作為對(duì)應(yīng)于背景目標(biāo)的背景像素?cái)?shù)據(jù)，還提取指定幀中指定像素的指定像素?cái)?shù)據(jù)和在指定像素附近的附近像素的附近像素?cái)?shù)據(jù)，并且產(chǎn)生多個(gè)相關(guān)表達(dá)式，其表示在指定像素?cái)?shù)據(jù)、附近像素?cái)?shù)據(jù)、和對(duì)應(yīng)于指定像素和附近像素的背景像素?cái)?shù)據(jù)之間的關(guān)系，所述混合比率檢測(cè)裝置基于相關(guān)表達(dá)式檢測(cè)指定像素和附近像素的混合比率。
24.根據(jù)權(quán)利要求23的圖像采集設(shè)備，其中，基于其中在指定像素?cái)?shù)據(jù)和在附近像素?cái)?shù)據(jù)中包括的前景目標(biāo)的分量的值相同的第一近似值、和基于其中混合比率在混合區(qū)域中關(guān)于像素的位置線性改變的第二近似值，所述相關(guān)表達(dá)式產(chǎn)生裝置產(chǎn)生相關(guān)表達(dá)式。
25.根據(jù)權(quán)利要求24的圖像采集設(shè)備，其中，所述曝光時(shí)間內(nèi)移動(dòng)量檢測(cè)裝置檢測(cè)在混合區(qū)域中混合比率關(guān)于像素的位置的線性改變的梯度的倒數(shù)，作為在其中獲得了圖像數(shù)據(jù)的曝光時(shí)間內(nèi)的前景目標(biāo)的移動(dòng)量，并輸出所檢測(cè)的移動(dòng)量。
全文摘要
可能檢測(cè)已經(jīng)被采集的圖像的曝光時(shí)間。移動(dòng)檢測(cè)塊(102)根據(jù)目標(biāo)幀和之前或之后的幀，檢測(cè)各幀之間的目標(biāo)幀的前景對(duì)象的移動(dòng)量?；旌媳嚷视?jì)算塊(104)檢測(cè)在目標(biāo)幀的混合區(qū)域中表示前景對(duì)象分量與背景對(duì)象分量的混合比率?；旌媳嚷视?jì)算塊(104)根據(jù)混合比率檢測(cè)當(dāng)?shù)玫较袼財(cái)?shù)據(jù)時(shí)曝光時(shí)間中的前景對(duì)象的移動(dòng)量?？扉T(mén)時(shí)間計(jì)算塊(106)根據(jù)各幀之間的前景對(duì)象的移動(dòng)量和曝光時(shí)間內(nèi)的移動(dòng)量檢測(cè)幀時(shí)間間隔與曝光時(shí)間的比率。本發(fā)明可以應(yīng)用于圖像處理設(shè)備。
文檔編號(hào)H04N5/232GK1473312SQ02802782
公開(kāi)日2004年2月4日 申請(qǐng)日期2002年6月25日 優(yōu)先權(quán)日2001年6月26日
發(fā)明者近藤哲二郎, 藤原直樹(shù), 石橋淳一, 澤尾貴志, 永野隆浩, 三宅徹, 和田成司, 一, 司, 志, 樹(shù), 浩 申請(qǐng)人:索尼公司