專利名稱：用于分割的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種方法，用于將在第一視頻圖像中的一個第一圖像特征與在該第一視頻圖像中的一個相鄰的第二圖像特征分割開。
本發(fā)明進(jìn)一步涉及一種分割系統(tǒng)，用于將在第一視頻圖像中的一個第一圖像特征與一個相鄰的第二圖像特征分割開。
本發(fā)明進(jìn)一步涉及一種關(guān)于像素分辨率的運(yùn)動估算器，用于估算運(yùn)動向量場，包括這樣一種分割系統(tǒng)。
本發(fā)明進(jìn)一步涉及一種圖像處理裝置，包括-接收裝置，用于接收表示一系列視頻圖像的信號；-這樣一種關(guān)于像素分辨率的運(yùn)動估算器，用于從該視頻圖像來估算運(yùn)動向量場；-一個運(yùn)動補(bǔ)償圖像處理單元，用于基于該視頻圖像和運(yùn)動向量場而確定處理后的圖像。
在公開文本中描述的這種方法的一個實(shí)施例從美國專利申請6075875已知。這種方法包括獲取在所選擇的視頻圖像和在先的視頻圖像中相應(yīng)像素的一個運(yùn)動表示，例如運(yùn)動向量，以形成運(yùn)動分割視頻圖像特征。視頻圖像特征還根據(jù)它們的空間圖像特性進(jìn)行分割，以形成空間分割的視頻圖像特征。最終，該視頻圖像特征被共同地分割為運(yùn)動分割視頻圖像特征和空間分割視頻圖像特征的一個加權(quán)組合。根據(jù)該現(xiàn)有技術(shù)的方法的不利之處在于，組合運(yùn)動分割視頻圖像特征和空間分割視頻圖像特征的方法相對復(fù)雜。注意，兩個不同的量，即基于運(yùn)動的量和空間圖像特征，是加權(quán)的。加權(quán)不同的量是不常用的。
本發(fā)明的一個目的是提供在公開文本中描述的這種方法，其像素精確并且相對容易。
本發(fā)明的這個目的這樣達(dá)到，將在一個第一視頻圖像中的一個第一圖像特征與在該第一視頻圖像中的一個鄰近的第二圖像特征分割的方法，第一圖像特征具有多個像素，這些像素具有基本在第一量值范圍內(nèi)的一個圖像特性的各自量值，并且在該第一視頻圖像和一個第二視頻圖像之間，第一圖像特征具有相對于第二圖像特征的運(yùn)動，和第二圖像特征具有多個像素，這些像素具有基本在不同于第一量值范圍的第二量值范圍內(nèi)的圖像特性的各自量值，該方法包括-將第一視頻圖像分成多個像素塊；-對于相應(yīng)的像素塊估算運(yùn)動向量；-通過基于相應(yīng)像素塊的運(yùn)動向量來分類多個像素塊，從而將第一視頻圖像分割為一個第一連接像素塊組和一個第二連接像素塊組；并且繼之以-基于該圖像特性的相應(yīng)量值，通過第一和第二連接像素塊組的部分像素塊的基于像素的分割，將第一個圖像特征與第二圖像特征分割開，部分像素塊被確定為位于在第一和第二連接像素塊組之間的邊界上。
根據(jù)本發(fā)明的方法的一個優(yōu)點(diǎn)在于，將兩個分割應(yīng)用到在適當(dāng)?shù)奈恢蒙稀８鶕?jù)圖像特性，將基于塊的運(yùn)動分割的結(jié)果用作基于像素的分割的輸入。應(yīng)用基于像素的分割以重新獲得目標(biāo)邊界，即在該視頻圖像的一個小子集上的圖像特征邊界，也即在第一和第二連接像素塊組之間的邊界上的塊中。這是一種有效的策略，產(chǎn)生了高效的計(jì)算資源利用，由于詳細(xì)的基于像素的分割過程僅施加到邊界上的塊，而不是所有的塊。順序施加基于塊的運(yùn)動分割和基于像素的分割在分割方法的結(jié)果之間，沒有復(fù)雜的權(quán)重因數(shù)需要調(diào)整，如現(xiàn)有技術(shù)那樣。
在根據(jù)本發(fā)明的方法的一個實(shí)施例中，基于一個運(yùn)動模型，將該第一視頻圖像分割成第一連接像素塊組和第二連接像素塊組。這個實(shí)施例的優(yōu)點(diǎn)在于它是一個穩(wěn)定的(robust)方法。相對多的數(shù)據(jù)，即對于第一連接像素塊組的測試連接塊組的大多數(shù)或所有的運(yùn)動向量用于估算屬于第一圖像特征的塊的適當(dāng)排列。換句話說，它是一種區(qū)場適合。許多分割方法僅考慮在一個分割邊界上的塊，以確定這些塊是否對應(yīng)于特定的分割。這個運(yùn)動模型可以基于旋轉(zhuǎn)和/或平移。然而優(yōu)選的分割是基于一種仿射的運(yùn)動模型。
在根據(jù)本發(fā)明的方法的一個實(shí)施例中，將第一視頻圖像分割為第一連接像素塊組和第二連接像素塊組，包括-對于第一連接像素塊組創(chuàng)建一個第一初始連接像素塊組，該第一初始連接像素塊組包括一個特定像素塊；-對于第一初始連接像素塊組確定一個第一運(yùn)動模型；-計(jì)算在兩個運(yùn)動向量之間的第一匹配誤差，其中一個運(yùn)動向量對應(yīng)于在對于第一視頻圖像的相應(yīng)像素塊估算運(yùn)動向量期間估算出的特定像素塊，另一個運(yùn)動向量對應(yīng)于基于第一運(yùn)動模型的特定像素塊；-根據(jù)第一初始連接像素塊組，但排除特定像素塊，對于一個測試連接像素塊組計(jì)算一個第二運(yùn)動模型，；-計(jì)算在兩個運(yùn)動向量之間的第二匹配誤差，其中一個運(yùn)動向量對應(yīng)于在對于第一視頻圖像的相應(yīng)像素塊估算運(yùn)動向量期間估算出的特定像素塊，另一個運(yùn)動向量對應(yīng)于基于第二運(yùn)動模型的特定像素塊；-根據(jù)第一和第二匹配誤差，確定特定像素塊是否對應(yīng)于第一連接像素塊組。
根據(jù)本發(fā)明的這個實(shí)施例的優(yōu)點(diǎn)在于它考慮到了一種掃描方法。那意味著一塊接一塊，例如從左上部開始到右下部重復(fù)測試每個塊。測試意味著，對于每個塊估算出它應(yīng)當(dāng)并入的其它塊，以最后形成對應(yīng)于一個圖像特征的塊組。這種掃描方法的優(yōu)點(diǎn)在于能夠相對容易的執(zhí)行該方法。
在根據(jù)本發(fā)明的方法的一個實(shí)施例中，基于像素的分割是以一個空間顏色模型為基礎(chǔ)的。換句話說，該基于像素的分割所基于的圖像特性是顏色。顏色對于分割來說是一種相對好的信號。在這個實(shí)施例中，應(yīng)用兩種分割方法到適當(dāng)?shù)臉?biāo)尺刻度上顏色為高頻率，運(yùn)動分割為低頻率。由于結(jié)構(gòu)導(dǎo)致了顏色差別，并且在捕捉的場景中的目標(biāo)的不同速度導(dǎo)致了運(yùn)動差別。
在根據(jù)本發(fā)明的方法的一個實(shí)施例中，基于像素的分割是以一個空間亮度模型為基礎(chǔ)的。換句話說，該基于像素的分割所基于的圖像特性是亮度。亮度對于分割來說是一種相對好的信號。
在根據(jù)本發(fā)明的方法的一個實(shí)施例中，在第一連接像素塊組的部分像素塊的第一塊中檢測到圖像特性的量值上的階躍(step)，這些像素塊確定為位于在第一和第二連接像素組之間的邊界上。量值上的階躍對應(yīng)于第一圖像特征的邊緣。優(yōu)選的，檢測這種階躍，通過-對于第一塊的像素計(jì)算第一平均圖像特性值；-根據(jù)第一平均值和第一塊的相應(yīng)像素值，計(jì)算第一差值測量；
-對于一個第二像素塊的像素計(jì)算第二平均圖像特性值，第二像素塊對應(yīng)于第二像素組并且連接到第一塊；-根據(jù)第二平均值和第二塊的相應(yīng)像素值，計(jì)算第二差值測量；-基于第一塊創(chuàng)建第一測試像素組，但排除一個特定像素，并且基于第二塊創(chuàng)建第二測試像素組，包括該特定像素。
-對于第一測試組的像素計(jì)算第三平均圖像特性值；-根據(jù)第三平均值和第一測試組的相應(yīng)像素值，計(jì)算第三差值測量；-對于第二測試組的像素計(jì)算第四平均圖像特征值；-根據(jù)第四平均值和第二測試組的相應(yīng)像素值，計(jì)算第四差值測量；-根據(jù)第一、第二、第三和第四差值測量，確定該特定像素是屬于第一圖像特征還是屬于第二圖像特征。
這個實(shí)施例的優(yōu)點(diǎn)在于它是一個穩(wěn)定的(robust)方法。相對多的數(shù)據(jù)，即第一和第二像素塊的大多數(shù)或所有的像素都用于估算屬于第一圖像特征的像素的適當(dāng)排列。這就是所謂的區(qū)場適合方法。
本發(fā)明的另一個目的是提供在公開文本中所述的這種分割系統(tǒng)，它設(shè)置成提供像素精確分割并且相對簡單。
本發(fā)明的這個目的通過分割系統(tǒng)達(dá)到，該系統(tǒng)用于將在一個第一視頻圖像中的一個第一圖像特征與在該第一視頻圖像中的一個鄰近的第二圖像特征分割開，第一圖像特征具有多個像素，這些像素具有基本在第一量值范圍內(nèi)的一個圖像特性的各自量值，并且在該第一視頻圖像和一個第二視頻圖像之間，第一圖像特征具有相對于第二圖像特征的運(yùn)動，和第二圖像特征具有多個像素，這些像素具有基本在不同于第一量值范圍的第二量值范圍內(nèi)的圖像特性的各自量值，該系統(tǒng)包括-分離裝置，將第一視頻圖像分成多個像素塊；-基于塊的運(yùn)動估算器，用于對于相應(yīng)的像素塊估算運(yùn)動向量；-運(yùn)動分割單元，用于通過基于相應(yīng)像素塊的運(yùn)動向量來分類多個像素塊，從而將第一視頻圖像分割為一個第一連接像素塊組和一個第二連接像素塊組；和-基于像素的分割單元，用于基于該圖像特性的相應(yīng)量值，通過第一和第二連接像素塊組的部分像素塊的基于像素的分割，將第一個圖像特征與第二圖像特征分割開，部分像素塊被確定為位于在第一和第二連接像素塊組之間的邊界上。
本發(fā)明的另一個目的是提供關(guān)于像素分辨率的、相對簡單的運(yùn)動估算器，用于估算像素精確運(yùn)動向量場。
本發(fā)明的這個目的是這樣實(shí)現(xiàn)的，像素精確運(yùn)動估算器包括如權(quán)利要求9所述的分割系統(tǒng)。換句話說，將所述分割系統(tǒng)的計(jì)算結(jié)果提供給該像素精確運(yùn)動估算器。
如在公開文本中所述，在圖像處理裝置中應(yīng)用根據(jù)本發(fā)明的像素精確運(yùn)動估算器的實(shí)施例是有益的。該圖像處理裝置可以包括附加的組件，如用于顯示處理后的圖像的顯示裝置或用于處理后的圖像的存儲的存儲裝置。運(yùn)動補(bǔ)償圖像處理單元可以支持一種或多種下列類型的圖像處理-去隔行(De-interlacing)隔行是通用的視頻廣播過程，用于有選擇地發(fā)射奇數(shù)的或偶數(shù)的圖像掃描線。去隔行試圖還原全部垂直分辨率，即，使奇數(shù)的和偶數(shù)的掃描線對于每個圖像同時可用。
-上變換(Up-conversion)從一系列最初的輸入圖像中計(jì)算出一個較大系列的輸出圖像。輸出圖像暫時設(shè)置在兩個初始輸入圖像之間；-暫時降噪(Temporal noise reduction)，這能夠包括空間處理，導(dǎo)致空間暫時降噪；和-視頻壓縮，即編碼和解碼，例如根據(jù)MPEG標(biāo)準(zhǔn)或H26L標(biāo)準(zhǔn)。
本方法的修改及其變化對應(yīng)于所述的分割系統(tǒng)、像素精確運(yùn)動估算器和圖像處理裝置的修改和變化。
參照此后所述的實(shí)現(xiàn)和實(shí)施方式、并且參照附圖，將描述根據(jù)本發(fā)明的方法、分割系統(tǒng)、像素精確運(yùn)動估算器及其圖像處理裝置的這些和其它方面，所述的這些方面將是顯而易見的。其中

圖1示意性的示出了根據(jù)本發(fā)明的分割系統(tǒng)的一個實(shí)施例；圖2A示意性的示出了用于基于塊的運(yùn)動分割的多個塊的初始排列；圖2B示意性的示出了在一個修改后圖2A的多個塊的更新排列；圖2C示意性的示出了基于塊的運(yùn)動分割的多個塊的結(jié)果排列；圖3A示意性的示出了用于基于像素分割的輸入塊；
圖3B意性的示出了用于基于像素分割的水平塊對的初始邊緣；圖3C意性的示出了圖3B的水平塊對的被檢測邊緣；圖3D意性的示出了用于基于像素分割的垂直塊對的初始邊緣；圖3E示意性的示出了最終的被檢測邊緣；圖4A示意性的示出了一個運(yùn)動估算器的輸入和輸出，該運(yùn)動估算器用于估算像素精確運(yùn)動向量場；圖4B意性的示出了一個可選擇的運(yùn)動估算器的輸入和輸出，該運(yùn)動估算器用于估算像素精確運(yùn)動向量場；和圖5示意性的示出了根據(jù)本發(fā)明的圖像處理裝置的元件。
附圖中，同樣的附圖標(biāo)記用于表示相同的部分。
圖1示意性的示出了根據(jù)本發(fā)明的分割系統(tǒng)100的一個實(shí)施例。分割系統(tǒng)100設(shè)置成將在第一視頻圖像中的第一圖像特征214與在該第一視頻圖像中的相鄰的第二圖像特征216分割開。第一圖像特征214具有多個像素，這些像素具有基本在第一量值范圍內(nèi)的各自顏色值，第二圖像特征216具有多個像素，這些像素具有基本在不同于第一量值范圍的第二量值范圍內(nèi)的各自顏色值。在該第一視頻圖像和一個第二視頻圖像之間，第一圖像特征214具有相對于第二圖像特征216的運(yùn)動。該第二視頻圖像可以在第一視頻圖像之前或之后。分割系統(tǒng)100在輸入連接器108接收一個表示視頻圖像的信號，并且在輸出連接器110提供一個像素分割結(jié)果SP。分割系統(tǒng)100包括-基于塊的運(yùn)動估算器102，用于估算運(yùn)動向量。運(yùn)動估算器102設(shè)置成對于相應(yīng)的塊估算運(yùn)動向量218-230，其中分離單元103劃分第一視頻圖像。這種劃分意味著第一視頻圖像的像素分組為多個像素塊。典型的，一個像素塊包括8*8個像素。優(yōu)選的，運(yùn)動估算器102是如在用于視頻技術(shù)的電路與系統(tǒng)的IEEE學(xué)報，第3卷，no.5，1993年10月，第368-379頁，G.de Haan等所著的文章“True-MotionEstimation with 3-D Recursive Search Block Matching”所述。運(yùn)動估算器102提供一個基于塊的運(yùn)動向量場MB到；-運(yùn)動分割單元104，設(shè)置成通過基于相應(yīng)像素塊的運(yùn)動向量218-230分類多個像素塊，從而將第一視頻圖像分割為一個第一連接像素塊組204C(見圖2C)和一個第二連接像素塊組206C(見圖2C)。分割單元104提供一個基于塊的分割結(jié)果SB到-基于像素的分割單元106，設(shè)置成通過第一和第二連接像素塊組204、206的部分像素塊302-306的基于像素的分割，將第一個圖像特征214與第二圖像特征216分割開，部分像素塊302-306被確定為位于在第一和第二連接像素塊組204、206之間的邊界上?；谙袼氐姆指顔卧?06設(shè)計(jì)成基于像素的顏色值來執(zhí)行分割。
將結(jié)合圖2A-2C詳細(xì)描述運(yùn)動分割單元104的特性，以及結(jié)合圖3A-3E詳細(xì)描述基于像素的分割單元106的特性。
使用一個處理器可以實(shí)現(xiàn)分割系統(tǒng)100的基于塊的運(yùn)動估算器102、運(yùn)動分割單元104和基于像素的分割單元106。通常，在軟件程序產(chǎn)品的控制下執(zhí)行這些功能。在執(zhí)行期間，該軟件程序產(chǎn)品通常載入到一個存儲器，如RAM，并且從那里執(zhí)行?？梢詮囊粋€后備存儲器，如ROM、硬盤、或磁和/或光存儲裝置載入該程序，或者可以通過網(wǎng)絡(luò)如Internet載入該程序?？蛇x擇的，一個特定功能集成電路提供所公開的功能性。
在圖2A中描述了一個運(yùn)動向量場200。該運(yùn)動向量場200包括對應(yīng)于相應(yīng)像素塊的多個運(yùn)動向量218-230。這些像素塊分組為6個初始連接像素塊組202A-212A?；蛘邠Q句話說，圖2A示意性的示出了用于基于塊的運(yùn)動分割的多個塊的初始排列。初始連接塊組的數(shù)量相當(dāng)于圖像特征的最大數(shù)量，即想要在視頻圖像中分割的對象。在這個示例性的情況下，每個初始連接像素塊組202A-212A包括5*5塊。一個特定的初始連接塊組的所有像素塊具有相同的分類標(biāo)記。通過一種掃描的方法，將估算出所有的塊。那意味著確定了連接像素塊的適當(dāng)?shù)娜夯蚪M202C-206C(見圖2C)。這樣一個連接像素塊組202C-206C對應(yīng)于第一視頻圖像中的一個圖像特征214、216。在多次重復(fù)中成功找到適當(dāng)?shù)慕M，在多次重復(fù)中由于這些塊被測試到它所屬于的哪個連接像素塊組202C-206C。那可以是在固定次數(shù)的重復(fù)中。換句話說，如果中間連接塊組202B-212B的修改沒有帶來任何積極的效果，那么停止估算多個中間連接塊組202B-212B的過程。該估算過程由一拓?fù)浼s束條件進(jìn)行限制。僅測試在一個連接塊組202A-212A、202B-212B的邊界上的那些塊。注意，在多次重復(fù)后，一個塊可能位于一個中間塊組202B-212B的邊界上。僅應(yīng)用在邊界處的塊不同于已知的沒有這種約束的k均值方法。特定像素塊232的估算包括多個步驟。在第一次掃描期間(見圖2A)對該特定像素塊232進(jìn)行描述-創(chuàng)建包括有該特定像素塊232的第一初始連接像素塊組204A。
-對于第一初始連接像素塊組204A確定第一運(yùn)動模型；-計(jì)算在兩個運(yùn)動向量之間的第一匹配誤差，其中一個運(yùn)動向量對應(yīng)于在對于第一視頻圖像的相應(yīng)像素塊估算運(yùn)動向量期間估算出的特定像素塊232，另一個運(yùn)動向量對應(yīng)于基于第一運(yùn)動模型的特定像素塊232。優(yōu)選的，該匹配誤差基于在運(yùn)動向量間的歐幾里得距離；-根據(jù)第一初始連接像素塊組204A，但排除特定像素塊232，對于一個測試連接像素塊組204B，計(jì)算第二運(yùn)動模型，(見圖2B中的204B)；-計(jì)算在兩個運(yùn)動向量之間的第二匹配誤差，其中一個運(yùn)動向量對應(yīng)于在對于第一視頻圖像的相應(yīng)像素塊估算運(yùn)動向量期間估算出的特定像素塊232，另一個運(yùn)動向量對應(yīng)于基于第二運(yùn)動模型的特定像素塊232；-根據(jù)第一和第二匹配誤差，確定特定像素塊232是否對應(yīng)于第一連接像素塊組204C。這意味著測試出特定像素塊232是與第一初始連接像素塊組204A更好的匹配，還是與相鄰的連接像素塊組202A更好的匹配。在這種情況下，表現(xiàn)出特定像素塊232更好的與后一個塊組202A相匹配，并因此相鄰的連接像素塊組202A隨著特定像素塊232擴(kuò)展，產(chǎn)生中間塊組202B。第一初始塊組204A修改為排除特定像素塊232的中間連接塊組204B(見圖2B)。
換句話說，計(jì)算并考慮附加匹配誤差以確定特定像素塊232屬于初始塊組202A-212A中的哪一個。例如，如圖2A所示，對于第二初始連接像素塊組202A計(jì)算第三匹配誤差，和如圖2B所示，對于第二測試連接像素塊組202B計(jì)算第四匹配誤差。
還能夠通過使用第一初始連接像素塊組204A和相鄰的連接像素塊組202A進(jìn)行估算，來執(zhí)行這種測試，即特定像素塊232是與第一初始連接像素塊組204A更好的匹配還是與相鄰的連接像素塊組202A更好的匹配。那意味著無需修改這些組，只需通過將特定像素塊232從第一初始連接像素塊組204A移動到相鄰的連接像素塊組202A。在那種情況下，對兩個連接塊組計(jì)算運(yùn)動模型。
圖2B示意性的示出了在一個修改后用于基于塊的運(yùn)動分割的多個塊的更新排列。這種修改能夠直接執(zhí)行，或在估算出該運(yùn)動向量場的所有相關(guān)塊后執(zhí)行。相關(guān)意味著這些塊位于一個連接像素塊組的邊界上。
這表明，一個特定像素塊232從一個第一初始連接像素塊組204A移動到一個水平設(shè)置的相鄰的連接像素塊組202A。然而，也能夠是在垂直方向上的移動，例如，另一個像素塊從第一初始塊組204A到下方像素塊組210A的移動。
在多次重復(fù)之后，找到多個最終像素塊組202C-206C。這些最終像素塊組202C-206C是所述基于塊的運(yùn)動分割的輸出。圖2C示意性的示出了這種輸出，即，所述基于塊的運(yùn)動分割的結(jié)果排列。這個輸出提供給基于像素的分割單元106進(jìn)行進(jìn)一步處理檢測第一圖像特征214和第二圖像特征216的實(shí)際邊界。
優(yōu)選的，所述基于塊的運(yùn)動分割產(chǎn)生一個圖像對，例如第一圖像和第二圖像用于一個隨后的圖像對的基于塊的運(yùn)動分割的初始化。
圖3A示意性的示出了用于基于像素分割的輸入塊302-306。該運(yùn)動分割的結(jié)果表明，一個塊屬于一個第一圖像視頻特征214并標(biāo)記為如1，兩個塊304和306屬于一個第二圖像視頻特征216并標(biāo)記為如2。估算多個相鄰的塊對以找到第一圖像特征214的實(shí)際邊緣。
圖3B示意性的示出了一個水平的相鄰的塊對302和304的初始邊緣308。以與如上所述基于塊的運(yùn)動分割相似的方式來執(zhí)行基于像素的分割相似意味著將像素估算到它們所對應(yīng)的連接像素組。這項(xiàng)工作的進(jìn)行是以基于下述假設(shè)的一個空間顏色模型為基礎(chǔ)的被相鄰塊對302和304包括，有具有基本在第一量值范圍內(nèi)的顏色值的第一連接像素組和具有基本在第二量值范圍內(nèi)的顏色值的第二連接像素組。此外在第一連接像素組和第二連接像素組之間有顏色值的轉(zhuǎn)變和階躍。那意味著，將該相鄰塊對302和304的像素估算到相應(yīng)像素所屬的兩個連接像素組的哪一個。通過一個重復(fù)過程進(jìn)行這種估算。那可以是在固定次數(shù)的重復(fù)中。換句話說，如果中間連接像素組的修改沒有帶來任何積極的效果，那么停止估算多個中間連接像素組的過程。一個特定像素的估算包括下列步驟-對于該相鄰塊對302、304的第一像素塊302的像素計(jì)算第一平均顏色值；-根據(jù)第一平均顏色值和第一塊302的相應(yīng)像素值，計(jì)算第一差值測量；-對于該相鄰塊對302、304的第二像素塊304的像素計(jì)算第二平均顏色值；-根據(jù)第二平均顏色值和第二像素塊304的相應(yīng)像素值，計(jì)算第二差值測量；-根據(jù)第一塊302創(chuàng)建第一測試像素組，但排除該特定像素；和根據(jù)第二塊304創(chuàng)建第二測試像素組，并且包括該特定像素。
-對于第一測試組的像素計(jì)算第三平均顏色值；-根據(jù)第三平均顏色值和第一測試組的相應(yīng)像素值，計(jì)算第三差值測量；-對于第二測試組的像素計(jì)算第四平均顏色值；-根據(jù)第四平均顏色值和第二測試組的相應(yīng)像素值，計(jì)算第四差值測量；-根據(jù)第一、第二、第三和第四差值測量，確定該特定像素是屬于第一連接像素組還是屬于第二連接像素組。
在多次重復(fù)后，最后的第一像素組包括對應(yīng)于第一圖像特征的像素，最后的第二像素組包括對應(yīng)于第二圖像特征的像素。圖3C示意性的示出了圖3B的水平塊對的被檢測邊緣308。
在完成了一個水平設(shè)置的相鄰塊對302、304的估算之后，為一個垂直設(shè)置的相鄰塊對302、306啟動一個相似的估算。圖3D示意性的示出了用于這種垂直設(shè)置的相鄰塊對302、306的初始邊緣310。圖3E示意性的示出了最終的被檢測邊緣310。注意，可以同時執(zhí)行水平設(shè)置的相鄰塊對302、304和垂直設(shè)置的相鄰塊對302、306的估算。
雖然僅討論顏色，但是應(yīng)當(dāng)注意其它的圖像特性能夠應(yīng)用于基于像素的分割，例如亮度、或亮度與顏色的組合或?qū)С鎏匦?，如在相鄰像素間的顏色/亮度的差值。
圖4A示意性的示出了一個運(yùn)動估算器400的輸入和輸出，該運(yùn)動估算器用于估算像素精確運(yùn)動向量場。如結(jié)合圖1所述的由基于塊的運(yùn)動估算器102計(jì)算的運(yùn)動向量場MB提供到輸入連接器404。還可選擇的提供如由運(yùn)動分割單元104計(jì)算的運(yùn)動模型。由于運(yùn)動向量場MB的塊分辨率，所以運(yùn)動向量218-230對第一視頻圖像的所有像素進(jìn)行校正。然而，結(jié)合附圖1所述，在運(yùn)動估算器400的另一個輸入連接器處406，由分割系統(tǒng)100提供一個像素精確分割結(jié)果SP。通過結(jié)合所提供的信息，能夠確定像素精確運(yùn)動向量場。特別是設(shè)置在圖像特征214、216的邊界上的塊的像素可能是錯誤的。優(yōu)選的將運(yùn)動向量指定給一些相應(yīng)的像素，這些像素對應(yīng)于對相鄰塊估算的運(yùn)動向量。由分割結(jié)果SP確定適當(dāng)?shù)南噜弶K的選擇，并從而確定運(yùn)動向量。通常，一個運(yùn)動向量被指定給設(shè)置在一個圖像特征214、216的邊界上的一個塊的一部分像素，它等于對應(yīng)于第一圖像特征214的一個塊的運(yùn)動向量，并且另一個運(yùn)動向量被指定給另一部分像素，它等于對應(yīng)于第二圖像特征216的一個塊的運(yùn)動向量，第二圖像特征216與第一圖像特征214相鄰。
圖4B示意性的示出了一個可選擇的運(yùn)動估算器401的輸入和輸出，該運(yùn)動估算器用于估算像素精確運(yùn)動向量場。參照圖1所示，視頻圖像提供在輸入連接器402，并且分割系統(tǒng)100在運(yùn)動估算器401的另一個輸入連接器406處還提供一個像素精確分割結(jié)果SP。像素精確運(yùn)動估算器401設(shè)置成為對應(yīng)于相應(yīng)的圖像特征214、216的像素組計(jì)算運(yùn)動向量，所述相應(yīng)的圖像特征214、216如由分割系統(tǒng)100通過將這些像素組的像素與之前或之后的視頻圖像的相應(yīng)像素進(jìn)行比較而進(jìn)行分割。優(yōu)選的，這種比較基于對應(yīng)于像素差值的絕對值之和的匹配誤差。
圖5示意性的示出了根據(jù)本發(fā)明的圖像處理裝置500的元件。圖像處理裝置500包括-接收器單元502，用于接收表示在執(zhí)行一些處理后要顯示的視頻圖像的信號。該信號可以是通過天線或電纜接收的廣播信號，也可以是來自于存儲裝置如VCR(錄像機(jī))或數(shù)字化通用光盤(DVD)的信號。該信號提供在輸入連接器510。
-處理單元504，包括如分別結(jié)合圖1和圖4A所述的分割系統(tǒng)100和運(yùn)動估算器401；-運(yùn)動補(bǔ)償圖像處理單元506；和-顯示裝置508，用于顯示處理后的圖像。顯示裝置508是可選擇的。
運(yùn)動補(bǔ)償圖像處理單元506要求圖像和運(yùn)動向量作為它的輸入。運(yùn)動補(bǔ)償圖像處理單元506支持一種或多種下列類型的圖像處理去隔行、上變換、暫時降噪和視頻壓縮。
應(yīng)當(dāng)注意，上述實(shí)施例描述而不是限制本發(fā)明，本領(lǐng)場技術(shù)人員在不脫離所附權(quán)利要求的范圍內(nèi)將能夠設(shè)計(jì)出可替換的實(shí)施例。在權(quán)利要求中，在括號內(nèi)的所有附圖標(biāo)記將不構(gòu)成為限制該權(quán)利要求。用語“包括”不排除表示沒有列在一權(quán)利要求中的元件或步驟。在元件前的用語“一”不排除表示多個這種元件。通過包括多個不同元件的硬件和相配的程序控制計(jì)算機(jī)，能夠?qū)崿F(xiàn)本發(fā)明。在列舉了多個裝置的單元權(quán)利要求中，一個和相同的硬件項(xiàng)目能夠包括多個這些裝置。
權(quán)利要求
1.將在一個第一視頻圖像中的一個第一圖像特征(214)與在該第一視頻圖像中的一個鄰近的第二圖像特征(216)分割的方法，該第一圖像特征(214)具有多個像素，這些像素具有基本在第一量值范圍內(nèi)的一個圖像特性的各自量值，并且在該第一視頻圖像和一個第二視頻圖像之間第一圖像特征(214)具有相對于第二圖像特征(216)的運(yùn)動，和該第二圖像特征(216)具有多個像素，這些像素具有基本在不同于第一量值范圍的第二量值范圍內(nèi)的圖像特性的各自量值，該方法包括-將第一視頻圖像分成多個像素塊；-對于相應(yīng)的像素塊估算運(yùn)動向量(218-230)；-通過基于相應(yīng)像素塊的運(yùn)動向量(218-230)來分類多個像素塊，從而將第一視頻圖像分割為一個第一連接像素塊組(204C)和一個第二連接像素塊組(206C)；并且繼之以基于該圖像特性的相應(yīng)量值，通過第一和第二連接像素塊組(204C、206C)的部分像素塊的基于像素的分割，將第一個圖像特征(214C)與第二圖像特征(216C)分割開，這些像素塊被確定為位于在第一和第二連接像素塊組(204C、206C)之間的邊界上。
2.如權(quán)利要求1所述的方法，其中根據(jù)一個運(yùn)動模型，將該第一視頻圖像分割成第一連接像素塊組(204C)和第二連接像素塊組(206C)。
3.如權(quán)利要求2所述的方法，其中根據(jù)一個仿射運(yùn)動模型，將該第一視頻圖像分割成第一連接像素塊組(204C)和第二連接像素塊組(206C)。
4.如權(quán)利要求2或3所述的方法，其中將第一視頻圖像分割為第一連接像素塊組(204C)和第二連接像素塊組(206C)包括-對于第一連接像素塊組(204C)創(chuàng)建一個第一初始連接像素塊組(204A)，該第一初始連接像素塊組(204A)包括一個特定像素塊(232)；-對于第一初始連接像素塊組(204A)確定一個第一運(yùn)動模型；-計(jì)算在兩個運(yùn)動向量之間的第一匹配誤差，其中一個運(yùn)動向量對應(yīng)于在對于第一視頻圖像的相應(yīng)像素塊估算運(yùn)動向量(218-230)期間估算出的特定像素塊(232)，另一個運(yùn)動向量對應(yīng)于基于第一運(yùn)動模型的特定像素塊(232)；-根據(jù)第一初始連接像素塊組(204A)，但排除特定像素塊(232)，對于一個測試連接像素塊組(204B)計(jì)算一個第二運(yùn)動模型；-計(jì)算在兩個運(yùn)動向量之間的第二匹配誤差，其中一個運(yùn)動向量對應(yīng)于在對于第一視頻圖像的相應(yīng)像素塊估算運(yùn)動向量(218-230)期間估算出的特定像素塊(232)，另一個運(yùn)動向量對應(yīng)于基于第二運(yùn)動模型的特定像素塊(232)；-根據(jù)第一和第二匹配誤差，確定特定像素塊(232)是否對應(yīng)于第一連接像素塊組(204C)。
5.如權(quán)利要求1所述的方法，其中基于像素的分割是以一個空間顏色模型為基礎(chǔ)的。
6.如權(quán)利要求1所述的方法，其中基于像素的分割是以一個空間亮度模型為基礎(chǔ)的。
7.如權(quán)利要求5或6所述的方法，其中在第一連接像素塊組(204C)的部分像素塊的第一塊(302)中檢測到圖像特性的量值上的階躍，這些像素塊確定為位于在第一和第二連接像素組(204C、206C)之間的邊界上。
8.如權(quán)利要求7所述的方法，其中檢測這種階躍，通過-對于第一塊(302)的像素計(jì)算第一平均圖像特性值；-根據(jù)第一平均值和第一塊(302)的相應(yīng)像素值，計(jì)算第一差值測量；-對于一個第二像素塊(304)的像素計(jì)算第二平均圖像特性值，第二像素塊(304)對應(yīng)于第二像素組并且連接到第一塊(302)；-根據(jù)第二平均值和第二塊(304)的相應(yīng)像素值，計(jì)算第二差值測量；-根據(jù)第一塊(302)創(chuàng)建第一測試像素組，但排除一個特定像素，并且根據(jù)第二塊(304)創(chuàng)建第二測試像素組，包括該特定像素；-對于第一測試組的像素計(jì)算第三平均圖像特性值；-根據(jù)第三平均值和第一測試組的相應(yīng)像素值，計(jì)算第三差值測量；-對于第二測試組的像素計(jì)算第四平均圖像特征值；-根據(jù)第四平均值和第二測試組的相應(yīng)像素值，計(jì)算第四差值測量；-根據(jù)第一、第二、第三和第四差值測量，確定該特定像素是屬于第一圖像特征(214)還是屬于第二圖像特征(216)。
9.一種分割系統(tǒng)(100)，用于將在一個第一視頻圖像中的一個第一圖像特征(214)與在該第一視頻圖像中的一個鄰近的第二圖像特征(216)分割開，第一圖像特征(214)具有多個像素，這些像素具有基本在第一量值范圍內(nèi)的一個圖像特性的各自量值，并且在該第一視頻圖像和一個第二視頻圖像之間第一圖像特征(214)具有相對于第二圖像特征(216)的運(yùn)動，和第二圖像特征(216)具有多個像素，這些像素具有基本在不同于第一量值范圍的第二量值范圍內(nèi)的圖像特性的各自量值，該分割系統(tǒng)(100)包括-分離裝置(103)，將第一視頻圖像分成多個像素塊；-基于塊的運(yùn)動估算器(102)，用于對于相應(yīng)的像素塊估算運(yùn)動向量(218-230)；-運(yùn)動分割單元(104)，用于通過基于相應(yīng)像素塊的運(yùn)動向量(218-230)來分類多個像素塊，從而將第一視頻圖像分割為一個第一連接像素塊組(204C)和一個第二連接像素塊組(206C)；和-基于像素的分割單元(106)，用于基于該圖像特性的相應(yīng)量值，通過第一和第二連接像素塊組(204C、206C)的部分像素塊的基于像素的分割，將第一個圖像特征(214)與第二圖像特征(216)分割開，這些像素塊被確定為位于在第一和第二連接像素塊組(204C、206C)之間的邊界上。
10.關(guān)于像素分辨率的運(yùn)動估算器(400、401)，用于估算一個運(yùn)動向量場，包括如權(quán)利要求9所述的分割系統(tǒng)(100)。
11.如權(quán)利要求10所述的關(guān)于像素分辨率的運(yùn)動估算器(400)，將所述運(yùn)動估算器設(shè)置成根據(jù)第一圖像特征(214)與第二圖像特征(216)的分割，將對于相應(yīng)塊估算的運(yùn)動向量(218-230)指定給第一視頻圖像的相應(yīng)像素。
12.如權(quán)利要求10所述的關(guān)于像素分辨率的運(yùn)動估算器(401)，將所述運(yùn)動估算器設(shè)置成通過將第一圖像特征(214)的像素與第二視頻圖像的相應(yīng)像素進(jìn)行比較，對于第一圖像特征(214)估算一個新的運(yùn)動向量。
13.圖像處理裝置(500)，包括-接收裝置(502)，用于接收表示一系列視頻圖像的信號；-如權(quán)利要求10所述的關(guān)于像素分辨率的運(yùn)動估算器(504)，用于從該視頻圖像中估算一個運(yùn)動向量；和-運(yùn)動補(bǔ)償圖像處理單元(506)，用于基于該視頻圖像和運(yùn)動向量場確定處理后的圖像。
14.如權(quán)利要求13所述的圖像處理裝置(500)，其中運(yùn)動補(bǔ)償圖像處理單元(506)設(shè)計(jì)成執(zhí)行視頻壓縮。
15.如權(quán)利要求13所述的圖像處理裝置(500)，其中運(yùn)動補(bǔ)償圖像處理單元(506)設(shè)計(jì)成在系列圖像中降低噪聲。
16.如權(quán)利要求13所述的圖像處理裝置(500)，其中運(yùn)動補(bǔ)償圖像處理單元(506)設(shè)計(jì)成對系列圖像去隔行。
17.如權(quán)利要求13所述的圖像處理裝置(500)，特征在于運(yùn)動補(bǔ)償圖像處理單元(506)設(shè)計(jì)成執(zhí)行上變換。
全文摘要
一個分割系統(tǒng)(100)，用于基于運(yùn)動和圖像特性，如顏色或亮度，將在一個第一視頻圖像中的一個第一圖像特征(214)與在該第一視頻圖像中的一個相鄰的第二圖像特征(216)分割開。該分割系統(tǒng)(100)包括基于塊的運(yùn)動估算器(102)，用于對于多個像素塊估算運(yùn)動向量(218－230)；運(yùn)動分割單元(104)，用于基于相應(yīng)像素塊的運(yùn)動向量(218－230)，將第一視頻圖像分割為一個第一連接像素塊組(204)和一個第二連接像素塊組(206)；和基于像素的分割單元(106)，用于基于該圖像特性的相應(yīng)量值，通過第一和第二連接像素塊組(214和216)的部分像素塊的基于像素的分割，將第一個圖像特征(214)與第二圖像特征(216)分割開。
文檔編號G06T7/00GK1672174SQ03818431
公開日2005年9月21日 申請日期2003年7月11日 優(yōu)先權(quán)日2002年7月31日
發(fā)明者C·瓦雷坎普, M·C·皮伊克, R·A·C·布拉斯彭寧 申請人:皇家飛利浦電子股份有限公司