專利名稱：圖像數(shù)據(jù)檢索的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)檢索，具體地說，本發(fā)明涉及視頻圖像中的運(yùn)動補(bǔ)償和/或估計(jì)。
在諸如視頻圖像之類的圖像序列中，運(yùn)動的對象通常會在連續(xù)的圖像的不同區(qū)域內(nèi)出現(xiàn)。
在對數(shù)字視頻信號的編碼中，眾所周知的是使用諸如MPEG-2編碼之類的壓縮方案，以便通過下述方法顯著地減少包括在信號中的數(shù)據(jù)量，即利用多種形式的運(yùn)動估計(jì)技術(shù)，僅對整個(gè)連續(xù)圖像的一部分圖像進(jìn)行完整的編碼，其它圖像則是通過根據(jù)對已編碼的圖像進(jìn)行預(yù)測而生成的，其中將出現(xiàn)運(yùn)動對象的連續(xù)圖像的部分之間的相關(guān)度是通過在編碼視頻信號包括表示已編碼圖像的離去片段與后續(xù)預(yù)測圖像的到達(dá)片段之間的空間偏移量的所謂運(yùn)動向量而得以確保的。
例如1997年倫敦出版的Henve Benoit的“Digital TelevisionMPEG-1，MPEG-2 and principles of the DVB system(數(shù)字電視MPEG-1、MPEG-2和DVB系統(tǒng)的原理)”中給出了根據(jù)MPEG標(biāo)準(zhǔn)對數(shù)字視頻編碼進(jìn)行運(yùn)動估計(jì)或補(bǔ)償?shù)膽?yīng)用的一般內(nèi)容。
運(yùn)動估計(jì)或補(bǔ)償?shù)牧硪粋€(gè)應(yīng)用是視頻掃描速率轉(zhuǎn)換，其中，視頻信號處理系統(tǒng)的輸出圖像速率不同于輸入圖像速率。這種類型的應(yīng)用得益于使用了如Gerard de Haan等人在《IEEE視頻技術(shù)電路與系統(tǒng)學(xué)報(bào)》1993年10月3卷5期發(fā)表的“True Motion Estimation with 3-DRecursive Block Matching(用3-D遞歸塊匹配進(jìn)行精確運(yùn)動估計(jì))”以及Gerard de Haan在《IEEE消費(fèi)者電子學(xué)學(xué)報(bào)》1999年8月45卷3期發(fā)表的“IC for Motion-compensated De-interlacing，NoiseReduction and Picture-rate conversion(用于運(yùn)動補(bǔ)償?shù)娜ソ诲e(cuò)、降噪和圖像速率轉(zhuǎn)換的IC)”所述的運(yùn)動向量。
就上述編碼或掃描率轉(zhuǎn)換方法以及運(yùn)動估計(jì)或補(bǔ)償?shù)钠渌鼘?shí)際應(yīng)用而言，根據(jù)被稱為塊匹配的技術(shù)來確定運(yùn)動向量，利用這種技術(shù)，就已選定的一般可以為方形像素塊且通常包含8×8個(gè)像素的圖像片段來說，限定這樣的搜索區(qū)域該區(qū)域包圍了后續(xù)圖像中的相應(yīng)像素塊，該像素塊位于所述區(qū)域的中心，并且所述區(qū)域一般包含例如88×40個(gè)像素。通過塊匹配，在上述搜索區(qū)域內(nèi)搜索包含與選定像素塊相匹配的像素?cái)?shù)據(jù)的像素塊。
在本系統(tǒng)中，所述搜索區(qū)域或窗口中的圖像數(shù)據(jù)一般存儲在大小與需要相對大的緩沖存儲器的圖像寬度相同的本地緩沖器或芯片級存儲器中。
在將運(yùn)動向量賦給諸如圖像的像素塊之類的新片段時(shí)，必須通過從后臺存儲器所存儲的圖像中傳送包圍新像素塊的像素塊來更新所述搜索區(qū)域的內(nèi)容。用流水線技術(shù)與圖像處理同步地更新上述搜索區(qū)域，以使得系統(tǒng)的整個(gè)數(shù)據(jù)吞吐量達(dá)到最佳。
本發(fā)明的目的是提供一種更新上述窗口的有顯著改進(jìn)的方式，由此就改進(jìn)的效率而言，使圖像存儲器的存取可以被優(yōu)化。為此，本發(fā)明提供了用于數(shù)據(jù)檢索的方法和裝置以及如獨(dú)立權(quán)利要求項(xiàng)所限定的設(shè)備。
優(yōu)選實(shí)施例由從屬權(quán)利要求項(xiàng)所限定。
依照本發(fā)明的第一個(gè)方面，通過在圖像上按預(yù)定的掃描方向平移包括一個(gè)圖像片段以及一個(gè)或多個(gè)相鄰圖像片段的預(yù)定窗口，利用能存儲當(dāng)前窗口中的數(shù)據(jù)的緩沖存儲器并在圖像上沿垂直掃描方向平移該窗口的位置，來從圖像存儲器中檢索出屬于圖像的所述圖像片段的數(shù)據(jù)，所述窗口的寬度比圖像的寬度小。所述一個(gè)或多個(gè)相鄰圖像片段不必與上述圖像片段有相同的大小，不過在某些實(shí)際的實(shí)施例中它們有著相同的大小。
通過在正被處理的圖像上垂直掃描上述搜索窗口——即按連續(xù)的垂直列來掃描該窗口，可以將對后臺存儲器的訪問需求減低為只是連續(xù)的水平存儲器訪問，由此就減少硬件限制并縮短處理時(shí)間。盡管選定的相應(yīng)圖像片段相對是大的，但對于存儲搜索區(qū)域的芯片級存儲器的帶寬需求而言仍然是完全可接受的。
在優(yōu)選實(shí)施例中，對搜索區(qū)域的限定與圖像寬度無關(guān)，并且，緩沖存儲器具有與圖像寬度無關(guān)的大小。圖像寬度是在外部確定的，例如為720個(gè)像素，但其它的值也可以。按體系結(jié)構(gòu)上的考慮來確定緩沖存儲器的寬度。實(shí)際的緩沖存儲器寬度為8個(gè)像素的倍數(shù)，例如為256個(gè)像素。通過使搜索區(qū)域與緩沖存儲器大小獨(dú)立于圖像寬度，可以用同樣的體系結(jié)構(gòu)來處理若干個(gè)圖像寬度。
依照所述方法的特定優(yōu)選實(shí)施方式，通過將搜索區(qū)域限定成包括多個(gè)像素塊的水平行，可以進(jìn)一步減少處理時(shí)間，對下一水平行中沿搜索區(qū)外部的掃描方向的像素塊而言，更新區(qū)域隸屬于所述搜索區(qū)。
以下參照附圖更詳細(xì)地說明本發(fā)明的實(shí)施例，在附圖中

圖1是用運(yùn)動估計(jì)值進(jìn)行圖像預(yù)測的簡化說明性實(shí)例；圖2說明了用現(xiàn)有技術(shù)的塊匹配技術(shù)來確定運(yùn)動向量；圖3說明了用依照本發(fā)明實(shí)施例的垂直搜索區(qū)域掃描來確定運(yùn)動向量；圖4是本發(fā)明的估計(jì)裝置的簡化塊圖。
在圖1中，給出了運(yùn)動估計(jì)的應(yīng)用的實(shí)例，該實(shí)例根據(jù)一系列連續(xù)圖像的在前的圖像將—圖像內(nèi)插到該圖像系列內(nèi)。這種內(nèi)插一般用在例如從50Hz轉(zhuǎn)換成100Hz的圖像格式的視頻掃描率轉(zhuǎn)換中。
每個(gè)運(yùn)動向量均描述了第一圖像A中的離去片段BD的位置與第二圖像B中的到達(dá)區(qū)BA的位置之間的差異。因此，該運(yùn)動向量表示單個(gè)對象從第一圖像中的離去區(qū)向第二圖像中的到達(dá)區(qū)的運(yùn)動。
圖2說明了確定運(yùn)動向量V并將該向量賦給呈輸入視頻信號的8×8像素塊B形式的圖像片段。根據(jù)現(xiàn)有技術(shù)中周知的所謂塊匹配技術(shù)來進(jìn)行運(yùn)動向量估計(jì)，由此，可以選定圖像B中的像素塊BD-B，將運(yùn)動向量V賦給像素塊BD-B，并且搜索區(qū)域或窗口S包圍圖像B中的實(shí)際像素塊BD-B。一般地說，搜索區(qū)域S可以包括在水平方向和垂直方向上包圍像素塊BD-B的多個(gè)像素塊，就8×8像素塊而言，搜索區(qū)域S的大小例如可以為88×40個(gè)像素。
通俗地說，通過在搜索區(qū)域或窗口S中搜索與第一圖像A中的像素塊BD-A相匹配的像素塊BA-B，可以確定要被賦給實(shí)際像素塊BD-B的運(yùn)動向量V。
利用塊匹配技術(shù)，可以按在某種程度上與運(yùn)動補(bǔ)償或估計(jì)的實(shí)際應(yīng)用有關(guān)的不同復(fù)雜程度來執(zhí)行搜索過程，但該過程一般涉及從存儲在預(yù)測存儲器中的一組被稱為候選向量中選擇出最佳向量。上述搜索過程將不在此詳述，但如前所述，Gerard de Haan等人在《IEEE視頻技術(shù)電路與系統(tǒng)學(xué)報(bào)》1993年10月3卷5期發(fā)表的“Ture-motionEstimation with 3-D Recursive Search Block Matching(用3-D遞歸塊匹配進(jìn)行精確運(yùn)動估計(jì))”以及Gerard de Haan在《IEEE消費(fèi)者電子學(xué)學(xué)報(bào)》1999年8月45卷3期發(fā)表的“IC for Motion-compensated De-interlacing，Noise Reduction and Picture-rateconversion(用于運(yùn)動補(bǔ)償?shù)娜ソ诲e(cuò)、降噪和圖像率轉(zhuǎn)換的IC)”中給出了對多種選項(xiàng)的綜合分析。
通過這種方式，可以為圖像的所有像素塊確定運(yùn)動向量。
在圖2所示的現(xiàn)有技術(shù)方法中，每次將運(yùn)動向量賦給諸如像素塊之類的新圖像片段時(shí)，都必須更新搜索區(qū)域S的內(nèi)容，這是因?yàn)樗阉鲄^(qū)域必須包括多個(gè)在垂直和水平方向上包圍選定像素塊的像素塊。這種對像素塊的更新會導(dǎo)致很大的帶寬需求，以便將圖像數(shù)據(jù)傳至搜索區(qū)域緩沖器。為此，現(xiàn)有技術(shù)的系統(tǒng)一般使用包含整個(gè)圖像寬度的本地緩沖器。這雖然能解決帶寬問題，但存在明顯的缺點(diǎn)——即實(shí)現(xiàn)方式會導(dǎo)致對圖像大小有限制，而且緩沖器必須相對很大。
如圖3所示，依照本發(fā)明的方法，將圖像的選定圖像片段限定成包括位于圖像的單個(gè)水平行中的多個(gè)連續(xù)的像素塊。而且，將包圍圖像片段BD-B的搜索區(qū)域S限定成在水平方向上延伸的區(qū)域，因此搜索區(qū)域S在水平方向上包括多個(gè)第二像素塊，其數(shù)量要多于實(shí)際圖像片段BDP中的單個(gè)行中的塊的數(shù)量，并且，所述第二像素塊自身可以位于搜索區(qū)域S的中心部分。
與上述通過沿垂直掃描方向SC逐片段地平移搜索區(qū)域S在圖像上的位置來執(zhí)行塊匹配以及將運(yùn)動向量賦給在圖像中垂直分布的片段這樣的特征相結(jié)合，可以很明顯地便于更新搜索區(qū)域，因?yàn)椋梢詫D像存儲器的訪問需求減低為僅為水平存儲器訪問。從而，可以減少硬件限制并縮短處理時(shí)間。
盡管本發(fā)明需要比當(dāng)前系統(tǒng)更大的本地搜索帶寬，但該帶寬可以是在完全可接受的帶寬要求范圍內(nèi)，從而使搜索區(qū)域能處理例如16個(gè)由8×8像素構(gòu)成的標(biāo)準(zhǔn)像素塊，每個(gè)像素塊均位于水平長度為128字節(jié)的單個(gè)水平行內(nèi)，而兩側(cè)的64字節(jié)的水平延伸區(qū)域則允許通過運(yùn)動向量進(jìn)行數(shù)據(jù)存取，從而導(dǎo)致與32個(gè)標(biāo)準(zhǔn)像素塊相對應(yīng)的256個(gè)字節(jié)的寬度。更新這種搜索區(qū)域需要由256個(gè)連續(xù)存儲器地址構(gòu)成的存儲器存取，這可以用當(dāng)前的存儲器系統(tǒng)來非常有效率地加以實(shí)現(xiàn)。在該特定的實(shí)例中，存在有2倍的帶寬開銷，因?yàn)?，需要?56個(gè)字節(jié)裝入緩沖器中以便處理12字節(jié)的像素?cái)?shù)據(jù)。在許多系統(tǒng)中，這種帶寬損失是完全可接受的，但緩存大小與帶寬之間的其它折衷辦法也是可行的。在上述特定實(shí)例中，緩沖器僅有256個(gè)字節(jié)的寬度，這個(gè)寬度與當(dāng)前用于處理標(biāo)準(zhǔn)視頻信號的系統(tǒng)所使用的720字節(jié)的整個(gè)圖像寬度相比有顯著的減少。
如圖3所示，搜索區(qū)域S可以包括多個(gè)由像素塊構(gòu)成的水平行，即包括與40字節(jié)的垂直高度相對應(yīng)的5行。這方面，如果更新區(qū)域UP-B隸屬于搜索區(qū)域，則可以優(yōu)選地進(jìn)一步減少處理時(shí)間。在通過將實(shí)際的片段從一行平移到下一行而在圖像上沿垂直掃描方向SC平移搜索區(qū)域S時(shí)，更新區(qū)域UPD的可用性會在用于當(dāng)前片段的塊匹配和運(yùn)動向量的確定正在進(jìn)行的同時(shí)將用于下一行的像素塊轉(zhuǎn)移到更新區(qū)域。
在圖4的例如在視頻掃描率轉(zhuǎn)換時(shí)使用的可能的運(yùn)動估計(jì)器結(jié)構(gòu)的簡化框圖中，對存儲在圖像存儲器1內(nèi)的一對圖像A和B進(jìn)行運(yùn)動估計(jì)，從圖像存儲器1將包括要為其確定運(yùn)動向量的成組圖像片段的圖像A轉(zhuǎn)移到塊匹配器2。在塊匹配器2中，利用從本地緩沖器或搜索區(qū)域存儲器3轉(zhuǎn)移到塊匹配器2的搜索窗S并且利用一組從向量存儲器4轉(zhuǎn)移到塊匹配器2的候選運(yùn)動向量CV，搜索圖像B中與圖像A中預(yù)定的圖像塊相匹配的圖像片段組或塊。
暫存在緩沖存儲器3內(nèi)的搜索區(qū)域S包含有圖像B數(shù)據(jù)的一個(gè)子集。
向量存儲器4存儲有為在前的圖像的片段組或塊所確定的所有的運(yùn)動向量，就要在圖像A中搜索的圖像塊而言，候選向量組一般包括在前的圖像或當(dāng)前圖像內(nèi)相鄰圖像塊中相同位置處為圖像塊確定的運(yùn)動向量。
通過將上述多個(gè)被限定成包圍實(shí)際像素塊BD-B的像素塊從圖像存儲器1轉(zhuǎn)移到本地緩沖存儲器3來形成搜索區(qū)域或窗口S，在搜索和塊匹配處理期間內(nèi)，搜索區(qū)域保持存儲在本地緩沖存儲器3中。由于依照本發(fā)明實(shí)際圖像片段是由位于圖像的同一水平行內(nèi)的像素塊構(gòu)成的，故可通過用選擇裝置5對存儲器1作簡單的水平行存取，以傳送用于搜索區(qū)域S的像素塊。
在塊匹配器2中進(jìn)行的塊匹配處理過程在本技術(shù)中是周知的并且包括用候選向量CV在本地實(shí)現(xiàn)的塊比較或塊匹配。通過這一過程，可以對各個(gè)候選向量找出匹配的內(nèi)容M。在向量選擇器6中選擇最佳匹配，相應(yīng)的最佳向量BV存儲在向量存儲器4內(nèi)，以供確定將來的運(yùn)動向量時(shí)使用。
在對實(shí)際圖像片段作塊匹配的過程的同時(shí)，通過將相應(yīng)的像素塊從圖像存儲器1轉(zhuǎn)移到包括在更新區(qū)域UP-B內(nèi)的搜索區(qū)域存儲器3，準(zhǔn)備處理下一個(gè)片段。
對本領(lǐng)域熟練的技術(shù)人員而言，很清楚，整個(gè)運(yùn)動估計(jì)裝置還包括用于將圖像數(shù)據(jù)載入圖像存儲器1中的裝置以及從向量存儲器4讀出要在以后處理中使用的向量的裝置。
應(yīng)該注意，上述為實(shí)施例說明而不是限制本發(fā)明，本領(lǐng)域熟練的技術(shù)人員可以在不脫離后附權(quán)利要求的范圍的情況下設(shè)計(jì)出多個(gè)替代性實(shí)施例。在權(quán)利要求中，括號中的標(biāo)號不應(yīng)看作是限制本發(fā)明?！鞍ā币辉~不排除存在有權(quán)利要求中列出的以外的其它部件或步驟?？捎冒ㄈ舾瑟?dú)立部件的硬件以及用適當(dāng)編程的計(jì)算機(jī)來實(shí)現(xiàn)本發(fā)明。在列舉出了若干裝置的裝置中，可用一個(gè)或相同的硬件來實(shí)現(xiàn)上述多個(gè)裝置。在不同的權(quán)利要求項(xiàng)中所說的某些裝置并不意味不能有效地使用這些裝置的組合。
總之，就從圖像存儲器中檢索數(shù)據(jù)而言，特別是就數(shù)字視頻圖像中的運(yùn)動補(bǔ)償和/或估計(jì)而言，為實(shí)際的圖像片段(BD-B)限定窗口(S)，該窗口包括實(shí)際的圖像片段和一個(gè)或多個(gè)相鄰的圖像片段。窗口寬度小于圖像寬度。當(dāng)在圖像上進(jìn)行處理時(shí)，窗口(S)按垂直掃描方向(SC)從一個(gè)片段平移至下一個(gè)片段。
更新區(qū)域(UP-B)可以隸屬于窗口(S)，以便與處理當(dāng)前片段的同時(shí)為處理下一個(gè)圖像片段作準(zhǔn)備。
權(quán)利要求
1.一種用于數(shù)據(jù)檢索的方法，按照該方法，通過在圖像上沿預(yù)定掃描方向平移包括圖像片段和一個(gè)或多個(gè)相鄰圖像片段的預(yù)定窗口(S)，來從圖像存儲器(1)中檢索出屬于圖像的圖像片段(BD-B)的數(shù)據(jù)，所述窗口的寬度要小于圖像的寬度，所述方法包括下列步驟使用能存儲當(dāng)前窗口(S)的數(shù)據(jù)的緩沖存儲器(3)；以及在圖像(B)上沿垂直掃描方向(SC)平移窗口(S)的位置。
2.如權(quán)利要求1所述的方法，其中，所述窗口的大小與圖像的大小無關(guān)，并且，所述緩沖存儲器具有與圖像的大小無關(guān)的大小。
3.如權(quán)利要求1所述的方法，其中，在所述垂直掃描方向上，更新區(qū)域(UP-B)隸屬于當(dāng)前窗口，該更新區(qū)域(UP-B)包括下一個(gè)水平行的像素。
4.如權(quán)利要求1所述的方法，其中，在所述垂直方向上逐列地掃描整個(gè)圖像(B)。
5.如權(quán)利要求1所述的方法，其中，所述圖像片段由16個(gè)像素塊構(gòu)成，例如每個(gè)像素塊為8×8個(gè)像素，并且，所述窗口由32個(gè)像素塊構(gòu)成，例如每個(gè)像素塊為8×8個(gè)像素。
6.如權(quán)利要求1所述的方法，其特征在于，它可用于在數(shù)字視頻信號的降噪中進(jìn)行過濾。
7.如權(quán)利要求1所述的方法，其特征在于，它可用于在視頻格式轉(zhuǎn)換中進(jìn)行內(nèi)插。
8.如權(quán)利要求1所述的方法，其特征在于，它可用于對交錯(cuò)的視頻信號進(jìn)行去交錯(cuò)。
9.一種用于數(shù)據(jù)檢索的裝置，利用該裝置，通過在圖像上沿預(yù)定掃描方向平移包括圖像片段和一個(gè)或多個(gè)相鄰圖像片段的預(yù)定窗口(S)，來從圖像存儲器(1)中檢索出屬于圖像的圖像片段(BD-B)的數(shù)據(jù)，所述窗口的寬度要小于圖像的寬度，所述裝置包括能存儲當(dāng)前窗口(S)的數(shù)據(jù)的緩沖存儲器(3)；以及在圖像(B)上沿垂直掃描方向(SC)平移窗口(S)的位置的裝置。
10.如權(quán)利要求9所述的裝置，其中，所述緩沖存儲器(3)的存儲容量被限定成能包括當(dāng)前窗口以及更新區(qū)域(UP-B)，該更新區(qū)域包括在垂直方向上的下一水平行的像素。
11.如權(quán)利要求10所述的裝置，其中，所述裝置還包括在處理當(dāng)前窗口(S)的數(shù)據(jù)的過程期間將所述圖像的像素?cái)?shù)據(jù)從圖像存儲器(1)轉(zhuǎn)移到所述更新區(qū)域(UP-B)的裝置。
12.一種用于對視頻進(jìn)行編碼或再現(xiàn)的設(shè)備，該設(shè)備包括用于獲得視頻圖像的輸入單元；以及如權(quán)利要求9的、用于檢索數(shù)據(jù)的裝置，利用該裝置，從圖像存儲器(1)中檢索出屬于圖像的圖像片段(BD-B)的數(shù)據(jù)。
全文摘要
就從圖像存儲器中檢索數(shù)據(jù)而言，特別是就數(shù)字視頻圖像中的運(yùn)動補(bǔ)償和/或估計(jì)而言，為實(shí)際的圖像片段(BD－B)限定窗口(S)，該窗口包括實(shí)際的圖像片段和一個(gè)或多個(gè)相鄰的圖像片段。窗口寬度小于圖像寬度。當(dāng)在圖像上進(jìn)行處理時(shí)，窗口(S)按垂直掃描方向(SC)從一個(gè)片段平移至下一個(gè)片段。更新區(qū)域(UP－B)可以隸屬于窗口(S)，以便與處理當(dāng)前片段的同時(shí)地為處理下一個(gè)圖像片段作準(zhǔn)備。
文檔編號H04N7/12GK1602503SQ02824186
公開日2005年3月30日 申請日期2002年12月3日 優(yōu)先權(quán)日2001年12月3日
發(fā)明者A·K·里門斯, R·J·舒特坦, S·拉思納姆, A·馬卡托, K·A·維塞斯 申請人:皇家飛利浦電子股份有限公司