專利名稱：視頻數(shù)據(jù)壓縮和解壓縮的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對(duì)視頻數(shù)據(jù)進(jìn)行壓縮和解壓縮的方法視頻會(huì)產(chǎn)生很大的數(shù)據(jù)量。為了高效地傳輸并存儲(chǔ)這些數(shù)據(jù)量，對(duì)其進(jìn)行壓縮是很有意義的。
根據(jù)目前的現(xiàn)有技術(shù)，視頻信號(hào)被攝制為快速的單幅圖像序列，并被重現(xiàn)。對(duì)于電視(PAL標(biāo)準(zhǔn))，每秒鐘為25幅圖像，或者50幅半圖。對(duì)于數(shù)字?jǐn)z像，每秒鐘達(dá)到大約30幅圖像。每幅圖像被拆分為行，然后被串行傳輸。
目前為止的壓縮方法基本上是建立在降低清晰度、色深、以及減少每秒鐘圖像數(shù)目的基礎(chǔ)上的。在數(shù)字壓縮，例如MPEG方法中，基本上是傳輸差分圖像，即各個(gè)像點(diǎn)(像素)與先前的圖像進(jìn)行比較得到的差，而不是傳輸整幅圖像。最新的視頻編碼標(biāo)準(zhǔn)是MPEG 4。
MPEG是“運(yùn)動(dòng)圖像專家組(Motion Pictures ExpertGroup)”的縮寫。由這個(gè)專家組確定了對(duì)高質(zhì)量的視頻或多媒體數(shù)據(jù)(視頻、圖像和語音數(shù)據(jù))進(jìn)行節(jié)省空間的壓縮和存儲(chǔ)的文件格式和方法。MPEG標(biāo)準(zhǔn)分為MPEG-1、MPEG-2、MPEG-3和MPEG-4，其中MPEG-3標(biāo)準(zhǔn)集成在MPEG-2當(dāng)中。
為了可以使用“常規(guī)”的計(jì)算機(jī)來處理和傳輸電影的大量數(shù)據(jù)量，只存儲(chǔ)前面圖像的改變之處。MPEG格式按照規(guī)定存儲(chǔ)為一定間隔(通常為12幅圖像)的所謂內(nèi)部幀(Intra-Frame)；它就是經(jīng)過JPEG壓縮的單幅圖像。這些幀間圖像盡可能不完整地插入。更確切地說，MPEG存儲(chǔ)那些人們可以通過對(duì)前面或后面的圖像部分進(jìn)行延遲而重新獲得的圖像。為此還采用了有預(yù)見性的“預(yù)測幀”和“B幀”(雙向幀)。因?yàn)楸M管圖像沒有完整地再現(xiàn)，每幅圖像仍然以JPEG編碼方式附帶地存儲(chǔ)所保留的偏差。通過這種方法，視頻電影的數(shù)據(jù)量大約減少了99％?？赡艿膲嚎s率達(dá)到了200∶1。
MPEG-1是為運(yùn)動(dòng)的視頻再現(xiàn)而設(shè)計(jì)的。MPEG-1的壓縮和解壓縮方法原本是一種與硬件相關(guān)的方法。然而由于高速處理器的出現(xiàn)，它也可以實(shí)現(xiàn)為軟件壓縮。MPEG-1和MPEG-2的主要區(qū)別在于，MPEG-2可以更好地適用于電視中所采用的隔行掃描方式(Interlace)。MPEG-2的秘密在于在最高的質(zhì)量級(jí)上壓縮，這樣影片素材被處理為近似于1比1的攝影質(zhì)量，并可以進(jìn)行編輯。MPEG-2逐漸成為了一種標(biāo)準(zhǔn)。在純粹的幀間編碼中，盡管只在部分操作中采用了MPEG-2，但仍對(duì)其進(jìn)行了定義。MPEG-3是為高清晰度電視(HDTV)而提供的，它的一部分應(yīng)用到MPEG-2標(biāo)準(zhǔn)當(dāng)中。
MPEG-4是MPEG-2格式的改進(jìn)，并且自1996年之后得到了發(fā)展。盡管MPEG-4原本是為音頻可視數(shù)據(jù)所設(shè)計(jì)的低比特率編碼標(biāo)準(zhǔn)，但是它已發(fā)展出了除僅僅用于互聯(lián)網(wǎng)和無線應(yīng)用的線性媒體數(shù)據(jù)流之外的更多應(yīng)用目的。例如MPEG-4為壓縮和分配交互媒體內(nèi)容提供了高效的機(jī)制。此外，MPEG-4提供了3D應(yīng)用的潛力，以在未來表現(xiàn)出智能化的可視應(yīng)用或優(yōu)勢，例如在視頻會(huì)議領(lǐng)域內(nèi)。MPEG-4的壓縮率比MPEG-2要高，其中 “子畫面(Sprites)”可以被更好地壓縮，因?yàn)闉檫@種編碼機(jī)制提供了更多的時(shí)間。盡管此時(shí)可能會(huì)轉(zhuǎn)換為微激波(Wavelets)。描述語言可以比相同操作的數(shù)字壓縮格式更快地實(shí)現(xiàn)幾個(gè)字節(jié)的操作，如“延遲”。借助于這種“子畫面”，任意構(gòu)造的靜態(tài)圖像在運(yùn)動(dòng)的圖像之上被推移。
本發(fā)明的任務(wù)在于提供一種壓縮視頻數(shù)據(jù)的方法，該方法允許簡單、靈活地適配于不同的傳輸速率或傳輸帶寬、圖像清晰度和顯示屏大小。
該任務(wù)通過權(quán)利要求1的技術(shù)特征來解決。
本發(fā)明的具有優(yōu)點(diǎn)的實(shí)施例和改進(jìn)型在從屬權(quán)利要求中給出。
具有優(yōu)點(diǎn)地，視頻記錄芯片中的視頻信息實(shí)現(xiàn)了同步處理。這種同步處理首先是為了確定最少的像素，并將這些像素按照優(yōu)先級(jí)插入到一個(gè)優(yōu)先級(jí)矩陣中。在每個(gè)時(shí)間點(diǎn)，這個(gè)矩陣包含了根據(jù)優(yōu)先級(jí)進(jìn)行分類的像素值。根據(jù)優(yōu)先級(jí)，這些像素以及為計(jì)算優(yōu)先級(jí)所使用的像素值被傳輸或存儲(chǔ)。當(dāng)一個(gè)像素與其相鄰的像素之間的差別很大時(shí)，該像素獲得高優(yōu)先級(jí)。
為了進(jìn)行重現(xiàn)，在顯示屏上分別顯示當(dāng)前的像素值。還沒有傳輸?shù)南袼赜梢呀?jīng)傳輸?shù)南袼赜?jì)算得出。
與運(yùn)算效率、傳輸帶寬和顯示屏大小相適應(yīng)，可以采用不同的方法來計(jì)算還沒有傳輸?shù)南袼?。如果所提供的帶寬很大，則可以通過簡單的線性內(nèi)插來實(shí)現(xiàn)。如果僅提供了很小的帶寬，則可以考慮傳輸優(yōu)先像素。
通過已傳輸像素的歷史變化過程，可以對(duì)目標(biāo)進(jìn)行識(shí)別，并由此實(shí)現(xiàn)目標(biāo)的運(yùn)動(dòng)估算。
該方法的基本思想是基于優(yōu)先像素存儲(chǔ)和傳輸。在存儲(chǔ)和視頻傳輸中，必須還要考慮到單個(gè)像素或共同組成像素組的像素在時(shí)間上和位置上(在圖像矩陣之內(nèi))的關(guān)聯(lián)。
為了得到特別高的數(shù)據(jù)壓縮率，分別傳輸具有最高優(yōu)先級(jí)、并且目前還沒有被傳輸?shù)南袼亟M，而已經(jīng)傳輸?shù)南袼亟M之間的面積，即像素值，從已經(jīng)傳輸?shù)南袼亟M中計(jì)算得出，例如通過內(nèi)插法。在更高的清晰度(更大的圖像矩陣)下，可達(dá)到的壓縮系數(shù)增大，因?yàn)樵谧匀粩z像的情況下，更大的面積大多具有良好的、可預(yù)見的(均勻的)顏色特性，例如藍(lán)天。
還應(yīng)注意分別傳輸精確的像素值。如果需要的話，該方法允許進(jìn)行無損的視頻信息傳輸。
視頻數(shù)據(jù)的重新生成或重建涉及到類似于人類視覺關(guān)系的估算。人受到刺激，而人類對(duì)圖像所獲知的解釋首先出現(xiàn)在人的大腦中。這種刺激對(duì)應(yīng)于所傳輸?shù)南袼亟M，而這種解釋對(duì)應(yīng)于對(duì)還沒有傳輸?shù)南袼亟M之間面積的填充。
為了實(shí)現(xiàn)這種方法，可以插入附加的矩陣。在另一方面，該矩陣包含了下列信息由哪些像素組來確定當(dāng)前位置上的像素值。其他的信息可以是何時(shí)計(jì)算該值、由哪些像素組來計(jì)算或者傳輸。關(guān)于值的精確度的評(píng)估(例如由直接相鄰的像素來計(jì)算，計(jì)算所基于的像素的微小改變)可以作為附加的信息被分析。
所述的方法允許視頻數(shù)據(jù)流非常簡單地適配于不同的顯示屏大小和圖像清晰度。
另外一個(gè)優(yōu)點(diǎn)在于，上述類型的視頻編碼沒有自行確定必須以哪種算法來進(jìn)行視頻解碼。因此生產(chǎn)商可以開發(fā)出由低成本到高成本的終端設(shè)備，并且通過采用不同的算法在競爭中領(lǐng)先。
為了力求達(dá)到大量的同步視頻數(shù)據(jù)處理，在一個(gè)專門為此開發(fā)的芯片中，允許采用極低的時(shí)鐘頻率，它十分適宜于對(duì)數(shù)據(jù)流的需求起作用。通過劃分優(yōu)先級(jí)，可以以更高的優(yōu)先級(jí)和更好的清晰度來傳輸視頻的特定區(qū)域(例如信息發(fā)言人的嘴唇部分)。
該方法允許從視頻數(shù)據(jù)流中為不同的終端設(shè)備過濾出優(yōu)化的部分?jǐn)?shù)據(jù)流，而不必在視頻攝像時(shí)考慮這個(gè)問題。
借助于附圖更詳細(xì)地說明本發(fā)明的實(shí)施例。由附圖及其說明中得到了本發(fā)明的其他特征、優(yōu)點(diǎn)和應(yīng)用。如圖所示

圖1表示了20×21個(gè)像素的圖像矩陣；圖2表示了像素組的不同形狀；圖3表示在時(shí)間點(diǎn)t1時(shí)運(yùn)動(dòng)目標(biāo)的圖像矩陣；圖4表示在時(shí)間點(diǎn)t2時(shí)運(yùn)動(dòng)目標(biāo)的圖像矩陣；圖5表示在時(shí)間點(diǎn)t3時(shí)運(yùn)動(dòng)目標(biāo)的圖像矩陣；圖6表示在圖像邊角內(nèi)插入的像素組所新生成的圖像矩陣；圖7表示填充已插入的像素組之間的面積；圖8表示插入其他的像素組，并填充位于中間的面積。
下面借助于解釋性的例子來說明視頻信號(hào)的壓縮和解壓縮。
采用了下列方法
采用目前常用的視頻信號(hào)作為視頻源(例如PAL或NTSC)。視頻信息可由商業(yè)中常見的電子裝置(例如幀記錄卡)讀出。為了說明該方法，下面使用了寬度為20個(gè)像素、高度為21個(gè)像素的最小圖像矩陣(圖1)。矩陣中的每個(gè)像素以32位值(像素值)來表示。32位被劃分為四個(gè)值(透明、紅、綠、藍(lán))，每個(gè)值有8位。像素的位置通過一個(gè)整數(shù)來確定。在圖1所示的方式中，圖像矩陣被換算為0至419。每個(gè)框內(nèi)的數(shù)字與相應(yīng)像素的位置相符。在源(Quelle)與匯點(diǎn)(Senke)之間設(shè)置了一個(gè)UDP(用戶數(shù)據(jù)報(bào)協(xié)議)連接。通過這個(gè)連接來發(fā)送經(jīng)過壓縮的視頻數(shù)據(jù)。
視頻數(shù)據(jù)的壓縮在下列步驟中實(shí)現(xiàn)在該方法中持續(xù)地為視頻信號(hào)的各個(gè)像素分配優(yōu)先級(jí)，其中像素根據(jù)其優(yōu)先級(jí)插入到矩陣中。在每個(gè)時(shí)間點(diǎn)，該矩陣包含根據(jù)優(yōu)先級(jí)分類的當(dāng)時(shí)的像素值。當(dāng)一個(gè)像素與其相鄰像素之間的差別很大時(shí)，該像素獲得一個(gè)高優(yōu)先級(jí)。該像素與為計(jì)算而采用的相鄰像素一起，共同組成了一個(gè)像素組。這個(gè)像素組根據(jù)其優(yōu)先級(jí)被傳輸或存儲(chǔ)。
像素矩陣的讀入在每個(gè)時(shí)間點(diǎn)，幀記錄卡在其圖像矩陣中分別具有當(dāng)時(shí)的實(shí)際圖像，如在圖1所示的例子中，它可以是一個(gè)20×21像素大小的圖像矩陣。每個(gè)像素通過其位置(0至419)和像素值(顏色或亮度值)來定義。
像素組的確定首先需要確認(rèn)哪些相鄰像素構(gòu)成了一個(gè)像素組。此時(shí)用p0來表示一個(gè)像素，該像素限定了像素組的位置，并為該像素計(jì)算優(yōu)先級(jí)。像素組中的其余像素，例如p1-p4，相對(duì)于參考像素p0的相對(duì)位置由所采用的像素組類型(形狀)得到。圖2中作為示例表示了一些可能的像素組形狀。既可以形成與參考像素p0對(duì)稱的像素組，也可以形成非對(duì)稱的像素組。采用哪種類型的像素組與圖像素材和希望達(dá)到的壓縮率有關(guān)。通常，一個(gè)像素組包含的像素越多，所達(dá)到的壓縮系數(shù)越大。為了進(jìn)行編碼和解碼，即進(jìn)行視頻圖像的壓縮和解壓縮，必須采用相同形狀的像素組。
優(yōu)先值的確定對(duì)于一個(gè)像素組中的每個(gè)像素p0，現(xiàn)在關(guān)于其像素組來計(jì)算優(yōu)先級(jí)。此時(shí)圖像中的每個(gè)像素0-419都一次變?yōu)閰⒖枷袼豴0。根據(jù)本發(fā)明，此時(shí)像素優(yōu)先值的計(jì)算盡可能在同步數(shù)據(jù)處理中實(shí)現(xiàn)。最好是圖像中所有像素的優(yōu)先級(jí)計(jì)算都同時(shí)完成。如果是涉及視頻信號(hào)，則所有像素的優(yōu)先值持續(xù)地重新計(jì)算，因?yàn)閳D像內(nèi)容是連續(xù)變化的。但是許多像素組，尤其是具有低優(yōu)先級(jí)的像素組，很可能是不發(fā)生變化的。
為了計(jì)算優(yōu)先級(jí)，可以給出各種不同的計(jì)算方法。例如這里采用了線性方法。為此，一個(gè)像素組中的各個(gè)像素值P0、P1、P2、P3和P4被劃分成紅、綠、藍(lán)的顏色部分。每個(gè)顏色值用8位來表示?，F(xiàn)在對(duì)于P1-P4中每個(gè)像素的每種顏色值，確定相對(duì)于P0的顏色差值，例如P0紅-P1紅，P0紅-P2紅，…，P0藍(lán)-P4藍(lán)。顏色差值的絕對(duì)值被相加，并用顏色數(shù)和所考慮的像素的數(shù)目來除。所得到的結(jié)果就是對(duì)于所考慮的像素組的優(yōu)先值。像素組中各個(gè)像素的顏色值的差越大，這個(gè)優(yōu)先值越高。
確定優(yōu)先值的其他方法是使用藍(lán)色值或一種顏色的顏色差的最大值。因?yàn)榇撕髢?yōu)先值本身不會(huì)被傳輸或存儲(chǔ)，因此確定優(yōu)先值的方法對(duì)解碼沒有直接的影響。
通過這種優(yōu)先級(jí)劃分，具有很大顏色變化或?qū)Ρ榷茸兓膱D像區(qū)域，例如邊，得到了高優(yōu)先級(jí)，而相對(duì)保持不變的圖像內(nèi)容，例如藍(lán)天，得到了低優(yōu)先級(jí)。
優(yōu)先值分類在這一步驟中，優(yōu)先級(jí)按其大小進(jìn)行遞減來分類。這種分類在每次確定新的優(yōu)先值之后進(jìn)行。在每個(gè)時(shí)間點(diǎn)，人們得到一個(gè)根據(jù)優(yōu)先級(jí)來歸類的像素組的表，該表遞減分類。人們希望能夠開發(fā)出相應(yīng)的圖像記錄器(CCD芯片)，它能直接提供這種根據(jù)優(yōu)先級(jí)歸類的表。如果由CCD攝像機(jī)或掃描儀直接獲取需要壓縮的圖像，原理上存在這種可能由攝像機(jī)/掃描儀中現(xiàn)有的圖像處理微芯片直接得到根據(jù)優(yōu)先級(jí)分類的矩陣。由此在壓縮過程中省去了一個(gè)需要大量計(jì)算的部分。
優(yōu)先值的實(shí)時(shí)化與靜態(tài)圖像(例如照片)相反，在視頻信息中像素組的優(yōu)先級(jí)不斷變化，例如當(dāng)攝像機(jī)搖動(dòng)或者在目標(biāo)運(yùn)動(dòng)的情況下。為了表明這一點(diǎn)，圖3至圖5表示了不同時(shí)間點(diǎn)t1至t3的視頻圖像矩陣，其中目標(biāo)從右向左移動(dòng)。
根據(jù)圖2，在時(shí)間點(diǎn)t1，圖像包含了一個(gè)目標(biāo)，它填充了像素156、157、176、177、191-197、211-217、231-237、256、257、276、277。為了計(jì)算圖像中像素(0-419)的優(yōu)先級(jí)，使用了在圖2中以黑邊圈出的像素組形狀(左下方)。得到了像素的優(yōu)先級(jí)分布，如對(duì)于時(shí)間點(diǎn)t1，在表1中作為示例所表示的對(duì)該方法的進(jìn)一步說明中所闡明的。該表分別僅包含一個(gè)像素組的參考像素(p0)的編號(hào)。在位于目標(biāo)邊緣區(qū)域的像素組中，各個(gè)參考像素(p0)與像素組中的其余像素有著很大的不同，這樣的像素組獲得最高的優(yōu)先級(jí)A。參考像素與像素組中其余像素之間的差別很小的像素組獲得當(dāng)中的優(yōu)先級(jí)B。而參考像素與像素組中其余像素之間完全沒有差別的像素組具有最低的優(yōu)先級(jí)C。
表1
在進(jìn)行壓縮時(shí)，首先傳輸或存儲(chǔ)具有優(yōu)先級(jí)A的像素組，然后是具有優(yōu)先級(jí)B的像素組，最后是具有優(yōu)先級(jí)C的像素組。由于目標(biāo)在不同時(shí)間點(diǎn)之間運(yùn)動(dòng)，相對(duì)于圖3，在圖4和圖5中到達(dá)了另一個(gè)位置，各個(gè)像素組的優(yōu)先級(jí)也隨之改變。優(yōu)先級(jí)表被實(shí)時(shí)化處理，并隨著當(dāng)時(shí)具有最高優(yōu)先級(jí)的像素組的傳輸而繼續(xù)下去。
在時(shí)間點(diǎn)t2(圖4)和t3(圖5)重新計(jì)算的像素組優(yōu)先級(jí)表示在表1中。
由此，根據(jù)表1，可以在下列步驟中看到一種可能的經(jīng)過壓縮的視頻信號(hào)傳輸時(shí)間點(diǎn)t1傳輸具有最高優(yōu)先級(jí)A的像素組175，255，231，191，156，157，277，276，177，197，217在時(shí)間點(diǎn)t2得到了新的優(yōu)先級(jí)。其他的像素組獲得了最高優(yōu)先級(jí)A。隨著新的優(yōu)先級(jí)A的傳輸繼續(xù)下去189，173，154，155，274，275，253，229在此之后傳輸具有優(yōu)先級(jí)B的像素組175，195，215，235，255，190，191，192，193，…在時(shí)間點(diǎn)t3再次得到新的優(yōu)先級(jí)。其他的像素組獲得了最高優(yōu)先級(jí)A。隨著新的優(yōu)先級(jí)A的傳輸繼續(xù)下去187，171，227，251，152，153，272，273在一個(gè)附加的矩陣中檢驗(yàn)?zāi)男┫袼亟M已經(jīng)被傳輸。如果一個(gè)像素組已經(jīng)被傳輸，只要它的優(yōu)先級(jí)在時(shí)間點(diǎn)中間沒有發(fā)生改變，它就不需要再被傳輸?shù)诙?。特定的圖像區(qū)域(例如人臉)被識(shí)別，并被優(yōu)先傳輸。附帶地，也可以由接收端請(qǐng)求特定的像素組(例如通過糾錯(cuò)CRC校驗(yàn)識(shí)別傳輸誤差時(shí))。被請(qǐng)求的像素組可以獲得高優(yōu)先級(jí)，這樣它可以被立即傳輸。
像素組的存儲(chǔ)/傳輸“存儲(chǔ)”和“傳輸”的概念在下面將作為同義詞使用。首先存儲(chǔ)或傳輸視頻圖像的一些特征量。例如作為示例-圖像寬度(以像素為單位)
-圖像高度(以像素為單位)-所使用的像素組的形狀(當(dāng)作為標(biāo)準(zhǔn)只有一種形狀時(shí)，該特征量不是必需的)接著，各個(gè)像素組分別根據(jù)其優(yōu)先級(jí)被存儲(chǔ)或傳輸，即具有高優(yōu)先級(jí)的像素組首先被存儲(chǔ)(并在這之后首先被讀出)。
為此首先存儲(chǔ)像素組的參考像素p0的位置值。然后存儲(chǔ)像素值P0、P1、P2、P3、P4。
例子位置值P0，像素值P0、P1、P2、P3、P4；接下來是位置值P0(具有相同的或較低的優(yōu)先級(jí))，像素值P0、P1、P2、P3、P4…，接下來是位置值P0(具有最低的優(yōu)先級(jí))，像素值P0、P1、P2、P3、P4。
存儲(chǔ)可以通過不同的方法來優(yōu)化，這里僅以示例的方式作以說明?？梢圆捎孟袼亟M的行程編碼(Lauflngencodierung)。例如當(dāng)圖像區(qū)域中沒有紅色分量時(shí)，可以不傳輸8位(紅色)，而是例如僅傳輸2位，或者可以充分利用所引入的零的數(shù)目。此外也可以采用通用的壓縮方法，例如Zip格式。
通過確定優(yōu)先級(jí)的臨界值，可以保證特定的質(zhì)量。例如，可以為像素差值確定一個(gè)臨界值，在該臨界值之下，相應(yīng)的像素組始終獲得最低的優(yōu)先級(jí)。如果首先傳輸頂點(diǎn)的四個(gè)像素組，則人們用很少的像素組就計(jì)算出了盡可能大的面積。
視頻圖像的重建(解壓縮)生成新的圖像矩陣在重建壓縮視頻數(shù)據(jù)時(shí)，首先生成一個(gè)可以與圖1中的圖形進(jìn)行比較的圖像矩陣。為此，讀入圖像的特征數(shù)據(jù)，并對(duì)其進(jìn)行分析。作為示例，這些特征數(shù)據(jù)為用于壓縮的像素組的圖像寬度、圖像高度和形狀。如果原始圖像與現(xiàn)在希望得到的圖形之間的圖像高度和圖像寬度不一致時(shí)(例如受到限制的PDA顯示屏或高清晰度顯示屏)，必須進(jìn)行相應(yīng)的縮放。為此首先要確定換算因數(shù)(圖像寬度原始/圖像寬度顯示屏，以及圖像高度原始/圖像高度顯示屏)。這些因數(shù)可以用于將原始圖像的位置值換算成新的顯示屏的位置值。
插入像素組如圖6中所示，現(xiàn)在根據(jù)像素組的優(yōu)先級(jí)順序讀入像素組。例如，具有最高優(yōu)先級(jí)的頭四個(gè)像素組被插入到像素矩陣中。在圖6中是圖像四個(gè)角處的像素組。各個(gè)像素組中參考像素p0的位置通過黑底的區(qū)域21、38、381和398來確定。這個(gè)位置值(p0)在所存儲(chǔ)的文件中設(shè)置為整數(shù)值。接下來，可以將各個(gè)像素組所屬的、以深灰色做底的像素值(p1-p4)插入到新的圖像矩陣中。位于它們之間的、以亮灰色標(biāo)識(shí)的像素值可以從深灰色和黑色標(biāo)識(shí)出來的區(qū)域計(jì)算出來。為了進(jìn)行計(jì)算，首先已知的像素值被劃分成紅、綠、藍(lán)的組成部分。接著計(jì)算每種顏色的平均值，例如Pixel(22)＝(Pixel(2)+Pixel(21)+Pixel(42))/3)。
面積填充現(xiàn)在已有的像素組通過線條來相互連接。如圖7中所示。這樣得到了一個(gè)三角形，它的角由相應(yīng)的像素組來限定。作為示例，可以用像素位置2和像素位置17之間的線來進(jìn)行說明。線的顏色變化借助于像素2和像素17的顏色值計(jì)算出來。首先得到這兩個(gè)位置之間的像素?cái)?shù)目，在本例中為14。接著對(duì)于每種顏色(紅、綠、藍(lán))確定顏色差，例如位置2處的顏色值＝2；位置17處的顏色值＝30，則所得到的顏色差為28。然后每個(gè)像素的顏色值增長量(從像素2到像素17)用顏色差除以數(shù)目計(jì)算出來(在本例中28/14＝2)。
剩下來的面積通過繪制水平線來填充，例如從位置63到位置74，從位置82到位置93等等。如上所述，這里還計(jì)算點(diǎn)之間的暫時(shí)顏色變化。
如圖8所示，每一個(gè)另外插入的像素組得到了另外的三角形，這些三角形可以相應(yīng)地被填充。在此之后，首先整個(gè)面積通過使用四個(gè)頂點(diǎn)(21，38，398，381)來填充，現(xiàn)在可以通過每個(gè)另外插入的像素組來細(xì)化清晰度。像素組87的插入形成了帶有參考點(diǎn)(21，38，87)，(21，87，381)，(381，87，398)，(398，78，38)的四個(gè)三角形?，F(xiàn)在如果在每個(gè)這樣的三角形內(nèi)，例如三角形87、381、398內(nèi)，插入了另一個(gè)像素組(247)，則形成了三個(gè)新的三角形(247，381，398)，(247，87，381)和(247，87，398)。這樣每個(gè)新的像素組都形成了三個(gè)新的三角形，這些三角形可以被填充。插入的像素組越多，即形成的三角形越多，則計(jì)算出的顏色變化越接近于圖像的實(shí)際顏色變化。因?yàn)閺默F(xiàn)在開始始終只形成新的三角形，所以可以采用優(yōu)化方法來進(jìn)行計(jì)算。此外，三個(gè)新形成的三角形可以分別同時(shí)計(jì)算出來，以提高處理速度。當(dāng)新的像素組被插入到圖像的不同區(qū)域中時(shí)，出現(xiàn)了另外一種同時(shí)處理的可能性。
上面所述的方法步驟的前提在于，圖像內(nèi)容在時(shí)間點(diǎn)之間不發(fā)生變化。如果圖像內(nèi)容發(fā)生了變化，則各個(gè)像素組的優(yōu)先級(jí)將被重新分配，并傳輸當(dāng)前具有最高優(yōu)先級(jí)的像素組。只有剛剛被傳輸?shù)?、并插入圖像中的像素組的順序發(fā)生改變。然而，在上面所述的原理中，圖像的重建不發(fā)生改變。
為了計(jì)算圖像內(nèi)容隨時(shí)間的變化，可以生成附加的矩陣(具有圖像矩陣的大小)。這些矩陣可以包含關(guān)于以下信息的指示-時(shí)間，即上一次何時(shí)計(jì)算或傳輸像素值-計(jì)算的基礎(chǔ)。使用哪些已傳輸?shù)南袼貋碛?jì)算像素值-概率/精確度。是否傳輸或計(jì)算像素值；如果計(jì)算像素值的話，從中計(jì)算新值的像素組的變化有多大？-已經(jīng)計(jì)算出的像素值與被傳輸?shù)南袼刂抵g的偏差由這些量可以確定經(jīng)常會(huì)發(fā)生像素組改變的圖像區(qū)域。相鄰的像素組，或者也可能是整個(gè)區(qū)域，在各方面都發(fā)生相似的變化，例如亮度改變、顏色改變。通過分析這種改變，可以在各方面確定目標(biāo)及其動(dòng)態(tài)關(guān)系，例如在錄像中運(yùn)動(dòng)的情況。關(guān)于整個(gè)圖像矩陣的均勻變化例如可能是由于攝像機(jī)的搖動(dòng)所引起的。如果這類信息例如借助于有學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)來進(jìn)行分析，則可以從還沒有傳輸?shù)南袼亟M中很容易地估算出像素值。這種估算可以識(shí)別出對(duì)目標(biāo)的改變有特別影響的像素組。如果源向這些像素組發(fā)出了更新請(qǐng)求，則可以僅利用很少的像素組精確地確定并預(yù)測目標(biāo)的移動(dòng)。實(shí)際上，這意味著盡管只提供了很低的帶寬，出現(xiàn)的延遲時(shí)間要比基于幀的方法少得多。對(duì)于在接收端附加生成的矩陣的分析還允許進(jìn)行很好的目標(biāo)識(shí)別。
與所提供的資源相關(guān)地，除了通過相鄰像素的顏色值進(jìn)行純粹的優(yōu)先級(jí)劃分之外，還可以考慮劃分了優(yōu)先級(jí)的像素組的位置的相關(guān)性。
在一種應(yīng)用中表明了這種情況。當(dāng)人們在海上觀察地平線的時(shí)候，地平線看起來如同一條水平的直線。人們希望，每個(gè)像素組的優(yōu)先值沿著這條地平線都是大致相同的。在這種情況下，在水平線上彼此相距最遠(yuǎn)的點(diǎn)具有最大的分辨力。通過傳輸?shù)仄骄€上最左邊和最右邊的像素組，可以再次對(duì)其進(jìn)行重建。
優(yōu)先級(jí)劃分的另外一種可能性在于對(duì)特定圖像區(qū)域給予較高的評(píng)估。這樣的圖像區(qū)域例如可能是人臉。盡管假目錄像中的人臉僅僅偶爾占據(jù)了整個(gè)圖像中很小比例的區(qū)域，但人臉往往是人們觀察的中心。這種人類視覺關(guān)系可以通過對(duì)這樣的圖像區(qū)域(人臉區(qū)域)的像素組進(jìn)行相應(yīng)的優(yōu)先級(jí)劃分來進(jìn)行考慮。同樣，在錄像中央部分的像素組可以獲得相應(yīng)較高的優(yōu)先級(jí)。
另外一種可能的優(yōu)化在于，相鄰的像素組相互重疊。通過適當(dāng)選擇像素組，可以避免相鄰像素組的重疊像素值被重復(fù)傳輸。
用于解碼的開銷可以自由地縮放。很顯然，對(duì)于較小的顯示屏(例如手機(jī))，比在高清晰度大顯示屏上進(jìn)行重現(xiàn)的必要運(yùn)算開銷要小，盡管這兩者采用了由經(jīng)過優(yōu)先級(jí)劃分的像素組構(gòu)成的相同源數(shù)據(jù)流。這種靈活的縮放允許終端設(shè)備生產(chǎn)商在其設(shè)備中進(jìn)行特別的優(yōu)化，例如目標(biāo)的數(shù)量、圖像變化的歷史。對(duì)于生產(chǎn)商而言，可以使自己領(lǐng)先于其他競爭者，而不會(huì)妨害視頻傳輸?shù)募嫒菪浴?br> 權(quán)利要求
1.壓縮視頻數(shù)據(jù)的方法，所述的視頻數(shù)據(jù)由單個(gè)像點(diǎn)(像素)的矩陣組成，其中每個(gè)像素(0-419)具有一個(gè)隨時(shí)間變化的像素值，該像素值描述了像素的顏色或亮度信息，其特征在于以下步驟a)通過分別計(jì)算像素的當(dāng)前像素值與相鄰像素中的一個(gè)先前已確定了的像素組的當(dāng)前像素值之間的像素差值，為矩陣中的每個(gè)像素確定一個(gè)優(yōu)先值；b)用于計(jì)算優(yōu)先值所采用的像素共同組成一個(gè)像素組(P0-P4)；c)根據(jù)像素組的優(yōu)先值對(duì)像素組進(jìn)行分類，并將其插入到一個(gè)優(yōu)先級(jí)矩陣中；并且d)根據(jù)像素組在優(yōu)先級(jí)矩陣中的優(yōu)先級(jí)存儲(chǔ)和/或傳輸像素組，其中，步驟a)至d)持續(xù)重復(fù)進(jìn)行，其中像素組的優(yōu)先值始終被重新確定，并且在每個(gè)時(shí)間點(diǎn)，優(yōu)先級(jí)矩陣包含有根據(jù)當(dāng)時(shí)的優(yōu)先級(jí)被分類的像素組。
2.如權(quán)利要求1所述的方法，其特征在于，由所考慮的像素的像素值與像素組中所考慮的每個(gè)相鄰像素的像素值之間的差得到像素差值。
3.如權(quán)利要求1所述的方法，其特征在于，在開始時(shí)存儲(chǔ)和/或傳輸視頻圖像的特征量，如以像素為單位的圖像寬度、以像素為單位的圖像高度、以及所采用的像素組的形狀。
4.如以上權(quán)利要求中任一項(xiàng)所述的方法，其特征在于，對(duì)于每個(gè)像素組，參考像素(P0)的位置、參考像素的像素值、以及該像素組中其余像素(P1-P4)的像素值被存儲(chǔ)或傳輸。
5.如以上權(quán)利要求中任一項(xiàng)所述的方法，其特征在于，為特定的像素區(qū)域中的像素組分配了較高的優(yōu)先級(jí)。
6.以上權(quán)利要求中任一項(xiàng)所述的方法，其特征在于，通過行程編碼或其他壓縮方法對(duì)像素組的像素值進(jìn)行進(jìn)一步壓縮。
7.如以上權(quán)利要求中任一項(xiàng)所述的方法，其特征在于，根據(jù)優(yōu)先級(jí)被分類的像素組的連續(xù)確定和輸出已通過所使用的圖像記錄系統(tǒng)，例如掃描儀、CCD攝像機(jī)來實(shí)現(xiàn)。
8.如以上權(quán)利要求中任一項(xiàng)所述的方法，其特征在于，可以采用幀記錄卡(或者軟件解決方案)，用以將現(xiàn)有的視頻素材轉(zhuǎn)換成不同的格式(例如AVI、MPEG-1、MPEG-2、MPEG-4，…)。
9.用于重建視頻數(shù)據(jù)的方法，所述的視頻數(shù)據(jù)以權(quán)利要求1至8所述的方法被壓縮，其特征在于，分別讀入的像素值被表示為圖像矩陣的形式，其中還沒有傳輸?shù)南袼赜梢呀?jīng)傳輸?shù)南袼赜?jì)算得到。
10.如權(quán)利要求9所述的方法，其特征在于，a)生成一個(gè)由讀入的、經(jīng)壓縮的視頻圖像的特征量組成的空的圖像矩陣，b)繼續(xù)讀入所存儲(chǔ)的或所傳輸?shù)南袼亟M，并插入到矩陣中，c)通過至少一條線連接三個(gè)分別直接相鄰的像素組，以形成一個(gè)三角形，d)用由形成三角形的像素組計(jì)算得到的顏色和/或亮度變化來填充形成三角形的像素的面積，并且e)重復(fù)進(jìn)行步驟b)至e)。
11.如權(quán)利要求9或10所述的方法，其特征在于，三角形的大小可以縮放，并且可以適配于不同的圖像清晰度。
12.如權(quán)利要求9至11中任一項(xiàng)所述的方法，其特征在于，可以形成附加的矩陣，這些矩陣包含關(guān)于下列信息的指示-時(shí)間，即上一次何時(shí)計(jì)算或傳輸像素值，-計(jì)算的基礎(chǔ)，即使用哪些已傳輸?shù)南袼貋碛?jì)算像素值，-概率/精確度，即是否傳輸或計(jì)算一個(gè)像素值；如果計(jì)算像素值的話，從中計(jì)算出新值的像素的變化有多大，-已經(jīng)計(jì)算出的像素值與所傳輸?shù)南袼刂抵g的偏差。
13.如權(quán)利要求9至12中任一項(xiàng)所述的方法，其特征在于，借助于根據(jù)權(quán)利要求12所生成的矩陣，可以識(shí)別簡單類型的運(yùn)動(dòng)情況和目標(biāo)。
14.如權(quán)利要求13所述的方法，其特征在于，通過分析運(yùn)動(dòng)情況和目標(biāo)，即使在傳輸速率很低的情況下，也可以實(shí)現(xiàn)等待時(shí)間特別少的連續(xù)運(yùn)動(dòng)。
全文摘要
本發(fā)明涉及對(duì)由單個(gè)像點(diǎn)(像素)的矩陣構(gòu)成的視頻數(shù)據(jù)進(jìn)行壓縮和解壓縮的方法，其中每個(gè)像素具有一個(gè)隨時(shí)間變化的像素值，它描述了像素的顏色或亮度信息。根據(jù)本發(fā)明每個(gè)像素被分配了一個(gè)優(yōu)先級(jí)，像素根據(jù)其優(yōu)先級(jí)插入到一個(gè)優(yōu)先級(jí)矩陣中。在每個(gè)時(shí)間點(diǎn)，該矩陣包含根據(jù)優(yōu)先級(jí)分類的像素值。根據(jù)優(yōu)先級(jí)，這些像素以及為計(jì)算優(yōu)先級(jí)所使用的像素值被傳輸或存儲(chǔ)。與相鄰像素差別很大的像素獲得了高優(yōu)先級(jí)。為了進(jìn)行重建，在顯示屏上分別表示了當(dāng)時(shí)的像素值。還沒有傳輸?shù)南袼赜梢呀?jīng)傳輸?shù)南袼赜?jì)算得到。
文檔編號(hào)H03M7/46GK1498501SQ02806961
公開日2004年5月19日 申請(qǐng)日期2002年3月19日 優(yōu)先權(quán)日2001年3月21日
發(fā)明者戈德·莫薩庫沃斯基, 戈德 莫薩庫沃斯基 申請(qǐng)人:T-移動(dòng)網(wǎng)德國有限公司