專利名稱：用于視頻內容分析的系統(tǒng)和方法
用于視頻內容分析的系統(tǒng)和方法關聯(lián)申請的交叉引用本申請涉及名為“Video Classification Systems and Methods (視頻分類系統(tǒng)和方法)”、“Rho-Domain Metrics (RH0 域量度)”以及 “Video Analytics for SecuritySystems and Methods (安全系統(tǒng)和方法的視頻分析)”的同時提交申請,這些文件援引包含于此。


圖I是示出描述根據本發(fā)明某些方面的系統(tǒng)架構的圖。 圖2是示出在本發(fā)明的某些實施例中采用的處理系統(tǒng)的簡化方框示意圖。
具體實施例方式現(xiàn)在參照附圖對本發(fā)明的實施例進行詳細描述，附圖作為解說性實例給出以使本領域內技術人員能實現(xiàn)本發(fā)明。尤其，下面的附圖和實例不旨在將本發(fā)明的范圍限制在一個實施例中，相反其它實施例通過互換所描述或解說的要素中的一些或全部也是可能的。在任何適宜情形下，可貫穿所有附圖使用相同的附圖標記來表示相同或相似的部件。在這些實施例的某些要素可使用已知組件來部分或完全地實現(xiàn)的情形下，只對那些已知組件中對理解本發(fā)明而言必需的那些部分進行描述，并且省去對這些已知組件的其它部分的詳細描述以不至混淆本發(fā)明。在本說明書中，示出單數組件的實施例不被認為僅限于此；相反，本發(fā)明旨在涵蓋包括多個相同組件的其它實施例，反之亦然，除非本文明確聲明其它情形。另外，申請人不打算將說明書或權利要求書中的任何術語解釋成不常見或特殊的含義，除非明確聲稱如此。此外，本發(fā)明涵蓋在這里作為示例給出的組件的當前已知和將來得知的等效物。本發(fā)明的某些實施例提供用于視頻內容分析(也稱視頻分析學(VA))的系統(tǒng)和方法。VA利于視頻分析并允許檢測和確定時間事件，該時間事件不基于或限于單個圖像。VA可用于很寬范圍的領域，包括娛樂、看護、零售、汽車、運輸、家庭自動化(住宅)、安全和保安。與VA關聯(lián)的算法在多種計算平臺中可實現(xiàn)為軟件，所述計算平臺包括通用機、移動計算設備、智能電話、游戲設備、嵌入式系統(tǒng)，和/或專用于視頻處理單元的硬件。根據本發(fā)明的某些方面，硬件和軟件的組合可用于VA系統(tǒng)中以提高VA準確性、速度和擴展性。圖I是示出可用于執(zhí)行某些VA功能的系統(tǒng)架構的簡化實例的示圖。在該例中，編碼器100執(zhí)行基于宏塊(“MB”)的視頻編碼處理。編碼器100 —般以硬件提供，該硬件可包括處理器存儲和如下面結合圖2更詳細描述的其它組件。編碼器可包括可調整和/或可配置的市面上有售的硬件編碼芯片，例如Intersil Techwell以商標TW5864提供的芯片。根據本發(fā)明的某些方面，編碼器100被調整和/或配置成對每個處理的MB產生一個視頻分析元數據102 (VAMD)包。VAMD 102可包括非零計數、MB類型、運動矢量、在DCT變換后選擇的DC/AC系數、在對每個MB進行運動估計后的絕對值之和(SAD)，諸如此類。編碼器100可在VAMD 102中提供視頻幀級信息。在幀級處，VAMD 102可包括AD運動標志、在Α/D視頻前端生成的基于塊的運動指標等。VAMD 102可被保存和/或集中在存儲中，所述存儲可由編碼器100或另一處理設備維持。VAMD 102可通過硬件編碼模塊100或通信耦合至編碼模塊100的另一處理器傳輸至一個或多個處理模塊110-114，以供進一步視頻分析處理。可使用硬件和軟件組件的任意適宜組合來執(zhí)行進一步處理。盡管圖I中描述了體現(xiàn)為軟件組件的處理模塊110-114，然而從處理模塊110-114中的至少一部分以硬件形式體現(xiàn)的那些實施例可以預想到某些優(yōu)勢，所述硬件可包括定序器、控制器、定制邏輯器件以及包括一個或多個嵌入式處理器和/或數字信號處理器的可定制器件。硬件形式的處理模塊110-110的嵌入部分的優(yōu)勢包括加速處理、專用優(yōu)化、改善的成本和尺寸效率、提高的安全性和更為可靠。在圖示實例中，視頻分析處理包括用于運動檢測、視線檢測、虛擬計數、運動跟蹤、基于運動的物體分割等的硬件/軟件組合。在某些實施例中，全球運動矢量處理器112可從VAMD 102產生。全球運動矢量可 用于電子圖像穩(wěn)定120、視頻馬賽克121、背景重構122等。其它處理器可從VAMD 102提取信息，包括用于檢測運動矢量110、計算視線和產生關聯(lián)于視線111的警報、使用視頻113測量物體的速度以及跟蹤物體114的運動的處理器。因此，本發(fā)明的某些實施例提供硬件和軟件共存的視頻分析系統(tǒng)，這類系統(tǒng)使用VAMD 102作為共用接口。VAMD 102可包括例如ADMotionflag的幀級和例如運動矢量、MB類型等的MB級信息兩者，從而有效地協(xié)助用于視頻安全性分析應用的處理模塊。根據本發(fā)明某些方面的系統(tǒng)和方法提供優(yōu)于傳統(tǒng)像素域AV算法的顯著優(yōu)勢。例如，某些實施例與傳統(tǒng)系統(tǒng)相比需要更少的存儲器帶寬。傳統(tǒng)VA算法一般使用基于像素域的技術，這項技術工作在需要大量存儲器進行處理的像素水平。例如，為了處理Dl視頻(對PAL來說704 X 576或對NTSC來說704 X 480)，即使在只需要亮度信息的情形下，也需要704X576字節(jié)的存儲器帶寬來處理每個幀。然而，在本發(fā)明的某些實施例中，大多數VAMD是基于MB的——這取決于感興趣的視頻分析算法——并僅有(704X576)/256MB。結果，本發(fā)明對于同樣的VA功能需要低于存儲器帶寬的量級次。存儲器帶寬節(jié)約能顯著地增加VA處理的信道數。某些實施例提供使用容易獲得的VAMD實現(xiàn)低成本VA的系統(tǒng)和方法。當通過視頻壓縮(例如H-264編碼)對視頻作預處理時，VAMD是前端視頻壓縮(編碼)的副產品。獲得VAMD的成本非常低，并且VAMD的可用性對于分析功能而言是非常有價值的。例如，許多VA算法需要運動信息來檢測和跟蹤運動物體。執(zhí)行運動估計以獲得局部運動矢量是計算上非常復雜的過程。在本發(fā)明的某些實施例中，視頻編碼器對基于可應用視頻標準的每個4X4或8X8框可產生子像素粒度的運動矢量，并可將某些過濾操作應用于局部運動矢量以產生每MB的一個運動矢量作為VAMD的一部分。本發(fā)明的某些實施例獲得改善的軟件VA效率。在軟件視頻分析模塊中，可從VAMD提取運動矢量，而不是從暫存器計算運動矢量?？蓱媚承┫冗M的過濾操作以產生所需的運動信息以利于運動檢測、虛擬線警報和計數。這允許將處理器應用于更先進的分析功能而不是采集原始的運動數據。另外，使用例如ASIC、PLD、PGA、FPGA、定序器和控制器的可配置硬件系統(tǒng)將更容易執(zhí)行某些運動檢測處理。此外，在每MB的運動矢量上運算能極大地改善VA效率，允許同時針對多個信道的更先進的算法和VA。
相比傳統(tǒng)運動矢量協(xié)助的方法，本發(fā)明的某些實施例采集專門VAMD信息以提高VA效率和準確性。某些實施例可提高VA準確性，使其優(yōu)于例如Hisilicon Hi 3520設備的傳統(tǒng)設備，該傳統(tǒng)設備從硬件編碼模塊提供每MB的運動矢量和模式判斷SAD信息。然而，對MV和SAD信息的約束也具有某些曲線。例如，在P幀中，新出現(xiàn)物體的邊緣通常被編碼為具有零值運動矢量和不確定SAD值的I-型MB，背景MB具有零運動矢量和非常小的SAD值。因此，MV和SAD的使用只使得從背景中區(qū)別出新的運動物體變得困難。在本發(fā)明的某些實施例中，VAMD包括MV信息和非零系數(NZ)、MB類型和其它DC/AC信息，并且通過檢查MB類型、MV和NZ信息，容易將新出現(xiàn)的物體從背景中區(qū)別出來。此外，大多數視頻內容具有一些背景噪聲，已知這會產生不規(guī)則運動矢量和SAD以供運動估計算法使用。使用來自VAMD的NZ和DC值，可實現(xiàn)用于視頻分析算法的噪聲下降。本發(fā)明的某些實施例利于使用先進的VA算法，傳輸帶寬和增加的計算復雜性的平衡。一些VA算法，例如基于運動的物體分割、運動物體跟蹤和全球運動估計需要比由MV和SAD提供的更多的信息。本發(fā)明的某些實施例以可定制和可配置格式提供附加的信息。用戶可確定將什么信息納入VAMD以通過區(qū)分硬件和軟件模塊之間的功能而平衡傳輸帶寬 并支持增加的軟件計算復雜性。算法比較本發(fā)明的某些實施例可改善存儲器和傳輸帶寬利用。傳統(tǒng)VA算法利用像素域技術。一般來說，對于Dl視頻應用，需要從編碼模塊將704X576字節(jié)/幀的數據傳輸至分析模塊。該帶寬需要經常使視頻分析設備限于一次僅對一個信道進行處理，這增加了產品成本。在本發(fā)明的一示例性實施例中，使用前述TW 5864設備，每MB的4字節(jié)VAMD產生自編碼模塊，得到在傳統(tǒng)系統(tǒng)中處理Dl視頻所需的總存儲器帶寬的1/64的等同物。降低的帶寬需求使得本發(fā)明的實施例同時處理用于視頻分析的16個信道，這對于像素域的實現(xiàn)來說是不可能的任務。本發(fā)明的某些實施例提高了運動檢測準確性。運動檢測采用多種算法來自動檢測移動物體，例如進入預定報警區(qū)域的人、動物或車輛。傳統(tǒng)系統(tǒng)的問題包括在處理改變光照條件時的像素域算法困難。在熒光燈或微光環(huán)境下，背景像素值可能顯著地變化，并且在沒有運動、NZ或DC信息的益處的情況下，像素域算法一般具有大的誤報警率。使用僅對MV和SAD信息作出響應的算法的系統(tǒng)也具有嚴重的問題。在P幀中新出現(xiàn)的物體經常被編碼為具有零運動矢量的I型MB并也具有非常小的SAD值。沒有MB類型和NZ信息的話，運動檢測靈敏性低和/或誤報警率高。如同在頻繁照明狀態(tài)改變的環(huán)境下的像素域算法，MV和SAD兩者對視頻分析應用而言均為不準確的量度。相比而言，根據本發(fā)明某些方面構建的某些系統(tǒng)采用基于建議的VAMD的算法。W、NZ、DC信息容易訪問并被處理以準確地檢測進入報警區(qū)域的移動物體。與像素域和僅MV/SAD算法相反，NZ和DC信息有益于克服照明變化狀態(tài)。系統(tǒng)描述現(xiàn)在轉向圖2，本發(fā)明的某些實施例采用一種處理系統(tǒng)，該處理系統(tǒng)包括部署成執(zhí)行前述某些步驟的至少一個計算系統(tǒng)20。計算系統(tǒng)20可以是市面上有售的系統(tǒng)，該系統(tǒng)執(zhí)行市面上有售的操作系統(tǒng)，例如Microsoft Windows 、UNIX或其變化形式、實時操作系統(tǒng)和/或私用操作系統(tǒng)?？烧{整、配置和/或設計計算系統(tǒng)的架構以整合入處理系統(tǒng)中、內嵌到圖像捕捉系統(tǒng)、通信設備和/或圖形處理系統(tǒng)中的一個或多個中。在一個實例中，計算系統(tǒng)20包括總線202和/或在處理器之間通信的其它機構，不管這些處理器是與計算系統(tǒng)20—體的(例如204、205)還是位于不同位置，也可能與計算系統(tǒng)200物理上分離。一般來說，處理器204和/或205包括CISC或RISC計算處理器和/或一個或多個數字信號處理器。在一些實施例中，處理器204和/或205可嵌入到定制設備中和/或可作為可配置定序器執(zhí)行。設備驅動器203可提供輸出信號，該輸出信號用來控制內部和外部組件并在處理器204、205之間通信。計算系統(tǒng)20 —般也包括存儲器206，該存儲器206可包括隨機存取存儲器(RAM)、靜態(tài)存儲器、高速緩存、閃存以及可耦合至總線202的任何其它適當類型的存儲設備中的一個或多個。存儲器206可用于存儲指令和數據，該指令和數據可使處理器204、205中的一個或多個執(zhí)行所需的進程?？墒褂弥鞔鎯ζ?06以存儲暫時和/或臨時數據，例如在由處理器204或205執(zhí)行指令期間產生和/或使用的變量和中間信息。計算系統(tǒng)20 —般還包括非易失性存儲，例如只讀存儲器(ROM) 208、閃存、存儲卡或其它；非易失性存儲可連接至總線202，但也可等同地使用高速通用串行總線(USB)、火線或耦合于總線202的其它這類總線連接。非易失性存儲可用于存儲配置和其它信息，包括由處理器204和/或205執(zhí)行的指令。非易失性存儲也可包括海量存儲設備210，例如磁盤、光盤、閃存盤，所述海量存儲設備210可直接或間接地耦合至總線202并用來存儲擬由處理器204和/或205執(zhí)行的指令以及其它信息。在一些實施例中，計算系統(tǒng)20可通信地耦合至例如IXD平板顯示器的顯示系統(tǒng)212，該顯示系統(tǒng)212包括觸摸屏顯示器、場致發(fā)光顯示器、等離子顯示器、陰極射線管或能被配置和調整以接收信息并將信息顯示給計算系統(tǒng)20的使用者的其它顯示設備。一般來說，設備驅動器203可包括顯示驅動器、圖形適配器和/或其它模塊，它們維持顯示器的數字表示并將數字表示轉換成用于驅動顯示系統(tǒng)212的信號。顯示系統(tǒng)212也可包括邏輯和軟件以從由系統(tǒng)200提供的信號產生顯示。在這一方面，顯示器212被提供作為遠程終端或提供在不同計算系統(tǒng)20上的一段上。輸入設備214 —般在本地提供或通過遠程系統(tǒng)提供，并一般提供字母數字輸入以及光標控制216輸入，例如鼠標、跟蹤球等。要理解，可將該輸入和輸出提供給無線設備，所述無線設備例如是PDA、便箋式電腦或適當配備以顯示圖像并提供用戶輸入的其它系統(tǒng)。根據本發(fā)明的一個實施例，發(fā)明的所述部分可通過計算系統(tǒng)20實現(xiàn)。處理器204執(zhí)行一個或多個指令序列。例如，在從例如存儲設備210的計算機可讀介質接收之后，可將這些指令存儲在主存儲器206中。包含在主存儲器206中的指令序列的執(zhí)行使處理器204執(zhí)行根據本發(fā)明某些方面的進程步驟。在某些實施例中，可通過執(zhí)行特殊功能的嵌入式計算系統(tǒng)提供功能，其中嵌入式系統(tǒng)采用定制的硬件和軟件組合來執(zhí)行一組預定任務。因此，本發(fā)明的實施例不僅限于硬件電路和軟件的任何特定組合。術語“計算機可讀介質”用來定義任何介質，這些介質可存儲指令和其它數據并將它們提供給處理器204和/或205，尤其是在指令由處理器204和/或205和/或處理系統(tǒng)的其它周邊設備執(zhí)行的情形下。這些介質可包括非易失性存儲、易失性存儲和傳輸媒體。 地提供或物理上接近于處理器204和205，或一般通過使用網絡連接遠程地提供。非易失性存儲可從計算系統(tǒng)204移去，例如在藍光盤、DVD或CD存儲或者可使用包括USB等標準接口輕易地連接至計算機或與計算機斷開的存儲卡或記憶棒的例子。因此，計算機可讀介質可包括軟盤、柔性盤、硬盤、磁帶、任何其它磁性介質、CD-ROM、DVD、藍光盤、任何其它光學介質、穿孔卡片、紙帶、具有孔圖案的任何其它物理介質、RAM、PROM、EPROM、FLASH/EEPROM、任何其它存儲器芯片或磁帶盒，或者計算機可從中讀取內容的任意其它介質。傳輸媒體可用來連接處理系統(tǒng)的部件和/或計算系統(tǒng)20的組件。該媒體可包括雙絞線、同軸電纜、銅線和光纖。傳輸媒體也可包括無線媒體，例如無線電波、聲波和光波。在特定射頻(RF)下，可使用光纖和紅外(IR)數據通信。各種形式的計算機可讀媒體可參與提供指令和數據以供處理器204和/或205執(zhí)行。例如，最初可從遠程計算機的磁盤檢索指令并在網絡或調制解調器上將指令傳輸至計算系統(tǒng)20。指令可選擇地在執(zhí)行前或執(zhí)行期間存儲在不同的存儲或存儲的不同部分中。計算系統(tǒng)20可包括通信接口 218，該通信接口 218在可包括局域網222、廣域網或兩者的某些組合的網絡220上提供雙向數據通信。例如，綜合業(yè)務數字網(ISDN)可結合局 域網(LAN)使用。在另一例子中，LAN可包括無線鏈路。網絡鏈路220 —般提供通過一個或多個網絡至其它數據設備的數據通信。例如，網絡鏈路220可提供通過局域網222至主計算機224或至例如互聯(lián)網228的廣域網的連接。局域網222和互聯(lián)網228兩者均可使用攜帶數字數據流的電信號、電磁信號或光信號。計算系統(tǒng)20可使用一個或多個網絡來發(fā)送消息和數據，包括程序碼和其它信息。在互聯(lián)網示例中，服務器230可通過互聯(lián)網228發(fā)送對應用程序的請求碼，并可作為響應接收下載的應用，該下載的應用提供或增加如前面示例中描述的那些功能性模塊。接收的碼可由處理器204和/或205執(zhí)行。 本發(fā)明某些方面的附加說明本發(fā)明的前述說明是解說性而非限定性的。例如，本領域內技術人員應當理解，本發(fā)明可通過前述功能和能力的各種組合來實現(xiàn)，并可包括比前述更少或更多的部件。下面進一步闡述本發(fā)明的某些附加的方面和特征，并且這些附加的方面和特征可使用前面更詳細描述的功能和組件來獲得，如本領域內技術人員在受到本公開教示后所能理解的那樣。本發(fā)明的某些實施例提供視頻分析系統(tǒng)和方法。一些這樣的實施例包括可操作以產生來自視頻幀的宏塊視頻分析元數據(VAMD)的視頻編碼器。一些這樣的實施例包括一個或多個模塊，所述模塊接收VAMD和視頻幀的編碼版本并被配置成使用VAMD和經編碼的視頻幀產生與幀關聯(lián)的視頻分析信息。在一些這樣的實施例中，一個或多個模塊從VAMD中提取與經編碼的幀關聯(lián)的全局運動矢量。在一些這樣的實施例中，一個或多個模塊檢測編碼中貞內的物體相對于前一編碼巾貞的運動。在一些這樣的實施例中，一個或多個模塊跟蹤編碼幀內的物體和后繼的編碼幀。在一些這樣的實施例中，一個或多個模塊監(jiān)視編碼幀內的一條直線。在一些這樣的實施例中，一個或多個模塊對該直線被多個連續(xù)編碼幀內觀察到的一個或多個移動物體橫越的次數進行計數。在一些這樣的實施例中，當移動物體在多個連續(xù)編碼幀中的一個幀內橫越過該直線時，一個或多個模塊產生警報。在一些這樣的實施例中，該直線是在編碼幀內可觀察到的實體線。在一些這樣的實施例中，該直線是在編碼幀內可識別的虛線。在一些這樣的實施例中，該直線是描繪出在編碼幀內可觀察到的區(qū)域的多邊形中的多條直線中的一條。在一些這樣的實施例中，VAMD包括非零計數、宏塊類型、運動矢量、在DCT變換后選擇的DC/AC系數、在對每個宏塊作運動估計后的絕對值之和中的一個或多個。在一些這樣的實施例中，VAMD包括視頻巾貞級信息,該視頻巾貞級信息包括AD運動標志以及在模-數前端廣生的基于塊的運動指標。本發(fā)明的某些實施例提供視頻分析系統(tǒng)和方法。這些實施例中的一些包括對視頻幀內的多個宏塊進行編碼的同時產生宏塊視頻分析元數據(VAMD)。這些實施例中的一些包括將幀的經編碼版本傳遞給視頻解碼器并傳遞與該幀內的多個宏塊對應的至少一部分VAMD。在一些這樣的實施例中，與視頻解碼器通信耦合的處理器使用VAMD以使用VAMD和經編碼的視頻幀產生與該幀關聯(lián)的視頻分析信息。 在一些這樣的實施例中，視頻分析信息包括全局運動矢量。在一些這樣的實施例中，處理器使用視頻分析信息檢測和跟蹤物體的運動。在一些這樣的實施例中，處理器使用視頻分析信息檢測和監(jiān)視移動物體對幀內標識出的直線的橫越。在一些這樣的實施例中，該直線是描繪出幀內可觀察到的區(qū)域的多邊形的多條直線中的一條。本發(fā)明的某些實施例提供視頻分析系統(tǒng)和方法。在一些這樣的實施例中，這些方法實現(xiàn)在視頻解碼器系統(tǒng)的一個或多個處理器中，這一個或多個處理器配置成執(zhí)行一個或多個計算機程序模塊。在一些這樣的實施例中，該方法包括在一個或多個處理器上執(zhí)行一個或多個程序模塊，這一個或多個程序模塊配置成使解碼器接收經編碼的視頻幀和在對該視頻幀內的多個宏塊編碼期間產生的宏塊視頻分析元數據(VAMD)。在一些這樣的實施例中，該方法包括在一個或多個處理器上執(zhí)行一個或多個程序模塊，這一個或多個程序模塊配置成使處理器使用VAMD產生與從編碼幀解碼的圖像關聯(lián)的視頻分析信息。在一些這樣的實施例中，視頻分析信息包括全局運動矢量。在一些這樣的實施例中，處理器使用視頻分析信息檢測和跟蹤物體的運動。在一些這樣的實施例中，處理器使用視頻分析信息檢測和監(jiān)視幀內標識出的一條直線被移動物體橫越過。盡管已參照特定示例性實施例對本發(fā)明進行了描述，然而本領域內普通技術人員當然知道可對這些實施例作出各種修改和變化而不脫離本發(fā)明較寬的精神和范圍。因此，說明書和附圖被認為是解說性而非限制性意義。
權利要求
1.一種視頻分析系統(tǒng),包括 視頻編碼器，所述視頻編碼器作用以從視頻幀產生宏塊視頻分析元數據(VAMD)； 一個或多個模塊，所述模塊接收VAMD和所述視頻幀的編碼版本并配置成使用所述VAMD和經編碼的視頻幀產生與所述幀關聯(lián)的視頻分析信息。
2.如權利要求I所述的系統(tǒng)，其特征在于，所述一個或多個模塊從VAMD提取與所述經編碼的幀關聯(lián)的全局運動矢量。
3.如權利要求I或2所述的系統(tǒng)，其特征在于，所述一個或多個模塊檢測所述經編碼幀內的物體相對于前一經編碼幀的運動。
4.如權利要求3所述的系統(tǒng)，其特征在于，所述一個或多個模塊跟蹤所述經編碼幀和后繼的經編碼幀內中的物體。
5.如權利要求1-4中任何一項所述的系統(tǒng),其特征在于,所述一個或多個模塊監(jiān)視所述經編碼幀內的直線。
6.如權利要求5所述的系統(tǒng),其特征在于,所述一個或多個模塊對所述直線被多個連續(xù)的經編碼幀內可觀察到的一個或多個移動物體橫越的次數進行計數。
7.如權利要求5所述的系統(tǒng)，其特征在于，當移動物體在多個連續(xù)的經編碼幀中的一個幀內越過所述直線時，所述一個或多個模塊產生警報。
8.如權利要求5-7中任何一項所述的系統(tǒng)，其特征在于，所述直線是在所述經編碼幀內可觀察到的實體線。
9.如權利要求5-7中任何一項所述的系統(tǒng)，其特征在于，所述直線是在所述經編碼幀內標識出的虛線。
10.如權利要求8或9中任何一項所述的系統(tǒng)，其特征在于，所述直線是描繪出在編碼幀內可觀察到的區(qū)域的多邊形中的多條直線中的一條。
11.如權利要求I-10中任何一項所述的系統(tǒng)，其特征在于，所述VAMD包括非零計數、宏塊類型、運動矢量、在DCT變換后選擇的DC/AC系數、在對每個宏塊作運動估計后的絕對值之和中的一個或多個。
12.如權利要求1-11中任何一項所述的系統(tǒng)，其特征在于，所述VAMD包括視頻幀級信息，所述視頻幀級信息包括AD監(jiān)視標志以及在模-數前端產生的基于塊的運動指標。
13.—種視頻分析方法，包括 在對視頻幀內的多個宏塊編碼的同時產生宏塊視頻分析元數據(VAMD);以及 將幀的經編碼版本傳遞給視頻解碼器并傳遞與所述幀內的多個宏塊對應的至少一部分VAMD，其中與所述視頻解碼器通信耦合的處理器使用VAMD以使用VAMD和經編碼的視頻幀產生與所述幀關聯(lián)的視頻分析信息。
14.如權利要求13所述的方法，其特征在于，所述視頻分析信息包括全局運動矢量。
15.如權利要求13或14所述的方法，其特征在于，所述處理器使用所述視頻分析信息檢測和跟蹤物體的運動。
16.如權利要求13-15中任何一項所述的方法，其特征在于，所述處理器使用所述視頻分析信息檢測和監(jiān)視所述幀內標識出的直線被移動物體橫越過。
17.如權利要求13-16中任何一項所述的方法，其特征在于，所述直線是描繪出幀內可觀察到的區(qū)域的多邊形的多條直線中的一條。
18.—種視頻分析方法，其特征在于，所述方法實現(xiàn)在視頻解碼系統(tǒng)的一個或多個處理器中，所述一個或多個處理器配置成執(zhí)行一個或多個計算機程序模塊，所述方法包括 在一個或多個處理器上執(zhí)行一個或多個程序模塊，所述程序模塊配置成使所述解碼器接收經編碼的視頻幀和宏塊視頻分析元數據(VAMD)，所述宏塊視頻分析元數據(VAMD)是在對所述視頻幀內的多個宏塊進行編碼期間產生的；以及 在一個或多個處理器上執(zhí)行一個或多個程序模塊，所述一個或多個程序模塊配置成使所述處理器使用VAMD產生與從所述經編碼的幀解碼的圖像關聯(lián)的視頻分析信息。
19.如權利要求18所述的方法，其特征在于，所述視頻分析信息包括全局運動矢量，并且所述處理器使用所述視頻分析信息來檢測和跟蹤物體的運動。
20.如權利要求13-15中的任一項所述的方法，其特征在于，所述處理器使用視頻分析信息檢測和監(jiān)視幀內標識出的一條直線被移動物體橫越過。
全文摘要
描述的視頻分析系統(tǒng)和方法一般包括視頻編碼器，該視頻編碼器作用以從視頻幀產生宏塊視頻分析元數據(VAMD)。功能塊接收VAMD和視頻幀的經編碼版本并被配置成使用VAMD和經編碼的視頻幀產生與該幀關聯(lián)的視頻分析信息。下游解碼器可使用VAMD來獲得與該幀關聯(lián)的全局運動矢量，檢測和跟蹤該幀內的物體的運動并監(jiān)視該幀內提供或發(fā)現(xiàn)的一條線?？墒褂肰AMD中的信息來檢測該直線被移動物體橫越過并對橫越次數進行計數，并且該直線可以是描繪在經編碼幀內被監(jiān)視的區(qū)域的多邊形的一部分。VAMD可包括宏塊級和視頻幀級信息。
文檔編號H04N7/18GK102714729SQ201080061996
公開日2012年10月3日 申請日期2010年9月2日 優(yōu)先權日2010年9月2日
發(fā)明者F·尤, F·施, 吳琦, 金明, 鮑鎧 申請人:英特賽爾美國股份有限公司