基于感興趣區(qū)域的空間可分級編碼裝置及其方法
【專利摘要】本發(fā)明公開了基于感興趣區(qū)域的空間可分級編碼裝置及其方法，通過分別對輸入的圖像序列進行處理得到不劃分感興趣區(qū)域的基本層圖像和只包含ROI部分的增強層圖像，并對兩者進行獨立編碼和譯碼，最后將基本層圖像恢復至原始大小后與譯碼后的增強層譯碼圖像復合得到最終圖像序列，有效地保證視頻流暢和ROI質(zhì)量。
【專利說明】
基于感興趣區(qū)域的空間可分級編碼裝置及其方法
技術領域
[0001]本發(fā)明涉及圖像處理技術領域，具體涉及一種基于感興趣區(qū)域的空間可分級編碼裝置及其方法。
【背景技術】
[0002]在視頻監(jiān)控場景中，客戶對不同區(qū)域的關注度是不一樣的，對其中比較感興趣的區(qū)域(ROI ,reg1n of interest)需要較高的圖像質(zhì)量。因此在視頻編碼中會采用更高的質(zhì)量因子來對ROI進行高質(zhì)量的編碼。例如，交通視頻監(jiān)控對于車牌清晰度有很高要求，所以圖像內(nèi)含車牌的區(qū)域質(zhì)量較高，其他部分質(zhì)量差一些。為保證ROI的視頻質(zhì)量和非ROI的視頻質(zhì)量有差異，一般采用不同的編碼質(zhì)量因子對ROI和非ROI進行量化編碼。但是其主觀效果一般，且對碼字的節(jié)約效果有限，實際中信道的狀態(tài)會受多種因素影響導致視頻流無法全部傳輸?shù)浇K端客戶，此時ROI區(qū)域即便采用更高的質(zhì)量進行編碼也無法保障客戶端視頻接收的流暢。
[0003]為了解決信道的狀態(tài)會受多種因素影響導致視頻流無法全部傳輸?shù)浇K端客戶的問題，可伸縮編碼技術應用而生?？臻g可伸縮編碼包括基本層和增強層，基本層一般為小分辨率圖像，結合增強層后可輸出大分辨率圖像。在帶寬受限時，可只傳輸小分辨率圖像;在帶寬狀態(tài)較好時，可傳輸大分辨率圖像。

【發(fā)明內(nèi)容】

[0004]針對現(xiàn)有技術的不足，本發(fā)明旨在提供一種感興趣區(qū)域的空間可分級編碼裝置及其方法，采用空間可分級編碼技術對ROI區(qū)域進行編碼，有效地保證視頻流暢和ROI質(zhì)量。
[0005]為了實現(xiàn)上述目的，本發(fā)明采用如下技術方案:
[0006]基于感興趣區(qū)域的空間可分級編碼裝置，包括發(fā)送端和接收端;其中，
[0007]所述發(fā)送端包括圖像輸入設備、圖像采樣處理器、圖像感興趣區(qū)域劃分處理器、基本層圖像編碼器、增強層圖像編碼器和發(fā)送模塊;其中，所述圖像輸入設備、圖像采樣處理器、基本層圖像編碼器依次電性連接，所述圖像輸入設備與圖像感興趣區(qū)域劃分處理器、增強層圖像編碼器依次電性連接；
[0008]所述接收端包括有基本層圖像譯碼器、增強層圖像譯碼器、另一圖像采樣處理器、圖像復合處理器、圖像輸出設備和接收模塊，所述接收模塊、基本層圖像譯碼器、另一圖像采樣處理器和圖像復合處理器依次電性連接，而所述接收模塊、增強層圖像譯碼器和圖像復合處理器依次電性連接，所述圖像復合處理器電性連接于圖像輸出設備;所述基本層圖像譯碼器還直接電性連接于所述圖像輸出設備。
[0009]利用上述基于感興趣區(qū)域的空間可分級編碼裝置的基于感興趣區(qū)域的空間可分級編碼方法，包括如下步驟:
[0010]SI在發(fā)送端，原始圖像通過圖像輸入設備輸入；
[0011]S2利用圖像采樣處理器對所述原始圖像進行下采樣，得到的下采樣圖像作為基本層的圖像；另外，利用圖像感興趣區(qū)域劃分處理器對原始圖像進行感興趣區(qū)域劃分處理并劃分為ROI部分和非ROI部分，所述ROI部分的圖像作為增強層的圖像；
[0012]S3利用基本層圖像編碼器對所述基本層的圖像進行獨立編碼，另外利用增強層圖像編碼器對所述增強層的圖像進行獨立編碼；
[0013]S4當信道條件受限，發(fā)送端僅將基本層圖像編碼器輸出的基本層編碼數(shù)據(jù)通過發(fā)送模塊發(fā)送至接收端，當信道條件允許，發(fā)送端則將基本層圖像編碼器和增強層圖像編碼器輸出的基本層編碼數(shù)據(jù)和增強層編碼數(shù)據(jù)均通過發(fā)送模塊發(fā)送至所述接收端；
[0014]S5當接收端通過接收模塊僅接收到基本層編碼數(shù)據(jù)，則采用基本層圖像譯碼器進行譯碼得到基本層譯碼圖像，并將基本層圖像譯碼器輸出的譯碼圖像采用另一圖像采樣處理器進行上采樣得到上采樣圖像，然后直接輸出到所述圖像輸出設備；當接收端通過接收模塊接收到基本層編碼數(shù)據(jù)和增強層編碼數(shù)據(jù)，則采用基本層圖像譯碼器和增強層圖像譯碼器分別進行譯碼得到基本層譯碼圖像和增強層譯碼圖像，并將基本層圖像譯碼器輸出的譯碼圖像采用另一圖像采樣處理器進行上采樣得到上采樣圖像，然后利用圖像復合處理器將增強層譯碼圖像替換所述上采樣圖像中與之位置對應的部分，得到復合譯碼圖像并輸出至圖像輸出設備。
[0015]需要說明的是，步驟S2中，增強層只包含ROI部分的圖像，只包含一層增強層，所述增強層的大小為ROI大小。
[0016]需要說明的是，步驟S3中，對增強層的圖像進行編碼時，采用跨層預測，即基本層譯碼圖像按比例放大后作為增強層參考圖像；當當前的增強層圖像為非關鍵幀時，采用同層預測，將前一幀得到的復合譯碼圖像作為增強層參考圖像。
[0017]需要說明的是，步驟S3中，對增強層圖像進行編碼時，在增強層的候選MV中增加基本層對應位置8X8塊的MV作為候選項，并參考該MV來去除層間冗余的運動信息，此時原來的候選MV順序不變。
[0018]本發(fā)明的有益效果在于:
[0019]1、本發(fā)明結合ROI技術和空間可分級編碼技術，既能保證ROI區(qū)域質(zhì)量，又能保證視頻流暢。
[0020]2、在最終的復合步驟中，基本層圖像恢復到了原始大小，將增強層的ROI部分圖像替換基本層圖像上與之對應的位置上，則ROI區(qū)域有更高分辨率，非ROI區(qū)域有較低的分辨率，且主觀效果過渡比較自然。
[0021]3、在信道條件受限時，增強層編碼數(shù)據(jù)可丟棄，此時接收端接收的編碼數(shù)據(jù)可恢復低分辨率圖像。
【附圖說明】
[0022]圖1為本發(fā)明的裝置硬件結構連接示意圖；
[0023]圖2為本發(fā)明的方法實施流程圖；
[0024]圖3為本發(fā)明實施例中原始圖像序列的示意圖；
[0025]圖4為本發(fā)明實施例中基本層圖像的示意圖；
[0026]圖5為本發(fā)明實施例中增強層圖像的示意圖。
【具體實施方式】
[0027]以下將結合附圖對本發(fā)明作進一步的描述，需要說明的是，本實施例以本技術方案為前提，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍并不限于本實施例。
[0028]如圖1所示，基于感興趣區(qū)域的空間可分級編碼裝置，包括發(fā)送端和接收端;其中，
[0029]所述發(fā)送端包括圖像輸入設備、圖像采樣處理器、圖像感興趣區(qū)域劃分處理器、基本層圖像編碼器、增強層圖像編碼器和發(fā)送模塊;其中，所述圖像輸入設備、圖像采樣處理器、基本層圖像編碼器依次電性連接，所述圖像輸入設備與圖像感興趣區(qū)域劃分處理器、增強層圖像編碼器依次電性連接；
[0030]所述接收端包括有基本層圖像譯碼器、增強層圖像譯碼器、另一圖像采樣處理器、圖像復合處理器、圖像輸出設備和接收模塊，所述接收模塊、基本層圖像譯碼器、另一圖像采樣處理器和圖像復合處理器依次電性連接，而所述接收模塊、增強層圖像譯碼器和圖像復合處理器依次電性連接，所述圖像復合處理器電性連接于圖像輸出設備;所述基本層圖像譯碼器還直接電性連接于所述圖像輸出設備。
[0031]如圖2所示，利用上述基于感興趣區(qū)域的空間可分級編碼裝置的基于感興趣區(qū)域的空間可分級編碼方法，包括如下步驟:
[0032]SI在發(fā)送端，原始圖像通過圖像輸入設備輸入；
[0033]S2利用圖像采樣處理器對所述原始圖像進行下采樣，得到的下采樣圖像作為基本層的圖像；另外，利用圖像感興趣區(qū)域劃分處理器對原始圖像進行感興趣區(qū)域劃分處理并劃分為ROI部分和非ROI部分，所述ROI部分的圖像作為增強層的圖像；
[0034]S3利用基本層圖像編碼器對所述基本層的圖像進行獨立編碼，另外利用增強層圖像編碼器對所述增強層的圖像進行獨立編碼；
[0035]S4當信道條件受限，發(fā)送端僅將基本層圖像編碼器輸出的基本層編碼數(shù)據(jù)通過發(fā)送模塊發(fā)送至接收端，當信道條件允許，發(fā)送端則將基本層圖像編碼器和增強層圖像編碼器輸出的基本層編碼數(shù)據(jù)和增強層編碼數(shù)據(jù)均通過發(fā)送模塊發(fā)送至所述接收端；
[0036]S5當接收端通過接收模塊僅接收到基本層編碼數(shù)據(jù)，則采用基本層圖像譯碼器進行譯碼得到基本層譯碼圖像，并將基本層圖像譯碼器輸出的譯碼圖像采用另一圖像采樣處理器進行上采樣得到上采樣圖像，然后直接輸出到所述圖像輸出設備；當接收端通過接收模塊接收到基本層編碼數(shù)據(jù)和增強層編碼數(shù)據(jù)，則采用基本層圖像譯碼器和增強層圖像譯碼器分別進行譯碼得到基本層譯碼圖像和增強層譯碼圖像，并將基本層圖像譯碼器輸出的譯碼圖像采用另一圖像采樣處理器進行上采樣得到上采樣圖像，然后利用圖像復合處理器將增強層譯碼圖像替換所述上采樣圖像中與之位置對應的部分，得到復合譯碼圖像并輸出至圖像輸出設備。
[0037]需要說明的是，步驟S2中，增強層只包含ROI部分的圖像，只包含一層增強層，所述增強層的大小為ROI大小。
[0038]需要說明的是，步驟S3中，對增強層的圖像進行編碼時，采用跨層預測，即基本層譯碼圖像按比例放大后作為增強層參考圖像；當當前的增強層圖像為非關鍵幀時，采用同層預測，將前一幀得到的復合譯碼圖像作為增強層參考圖像。
[0039]需要說明的是，步驟S3中，對增強層圖像進行編碼時，在增強層的候選MV中增加基本層對應位置8X8塊的MV作為候選項，并參考該MV來去除層間冗余的運動信息，此時原來的候選MV順序不變。
[0040]實施例一
[0041 ] I)輸入原始圖像序列，如圖3所示，圖像分辨率為1920 X 1080，感興趣區(qū)域為圖3所示的車牌部分。
[0042]2)基本層圖像為輸入圖像的下采樣圖像，如圖4所示，其分辨率為960X540，對基本層圖像進行編碼。在基本層圖像中，不區(qū)分ROI和非ROI區(qū)域；
[0043]3)增強層圖像為只包含輸入圖像的ROI部分的圖像，如圖5所示，只包含一層增強層，對增強層圖像進行編碼，此時增強層圖像的大小為ROI部分的大小。編碼時可采用跨層預測，即基本層圖像按比例放大后做增強層參考圖像;同時在非關鍵幀(key frame)也可采用同層預測。增強層在MV候選項中增加基本層對應位置8X8塊的MV作為候選項，即可參考基本層MV來去除層間冗余的運動信息;此時原來的候選MV順序不變。
[0044]在各空間分辨率層的基礎上進行正常編碼，有各自獨立的編碼參數(shù)如圖像大小、運動信息、變換參數(shù)、量化參數(shù)等。
[0045]傳輸圖像序列。根據(jù)傳輸信道實際狀態(tài)，增強層的編碼可選擇傳輸(信道條件允許，如帶寬達不到閾值)，也可以選擇不傳輸(信道條件受限，如帶寬達到閾值要求)。
[0046]4)當只接收到基本層圖像編碼后的編碼數(shù)據(jù)，則只對基本層圖像的編碼數(shù)據(jù)進行譯碼，得到的譯碼圖像分辨率為960X540，且基本層圖像不區(qū)分ROI和非ROI區(qū)域。對基本層譯碼圖像進行上采樣，得到分辨率為1920X 1080(原始大小)的上采樣圖像，然后直接輸出。
[0047]當接收到的編碼數(shù)據(jù)中除了基本層圖像編碼后的編碼數(shù)據(jù)還包括增強層圖像編碼后的編碼數(shù)據(jù)，則分別進行譯碼得到基本層譯碼圖像和增強層譯碼圖像。然后對基本層譯碼圖像進行上采樣，得到分辨率為1920X 1080(原始大小)的上采樣圖像。
[0048]5)將譯碼得到的增強層譯碼圖像替換上采樣圖像中對應位置的數(shù)據(jù)，得到最終復合譯碼圖像并輸出。
[0049]對于本領域的技術人員來說，可以根據(jù)以上的技術方案和構思，作出各種相應的改變和變形，而所有的這些改變和變形都應該包括在本發(fā)明權利要求的保護范圍之內(nèi)。
【主權項】
1.基于感興趣區(qū)域的空間可分級編碼裝置，其特征在于，包括發(fā)送端和接收端;其中， 所述發(fā)送端包括圖像輸入設備、圖像采樣處理器、圖像感興趣區(qū)域劃分處理器、基本層圖像編碼器、增強層圖像編碼器和發(fā)送模塊;其中，所述圖像輸入設備、圖像采樣處理器、基本層圖像編碼器依次電性連接，所述圖像輸入設備與圖像感興趣區(qū)域劃分處理器、增強層圖像編碼器依次電性連接； 所述接收端包括有基本層圖像譯碼器、增強層圖像譯碼器、另一圖像采樣處理器、圖像復合處理器、圖像輸出設備和接收模塊，所述接收模塊、基本層圖像譯碼器、另一圖像采樣處理器和圖像復合處理器依次電性連接，而所述接收模塊、增強層圖像譯碼器和圖像復合處理器依次電性連接，所述圖像復合處理器電性連接于圖像輸出設備;所述基本層圖像譯碼器還直接電性連接于所述圖像輸出設備。2.—種利用權利要求1所述基于感興趣區(qū)域的空間可分級編碼裝置的基于感興趣區(qū)域的空間可分級編碼方法，其特征在于，包括如下步驟: SI在發(fā)送端，原始圖像通過圖像輸入設備輸入； S2利用圖像采樣處理器對所述原始圖像進行下采樣，得到的下采樣圖像作為基本層的圖像；另外，利用圖像感興趣區(qū)域劃分處理器對原始圖像進行感興趣區(qū)域劃分處理并劃分為ROI部分和非ROI部分，所述ROI部分的圖像作為增強層的圖像； S3利用基本層圖像編碼器對所述基本層的圖像進行獨立編碼，另外利用增強層圖像編碼器對所述增強層的圖像進行獨立編碼； S4當信道條件受限，發(fā)送端僅將基本層圖像編碼器輸出的基本層編碼數(shù)據(jù)通過發(fā)送模塊發(fā)送至接收端，當信道條件允許，發(fā)送端則將基本層圖像編碼器和增強層圖像編碼器輸出的基本層編碼數(shù)據(jù)和增強層編碼數(shù)據(jù)均通過發(fā)送模塊發(fā)送至所述接收端； S5當接收端通過接收模塊僅接收到基本層編碼數(shù)據(jù)，則采用基本層圖像譯碼器進行譯碼得到基本層譯碼圖像，并將基本層圖像譯碼器輸出的譯碼圖像采用另一圖像采樣處理器進行上采樣得到上采樣圖像，然后直接輸出到所述圖像輸出設備；當接收端通過接收模塊接收到基本層編碼數(shù)據(jù)和增強層編碼數(shù)據(jù)，則采用基本層圖像譯碼器和增強層圖像譯碼器分別進行譯碼得到基本層譯碼圖像和增強層譯碼圖像，并將基本層圖像譯碼器輸出的譯碼圖像采用另一圖像采樣處理器進行上采樣得到上采樣圖像，然后利用圖像復合處理器將增強層譯碼圖像替換所述上采樣圖像中與之位置對應的部分，得到復合譯碼圖像并輸出至圖像輸出設備。3.根據(jù)權利要求2所述的方法，其特征在于，步驟S2中，增強層只包含ROI部分的圖像，只包含一層增強層，所述增強層的大小為ROI大小。4.根據(jù)權利要求2所述的方法，其特征在于，步驟S3中，對增強層的圖像進行編碼時，采用跨層預測，即基本層譯碼圖像按比例放大后作為增強層參考圖像；當當前的增強層圖像為非關鍵幀時，采用同層預測，將前一幀得到的復合譯碼圖像作為增強層參考圖像。5.根據(jù)權利要求2所述的方法，其特征在于，步驟S3中，對增強層圖像進行編碼時，在增強層的候選MV中增加基本層對應位置8X8塊的MV作為候選項，并參考該MV來去除層間冗余的運動信息，此時原來的候選MV順序不變。
【文檔編號】H04N19/167GK106060554SQ201610599605
【公開日】2016年10月26日
【申請日】2016年7月26日 公開號201610599605.6, CN 106060554 A, CN 106060554A, CN 201610599605, CN-A-106060554, CN106060554 A, CN106060554A, CN201610599605, CN201610599605.6
【發(fā)明人】陳朝武, 郅晨, 董騫, 余子龍, 歐陽甸, 閆雪, 邢培銀, 馬莉
【申請人】公安部第一研究所, 北京中盾安全技術開發(fā)公司