用于視覺條件意識視頻編碼的感知預處理濾波器的制造方法
【專利說明】用于視覺條件意識視頻編碼的感知預處理濾波器
[0001] 相關申請的交叉引用
[0002] 本申請要求2012年11月16日提交的美國臨時申請序列號No. 61/727, 203、2013 年6月13日提交的美國臨時申請序列號No. 61/834, 789、以及2013年9月9日提交的美國 臨時申請序列號No. 61/875, 415的權(quán)益，各申請的全部內(nèi)容以引用的方式結(jié)合于此。
【背景技術(shù)】
[0003] 視頻與移動視頻是在全球互聯(lián)網(wǎng)與移動互聯(lián)網(wǎng)中迅猛增長流量部分。視頻流客戶 端，例如無線發(fā)射接收單元（WTRU)，可以應用流速率適配技術(shù)，例如根據(jù)通信網(wǎng)絡條件（例 如，可用帶寬）選擇比特率、分辨率等等，來提供盡可能最高的流多媒體播放品質(zhì)。
[0004] 視頻流速率適配技術(shù)可能無法考慮到視覺條件，其可能會影響可由視頻流客戶端 的端用戶所感知的視頻質(zhì)量。

【發(fā)明內(nèi)容】

[0005] 可以實現(xiàn)一種感知濾波器用以從一個視頻信號中濾波一個或者多個空間頻率，其 低于其觀看者的對比敏感度極限。感知濾波器例如基于局部對比度和/或一個或多個振動 的方向可以對空間頻率進行自適應濾波。感知濾波器可以被配置用于基于例如內(nèi)容、觀看 距離、顯示密度、對比度、顯示亮度、背景亮度、和/或觀看者的年齡，以像素為基礎調(diào)節(jié)一 個或者更多個感知濾波器基于像素的參數(shù)?？梢詧?zhí)行對視頻幀的DC電平、振幅偏差、以及 對比敏感度的估計。感知濾波器的空間截止頻率可被映射到對比敏感度。感知濾波器可以 作為視頻編碼器的預處理步驟以便減少編碼后的比特率。人類視覺系統(tǒng)的傾斜效應現(xiàn)象可 以結(jié)合到感知濾波器中。
[0006] 輸入視頻信號的預處理可以包括接收至少一個屬于視頻信號的觀看者對該輸入 視頻信號的感知的參數(shù)。至少一個參數(shù)可以包括顯示亮度和背景亮度中的至少一個。預處 理可以包括根據(jù)至少一個參數(shù)配置自適應低通濾波器。預處理可以包括使用自適應低通濾 波器對輸入視頻信號濾波以產(chǎn)生輸出視頻信號。對自適應低通濾波器進行配置可以包括將 人類視覺系統(tǒng)的傾斜效應現(xiàn)象結(jié)合到自適應低通濾波器中。
【附圖說明】
[0007] 圖1描繪利用坎貝爾-羅伯遜（campbell-robson)圖的示例對比敏感度函數(shù)；
[0008] 圖2描繪示例感知濾波器的方框圖，該感知濾波器可為感知傾斜濾波器；
[0009] 圖3為示出示例環(huán)境自適應感知濾波器的方框圖；
[0010] 圖4描繪應用感知預處理濾波器的示例視頻系統(tǒng)架構(gòu)；
[0011] 圖5描繪示例視頻觀看設置的參數(shù)；
[0012] 圖6為視頻系統(tǒng)的方框圖；
[0013] 圖7為視頻濾波裝置的方框圖；
[0014] 圖8為供應裝置的方框圖；
[0015] 圖9示出視頻流；
[0016] 圖10示出視頻幀；
[0017] 圖11為方法的流程圖；
[0018] 圖12A描繪示例輸入視頻和/或圖像；
[0019] 圖12B描繪圖12A所描繪的示例輸入視頻和/或圖像的亮度分量；
[0020] 圖12C描繪在黑電平調(diào)整之后圖12B所描繪的示例輸入視頻和/或圖像的亮度分 量；
[0021] 圖12D描繪了與圖12A所描繪的示例輸入視頻和/或圖像對應的DC估計；
[0022] 圖12E描繪了與圖12A所描繪的示例輸入視頻和/或圖像對應的振幅包絡線估 計；
[0023] 圖12F描繪了與圖12A所描繪的示例輸入視頻和/或圖像對應的截止頻率分布 圖；
[0024]圖12G描繪了圖12A所描繪的示例輸入視頻和/或圖像的濾波后的輸出圖像；
[0025] 圖13為示出環(huán)境光反射的示意圖；
[0026] 圖14為示出環(huán)境對比度計算的示例輸入的示意圖；
[0027] 圖15描繪感知DC的中央凹的視野中的周期數(shù)量的示例；
[0028]圖16描繪由周期每度到周期每像素的示例轉(zhuǎn)換；
[0029] 圖17是選擇包含在各自局部區(qū)域中的像素的方法的流程圖；
[0030] 圖18描繪振幅包絡線估計的示例流程圖；
[0031] 圖19描繪示例Movshon與Kiorpes對比敏感度函數(shù)（CSF)模型；
[0032] 圖20為示出示例CSF與近似逆的曲線圖；
[0033] 圖21描繪可以用于使用對比敏感度計算截止頻率的示例關系；
[0034] 圖22示出作為環(huán)境和目標亮度比的函數(shù)的示例比例因子；
[0035] 圖23為示出示例的CSF隨年齡變化的圖表；
[0036] 圖24為示出示例的CSF隨年齡縮放的圖表；
[0037] 圖25描繪了示例感知濾波器的頻率特性；
[0038] 圖26為將截止頻率描繪為定位角的函數(shù)的圖表；
[0039] 圖27描繪針對可由可分離低通濾波器實現(xiàn)的頻率特性的示例近似頻率特性； [0040]圖28描繪了利用三對可分離濾波器實現(xiàn)頻率特性的示例；
[0041] 圖29A描繪了測試圖像；
[0042] 圖29B描繪了圖29A的示例測試圖像，其由示例感知濾波器濾波；
[0043] 圖29C描繪了圖29A的示例測試圖像，其由示例感知傾斜濾波器濾波；
[0044] 圖29D描繪了對應于圖29B與29C的濾波后的圖像的差值圖像；
[0045] 圖30描繪了示例預處理濾波器設置；
[0046] 圖31描繪了對于示例視頻的應用示例感知傾斜濾波器相較于無濾波（原始編碼） 不例比特率節(jié)省（bitratesaving);
[0047] 圖32描繪了對于示例視頻的應用示例感知傾斜濾波器相較于統(tǒng)一預濾波示例比 特率節(jié)?。?br>[0048] 圖33描繪了環(huán)境自適應濾波的示例結(jié)果；
[0049] 圖34A描繪了其中可以實現(xiàn)一個或者更多個所公開的實施方式的示例通信系統(tǒng) 的系統(tǒng)圖；
[0050] 圖34B描述可于圖34A中所示的通信系統(tǒng)中使用的示例無線發(fā)射/接收單元 (WTRU)的系統(tǒng)圖；
[0051] 圖34C描述了可于圖34A中所示的通信系統(tǒng)中使用的示例無線接入網(wǎng)絡與示例核 心網(wǎng)的系統(tǒng)圖；
[0052] 圖34D描述了可于圖34A中所示的通信系統(tǒng)中使用的示例無線接入網(wǎng)絡與示例核 心網(wǎng)的系統(tǒng)圖；
[0053] 圖34E描述了可于圖34A中所示的通信系統(tǒng)中使用的示例無線接入網(wǎng)絡與示例核 心網(wǎng)的系統(tǒng)圖。
【具體實施方式】
[0054] 移動視頻流與移動視頻會議可在各種場所以及各種時刻為用戶提供對視頻內(nèi)容 的靈活接入和/或觀看。與傳統(tǒng)的可能較為靜止的電視顯示相比，例如移動裝置的WTRU可 以在期望的距離與方向上為用戶靈活建立WTRU以符合用戶端偏好。用戶可以不被局限在 特定的位置，例如在家、在劇院等等觀看內(nèi)容，而可以在各種位置中的任意位置觀看內(nèi)容。
[0055] 除通信網(wǎng)絡條件外的一個或者更多個因素可決定流客戶端（例如，移動裝置）的 顯示屏上呈現(xiàn)的視頻信息的可視性，其可能包括下述中的一個或者更多個：距移動裝置的 觀看距離、移動裝置的顯示屏尺寸、顯示屏的對比敏感度、顯示屏的像素密度諸如此類。例 如，距用戶一臂長處所持的移動裝置可能相較于用戶握持距離較近的移動裝置以更高的空 間密度顯現(xiàn)視頻信息。類似地，觀看陽光直射下的移動裝置較觀看位于暗環(huán)境下的移動裝 置，視頻信息的可視性可能更低。
[0056] 此類影響視覺信息感知的因素可以為感知預處理濾波器所考慮，該濾波器可以用 于，例如，降低發(fā)送給觀看裝置的編碼視頻的比特率。感知濾波器可以用于將視頻發(fā)送至移 動或靜止裝置，并且可以根據(jù)與觀看裝置相關的當前條件進行調(diào)整。觀看者利用移動裝置 可以體驗更為多樣的觀看條件并且可能更需要降低帶寬。因此感知濾波器可以在保持視頻 感知質(zhì)量的同時通過壓縮視頻降低所得到的比特率。
[0057] 1?引言
[0060] 其中1^_與1_分別可以為最大與最小亮度值。[0061] 或者，對比度可以表達為
[0058] 對比度或亮度對比度可以為感知度量，例如，其可以定義兩種顏色的感知亮度之 間的差異。周期性圖樣的對比度（例如，正弦光柵）可以利用邁克爾遜對比測量，其可以表 達為
[0059]
[0062]
[0063] 對比度閾值可以與能夠引起人類視覺系統(tǒng)的感知響應的對比度等級相一致。對比 度閾值的倒數(shù)可以稱為對比敏感度。對比敏感度可以表達為
[0064]
[0065] 對比敏感度可以隨著空間頻率變化，例如如圖1中所描繪的坎貝爾-羅伯遜 (campbell-robson)圖所不。在坎貝爾-羅伯遜（campbell-robson)圖中，空間頻率可以從 左側(cè)至右側(cè)對數(shù)增長并且對比度可以從底端到頂端對數(shù)減少。對比敏感度與空間頻率之間 的關系可被稱為對比敏感度函數(shù)（CSF)。圖1中示出示例CSF曲線。
[0066]CSF可以在4周期每度（CPD)具有最大值，并且敏感度可以在較低與較高頻率均 減少，從而形成帶通特性。CSF曲線可以定義視覺閾值，其中在該曲線下的區(qū)域可對觀看者 可見，而該曲線上的區(qū)域可對觀看者不可見（例如，可以為看不見的）。CSF模型可以包括 Movshon與Kiorpes模型、Barten模型和/或Daly模型中的一個或者更多個。
[0067] 自適應低通濾波器（例如，感知濾波器）可以基于人類視覺系統(tǒng)的CSF模型，例 如，如圖2中所描繪的。感知濾波器202的輸入可以包含輸入視頻和/或圖像、移動裝置顯 示屏與移動裝置用戶之間的觀看距離、與顯示屏相關的對比度、和/或顯示屏的顯示像素 密度中的一個或更多個。可對輸入進行信號處理，例如，以生成自適應低通濾波器202的截 止頻率。
[0068] 本公開的一些實施方式、或其部分，可以組合一個或者更多個硬件組件，例如微處 理器、微控制器、或者數(shù)字時序邏輯等，例如具有一個或者更多個軟件組件（例如，程序代 碼、固件、常駐軟件、微代碼等）的處理器，軟件組件存儲在虛擬計算機可讀存儲裝置例如 計算機存儲器中，以組合形成為實現(xiàn)本申請中所描述的功能的特別配置的設備。這些組合 形成被特別編程的裝置，在本申請中通?？煞Q為"模塊"。模塊的軟件組件部分可以以任何 計算機語言編寫并且可以為單片代碼庫的一部分、或者可以在更離散代碼部分發(fā)展，例如 為面向?qū)ο蟮挠嬎銠C語言中的典型。此外，模塊可以分布在多個計算機平臺、服務器、終端、 諸如此類之上。甚至可以實施所給定的模塊以便所描述的功能由單獨的處理器和/或計算 機硬件平臺執(zhí)行。
[0069] 如圖2中所示，結(jié)合各功能模塊描繪自適應濾波器設備的實施方式。色彩空間轉(zhuǎn) 換模塊204接收圖像（例如，視頻幀）并且將所接收的圖像的色彩空間轉(zhuǎn)換為線性色彩空 間。然后模塊204將色彩空間轉(zhuǎn)換圖像提供給亮度計算模塊206以及自適應低通濾波器 202。亮度計算模塊206基于接收到的色彩空間轉(zhuǎn)換圖像生成亮度圖像并且將亮度圖像提 供給黑電平調(diào)節(jié)模塊208。
[0070] 感知特性模塊向黑電平調(diào)節(jié)模塊208提供預期顯示裝置對比度的對比度標示。感 知特性模塊進一步向DC估計模塊210與截止頻率計算模塊218提供觀看距離標示與像素 密度標示，該觀看距離標示包括從顯示裝置用戶到預期顯示裝置之間的距離，而像素密度 標示包括預期顯示裝置的像素密度。
[0071] 黑電平調(diào)節(jié)模塊208基于接收到的亮度圖像與接收到的對比度標示生成黑電平 調(diào)節(jié)圖像。然后模塊208向DC估計模塊210與差分模塊214提供黑電平調(diào)節(jié)圖像。DC估 計模塊210基于接收到的觀看距離與像素密度標示，通過估計黑電平調(diào)節(jié)圖像的每個像素 各自局部DC生成DC估計圖像。然后模塊210向差分模塊214與對比敏感度估計模塊216 提供DC估計圖像。
[0072] 差分模塊214基于接收到的黑電平調(diào)節(jié)及DC估計圖像生成差分圖像并且將差分 圖像提供給振幅估計模塊212。模塊212經(jīng)估計所接收的差分圖像每個像素的各自局部振 幅生成振幅估計圖像。然后模塊212將振幅估計圖像提供給對比敏感估計模塊216。
[0073] 模塊216生成所接收的DC估計及振幅估計圖像每個像素各自的對比敏感度值并 且將該對比敏感度值提供給截止頻率計算模塊218。模塊218基于對比敏感度函數(shù)并且基 于所接收的觀看距離與像素密度標示計算每個接收到的對比敏感度值各自的截止頻率值。 然后模塊218將截止頻率值提供給自適應低通濾波模塊202。
[0074] 模塊202基于從色彩空間轉(zhuǎn)換模塊204接收到的色彩空間轉(zhuǎn)換圖像以及從截止頻 率計算模塊218接收到的截止頻率值生成濾波后的圖像。然后模塊202將濾波后的圖像提 供給第二色彩空間轉(zhuǎn)換模塊220。模塊220將接收到的濾波后的圖像的色彩空間轉(zhuǎn)換為原 始色彩空間（如色彩空間轉(zhuǎn)換模塊204所接收到的）并且輸出感知預濾波的圖像。
[0075] 在實施方式中，感知濾波應用CSF模塊以確定為不可見的一個或者更多個空間頻 率。這些可以用于例如確定自適應低通濾波器（例如，感知濾波器）的局部截止頻率。例 如如本文所述的感知濾波器可以結(jié)合（例如，考慮）人類視覺系統(tǒng)的傾斜效應現(xiàn)象。例如， 感知濾波器可以對相對于水平和/或垂直方向的傾斜方向上一個或者更多個空間頻率進 行濾波（例如，強濾波）。結(jié)合傾斜效應，感知濾波器可以例如通過單獨運用等式（1)減少 空間振動。這可以實現(xiàn)使用于編碼視頻的比特率降低，而較小或者不損失視覺質(zhì)量。
[0076] 圖3為示出示例環(huán)境自適應感知濾波器302的方框圖。至環(huán)境自適應感知濾波器 302的輸入可以包括輸入視頻和/或圖像、移動裝置的顯示屏與移動裝置用戶之間的觀看 距離、與顯示屏相關聯(lián)的對比度、顯示屏的顯示像素密度、環(huán)境照度水平、背景反射系數(shù)、和 /或用戶年齡中的一個或者更多個?？梢詫斎脒M行信號處理，例如，以生成自適應低通濾 波器302的截止頻率。
[0077] 結(jié)合圖3中示出的各功能模塊描繪自適應濾波設備的實施方式。色彩空間轉(zhuǎn)換模 塊304接收圖像（例如，視頻幀）并將所接收的圖像的色彩空間轉(zhuǎn)換為線性色彩空間。然 后模塊304將色彩空間轉(zhuǎn)換圖像提供給亮度計算模塊306以及自適應低通濾波模塊334。 亮度計算模塊306基于接收到的色彩空間轉(zhuǎn)換圖像生成亮度圖像并且將該亮度圖像提供 給黑電平調(diào)節(jié)模塊310。
[0078] 環(huán)境對比度模塊308從感知特性模塊接收環(huán)境照度標示、顯示反射率標示、峰值 亮度標示、以及原生對比度標示。環(huán)境照度標示包括預期顯示裝置的環(huán)境照度，顯示反射率 標示包括預期顯示裝置的反射率，峰值亮度標示包括預期顯示裝置的峰值亮度，以及原生 對比度標示包括預期顯示裝置的原生對比度。模塊308基于接收到的標示計算預期顯示裝 置的環(huán)境對比度并且將計算的對比度的環(huán)境對比度標示提供給黑電平調(diào)節(jié)模塊310。
[0079] 模塊310基于接收到的亮度圖像以及接收到的環(huán)境對比度標示生成黑電平調(diào)節(jié) 圖像。然后模塊310將黑電平調(diào)節(jié)圖像提供給DC估計模塊312、差分模塊316、以及整體DC 估計模塊326。
[0080] DC估計模塊312經(jīng)估計所接收到的黑電平調(diào)節(jié)圖像每個像素各自的局部DC生成 DC估計圖像。然后模塊312將DC估計圖像提供給差分模塊316與對比敏感度估計模塊 318。差分模塊316基于接收到的黑電平調(diào)節(jié)及DC估計圖像生成差分圖像并且將差分圖像 提供給振幅估計模塊314。
[0081] 模塊314經(jīng)估計接收到的差分圖像每個像素各自的局部振幅生成振幅估計圖像。 然后模塊314將振幅估計圖像提供給對比敏感度估計模塊318。模塊318生成所接收的DC估計及振幅估計圖像的每個像素各自的對比敏感度值并且將對比敏感度值提供給截止頻 率計算模塊320。
[0082] 顯示尺寸模塊322從感知特性模塊接收顯示寬度標示、顯示高度標示、像素密度 標示、以及觀看距離標示。顯示寬度及顯示高度標示分別包括預期顯示裝置的寬度與高度。 像素密度標示包括預期接收裝置的像素密，而觀看距離標示包括從顯示裝置用戶到預期顯 示裝置的距離。模塊322基于接收到的標示確定預期顯示裝置的角大?。ǘ龋⑶覍⒋_定 的角大小的角大小標示提供給截止頻率計算模塊320。
[0083] 周圍環(huán)境亮度模塊324從感知特性模塊接收環(huán)境照度標示與顯示反射率標示二 者，標示分別包括預期顯示裝置的環(huán)境照度以及預期顯示裝置的反射率。模塊324基于接 收到的標示確定預期顯示裝置的周圍環(huán)境亮度，并且將確定的周圍環(huán)境亮度的周圍環(huán)境亮 度標示提供給截止頻率計算模塊320。
[0084] 整體DC模塊326確定從模塊310接收到的黑電平調(diào)節(jié)圖像的平均DC值。然后模 塊326將確定的平均DC值的整體DC標示提供給時域濾波模塊328。模塊328基于接收到 的整體DC標示以及基于之前濾波的圖像的時域濾波DC值確定當前圖像的時域濾波DC值。 然后模塊328將時域濾波DC值的時域濾波DC標示提供給峰值亮度模塊330。
[0085] 模塊330基于接收到的時域濾波DC標示以及基于從感知特性模塊接收到的峰值 亮度標示確定比例DC值（scaledDCvalue)，接收到的峰值亮度標示包括預期顯示裝置的 峰值亮度。然后模塊30將比例DC值的比例DC標示提供給截止頻率計算模塊320。
[0086] 截止頻率計算模塊320計算每個接收到的對比敏感度值各自的截止頻率值。計算 是基于（i)對比敏感度函數(shù)的倒數(shù)（ii)接收到的角大小、周圍環(huán)境亮度、以及比例DC標 示、以及（iii)從感知特性模塊接收到的用戶年齡標示，接收到的用戶年齡標示包括預期 顯示裝置的用戶的年齡。然后模塊320將計算的