用于流式傳輸視頻的自適應(yīng)降噪引擎的制作方法
【專利說明】
【背景技術(shù)】
[0001]流式傳輸視頻常常包括各種類型的噪聲，諸如蚊式、塊狀、瞬時、條帶和/或隨機噪聲。存在用以降低流式傳輸視頻中的各種類型的噪聲的許多方法?？赏ㄟ^用戶在顯示器或計算設(shè)備的視頻菜單中開啟或關(guān)閉特定應(yīng)用來啟用或禁用用以降低噪聲的方法。一旦啟用了該應(yīng)用，則降噪應(yīng)用典型地在判定如何降低噪聲時依賴于圖像分析。
[0002]雖然用以降低噪聲的應(yīng)用能夠改善流式傳輸視頻的質(zhì)量，但該方法還能夠通過使圖像中的細節(jié)平滑化來使視頻的質(zhì)量降級。這可能在應(yīng)用將細節(jié)與噪聲混淆時發(fā)生，其在用以降低噪聲的某些應(yīng)用中是典型的。例如，在具有高比特率的流式傳輸視頻上使用的降噪應(yīng)用典型地通過使細節(jié)平滑化來使圖像降級。

【發(fā)明內(nèi)容】

[0003]一種自適應(yīng)視頻降噪(AVNR)引擎降低流式傳輸視頻中的噪聲。該引擎讀取流式傳輸視頻中的描述流式傳輸視頻的屬性的嵌入信息，諸如比特率、幀速率、分辨率、內(nèi)容類型和質(zhì)量?？蓪⒃撔畔ㄔ诹魇絺鬏斠曨l的清單中。基于流式傳輸視頻的屬性，引擎向降低流式傳輸視頻的噪聲的應(yīng)用輸出一個或多個輸入值。一個或多個應(yīng)用可響應(yīng)于來自引擎的輸入值而降低流式傳輸視頻的蚊式、塊狀、瞬時、隨機和條帶噪聲。
[0004]方法實施例包括接收表示視頻的多個比特并根據(jù)所述多個比特中指示屬性的值來確定視頻的至少一個屬性。選擇至少第一值并作為輸入而輸出到至少第一應(yīng)用以降低視頻中的噪聲。
[0005]裝置實施例包括一個或多個處理器可讀存儲器。應(yīng)用被存儲在一個或多個處理器可讀存儲器中并具有處理器可讀指令以響應(yīng)于第一輸入而降低流失傳輸視頻中的第一類型的噪聲。第二應(yīng)用也被存儲在一個或多個處理器可讀存儲器中并具有處理器可讀指令以響應(yīng)于第二輸入而降低流式傳輸視頻中的第二類型的噪聲。自適應(yīng)引擎也被存儲在一個或多個處理器可讀存儲器中并包括處理器可讀指令，其在被一個或多個處理器執(zhí)行時讀取表示流式傳輸視頻的屬性的流式傳輸視頻中的至少第一代碼。該自適應(yīng)引擎輸出第一和第二輸入，因此由一個或多個處理器執(zhí)行的第一和第二應(yīng)用降低流式傳輸視頻中的第一和第二類型的噪聲。
[0006]在另一實施例中，一個或多個處理器可讀存儲器包括在被執(zhí)行時使一個或多個處理器執(zhí)行用以降低流式傳輸視頻中的噪聲的方法的指令。該方法接收包括至少第一代碼的流式傳輸視頻并讀取第一代碼。對用于具有處理器可讀指令的第一應(yīng)用的至少第一輸入值做出確定，以降低流式傳輸視頻中的第一類型的噪聲。對用于具有處理器可讀指令的第二應(yīng)用的至少第二輸入值做出確定，以降低流式傳輸視頻中的第二類型的噪聲。第一和第二輸入值被輸出到第一和第二應(yīng)用。
[0007]本
【發(fā)明內(nèi)容】
被提供來以簡化形式介紹下面在詳細描述中進一步描述的概念的選擇。本
【發(fā)明內(nèi)容】
并不意圖識別要求保護的主題的關(guān)鍵特征或必要特征，也不意圖用來幫助確定要求保護的主題的范圍。
【附圖說明】
[0008]圖1是向具有自適應(yīng)視頻降噪引擎的計算設(shè)備提供流式傳輸視頻的裝置的高級框圖。
[0009]圖2圖示出具有不同的比特率的多個比特流。
[0010]圖3圖示出在具有自適應(yīng)視頻降噪引擎的計算設(shè)備中的流式傳輸視頻和控制流程。
[0011 ]圖4是自適應(yīng)視頻降噪引擎的高級硬件框圖。
[0012]圖5A-B是操作自適應(yīng)視頻降噪引擎的流程圖。
[0013]圖6是具有自適應(yīng)視頻降噪引擎的計算設(shè)備的高級硬件框圖。
[0014]圖7是示例性游戲和媒體系統(tǒng)的等角視圖。
[0015]圖8是游戲和媒體系統(tǒng)的部件的示例性功能框圖。
[0016]圖9圖示出網(wǎng)絡(luò)可訪問的計算設(shè)備的一個實施例的框圖。
【具體實施方式】
[0017]通過基于嵌入流式傳輸視頻中的信息來改變應(yīng)用于流式傳輸視頻的降噪量而改善流式傳輸視頻的質(zhì)量。用以降低流式傳輸視頻中的噪聲量的降噪應(yīng)用的類型包括蚊式、塊狀、瞬時、隨機和條帶。嵌入流式傳輸視頻中的信息可包括流式傳輸視頻的比特率、分辨率、內(nèi)容類型以及質(zhì)量。
[0018]可通過使用嵌入信息來自適應(yīng)地控制特定降噪應(yīng)用的強度(或量)和/或使用而改善每個降噪應(yīng)用的功能性。在視頻流的預(yù)定片段或塊處進行對特定降噪應(yīng)用的強度和/或使用的調(diào)整。計算設(shè)備可在每個預(yù)定片段之后以不同的比特率接收不同的比特流。
[0019]在流式傳輸視頻重放期間，計算設(shè)備知道當(dāng)前正在從提供多個比特流的視頻流式傳輸服務(wù)器播放哪些比特流。嵌入比特流中的質(zhì)量指示符也是可用的，其是在編碼時創(chuàng)建的。并且，嵌入的元數(shù)據(jù)描述了正在播放的內(nèi)容的類型，諸如體育、戲劇或動畫。通過使用此嵌入信息，自適應(yīng)地調(diào)整選擇的降噪應(yīng)用的強度和/或使用。對于具有較低比特率流的流式傳輸視頻而言，可增加選擇的降噪應(yīng)用的強度。在實施例中，隨著較低比特率被切換至較高比特率流，在流式傳輸視頻的預(yù)定片段上，可減小降噪應(yīng)用的強度。在另一實施例中，降噪應(yīng)用在接收到具有最高比特率的視頻比特流時將被禁用，使得將不會使圖像質(zhì)量降級。
[0020]圖1是向具有自適應(yīng)視頻降噪(AVNR)引擎109的計算設(shè)備107提供流式傳輸視頻的裝置100的高級框圖，所述自適應(yīng)視頻降噪(AVNR)引擎降低接收到的流式傳輸視頻中的噪聲。在實施例中，視頻服務(wù)器101向可以是視頻服務(wù)器101的客戶端的計算設(shè)備107提供流式傳輸媒體，包括流式傳輸視頻103和對應(yīng)的流式傳輸音頻。
[0021]類似地，計算設(shè)備110向計算設(shè)備107提供流式傳輸媒體，包括流式傳輸視頻111和對應(yīng)的音頻。在實施例中，計算設(shè)備110和107是對等點，并且在實施例中同樣地傳輸流式傳輸視頻。在計算設(shè)備107和110的對等(P2P)實施例中，每個計算設(shè)備可充當(dāng)另一個的客戶端或服務(wù)器。
[0022]并且，在實施例中，還可從不使用網(wǎng)絡(luò)105的計算設(shè)備107的本地源提供流式傳輸視頻。
[0023]在替換實施例中，裝置100包括更多或更少的計算設(shè)備和/或服務(wù)器以產(chǎn)生和接收流式傳輸視頻。在實施例中，視頻服務(wù)器101、計算設(shè)備110和/或計算設(shè)備107對應(yīng)于具有在圖9中示出的且如本文所描述的特定硬件部件的計算設(shè)備1800。
[0024]在實施例中，將計算設(shè)備107包括在視頻游戲控制臺和/或媒體控制臺中。在替換實施例中，可將計算設(shè)備107包括在至少蜂窩電話、移動設(shè)備、嵌入式系統(tǒng)、媒體控制臺、膝上型計算機、臺式計算機、服務(wù)器和/或數(shù)據(jù)中心中。
[0025]諸如流式傳輸視頻和/或音頻之類的流式傳輸媒體是多個比特，其在實施例中表示通過計算網(wǎng)絡(luò)發(fā)射以用于由計算設(shè)備重放而不是下載以供稍后(離線)重放的視頻和音頻信息。在實施例中，流式傳輸媒體可被捕獲、編碼并壓縮以用于傳輸，并且然后被解壓縮和解碼以用于觀看。流式傳輸媒體可包括描述流式傳輸視頻的屬性的嵌入信息或代碼和元數(shù)據(jù)。流式傳輸視頻屬性可包括流派(或內(nèi)容的類型)、質(zhì)量、幀速率、比特率和/或分辨率。在實施例中，包括在流式傳輸視頻中的內(nèi)容的類型可包括戲劇、體育(實況動作)或動畫。
[0026]流式傳輸視頻103和111經(jīng)由網(wǎng)絡(luò)105分別從視頻服務(wù)器101和計算設(shè)備110中的流式傳輸視頻生成器102和111提供給計算設(shè)備107。在實施例中，網(wǎng)絡(luò)105可以單個地或以組合方式是因特網(wǎng)、廣域網(wǎng)(WAN)或局域網(wǎng)(LAN)。在實施例中，將計算設(shè)備107包括在另一網(wǎng)絡(luò)中。可在網(wǎng)絡(luò)105中有線地和/或無線地傳輸流式傳輸視頻103和111。在實施例中，使用超文本傳輸(或傳送)協(xié)議(HTTP)來傳輸流式傳輸視頻103和111。
[0027]在實施例中，流式傳輸視頻生成器102和111捕獲視頻、將其編碼并壓縮成經(jīng)由網(wǎng)絡(luò)105傳輸并被計算設(shè)備107解碼的多個比特。在實施例中，可使用實施例中的不同方法將視頻壓縮(并最后在傳輸之后解壓縮)。例如，在實施例中可使用游程編碼(RLE)、Indeo,Cinepak和運動圖片專家組(MPEG)壓縮/解壓縮方法。在實施例中，流式傳輸視頻生成器102和/或111將視頻壓縮成運動圖片專家組(MPEG)格式以用于傳輸。在MPEG_n格式中，將視頻數(shù)據(jù)壓縮以形成可以容易地發(fā)射且然后解壓縮的小比特。MPEG通過存儲從一個幀到另一個幀的變化而不是每個完整的幀來實現(xiàn)高壓縮速率。然后使用離散余弦變換(DCT)對視頻信息進行編碼。MPEG使用一種有損壓縮，因為某些數(shù)據(jù)被移除，但是可如本文所描述的在流式傳輸視頻中引起噪聲。
[0028]在替換實施例中，流式傳輸視頻生成器102和111可使用電影與電視工程師學(xué)會(SMPTE) 421M (也稱為VC-1)解壓縮/解壓縮方法來輸出視頻。
[0029]可使用不同的比特流來傳輸流式傳輸媒體且特別是流式傳輸視頻和音頻，所述比特流具有可在流式傳輸視頻的片段處切換的(同一視頻的)不同比特率。替換地，可使用具有多比特率的單個比特流來傳輸流式傳輸視頻。在實施例中，比特流是比特的時間系列或序列。在實施例中，比特率是每單位時間傳送或處理的比特數(shù)。
[0030]圖2圖示出在實施例中可由視頻服務(wù)器101傳輸?shù)木哂胁煌忍芈实亩鄠€比特流201-207。在實施例中，視頻服務(wù)器101以各種比特率提供多個比特流201-207。例如，視頻服務(wù)器101能夠提供處于每秒20兆比特(20 Mbps)的比特流201 (或多個比特)以及其它比特流202-207，每個處于較小的比特率。使用比特流208來傳輸音頻信息。
[0031]在實施例中，每個比特流201-207分別地包括嵌入信息或已編碼代碼201a_207a，其識別流式傳輸視頻的屬性。在實施例中，每個比特流201-207還包括嵌入元數(shù)據(jù)信息。
[0032]視頻服務(wù)器101動態(tài)地監(jiān)視計