本發(fā)明涉及用于在維持圖像細(xì)節(jié)的同時(shí)發(fā)送高分辨率內(nèi)容的技術(shù)。

背景技術(shù)：

此前，電視廣播商將標(biāo)清內(nèi)容轉(zhuǎn)換為高清(hd)內(nèi)容，而如今，許多電視廣播商將hd內(nèi)容轉(zhuǎn)換為分辨率高達(dá)4k且多達(dá)2160p畫(huà)面線的超高清(uhd)內(nèi)容。具有較高分辨率的uhd內(nèi)容提供了靜止場(chǎng)景上的更高的細(xì)節(jié)水平，但一旦存在運(yùn)動(dòng)(在場(chǎng)景本身中或由于相機(jī)的運(yùn)動(dòng))，則會(huì)發(fā)生運(yùn)動(dòng)模糊，這大大地降低了對(duì)移動(dòng)物體的細(xì)節(jié)的感知。在這些情況下，從細(xì)節(jié)渲染的角度來(lái)看，所述內(nèi)容不再保持其4k特性。通過(guò)減少快門(mén)的打開(kāi)時(shí)間量來(lái)補(bǔ)償這種運(yùn)動(dòng)模糊并不會(huì)提供可行的解決方案，這是因?yàn)樗鸬念潉?dòng)在觀看時(shí)會(huì)帶來(lái)不適。當(dāng)前，唯一的可行方案需要在保持合理的快門(mén)角度(180°或更大)的同時(shí)增加場(chǎng)景的采樣頻率。然而，以高分辨率和高幀速率(例如，4k/120fps)來(lái)拍攝和發(fā)送事件即使并非不可能也將變得很難，這是因?yàn)樵S多當(dāng)期的傳輸設(shè)備并不支持這種格式。即使使用能夠支持這種格式的設(shè)備，以這種格式發(fā)送內(nèi)容在帶寬方面的成本也很高。因此，廣播商和有線運(yùn)營(yíng)商更愿意將固定帶寬分配成多個(gè)(例如，四個(gè))4k/30fps通道，而不是僅提供消耗相同帶寬的一個(gè)4k/120fps通道。

從而，需要一種用于在保留細(xì)節(jié)渲染的同時(shí)發(fā)送高質(zhì)量?jī)?nèi)容(4k)(即使對(duì)于移動(dòng)物體也是如此)的技術(shù)。

技術(shù)實(shí)現(xiàn)要素：

本公開(kāi)原理的目的在于提供一種用于在保留圖像細(xì)節(jié)的同時(shí)發(fā)送高質(zhì)量視頻(尤其是針對(duì)移動(dòng)圖像)的技術(shù)。

本公開(kāi)原理的另一個(gè)目的在于提供一種用于可互換地發(fā)送低幀速率視頻內(nèi)容和高幀速率視頻內(nèi)容的技術(shù)。

簡(jiǎn)言之，根據(jù)本公開(kāi)原理的一個(gè)方面，用于發(fā)送視頻內(nèi)容的方法和裝置和系統(tǒng)指定內(nèi)容是包括具有高分辨率的靜止場(chǎng)景還是具有運(yùn)動(dòng)的場(chǎng)景。根據(jù)指定對(duì)視頻內(nèi)容進(jìn)行編碼，使得以低幀速率(lfr)模式對(duì)具有靜止場(chǎng)景的視頻內(nèi)容進(jìn)行編碼，而以高幀速率(hfr)模式對(duì)具有運(yùn)動(dòng)的視頻內(nèi)容進(jìn)行編碼。此后，發(fā)送經(jīng)過(guò)編碼的視頻內(nèi)容及內(nèi)容指定，以使得能夠由解碼器獲取并解碼。

附圖說(shuō)明

圖1示出了根據(jù)本公開(kāi)原理的一個(gè)方面的系統(tǒng)的示意框圖，所述系統(tǒng)用于根據(jù)本公開(kāi)原理對(duì)視頻內(nèi)容進(jìn)行編碼、發(fā)送和解碼；

圖2示出了圖1的系統(tǒng)以高幀速率(hfr)編碼的具有運(yùn)動(dòng)的視頻內(nèi)容的一部分的圖形描繪；

圖3示出了圖1的系統(tǒng)以低幀速率(lfr)編碼的具有靜止場(chǎng)景的視頻內(nèi)容的一部分的序列的圖形描繪；

圖4示出了分別以hfr模式和lfr模式編碼的視頻內(nèi)容的交替序列的流，其中每個(gè)視頻內(nèi)容序列的指定指示編碼模式；以及

圖5示出了圖4中以hfr模式和lfr模式編碼的視頻內(nèi)容的交替序列的流根據(jù)與每個(gè)序列相關(guān)聯(lián)的指示編碼模式的指定而被解碼。

具體實(shí)施方式

根據(jù)本公開(kāi)原理的一個(gè)方面，混合內(nèi)容傳輸技術(shù)在低幀速率(lfr)模式(即4k/30fps)中發(fā)送視頻的具有高分辨率的靜止場(chǎng)景。相反地，根據(jù)本公開(kāi)原理的技術(shù)，視頻內(nèi)容中具有運(yùn)動(dòng)的場(chǎng)景以高幀速率(hfr)模式(即hd/120fps)進(jìn)行傳輸，這些場(chǎng)景被封裝在lfr圖像塊中(即4k/30fps)。圖1示出了用于實(shí)踐本公開(kāi)原理的混合傳輸技術(shù)的系統(tǒng)10。系統(tǒng)10包括分別從多個(gè)視頻源接收視頻的編碼器12，視頻源包括一對(duì)電視相機(jī)(televisioncamera)14和16。盡管圖1所示的系統(tǒng)10的說(shuō)明性示例描繪了兩個(gè)相機(jī)14和16，但是系統(tǒng)10可以容易地容納更大量的相機(jī)。

在圖1的說(shuō)明性示例中，相機(jī)14和16中的每一個(gè)不僅產(chǎn)生視頻信號(hào)，而且還產(chǎn)生指定，所述指定通常具有“標(biāo)志”的形式，其指示相機(jī)視頻輸出信號(hào)是包括靜止場(chǎng)景還是具有運(yùn)動(dòng)的場(chǎng)景。對(duì)于特定應(yīng)用，例如廣播體育賽事，舉例來(lái)講，一個(gè)相機(jī)(諸如相機(jī)14)通常僅提供相對(duì)靜止的場(chǎng)景，例如人群的場(chǎng)景。另一個(gè)相機(jī)(例如相機(jī)16)通常提供具有運(yùn)動(dòng)的視頻內(nèi)容，例如該相機(jī)提供參與比賽(例如足球、棒球、橄欖球等)的玩家的視頻輸出信號(hào)。

如圖1所示，由相機(jī)14和16中的每一個(gè)提供的指定通常采取與視頻輸出信號(hào)分離的信號(hào)的形式(例如，標(biāo)志)。然而，每個(gè)相機(jī)的視頻信號(hào)可以包括指示視頻信號(hào)是靜止圖像或具有運(yùn)動(dòng)的圖像的信息。因此，在視頻信號(hào)本身內(nèi)包括這樣的信息將緩解對(duì)單獨(dú)指定信號(hào)的需求。

編碼器12從相機(jī)14和16中的每一個(gè)接收視頻輸出信號(hào)以及指示相機(jī)的視頻輸出包括靜止場(chǎng)景或具有運(yùn)動(dòng)的場(chǎng)景的伴隨指定信號(hào)。編碼器12根據(jù)與該相機(jī)的視頻輸出信號(hào)相伴隨的指定對(duì)相機(jī)14和16中的每一個(gè)的視頻輸出信號(hào)進(jìn)行編碼，所述指定關(guān)于視頻信號(hào)包括靜止圖像或具有運(yùn)動(dòng)的場(chǎng)景。因此，舉例來(lái)講，當(dāng)接收到相機(jī)14的視頻輸出信號(hào)時(shí)，如果伴隨該視頻信號(hào)的指定指示視頻具有靜止場(chǎng)景，則編碼器12將以低幀速率(lfr)模式(例如，4k/30fps)對(duì)該視頻信號(hào)進(jìn)行編碼。相反地，當(dāng)從相機(jī)16接收到視頻輸出信號(hào)時(shí)，如果與該相機(jī)的視頻信號(hào)相關(guān)聯(lián)的指定指示場(chǎng)景具有運(yùn)動(dòng)，則編碼器12將以高幀速率(hfr)模式(例如4k，120fps)對(duì)該視頻信號(hào)進(jìn)行編碼。編碼器12通過(guò)將視頻信號(hào)的場(chǎng)景封裝成lfr圖像塊來(lái)對(duì)來(lái)自相機(jī)16的視頻信號(hào)進(jìn)行編碼，比如在2014年5月30日提交的美國(guó)臨時(shí)專利申請(qǐng)no.62/005,397(其通過(guò)引用并入本文)中所述。

作為來(lái)自相機(jī)14和16的視頻輸出信號(hào)的補(bǔ)充或替代，編碼器12還可以對(duì)來(lái)自一個(gè)或多個(gè)離線內(nèi)容源的視頻信號(hào)進(jìn)行接收和編碼，所述離線內(nèi)容源為例如離線內(nèi)容源18，其可以包括存儲(chǔ)設(shè)備或一臺(tái)電視演播室廣播設(shè)備。除了向編碼器12提供視頻輸出信號(hào)之外，每個(gè)離線內(nèi)容源18還提供的指定，該指定指示來(lái)自離線內(nèi)容源的輸出視頻信號(hào)是包括靜止場(chǎng)景還是運(yùn)動(dòng)場(chǎng)景。與相機(jī)14和16中的每一個(gè)一樣，離線內(nèi)容源18的輸出視頻信號(hào)本身可以包括指定輸出信號(hào)是包括靜止場(chǎng)景還是具有運(yùn)動(dòng)的場(chǎng)景的信息，從而緩解了對(duì)單獨(dú)指定的需求。

如上所述，相機(jī)14和16通常分別專用于靜止場(chǎng)景和具有運(yùn)動(dòng)的場(chǎng)景，因此它們各自的指定信號(hào)可以是固定的。相反地，離線內(nèi)容源18可以提供任一種視頻輸出信號(hào)。實(shí)際上，根據(jù)由在線內(nèi)容源18輸出的視頻的性質(zhì)，操作者可以基于操作者對(duì)離線源的視頻輸出信號(hào)的評(píng)估而手動(dòng)地調(diào)整指定集。備選地，離線內(nèi)容源18可以基于其使用例如運(yùn)動(dòng)分析算法對(duì)視頻內(nèi)容的分析來(lái)自動(dòng)生成其指定。

編碼器12對(duì)從相機(jī)14和16和/或離線內(nèi)容源18接收的視頻信號(hào)進(jìn)行編碼，以產(chǎn)生編碼的輸出信號(hào)以及如上所述的指示編碼器的視頻輸出信號(hào)的性質(zhì)的伴隨指定。網(wǎng)絡(luò)20將編碼器12的視頻輸出信號(hào)以及該信號(hào)的指定一起發(fā)送到解碼器22以進(jìn)行解碼，從而產(chǎn)生經(jīng)解碼的視頻輸出信號(hào)，以在顯示設(shè)備24上呈現(xiàn)。在實(shí)踐中，解碼器22可以包括機(jī)頂盒等的一部分，以用于選擇用于在顯示設(shè)備24上顯示的內(nèi)容。在一些實(shí)例中，解碼器22可以包括顯示設(shè)備24的一部分。

如上面結(jié)合相機(jī)14和16以及離線內(nèi)容源18討論的那樣，編碼器12可以在其視頻輸出信號(hào)中包括指示編碼器是以低幀速率(lfr)還是高幀速率(hfr)模式對(duì)該信號(hào)進(jìn)行了編碼的信息。在編碼器視頻輸出信號(hào)中包括關(guān)于是以lfr還是hfr模式對(duì)信號(hào)進(jìn)行編碼的信息將緩解對(duì)產(chǎn)生單獨(dú)指定的需要。

解碼器22根據(jù)指示輸入信號(hào)是被lfr編碼還是被hfr編碼的伴隨指定對(duì)從編碼器接收的視頻信號(hào)進(jìn)行解碼。如上所述，由圖1的解碼器22接收的輸入視頻信號(hào)本身可以包括關(guān)于編碼的類型(lfr或hfr)的信息，從而緩解對(duì)指示編碼模式的單獨(dú)指定的需要。通過(guò)使用編碼指定，或者在不存在該指定的情況下通過(guò)使用來(lái)自輸入視頻信號(hào)本身的編碼信息，解碼器22可以基于輸入信號(hào)是被lfr編碼還是被hfr編碼來(lái)正確地解碼輸入視頻信號(hào)。在lfr編碼的視頻信號(hào)的情況下，每個(gè)高分辨率幀被包含在其自己的lfr圖像塊中，并且均以低幀速率傳送到顯示設(shè)備24。在hfr編碼的視頻信號(hào)的情況下，將多個(gè)幀封裝到每個(gè)lfr圖像塊中，比如在2014年5月30日提交的美國(guó)臨時(shí)專利申請(qǐng)no.62/005,397(其通過(guò)引用并入本文)中所述。解碼器22將以高幀速率連續(xù)地提取多個(gè)幀中的每一幀，從而以高幀速率傳送到顯示設(shè)備24。在實(shí)踐中，顯示器24具有與編碼器22的數(shù)字接口(例如高清多媒體接口(hdmi))，以使得顯示設(shè)備能夠接收單獨(dú)的lfr模式視頻信號(hào)和hfr模式視頻信號(hào)。顯示器24具有在lfr模式和hfr模式之間實(shí)時(shí)切換的能力，以在每種模式下適當(dāng)?shù)仫@示視頻信號(hào)。在一些實(shí)施例中，所有的視頻信號(hào)(高分辨率lfr幀和包括多個(gè)hfr編碼的幀的lfr圖像塊兩者)都用諸如hdmi的接口傳送到包括解碼器22和顯示器24兩者的監(jiān)視器。

注意到，無(wú)論是原始以較高分辨率提供的lfr圖像，還是編碼到更高分辨率lfr塊中的hfr圖像，來(lái)自編碼器12的所有輸出都表現(xiàn)為較高分辨率的lfr流。優(yōu)點(diǎn)在于，中間組件(例如可以包括通信鏈路和視頻或流切換元件(未示出)的網(wǎng)絡(luò)20)可以在不需要知曉來(lái)自編碼器12的流的性質(zhì)的情況下工作，特別是如果hfr/lfr模式指定被嵌入在流中的話。直到被解碼器22接收到，任何元件才需要將流作為與普通較高分辨率lfr流不同的任何其他對(duì)象進(jìn)行處理。

圖2描繪了根據(jù)本公開(kāi)原理的一個(gè)方面的示例性幀速率壓縮過(guò)程200。如圖2所示，類似于圖1中的高幀速率(hfr)相機(jī)16的高幀速率相機(jī)205具有朝向(subtending)對(duì)象207的視場(chǎng)206。在操作中，相機(jī)205將輸出包括對(duì)象的hfr圖像的流的視頻輸出信號(hào)201。由相機(jī)205生成的hfr圖像流的部分210出現(xiàn)在圖2中，并由單獨(dú)的連續(xù)幀211-226組成。

在圖2所示的示例中，對(duì)象207包括騎馬的男子。對(duì)象207的圖像211-226以放大的時(shí)間尺度出現(xiàn)在圖2中，使得各個(gè)圖像呈現(xiàn)出明顯的區(qū)別。所描繪的圖像來(lái)自eadweardmuybridge在1887年的作品“jumpingahurdle，blackhorse”，之所以選擇這一作品，是因?yàn)槠錇楸娙怂煜で页尸F(xiàn)出可識(shí)別的序列，這有助于理解本公開(kāi)原理。

在步驟202期間，對(duì)hfr圖像流的部分210的圖像211-226進(jìn)行捕獲，此時(shí)圖像積聚在通常位于相機(jī)205中(盡管與圖2中的相機(jī)分開(kāi)描繪)的捕獲緩沖器230中。為了便于處理，圖像211-226被分組成子序列231-234。在圖2所示的編碼處理203期間，由圖1的編碼器12對(duì)圖像的子序列進(jìn)行編碼。根據(jù)本公開(kāi)原理的一個(gè)方面，編碼處理203將高幀速率(hfr)圖像打包成低幀速率(lfr)圖像塊，如在2014年5月30日提交的美國(guó)臨時(shí)專利申請(qǐng)no.62/005,397(其通過(guò)引用并入本文)中所述。例如，來(lái)自子序列231-234中的每一個(gè)子序列的第一圖像被合并到單個(gè)lfr圖像塊241中。類似地，來(lái)自每個(gè)子序列的第二圖像被合并到lfr圖像塊242中，并且來(lái)自每個(gè)子序列的第三圖像和第四圖像分別被打包到lfr圖像塊243和244中。除了生成lfr圖像塊之外，如上所述，圖2的相機(jī)205還將產(chǎn)生指定，其指示相機(jī)輸出信號(hào)是以hfr模式編碼的。

在使用圖像壓縮的實(shí)施例中，lfr圖像塊241-244可以例如使用熟知的jpeg或jpeg-2000壓縮方案來(lái)單獨(dú)地壓縮(例如，“編碼”)。如果選擇了基于運(yùn)動(dòng)的壓縮方案，例如mpeg-2或h.264/mpeg-4，則lfr圖像塊241-244將形成編碼的“圖像組”(gop)240。在運(yùn)動(dòng)編碼的視頻中常常使用三種幀編碼：i幀、p幀和b幀。i幀是“內(nèi)編碼”，即，幀在沒(méi)有參考其他幀的情況下被編碼，因此可以獨(dú)立存在。p幀或“預(yù)測(cè)幀”相對(duì)于先前的參考幀進(jìn)行編碼，并利用它們之間的冗余來(lái)進(jìn)行有效表示(通常是與i幀相比較小的表示)。b幀或“雙向預(yù)測(cè)”幀通過(guò)利用先前的參考幀和稍后的參考幀之間的相似性進(jìn)行編碼。針對(duì)p幀和b幀的編碼過(guò)程的重要部分是識(shí)別參考幀中的也存在于被壓縮的幀中的區(qū)域以及估計(jì)這些公共區(qū)域的運(yùn)動(dòng)并將其編碼為運(yùn)動(dòng)矢量。在一些實(shí)施例中，允許編碼器不僅使用i幀作為參考，而且使用其他p幀或b幀作為參考。當(dāng)合適時(shí)，當(dāng)前幀的區(qū)域的運(yùn)動(dòng)矢量表示通常比該區(qū)域的像素的更明確的表示更緊湊。

注意，將hfr圖像211-226分塊(tile)成圖2所示的lfr圖像塊241-244保留了子序列231-234的時(shí)間排序和順序性質(zhì)，其優(yōu)點(diǎn)在于，在組成到lfr幀241-244中之后，連續(xù)hfr幀(例如在子序列232中)之間的差異得以維持。因此，由于hfr高于lfr，所以連續(xù)的hfr幀之間的預(yù)期運(yùn)動(dòng)矢量通常將小于在較低幀速率下傳統(tǒng)捕獲的序列(未示出)的運(yùn)動(dòng)矢量。類似地，連續(xù)拍攝的幀之間的對(duì)應(yīng)相似區(qū)域與捕獲幀速率較慢的情況相比通常將表現(xiàn)出更高的相似性，這是因?yàn)樵趆fr下對(duì)象的連續(xù)圖像之間經(jīng)過(guò)的時(shí)間較短。因此，預(yù)期的是，利用編碼的gop240的合成圖像中的運(yùn)動(dòng)的壓縮方案將是特別有效的，這是因?yàn)樵谶@些合成圖像的每個(gè)象限內(nèi)，連續(xù)lfr圖像塊241-244之間的明顯時(shí)間增量對(duì)應(yīng)于hfr，即使gop240的圖像塊241-244將以lfr傳送也是如此。然而，當(dāng)前編碼的gop240的最后一個(gè)lfr幀244和下一個(gè)gop(未示出)的第一lfr幀(未示出)之間在每個(gè)象限內(nèi)存在時(shí)間不連續(xù)性。圖2的示例中的這種時(shí)間不連續(xù)性的大小是lfr間隔的3倍或hfr間隔的22倍。由于這種時(shí)間不連續(xù)性，嘗試?yán)靡粋€(gè)gop的結(jié)束與下一個(gè)gop的開(kāi)始(即，使用b幀)之間的相似性的壓縮方案并不是特別適合(fair)，相應(yīng)地，本實(shí)施例中的傳統(tǒng)的運(yùn)動(dòng)編碼技術(shù)優(yōu)選地限于i幀和p幀。

圖3描繪了根據(jù)本公開(kāi)原理的另一方面的示例性編碼處理300。如圖所示2，類似于圖1的低幀速率(lfr)相機(jī)14的lfr相機(jī)305捕獲大體靜止的圖像，示意性地描繪為人群307。在操作中，相機(jī)305將輸出包括人群307的lfr圖像流的視頻輸出信號(hào)301。相機(jī)305生成的lfr圖像流的一部分310由lfr幀310-316的序列組成。根據(jù)本公開(kāi)原理的教導(dǎo)，編碼處理300以低幀速率生成整幀形式的較高分辨率lfr圖像，而多個(gè)低分辨率hfr圖像被封裝到每個(gè)lfr圖像塊241-244中，如于2014年5月30日提交的美國(guó)臨時(shí)專利申請(qǐng)no.62/005,397所述。除了生成lfr圖像之外，如上所述，圖3的相機(jī)305還將產(chǎn)生指示相機(jī)輸出信號(hào)是以lfr模式編碼的指定。

接收以lfr模式和hfr模式編碼的視頻信號(hào)的編碼器(例如圖1中的編碼器12)將輸出多幀輸出流，如圖4所示，其由lfr圖像的單獨(dú)序列(由lfr序列4021和4022示意性地描繪)和封裝hfr圖像序列的lfr圖像塊(示例性地由lfr圖像塊4041和4042描繪)組成?？偟膩?lái)說(shuō)，lfr圖像和lfr圖像塊包括視頻內(nèi)容分段。lfr幀序列和lfr圖像塊(即，視頻內(nèi)容分段)均具有分別由指示編碼模式(即，分別為lfr和hfr)的標(biāo)志406和408表示的相關(guān)聯(lián)的指定。盡管圖4以交替的方式示出了hfr圖像塊和lfr圖像序列，但是編碼器可以輸出任意長(zhǎng)的lfr圖像序列后接任意數(shù)量的hfr圖像塊的序列，反之亦然。雖然圖4將lfr圖像序列和hfr圖像塊描繪為具有分別由標(biāo)志406和408表示的單獨(dú)指定，但是lfr圖像序列和hfr圖像塊可以包括指示它們各自的編碼模式的信息，從而避免與圖像序列和圖像塊不同且分開(kāi)的指定。

圖5描繪了先前結(jié)合圖4討論的lfr圖像序列4021和4022以及l(fā)fr圖像塊4041和4042的解碼。解碼器(例如圖1的解碼器22)將根據(jù)其伴隨指定(或者在沒(méi)有這種指定的情況下，通過(guò)在每個(gè)圖像序列或圖像塊中檢查其中包含的編碼信息)來(lái)對(duì)每個(gè)輸入的lfr圖像序列和lfr圖像塊進(jìn)行解碼。在解碼之后，lfr圖像序列4021和4022中的每一個(gè)在圖5中的畫(huà)面5021(僅顯示四個(gè)中的一個(gè)較高分辨率幀)和5022(僅顯示四個(gè)中的一個(gè)較高分辨率幀)中進(jìn)行顯示。對(duì)lfr圖像塊4041和4042中的每一個(gè)進(jìn)行解碼以連續(xù)地剝離封裝在每個(gè)lfr圖像塊內(nèi)的各個(gè)低分辨率hfr圖像，以便如顯示屏5041(僅顯示十六個(gè)中的一個(gè)較低分辨率幀)和5042(僅顯示十六個(gè)中的一個(gè)較低分辨率幀)所示以高幀速率顯示hfr圖像。

前文描述了一種用于可互換地發(fā)送低幀速率視頻內(nèi)容和高幀速率視頻內(nèi)容以在保留圖像細(xì)節(jié)的同時(shí)保持高質(zhì)量視頻的技術(shù)(尤其是針對(duì)運(yùn)動(dòng)圖像)。