從三維視頻回退的制作方法
【技術領域】
[0001]本公開通常涉及數(shù)字通信，更具體地，涉及傳輸數(shù)字視頻。
【背景技術】
[0002]產業(yè)報告顯示觀看者比以往任何時候花費更多的時間觀看視頻和使用其他媒體傳遞服務。對此，幾乎每天都開發(fā)新服務。觀看者們已經開始使用他們的個人通信設備(例如，手機和平板計算機)下載和觀看這些媒體內容項目。
[0003]下載包括視頻的媒體內容項目比僅下載音頻或文本需要更多帶寬。在許多用戶設備可能競爭帶寬的無線電環(huán)境中管理這些下載是一項持續(xù)的挑戰(zhàn)。當用戶希望在視頻正被下載時觀看視頻時(而不是下載供以后觀看)，面臨的挑戰(zhàn)尤其困難。
[0004]這種下載帶寬挑戰(zhàn)是由近期三維(3D)視頻產品的普及激起的。因為人類以三維自然地觀察世界，所以3D視頻比傳統(tǒng)的2D視頻更吸引人。甚至出現(xiàn)了更小的設備，諸如手機，可以向它們的用戶呈現(xiàn)3D視頻(以及3D靜態(tài)圖像)。然而，3D下載自然比2D下載需要更多帶寬，并且呈現(xiàn)3D媒體內容項目需要用戶設備更多的存儲空間和更多的處理能力。
【附圖說明】
[0005]雖然所附權利要求詳細地闡述了本技術的特征，但是可以根據(jù)以下的結合附圖所進行的具體描述最好地理解這些技術及其目的和優(yōu)點，在附圖中:
[0006]圖1是可以實現(xiàn)本技術的代表性環(huán)境的概圖；
[0007]圖2是代表性個人通信設備或媒體服務器的示意圖；
[0008]圖3是從3D回退到2D媒體下載的方法的流程圖；以及
[0009]圖4a和圖4b —起形成一旦回退觸發(fā)條件已經解決3D媒體服務器支持回退和復原3D媒體下載的方法的流程圖。
【具體實施方式】
[0010]轉向附圖，其中相同的附圖標記指代相同的元素，本公開的技術被圖示為在適當?shù)沫h(huán)境中被實現(xiàn)。以下描述基于權利要求的實施例，并且不應視為關于在本文中未明確描述的替代實施例限制本發(fā)明。
[0011]在圖1的代表性通信環(huán)境100中，用戶102使用他的個人通信設備104執(zhí)行各種任務，諸如訪問網站，與朋友108通信，運行基于web的應用進行工作或娛樂、購物和記錄健康信息。特別是與本討論有關的，用戶102可能希望將3D媒體內容項目下載到他的設備104。
[0012]為了本討論的目的，短語“媒體內容項目”將采取非常廣泛的含義。除了電影、電視節(jié)目、音樂視頻等之外，媒體內容項目可以是游戲顯示、地圖、菜單、消息(例如，電子郵件、廣告或公共服務警報)、web頁面或社交網絡帖子。3D媒體內容項目是包括移動或靜止3D圖像的任何內容項目。
[0013](簡單地說，3D圖像可以被認為是從間距為觀看者的兩只眼睛之間距離的兩個相機同時捕獲的兩個2D圖像。當兩個圖像被同時顯示，一個到觀看者的每只眼睛時，它們給觀看者產生觀看3D場景的感覺。因為它是從兩個2D圖像形成的，所以下載3D圖像本質上比下載2D圖像需要更多帶寬。實際的視頻編碼技術利用圖像重疊和其他技術將3D圖像需要的帶寬量減少到通常比2D帶寬的兩倍實際上更小的值。然而，即使使用壓縮，3D圖像仍然確實比2D圖像需要更多帶寬。它們還需要更多的存儲和更多的處理能力，以進行解碼和顯示在個人通信設備104上。)
[0014]開始下載時，用戶102 (經由他的個人通信設備104)向3D-媒體服務器106發(fā)送請求。然后所述3D-媒體服務器106開始下載3D媒體內容項目。用戶102可能希望在將3D媒體內容下載到他的個人通信設備104的同時觀看3D媒體內容，或者他可能希望存儲內容項目供以后觀看。
[0015]可能會出現(xiàn)擾亂下載的情況。對于第一種示例，個人通信設備104可用的下載帶寬可能因通信環(huán)境100中的噪音受限，或者因與其他帶寬使用競爭受限，諸如當另一個用戶108同時請求媒體下載時。如果用戶102不在下載媒體內容項目的同時觀看媒體內容項目，而是存儲以供將來使用，則該個人通信設備104可以僅以較低速率繼續(xù)下載該媒體內容項目。用戶102不受影響。
[0016]另一方面，如果用戶102在下載期間觀看媒體內容項目，則帶寬限制條件可能導致視頻“饑餓”。這意味著個人通信設備104在媒體內容項目的一部分需要被顯示給用戶102的時刻還沒有接收到該部分。在這種情況下，給用戶102的呈現(xiàn)可以令人不快地被暫停。一旦面對該帶寬限制，設備104已經能夠下載一些更多媒體內容項目時，可以恢復呈現(xiàn)。對于用戶102的結果是令人不快地不平穩(wěn)的、再次斷斷續(xù)續(xù)的呈現(xiàn)。
[0017]作為可能出現(xiàn)的情況的第二示例，個人通信設備104除了下載和呈現(xiàn)3D媒體內容項目之外可能執(zhí)行其他任務。如果是這樣，則該設備104可能沒有足夠的內部資源(例如，內存和處理能力)在保持解碼和向用戶102呈現(xiàn)3D媒體內容項目的同時去進行被要求進行的任何事。在這種情況下，帶寬不受限制，所以設備104可以以可接受的速率下載該媒體內容項目，但對用戶102的影響與在上述帶寬限制的情況類似:該呈現(xiàn)可能暫停直到設備104具有足夠的資源來繼續(xù)解碼和呈現(xiàn)。
[0018]在這些和其他可能的條件下，向用戶102呈現(xiàn)媒體內容項目變成令人不快的體驗。公開本技術的目的是減輕這些條件對用戶102的影響，并且從而消除這種煩惱。
[0019]圖2示出了代表性個人通信設備104(例如，移動電話、個人數(shù)字助理、平板計算機、個人計算機或游戲控制臺)或媒體服務器106、110的主要內部組件。(該媒體服務器106、110可以在媒體流重傳設備或一起工作的多個服務器上實施，或者可以是在互聯(lián)網“云”中)。通信接口 200發(fā)送和接收媒體內容項目、相關的信息，并下載請求。處理器202控制設備104、106、110的操作，特別是，支持如下面將討論的圖3和圖4所示的本發(fā)明的各方面。用戶接口 204支持用戶(或管理員)與設備104、106、110的交互。個人通信設備104的典型用戶接口包括用于媒體內容項目的顯示器、鍵盤和其他用戶輸入設備。鍵盤可以是物理的或虛擬的，包括觸摸屏上顯示的虛擬鍵。下面適當?shù)赜懻撚商囟ㄔO備對這些組件的具體使用。
[0020]圖3表示可由個人通信設備104使用的用于同一媒體內容項目的從3D下載回退到2D下載的代表性方法。該方法開始于步驟300，在步驟300中，設備104開始從3D-媒體服務器106下載3D媒體內容項目。用于這種下載的方法和協(xié)議在本領域是公知的。
[0021]在下載期間，由個人通信設備104注意觸發(fā)條件(步驟302)。許多種類的觸發(fā)條件都是可能的。上面參照圖1所討論的多個可能的觸發(fā)器提出網絡擁塞，并且從而表明可用于下載的帶寬的限制。在此，就設備104而言，可用于其的帶寬可能不足以跟上3D呈現(xiàn)，即，下載可能前進得很慢，導致向用戶102呈現(xiàn)媒體內容項目可能是“饑餓的”，并且不得不暫停。
[0022]不同協(xié)議和不同網絡技術支持可確定擁塞的不同機制。在某些情況下，如果分組不能被及時遞送，那么將丟棄該分組，因此丟棄的分組的數(shù)目表明擁塞。更直接地，可以將媒體內容項目的數(shù)據(jù)的到達率與呈現(xiàn)率相比較。如果到達率過低，則數(shù)據(jù)被呈現(xiàn)快于數(shù)據(jù)被接收，這種情況只能持續(xù)到個人通信設備104的接收緩沖器中緩存的數(shù)據(jù)運行完。有些網絡支持下載的“服務質量”(QoS)參數(shù)。如果QoS設置得太低(無論何種原因)，則媒體內容項目的傳遞率可能太低。
[0023]一些現(xiàn)代網絡支持傳遞的分組中的特定的“擁塞經歷”通知。此通知告知接收個人通信設備104該網絡在3D-媒體服務器106和設備104之間的某處擁塞。
[0024]為了避免滯后(即，為了避免過于頻繁設置和重置觸發(fā)器)，可以僅在條件持續(xù)閾值時間量或閾值數(shù)目的單獨事件(例如，連續(xù)接收特定數(shù)目的擁塞經歷的分組)時，設置觸發(fā)條件。
[0025]在步驟302中，注意到，上面描述的網絡擁塞條件不一定設置觸發(fā)器。例如，如果用戶102在步驟300中僅下載媒體內容呈現(xiàn)，但是當前未觀看它，然后網絡擁塞，雖然它減慢下載，但不會直接影響用戶的體驗，而不需要被調用圖3的其余方法。
[0026]第二組可能的觸發(fā)條件，也參照上述圖1，涉及個人通信設備104本地的資源的饑餓。在設備104上運行的其他任務可能消耗與下載需要的資源相同的資源。例如，3D下載要求顯著量的存儲器緩沖空間。需要更多的空間和顯著的處理能力以用于解碼和向用戶102呈現(xiàn)3D媒體內容項目。因此，如果就設備104而言其不具有足夠的內部資源下載媒體內容項目或解碼和呈現(xiàn)(如果該內容項目當前被呈現(xiàn)給用戶102)該媒體內容項目，則可以設置觸發(fā)器。
[0027]在步驟304中，個人通信設備104通過請求3D下載停止和使用相同媒體內容項目的2D版本的下載替換來響應該觸發(fā)。該請求被發(fā)送到3D-媒體服務器106。此回退背后的理由是以下簡單的事實，2D下載比3D下載需要更少的帶寬、更少的存儲空間、以及更少的處理能力(當它被解碼和呈現(xiàn)時)。因此，回退是應對設備104的有限帶寬的條件或內部資源短缺的條件的有用策略。
[0028](如果正在向用戶102呈現(xiàn)媒體內容項目，并且如果觸發(fā)條件是由于本地資源短缺，則設備104甚至可以在2D流開始之前開始以2D顯示媒體內容項目，也就是說，設備104可以從已接收的3D數(shù)據(jù)剝去3D增強。所有3D編碼技術都允許設備104很容易地從3D版本提取2D版本。)
[0029]在大多數(shù)實施例中，在步驟304中的請求包括在媒體內容項目的何處開始2D下載的指示。即，2D下載一般不會在媒體內容項目的開頭開始，而是在與觸發(fā)器被設置的下載中的點大致對應的點開始。
[0030]在一些實施例中，請求可以包括關于導致所述請求的觸發(fā)條件的信息。下面參照圖4a的步驟406討論這種可選信息的使用。
[0031]響應于該請求，在步驟306中，個人通信設備104開始從2D-媒體服務器110接收媒體內容項目的2D版本。在某些情況下，3D-媒體服務器106和2D-媒體服務器110是相同的設備。在其他情況下，它們是不同的設備。<