用于媒體流式傳輸?shù)母纳频恼埱笕∠椒?br>【專利說明】用于媒體流式傳輸?shù)母纳频恼埱笕∠椒?br>【背景技術(shù)】
[0001] 超文本傳輸協(xié)議（"HTTP"）是當(dāng)前通過互聯(lián)網(wǎng)來傳遞內(nèi)容(例如，視頻、圖片、文本 等等）的常用方法。在許多當(dāng)前的應(yīng)用（例如，流式傳輸視頻文件）中，通過從接收機(jī)設(shè)備向 HTTP服務(wù)器重復(fù)地請求針對內(nèi)容的連續(xù)片段（segment)而使得內(nèi)容漸進(jìn)地可用。片段的可 用性遵循時(shí)間線，其中時(shí)間線指示每個(gè)相繼片段在HTTP服務(wù)器中何時(shí)變得可用。
[0002] 超文本傳輸協(xié)議的動(dòng)態(tài)自適應(yīng)流式傳輸（"DASH"）是實(shí)現(xiàn)HTTP流式傳輸?shù)臉?biāo)準(zhǔn)。 DASH在發(fā)送給接收機(jī)設(shè)備的媒體呈現(xiàn)描述（"MPD"）中通告片段的可用性。MH)描述與DASH媒 體呈現(xiàn)相關(guān)聯(lián)的媒體組件，并且聲明片段可用性時(shí)間線，其中片段可用性時(shí)間線通告片段、 片段可用的時(shí)間以及片段的大小。
[0003] 當(dāng)前，接收機(jī)設(shè)備可以通過在播放內(nèi)容的當(dāng)前片段時(shí)持續(xù)地向內(nèi)容提供方請求內(nèi) 容的下一片段來渲染內(nèi)容流。為了收集渲染內(nèi)容所需要的片段，在接收機(jī)設(shè)備上運(yùn)行的具 有DASH功能的應(yīng)用/客戶端向HTTP服務(wù)器發(fā)送HTTP請求，以請求在MPD中所標(biāo)識的下一片 段。HTTP服務(wù)器利用所請求的片段來進(jìn)行響應(yīng)，或者利用指示另一個(gè)統(tǒng)一資源定位符 ("URL"）的HTTP重定向消息來進(jìn)行響應(yīng)，其中DASH客戶端應(yīng)當(dāng)向該URL發(fā)送針對片段的后續(xù) HTTP請求。
[0004] DASH還允許使每個(gè)片段的一個(gè)以上的表示(representation)(例如，視頻質(zhì)量版 本)可用。例如，可以通過在一個(gè)服務(wù)器(例如，URL)上托管片段的高比特速率/高質(zhì)量版本 并且在另一個(gè)服務(wù)器上托管相同片段的低比特速率/低質(zhì)量版本，來使每個(gè)片段的一個(gè)以 上的表示可用。DASH應(yīng)用/客戶端然后可以獲取片段的高比特速率/高質(zhì)量版本(例如，當(dāng)接 收帶寬高時(shí))或者低比特速率/低質(zhì)量版本(例如，當(dāng)接收帶寬低時(shí)），并且渲染任一版本。如 果接收機(jī)設(shè)備經(jīng)歷非常高的帶寬，則接收機(jī)設(shè)備可以下載高質(zhì)量表示和低質(zhì)量表示二者。

【發(fā)明內(nèi)容】

[0005] 各個(gè)實(shí)施例提供了由在接收機(jī)設(shè)備上執(zhí)行DASH客戶端的處理器來實(shí)現(xiàn)的、用于鑒 于接收機(jī)設(shè)備的資源(例如，帶寬、電池功率等等)上的變化而確定要何時(shí)取消或放棄按照 當(dāng)前表示下載當(dāng)前片段并且按照不同表示重新開始下載當(dāng)前片段，以滿足與接收機(jī)設(shè)備的 資源上的變化相關(guān)的一個(gè)或多個(gè)性能目標(biāo)和/或優(yōu)化的方法。在各個(gè)實(shí)施例中，接收機(jī)設(shè)備 處理器可以執(zhí)行成本效益分析，以確定在對當(dāng)前片段的正在進(jìn)行的下載期間切換表示是否 會(huì)有益于接收機(jī)設(shè)備的性能，并且接收機(jī)設(shè)備處理器可以響應(yīng)于確定切換表示會(huì)改善接收 機(jī)設(shè)備的性能而切換表示。
[0006] 在一個(gè)實(shí)施例中，接收機(jī)設(shè)備處理器可以在確定是否要切換表示之前識別接收機(jī) 設(shè)備上已發(fā)生切換情形。在一個(gè)實(shí)施例中，當(dāng)接收機(jī)設(shè)備的可用資源(例如，帶寬、電池功率 等等)上的變化正在影響或者將影響當(dāng)前片段下載期間的一個(gè)或多個(gè)性能目標(biāo)時(shí)會(huì)發(fā)生切 換情形，并且切換情形可以表示如下情況，在該情況下，可能要求取消按照當(dāng)前表示對當(dāng)前 片段的下載并且重新開始下載當(dāng)前片段的不同表示，以滿足一個(gè)或多個(gè)性能目標(biāo)。
[0007] 在一個(gè)實(shí)施例中，響應(yīng)于識別切換情形，接收機(jī)設(shè)備處理器可以執(zhí)行成本效益分 析，以確定在當(dāng)前片段的下載期間切換表示是否會(huì)達(dá)到一個(gè)或多個(gè)性能目標(biāo)或者引起接收 機(jī)設(shè)備上的期望性能。在另外的實(shí)施例中，接收機(jī)設(shè)備處理器可以確定或計(jì)算滿足所述一 個(gè)或多個(gè)性能目標(biāo)所需的最低條件(例如，一個(gè)或多個(gè)成本閾值），例如，放棄對當(dāng)前片段的 正在進(jìn)行的下載所需的時(shí)間以及用于按照新的表示從該服務(wù)器下載整個(gè)當(dāng)前片段的時(shí)間。
[0008] 在另一個(gè)實(shí)施例中，接收機(jī)設(shè)備處理器可以將切換表示的成本與成本閾值進(jìn)行比 較，以確定切換表示是否是用于達(dá)到一個(gè)或多個(gè)性能目標(biāo)的令人期望的策略，并且僅當(dāng)接 收機(jī)設(shè)備處理器確定切換的益處大于成本時(shí)（例如，當(dāng)經(jīng)計(jì)算的成本不超過成本閾值時(shí)）， 接收機(jī)設(shè)備處理器才會(huì)取消當(dāng)前片段請求并切換到當(dāng)前片段的另一個(gè)表示。否則，當(dāng)成本 超過成本閾值時(shí)，接收機(jī)設(shè)備處理器不會(huì)采取進(jìn)一步的動(dòng)作，并且允許繼續(xù)正在進(jìn)行的下 載。
【附圖說明】
[0009] 附圖（其被并入本文并構(gòu)成本說明書的一部分)示出了本發(fā)明的示例性實(shí)施例，并 且與上面所給出的概括描述以及下面所給出的具體實(shí)施例一起，用于說明本發(fā)明的特征。
[0010] 圖1是適合于與各個(gè)實(shí)施例一起使用的網(wǎng)絡(luò)的通信系統(tǒng)框圖。
[0011] 圖2是示出了用于響應(yīng)于識別即將出現(xiàn)的播出停頓而請求按照具有較低比特速率 的表示下載下一個(gè)片段的典型方法的過程流程圖。
[0012] 圖3是示出了用于當(dāng)切換到當(dāng)前片段的另一個(gè)表示的成本不超過成本閾值時(shí)切換 到當(dāng)前片段的另一個(gè)表示的實(shí)施例方法的過程流程圖。
[0013] 圖4是示出了用于確定切換到當(dāng)前片段的最小成本表示的成本是否超過成本閾值 的實(shí)施例方法的過程流程圖。
[0014] 圖5是示出了用于切換到當(dāng)前片段的最佳可用表示的實(shí)施例方法的過程流程圖。 [0015]圖6是示出了切換表示所需的操作的時(shí)間線圖。
[0016] 圖7是示出了用于切換表示以避免即將出現(xiàn)的播出停頓的實(shí)施例方法的過程流程 圖。
[0017] 圖8是示出了用于當(dāng)切換到表示的成本不超過與一個(gè)或多個(gè)性能目標(biāo)和/或優(yōu)化 相關(guān)聯(lián)的一個(gè)或多個(gè)成本閾值時(shí)切換到該表示的實(shí)施例方法的過程流程圖。
[0018] 圖9是示出了用于響應(yīng)于識別以可用于接收機(jī)設(shè)備的資源上的增加為特征的切換 情形而確定是否要切換表示的實(shí)施例方法的過程流程圖。
[0019] 圖10是示出了用于響應(yīng)于識別帶寬上的突然增加而確定是否要同時(shí)按照當(dāng)前表 示和具有較高比特速率的表示下載當(dāng)前片段的實(shí)施例方法的過程流程圖。
[0020] 圖11是適合于與各個(gè)實(shí)施例一起使用的示例性接收機(jī)設(shè)備的部件圖。
【具體實(shí)施方式】
[0021] 將參考附圖詳細(xì)描述各個(gè)實(shí)施例。只要有可能，貫穿附圖將使用相同的附圖標(biāo)記 來指代相同或相似的部件。對特定例子和實(shí)現(xiàn)做出的引用是出于說明性的目的，并非旨在 限制本發(fā)明或權(quán)利要求的范圍。
[0022] 如本文所使用的，術(shù)語"接收機(jī)設(shè)備"是指以下各項(xiàng)中的任意一項(xiàng)或所有項(xiàng)：蜂窩 電話、智能電話、個(gè)人或移動(dòng)多媒體播放器、個(gè)人數(shù)據(jù)助理(PDA)、膝上型計(jì)算機(jī)、平板計(jì)算 機(jī)、智能本、掌上計(jì)算機(jī)、無線電子郵件接收機(jī)、具有多媒體互聯(lián)網(wǎng)功能的蜂窩電話、無線游 戲控制器、個(gè)人計(jì)算機(jī)、電視機(jī)頂盒、電視機(jī)、有線電視接收機(jī)、以及包括可編程處理器和存 儲(chǔ)器以及用于呈現(xiàn)媒體內(nèi)容的電路的類似個(gè)人電子設(shè)備。
[0023] 如本文所使用的，術(shù)語"切換表示（switching representations)"是指以下過程： 取消按照第一表示對當(dāng)前片段的下載，并且按照第二表示重新開始對該當(dāng)前片段的下載。 [0024]本文討論了不同的應(yīng)用/客戶端、中間件、片段可用性時(shí)間線、無線技術(shù)和傳輸協(xié) 議的各個(gè)例子，特別是DASH客戶端、MPD和HTTP。提供對DASH客戶端、MPD和HTTP的討論僅是 作為例子以更好地說明各個(gè)實(shí)施例的方面，而并非旨在以任何方式限制各個(gè)實(shí)施例。其它 應(yīng)用/客戶端、中間件、片段可用性時(shí)間線、無線技術(shù)和傳輸協(xié)議可以與各個(gè)實(shí)施例一起使 用，并且在不偏離本發(fā)明的精神或范圍的情況下，在各個(gè)例子中可以替換所述其它應(yīng)用/客 戶端、中間件、片段可用性時(shí)間線、無線技術(shù)和傳輸協(xié)議。
[0025]典型地，DASH客戶端在某一時(shí)間處處理三個(gè)不同的片段：正從回放緩沖區(qū)播出的 片段、當(dāng)前從HTTP服務(wù)器下載的片段；以及要請求下載的下一個(gè)片段。如本文所使用的，術(shù) 語"當(dāng)前片段"是指當(dāng)前正在下載并被存儲(chǔ)到回放緩沖區(qū)中的片段。典型地，當(dāng)前下載的片 段將稍后播放，例如播放的下一個(gè)片段或者稍后某一時(shí)間播放的片段。在具有媒體應(yīng)用系 統(tǒng)(其支持對部分下載的片段的播出）的接收機(jī)設(shè)備中，當(dāng)前片段(即，正在下載并存儲(chǔ)的片 段)可以在下載完成之前開始播放，這是因?yàn)樵诮邮詹⒋鎯?chǔ)片段的其余部分的同時(shí)，媒體片 段可以開始從回放緩沖區(qū)中訪問片段的已下載部分。
[0026]在流式傳輸內(nèi)容（例如，視頻)時(shí)，接收機(jī)設(shè)備可能出于各種原因而經(jīng)歷可用帶寬 上的波動(dòng)。典型地，運(yùn)行在接收機(jī)設(shè)備上的DASH客戶端通過當(dāng)DASH客戶端請求流式傳輸內(nèi) 容的下一個(gè)片段時(shí)，基于當(dāng)前可用帶寬來在流式傳輸內(nèi)容的不同表示當(dāng)中選擇用于下載的 下一個(gè)片段的表示，來處理帶寬變化。例如，客戶端設(shè)備可以響應(yīng)于識別可用帶寬上的下降 而請求流式傳輸內(nèi)容的下一個(gè)片段的較低比特速率版本。對每個(gè)片段的適當(dāng)版本的這種選 擇可以基于下載片段將花費(fèi)的時(shí)間相比于該片段開始播放之前剩余的時(shí)間（或者正在播放 的片段的剩余播放時(shí)間），而下載每個(gè)片段的時(shí)間可以基于片段中要下載的數(shù)據(jù)量除以由 當(dāng)前帶寬所支持的估計(jì)的比特速率來進(jìn)行估計(jì)。因此，DASH客戶端當(dāng)前僅可以改變針對內(nèi) 容的下一個(gè)片段的比特速率表示。如本文所描述的，選擇針對要下載的下一個(gè)片段的另一 個(gè)表示的過程被稱為"主速率選擇算法"。
[0027]有時(shí)，當(dāng)DASH客戶端正在以某一比特速率下載當(dāng)前片段時(shí)，可用帶寬顯著下降，使 得在當(dāng)前片段被調(diào)度開始播放之前不能完成對當(dāng)前片段的完整下載。當(dāng)這種情況發(fā)生時(shí)， 在帶寬下降的前提下，當(dāng)前片段將無法及時(shí)下載，因此結(jié)果將是視頻播出的停頓。在當(dāng)前的 實(shí)現(xiàn)中，DASH客戶端可以基于對以下各項(xiàng)的估計(jì)來預(yù)測回放停頓何時(shí)可能發(fā)生：當(dāng)前帶寬 (下載比特速率）、還要從HTTP服務(wù)器接收的當(dāng)前片段的數(shù)據(jù)量、以及在當(dāng)前片段被調(diào)度開 始之前剩余的時(shí)間。但是，DASH客戶端僅可以通過如上面所描述的主速率選擇算法解決回 放問題。因此，即使DASH客戶端可能最終通過切換到具有較低比特速率的表示解決了回放 停頓，但是到那時(shí)，用戶可能已經(jīng)經(jīng)歷性能下降（例如，回放停頓）。因此，用戶可以從處理在 當(dāng)前片段下載期間發(fā)生的帶寬突然下降的方法中獲益。
[0028]概括地說，各個(gè)實(shí)施例提供了由在接收機(jī)設(shè)備上執(zhí)行DASH客戶端的處理器來實(shí)現(xiàn) 的、用于鑒于接收機(jī)設(shè)備的資源(例如，帶寬、電池功率等等)上的變化而確定要何時(shí)取消或 放棄按照當(dāng)前表示下載當(dāng)前片段并且按照不同表示重新開始對的當(dāng)前片段的下載以滿足 與接收機(jī)設(shè)備的資源上的變化相關(guān)的一個(gè)或多個(gè)性能目標(biāo)和/或優(yōu)化的方法。在各個(gè)實(shí)施 例中，接收機(jī)設(shè)備處理器可以執(zhí)行成本效益分析，以確定在對當(dāng)前片段的正在進(jìn)行的下載 期間切換表示是否會(huì)有益于接收機(jī)設(shè)備的性能，并且接收機(jī)設(shè)備處理器可以響應(yīng)于確定切 換表示會(huì)改善接收機(jī)設(shè)備的性能來切換表示。
[0029] 在一個(gè)實(shí)施例中，接收機(jī)設(shè)備處理器可以在確定是否要切換表示之前識別接收機(jī) 設(shè)備上已發(fā)生切換情形。在一個(gè)實(shí)施例中，當(dāng)接收機(jī)設(shè)備的可用資源(例如，帶寬、電池功率 等等)上的變化正在影響或者將影響當(dāng)前片段下載期間的一個(gè)或多個(gè)性能目標(biāo)時(shí)會(huì)發(fā)生切 換情形。示例性性能目標(biāo)包括維持某一功耗率、確保用于播出的目標(biāo)比特速率、限制數(shù)據(jù)使 用、以及確保平滑播出（例如，避免播出停頓）。特別地，切換情形可以表示以下情況，在該情 況下，可能要求取消按照當(dāng)前表示對當(dāng)前片段的下載并且重新開始對當(dāng)前片段的不同表示 的下載，以滿足一個(gè)或多個(gè)性能目標(biāo)。例如，當(dāng)接收機(jī)設(shè)備處理器識別帶寬上的突然下降將 導(dǎo)致播出停頓時(shí)會(huì)發(fā)生切換情形，因?yàn)檩^低的帶寬將阻止接收機(jī)設(shè)備在當(dāng)前片段被調(diào)度用 于播出之前完成對具有當(dāng)前比特速率表示的當(dāng)前片段的下載。
[0030] 在一個(gè)實(shí)施例中，響應(yīng)于識別切換情形，接收機(jī)設(shè)備處理器可以執(zhí)行成本效益分 析，以確定在當(dāng)前片段的下載期間切換表示是否會(huì)達(dá)到一個(gè)或多個(gè)性能目標(biāo)或者引起接收 機(jī)設(shè)備上的期望性能。在另外的實(shí)施例中，接收機(jī)設(shè)備處理器可以確定或計(jì)算滿足所述一 個(gè)或多個(gè)性能目標(biāo)所要求的最低條件(例如，成本閾值）。例如，達(dá)到平滑回放的成本閾值可 以是從播出停頓發(fā)生之前的時(shí)間量的角度來講的，并且滿足關(guān)于阻止播出停頓要求切換表 示所需要的時(shí)間不超過預(yù)計(jì)要發(fā)生播出停頓之前的時(shí)間的平滑回放目標(biāo)。在下面的描述中 以及在權(quán)利要求書中，對"成本"的引用旨在涵蓋本質(zhì)上不是財(cái)務(wù)的多種因素，包括電池功 耗以及用于完成如下面所描述的各個(gè)任務(wù)的時(shí)間。
[0031] 在一個(gè)實(shí)施例中，接收機(jī)設(shè)備處理器可以基于要滿足的一個(gè)或多個(gè)性能目標(biāo)來計(jì) 算與切換表示相關(guān)聯(lián)的各種成本。在性能目標(biāo)是確保平滑播出的例子中，接收機(jī)設(shè)備處理 器可以從切換表示所要求的時(shí)間的角度上來計(jì)算與切換表示相關(guān)聯(lián)的成本，例如放棄對當(dāng) 前片段的正在進(jìn)行的下載(其可能涉及關(guān)閉TCP/IP連接并打開新連接)所需要的時(shí)間、向 HTTP服務(wù)器傳送針對另一個(gè)表示的請求所需要的時(shí)間、以及用于按照新的表示從該服務(wù)器 下載整個(gè)當(dāng)前片段的時(shí)間。在各個(gè)實(shí)施例中，接收機(jī)設(shè)備處理器還可以或者替代地從切換 表示所需要的功率、對播出的平均比特速率的影響、或者對各種其它性能目標(biāo)或優(yōu)化的影 響的角度來確定成本。
[0032] 在另一個(gè)實(shí)施例中，接收機(jī)設(shè)備處理器可以將切換表示的成本與預(yù)先確定的成本 閾值進(jìn)行比較，以確定切換表示是否是用于達(dá)到一個(gè)或多個(gè)性能目標(biāo)的令人期望的策略。 接收機(jī)設(shè)備處理器可以在切換表示之前執(zhí)行成本效益分析，因?yàn)樵谠S多實(shí)例中，每次檢測 到切換情形就切換表示可能引起比不采取動(dòng)作更差的用戶體驗(yàn)。因此，僅當(dāng)接收機(jī)設(shè)備處 理器確定切換的益處大于成本時(shí)（例如，當(dāng)經(jīng)計(jì)算的成本不超過成本閾值時(shí)），接收機(jī)設(shè)備 處理器才會(huì)取消當(dāng)前片段請求并且切換到當(dāng)前片段的另一個(gè)表示。否則，當(dāng)成本超過成本 閾值時(shí)，接收機(jī)設(shè)備處理器不會(huì)采取進(jìn)一步的動(dòng)作并且可以正常地操作，例如通過執(zhí)行如 上面所描述的主速率選擇算法。
[0033]在另外的實(shí)施例中，接收機(jī)設(shè)備處理器可以切換表示而不干擾接收機(jī)設(shè)備處理器 執(zhí)行主速率選擇算法的能力。在一個(gè)實(shí)施例中，接收機(jī)設(shè)備處理器在確定是否在當(dāng)前片段 下載期間切換表示時(shí)可以使用與在執(zhí)行主速率選擇算法時(shí)相同的信息源。該實(shí)施例可以避 免"兵乓(ping-pong)"情形，在該情形下，接收機(jī)設(shè)備處理器在對當(dāng)前片段的下載期間切換 表示而之后在執(zhí)行主速率選擇算法以選擇下一個(gè)片段時(shí)又切換回去。
[0034]圖1示出了適合于與各個(gè)實(shí)施例一起使用的通信網(wǎng)絡(luò)系統(tǒng)100。通信網(wǎng)絡(luò)系統(tǒng)100 可以包括多個(gè)設(shè)備，例如接收機(jī)設(shè)備102、一個(gè)或多個(gè)蜂窩塔或基站104、一個(gè)或多個(gè)無線接 入點(diǎn)114、一個(gè)或多個(gè)路由器109、以及連接到互聯(lián)網(wǎng)110的服務(wù)器108和112。接收機(jī)設(shè)備102 可以經(jīng)由一個(gè)或多個(gè)蜂窩連接1〇6(包括001^、了01^、631、？03、36、46、1^或者任何其它類型 的連接)來與蜂窩塔或基站104交換數(shù)據(jù)。蜂窩塔或基站104可以與路由器(未示出）相通信， 其中路由器可以連接到互聯(lián)網(wǎng)110。接收機(jī)設(shè)備102可以經(jīng)由一個(gè)或多個(gè)連接118(包括 'Vi-Fi?或者任何其它類型的連接)來與無線接入點(diǎn)114交換數(shù)據(jù)。無線接入點(diǎn)114可以與 路由器(未示出）相通信，其中路由器可以連接到互聯(lián)網(wǎng)110。接收機(jī)設(shè)