專(zhuān)利名稱(chēng)：將遠(yuǎn)程音頻與固定視頻同步的制作方法
技術(shù)領(lǐng)域：
本公開(kāi)總體上涉及無(wú)線通信，具體地涉及將在獨(dú)立的設(shè)備上一例如在手持電子 設(shè)備和無(wú)線耳機(jī)上一播放的音頻信號(hào)和視頻信號(hào)同步。
背景技術(shù)：
當(dāng)前，許多具有藍(lán)牙功能的移動(dòng)電話支持一系列基本功能，諸如用于實(shí)現(xiàn)免提呼 叫的耳機(jī)/免提模式，用于推入、拉出和傳送文件的特定OBEX功能和用于一般訪問(wèn)的某種 類(lèi)型的串行連接。這些電話的大多數(shù)也在一定程度上支持諸如MP3和其他格式的音頻片段 之類(lèi)的媒體內(nèi)容。一些具有藍(lán)牙功能的電話也能夠播放MP4型媒體內(nèi)容，其在同一文件中 組合視頻、音頻和元數(shù)據(jù)。然而，當(dāng)在蜂窩電話顯示器或者其他主設(shè)備上觀看視頻內(nèi)容并且 在無(wú)線耳機(jī)上播放伴隨的音頻內(nèi)容時(shí)，音頻和視頻同步問(wèn)題可能發(fā)生。例如，從諸如蜂窩電 話或者個(gè)人計(jì)算機(jī)的媒體設(shè)備經(jīng)由藍(lán)牙到立體聲耳機(jī)的流立體聲音質(zhì)音頻要求使用通用 音頻視頻訪問(wèn)簡(jiǎn)檔(GAVDP)、高級(jí)音頻源簡(jiǎn)檔(A2DP)和音頻視頻源傳送協(xié)議(ADVTP)。A2DP 要求使用子頻帶編碼(SBC)方案來(lái)保證在所有藍(lán)牙設(shè)備之間的互操作性。如果以MP3格式 在電話上存儲(chǔ)了音樂(lè)文件，則它們一般被譯碼為SBC，以便使用A2DP來(lái)流送音頻。音頻內(nèi)容 的轉(zhuǎn)碼及其向無(wú)線耳機(jī)的傳輸引入了影響同步的等待時(shí)間。在主設(shè)備和耳機(jī)之間的數(shù)據(jù)的 重傳和在耳機(jī)上的音頻內(nèi)容的隨后處理也可能影響同步。通過(guò)仔細(xì)地考慮下面的其詳細(xì)說(shuō)明與下述的附圖，本公開(kāi)的各個(gè)方面、特征和優(yōu) 點(diǎn)將對(duì)于本領(lǐng)域內(nèi)的普通技術(shù)人員變得更清楚。附圖可能為了清楚而已經(jīng)被簡(jiǎn)化，并且不 必然是按照比例繪制的。


圖1是多媒體設(shè)備和遠(yuǎn)程音頻設(shè)備的示意方框圖。圖2是用于確定延遲的處理流程圖。圖3是用于確定估計(jì)的延遲的處理流程圖。圖4是用于同步音頻幀和視頻幀的處理流程圖。圖5是用于確定遠(yuǎn)程音頻設(shè)備是否支持主多媒體設(shè)備原有的音頻格式的處理流 程圖。
具體實(shí)施例方式圖1圖解了可通信地耦合到遠(yuǎn)程音頻設(shè)備102的手持多媒體設(shè)備100，其中，在多 媒體設(shè)備上呈現(xiàn)視頻內(nèi)容，并且在遠(yuǎn)程音頻設(shè)備上呈現(xiàn)相關(guān)的音頻內(nèi)容。示例性多媒體設(shè) 備是移動(dòng)電話，其包括能夠播放視頻內(nèi)容的至少一個(gè)視頻播放器。然而，更一般而言，設(shè)備 100包括多媒體播放器104，其能夠呈現(xiàn)音頻和視頻內(nèi)容。在其他實(shí)施例中，多媒體設(shè)備是 能夠至少呈現(xiàn)視頻內(nèi)容并且與能夠呈現(xiàn)伴隨的音頻內(nèi)容的遠(yuǎn)程音頻設(shè)備通信的任何主機(jī) 設(shè)備。在一種實(shí)現(xiàn)方式中，多媒體設(shè)備支持MP4多媒體內(nèi)容或者某種其他多媒體格式內(nèi)容。MP4是組合視頻、音頻和元數(shù)據(jù)的容器格式。遠(yuǎn)程音頻設(shè)備102可以被實(shí)現(xiàn)為音頻耳機(jī)或者 能夠與所述主機(jī)設(shè)備通信的某種其他的音頻設(shè)備。在一個(gè)實(shí)施例中，遠(yuǎn)程音頻設(shè)備與主機(jī) 設(shè)備無(wú)線地通信，盡管在其他實(shí)施例中，所述設(shè)備經(jīng)由有線線路來(lái)通信。遠(yuǎn)程音頻設(shè)備一般 支持由主機(jī)設(shè)備提供的音頻格式，如下進(jìn)一步所述。在一個(gè)實(shí)施例中，多媒體設(shè)備按照藍(lán)牙協(xié)議與遠(yuǎn)程音頻設(shè)備無(wú)線地通信。然而，在 其他實(shí)施例中，這些設(shè)備按照某種其他的開(kāi)放或者專(zhuān)有無(wú)線或者有線通信協(xié)議來(lái)通信。在 一些情況下，當(dāng)在多媒體設(shè)備的用戶界面上呈現(xiàn)多媒體文件的視頻分量和在遠(yuǎn)程設(shè)備上呈 現(xiàn)伴隨的音頻分量時(shí)，可能出現(xiàn)同步問(wèn)題。如所述，與從多媒體設(shè)備到遠(yuǎn)程音頻設(shè)備的音頻 分量的傳輸相關(guān)聯(lián)的傳播延遲可能導(dǎo)致不可接受的同步缺失。在主機(jī)設(shè)備和遠(yuǎn)程音頻設(shè)備 之間的不良重傳或者丟失數(shù)據(jù)也可能影響傳播延遲。例如，在其中主機(jī)設(shè)備與遠(yuǎn)程音頻設(shè) 備無(wú)線地通信的移動(dòng)應(yīng)用中，通過(guò)改變信道條件也可能影響傳播延遲。在多媒體設(shè)備和/或在遠(yuǎn)程音頻設(shè)備處的音頻內(nèi)容的本地處理也可能不利地影 響同步。在一些實(shí)現(xiàn)方式中，例如，從多媒體設(shè)備經(jīng)由藍(lán)牙向立體聲耳機(jī)的流立體聲音質(zhì)音 頻要求使用通用音頻視頻訪問(wèn)簡(jiǎn)檔(GAVDP)、高級(jí)音頻分發(fā)簡(jiǎn)檔(A2DP)和音頻視頻分發(fā)傳 送協(xié)議(ADVTP)。A2DP要求子頻帶編碼(SBC)來(lái)保證在藍(lán)牙設(shè)備之間的互操作性。在多媒 體設(shè)備上存儲(chǔ)的例如MP3的一些音頻文件格式一般被譯碼為SBC，以便使用A2DP。在其他 實(shí)施例中，可以使用其他音頻和視頻協(xié)議。不論什么原因引起的在主機(jī)設(shè)備上的音頻內(nèi)容 的轉(zhuǎn)碼都仍然引入可能不利地影響音頻和視頻同步的等待時(shí)間。通過(guò)在遠(yuǎn)程音頻設(shè)備處理 音頻也可以影響同步。在圖1中，多媒體設(shè)備包括耦合到多媒體播放器的分割實(shí)體106。分割實(shí)體被配置 為將多媒體流分割為音頻幀和視頻幀。在一種實(shí)現(xiàn)方式中，從多媒體設(shè)備上的存儲(chǔ)設(shè)備讀 取輸入到分割實(shí)體的多媒體內(nèi)容。在其他實(shí)現(xiàn)方式中，從遠(yuǎn)程源流送多媒體內(nèi)容。在后一種 實(shí)現(xiàn)方式中，可以通過(guò)有線或者無(wú)線網(wǎng)絡(luò)流送多媒體內(nèi)容。流送的內(nèi)容可以始發(fā)自任何源， 例如DVB-H或者其他廣播源，或者其可以從連接到因特網(wǎng)的內(nèi)容服務(wù)器或者通過(guò)某個(gè)其他 網(wǎng)絡(luò)被流送。在其他實(shí)現(xiàn)方式中，可以從某個(gè)其他源——例如從可通信地耦合到多媒體設(shè) 備的記錄設(shè)備——獲得多媒體內(nèi)容。本公開(kāi)不意欲限于特定的多媒體內(nèi)容源。在圖1中，多媒體設(shè)備100也包括排序?qū)嶓w108，其具有耦合到分割實(shí)體的輸出的 輸入。在一個(gè)實(shí)施例中，排序?qū)嶓w108被配置為向至少一個(gè)音頻幀添加序號(hào)。在其他實(shí)施 例中，也向至少一個(gè)視頻幀添加序號(hào)。更一般而言，可以向每第η個(gè)音頻幀和向每第η個(gè)視 頻幀添加序號(hào)，其中，η是大于0的某個(gè)整數(shù)值。在一些實(shí)施例中，被添加到音頻幀和視頻 幀的序號(hào)可以用于評(píng)估在重放期間的在音頻幀和視頻幀之間的同步，如下更全面所述。在圖1中，視頻播放器104耦合到分割實(shí)體106，其中，視頻播放器被配置為在設(shè)備 的用戶界面一例如在其視頻顯示器一呈現(xiàn)從分割實(shí)體接收的視頻幀。在圖1中，視頻 播放器104耦合到排序?qū)嶓w108，其中，排序?qū)嶓w經(jīng)由緩沖器實(shí)體114向視頻播放器104傳 送視頻幀。在其他實(shí)現(xiàn)方式中，視頻播放器直接耦合到分割實(shí)體106，其中，分割實(shí)體經(jīng)由緩 沖器實(shí)體114向視頻播放器傳送視頻幀。在其中經(jīng)由排序?qū)嶓w將視頻幀路由到視頻播放器 的實(shí)施例中，排序?qū)嶓w根據(jù)特定實(shí)現(xiàn)方式而可以或者可以不向視頻幀添加序號(hào)。在一些實(shí)施例中，多媒體設(shè)備包括轉(zhuǎn)碼實(shí)體，用于其中可能需要轉(zhuǎn)碼的實(shí)現(xiàn)方式。 在一些實(shí)例中，例如，在多媒體設(shè)備上存儲(chǔ)的音頻文件格式被傳輸?shù)竭h(yuǎn)程音頻設(shè)備之前可以被轉(zhuǎn)碼為另一個(gè)格式。在一些實(shí)施例中，如上所述，MP3格式音頻幀被轉(zhuǎn)碼為SBC，以便使 用A2DP。在其他實(shí)施例中，譯碼器實(shí)體譯碼其他音頻格式。在圖1中，示例性主機(jī)設(shè)備包括 譯碼實(shí)體109，用于譯碼音頻幀。下面進(jìn)一步說(shuō)明與在主機(jī)設(shè)備和遠(yuǎn)程音頻設(shè)備上的譯碼相 關(guān)聯(lián)的延遲。在圖1中，主機(jī)設(shè)備100包括收發(fā)信機(jī)110，其耦合到排序?qū)嶓w108。在一個(gè)實(shí)施 例中，收發(fā)信機(jī)是無(wú)線收發(fā)信機(jī)，例如藍(lán)牙或者某種其他協(xié)議無(wú)線收發(fā)信機(jī)。然而，更一般 而言，收發(fā)信機(jī)可以是有線收發(fā)信機(jī)。收發(fā)信機(jī)一般被配置為向遠(yuǎn)程音頻設(shè)備發(fā)射音頻幀。 在接收時(shí)，遠(yuǎn)程音頻設(shè)備在其用戶界面上——例如在耳機(jī)換能器上——呈現(xiàn)音頻幀。在一 些實(shí)施例中，可以在向用戶呈現(xiàn)之前在遠(yuǎn)程音頻設(shè)備處理音頻幀。在主機(jī)多媒體設(shè)備的用戶界面上呈現(xiàn)的視頻幀優(yōu)選地與在遠(yuǎn)程音頻設(shè)備的用戶 界面上呈現(xiàn)的音頻幀同步。在本公開(kāi)中，同步表示在指定的時(shí)間間隔中出現(xiàn)音頻幀和伴隨 的視頻幀的呈現(xiàn)。指定的時(shí)間間隔是主觀的，因?yàn)閷?duì)于同步的敏感度在用戶之間可能在一 定程度上有所不同。指定時(shí)間間隔一般被選擇使得至少對(duì)于大多數(shù)用戶而言沒(méi)有可感知的 用戶感知的同步缺失。在指定時(shí)間間隔之外的視頻幀和伴隨的音頻幀的呈現(xiàn)之間的任何延 遲是不同步的。根據(jù)本公開(kāi)的一個(gè)方面，至少相對(duì)于主觀指定的時(shí)間間隔而言，不同步的音 頻幀和視頻幀的呈現(xiàn)被減少，并且優(yōu)選地被消除。在圖1中，多媒體設(shè)備也包括控制器112，其耦合到視頻播放器104?？刂破饕话?被配置為確定視頻幀和伴隨的音頻幀是否是同步的，并且也以減少或者消除同步缺失的方 式來(lái)控制視頻幀和/或音頻幀的呈現(xiàn)。在一個(gè)實(shí)施例中，控制器被配置為根據(jù)向一個(gè)或多 個(gè)音頻幀添加的序號(hào)來(lái)確定與向遠(yuǎn)程音頻設(shè)備發(fā)射音頻幀相關(guān)聯(lián)的延遲。控制器也被配置 為根據(jù)延遲來(lái)控制在視頻播放器的視頻幀的呈現(xiàn)。在一個(gè)實(shí)施例中，控制器延遲在多媒體 設(shè)備的用戶界面上的視頻幀的呈現(xiàn)，以將在遠(yuǎn)程設(shè)備的音頻幀與在主機(jī)設(shè)備的視頻幀的呈 現(xiàn)同步。在圖1中，主機(jī)設(shè)備100包括耦合到視頻播放器104的緩沖器和延遲實(shí)體114。在 一個(gè)實(shí)施例中，緩沖器和延遲實(shí)體是視頻播放器的一部分。然而，在其他實(shí)施例中，緩沖器 和延遲實(shí)體114是獨(dú)立的。控制器112耦合到緩沖器和延遲實(shí)體114，因此控制器經(jīng)由實(shí)體 114耦合到視頻播放器104。在一個(gè)實(shí)施例中，控制器112通過(guò)向緩沖器和延遲實(shí)體114提 供控制信號(hào)來(lái)根據(jù)傳輸延遲控制視頻幀的呈現(xiàn)，其中，控制信號(hào)延遲了視頻信號(hào)到視頻播 放器的傳送。在一種實(shí)現(xiàn)方式中，控制器通過(guò)測(cè)量具有序號(hào)的音頻幀到遠(yuǎn)程音頻設(shè)備的傳輸時(shí) 間來(lái)確定傳播延遲。在圖2中圖解的特定實(shí)施例中，在210，控制器選擇傳出的幀，并且在發(fā) 射所選擇的音頻幀時(shí)或者之前在220啟動(dòng)延遲定時(shí)器。所選擇的音頻幀具有序號(hào)。在圖1 中，控制器112耦合到譯碼實(shí)體109。在一個(gè)實(shí)施例中，控制器在從譯碼實(shí)體獲得音頻幀的 序號(hào)時(shí)啟動(dòng)定時(shí)器。在譯碼之前啟動(dòng)定時(shí)器考慮了與在主機(jī)設(shè)備上的譯碼相關(guān)聯(lián)的延遲。 替換地，可以在譯碼后——例如在音頻幀的傳輸后——啟動(dòng)定時(shí)器。因此，在一些實(shí)施例 中，可能不必將控制器耦合到譯碼實(shí)體。在一些實(shí)現(xiàn)方式中，例如，排序?qū)嶓w可以直接地向 控制器傳送音頻幀，因此，控制器從音頻幀獲得序號(hào)。在圖1中，主機(jī)設(shè)備100向遠(yuǎn)程音頻設(shè)備發(fā)射所選擇的具有序號(hào)的音頻幀。在圖 2中，在其中遠(yuǎn)程音頻設(shè)備向主機(jī)設(shè)備發(fā)送對(duì)于每個(gè)被發(fā)射的音頻幀的確認(rèn)的實(shí)施例中，控制器在230等待確認(rèn)。該確認(rèn)標(biāo)識(shí)具有序號(hào)的幀，因此使得控制器能夠確定與對(duì)應(yīng)的音頻 幀相關(guān)聯(lián)的延遲。在240，控制器在接收到確認(rèn)時(shí)或者在接收到確認(rèn)后的某個(gè)時(shí)間停止定 時(shí)器。在250，控制器確定傳輸延遲。定時(shí)器一般測(cè)量具有序號(hào)的音頻幀的往返延遲。根 據(jù)何時(shí)啟動(dòng)定時(shí)器，定時(shí)器也可以測(cè)量譯碼延遲，其對(duì)于特定的幀規(guī)模一般是固定的。可以 從所述時(shí)段減去這些和其他固定延遲，以允許精確地確定單向傳輸延遲。單向傳輸延遲也 可以被添加到本地和/或遠(yuǎn)程的處理延遲。例如，通過(guò)延遲視頻幀的呈現(xiàn)，傳輸延遲單獨(dú)或 者與其他延遲相結(jié)合的傳輸延遲可以用于控制視頻幀的呈現(xiàn)。在一些應(yīng)用中，傳輸延遲可 以根據(jù)信道變化而變化。因此，在這些和其他應(yīng)用中，控制器可以周期地跟蹤或者測(cè)量傳輸 延遲，并且對(duì)在主機(jī)設(shè)備上的視頻幀的呈現(xiàn)進(jìn)行對(duì)應(yīng)的調(diào)整。在一種實(shí)現(xiàn)方式中，控制器將 與音頻幀相關(guān)聯(lián)的傳輸延遲與消耗的視頻幀的數(shù)量進(jìn)行相關(guān)。當(dāng)延遲超過(guò)某個(gè)閾值時(shí)，控 制器以同步音頻幀和視頻幀的方式來(lái)延遲所呈現(xiàn)的視頻幀到視頻播放器的傳送。在一個(gè)實(shí) 施例中，通過(guò)向幀序列中插入空幀來(lái)延遲視頻幀。在另一個(gè)實(shí)施例中，通過(guò)重復(fù)一些或者全 部視頻幀來(lái)延遲視頻幀。重復(fù)的視頻幀的數(shù)量和/或重復(fù)速度一般取決于必須引入的延遲 量。在另一個(gè)實(shí)施例中，控制器通過(guò)比較在一個(gè)時(shí)段上消耗的視頻幀和音頻幀的數(shù)量 來(lái)確定延遲。控制器可以通過(guò)監(jiān)視緩沖器實(shí)體在指定的間隔期間向視頻播放器傳送視頻幀 的速度，來(lái)計(jì)數(shù)所消耗的音頻幀的數(shù)量。控制器可以通過(guò)監(jiān)視在指定的時(shí)間間隔期間從遠(yuǎn) 程音頻設(shè)備接收的確認(rèn)，來(lái)計(jì)數(shù)所消耗的音頻幀的數(shù)量。在其中向音頻幀和視頻幀添加序 號(hào)的實(shí)施例中，控制器可以通過(guò)監(jiān)視音頻幀和視頻幀的序號(hào)來(lái)計(jì)數(shù)音頻幀和視頻幀。當(dāng)延 遲超過(guò)指定閾值時(shí)，控制器以同步音頻幀和視頻幀的方式來(lái)延遲所呈現(xiàn)的視頻幀到視頻播 放器的傳送。在一些實(shí)施例中，在確定與向遠(yuǎn)程音頻設(shè)備發(fā)射音頻幀相關(guān)聯(lián)的延遲之前，控制 器將視頻幀延遲估計(jì)的延遲。估計(jì)的延遲可以基于一個(gè)或多個(gè)標(biāo)準(zhǔn)。在一個(gè)實(shí)施例中，估 計(jì)的延遲是在主機(jī)設(shè)備和遠(yuǎn)程音頻設(shè)備之間的傳輸延遲的估計(jì)。在另一個(gè)實(shí)施例中，估計(jì) 的延遲是在主機(jī)設(shè)備上發(fā)生的處理延遲和/或在遠(yuǎn)程設(shè)備上發(fā)生的處理延遲的估計(jì)。在其 他實(shí)施例中，估計(jì)的延遲是在主機(jī)設(shè)備和/或遠(yuǎn)程音頻設(shè)備上發(fā)生的傳輸延遲和處理延遲 的組合。估計(jì)的處理延遲可以例如基于特定類(lèi)型的譯碼。假定不同的設(shè)備具有不同的處理 延遲，估計(jì)的處理延遲也可以基于特定類(lèi)型的遠(yuǎn)程音頻設(shè)備。因此，除了估計(jì)的傳輸延遲之 外，估計(jì)的處理延遲可以一般基于遠(yuǎn)程音頻設(shè)備的能力，因?yàn)檫h(yuǎn)程音頻設(shè)備的能力指示遠(yuǎn) 程音頻設(shè)備的處理延遲和主機(jī)設(shè)備必須執(zhí)行以適應(yīng)遠(yuǎn)程音頻設(shè)備的至少任何譯碼延遲。在 一個(gè)實(shí)施例中，控制器根據(jù)在多媒體設(shè)備的查找表中存儲(chǔ)的延遲信息來(lái)確定估計(jì)的延遲。 在其中主機(jī)設(shè)備經(jīng)由藍(lán)牙與遠(yuǎn)程音頻設(shè)備通信的實(shí)現(xiàn)方式中，主機(jī)設(shè)備可以在將主機(jī)設(shè)備 與遠(yuǎn)程音頻設(shè)備鏈接時(shí)確定遠(yuǎn)程音頻設(shè)備類(lèi)型。因此，在一些應(yīng)用中，遠(yuǎn)程音頻設(shè)備類(lèi)型可 以被用作用于從查找表選擇估計(jì)的延遲的基礎(chǔ)。圖1圖解了耦合到控制器112的估計(jì)延遲 表 116。在圖3中，在310，控制器開(kāi)始確定估計(jì)的延遲的過(guò)程。在將主機(jī)設(shè)備與遠(yuǎn)程音 頻設(shè)備鏈接后或者在某個(gè)其他事件——優(yōu)選地是向遠(yuǎn)程音頻設(shè)備發(fā)射音頻幀之前的事 件——后，可以啟動(dòng)該過(guò)程。在320，控制器獲得可以形成估計(jì)的延遲的基礎(chǔ)的信息。控制 器可以然后從查找表獲得估計(jì)的延遲信息。在其他實(shí)施例中，估計(jì)的延遲基于一個(gè)以上估計(jì)因子。例如，控制器可以獲得遠(yuǎn)程音頻設(shè)備類(lèi)型信息、媒體格式信息等。控制器可以然后 對(duì)于每種信息從查找表獲得估計(jì)的延遲信息。在330，控制器例如通過(guò)合計(jì)來(lái)自查找表的估 計(jì)的延遲信息來(lái)計(jì)算估計(jì)的延遲。在340，控制器確定所計(jì)算的估計(jì)的延遲是否滿足條件， 例如是否在如上所述的指定的時(shí)間間隔之外。如果滿足所述條件，則在350，控制器112經(jīng) 由緩沖器和延遲實(shí)體114根據(jù)估計(jì)的延遲來(lái)延遲視頻幀的呈現(xiàn)。在圖1中圖解的一些實(shí)施例中，主機(jī)設(shè)備100包括輸入118，其允許用戶人為地控 制或者調(diào)整同步?？梢曰诠烙?jì)的延遲和/或測(cè)量的延遲將同步控制與人為同步輸入控制 組合使用。圖4是用于同步音頻幀和視頻幀的一般過(guò)程流程圖。在410，在初始化視頻后或者 在與遠(yuǎn)程音頻設(shè)備鏈接后，初始化所述過(guò)程。在420，初始化延遲估計(jì)器。以上結(jié)合圖3描 述了一種示例性延遲估計(jì)器。在圖4中，在430，如以上結(jié)合圖2所討論地監(jiān)視在音頻幀和 視頻幀的消耗之間的延遲。在440，確定在音頻幀和視頻幀的呈現(xiàn)或者消耗之間的任何延遲 是否超過(guò)等待時(shí)間閾值。該閾值涉及并且在一些實(shí)施例中對(duì)應(yīng)于用于定義音頻幀和視頻幀 是否是同步的指定時(shí)間間隔。在450，提供了對(duì)于同步所需要的視頻幀的呈現(xiàn)的任何調(diào)整。 在460，提供了對(duì)于音頻幀和視頻幀的同步的任何用戶產(chǎn)生的人為控制。如上所述，音頻和 視頻同步的用戶產(chǎn)生的人為控制可以獨(dú)立于基于估計(jì)或者測(cè)量的延遲的任何控制。在470， 控制器監(jiān)視要被施加到視頻幀的呈現(xiàn)的各種控制。在480，控制器根據(jù)所呈現(xiàn)的反饋來(lái)控制 視頻幀的呈現(xiàn)。根據(jù)本公開(kāi)的另一個(gè)方面，通過(guò)估計(jì)處理延遲來(lái)同步視頻幀和伴隨的音頻幀?？?以與如上所述的延遲視頻幀的呈現(xiàn)相組合或者代替其地減少處理延遲。在一個(gè)實(shí)施例中， 多媒體設(shè)備符合支持強(qiáng)制音頻編碼方案的協(xié)議。例如，一些具有藍(lán)牙功能的多媒體設(shè)備符 合高級(jí)音頻分發(fā)簡(jiǎn)檔(A2DP)。為了保證這些藍(lán)牙設(shè)備之間的互操作性，在藍(lán)牙多媒體設(shè)備 上的原有格式的內(nèi)容被轉(zhuǎn)碼為SBC，以便使用A2DP來(lái)流送音頻幀。如果遠(yuǎn)程音頻設(shè)備支持 在主機(jī)設(shè)備上的原有代碼化格式，則可以向遠(yuǎn)程音頻設(shè)備發(fā)射內(nèi)容，而不進(jìn)行譯碼，由此消 除與譯碼相關(guān)聯(lián)的延遲。在示例性藍(lán)牙多媒體設(shè)備的情況下，假定遠(yuǎn)程音頻設(shè)備支持主機(jī) 藍(lán)牙多媒體設(shè)備的原有格式，可以消除與SBC譯碼相關(guān)聯(lián)的延遲。圖5圖解了一種用于確定遠(yuǎn)程音頻設(shè)備是否支持在多媒體設(shè)備上的音頻內(nèi)容原 有的音頻格式的過(guò)程?？梢杂衫鐖D1中的處理器112的處理器來(lái)執(zhí)行該過(guò)程。在510，在 主機(jī)多媒體設(shè)備上啟動(dòng)視頻播放器或者應(yīng)用，主機(jī)多媒體設(shè)備被實(shí)現(xiàn)為與遠(yuǎn)程音頻設(shè)備進(jìn) 行符合藍(lán)牙的通信。在520，識(shí)別音頻幀的流的音頻編碼格式。該音頻編碼格式可以或者可 以不被主機(jī)多媒體設(shè)備支持。在530，獲得由遠(yuǎn)程音頻設(shè)備支持的音頻格式。主機(jī)設(shè)備例如 從在主機(jī)設(shè)備上存儲(chǔ)的查找表來(lái)獲得由遠(yuǎn)程音頻設(shè)備支持的一個(gè)或多個(gè)音頻編碼解碼器。 替換地，例如在鏈接所述設(shè)備后，遠(yuǎn)程音頻設(shè)備可以將該信息傳送到主機(jī)設(shè)備。在540，獲得 由主機(jī)設(shè)備支持的音頻格式。可以從在主機(jī)設(shè)備上存儲(chǔ)的查找表獲得由主機(jī)設(shè)備支持的一 個(gè)或多個(gè)音頻編碼解碼器。在550，確定兩個(gè)設(shè)備是否都支持多媒體內(nèi)容的音頻格式。如果 主機(jī)設(shè)備和遠(yuǎn)程音頻設(shè)備都支持音頻內(nèi)容的音頻格式，則在560，以原有格式向遠(yuǎn)程設(shè)備發(fā) 射音頻幀。替換地，如果兩個(gè)設(shè)備都不支持多媒體內(nèi)容的原有格式，則將所述內(nèi)容譯碼為由 兩個(gè)設(shè)備支持的格式。在圖5中，在570，使用SBC編碼解碼器來(lái)譯碼音頻內(nèi)容。雖然已經(jīng)以建立擁有并且使得本領(lǐng)域內(nèi)的普通技術(shù)人員能夠建立和使用其的方式描述了本公開(kāi)及其具體實(shí)施方式
，但是可以明白和理解，存在在此公開(kāi)的示例性實(shí)施例 的等同物，并且在不偏離本發(fā)明的范圍和精神的情況下，可以對(duì)其進(jìn)行修改和改變，本發(fā)明 的范圍和精神不被示例性實(shí)施例限制，而是被所附權(quán)利要求限制。
權(quán)利要求
一種在手持多媒體設(shè)備中的方法，所述方法包括將多媒體流分割為音頻幀和視頻幀；在所述多媒體設(shè)備的用戶界面上呈現(xiàn)所述視頻幀；向遠(yuǎn)程音頻設(shè)備發(fā)射所述音頻幀；根據(jù)向至少一個(gè)所述音頻幀添加的序號(hào)來(lái)確定與向所述遠(yuǎn)程音頻設(shè)備發(fā)射所述音頻幀相關(guān)聯(lián)的延遲；根據(jù)所述延遲來(lái)控制在所述用戶界面上的所述視頻幀的呈現(xiàn)。
2.根據(jù)權(quán)利要求1所述的方法，通過(guò)延遲所述視頻幀的呈現(xiàn)來(lái)控制在所述用戶界面上 的所述視頻幀的呈現(xiàn)。
3.根據(jù)權(quán)利要求1所述的方法，在確定與向所述遠(yuǎn)程音頻設(shè)備發(fā)射所述音頻幀相關(guān)聯(lián)的延遲之前，確定在所述音頻幀 和視頻幀之間的估計(jì)延遲，在補(bǔ)償所述延遲之前，根據(jù)所述估計(jì)延遲來(lái)延遲在所述多媒體設(shè)備的用戶界面上的所 述視頻幀的呈現(xiàn)。
4.根據(jù)權(quán)利要求3所述的方法，根據(jù)在所述多媒體設(shè)備的查找表中存儲(chǔ)的估計(jì)延遲信 息來(lái)確定所述估計(jì)延遲。
5.根據(jù)權(quán)利要求1所述的方法，確定在所述多媒體設(shè)備上所述音頻幀的原有代碼化方案是否被所述遠(yuǎn)程音頻設(shè)備和 被所述多媒體設(shè)備支持，只有在所述原有代碼化方案被所述遠(yuǎn)程音頻設(shè)備和被所述多媒體設(shè)備均支持的情況 下，才以所述原有代碼化方案而不是以強(qiáng)制的編碼方案來(lái)發(fā)射所述音頻幀。
6.根據(jù)權(quán)利要求1所述的方法，向所述遠(yuǎn)程音頻設(shè)備發(fā)射所述音頻幀，以在所述遠(yuǎn)程音頻設(shè)備上呈現(xiàn)， 確定與處理在所述遠(yuǎn)程音頻設(shè)備上的音頻幀相關(guān)聯(lián)的遠(yuǎn)程延遲， 根據(jù)所述遠(yuǎn)程延遲來(lái)控制在所述多媒體設(shè)備上的所述視頻幀的呈現(xiàn)。
7.根據(jù)權(quán)利要求6所述的方法，確定與在所述多媒體設(shè)備上處理音頻幀相關(guān)聯(lián)的本地延遲， 根據(jù)所述本地延遲來(lái)控制在所述多媒體設(shè)備上的所述視頻幀的呈現(xiàn)。
8.根據(jù)權(quán)利要求1所述的方法，確定所述延遲的步驟包括測(cè)量具有所述序號(hào)的所述 音頻幀到所述遠(yuǎn)程音頻設(shè)備的傳輸時(shí)間。
9.根據(jù)權(quán)利要求1所述的方法，根據(jù)在共同的時(shí)間間隔期間所消耗的視頻幀數(shù)量與所 消耗的音頻幀數(shù)量的比較來(lái)確定所述延遲。
10.一種多媒體設(shè)備，包括分割實(shí)體，所述分割實(shí)體被配置為將多媒體流分割為音頻幀和視頻幀；耦合到所述分割實(shí)體的排序?qū)嶓w，所述排序?qū)嶓w被配置為向至少一個(gè)音頻幀添加序號(hào)；耦合到所述分割實(shí)體的視頻播放器，所述視頻播放器被配置為呈現(xiàn)從所述分割實(shí)體接 收的視頻幀；耦合到所述排序?qū)嶓w的收發(fā)信機(jī)，所述收發(fā)信機(jī)被配置為向遠(yuǎn)程音頻設(shè)備發(fā)射音頻幀；耦合到所述視頻播放器的控制器，所述控制器被配置為根據(jù)所述序號(hào)來(lái)確定與向所述遠(yuǎn)程音頻設(shè)備發(fā)射所述音頻幀相 關(guān)聯(lián)的延遲；所述控制器被配置為根據(jù)所述延遲來(lái)控制在所述視頻播放器上的所述視頻幀的呈現(xiàn)。
11.根據(jù)權(quán)利要求10所述的設(shè)備，所述控制器被配置為通過(guò)延遲所述呈現(xiàn)來(lái)控制在所 述視頻播放器上的所述視頻幀的呈現(xiàn)。
12.根據(jù)權(quán)利要求10所述的設(shè)備，所述控制器被配置為在確定與向所述遠(yuǎn)程音頻設(shè)備發(fā)射所述音頻幀相關(guān)聯(lián)的延遲之 前，確定在所述音頻幀和視頻幀之間的估計(jì)延遲，在補(bǔ)償所述延遲之前，根據(jù)所述估計(jì)延遲來(lái)延遲在所述視頻播放器上的所述視頻幀的呈現(xiàn)。
13.根據(jù)權(quán)利要求12所述的設(shè)備，能夠被所述控制器訪問(wèn)的查找表，所述查找表存儲(chǔ)估計(jì)延遲信息， 所述控制器被配置為使用在所述查找表中存儲(chǔ)的遠(yuǎn)程音頻設(shè)備延遲信息來(lái)確定所述 遠(yuǎn)程音頻設(shè)備的所述估計(jì)延遲。
14.根據(jù)權(quán)利要求10所述的設(shè)備，所述控制器被配置為確定在所述多媒體設(shè)備上的所述音頻幀的原有代碼化方案是否 被所述遠(yuǎn)程音頻設(shè)備和被所述多媒體設(shè)備支持，所述發(fā)射機(jī)被配置為在只有所述原有代碼化方案被所述遠(yuǎn)程音頻設(shè)備和被所述多媒 體設(shè)備均支持的情況下，才以所述原有代碼化方案而不是以強(qiáng)制的編碼方案來(lái)發(fā)射所述音 頻幀。
15.根據(jù)權(quán)利要求10所述的設(shè)備，所述控制器被配置為確定與處理在所述遠(yuǎn)程音頻設(shè)備上的音頻幀相關(guān)聯(lián)的遠(yuǎn)程延遲， 所述控制器被配置為根據(jù)所述遠(yuǎn)程延遲來(lái)控制在所述視頻播放器上的所述視頻幀的呈現(xiàn)。
16.根據(jù)權(quán)利要求15所述的設(shè)備，所述控制器被配置為確定與在所述多媒體設(shè)備上處理音頻幀相關(guān)聯(lián)的本地延遲， 根據(jù)所述本地延遲來(lái)控制在所述視頻播放器上的所述視頻幀的呈現(xiàn)。
17.根據(jù)權(quán)利要求10所述的設(shè)備，所述多媒體設(shè)備是手持的電子設(shè)備。
18.根據(jù)權(quán)利要求10所述的設(shè)備，所述控制器被配置為通過(guò)測(cè)量具有所述序號(hào)的所述 音頻幀到所述遠(yuǎn)程音頻設(shè)備的傳輸時(shí)間來(lái)確定所述延遲。
19.根據(jù)權(quán)利要求10所述的設(shè)備，所述控制器被配置為根據(jù)在共同的時(shí)間間隔期間所 消耗的視頻幀數(shù)量與所消耗的音頻幀數(shù)量的比較來(lái)確定所述延遲。
全文摘要
一種多媒體設(shè)備(100)包括分割實(shí)體，其被配置為將多媒體流分割為音頻幀和視頻幀；排序?qū)嶓w，其被配置為向至少一個(gè)音頻幀添加序號(hào)；收發(fā)信機(jī)，其被配置為向遠(yuǎn)程音頻設(shè)備發(fā)射音頻幀；控制器，其耦合到視頻播放器，所述控制器被配置為根據(jù)所述序號(hào)來(lái)確定與向遠(yuǎn)程音頻設(shè)備發(fā)射音頻幀相關(guān)聯(lián)的延遲，并且根據(jù)所述延遲來(lái)控制在視頻播放器的視頻幀的呈現(xiàn)。
文檔編號(hào)H04N9/475GK101933333SQ200880110762
公開(kāi)日2010年12月29日 申請(qǐng)日期2008年9月30日 優(yōu)先權(quán)日2007年10月8日
發(fā)明者邁克爾·E·拉塞爾, 阿諾德·謝因曼 申請(qǐng)人:摩托羅拉公司