在通話期間建立視頻會(huì)議的制作方法
【專利摘要】本發(fā)明涉及在通話期間建立視頻會(huì)議。一些實(shí)施例提供一種利用第一移動(dòng)設(shè)備發(fā)起視頻會(huì)議的方法。該方法在通過無線通信網(wǎng)絡(luò)與第二設(shè)備的音頻通話期間，在第一移動(dòng)設(shè)備上呈現(xiàn)用于從音頻通話切換到視頻會(huì)議的可選用戶界面(UI)項(xiàng)目。該方法接收對(duì)所述可選UI項(xiàng)目的選擇。該方法在不終止音頻通話的情況下，發(fā)起視頻會(huì)議。該方法在允許第一和第二設(shè)備呈現(xiàn)通過視頻會(huì)議交換的音頻和視頻數(shù)據(jù)之前，終止音頻通話。
【專利說明】在通話期間建立視頻會(huì)議
[0001] 本申請(qǐng)是申請(qǐng)日為2010年9月25日、發(fā)明名稱為"在通話期間建立視頻會(huì)議"的 中國(guó)專利申請(qǐng)201010600623. 4的分案申請(qǐng)。
[0002] 當(dāng)Apple的iPhone 4的樣機(jī)在2010年3月25日從Apple的一個(gè)工程師處被竊 取時(shí)，本申請(qǐng)中要揭示和主張的發(fā)明被提前且未經(jīng)Apple授權(quán)地向公眾公開了。在該明顯 盜竊之前，尚未提交本申請(qǐng)所基于的美國(guó)優(yōu)先權(quán)申請(qǐng)。

【技術(shù)領(lǐng)域】
[0003] 本申請(qǐng)涉及在通話期間建立視頻會(huì)議。

【背景技術(shù)】
[0004] 許多目前的便攜式設(shè)備，比如智能電話機(jī)具備視頻拍攝功能。通過電話機(jī)上的照 相機(jī)，便攜式設(shè)備的用戶能夠拍攝靜止圖像和視頻。不過，在完成視頻拍攝之后，為了把拍 攝的視頻傳送給另一方，用戶通常必須直接把視頻發(fā)送給所述另一方，或者把視頻上傳到 另一位置（例如，因特網(wǎng)視頻托管網(wǎng)站（hosting site))。不幸的是，這不允許所述另一方 在便攜式設(shè)備拍攝視頻的時(shí)候，查看實(shí)時(shí)視頻流。
[0005] 另外，標(biāo)準(zhǔn)的便攜式設(shè)備只配備一部照相機(jī)，并且處理來自該照相機(jī)的信息相當(dāng) 困難。理想的設(shè)備理應(yīng)具有多部照相機(jī)，并且能夠發(fā)送實(shí)時(shí)視頻，所述實(shí)時(shí)視頻是來自至少 兩部照相機(jī)的視頻的合成。就處理多個(gè)拍攝的視頻流的設(shè)備，和與所述設(shè)備連接、負(fù)責(zé)處理 實(shí)時(shí)視頻流的傳輸?shù)木W(wǎng)絡(luò)來說，鑒于可供便攜式設(shè)備利用的資源有限，這是一個(gè)尤其困難 的問題。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明的一些實(shí)施例提供具有兩部能夠拍攝照片和視頻的照相機(jī)的移動(dòng)設(shè)備。一 些實(shí)施例的移動(dòng)設(shè)備具有顯示拍攝的照片圖像和視頻圖像的顯示屏。它還包括保存拍攝 的圖像以便稍后傳送給另一個(gè)設(shè)備的存儲(chǔ)器。所述設(shè)備還具有網(wǎng)絡(luò)接口，所述網(wǎng)絡(luò)接口允 許該設(shè)備在多個(gè)設(shè)備的用戶之間的實(shí)時(shí)通信會(huì)話期間，把拍攝的圖像傳送給一個(gè)或多個(gè)設(shè) 備。所述設(shè)備還包括編碼器，它可使用所述編碼器對(duì)拍攝的圖像編碼，以便本地存儲(chǔ)或者傳 送給另一個(gè)設(shè)備。所述移動(dòng)設(shè)備還包括解碼器，所述解碼器允許該設(shè)備對(duì)在實(shí)時(shí)通信會(huì)話 期間由另一個(gè)設(shè)備拍攝的圖解解碼，或者對(duì)本地保存的圖像解碼。
[0007] 涉及拍攝的視頻圖像的傳輸?shù)膶?shí)時(shí)通信會(huì)話的一個(gè)例子是視頻會(huì)議。在一些實(shí)施 例中，移動(dòng)設(shè)備在視頻會(huì)議期間的任意特定時(shí)間，只能夠傳送一部照相機(jī)拍攝的視頻圖像。 不過，在其它實(shí)施例中，移動(dòng)設(shè)備能夠在視頻會(huì)議或者其它實(shí)時(shí)通信會(huì)話期間，同時(shí)傳送來 自其兩部照相機(jī)拍攝的視頻圖像。
[0008] 在與另一個(gè)設(shè)備的視頻會(huì)議期間，一些實(shí)施例的移動(dòng)設(shè)備通過連同由其一部或兩 部照相機(jī)拍攝的視頻一起，傳送其它類型的內(nèi)容。這種其它內(nèi)容的一個(gè)例子包括在該設(shè)備 的一部照相機(jī)拍攝用于視頻會(huì)議的視頻時(shí)，由設(shè)備的另一部照相機(jī)拍攝的低分辨率或高分 辨率照片圖像。這種其它內(nèi)容的其它例子包括（1)保存在設(shè)備上的文件和其它內(nèi)容，（2)設(shè) 備的屏幕顯示（即，顯示在設(shè)備的屏幕上的內(nèi)容），（3)在視頻會(huì)議或者其它實(shí)時(shí)通信會(huì)話 期間，從另一個(gè)設(shè)備接收的內(nèi)容，等等。
[0009] 一些實(shí)施例的移動(dòng)設(shè)備采用新穎的會(huì)議中（in-conference)調(diào)整技術(shù)，在視頻會(huì) 議期間進(jìn)行調(diào)整。例如，在視頻會(huì)議期間只傳送一部照相機(jī)拍攝的視頻時(shí)，一些實(shí)施例的移 動(dòng)設(shè)備能夠動(dòng)態(tài)切換成傳送由其另一部照相機(jī)拍攝的視頻。在這種情況下，一些實(shí)施例的 移動(dòng)設(shè)備把這種切換通知參與視頻會(huì)議的任何其它設(shè)備，使得所述其它設(shè)備能夠在它那一 端提供由這兩部照相機(jī)拍攝的視頻之間的平滑轉(zhuǎn)換。
[0010] 在一些實(shí)施例中，切換照相機(jī)的請(qǐng)求不僅能夠起源于在視頻會(huì)議期間，在其照相 機(jī)之間進(jìn)行切換的"本地"設(shè)備，而且還能夠起源于正接收本地設(shè)備拍攝的視頻的另一個(gè) "遠(yuǎn)程"設(shè)備。此外，允許一個(gè)設(shè)備指令另一個(gè)設(shè)備切換照相機(jī)只是一些實(shí)施例的設(shè)備的遠(yuǎn) 程控制能力的一個(gè)例子。在一些實(shí)施例中，能夠遠(yuǎn)程向設(shè)備指令的其它操作的例子包括曝 光調(diào)整操作（例如，自動(dòng)曝光），焦距調(diào)整操作（例如，自動(dòng)聚焦）等等。能夠本地或遠(yuǎn)程指 定的新穎的會(huì)議中調(diào)整的另一個(gè)例子是識(shí)別拍攝視頻中的感興趣區(qū)域（R0I)，和使用所述 R0I識(shí)別修改拍攝照相機(jī)的行為，修改帶有拍攝照相機(jī)的設(shè)備的圖像處理操作，或者修改帶 有拍攝照相機(jī)的設(shè)備的編碼操作。
[0011] 一些實(shí)施例的新穎的會(huì)議中調(diào)整的又一個(gè)例子涉及設(shè)備產(chǎn)生的合成視頻顯示的 實(shí)時(shí)修改。具體地說，在一些實(shí)施例中，移動(dòng)設(shè)備產(chǎn)生同時(shí)顯示由一個(gè)或多個(gè)設(shè)備的多部 照相機(jī)拍攝的多個(gè)視頻的合成顯示。在一些情況下，合成顯示把視頻放在相鄰的顯示區(qū)中 (例如，放在相鄰的窗口中）。在其它情況下，合成顯示是畫中畫（PIP)顯示，所述PIP顯示 包括顯示兩個(gè)不同視頻的至少兩個(gè)顯示區(qū)，其中一個(gè)顯示區(qū)是背景主顯示區(qū)，另一個(gè)顯示 區(qū)是重疊在背景主顯示區(qū)上的前景插入顯示區(qū)。
[0012] 一些實(shí)施例中的合成視頻顯示的實(shí)時(shí)修改涉及響應(yīng)于用戶對(duì)顯示區(qū)的選擇和移 動(dòng)，在合成顯示內(nèi)移動(dòng)一個(gè)或多個(gè)顯示區(qū)。當(dāng)提供合成顯示的設(shè)備的屏幕旋轉(zhuǎn)時(shí)，一些實(shí)施 例還在視頻會(huì)議期間旋轉(zhuǎn)該合成顯示。另外，一些實(shí)施例的移動(dòng)設(shè)備允許設(shè)備的用戶交換 (swap)PIP顯示中的視頻（即，使前景插入顯示中的視頻出現(xiàn)在背景主顯示中，而使背景主 顯不中的視頻出現(xiàn)在前景插入顯示中）。
[0013] 前面的
【發(fā)明內(nèi)容】
意圖簡(jiǎn)單介紹本發(fā)明的一些實(shí)施例。并不意味是在本文獻(xiàn)中公開 的所有發(fā)明主題的介紹或綜述。下面的【具體實(shí)施方式】和在【具體實(shí)施方式】中涉及的附圖將進(jìn) 一步說明在所述
【發(fā)明內(nèi)容】
中描述的實(shí)施例，以及其它實(shí)施例。因此，要理解本文獻(xiàn)描述的所 有實(shí)施例，需要完整地考察
【發(fā)明內(nèi)容】
、【具體實(shí)施方式】和附圖。

【專利附圖】

【附圖說明】
[0014]附加權(quán)利要求中陳述了本發(fā)明的新穎特征。不過，為了說明，在下述附圖中表示了 本發(fā)明的幾個(gè)實(shí)施例。
[0015] 圖1圖解說明一些實(shí)施例的合成顯示。
[0016] 圖2圖解說明一些實(shí)施例的另一種合成顯示。
[0017]圖3概念地圖解說明一些實(shí)施例的雙照相機(jī)移動(dòng)設(shè)備的視頻處理和編碼模塊的 軟件體系結(jié)構(gòu)。
[0018]圖4概念地圖解說明一些實(shí)施例的拍攝圖像處理單元。
[0019]圖5概念地圖解說明基于不同的垂直消隱間隔（VBI)的不同幀速率的例子。
[0020] 圖6概念地圖解說明基于不同VBI的不同隔行掃描幀速率的例子。
[0021]圖7概念地圖解說明一些實(shí)施例的另一個(gè)拍攝圖像處理單元。
[0022]圖8概念地圖解說明一些實(shí)施例的另一個(gè)拍攝圖像處理單元。
[0023]圖9概念地圖解說明一些實(shí)施例的雙照相機(jī)移動(dòng)設(shè)備的視頻會(huì)議和處理模塊的 軟件體系結(jié)構(gòu)。
[0024] 圖10概念地圖解說明一些實(shí)施例的示例視頻會(huì)議請(qǐng)求消息接發(fā)序列。
[0025] 圖11圖解說明一些實(shí)施例的視頻會(huì)議設(shè)置操作的用戶界面。
[0026] 圖12圖解說明一些實(shí)施例的接受視頻會(huì)議邀請(qǐng)的用戶界面。
[0027]圖13圖解說明一些實(shí)施例的接受視頻會(huì)議邀請(qǐng)的另一用戶界面。
[0028] 圖14圖解說明一些實(shí)施例的視頻會(huì)議設(shè)置操作的另一用戶界面。
[0029] 圖15概念地圖解說明一些實(shí)施例的設(shè)定視頻會(huì)議的比特率的處理。
[0030]圖16概念地圖解說明一些實(shí)施例的雙照相機(jī)移動(dòng)設(shè)備的視頻會(huì)議和處理模塊的 另一軟件體系結(jié)構(gòu)。
[0031] 圖17概念地圖解說明一些實(shí)施例的雙照相機(jī)移動(dòng)設(shè)備的另一軟件體系結(jié)構(gòu)。
[0032] 圖18概念地圖解說明由如圖16中圖解說明的一些實(shí)施例的視頻會(huì)議管理器執(zhí)行 的處理。
[0033] 圖19概念地圖解說明一些實(shí)施例的時(shí)間噪聲降低模塊的軟件體系結(jié)構(gòu)。
[0034] 圖20概念地圖解說明一些實(shí)施例的降低視頻圖像的時(shí)間噪聲的處理。
[0035] 圖21概念地圖解說明由如圖9中圖解說明的一些實(shí)施例的圖像處理管理器執(zhí)行 的處理。
[0036] 圖22圖解說明一些實(shí)施例的曝光調(diào)整操作的用戶界面。
[0037] 圖23圖解說明一些實(shí)施例的焦距調(diào)整操作的用戶界面。
[0038] 圖24概念地圖解說明由如圖16中圖解說明的一些實(shí)施例的圖像處理管理器執(zhí)行 的透視校正處理。
[0039] 圖25概念地圖解說明一些實(shí)施例的示例透視校正操作。
[0040] 圖26概念地圖解說明如圖16中圖解說明的一些實(shí)施例的編碼器驅(qū)動(dòng)器的軟件體 系結(jié)構(gòu)。
[0041] 圖27概念地圖解說明由如圖26中圖解說明的一些實(shí)施例的編碼器驅(qū)動(dòng)器執(zhí)行的 圖像縮放處理。
[0042] 圖28概念地圖解說明由如圖16中圖解說明的一些實(shí)施例的解碼器驅(qū)動(dòng)器的軟件 體系結(jié)構(gòu)。
[0043] 圖29概念地圖解說明由如圖28中圖解說明的一些實(shí)施例的解碼器驅(qū)動(dòng)器執(zhí)行的 圖像提取處理。
[0044] 圖30圖解說明一些實(shí)施例的包括兩個(gè)速率控制器的編碼器驅(qū)動(dòng)器。
[0045] 圖31概念地圖解說明如圖16中圖解說明的一些實(shí)施例的連網(wǎng)管理器的軟件體系 結(jié)構(gòu)。
[0046] 圖32圖解說明一些實(shí)施例的鎖定到角落（snap to corner)操作的用戶界面。
[0047]圖33圖解說明一些實(shí)施例的鎖定到角落操作的另一用戶界面。
[0048]圖34圖解說明一些實(shí)施例的PIP顯示旋轉(zhuǎn)操作的用戶界面。
[0049]圖3δ圖解說明一些實(shí)施例的PIP顯示旋轉(zhuǎn)操作的另一用戶界面。
[0050]圖36圖解說明一些實(shí)施例的PIP顯示旋轉(zhuǎn)操作的另一用戶界面。
[0051]圖37圖解說明一些實(shí)施例的PIP顯示旋轉(zhuǎn)操作的另一用戶界面。
[0052]圖38圖解說明一些實(shí)施例的縮放PIP顯示中的前景插入顯示區(qū)的用戶界面。 [0053]圖39圖解說明一些實(shí)施例的縮放pip顯示中的插入顯示區(qū)的另一用戶界面。 [0054]圖40圖解說明一些實(shí)施例的縮放pip顯示中的插入顯示區(qū)的另一用戶界面。 [00 55]圖41圖解說明一些實(shí)施例的縮放PIP顯示中的插入顯示區(qū)的另一用戶界面。 [00 56]圖42圖解說明一些實(shí)施例的識(shí)別顯示畫面中的感興趣區(qū)域的用戶界面。
[0057]圖43圖解說明一些實(shí)施例的識(shí)別顯示畫面中的感興趣區(qū)域的另一用戶界面。 [0058]圖44圖解說明一些實(shí)施例的識(shí)別顯示畫面中的感興趣區(qū)域的另一用戶界面。 [0059]圖45圖解說明一些實(shí)施例的在雙照相機(jī)移動(dòng)設(shè)備上進(jìn)行本地切換照相機(jī)操作的 處理。
[0060]圖46圖解說明一些實(shí)施例的切換照相機(jī)操作的用戶界面。
[0061]圖47圖解說明一些實(shí)施例的切換照相機(jī)操作的另一用戶界面。
[0062]圖48圖解說明一些實(shí)施例的切換照相機(jī)操作的另一用戶界面。
[0063]圖49圖解說明一些實(shí)施例的切換照相機(jī)操作的另一用戶界面。
[0064]圖50圖解說明一些實(shí)施例的在雙照相機(jī)移動(dòng)設(shè)備上進(jìn)行遠(yuǎn)程切換照相機(jī)操作的 處理。
[0065]圖51圖解說明一些實(shí)施例的遠(yuǎn)程控制切換照相機(jī)操作的用戶界面。
[0066]圖52圖解說明一些實(shí)施例的遠(yuǎn)程控制切換照相機(jī)操作的另一用戶界面。
[0067]圖53圖解說明一些實(shí)施例的遠(yuǎn)程控制切換照相機(jī)操作的另一用戶界面。
[0068]圖54圖解說明一些實(shí)施例的遠(yuǎn)程控制切換照相機(jī)操作的另一用戶界面。
[0069] 圖55概念地圖解說明一些實(shí)施例的進(jìn)行曝光調(diào)整操作的處理。
[0070] 圖56圖解說明一些實(shí)施例的進(jìn)行曝光調(diào)整操作的用戶界面。
[0071] 圖57圖解說明一些實(shí)施例的進(jìn)行曝光調(diào)整操作的另一用戶界面。
[0072]圖58圖解說明一些實(shí)施例的進(jìn)行曝光調(diào)整操作的另一用戶界面。
[0073]圖59概念地圖解說明由如圖16中圖解說明的一些實(shí)施例的圖像處理管理器執(zhí)行 的曝光調(diào)整處理。
[0074] 圖60概念地圖解說明一些實(shí)施例的曝光調(diào)整操作。
[0075] 圖61概念地圖解說明一些實(shí)施例的執(zhí)行焦距調(diào)整操作的處理。
[0076]圖62圖解說明一些實(shí)施例的焦距調(diào)整操作的用戶界面。
[0077] 圖63圖解說明一些實(shí)施例的焦距調(diào)整操作的另一用戶界面。
[0078] 圖64圖解說明一些實(shí)施例的焦距調(diào)整操作的另一用戶界面。
[0079]圖65圖解說明一些實(shí)施例的關(guān)于從一個(gè)或多個(gè)雙照相機(jī)移動(dòng)設(shè)備拍攝的視頻的 不同顯不安排。
[0080]圖66圖解說明一些實(shí)施例的把插入視頻的前景疊加在PIP顯示中的背景視頻上 的用戶界面。 '
[0081]圖67圖解說明一些實(shí)施例的確定視頻圖像的前景的技術(shù)。
[0082]圖68圖解說明一些實(shí)施例的在視頻會(huì)議期間，交換PIP顯示中的插入顯示和背景 顯示的用戶界面。
[0083]圖69圖解說明一些實(shí)施例的鎖定到角落操作的用戶界面。
[0084]圖7〇圖解說明一些實(shí)施例的鎖定到角落和推送操作的用戶界面。
[0085]圖71圖解說明一些實(shí)施例的pip顯示旋轉(zhuǎn)操作的用戶界面。
[0086]圖72圖解說明一些實(shí)施例的PIP顯示旋轉(zhuǎn)操作的另一用戶界面。
[0087]圖73圖解說明一些實(shí)施例的在視頻會(huì)議期間，從兩個(gè)遠(yuǎn)程視頻中選擇一個(gè)視頻 的用戶界面。
[0088]圖74圖解說明一些實(shí)施例的在視頻會(huì)議期間，從兩個(gè)本地視頻中選擇一個(gè)視頻 的用戶界面。
[0089]圖75圖解說明一些實(shí)施例的會(huì)前選擇用于視頻會(huì)議的視頻的用戶界面。
[0090]圖76圖解說明一些實(shí)施例的由雙照相機(jī)移動(dòng)設(shè)備拍攝的兩個(gè)視頻之間的帶寬分 配的例子。
[0091]圖77概念地圖解說明一些實(shí)施例的管理雙照相機(jī)移動(dòng)設(shè)備的速率控制器的判優(yōu) 器模塊。
[0092]圖78概念地圖解說明一些實(shí)施例的對(duì)由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝的圖像 進(jìn)行編碼的方法。
[0093]圖79概念地圖解說明一些實(shí)施例的對(duì)由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝的圖像 進(jìn)行編碼的另一'方法。
[0094]圖80圖解說明在圖79中圖解說明的方法的示例圖像合成。
[0095]圖S1概念地圖解說明一些實(shí)施例的對(duì)由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝的圖像 進(jìn)行編碼的另一方法。
[0096]圖82概念地圖解說明一些實(shí)施例的對(duì)由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝的圖像 進(jìn)行解碼的方法。 '
[0097]圖83概念地圖解說明一些實(shí)施例的對(duì)由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍 進(jìn)行解翻另-施。
[0098]圖84概念地圖解說明一些實(shí)施例的雙照相機(jī)移動(dòng)設(shè)備的視頻會(huì)議和處理模塊的 另一軟件體系結(jié)構(gòu)。
[00"]圖85圖解說明一些實(shí)施例的多方視頻會(huì)議的用戶界面。
[0100]圖86圖解說明一些實(shí)施例的多方視頻會(huì)議的另一用戶界面。
[0101]圖87圖解說明一些實(shí)施例的多方視頻會(huì)議的另一用戶界面。
[0102]圖88概念地圖解說明一些實(shí)施例的應(yīng)用編程接口（API)體系結(jié)構(gòu)。
[0103]圖89圖解說明一些實(shí)施例的雙照相機(jī)移動(dòng)計(jì)算設(shè)備的體系結(jié)構(gòu)。
[0104]圖90概念地圖解說明一些實(shí)施例的觸摸輸入/輸出（I/O)設(shè)備。
[0105]圖91概念地圖解說明一些實(shí)施例的示例通信系統(tǒng)。
[0106]圖92概念地圖解說明一些實(shí)施例的另一示例通信系統(tǒng)。

【具體實(shí)施方式】
[0107] 在下面的描述中，出于解釋說明的目的，陳述了眾多的細(xì)節(jié)。不過，本領(lǐng)域的普通 技術(shù)人員會(huì)認(rèn)識(shí)到可在不利用這些具體細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在其它情況下，為了因 不必要的細(xì)節(jié)而使本發(fā)明的描述模糊不清，以方框圖的形式表示了公知的結(jié)構(gòu)和設(shè)備。 [0108]本發(fā)明的一些實(shí)施例提供一種具有兩部能夠拍攝照片和視頻的照相機(jī)的移動(dòng)設(shè) 備。移動(dòng)設(shè)備的例子包括移動(dòng)電話機(jī)、智能電話機(jī)、個(gè)人數(shù)字助理（PDA)、膝上型計(jì)算機(jī)、平 板個(gè)人計(jì)算機(jī)或者任何其它類型的移動(dòng)計(jì)算設(shè)備。本文中使用的照片指的是按單張拍攝模 式每次一張地，或者按快速拍攝模式每次幾張地由照相機(jī)拍攝的靜止照片圖像。另一方面， 視頻指的是照相機(jī)以特定速率（通常稱為幀速率）拍攝的一系列視頻圖像。拍攝視頻的典 型幀速率是25幀/秒（f Ps)、30fps和60fps。一些實(shí)施例的移動(dòng)設(shè)備的照相機(jī)能夠以這些 和其它幀速率拍攝視頻圖像（即，視頻幀）。
[0109] -些實(shí)施例的移動(dòng)設(shè)備⑴能夠顯示拍攝的照片圖像和視頻圖像，⑵能夠保存 拍攝的圖像，以便稍后傳送給另一個(gè)設(shè)備，（3)能夠在多個(gè)設(shè)備的多位用戶之間的實(shí)時(shí)通信 會(huì)話期間，把拍攝的圖像傳送給一個(gè)或多個(gè)設(shè)備，和（4)能夠?qū)ε臄z的圖像編碼，以便本地 存儲(chǔ)或者傳送給另一個(gè)設(shè)備。
[0110]涉及拍攝的視頻圖像的傳輸?shù)膶?shí)時(shí)通信會(huì)話的一個(gè)例子是視頻會(huì)議。在一些實(shí)施 例中，在視頻會(huì)議期間的任意特定時(shí)間，移動(dòng)設(shè)備只能夠傳送一部照相機(jī)拍攝的視頻圖像。 不過，在其它實(shí)施例中，在視頻會(huì)議或者其它實(shí)時(shí)通信會(huì)話期間，移動(dòng)設(shè)備能夠同時(shí)傳送其 兩部照相機(jī)拍攝的視頻圖像。 一些實(shí)施例的移動(dòng)設(shè)備產(chǎn)生合成顯示，所述合成顯示包含由一個(gè)或多個(gè)設(shè)備的多 部照相機(jī)拍攝的多個(gè)視頻的同時(shí)顯示。在一些情況下，合成顯示把視頻放在相鄰的顯示區(qū) 中（例如，放在相鄰的窗口中）。圖1圖解說明合成顯示100的一個(gè)這種例子，合成顯示100 包括兩個(gè)相鄰的顯示區(qū)105和110,這兩個(gè)顯示區(qū)105和110同時(shí)顯示由一個(gè)設(shè)備的兩部照 相機(jī)拍攝的，或者由參加視頻會(huì)議的兩個(gè)不同設(shè)備的兩部照相機(jī)拍攝的兩個(gè)視頻。
[0112] 在其它情況下，合成顯示是包括顯示兩個(gè)不同視頻的至少兩個(gè)顯示區(qū)的PIP顯 示，其中一個(gè)顯示區(qū)是背景主顯示區(qū)，另一個(gè)顯示區(qū)是重疊在背景主顯示區(qū)之上的前景插 入顯示區(qū)。圖2圖解說明合成PIP顯示200的一個(gè)這種例子。合成PIP顯示200包括背景 主顯示區(qū)205和重疊在背景主顯示區(qū)之上的前景插入顯示區(qū)210。這兩個(gè)顯示區(qū)205和210 同時(shí)顯示由一個(gè)設(shè)備的兩部照相機(jī)拍攝的，或者由參加視頻會(huì)議的兩個(gè)不同設(shè)備的兩部照 相機(jī)拍攝的兩個(gè)視頻。盡管在本文中舉例說明和討論的示例合成PIP顯示類似于在背景主 顯示區(qū)205內(nèi)顯示整個(gè)前景插入顯示區(qū)210的合成PIP顯示200,不過具有重疊在背景主 顯示區(qū)205之上，但是并不完全在背景主顯示區(qū)205內(nèi)的前景插入顯示區(qū)210的其它合成 PIP顯示也是可能的。
[0113] 除了在與另一個(gè)設(shè)備的視頻會(huì)議期間傳送視頻內(nèi)容之外，一些實(shí)施例的移動(dòng)設(shè)備 能夠隨同會(huì)議的視頻內(nèi)容一起傳送其它類型的內(nèi)容。這種其它內(nèi)容的一個(gè)例子包括在設(shè) 備的照相機(jī)之一正在拍攝用于視頻會(huì)議的視頻時(shí)，由該設(shè)備的另一部照相機(jī)拍攝的低分辨 率或高分辨率照片圖像。這種其它內(nèi)容的其它例子包括（1)保存在設(shè)備上的文件和其它內(nèi) 容，（ 2)設(shè)備的屏幕顯示（即，顯示在設(shè)備的屏幕上的內(nèi)容），（3)在視頻會(huì)議或者其它實(shí)時(shí) 通信會(huì)話期間，從另一個(gè)設(shè)備接收的內(nèi)容，等等。
[0114] 一些實(shí)施例的移動(dòng)設(shè)備采用新穎的會(huì)議中調(diào)整技術(shù)，在視頻會(huì)議期間進(jìn)行調(diào)整。 例如，當(dāng)在視頻會(huì)議期間只傳送一部照相機(jī)拍攝的視頻時(shí)，一些實(shí)施例的移動(dòng)設(shè)備能夠動(dòng) 態(tài)切換成傳送由其另一部照相機(jī)拍攝的視頻。在這種情況下，一些實(shí)施例的移動(dòng)設(shè)備把這 種切換通知參加視頻會(huì)議的任何另一個(gè)設(shè)備，使得所述另一個(gè)設(shè)備能夠在它那一端提供這 兩部照相機(jī)拍攝的視頻之間的平滑轉(zhuǎn)換。
[0115] 在一些實(shí)施例中，切換照相機(jī)的請(qǐng)求不僅能夠起源于在視頻會(huì)議期間，在其照相 機(jī)之間進(jìn)行切換的"本地"設(shè)備，而且還能夠起源于正接收本地設(shè)備拍攝的視頻的另一個(gè) "遠(yuǎn)程"設(shè)備。此外，允許一個(gè)設(shè)備指令另一個(gè)設(shè)備切換照相機(jī)只是一些實(shí)施例的設(shè)備的遠(yuǎn) 程控制能力的一個(gè)例子。在一些實(shí)施例中，能夠遠(yuǎn)程向設(shè)備指令的其它操作的例子包括曝 光調(diào)整操作（例如，自動(dòng)曝光），焦距調(diào)整操作（例如，自動(dòng)聚焦）等等。能夠本地或遠(yuǎn)程指 定的新穎的會(huì)議中調(diào)整的另一個(gè)例子是識(shí)別拍攝視頻中的感興趣區(qū)域（R0I)，和使用所述 R0I識(shí)別修改拍攝照相機(jī)的行為，修改帶有拍攝照相機(jī)的設(shè)備的圖像處理操作，或者修改帶 有拍攝照相機(jī)的設(shè)備的編碼操作。
[0116] 一些實(shí)施例的新穎的會(huì)議中調(diào)整的又一個(gè)例子涉及設(shè)備產(chǎn)生的合成視頻顯示的 實(shí)時(shí)修改。具體地說，在一些實(shí)施例中，合成視頻顯示的實(shí)時(shí)修改涉及響應(yīng)于用戶對(duì)顯示區(qū) 的選擇和移動(dòng)，在合成顯示內(nèi)移動(dòng)一個(gè)或多個(gè)顯示區(qū)。當(dāng)提供合成顯示的設(shè)備的屏幕旋轉(zhuǎn) 時(shí)，一些實(shí)施例還在視頻會(huì)議期間旋轉(zhuǎn)該合成顯示。另外，一些實(shí)施例的移動(dòng)設(shè)備允許設(shè)備 的用戶翻轉(zhuǎn)（flip)PIP顯示中的視頻的順序（即，使前景插入顯示中的視頻出現(xiàn)在背景主 顯示中，而使背景主顯示中的視頻出現(xiàn)在前景插入顯示中）。
[0117]下面說明幾個(gè)更詳細(xì)的實(shí)施例。第I節(jié)提供一些實(shí)施例的視頻處理體系結(jié)構(gòu)的說 明。隨后，第II節(jié)描述一些實(shí)施例的拍攝圖像處理單元。在一些實(shí)施例中，拍攝圖像處理 單元是設(shè)備的負(fù)責(zé)處理由設(shè)備的照相機(jī)拍攝的原始圖像的組件。
[0118] 接下來，第ΠΙ節(jié)描述一些實(shí)施例的視頻會(huì)議體系結(jié)構(gòu)。第ΙΠ 節(jié)還描述一些實(shí) 施例的視頻會(huì)議模塊，以及設(shè)置單照相機(jī)視頻會(huì)議的幾種方式。之后，第IV節(jié)描述一些實(shí) 施例的會(huì)議中調(diào)整和控制操作。第V節(jié)隨后描述一些實(shí)施例的在視頻會(huì)議期間，傳送和顯 示來自各個(gè)設(shè)備的多個(gè)視頻的視頻會(huì)議特征。接下來，第VI節(jié)描述在視頻會(huì)議期間，隨同 非實(shí)時(shí)內(nèi)容一起的實(shí)時(shí)視頻的傳輸。最后，第VII節(jié)描述一些實(shí)施例的雙照相機(jī)設(shè)備的硬 件體系結(jié)構(gòu)。
[0119] I.視頻拍攝和處理
[0120]圖3概念地圖解說明一些實(shí)施例的雙照相機(jī)移動(dòng)設(shè)備的視頻處理和編碼模塊 3〇〇。在一些實(shí)施例中，模塊300對(duì)由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝的圖像進(jìn)行處理，和 對(duì)視頻進(jìn)行編碼。如圖3中所示，模塊300包括拍攝圖像處理單元（CIPU)驅(qū)動(dòng)器305、媒體 交換模塊310、編碼器驅(qū)動(dòng)器320和視頻處理模塊325。
[0121]在一些實(shí)施例中，媒體交換模塊310允許設(shè)備上的程序（媒體內(nèi)容的使用者和制 造者）交換媒體內(nèi)容和關(guān)于媒體內(nèi)容的處理的指令。在視頻處理和編碼模塊300中，一些 實(shí)施例的媒體交換模塊310在視頻處理模塊325和CIPU驅(qū)動(dòng)器305之間，以及在視頻處理 模塊 325和編碼器驅(qū)動(dòng)器320之間路由這些指令和媒體內(nèi)容。為了使所述指令和媒體內(nèi)容 的路由更容易，一些實(shí)施例的媒體交換模塊 31〇提供供媒體內(nèi)容的使用者和制造者使用的 一組應(yīng)用編程接口（API)。在一些這樣的實(shí)施例中，媒體交換模塊310是作為運(yùn)行于雙照相 機(jī)移動(dòng)設(shè)備上的操作系統(tǒng)的一部分的一組一個(gè)或多個(gè)架構(gòu)。這種媒體交換模塊 310的一個(gè) 例子是蘋果公司提供的Core Media架構(gòu)。
[0122] 視頻處理模塊3?對(duì)由設(shè)備的照相機(jī)拍攝的圖像和/或視頻進(jìn)行圖像處理。這種 操作的例子包括曝光調(diào)整操作、焦距調(diào)整操作、透視校正、動(dòng)態(tài)范圍調(diào)整、圖像縮放、圖像合 成等等。在一些實(shí)施例中，一些圖像處理操作也可由媒體交換模塊 310執(zhí)行。例如，如圖3 中所示，一些實(shí)施例的媒體交換模塊310執(zhí)行降低由設(shè)備的照相機(jī)拍攝的視頻圖像中的噪 聲的時(shí)間噪聲降低（TNR)操作（例如，用TNR 315)。下面提供視頻處理模塊325和媒體交 換模塊310的這種圖像處理操作的另外的例子。
[0123] 通過媒體交換模塊310,視頻處理模塊325與CIPU驅(qū)動(dòng)器3〇 5和編碼器驅(qū)動(dòng)器320 接口，如上所述。CIPU驅(qū)動(dòng)器3〇5充當(dāng)拍攝圖像處理單元（CIPU)3 3〇和媒體交換模塊310 之間的通信接口。如以下進(jìn)一步所述，CIPU 330是雙照相機(jī)設(shè)備的組件，負(fù)責(zé)處理在設(shè)備 的照相機(jī)的圖像拍攝或者視頻拍攝操作期間拍攝的圖像。CIPU驅(qū)動(dòng)器305通過媒體交換模 塊310,從視頻處理模塊325接收對(duì)來自設(shè)備的一部或兩部照相機(jī)的圖像和/或視頻的請(qǐng) 求。CIPU驅(qū)動(dòng)器305把所述請(qǐng)求傳遞給CIPU 330,作為響應(yīng)，從CIPU 330接收請(qǐng)求的圖像 和/或視頻，CIPU驅(qū)動(dòng)器305隨后通過媒體交換模塊310,把接收的圖像和/或視頻發(fā)送給 視頻處理模塊325。通過CIPU驅(qū)動(dòng)器305和媒體交換模塊310, 一些實(shí)施例的視頻處理模 塊325還向CIPU 33〇發(fā)送指令，以便修改其一些操作（例如，修改照相機(jī)的幀速率、曝光調(diào) 整操作、焦距調(diào)整操作等等）。
[0124] 編碼器驅(qū)動(dòng)器32〇充當(dāng)媒體交換模塊310和編碼器硬件335 (例如，編碼器芯片、 芯片系統(tǒng)上的編碼組件等等）之間的通信接口。在一些實(shí)施例中，編碼器驅(qū)動(dòng)器320通過 媒體交換模塊 31〇,從視頻處理模塊325接收?qǐng)D像和對(duì)圖像編碼的請(qǐng)求。編碼器驅(qū)動(dòng)器320 把要編碼的圖像發(fā)送給編碼器335,編碼器335隨后對(duì)圖像進(jìn)行照片編碼或視頻編碼。當(dāng) 編碼器驅(qū)動(dòng)器320從編碼器335接收到編碼圖像時(shí)，編碼器驅(qū)動(dòng)器320通過媒體交換模塊 310,把編碼圖像回送給視頻處理模塊325。
[0125] 在一些實(shí)施例中，視頻處理模塊325能夠?qū)λ鼜木幋a器接收的編碼圖像進(jìn)行不同 的操作。所述操作的例子包括把編碼圖像保存在設(shè)備的存儲(chǔ)器中，通過設(shè)備的網(wǎng)絡(luò)接口在 視頻會(huì)議中傳送編碼圖像，等等。
[0126] 在一些實(shí)施例中，視頻處理和編碼模塊300的一些或全部模塊被實(shí)現(xiàn)成操作系統(tǒng) 的一部分。例如，一些實(shí)施例把視頻處理和編碼模塊300的所有四個(gè)組件305、310、320和 325實(shí)現(xiàn)成設(shè)備的操作系統(tǒng)的一部分。其它實(shí)施例把媒體交換模塊31〇、Ciro驅(qū)動(dòng)器305和 編碼器驅(qū)動(dòng)器320實(shí)現(xiàn)成設(shè)備的操作系統(tǒng)的一部分，而把視頻處理模塊325作為在操作系 統(tǒng)上運(yùn)行的應(yīng)用。另外，模塊300的其它實(shí)現(xiàn)也是可能的。
[0127]現(xiàn)在說明在視頻拍攝會(huì)話期間，視頻處理和編碼模塊300的操作。為了開始視頻 拍攝會(huì)話，視頻處理模塊325初始化為視頻拍攝會(huì)話所需的幾個(gè)組件。在一些實(shí)施例中，這 些組件包括（l)CIPU 330,（2)視頻處理模塊325的比例縮放和合成模塊（未示出），（3)視 頻處理模塊325的圖像處理模塊（未示出），和（4)編碼器335。另外，當(dāng)參與視頻會(huì)議時(shí)， 一些實(shí)施例的視頻處理模塊325初始化網(wǎng)絡(luò)管理器（未示出）。
[0128] 通過媒體交換模塊310和CIPU驅(qū)動(dòng)器305,視頻處理模塊把其初始化請(qǐng)求發(fā)送給 CIPU 330,以使設(shè)備的一部或兩部照相機(jī)開始視頻拍攝。在一些實(shí)施例中，所述請(qǐng)求指定需 要拍攝視頻的每部照相機(jī)的特定幀速率、曝光度和縮放比例大小。響應(yīng)所述請(qǐng)求，CIPU 330 開始以指定的幀速率、曝光度和縮放比例大小，返回來自所請(qǐng)求的照相機(jī)的視頻圖像。這些 視頻圖像通過CIPU驅(qū)動(dòng)器3〇5和媒體交換模塊310被返回給視頻處理模塊325,如上所述， 在把視頻圖像提供給視頻處理模塊325之前，媒體交換模塊310對(duì)視頻圖像進(jìn)行TNR操作。 在視頻處理模塊325,視頻圖像被保存在緩沖器（未示出）中，以便進(jìn)行另外的圖像處理。
[0129] 視頻處理模塊325的圖像處理模塊取回保存在緩沖器中的視頻圖像，以進(jìn)行另外 的視頻處理。比例縮放和合成模塊隨后取回處理后的視頻圖像，以便比例縮放視頻圖像 (如果是在設(shè)備的顯示屏上的實(shí)時(shí)顯示所必需的話）。在一些實(shí)施例中，該模塊用由設(shè)備的 兩部照相機(jī)拍攝的圖像，或者用在視頻會(huì)議期間由設(shè)備的照相機(jī)以及另一個(gè)設(shè)備的照相機(jī) 拍攝的圖像創(chuàng)建合成圖像，以便在設(shè)備上提供拍攝的視頻圖像的實(shí)時(shí)顯示，或者創(chuàng)建供編 碼的合成視頻圖像。
[0130] 處理和/或合成后的視頻圖像通過編碼器驅(qū)動(dòng)器320和媒體交換模塊310被提 供給編碼器335。編碼器335隨后對(duì)視頻圖像編碼。編碼圖像隨后被返回給視頻處理模塊 32δ (再次通過編碼器驅(qū)動(dòng)器320和媒體交換模塊310)，以便保存在設(shè)備上，或者在視頻會(huì) 議期間傳輸。當(dāng)設(shè)備參加視頻會(huì)議時(shí)，網(wǎng)絡(luò)管理器（由視頻處理模塊325初始化）隨后取 回這些編碼圖像，對(duì)編碼圖像分包，并通過設(shè)備的網(wǎng)絡(luò)接口（未示出）把編碼圖像傳送給一 個(gè)或多個(gè)其它設(shè)備。
[0131] II.拍攝圖像處理
[0132] A.單管線
[0133] 由一些實(shí)施例的雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝的圖像是原始的未處理圖像。在 這些圖像能夠被用于其它操作，比如把圖像傳送給另一個(gè)設(shè)備（例如，在視頻會(huì)議期間）、 保存圖像、或者顯示圖像之前，這些圖像需要變換到特定的色空間。另外，照相機(jī)拍攝的圖 像需要被處理，以校正錯(cuò)誤和/或失真，以及調(diào)整圖像的顏色、大小等等。因此，一些實(shí)施例 在保存、傳送和顯示這種圖像之前，對(duì)圖像進(jìn)行幾種處理操作。所述圖像的部分處理由CIPU 330執(zhí)行。
[0134] 圖4中圖解說明了所述CIPU的一個(gè)例子^具體地說，圖4概述地圖解說明一些實(shí) 施例的拍攝圖像處理單元（CIPU)400。CIPU 400包括或者每次只處理來自設(shè)備的照相機(jī)之 一的圖像，或者按照時(shí)分多路復(fù)用方式（g卩，按照時(shí)間交織方式）同時(shí)處理來自設(shè)備的兩部 照相機(jī)的圖像的單處理管線（single processing pipeline)485。可以不同地配置CIPU 400的處理管線485,以處理不同照相機(jī)的不同特性和/或操作設(shè)置。一些實(shí)施例中的不同 照相機(jī)特性的例子包括不同的分辨率、噪聲傳感器、透鏡類型（固定透鏡或變焦透鏡），等 等。另外，在一些實(shí)施例中，設(shè)備能夠按照其操作照相機(jī)的不同操作設(shè)置的例子包括圖像分 辨率大小、幀速率、變焦級(jí)別、曝光度等。
[0135] 如圖4中所示，CIPU 400包括傳感器模塊415,行/幀緩沖器417,壞像素校正 (BPC)模塊42〇,透鏡陰影（LS)模塊4 25,去馬賽克模塊430,白平衡（WB)模塊435, γ模塊 440,色空間變換（CSC)模塊445,色調(diào)、飽和度和對(duì)比度（HSC)模塊450,定標(biāo)器模塊455， 濾波器模塊妨0,統(tǒng)計(jì)引擎祕(mì) 5,兩組寄存器47〇,和控制器模塊475。在一些實(shí)施例中，CIPU 400的全部模塊都是用硬件（例如，ASIC、FPGA、帶有微控制器的S0C，等等）實(shí)現(xiàn)的，而在其 它實(shí)施例中，CIPU 400的一些或全部模塊是用軟件實(shí)現(xiàn)的。
[0136] 如圖4中所示，傳感器模塊415與設(shè)備的兩部照相機(jī)的兩個(gè)像素陣列410a和 410b,及兩組傳感器405a和40?通信耦接。在一些實(shí)施例中，通過每個(gè)照相機(jī)傳感器的移 動(dòng)行業(yè)處理器接口（MIPI),使所述通信耦接更容易。
[0137]通過所述通信耦接，傳感器模塊415能夠向照相機(jī)轉(zhuǎn)發(fā)指令，以控制每部照相機(jī) 的操作的各個(gè)方面，比如其功率級(jí)、變焦級(jí)別、焦距、曝光度等。在一些實(shí)施例中，每部照相 機(jī)具有四種工作功率模式。在第一種工作功率模式下，照相機(jī)被斷電。就第二種工作功率 模式來說，照相機(jī)被通電，不過照相機(jī)還未被配置。在第三種工作功率模式下，照相機(jī)被通 電，照相機(jī)的傳感器被配置，并且照相機(jī)傳感器的像素收集光子，并把收集的光子轉(zhuǎn)換成數(shù) 字值。不過，照相機(jī)傳感器還未向傳感器模塊415發(fā)送圖像。最后，在第四種工作功率模式 下，照相機(jī)處于和第三種功率模式相同的工作功率模式之下，除了照相機(jī)現(xiàn)在向傳感器模 塊415發(fā)送圖像之外。
[0138] 在設(shè)備的操作期間，照相機(jī)可多次從一種工作功率模式切換到另一種工作功率模 式。當(dāng)切換工作功率模式時(shí)，一些實(shí)施例要求照相機(jī)按照上述順序切換工作功率模式。于 是，在這些實(shí)施例中，第一種工作功率模式下的照相機(jī)只能切換到第二種工作功率模式。當(dāng) 照相機(jī)處于第二種工作功率模式時(shí)，它能夠切換到第一種工作功率模式或者第三種工作功 率模式。類似地，照相機(jī)能夠從第三種工作功率模式切換到第二種工作功率模式或者第四 種工作功率模式。當(dāng)照相機(jī)處于第四種工作功率模式時(shí)，它只能夠切換回第三種工作功率 模式。
[0139] 此外，從一種工作功率模式切換到下一種或前一種工作功率模式需要一定量的時(shí) 間。從而，切換兩種或三種工作功率模式慢于切換一種工作功率模式。不同的工作功率模 式還消耗不同量的功率。例如，第四種工作功率模式消耗最大量的功率，第三種工作功率模 式消耗的功率高于第一種和第二種工作功率模式，以及第二種工作功率模式消耗的功率高 于第一種工作功率模式。在一些實(shí)施例中，第一種工作功率模式不消耗任何功率。
[0140]當(dāng)照相機(jī)未處于拍攝圖像的第四種工作功率模式時(shí)，可使照相機(jī)保持在其它工作 功率模式之一下。使不用的照相機(jī)保持在哪種工作模式之下的確定取決于允許照相機(jī)消 耗多少功率和照相機(jī)需要多快地響應(yīng)開始拍攝圖像的請(qǐng)求。例如，配置成按照第三種工作 功率模式（例如，待機(jī)模式）工作的照相機(jī)比配置成處于第一種工作功率模式（即，斷電） 的照相機(jī)消耗更多的功率。不過，當(dāng)指令照相機(jī)拍攝圖像時(shí)，按照第三種工作功率模式工作 的照相機(jī)能夠比按照第一種工作功率模式工作的照相機(jī)更快地切換到第四種工作功率模 式。因而，根據(jù)不同的要求（例如，對(duì)拍攝圖像的請(qǐng)求的響應(yīng)時(shí)間，功率消耗），當(dāng)不拍攝圖 像時(shí)，照相機(jī)可被配置成按照不同的工作功率模式工作。
[0141] 如以下進(jìn)一步所述，當(dāng)視頻處理模塊325請(qǐng)求一部或兩部照相機(jī)開始拍攝圖像， 并且傳感器模塊415通過控制器模塊475接收到該請(qǐng)求時(shí)，通過它與每部照相機(jī)的通信耦 接，傳感器模塊415能夠指令一組或兩組照相機(jī)傳感器開始拍攝圖像。拜爾濾鏡被疊加在 每個(gè)照相機(jī)傳感器之上，從而每個(gè)照相機(jī)傳感器輸出拜爾格式圖像，所述拜爾格式圖像被 保存在與每個(gè)照相機(jī)傳感器相關(guān)聯(lián)的像素陣列中。拜爾格式圖像是其中每個(gè)像素只保存一 種顏色值：紅、藍(lán)或綠的圖像。
[0142] 通過它與像素陣列410a和410b的耦接，傳感器模塊415取回保存在照相機(jī)像素 陣列410a和410b中的原始拜爾格式圖像。通過控制傳感器模塊415從照相機(jī)的像素陣列 取回圖像的速率，傳感器模塊415能夠控制由特定照相機(jī)拍攝的視頻圖像的幀速率。通過 控制其圖像取回的速率，傳感器模塊415還能夠交織由不同照相機(jī)拍攝的圖像的讀取，以 便交織CIPU處理管線485對(duì)來自不同照相機(jī)的拍攝圖像的圖像處理。以下在II. A. 1和 II. A. 2的子節(jié)中中進(jìn)一步說明傳感器模塊415對(duì)其圖像取回的控制。
[0143] 傳感器模塊415把它從像素陣列410a和410b取回的圖像行（g卩，圖像的一排排 像素）保存在行/幀緩沖器417中。通過CIPU處理管線485處理行/幀緩沖器417中的 每個(gè)圖像行。如圖4中所示，CIPU處理管線485由BPC模塊420、LS模塊425、去馬賽克模 塊43〇、WB模塊43、γ模塊440、CSC模塊445、HSC模塊450、定標(biāo)器模塊455和濾波器模塊 460構(gòu)成。在一些實(shí)施例中，CIPU處理管線485逐行（即，逐排）地處理來自行/幀緩沖器 417的圖像，而在其它實(shí)施例中，CITO處理管線485逐幀地處理來自行/幀緩沖器417的整 個(gè)圖像。
[0144] 在圖4中圖解說明的示例管線中，BPC模塊420是從行/幀緩沖器417取回圖像 的模塊。BPC模塊420進(jìn)行壞像素消除操作，該操作設(shè)法校正取回的圖像中可能由一個(gè)或多 個(gè)有缺陷的照相機(jī)傳感器引起的壞像素（例如，有缺陷的光子傳感器根本不感測(cè)光，錯(cuò)誤 地感測(cè)光等等）。在一些實(shí)施例中，BPC模塊420通過比較圖像中的特定像素與圖像中的一 個(gè)或多個(gè)相鄰像素，檢測(cè)壞像素。如果所述特定像素的值與所述相鄰像素的值之間的差異 大于閾值量，那么用顏色（即，紅、綠和藍(lán)）與所述特定像素相同的幾個(gè)相鄰像素的值的平 均值替換所述特定像素的值。
[0145] BPC模塊420的操作部分由為該模塊保存在CIPU 400的兩組寄存器470中的值控 制。具體地說，為了處理由設(shè)備的兩部不同照相機(jī)拍攝的圖像，一些實(shí)施例關(guān)于每部照相機(jī) 不同地配置CPU處理管線485,如上所述。通過在CIPU 400的兩組不同的寄存器470a(Ra) 和470b (Rb)中保存兩組不同的值，為兩部不同的照相機(jī)配置CIPU處理管線485。每組寄存 器470包括用于CIPU處理管線485內(nèi)的每個(gè)模塊420-460的一個(gè)寄存器（Ra或Rb)。每 個(gè)寄存器組中的每個(gè)寄存器保存一組定義一個(gè)處理管線模塊的操作的值。因此，如圖4中 所示，寄存器組470a用于指示雙照相機(jī)移動(dòng)設(shè)備的一部照相機(jī)（照相機(jī)A)的每個(gè)處理管 線模塊的工作模式，而寄存器組470b用于指示雙照相機(jī)移動(dòng)設(shè)備的另一部照相機(jī)（照相機(jī) B)的每個(gè)處理管線模塊的工作模式。
[0146] 對(duì)于每部照相機(jī)不同地配置CIPU處理管線485的一個(gè)例子是把CIPU處理管線 485的模塊配置成處理大小不同的圖像。例如，如果照相機(jī)傳感器405a為640X480像素， 照相機(jī)傳感器405b為204SX 1536像素，那么寄存器組470a被配置成保存指令CPU處理 管線485的各個(gè)模塊處理Μ0Χ480像素圖像的值，以及寄存器組470b被配置成保存指令 CIPU處理管線仳5的各個(gè)模塊處理2048X 1536像素圖像的值。
[0147] 在一些實(shí)施例中，不同的處理管線配置（g卩，寄存器值）被保存在不同的簡(jiǎn)檔設(shè)置 中。在一些這樣的實(shí)施例中，允許移動(dòng)設(shè)備的用戶選擇簡(jiǎn)檔設(shè)置之一（例如，通過顯示在 移動(dòng)設(shè)備上的用戶界面），以設(shè)置一部或多部照相機(jī)的操作。例如，用戶可以選擇把照相機(jī) 配置成拍攝高分辨率視頻的簡(jiǎn)檔設(shè)置，把相同的照相機(jī)配置成拍攝低分辨率視頻的簡(jiǎn)檔設(shè) 置，或者把兩部照相機(jī)都配置成拍攝高分辨率靜止圖像的簡(jiǎn)檔設(shè)置。各種不同的配置都是 可能的，可被保存在許多不同的簡(jiǎn)檔設(shè)置中。在其它這樣的實(shí)施例中，代替允許用戶選擇簡(jiǎn) 檔設(shè)置，根據(jù)用戶選擇的應(yīng)用或活動(dòng)，自動(dòng)選擇簡(jiǎn)檔設(shè)置。例如，如果用戶選擇視頻會(huì)議應(yīng) 用，那么自動(dòng)選擇把兩部照相機(jī)配置成拍攝視頻的簡(jiǎn)檔，如果用戶選擇照相應(yīng)用，那么自動(dòng) 選擇把照相機(jī)之一配置成拍攝靜止圖像的簡(jiǎn)檔，等等。
[0148]在BPS模塊420之后，LS模塊4?接收壞像素校正后的圖像。LS模塊425執(zhí)行透 鏡陰影校正操作，以校正由產(chǎn)生光衰減效應(yīng)（即，朝著照相機(jī)傳感器的邊緣，光逐漸減少） 的照相機(jī)透鏡引起的圖像缺陷。這種效應(yīng)導(dǎo)致圖像照明度不均勻（例如，在角落和/或邊 緣更日曰）。為了校正這些圖像缺陷，~'些頭施例的LS模塊425估計(jì)透鏡的照明度衰減的數(shù) 學(xué)模型。估計(jì)的模型隨后被用于補(bǔ)償圖像的透鏡衰減，以均勻地照明圖像的未被均勻照明 的部分。例如，如果圖像的角落的亮度是圖像中心的亮度的一半，那么一些實(shí)施例的LS模 塊425把角落像素值乘以2,以便產(chǎn)生均勻的圖像。
[0149]去馬賽克模塊43〇執(zhí)行去馬賽克操作，以便由采樣顏色的圖像產(chǎn)生全色圖像。如 上所述，照相機(jī)傳感器輸出拜爾格式圖像，由于拜爾格式圖像的每個(gè)像素只保存一種色值， 因此拜爾格式圖像是不完整的。去馬賽克模塊430通過在拜爾格式圖像中插入每組顏色的 色值，由拜爾格式圖像重構(gòu)紅、綠、藍(lán)（RGB)圖像。
[0150] WB模塊435對(duì)從去馬賽克模塊430接收的RGB圖像執(zhí)行白平衡操作，使得圖像內(nèi) 容的顏色與現(xiàn)實(shí)生活中人眼感覺到的所述內(nèi)容的顏色相似。WB模塊435通過調(diào)整圖像的顏 色來調(diào)整白平衡，以正確地呈現(xiàn)中性顏色（例如，灰、白等）。例如，在白熾燈下的一張白紙 的圖像可能顯現(xiàn)為黃色，而人眼感覺所述一張紙為白色。為了解決傳感器拍攝的圖像的顏 色與人眼感覺的圖像的顏色之間的差異，WB模塊435調(diào)整圖像的色值，使得拍攝的圖像正 確地反映人眼感覺的顏色。
[0151] 統(tǒng)計(jì)引擎妨5收集在CIPU處理管線485的各個(gè)階段的圖像數(shù)據(jù)。例如，圖4表示 統(tǒng)計(jì)引擎46δ收集在LS模塊425、去馬賽克模塊430和WB模塊435之后的圖像數(shù)據(jù)。不 同的實(shí)施例從CIIHJ處理管線4邪的任意數(shù)目的不同階段收集數(shù)據(jù)。統(tǒng)計(jì)引擎465處理收 集的數(shù)據(jù)，并根據(jù)處理后的數(shù)據(jù)，通過控制器模塊475和傳感器模塊415調(diào)整照相機(jī)傳感器 405a和405b的操作。這種操作的例子包括曝光和聚焦。盡管圖4顯示通過控制器模塊475 控制照相機(jī)傳感器405a和405b的統(tǒng)計(jì)引擎465,不過，統(tǒng)計(jì)引擎465的其它實(shí)施例通過傳 感器模塊415控制照相機(jī)傳感器。
[0152] 處理后的數(shù)據(jù)還可用于調(diào)整CIPU 400的各個(gè)模塊的操作。例如，一些實(shí)施例的統(tǒng) 計(jì)引擎465根據(jù)在WB模塊435之后收集的數(shù)據(jù)，調(diào)整WB模塊435的操作。在一些這樣的 實(shí)施例中，統(tǒng)計(jì)引擎465通過利用處理后的數(shù)據(jù)提供自動(dòng)白平衡（AWB)功能，以調(diào)整WB模 塊435的白平衡操作。其它實(shí)施例可以使用從CIPU處理管線485的任意數(shù)目的階段收集 的處理后數(shù)據(jù)來調(diào)整CIPU處理管線485內(nèi)的任意數(shù)目模塊的操作。此外，統(tǒng)計(jì)引擎465還 能夠從控制器模塊475接收指令，以調(diào)整CIPU處理管線485的一個(gè)或多個(gè)模塊的操作。
[0153] 在從WB模塊435接收到圖像之后，Y模塊440對(duì)圖像進(jìn)行Y校正操作，以編碼 和解碼照相機(jī)系統(tǒng)的亮度或者三色值。一些實(shí)施例的γ模塊440通過把10-12比特的線 性信號(hào)轉(zhuǎn)換成8比特的非線性編碼，以校正圖像的 γ值，進(jìn)行γ值校正。一些實(shí)施例利用 查找表校正Υ值。
[0154] CSC模塊44δ把從γ模塊440接收的圖像從一個(gè)色空間變換到另一個(gè)色空間。具 體地說，CSC模塊44 5把圖像從RGB色空間變換到亮度和色度（YUV)色空間。不過，CSC模 塊445的其它實(shí)施例可以往來于任意數(shù)目的色空間變換圖像。
[0155] HSC模塊45〇可調(diào)整從CSC模塊445接收的圖像的色調(diào)、飽和度、對(duì)比度或者它們 的任意組合。例如，HSC模塊45〇可以調(diào)整這些性質(zhì)，以降低噪聲或者增強(qiáng)圖像。例如，可 以增大由低噪聲照相機(jī)傳感器拍攝的圖像的飽和度，以使圖像顯得更鮮艷。相反，可以降低 由高噪聲照相機(jī)傳感器拍攝的圖像的飽和度，以降低這種圖像的色噪聲。
[0156]在HSC模塊450之后，定標(biāo)器模塊4δ5可縮放圖像，以調(diào)整圖像的像素分辨率，或 者調(diào)整圖像的數(shù)據(jù)大小。例如，定標(biāo)器模塊455還可減小圖像的大小，以便適合較小的顯示 器。例如，定標(biāo)器模塊4δ5能夠以許多不同的方式比例縮放圖像。例如，定標(biāo)器模塊455能 夠按比例增大（即，放大）和按比例減?。╣卩，縮?。﹫D像。定標(biāo)器模塊4 55還能夠按比例 縮放圖像，或者變形地縮放圖像。
[0157]濾波器模塊站0對(duì)從定標(biāo)器模塊455接收的圖像應(yīng)用一種或多種濾波操作，以改 變圖像的一些或全部像素的一種或多種屬性。濾波器的例子包括低通濾波器、高通濾波器、 帶通濾波器、雙邊濾波器、高斯濾波器，等等。因而，濾波器模塊460能夠?qū)D像應(yīng)用任意多 種不同的濾波。
[0158] -些實(shí)施例的控制器模塊475是控制CPU 400的操作的微控制器。在一些實(shí)施 例中，控制器模塊475(1)通過傳感器模塊41，控制照相機(jī)傳感器的操作（例如，曝光度）， ⑵控制CIPU處理管線485的操作，⑶控制CIPU處理管線485的定時(shí)（例如，何時(shí)切換 照相機(jī)傳感器，何時(shí)切換寄存器，等等），和（4)控制閃光燈/頻閃閃光燈（未示出），所述 閃光燈/頻閃閃光燈是一些實(shí)施例的雙照相機(jī)移動(dòng)設(shè)備的一部分。
[0159] 控制器模塊475的一些實(shí)施例處理從統(tǒng)計(jì)引擎465和CIPU驅(qū)動(dòng)器480接收的指 令。在一些實(shí)施例中，從CIPU驅(qū)動(dòng)器4S0接收的指令是來自雙照相機(jī)移動(dòng)設(shè)備（即，接收 自本地設(shè)備）的指令，而在其它實(shí)施例中，從CITO驅(qū)動(dòng)器480接收的指令是來自另一個(gè)設(shè) 備的指令（例如，視頻會(huì)議期間的遠(yuǎn)程控制）。根據(jù)處理后的指令，控制器模塊475能夠通 過規(guī)劃寄存器470的值，調(diào)整CIPU 400的操作。此外，控制器模塊475能夠在CIPU 400的 操作期間，動(dòng)態(tài)重新規(guī)劃寄存器470的值。
[0160] 如圖4中所示，CIPU 400包括CIPU處理管線485中的許多模塊。不過，本領(lǐng)域 的普通技術(shù)人員會(huì)認(rèn)識(shí)到可以只用一些圖解說明的模塊，或者用另外的不同模塊實(shí)現(xiàn)CIPU 400。另外，由不同模塊執(zhí)行的處理可按照與圖4中圖解說明的順序不同的順序應(yīng)用于圖 像。
[0161] 現(xiàn)在參考圖4,說明CIPU 400的一個(gè)示例操作。為了說明起見，一組寄存器Ra被 用于處理由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)傳感器405a拍攝的圖像，以及一組寄存器Rb被用 于處理由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)傳感器405b拍攝的圖像。控制器模塊475從CIPU驅(qū) 動(dòng)器480接收產(chǎn)生由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)之一拍攝的圖像的指令。
[0162] 控制器模塊475隨后初始化CIPU處理管線485的各個(gè)模塊，以處理由雙照相機(jī)移 動(dòng)設(shè)備的照相機(jī)之一拍攝的圖像。在一些實(shí)施例中，這包括控制器模塊475檢查是否使用 了寄存器470中的一組正確寄存器。例如如果CIPU驅(qū)動(dòng)器480指令控制器模塊475產(chǎn)生由 照相機(jī)傳感器405a拍攝的圖像，那么控制器模塊475檢查一組寄存器Ra是否是CIPU 400 的模塊讀取的一組寄存器。如果不是，那么控制器模塊475在兩組寄存器之間切換，使得該 組寄存器Ra是由CIPU 400的模塊讀取的一組寄存器。
[0163] 對(duì)CII>U處理管線485中的每個(gè)模塊來說，工作模式由保存在所述一組寄存器Ra 中的值指示。如前所述，一組寄存器470中的值能夠在CIPU 400的操作期間被動(dòng)態(tài)重新規(guī) 貝|J。從而，一個(gè)圖像的處理不同于下一個(gè)圖像的處理。盡管CIPU 400的本示例操作的討論 描述CPU 400中的每個(gè)模塊讀取保存在寄存器中的指示各個(gè)模塊的工作模式的值，不過 在一些軟件實(shí)現(xiàn)的實(shí)施例中，改為把參數(shù)傳送給CIRJ 400的各個(gè)模塊。
[0164] 在一些實(shí)施例中，控制器模塊475通過指令傳感器模塊415在從像素陣列410a取 回圖像之后延遲特定時(shí)間量，來初始化傳感器模塊415。換句話說，控制器模塊475指令傳 感器模塊415以特定速率從像素陣列410a取回圖像。
[0165] 隨后，控制器模塊475通過傳感器模塊415指令照相機(jī)傳感器405a拍攝圖像。在 一些實(shí)施例中，控制器模塊475還向照相機(jī)傳感器405a提供曝光參數(shù)和其它照相機(jī)操作參 數(shù)。在其它實(shí)施例中，照相機(jī)傳感器405a使用照相機(jī)傳感器操作參數(shù)的默認(rèn)值。根據(jù)所述 參數(shù)，照相機(jī)傳感器405a拍攝原始圖像，所述原始圖像被保存在像素陣列410a中。傳感器 模塊415從像素陣列410a取回所述原始圖像，并把圖像發(fā)送給行/幀緩沖器417以便保存， 之后CIPU處理管線485處理該圖像。
[0166] 在某些情況下，圖像可能被行/幀緩沖器417丟棄。當(dāng)照相機(jī)傳感器405a和/或 405b以高速率拍攝圖像時(shí)，傳感器模塊415可比BPC模塊420能夠從行/幀緩沖器417取 回圖像更快地接收?qǐng)D像，并把圖像保存在行/幀緩沖器417中（例如，拍攝高幀速率視頻 時(shí)），行/幀緩沖器417會(huì)變得完全充滿。當(dāng)發(fā)生這種情況時(shí)，一些實(shí)施例的行/幀緩沖器 417根據(jù)先進(jìn)先出原則丟棄圖像（即，幀）。即，當(dāng)行/幀緩沖器417丟棄一幀圖像時(shí)，行/ 幀緩沖器417丟棄在行/幀緩沖器417中的所有其它圖像之前接收的那幀圖像。
[0167] CIPU處理管線485的圖像處理從BPC模塊420取回來自行/幀緩沖器417的圖 像，以校正圖像中的任何壞像素開始。BPC模塊420隨后把圖像發(fā)送給LS模塊425,以校正 圖像中的任何不均勻照明度。在校正圖像的照明度之后，LS模塊425把圖像發(fā)送給去馬賽 克模塊430,去馬賽克模塊430處理原始圖像，由原始圖像產(chǎn)生RGB圖像。隨后，WB模塊4 35 從去馬賽克模塊430接收RGB圖像，并調(diào)整RGB圖像的白平衡。
[0168] 如上所述，統(tǒng)計(jì)引擎465可能己在CIPU處理管線485的各個(gè)點(diǎn)收集了一些數(shù)據(jù)。 例如，如圖4中圖解所示，統(tǒng)計(jì)引擎465在LS模塊425、去馬賽克模塊430和WB模塊43δ之 后收集數(shù)據(jù)。根據(jù)收集的數(shù)據(jù)，統(tǒng)計(jì)引擎465可調(diào)整照相機(jī)傳感器405a的操作和/或CIPU 處理管線485中的一個(gè)或多個(gè)模塊的操作，以便調(diào)整從照相機(jī)傳感器405a的后續(xù)圖像的拍 攝。例如，根據(jù)收集的數(shù)據(jù)，統(tǒng)計(jì)引擎465可確定當(dāng)前圖像的曝光度過低，從而通過傳感器 模塊415指令照相機(jī)傳感器405a增大后續(xù)所拍圖像的曝光度。從而，一些實(shí)施例的統(tǒng)計(jì)引 擎465起一些處理操作的反饋回路的作用。
[0169] 在WB模塊435調(diào)整圖像的白平衡之后，它把圖像發(fā)送給Y模塊440,以進(jìn)行γ校 正（例如，調(diào)整圖像的Y曲線）。CSC模塊445從γ模塊440接收y校正后的圖像，并進(jìn) 行色空間變換。在本例中，CSC模塊 4妨把RGB圖像變換成YUV圖像。換句話說，CSC模塊 445把用RGB色空間表現(xiàn)的圖像變換成用YUV色空間表現(xiàn)的圖像。HSC模塊 45〇從CSC模 塊445接收YUV圖像，并調(diào)整圖像中的各個(gè)像素的色調(diào)、飽和度和對(duì)比度屬性。在HSC模塊 450之后，定標(biāo)器模塊455縮放圖像（例如，放大或縮小圖像）。在從定標(biāo)器模塊 455接收 圖像之后，濾波器模塊460對(duì)圖像應(yīng)用一種或多種濾波。最后，濾波器模塊46〇把處理后的 圖像發(fā)送給CIPU驅(qū)動(dòng)器4 8〇。
[0170] 在上面說明的CITO 400的這個(gè)操作例子中，CIPU處理管線485中的每個(gè)模塊以 某種方式處理圖像。不過，CIPU 400處理的其它圖像可能不需要CIPU處理管線485的所 有模塊的處理。例如，圖像可能不需要白平衡調(diào)整、γ校正、比例縮放或?yàn)V波。因而，CIPU 400能夠根據(jù)接收的各種輸入，比如來自CITO驅(qū)動(dòng)器480的指令，或者由統(tǒng)計(jì)引擎465收集 的數(shù)據(jù)，以任意各種方式處理圖像。
[0171] 不同的實(shí)施例不同地控制處理圖像的速率（即，幀速率）?？刂茙俾实囊环N方 式是通過垂直消隱間隔（VBI)的操縱。對(duì)于取回圖像行以便逐行處理圖像的一些實(shí)施例來 說，VBI是從像素陣列取回由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝的視頻的一個(gè)圖像的最后一 行，和從像素陣列取回視頻的下一個(gè)圖像的第一行之間的時(shí)間差。在其它實(shí)施例中，VBI是 從像素陣列取回由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝的視頻的一個(gè)圖像，和從像素陣列取回 視頻的下一個(gè)圖像之間的時(shí)間差。
[0172] 其中能夠使用VBI的一個(gè)例子在傳感器模塊415與像素陣列410a和410b之間。 例如，傳感器模塊415的一些實(shí)施例逐行地從像素陣列410a和410b取回圖像，以及傳感器 模塊415的其它實(shí)施例逐個(gè)圖像地從像素陣列410a和410b取回圖像。從而，通過調(diào)整傳 感器模塊415的VBI，能夠控制幀速率：增大VBI會(huì)降低幀速率，而減小VBI會(huì)提高幀速率。
[0173] 1. VBI對(duì)單照相機(jī)的應(yīng)用：幀速率控制
[0174] 圖5概念地圖解說明基于不同VBI的不同幀速率505、510和515的例子。每個(gè)序 列顯示在沿著時(shí)間線 520的各個(gè)時(shí)刻525-555,拿著吉它的人物的圖像，所述圖像由雙照相 機(jī)移動(dòng)設(shè)備的照相機(jī)之一拍攝。另外，每個(gè)時(shí)刻525-555之間的時(shí)間都相同，稱為一個(gè)時(shí)間 單元。為了說明起見，現(xiàn)在將參考圖4的傳感器模塊415和像素陣列410a，說明圖5。因而， 每個(gè)圖像代表沿著時(shí)間線520的傳感器模塊415從像素陣列410a取回圖像的時(shí)刻。
[0175] 在示例的幀速率505中，傳感器模塊415關(guān)于像素陣列410a的VBI被設(shè)定為3個(gè) 時(shí)間單元（例如，由控制器模塊475設(shè)定）。即，傳感器模塊415沿著時(shí)間線520,每隔兩個(gè) 時(shí)刻從像素陣列410a取回一幀圖像。如示例的幀速率505中所示，傳感器模塊415在時(shí)刻 5 25、540和55δ取回圖像。從而，示例的幀速率505具有每三個(gè)時(shí)間單元一幀圖像的幀速 率。
[0176] 除了 VBI被設(shè)定為2個(gè)時(shí)間單元之外，示例的幀速率510類似于示例的幀速率 505。從而，傳感器模塊415沿著時(shí)間線520,每隔一個(gè)時(shí)刻從像素陣列410a取回一幀圖像。 示例的幀速率510表示傳感器模塊415在時(shí)刻525、535、545和555,從像素陣列410a取回 圖像。由于示例的幀速率510的VBI小于示例的幀速率505的VBI，因此示例的幀速率510 的幀速率高于示例的幀速率505的幀速率。
[0177] 除了傳感器模塊415關(guān)于像素陣列410a的VBI被設(shè)定為1個(gè)時(shí)間單元之外，示例 的幀速率515也類似于示例的幀速率505。于是，傳感器模塊415被指令沿著時(shí)間線520， 在每個(gè)時(shí)刻從像素陣列410a取回一幀圖像。如圖所示，傳感器模塊415在時(shí)刻525-555,從 像素陣列410a取回圖像。示例的幀速率515的VBI小于示例的幀速率505和510的VBI。 于是，示例的幀速率515的幀速率大于示例的幀速率505和510。
[0178] 2. VBI對(duì)雙照相機(jī)的應(yīng)用
[0179] 一些實(shí)施例可能希望同時(shí)操作雙照相機(jī)移動(dòng)設(shè)備的兩部照相機(jī)（例如，在視頻會(huì) 議期間，從兩部照相機(jī)傳送視頻）。包括單處理管線的雙照相機(jī)移動(dòng)設(shè)備的不同實(shí)施例提供 同時(shí)操作雙照相機(jī)移動(dòng)設(shè)備的兩部照相機(jī)的不同機(jī)制。
[0180] 一種這樣的機(jī)制是通過控制每部照相機(jī)的VBI，交織由兩部照相機(jī)拍攝的圖像的 處理。B卩，在一部照相機(jī)的VBI期間，拍攝和處理由另一部照相機(jī)拍攝的一個(gè)或多個(gè)圖像， 反之亦然。由于上面說明的CIPU 400具有單處理管線485,因此這種機(jī)制能夠在一些實(shí)施 例的CIPU 400中實(shí)現(xiàn)。在這樣的實(shí)施例中，傳感器模塊415從像素陣列410a和410b之一 取回圖像，并且取回的圖像由CIPU 400在傳感器模塊415關(guān)于另一個(gè)像素陣列的VBI期間 處理。
[0181] 傳感器模塊415關(guān)于每個(gè)像素陣列的VBI可被設(shè)定為特定值。不過，在一些實(shí)施 例中，VBI不被設(shè)定成比CIPU 400取回和處理一幀圖像所用時(shí)間小的值。一些實(shí)施例把傳 感器模塊415關(guān)于每個(gè)像素陣列的VBI設(shè)定成相同值。例如，當(dāng)傳感器模塊415關(guān)于每個(gè) 像素陣列的VBI被設(shè)定成相同值時(shí)，傳感器模塊415交替地從像素陣列410a和410b取回 圖像。其它實(shí)施例把傳感器模塊415關(guān)于每個(gè)像素陣列的VBI設(shè)定成不同的值。在一些這 樣的實(shí)施例中，傳感器模塊415關(guān)于一個(gè)像素陣列的VBI被設(shè)定成傳感器模塊415關(guān)于另 一個(gè)像素陣列的VBI的倍數(shù)。例如，傳感器模塊415關(guān)于一個(gè)像素陣列的VBI被設(shè)定成2 個(gè)時(shí)間單元，傳感器模塊415關(guān)于另一個(gè)像素陣列的VBI被設(shè)定成4個(gè)時(shí)間單元。在這個(gè) 例子中，相對(duì)于傳感器模塊415從所述另一個(gè)像素陣列取回的每一幀圖像，傳感器模塊415 從所述一個(gè)像素陣列取回兩幀圖像。
[0182] 圖6概念地圖解說明基于不同VBI的不同交織幀速率605、610和615的例子。除 了圖6包括沿著時(shí)間線620的13個(gè)時(shí)刻625-685之外，圖6類似于圖5。另外，拿著吉它的 人物的圖像代表沿著時(shí)間線620從一個(gè)像素陣列取回該圖像的時(shí)刻，而戴著學(xué)位帽的人物 的圖像代表沿著時(shí)間線620從另一個(gè)像素陣列取回圖像的時(shí)刻。
[0183] 為了說明起見，拿著吉它的人物的圖像假定已由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)傳感 器40?拍攝，以及戴著學(xué)位帽的人物的圖像假定已由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)傳感器 405b拍攝。此外，現(xiàn)在將參考圖4的傳感器模塊415及像素陣列410a和401b說明圖6。
[0184] 在示例的交織幀速率605中，傳感器模塊415關(guān)于像素陣列410a和像素陣列401b 的VBI被設(shè)定成2個(gè)時(shí)間單元。如示例的交織幀速率605中所示，傳感器模塊415在沿著 時(shí)間線 62〇的時(shí)刻625、635、645、655、665、675和685，從像素陣列41〇3取回圖像，以及傳感 器模塊41 5在沿著時(shí)間線620的時(shí)刻630、640、650、660、670和680,從像素陣列410b取回 圖像。即，在每個(gè)時(shí)間單元，傳感器模塊415交替地從像素陣列取回圖像。
[0185] 除了傳感器模塊415關(guān)于像素陣列410a和像素陣列401b的VBI被設(shè)定成4個(gè)時(shí) 間單元之外，示例的交織幀速率610類似于示例的交織幀速率605。示例的交織幀速率610 顯示傳感器模塊415在沿著時(shí)間線620的時(shí)刻625、645、665和685,從像素陣列410a取回 圖像，以及傳感器模塊41 5在沿著時(shí)間線620的時(shí)刻635、655和675,從像素陣列410b取回 圖像。由于示例的交織幀速率610的 VBI大于示例的交織幀速率605的VBI，因此示例的交 織幀速率610的幀速率小于示例的交織幀速率 6〇5的幀速率。
[0186]除了傳感器模塊415關(guān)于像素陣列410a和像素陣列401b的VBI被設(shè)定成6個(gè)時(shí) 間單元之外，不例的交織幀速率615也類似于示例的交織幀速率605。如圖6中所示，傳感 器模塊4丨 5在沿著時(shí)間線62〇的時(shí)刻625、655和685,從像素陣列 41〇a取回圖像，以及傳感 器模塊415在沿著時(shí)間線62〇的時(shí)刻64〇和 67〇，從像素陣列41〇b取回圖像。示例的交織 幀速率615的VBI大于示例的交織幀速率 6〇5和610的VBI。從而，示例的交織幀速率615 的幀速率小于示例的交織幀速率605和610的幀速率。
[0187] B.多管線
[0188] 圖7概念地圖解說明一些實(shí)施例的另一個(gè)拍攝圖像處理單元（CIPU)700。除了 CIPU 700由兩個(gè)前端處理管線，一個(gè)存儲(chǔ)器，和一個(gè)后端處理管線實(shí)現(xiàn)，而不是由單處理管 線實(shí)現(xiàn)之外，CIPU 700實(shí)現(xiàn)和上面說明的CIPU 400相同的功能。因此，將參考CIPU 400的 模塊，說明CIPU 700的功能的描述。
[0189] 如圖所示，CIPU 700包括用于照相機(jī)傳感器405a和像素陣列410a的前端處理管 線Π 5、用于照相機(jī)傳感器405b和像素陣列410b的前端處理管線720、存儲(chǔ)器725、控制器 模塊 73〇、和后端處理管線7：35。一些實(shí)施例的照相機(jī)傳感器405a和405b是雙照相機(jī)移動(dòng) 設(shè)備的照相機(jī)的傳感器。
[0190] -些實(shí)施例的前端處理管線715和720執(zhí)行CIPU 400的部分圖像處理。因而，不 同的實(shí)施例可以包括CIPU 400的不同數(shù)目的模塊。例如，一些實(shí)施例的每個(gè)前端處理管線 715和720包括CIPU 400的傳感器模塊415、BPC模塊420、LS模塊425、去馬賽克模塊430、 WB模塊435和統(tǒng)計(jì)引擎465。
[0191] 盡管由于具有相同的模塊，前端處理管線715和720執(zhí)行相同類型的圖像處理，不 過通過如上關(guān)于CITO 400說明的不同的寄存器值，能夠不同地配置每個(gè)前端處理管線715 和72〇中的每個(gè)模塊。此外，由于每個(gè)照相機(jī)傳感器405a和405b都具有它自己的前端處 理管線，因此前端處理管線715和720能夠相互獨(dú)立地處理圖像。例如，前端處理管線715 和720能夠并行地（即，在相同的時(shí)間）、在不同的時(shí)間、和以不同的速率處理圖像。
[0192] 在一些實(shí)施例中，每個(gè)前端處理管線715和720能夠從其對(duì)應(yīng)的照相機(jī)傳感器和 像素陣列取回圖像。例如，前端處理管線715從像素陣列410a取回由照相機(jī)傳感器405a 拍攝的圖像，以及前端處理管線720從像素陣列410b取回由照相機(jī)傳感器405b拍攝的圖 像。當(dāng)前端處理管線715和720之一從其對(duì)應(yīng)的照相機(jī)傳感器和像素陣列取回圖像時(shí)，該 前端處理管線處理該圖像，并把處理后的圖像發(fā)送給存儲(chǔ)器725。另外，每個(gè)前端處理管線 715和720如上所述與控制器模塊730通信（例如，通過每個(gè)前端處理管線的統(tǒng)計(jì)引擎）。
[0193] 一些實(shí)施例的存儲(chǔ)器725保存部分處理后的圖像，供后端處理管線735完成處理。 在這些實(shí)施例中，存儲(chǔ)器725從前端處理管線715和720接收部分處理后的圖像，并把部分 處理后的圖像發(fā)送給后端處理管線735。一些實(shí)施例把存儲(chǔ)器725實(shí)現(xiàn)成易失性存儲(chǔ)器（例 如，隨機(jī)存取存儲(chǔ)器（RAM))，而其它實(shí)施例把存儲(chǔ)器725實(shí)現(xiàn)成非易失性存儲(chǔ)器（例如，閃 速存儲(chǔ)器、硬盤、光盤等）。此外，一些實(shí)施例的存儲(chǔ)器725是內(nèi)部存儲(chǔ)器（例如，RAM)，而 其它實(shí)施例的存儲(chǔ)器725是外部存儲(chǔ)器（例如，緊湊式閃存（CF)卡，安全數(shù)字（SD)卡，等 等）。
[0194] 后端處理管線735的一些實(shí)施例執(zhí)行CITO 700的部分圖像處理。在一些實(shí)施例 中，后端處理管線735包括前端處理管線715和720不包括的CIPU 400的模塊。例如，參 見上面的例子，后端處理管線735應(yīng)包括CIPU 400的CSC模塊445、γ模塊440、HSC模塊 450、定標(biāo)器模塊455和濾波器模塊460。因而，這種實(shí)施例的后端處理管線735執(zhí)行前端 處理管線715和720不執(zhí)行的CPU 400的剩余圖像處理。因此，后端處理管線735從存儲(chǔ) 器725取回部分處理后的圖像，并對(duì)部分處理后的圖像執(zhí)行剩余的圖像處理。在處理圖像 之后，后端處理管線735把處理后的圖像發(fā)送給CITO驅(qū)動(dòng)器480。
[0195]控制器模塊73〇執(zhí)行上面參考圖4說明的相同功能。如圖7中所示，控制器模塊 730與前端處理管線715和72〇及后端處理管線735交互。在一些實(shí)施例中，控制器模塊 73〇包括在后端處理管線735中，而在其它實(shí)施例中，控制器模塊730包括在前端處理管線 715和720之一中。
[0196] 現(xiàn)在參考在圖7中圖解說明的照相機(jī)傳感器405a和405b、像素陣列401a和410b、 前端處理管線715和720、存儲(chǔ)器725和后端處理管線735,說明CIPU 700的操作。當(dāng)前 端處理管線715和720之一從其對(duì)應(yīng)的照相機(jī)傳感器和像素陣列取回圖像時(shí)，前端處理管 線處理該圖像，并把部分處理后的圖像發(fā)送給存儲(chǔ)器725。例如，前端處理管線715可從像 素陣列410a取回由照相機(jī)傳感器405a拍攝的圖像，或者前端處理管線720可從像素陣列 410b取回由照相機(jī)傳感器405b拍攝的圖像。如上所述，前端處理管線715和720都能夠并 行處理圖像。
[0197] 后端處理管線735從存儲(chǔ)器725取回部分處理后的圖像，并處理部分處理后的圖 像以完成圖像的圖像處理。在一些實(shí)施例中，后端處理管線735基于先進(jìn)先出的原則取回 和處理保存在存儲(chǔ)器725中的圖像。換句話說，存儲(chǔ)器725中的特定圖像將在先于該特定 圖像的接收和保存在存儲(chǔ)器72δ中的所有圖像之后進(jìn)行處理，不過，該特定圖像將在晚于 該特定圖像的接收和保存在存儲(chǔ)器7?中的圖像之前進(jìn)行處理。在后端處理管線735處理 圖像之后，它把處理后的圖像發(fā)送給CIPU驅(qū)動(dòng)器480。
[0198]圖8概念地圖解說明一些實(shí)施例的另一個(gè)拍攝圖像處理單元（CIPU)800。除了 CIPU 800由兩個(gè)單獨(dú)的處理管線實(shí)現(xiàn)，每個(gè)照相機(jī)傳感器具有它自己的單獨(dú)的處理管線之 外，CIPU 800執(zhí)行和上面說明的CIPU 400相同的功能。因而，將參考CIPU 400的模塊，說 明CIPU 800的功能的描述。
[0199] 如圖所示，CIPU 800包括用于照相機(jī)傳感器405a和像素陣列410a的處理管線 815,和用于照相機(jī)傳感器405b和像素陣列410b的處理管線820。一些實(shí)施例的每個(gè)處理 管線815和820都包括包含在CITO 400中的所有模塊。于是，這些實(shí)施例的每個(gè)處理管線 815和820的操作均與CIPU 400的操作相同。
[0200] 由于每個(gè)照相機(jī)傳感器405a和405b都具有它自己的處理管線，因此處理管線815 和820能夠相互獨(dú)立地處理圖像。例如，處理管線815和820能夠并行地（即，在相同的時(shí) 間）、在不同的時(shí)間、和以不同的速率處理圖像。另外，通過上面參考CIPU 400說明的不同 的寄存器值，能夠不同地配置一些實(shí)施例的每個(gè)處理管線815和820。
[0201] 在一些實(shí)施例中，CIPU 400的許多模塊包括用于執(zhí)行該模塊的一些或全部操作的 一個(gè)或多個(gè)行/幀緩沖器。例如，一些實(shí)施例的濾波模塊460被實(shí)現(xiàn)成執(zhí)行3 X 3低通濾波。 在這樣的實(shí)施例中，3X3低通濾波器處理圖像中的連續(xù)三行，以便對(duì)所述連續(xù)三行的中間 行應(yīng)用3X3低通濾波。從而，這種實(shí)施例的濾波模塊460至少需要三個(gè)行/幀緩沖器，以 便實(shí)現(xiàn)3X3低通濾波。CIPU 400中的其它模塊也包括一個(gè)或多個(gè)行/幀緩沖器，比如BPC 模塊420和LS模塊425。 t〇2〇2] CIPU 800的處理管線均可具有不同的行/幀緩沖器大小，以便按照其對(duì)應(yīng)照相機(jī) 的特征定制圖像處理。例如，如果雙照相機(jī)移動(dòng)設(shè)備的一部照相機(jī)具有2048X 1500像素傳 感器，那么該2〇48 X 1500像素傳感器的處理管線能夠包括2048像素寬的行/幀緩沖器。類 似地，如果雙照相機(jī)移動(dòng)設(shè)備的另一部照相機(jī)具有640 X 480像素傳感器，那么640 X 480像 素傳感器的處理管線可包括為640像素寬的行/幀緩沖器。即，包括在一個(gè)處理管線的各 個(gè)模塊中的行/幀緩沖器的大小可不同于包括在另一個(gè)處理管線的各個(gè)模塊中的行/幀緩 沖器的大小。
[0203] III.視頻會(huì)議 [0204] A.視頻會(huì)議體系結(jié)構(gòu)
[0205] 圖9概念地圖解說明一些實(shí)施例的雙照相機(jī)移動(dòng)設(shè)備的視頻會(huì)議和處理模塊900 的軟件體系結(jié)構(gòu)。視頻會(huì)議和處理模塊900包括與上面參考圖3說明的對(duì)應(yīng)模塊和驅(qū)動(dòng)器 305、301和320類似的CIPU驅(qū)動(dòng)器905、媒體交換模塊910和編碼器驅(qū)動(dòng)器920。視頻會(huì)議 和處理模塊900還包括用于實(shí)現(xiàn)各種視頻會(huì)議功能的視頻會(huì)議模塊925、視頻會(huì)議客戶端 94δ和網(wǎng)絡(luò)接口 950。類似于視頻處理和編碼模塊300,視頻會(huì)議和處理模塊900處理和編 碼從雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝的圖像。
[0206] 如上參考圖3所述，媒體交換模塊910允許設(shè)備中的媒體內(nèi)容的使用者和制造者 交換媒體內(nèi)容，和與媒體內(nèi)容的處理有關(guān)的指令。CIPU驅(qū)動(dòng)器905充當(dāng)與拍攝圖像處理單 元（CIPU) 955的通信接口，編碼器驅(qū)動(dòng)器920充當(dāng)與編碼器硬件960 (例如，編碼器芯片、片 上系統(tǒng)上的編碼組件，等等）的通信接口。
[0207] 一些實(shí)施例的視頻會(huì)議模塊925負(fù)責(zé)各種視頻會(huì)議功能，比如圖像處理、視頻會(huì) 議管理和連網(wǎng)。如圖所示，視頻會(huì)議模塊925與媒體交換模塊910、視頻會(huì)議客戶端945和 網(wǎng)絡(luò)接口 950交互。在一些實(shí)施例中，視頻會(huì)議模塊925從視頻會(huì)議客戶端945接收指令， 和向視頻會(huì)議客戶端945發(fā)送指令。一些實(shí)施例的視頻會(huì)議模塊925還通過網(wǎng)絡(luò)接口 950， 向網(wǎng)絡(luò)發(fā)送數(shù)據(jù)和從網(wǎng)絡(luò)接收數(shù)據(jù)，例如，所述網(wǎng)絡(luò)是局域網(wǎng)（LAN)、無線局域網(wǎng)（WLAN)、 廣域網(wǎng)（WAN)、網(wǎng)絡(luò)的網(wǎng)絡(luò)（a network of networks)、碼分多址接入（CDMA)網(wǎng)絡(luò)、GSM網(wǎng) 絡(luò)7等等。
[0208] 視頻會(huì)議模塊925包括圖像處理層930、管理層935和網(wǎng)絡(luò)層940。在一些實(shí)施例 中，圖像處理層930對(duì)圖像進(jìn)行圖像處理操作，以便用于視頻會(huì)議。例如，一些實(shí)施例的圖 像處理層930進(jìn)行曝光調(diào)整、圖像縮放、透視校正和動(dòng)態(tài)范圍調(diào)整，如下進(jìn)一步詳細(xì)所述。 一些實(shí)施例的圖像處理層930通過媒體交換模塊910發(fā)送對(duì)來自CIPU 955的圖像的請(qǐng)求。
[0209] 一些實(shí)施例的管理層935控制視頻會(huì)議模塊925的操作。例如，在一些實(shí)施例中， 管理層935初始化雙照相機(jī)移動(dòng)設(shè)備的一部/兩部照相機(jī)，處理圖像和音頻，以便傳送給遠(yuǎn) 程設(shè)備，和處理從遠(yuǎn)程設(shè)備接收的圖像和音頻。在一些實(shí)施例中，管理層935產(chǎn)生用于該設(shè) 備的合成（例如PIP)顯示。此外，管理層935可根據(jù)從網(wǎng)絡(luò)層940接收的連網(wǎng)報(bào)告，改變 視頻會(huì)議模塊925的操作。
[0210] 在一些實(shí)施例中，網(wǎng)絡(luò)層940實(shí)現(xiàn)用于視頻會(huì)議的一些或全部網(wǎng)絡(luò)功能。例如，如 下所述，除了別的功能之外，一些實(shí)施例的網(wǎng)絡(luò)層940建立視頻會(huì)議的雙照相機(jī)移動(dòng)設(shè)備 和遠(yuǎn)程設(shè)備之間的網(wǎng)絡(luò)連接（未示出），把圖像傳送給遠(yuǎn)程設(shè)備，和從遠(yuǎn)程設(shè)備接收?qǐng)D像。 另外，網(wǎng)絡(luò)層940接收諸如分組丟失、單向等待時(shí)間和往返延遲時(shí)間之類的連網(wǎng)數(shù)據(jù)，以及 其它各種數(shù)據(jù)，處理這樣的數(shù)據(jù)，和把數(shù)據(jù)報(bào)告給管理層935。
[0211] 一些實(shí)施例的視頻會(huì)議客戶端945是利用視頻會(huì)議模塊925的視頻會(huì)議功能的應(yīng) 用，比如視頻會(huì)議應(yīng)用、IP話音（V0IP)應(yīng)用（例如，Skype)或者即時(shí)通信應(yīng)用。在一些實(shí) 施例中，視頻會(huì)議客戶端945是獨(dú)立的應(yīng)用，而在其它實(shí)施例中，視頻會(huì)議客戶端M5被集 成到另一個(gè)應(yīng)用中。
[0212] 在一些實(shí)施例中，網(wǎng)絡(luò)接口 ％0是允許視頻會(huì)議模塊925和視頻會(huì)議客戶端945 通過網(wǎng)絡(luò)（例如，蜂窩網(wǎng)絡(luò)、局域網(wǎng)、無線網(wǎng)絡(luò)、網(wǎng)絡(luò)的網(wǎng)絡(luò)、因特網(wǎng)等）發(fā)送數(shù)據(jù)和接收數(shù) 據(jù)的通信接口。例如，如果視頻會(huì)議模塊925想要向因特網(wǎng)上的另一個(gè)設(shè)備發(fā)送數(shù)據(jù)（例 如，由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝的圖像），那么視頻會(huì)議模塊925通過網(wǎng)絡(luò)接口 ％0 把圖像發(fā)送給所述另一個(gè)設(shè)備。
[0213] B.視頻會(huì)議設(shè)置
[0214] 圖10概念地圖解說明一些實(shí)施例的示例的視頻會(huì)議請(qǐng)求消息接發(fā)序列1000。圖 10表示運(yùn)行于設(shè)備1005上的視頻會(huì)議客戶端1010,視頻會(huì)議服務(wù)器1015,和運(yùn)行于設(shè)備 1020上的視頻會(huì)議客戶端1025之間的視頻會(huì)議請(qǐng)求消息接發(fā)序列1000。在一些實(shí)施例中， 視頻會(huì)議客戶端1010和1025與圖9中所示的視頻會(huì)議客戶端945相同。如圖10中所示， 一個(gè)設(shè)備（即，設(shè)備1005)請(qǐng)求視頻會(huì)議，以及另一個(gè)設(shè)備（g卩，設(shè)備1020)應(yīng)答該請(qǐng)求。在 本申請(qǐng)中描述的雙照相機(jī)移動(dòng)設(shè)備能夠執(zhí)行這兩個(gè)操作（即，發(fā)出請(qǐng)求和響應(yīng)請(qǐng)求）。
[0215] -些實(shí)施例的視頻會(huì)議服務(wù)器1015在視頻會(huì)議客戶端之間路由消息。盡管一些 實(shí)施例在一個(gè)計(jì)算設(shè)備上實(shí)現(xiàn)視頻會(huì)議服務(wù)器1015,不過其它實(shí)施例在多個(gè)計(jì)算設(shè)備上實(shí) 現(xiàn)視頻會(huì)議服務(wù)器1015。在一些實(shí)施例中，視頻會(huì)議服務(wù)器是可公開訪問的服務(wù)器，它能夠 同時(shí)處理和路由眾多會(huì)議的消息。一些實(shí)施例的每個(gè)視頻會(huì)議客戶端1010和1025經(jīng)網(wǎng)絡(luò) 接口，比如上面說明的網(wǎng)絡(luò)接口 950,通過網(wǎng)絡(luò)（例如，蜂窩網(wǎng)絡(luò)、局域網(wǎng)、無線網(wǎng)絡(luò)、網(wǎng)絡(luò)的 網(wǎng)絡(luò)、因特網(wǎng)等）與視頻會(huì)議服務(wù)器1015通信。
[0216] 當(dāng)視頻會(huì)議客戶端1010從設(shè)備1005的用戶接收到（在操作1)開始和設(shè)備1020 的視頻會(huì)議的請(qǐng)求時(shí)，一些實(shí)施例的視頻會(huì)議請(qǐng)求消息接發(fā)序列1000開始。當(dāng)設(shè)備1005 的用戶選擇顯示在設(shè)備1005上的用戶界面的某一用戶界面（UI)項(xiàng)目時(shí)，一些實(shí)施例的視 頻會(huì)議客戶端1010接收開始視頻會(huì)議的請(qǐng)求。在下面說明的圖11和圖14中圖解說明了 這種用戶界面的例子。
[0217] 在視頻會(huì)議客戶端1010接收到請(qǐng)求之后，視頻會(huì)議客戶端1010向視頻會(huì)議服務(wù) 器1015發(fā)送（在操作2)視頻會(huì)議請(qǐng)求，該請(qǐng)求根據(jù)用戶的輸入，把設(shè)備1020指示為收件 人。視頻會(huì)議服務(wù)器1015把視頻會(huì)議請(qǐng)求轉(zhuǎn)發(fā)給（在操作3)設(shè)備1020的視頻會(huì)議客戶 端1025。在一些實(shí)施例中，視頻會(huì)議服務(wù)器1015利用推送技術(shù)，把視頻會(huì)議請(qǐng)求轉(zhuǎn)發(fā)給視 頻會(huì)議客戶端1025。即，當(dāng)從視頻會(huì)議客戶端1010接收到請(qǐng)求時(shí)，視頻會(huì)議服務(wù)器1015開 始向視頻會(huì)議客戶端1025傳送視頻會(huì)議請(qǐng)求，而不是等待客戶端1025發(fā)送對(duì)任何消息的 請(qǐng)求。
[0218] 當(dāng)一些實(shí)施例的視頻會(huì)議客戶端1025接收到視頻會(huì)議請(qǐng)求時(shí)，在設(shè)備1020上顯 示用戶界面，以向設(shè)備1020的用戶指出，設(shè)備1005的用戶發(fā)送了開始視頻會(huì)議的請(qǐng)求，并 提示設(shè)備1020的用戶接受或拒絕該視頻會(huì)議請(qǐng)求。在下面說明的圖12中圖解說明了這種 用戶界面的例子。在一些實(shí)施例中，當(dāng)視頻會(huì)議客戶端1025接收到（在操作4)接受來自 設(shè)備1005的用戶的視頻會(huì)議請(qǐng)求的請(qǐng)求時(shí)，視頻會(huì)議客戶端1025向視頻會(huì)議服務(wù)器1015 發(fā)送（在操作5)視頻會(huì)議接受。當(dāng)設(shè)備1020的用戶選擇如圖12中圖解說明的用戶界面 的某一用戶界面項(xiàng)目時(shí)，一些實(shí)施例的視頻會(huì)議客戶端1025接收到接受視頻請(qǐng)求的請(qǐng)求。
[0219] 在視頻會(huì)議服務(wù)器1015從視頻會(huì)議客戶端1025接收到視頻會(huì)議接受之后，視頻 會(huì)議服務(wù)器1015把視頻會(huì)議接受轉(zhuǎn)發(fā)給（在操作6)視頻會(huì)議客戶端1010。視頻會(huì)議服務(wù) 器1015的一些實(shí)施例利用上述推送技術(shù)，把視頻會(huì)議接受轉(zhuǎn)發(fā)給視頻會(huì)議客戶端1010。
[0220] 當(dāng)接收到視頻會(huì)議接受時(shí)，一些實(shí)施例在設(shè)備1005和設(shè)備1020之間建立（在操 作7)視頻會(huì)議。不同的實(shí)施例不同地建立視頻會(huì)議。例如，一些實(shí)施例的視頻會(huì)議建立包 括：協(xié)商設(shè)備1005和設(shè)備1020之間的連接、確定對(duì)視頻編碼的比特率、和在設(shè)備1005和設(shè) 備1020交換視頻。
[0221] 在上面的例子中，設(shè)備1020的用戶接受視頻會(huì)議請(qǐng)求。在一些實(shí)施例中，設(shè)備 1020可被配置成（例如，通過設(shè)備的優(yōu)先選擇設(shè)置）自動(dòng)接受到來的視頻會(huì)議請(qǐng)求，而不顯 示III。此外，設(shè)備1020的用戶也能夠拒絕（在操作4)視頻會(huì)議請(qǐng)求（例如，通過選擇在設(shè) 備1020上顯示的用戶界面的某個(gè)用戶界面項(xiàng)目）。代替發(fā)送視頻會(huì)議接受，視頻會(huì)議客戶 端1025向視頻會(huì)議服務(wù)器1015發(fā)送視頻會(huì)議拒絕，視頻會(huì)議服務(wù)器1015把視頻會(huì)議拒絕 轉(zhuǎn)發(fā)給視頻會(huì)議客戶端1010。從而根本不建立視頻會(huì)議。
[0222] 1.視頻會(huì)議設(shè)置用戶界面
[0223] 在一些實(shí)施例中，根據(jù)正在進(jìn)行的通話，發(fā)起視頻會(huì)議。即，在移動(dòng)設(shè)備的用戶與 第二位用戶通話的時(shí)候，經(jīng)另一方的許可，該用戶能夠把通話變成視頻會(huì)議。對(duì)本發(fā)明的一 些實(shí)施例來說，圖11圖解說明由雙照相機(jī)手持移動(dòng)設(shè)備1100進(jìn)行的這種視頻會(huì)議的啟動(dòng)。 圖11利用設(shè)備1100的用戶界面（"UI"）1105的五個(gè)操作階段1110、1115、1120、1125和 1130，圖解說明視頻會(huì)議的啟動(dòng)。
[0224] 如圖11中所示，UI 1105包括名字欄1135、選擇菜單1140和可選擇的UI項(xiàng)目 1145。名字欄1135顯示在通話另一端的用戶意欲請(qǐng)求與之進(jìn)行視頻會(huì)議的人物的名字。在 本例中，可選擇的UI項(xiàng)目1145(它可被實(shí)現(xiàn)成可選擇的按鈕）向用戶提供可選擇的結(jié)束通 話（End Call)選項(xiàng)，以結(jié)束通話。選擇菜單1140顯示可選擇的Π 項(xiàng)目的菜單，比如喇叭 擴(kuò)音器項(xiàng)目1142、靜音項(xiàng)目1144、數(shù)字小鍵盤項(xiàng)目1146、電話簿項(xiàng)目1148、保持項(xiàng)目1152、 視頻會(huì)議項(xiàng)目1154等等。不同的實(shí)施例不同地顯示選擇菜單。對(duì)圖11圖解說明的實(shí)施例 來說，選擇菜單1140包括幾個(gè)同樣大小的圖標(biāo)，每個(gè)圖標(biāo)代表一個(gè)不同的操作。其它實(shí)施 例提供可滾動(dòng)的菜單，或者給予特定項(xiàng)目以優(yōu)先級(jí)（例如，通過使這些項(xiàng)目變得更大）。
[0225] 現(xiàn)在將參考Π 1105在圖11中圖解說明的五個(gè)階段1110、1115、1120、1125和 1130中的狀態(tài)，說明UI 1105的操作。在第一階段1110中，在手持移動(dòng)設(shè)備用戶和Nancy Jones之間已經(jīng)建立了通話。第二階段1115顯示在用戶選擇可選擇的視頻會(huì)議選項(xiàng) 1154(例如，通過手指1150的單指輕點(diǎn)），以激活視頻會(huì)議工具之后的UI 1105。在這個(gè)例 子中，視頻會(huì)議選項(xiàng)1154(它可被實(shí)現(xiàn)成可選擇的圖標(biāo)）允許用戶在通話期間啟動(dòng)視頻會(huì) 議。在第二階段中，視頻會(huì)議選項(xiàng)1150被突出顯示，以指示視頻會(huì)議工具已被激活。不同 的實(shí)施例可用不同的方式（例如，通過突出顯示項(xiàng)目的邊框或文本），指示這樣的選擇。
[0226] 第三階段1120顯示在依據(jù)選擇視頻會(huì)議選項(xiàng)1154的選擇，設(shè)備1100已啟動(dòng)視頻 會(huì)議處理之后的UI 1105。第三階段是在設(shè)備等待建立視頻會(huì)議時(shí)（例如，在設(shè)備等待通話 另一端的設(shè)備接受或拒絕視頻會(huì)議時(shí)）的過渡保持階段。在第三階段1120中，在建立視頻 會(huì)議連接的時(shí)候，設(shè)備1100的用戶仍然能夠與另一設(shè)備的用戶（即，Nancy Jones)談話。 另外，一些實(shí)施例允許設(shè)備1100的用戶通過選擇顯示在UI 1105上的用于取消視頻會(huì)議請(qǐng) 求的可選UI項(xiàng)目（未示出），在第三階段1120中取消視頻會(huì)議請(qǐng)求。在該保持階段期間， 不同的實(shí)施例使用UI 11〇5中的不同顯示來指示該等待狀態(tài)。
[0227] 如圖11中所示，在一些實(shí)施例中，利用由設(shè)備1100拍攝的視頻的全屏顯示，以及 在該視頻的底部的"Preview(預(yù)覽）"符號(hào)圖解說明第三階段的等待狀態(tài)。具體地說，在圖 11中，第三階段1120通過在Π 1105的顯示區(qū)1160中，顯示由設(shè)備的照相機(jī)拍攝的視頻 的全屏呈現(xiàn)，圖解說明視頻會(huì)議處理的開始。在一些實(shí)施例中，正面的照相機(jī)是在開始視頻 會(huì)議時(shí)，設(shè)備選擇的默認(rèn)照相機(jī)。通常，在開始視頻會(huì)議時(shí)，所述正面照相機(jī)對(duì)著設(shè)備的用 戶。因此，在圖11中圖解說明的例子中，第三階段1120把設(shè)備1100圖解表示成呈現(xiàn)設(shè)備 1100的用戶的全屏視頻。位于在第三階段1120期間，出現(xiàn)在顯示區(qū)1160中的視頻之下的 "Preview"指示進(jìn)一步突出設(shè)備的等待狀態(tài)。
[0228] 在一些實(shí)施例中，能夠不同地表示過渡性的第三保持階段1120。例如，一些實(shí)施例 允許設(shè)備1100的用戶選擇背面的照相機(jī)作為啟動(dòng)視頻會(huì)議的照相機(jī)。為了允許這種選擇， 一些實(shí)施例允許用戶（例如，通過菜單優(yōu)先選擇設(shè)置）把背面的照相機(jī)指定為啟動(dòng)視頻會(huì) 議的默認(rèn)照相機(jī)，和/或允許用戶從在用戶選擇視頻會(huì)議選項(xiàng)1154之后，顯示背面和正面 的照相機(jī)的菜單中選擇背面的照相機(jī)。在這些情況的任何一種中，Π 1105(例如，顯示區(qū) 1160)在第三保持階段1120期間，顯示由背面的照相機(jī)拍攝的視頻。
[0229] 另外，其它實(shí)施例可通過顯示設(shè)備1100所攝視頻的較小版本，通過顯示保存在 設(shè)備1100上的靜止圖像，通過提供突出顯示設(shè)備的等待狀態(tài)的消息（例如，通過顯示 "Conference Being Established、正在建立會(huì)議），通過不顯示"Preview"指示，等等，可 指出視頻會(huì)議工具的激活。另外，在第三階段1120中，一些實(shí)施例的Π 1105提供如果在 該階段（例如，在用戶等待遠(yuǎn)程用戶答復(fù)他的請(qǐng)求時(shí)），用戶決定不進(jìn)入視頻會(huì)議，那么允 許用戶取消進(jìn)入視頻會(huì)議，并返回通話狀態(tài)的結(jié)束（End)按鈕（未示出）。
[0230] 第四階段1125圖解說明在遠(yuǎn)程用戶接受了視頻會(huì)議請(qǐng)求，并且建立了視頻會(huì)議 連接之后，處于過渡狀態(tài)的UI 1105。在該過渡狀態(tài)下，顯示本地用戶的視頻（在本例中，由 正面的照相機(jī)拍攝的視頻）的顯示區(qū)1160的大小逐漸減?。?，逐漸縮?。缂^1175 所示。顯示區(qū)1160( g卩，本地用戶的視頻）縮小，使得UI 1105能夠在顯示區(qū)1160之后，顯 示包含來自遠(yuǎn)程設(shè)備的照相機(jī)的視頻的顯示區(qū)1170(例如，顯示窗口 1170)。換句話說，本 地用戶的視頻1160的縮小產(chǎn)生PIP顯示1180, PIP顯示1180具有本地用戶的視頻的前景 插入顯示1160,和遠(yuǎn)程用戶的背景主顯示1170。在本例中，背景主顯示1170呈現(xiàn)遠(yuǎn)程設(shè)備 的正面照相機(jī)正在拍攝其視頻的女士（例如，Nancy Jones，遠(yuǎn)程設(shè)備的用戶），或者遠(yuǎn)程設(shè) 備的背面照相機(jī)正在拍攝其視頻的女士（例如，Nancy Jones正在拍攝其視頻的女士）的 視頻。普通技術(shù)人員會(huì)認(rèn)識(shí)到圖11中所示的過渡性的第四階段只是一些實(shí)施例使用的一 種示例方法，其它實(shí)施例可以不同地動(dòng)畫演示過渡性的第四階段。
[0231] 第四階段1125還在下面的顯示區(qū)1155中圖解說明可選的UI項(xiàng)目1132。可選的 UI項(xiàng)目1132(它可被實(shí)現(xiàn)成可選擇的按鈕）在PIP顯示1180之下提供可選擇的結(jié)束會(huì)議 (End Conference)選項(xiàng)1132。用戶可以選擇結(jié)束會(huì)議選項(xiàng)1132來結(jié)束視頻會(huì)議（例如， 通過單指輕點(diǎn)）。不同的實(shí)施例可允許用戶用不同的方式結(jié)束會(huì)議，比如通過轉(zhuǎn)換移動(dòng)設(shè)備 上的開關(guān)，通過發(fā)出話音命令，等等。此外，不同的實(shí)施例可允許結(jié)束會(huì)議選項(xiàng)1132在視頻 會(huì)議期間逐漸消失，從而允許PIP顯示1180占據(jù)整個(gè)顯示區(qū)1185。隨后在單指輕點(diǎn)顯示區(qū) 1185的底部時(shí)，結(jié)束會(huì)議選項(xiàng)1132可重新出現(xiàn)，使用戶可以利用結(jié)束會(huì)議選項(xiàng)1132。在一 些實(shí)施例中，顯示區(qū)1155的布局和下面進(jìn)一步詳細(xì)說明的顯示區(qū)1155相同。
[0232] 第五階段1130圖解說明在結(jié)束第四過渡狀態(tài)1125的動(dòng)畫之后的UI 1105。具體 地說，第五階段1130圖解說明在視頻會(huì)議期間，由UI 1105呈現(xiàn)的PIP顯示1180。如上所 述，PIP顯示1180包括兩個(gè)視頻顯示：來自遠(yuǎn)程照相機(jī)的較大的背景顯示1170,和來自本地 照相機(jī)的較小的前景插入顯示1160。
[0233] PIP顯示118〇只是呈現(xiàn)由遠(yuǎn)程設(shè)備和本地設(shè)備拍攝的視頻的合成視圖的一種方 式。除了該合成視圖之外，一些實(shí)施例的設(shè)備提供其它合成視圖。例如，代替具有遠(yuǎn)程用 戶的較大的背景顯示1170,較大的背景顯示1170可以是本地用戶，而較小的前景插入顯示 1160是遠(yuǎn)程用戶。如下進(jìn)一步所述，一些實(shí)施例允許用戶在視頻會(huì)議期間，在作為提供PIP 顯示1180的插入視圖和主視圖的照相機(jī)的本地照相機(jī)和/或遠(yuǎn)程照相機(jī)之間切換。
[0234] 另外，一些實(shí)施例允許本地視頻和遠(yuǎn)程視頻出現(xiàn)在UI 1105中的兩個(gè)并排的顯示 區(qū)（例如，左右顯示窗口，或者上下顯示窗口），或者兩個(gè)對(duì)角排列的顯示區(qū)中。在一些實(shí)施 例中，如下進(jìn)一步所述，通過設(shè)備的優(yōu)先選擇設(shè)置，或者通過在視頻會(huì)議期間，用戶能夠選 擇的控件，用戶可以規(guī)定pip顯示或者默認(rèn)顯示模式的方式。
[0235] 當(dāng)圖11的設(shè)備1100的用戶邀請(qǐng)遠(yuǎn)程用戶進(jìn)行視頻會(huì)議時(shí)，遠(yuǎn)程用戶可接受或拒 絕該邀請(qǐng)。圖12圖解說明在六個(gè)不同的階段1210、1215、1220、1225、1230和1235,遠(yuǎn)程用 戶的設(shè)備1200的Π 1205,所述六個(gè)階段表示在遠(yuǎn)程用戶的設(shè)備呈現(xiàn)和接受視頻會(huì)議邀請(qǐng) 的操作序列。下面的UI 1205的描述把設(shè)備1200(即，接收到視頻會(huì)議請(qǐng)求的設(shè)備）的用 戶稱為受邀者（invite recipient)，把設(shè)備1100(即，發(fā)送視頻會(huì)議請(qǐng)求的設(shè)備）的用戶 稱為邀請(qǐng)者（invite requestor)。另外，在本例中，假定受邀者的設(shè)備1200是雙照相機(jī)設(shè) 備，和邀請(qǐng)者的設(shè)備一樣。不過，在其它例子中，這些設(shè)備中的一個(gè)或者兩個(gè)都是單照相機(jī) 設(shè)備。
[0236] 第一階段1210圖解說明當(dāng)受邀者從邀請(qǐng)者，John Smith接收到視頻會(huì)議邀請(qǐng)時(shí) 的UI 1205。如圖12中所示，第一階段的UI 1205包括名字欄1235、消息欄1240和兩個(gè) 可選的UI項(xiàng)目1245和1250。名字欄1235顯示正請(qǐng)求視頻會(huì)議的人物的名字。在一些 實(shí)施例中，名字欄1235顯示正請(qǐng)求視頻會(huì)議的人物的電話號(hào)碼，而不是人物的名字。消 息欄1240顯示邀請(qǐng)者給受邀者的邀請(qǐng)。在本例中，消息欄1240中的"Video Conference Invitation (視頻會(huì)議邀請(qǐng)）"指示邀請(qǐng)者正在請(qǐng)求與受邀者進(jìn)行視頻會(huì)議?？蛇x的UI項(xiàng) 目1245和1250(它們可被實(shí)現(xiàn)成可選擇的按鈕）提供可選擇的供受邀者用于拒絕或接受 邀請(qǐng)的"拒絕請(qǐng)求（Deny Requst)"和"接受請(qǐng)求（Accept Request)"選項(xiàng)1245和125〇。 不同的實(shí)施例可不同地顯示這些選項(xiàng)和/或顯示其它選項(xiàng)。
[0237] 當(dāng)看到顯示在消息欄1240中的"Video Conference Invitation"符號(hào)時(shí)，通過分 別選擇UI中的"拒絕請(qǐng)求"選項(xiàng)1245或"接受請(qǐng)求"選項(xiàng)1250,受邀者可拒絕或接受請(qǐng)求。 第二階段1215圖解說明在圖12中所示的例子中，用戶選擇"接受請(qǐng)求"選項(xiàng)1250。在這個(gè) 例子中，通過用戶的手指輕輕點(diǎn)擊"接受請(qǐng)求"選項(xiàng)1250,實(shí)現(xiàn)所述選擇，并通過選項(xiàng)1250 的突出顯示，指出所述選擇。在一些實(shí)施例中提供其它技術(shù)來選擇"接受"或"拒絕請(qǐng)求"選 項(xiàng)1245和1250 (例如，連續(xù)兩次輕輕點(diǎn)擊，等等）以指出所述選擇（例如，突出顯示UI項(xiàng) 目的邊框或文本）。
[0238] 第三階段1220顯示在受邀者同意加入視頻會(huì)議之后的UI 1205。在該階段，UI 1205進(jìn)入預(yù)覽模式，預(yù)覽模式在顯示區(qū)1244中顯示來自遠(yuǎn)程設(shè)備的正面照相機(jī)的視頻的 全屏呈現(xiàn)。這種情況下的正面照相機(jī)對(duì)著遠(yuǎn)程設(shè)備的用戶（即，本例中的Nancy Jones)。 因此，按所述預(yù)覽模式顯示她的圖像。這種預(yù)覽模式使受邀者可以確保她的視頻被正確顯 示，并且在視頻會(huì)議開始之前（例如，在開始實(shí)際傳輸視頻之前），她對(duì)其外表感到滿意。在 一些實(shí)施例中，可在顯示區(qū)1244之下顯示諸如"Preview"符號(hào)之類的符號(hào)，以指出受邀者 處于預(yù)覽模式。
[0239] 一些實(shí)施例允許受邀者選擇背面的照相機(jī)作為開始視頻會(huì)議的默認(rèn)照相機(jī)，或者 在開始視頻會(huì)議時(shí)選擇正面或背面的照相機(jī)，如下進(jìn)一步所述。另外，其它實(shí)施例不同地顯 示受邀者的預(yù)覽顯示（例如，在置于顯示區(qū)1244的角落的較小圖像中）。除此之外的其它 實(shí)施例不包括這種預(yù)覽模式，而是在受邀者接受請(qǐng)求之后，立即開始視頻會(huì)議。
[0240] 在第三階段，Π 1205顯示兩個(gè)可選的Π 項(xiàng)目1275和1246。其中一個(gè)重疊在顯 示區(qū)1244之上，而另一個(gè)在顯示區(qū)1244下面?？蛇x的UI項(xiàng)目1275是用戶可選擇以開始 視頻會(huì)議的"接受"按鈕1275。可選的Π 項(xiàng)目1246是如果受邀者在此階段決定不加入視 頻會(huì)議，那么她可選擇的"結(jié)束"按鈕1246。
[0241] 第四階段1225顯示在受邀者選擇"接受"按鈕1275之后的UI 1205。在本例中， "接受"按鈕1275被突出顯示，以指出受邀者隨時(shí)可開始視頻會(huì)議。在其它實(shí)施例中可用不 同的方式指出這樣的選擇。
[0242] 第五階段1230圖解說明在受邀者接受視頻會(huì)議請(qǐng)求之后，處于過渡狀態(tài)的UI 1205。在該過渡階段，顯示受邀者的視頻（在本例中，所述視頻由正面的照相機(jī)拍攝）的顯 示區(qū)1244的大小逐漸減?。?，逐漸縮小），如箭頭1260所示。受邀者的視頻縮小，使得 Π 1205能夠在顯示區(qū)1244之后，顯示包含來自邀請(qǐng)者的照相機(jī)的視頻的顯示區(qū)1265(例 如，顯示窗口 1265)。換句話說，受邀者的視頻的縮小產(chǎn)生PIP顯示1280, PIP顯示1280具 有受邀者的視頻的前景插入顯示區(qū)1244,和邀請(qǐng)者的背景主顯示1265。
[0243] 在這個(gè)例子中，背景主顯示1265呈現(xiàn)本地設(shè)備的正面照相機(jī)正在拍攝其視頻的 男± (即，John Smith,本地設(shè)備1100的用戶）的視頻。在另一個(gè)例子中，該視頻可以是 本地設(shè)備的背面照相機(jī)拍攝其視頻的男士（例如，由John Smith拍攝其視頻的男士）的視 頻。不同地實(shí)施例可以不同地動(dòng)畫演示過渡性的第五階段。
[0244] 第五階段1230的UI還顯示包括在視頻會(huì)議期間，使另一用戶的音頻靜音的可選 UI項(xiàng)目1285 (例如，靜音按鈕1285)，結(jié)束視頻會(huì)議的可選Π 項(xiàng)目1287 (例如，結(jié)束會(huì)議 按鈕1287)，和下面進(jìn)一步說明的切換照相機(jī)的可選UI項(xiàng)目1289 (例如，切換照相機(jī)按鈕 1289)的顯示區(qū)1155(例如，工具條或菜單條）。因而，受邀者可以選擇任意可選UI項(xiàng)目 1285-1289(例如，通過單指輕點(diǎn)），以在視頻會(huì)議期間執(zhí)行希望的操作。不同的實(shí)施例允 許受邀者按照不同的方式，例如切換移動(dòng)設(shè)備上的開關(guān)，通過給出話音命令等，執(zhí)行任意操 作。
[0245] 盡管圖12表示顯示區(qū)1155的示例布局，不過，一些實(shí)施例提供顯示區(qū)1155的不 同布局，比如圖11的顯示區(qū)1155的布局，該布局只包括用于結(jié)束視頻會(huì)議的可選的結(jié)束會(huì) 議UI選項(xiàng)1132。顯示區(qū)1155的其它布局可以包括用于執(zhí)行不同功能的任意多種不同的可 選UI項(xiàng)目。此外，第五階段1230表示顯示在UI 1205的底部的顯示區(qū)1155。顯示區(qū)1155 的不同實(shí)施例可被顯示在UI 1205內(nèi)的不同位置，和/或定義成不同的形狀。
[0246] 圖12把顯示區(qū)1155表示成靜態(tài)顯示區(qū)（即，顯示區(qū)1155總是被顯示）。不過， 在一些實(shí)施例中，顯示區(qū)1155是動(dòng)態(tài)顯示區(qū)。在一些這樣的實(shí)施例中，顯示區(qū)1155平常不 被顯不。相反，只有當(dāng)接收到觸發(fā)事件（例如，比如輕點(diǎn)顯示區(qū)1280 -次，話音命令之類的 用戶選擇）時(shí)，才顯示所述顯示區(qū)1155。在接收到用戶選擇（例如，選擇可選的靜音UI項(xiàng) 目985)，或者規(guī)定量的時(shí)間（例如，3秒）之后，顯示區(qū)1155消失，所述規(guī)定量的時(shí)間可由 用戶通過移動(dòng)設(shè)備或視頻會(huì)議應(yīng)用的優(yōu)先選擇設(shè)置指定。在一些這樣的實(shí)施例中，顯示區(qū) 1155在視頻會(huì)議開始后被自動(dòng)顯示，和按照上面提及的相同方式消失。
[0247] 第六階段1235圖解說明在結(jié)束第五過渡階段的動(dòng)畫之后的UI 1205。具體地說， 第六階段圖解說明在視頻會(huì)議期間，由UI 1205呈現(xiàn)的PIP顯示1280。如上所述，PIP顯示 12S0包括兩個(gè)視頻顯示：來自本地照相機(jī)的較大的背景顯示1265,和來自遠(yuǎn)程照相機(jī)的較 小的前景插入顯示1244。PIP顯示1280只是呈現(xiàn)由遠(yuǎn)程設(shè)備和本地設(shè)備拍攝的視頻的合 成視圖的一種方式。除了該合成視圖之外，一些實(shí)施例的設(shè)備提供其它的合成視圖。例如， 代替具有較大的受邀者的背景顯示，較大的背景顯示可以是邀請(qǐng)者的視頻，較小的前景插 入顯示可以是受邀者的視頻。如下進(jìn)一步所述，一些實(shí)施例允許用戶控制PIP顯示中的插 入視圖和主視圖，以可切換地顯示本地照相機(jī)和遠(yuǎn)程照相機(jī)。另外，一些實(shí)施例允許本地視 頻和遠(yuǎn)程視頻出現(xiàn)在UI 12〇5中的兩個(gè)并排顯示區(qū)（例如，左右顯示窗口，或者上下顯示窗 口），或者兩個(gè)對(duì)角排列的顯示區(qū)中。如下進(jìn)一步所述，通過設(shè)備的優(yōu)先選擇設(shè)置，或者通過 在視頻會(huì)議期間，用戶能夠選擇的控件，用戶可以指定PIP顯示的方式或者默認(rèn)顯示模式。 [0 248] 盡管圖12按照六個(gè)不同的操作階段表示呈現(xiàn)和接受視頻會(huì)議邀請(qǐng)的操作序列， 不過，一些實(shí)施例可以用較少的階段實(shí)現(xiàn)所述操作。例如，一些這樣的實(shí)施例可以省略呈現(xiàn) 第三階段1220和第四階段122 5,從而在用戶選擇"接受請(qǐng)求"選項(xiàng)1250之后，從第二階段 U15進(jìn)到第五階段123〇。用較少的階段實(shí)現(xiàn)所述操作（即，呈現(xiàn)和接受視頻會(huì)議邀請(qǐng)）的 其它實(shí)施例可以省略第一階段1210和第二階段1215,從而當(dāng)受邀者從邀請(qǐng)者接收到視頻 會(huì)議的邀請(qǐng)時(shí)，向用戶呈現(xiàn)第三階段1220。
[0249]圖13圖解說明通過把第一和第三階段結(jié)合成一個(gè)階段，以及把第二和第四階段 結(jié)合成一個(gè)階段，用較少的階段執(zhí)行圖12中圖解說明的操作的例子。特別地，圖13圖解說 明在五個(gè)不同的階段1洲0、I392、1394、1 230和1235,遠(yuǎn)程用戶的設(shè)備1200的Π 1205。第 一階段139〇類似于階段1110，除了名字欄1295顯示名字" John Smith"，以指出在通話另一 端的人物的名字之外。即，已在遠(yuǎn)程移動(dòng)設(shè)備的用戶和本地設(shè)備的用戶（g卩，本例中的John Smith)之間建立了通話。第二階段1392和第三階段1394類似于圖12的第一階段1210和 第二階段1215,除了第二階段I 392和第三階段1洲4還顯示遠(yuǎn)程移動(dòng)設(shè)備的用戶（g卩，本例 中的Nancy Jones)的預(yù)覽之外。第四階段123〇和第五階段1235與圖12的第五階段1230 和第六階段1235相同。
[0250]除了在通話期間，通過可選選項(xiàng)激活視頻會(huì)議工具之外，一些實(shí)施例允許雙照相 機(jī)設(shè)備的用戶直接發(fā)起視頻會(huì)議，而不必首先打電話。圖14圖解說明發(fā)起視頻會(huì)議的另一 種這樣的備選方法。圖14圖解說明在七個(gè)不同階段1410、1415、1420、1425、1430、1435和 1440的UI 1405,所述七個(gè)不同階段顯示啟動(dòng)視頻會(huì)議的備選操作序列。
[0251]在第一階段1410,用戶瀏覽移動(dòng)設(shè)備上的聯(lián)系人名單，尋找他希望與之進(jìn)行視頻 會(huì)議的人物，與他為了通話而查找聯(lián)系人的方式類似。在第二階段1415,用戶選擇他愿意 與之進(jìn)行視頻會(huì)議的人物1455(例如，通過在該人的名字1455上的單指輕點(diǎn)1460)。這種 選擇觸發(fā)Π 1405顯示聯(lián)系人的信息和各種用戶可選選項(xiàng)。在這個(gè)例子中，Jason的名字 1455被突出顯示，以指出這是用戶意欲與之進(jìn)行視頻會(huì)議的人。不同的實(shí)施例可以用不同 的方式指出這種選擇。盡管第二階段1415允許設(shè)備1400的用戶通過聯(lián)系人名單，選擇用 戶意欲與之進(jìn)行視頻會(huì)議的人，不過一些實(shí)施例允許用戶通過"Recents (最近）"通話歷史 選擇該人，所述"Recents"通話歷史列出設(shè)備1400的用戶最近與之進(jìn)行視頻會(huì)議或者通話 的人物的特定號(hào)碼或名字。
[0252] 在第三階段1420,在選擇了人物的名字1455之后，UI 1405顯示所選人物的信息 1462,和各種可選UI項(xiàng)目1468、1472和1470。在這個(gè)例子中，各個(gè)可選UI項(xiàng)目1472(可被 實(shí)現(xiàn)成可選的圖標(biāo)或按鈕）之一提供視頻會(huì)議工具。視頻會(huì)議選項(xiàng)1472允許用戶邀請(qǐng)依 據(jù)聯(lián)系人1466識(shí)別的人物加入視頻會(huì)議。不同的實(shí)施例不同地（例如，用不同的排列）顯 示信息1462和可選UI項(xiàng)目1468、1472和1470。
[0253] 第四階段1425表示用戶選擇"視頻會(huì)議"選項(xiàng)1472(例如，通過單指輕點(diǎn)）。在這 個(gè)例子中，"視頻會(huì)議"選項(xiàng)1472被突出顯示，以指出視頻會(huì)議工具1472已被激活。在不同 的實(shí)施例中可不同地指出這種選擇（例如，通過突出顯示所選圖標(biāo)的文本或邊框）。
[0254] 第五、第六和第七階段1430、1435和1440類似于圖11中圖解說明的第三、第四 和第五階段1120、1125和1130,可通過參考這些階段的討論可理解第五、第六和第七階段 1430、1435和1440。簡(jiǎn)單地說，第五階段1430圖解說明等待遠(yuǎn)程用戶響應(yīng)視頻會(huì)議邀請(qǐng)的 過渡性的保持階段。第六階段1435圖解說明在遠(yuǎn)程用戶接受視頻會(huì)議請(qǐng)求之后，（顯示本 地用戶的視頻的）顯示區(qū)1480的大小逐漸減小，使得Π 1405能夠在顯示區(qū)148〇之后，顯 示包含來自遠(yuǎn)程用戶的照相機(jī)的視頻的顯示區(qū)1492。在第七階段1440,在視頻會(huì)議期間， UI 1405呈現(xiàn)PIP顯示1447。在一些實(shí)施例中，第六階段1435和第七階段1440中的顯示 區(qū)1155的布局與上面說明的圖12的顯示區(qū)1155的布局相似。
[0255] 圖10、11、12、13和14表示建立視頻會(huì)議的幾種方式。在一些實(shí)施例中，在通話期 間，通過一個(gè)通信通道（通過諸如電路交換通信網(wǎng)絡(luò)或者分組交換通信網(wǎng)絡(luò)之類的通信網(wǎng) 絡(luò)）傳送音頻數(shù)據(jù)（例如，話音），并在視頻會(huì)議期間，通過另一個(gè)通信通道傳送音頻數(shù)據(jù)。 從而，在這樣的實(shí)施例中，在建立視頻會(huì)議之前，通過一個(gè)通信通道傳送音頻數(shù)據(jù)（例如， 話音），以及一旦建立了視頻會(huì)議，就通過不同的通信通道（而不是在通話期間使用的通信 通道）傳送音頻。
[0256] 為了提供音頻數(shù)據(jù)從通話到視頻會(huì)議的無縫過渡（例如，切換），一些實(shí)施例在建 立視頻會(huì)議之前，并不終止通話。例如，一些實(shí)施例在終止通話并開始通過對(duì)等通信會(huì)話傳 送音頻/視頻數(shù)據(jù)之前，建立對(duì)等視頻會(huì)議連接（例如，在完成圖10中圖解說明的消息序 列之后）。另一方面，其它實(shí)施例在終止通話和開始呈現(xiàn)接收的音頻/視頻數(shù)據(jù)之前，建立 對(duì)等視頻會(huì)議連接（例如在完成圖10中圖解說明的消息序列之后），并開始通過該對(duì)等通 信會(huì)話傳送音頻/視頻數(shù)據(jù)。
[0257] -些實(shí)施例的對(duì)等視頻會(huì)議連接允許視頻會(huì)議中的移動(dòng)設(shè)備直接相互通信（而 不是通過例如中央服務(wù)器通信）。對(duì)等視頻會(huì)議的一些實(shí)施例允許視頻會(huì)議中的移動(dòng)設(shè)備 相互共享資源。例如，經(jīng)由視頻會(huì)議的控制通信通道，通過從一個(gè)移動(dòng)設(shè)備向另一個(gè)移動(dòng)設(shè) 備發(fā)送指令，以命令所述另一個(gè)移動(dòng)設(shè)備不同地處理圖像（即，共享其圖像處理資源），比 如下面進(jìn)一步詳細(xì)描述的曝光調(diào)整操作、焦距調(diào)整操作和/或切換照相機(jī)操作，所述一個(gè) 移動(dòng)設(shè)備能夠遠(yuǎn)程控制視頻會(huì)議中的所述另一個(gè)移動(dòng)設(shè)備的操作。
[0258] 2.動(dòng)態(tài)比特率設(shè)置
[0259] 一般來說，視頻會(huì)議中的移動(dòng)設(shè)備通過不同類型的通信網(wǎng)絡(luò)，比如不同的專用和 公共無線通信網(wǎng)絡(luò)（例如，諸如GSM、UMTS之類的蜂窩網(wǎng)絡(luò)）的通信通道，相互傳遞數(shù)據(jù)（例 如，音頻和視頻圖像）。下面將參考圖91和92說明這種無線通信網(wǎng)絡(luò)的例子。
[0260]由于在特定時(shí)間接入通信網(wǎng)絡(luò)的移動(dòng)設(shè)備的數(shù)目不斷變化，因此通信網(wǎng)絡(luò)可用于 進(jìn)行視頻會(huì)議的帶寬在不同時(shí)間是不同的。即使在視頻會(huì)議期間，可用帶寬也會(huì)改變。另 夕卜，在視頻會(huì)議期間用高比特率淹沒通信網(wǎng)絡(luò)，或者企圖算出最佳視頻會(huì)議比特率的大量 信令是不可取的。
[0261]由于這些原因，一些實(shí)施例采用指定視頻會(huì)議的初始最佳比特率的新方法。為了 識(shí)別視頻會(huì)議的初始最佳比特率，所述方法以特定的比特率開始視頻會(huì)議,如果這些實(shí)施 例沒有檢測(cè)到會(huì)惡化視頻會(huì)議質(zhì)量的網(wǎng)絡(luò)條件，那么所述方法以特定時(shí)間間隔遞增地增大 比特率。
[0262] 圖15中圖解說明這種實(shí)施例的一個(gè)例子。圖15概念地圖解說明本發(fā)明的一些實(shí) 施例的設(shè)定視頻會(huì)議的比特率的處理1500。作為視頻會(huì)議設(shè)置的一部分（例如，作為圖1〇 中圖解說明的視頻會(huì)議建立的一部分）執(zhí)行處理1500,以根據(jù)各種網(wǎng)絡(luò)條件，動(dòng)態(tài)確定傳 送數(shù)據(jù)（例如，音頻和視頻圖像）的比特率。在一些實(shí)施例中，處理1500由上面參考圖9 說明的視頻會(huì)議模塊925的管理層935執(zhí)行。下面參考圖16說明該視頻會(huì)議模塊的更詳 細(xì)形式。
[0263] 如圖15中所示，通過把比特率設(shè)為（在1505)初始比特率，開始處理1500。在一 些實(shí)施例中，初始比特率是設(shè)備的默認(rèn)基準(zhǔn)速率。不過，一些實(shí)施例允許用戶指定初始比特 率。在1505,處理1500還通過按初始比特率，通過一個(gè)或多個(gè)通信通道，向遠(yuǎn)程設(shè)備傳送數(shù) 據(jù)（例如，音頻和視頻圖像），來啟動(dòng)視頻會(huì)議。
[0264] 隨后，處理1500識(shí)別（在1510)從視頻會(huì)議中的遠(yuǎn)程設(shè)備接收的一組網(wǎng)絡(luò)條件參 數(shù)。在一些實(shí)施例中，本地設(shè)備通過在開始視頻會(huì)議時(shí)建立的實(shí)時(shí)傳送協(xié)議（RTP)通信會(huì) 話，從遠(yuǎn)程設(shè)備接收所述一組網(wǎng)絡(luò)條件參數(shù)。例如，一些實(shí)施例通過RTP的擴(kuò)展特征，提供 網(wǎng)絡(luò)條件參數(shù)。此外，通過指出擴(kuò)展報(bào)頭在RTP分組報(bào)頭中的存在，并定義關(guān)于附加信息的 擴(kuò)展報(bào)頭，一些實(shí)施例的RTP擴(kuò)展特征能夠被用于傳送任意類型的信息（例如，所述一組網(wǎng) 絡(luò)條件參數(shù)）。
[0265] 在不同的實(shí)施例中，視頻會(huì)議中的各個(gè)設(shè)備傳送多組不同的網(wǎng)絡(luò)條件/擁塞參 數(shù)。在下面說明的實(shí)施例中，所述一組網(wǎng)絡(luò)條件參數(shù)包括單向等待時(shí)間和帶寬估計(jì)比特率。 在其它實(shí)施例中，所述一組網(wǎng)絡(luò)條件參數(shù)包括分組丟失數(shù)據(jù)和往返時(shí)間（RTT)延遲數(shù)據(jù)。 因而，不同的實(shí)施例可在所述一組網(wǎng)絡(luò)條件參數(shù)中包括任意多個(gè)不同的網(wǎng)絡(luò)條件參數(shù)。
[0266] 在一些實(shí)施例中，從視頻會(huì)議的遠(yuǎn)程設(shè)備接收的一組網(wǎng)絡(luò)條件參數(shù)以按在操作 1505設(shè)定的初始比特率，在視頻會(huì)議期間，從本地移動(dòng)設(shè)備（g卩，執(zhí)行處理1500的移動(dòng)設(shè) 備）傳送給遠(yuǎn)程設(shè)備的數(shù)據(jù)（例如，音頻和視頻）為基礎(chǔ)。例如，在一些實(shí)施例中，通過利 用音頻分組的時(shí)間戳，計(jì)算音頻分組通過網(wǎng)絡(luò)連接，從本地移動(dòng)設(shè)備傳播到遠(yuǎn)程設(shè)備所用 的時(shí)間，遠(yuǎn)程設(shè)備能夠確定單向等待時(shí)間。具體地說，在一些實(shí)施例中，每個(gè)音頻分組被打 上時(shí)間戳。在沒有分組延遲的情況下，遠(yuǎn)程設(shè)備應(yīng)與時(shí)間戳之差相等的設(shè)定時(shí)間間隔，接收 音頻分組。不過，當(dāng)存在單向等待延遲時(shí)，遠(yuǎn)程設(shè)備以比時(shí)間戳之差大的時(shí)間每隔接收音頻 分組。
[0267] 另外，在一些實(shí)施例中，遠(yuǎn)程設(shè)備通過檢查接收到視頻分組的時(shí)間，接收到相鄰視 頻分組的時(shí)間，和所述相鄰視頻分組的大小，確定帶寬估計(jì)比特率。即，接收兩個(gè)連續(xù)視頻 分組的時(shí)間差和第二個(gè)視頻分組的大小被用于估計(jì)網(wǎng)絡(luò)連接的可用帶寬。一些實(shí)施例通過 檢查多對(duì)連續(xù)視頻分組，確定帶寬估計(jì)比特率。上面的例子利用特定類型的數(shù)據(jù)（即，用 于確定單向等待時(shí)間的音頻數(shù)據(jù)，和用于確定帶寬估計(jì)比特率的視頻數(shù)據(jù)）。不過，在一些 實(shí)施例中，也可以使用通過本地移動(dòng)設(shè)備和遠(yuǎn)程設(shè)備之間的網(wǎng)絡(luò)連接傳送的其它類型的數(shù) 據(jù)。
[0268] 在識(shí)別（在1510)所述一組網(wǎng)絡(luò)條件之后，處理1500隨后確定（在1515)單向等 待時(shí)間是否已惡化到超過定義的閾值量。在一些實(shí)施例中，所述閾值量被定義為特定的等 待時(shí)間量，如果當(dāng)前的單向等待時(shí)間和先前的單向等待時(shí)間之間的差值超過特定等待時(shí)間 量，那么確定單向等待時(shí)間惡化到超過閾值量。在其它實(shí)施例中，閾值量被定義為單向等待 時(shí)間的特定變化率。因而，當(dāng)一組單向等待時(shí)間（例如，當(dāng)前的單向等待時(shí)間和先前的單向 等待時(shí)間）的變化率超過特定的變化率，那么確定單向等待時(shí)間惡化到超過閾值量。
[0269] 當(dāng)確定單向等待時(shí)間惡化到超過閾值量時(shí)，處理1500結(jié)束。否則，處理1500確定 (在1520)當(dāng)前比特率是否達(dá)到了帶寬估計(jì)比特率。在一些實(shí)施例中，帶寬估計(jì)比特率指示 網(wǎng)絡(luò)連接的可用帶寬量（例如，15kb/s (kbps))。當(dāng)處理1500確定當(dāng)前比特率超過帶寬估 計(jì)比特率時(shí)，處理1500結(jié)束。當(dāng)處理1500確定當(dāng)前比特率未超過帶寬估計(jì)比特率時(shí)，處理 1500進(jìn)入操作1525。
[0270] 在1525,處理1500確定當(dāng)前比特率是否達(dá)到定義的最大比特率。當(dāng)處理1500確 定當(dāng)前比特率超過定義的最大比特率時(shí)，處理1500結(jié)束。否則，處理1500進(jìn)入操作1530， 把當(dāng)前比特率增大規(guī)定量。不同的實(shí)施例不同地定義增大比特率的量。增大當(dāng)前比特率的 規(guī)定量的例子包括32kbps、64kpbs、以及任意多種其它增大比特率的量值。
[0271] 隨后，處理確定（在1535)規(guī)定的時(shí)間量是否已過去。規(guī)定的時(shí)間量可以是1秒、2 秒、5秒或者任何其它可能的時(shí)間量，因?yàn)椴煌膶?shí)施例不同地定義所述時(shí)間量。處理1500 等待規(guī)定的時(shí)間量過去，以便讓遠(yuǎn)程設(shè)備能夠接收以新增大的比特率（在操作1530)，從本 地移動(dòng)設(shè)備傳送的數(shù)據(jù)（例如，音頻和視頻圖像），并根據(jù)新增大的比特率確定網(wǎng)絡(luò)條件參 數(shù)。如果處理1500確定規(guī)定的時(shí)間量還未過去，那么處理1500返回操作1535,直到規(guī)定的 時(shí)間量過去為止。當(dāng)處理1500確定規(guī)定的時(shí)間量已過去時(shí)，處理1500返回操作1510。如 上所述繼續(xù)進(jìn)行處理1500的從1510開始的操作，直到處理1500結(jié)束為止。
[0272] 當(dāng)處理1500結(jié)束時(shí)（即，在操作1δ15、152〇或I525之后），完成視頻會(huì)議的比特 率的設(shè)置，并且確定了最佳比特率。由于視頻會(huì)議的可用帶寬在視頻會(huì)議期間可能變化，因 此，一些實(shí)施例繼續(xù)根據(jù)從遠(yuǎn)程設(shè)備接收的一組網(wǎng)絡(luò)條件參數(shù)（即，單向等待時(shí)間和帶寬 估計(jì)比特率），調(diào)整比特率。可通過增大比特率，在視頻會(huì)議期間調(diào)整比特率。例如，如果 處理1500因單向等待時(shí)間惡化到超過規(guī)定的閾值量而結(jié)束，并且在視頻會(huì)議期間，單向等 待時(shí)間得到改善，那么一些實(shí)施例增大比特率。類似地，如果處理1500因比特率超過帶寬 估計(jì)比特率而結(jié)束，并且在視頻會(huì)議期間，帶寬估計(jì)比特率增大，那么一些實(shí)施例增大比特 率。
[0273] 相反，可通過降低比特率，在視頻會(huì)議期間調(diào)整比特率。例如，如果在視頻會(huì)議期 間，單向等待時(shí)間繼續(xù)惡化到超過規(guī)定的閾值量，那么一些實(shí)施例降低比特率。另外，如果 在視頻會(huì)議期間，比特率繼續(xù)超過帶寬估計(jì)比特率（例如，帶寬估計(jì)比特率繼續(xù)降低），那 么一些實(shí)施例降低比特率。
[0274] 此外，處理1500使用單向等待時(shí)間和帶寬估計(jì)比特率來確定是否增大比特率。不 過，普通技術(shù)人員會(huì)認(rèn)識(shí)到在不同的實(shí)施例中，可以使用任意多種網(wǎng)絡(luò)條件參數(shù)來確定是 否增大比特率。例如，確定是否增大比特率可以只基于RTT延遲數(shù)據(jù)或者分組丟失數(shù)據(jù)。
[0275] C.視頻會(huì)議體系結(jié)構(gòu)
[0276] 如上所述，圖16概念地圖解說明一些實(shí)施例的雙照相機(jī)移動(dòng)設(shè)備的視頻會(huì)議和 處理模塊1600的軟件體系結(jié)構(gòu)。如圖所示，視頻會(huì)議和處理模塊1600包括客戶端應(yīng)用 166 5、視頻會(huì)議模塊1602、媒體交換模塊1620、緩沖器1625、拍攝圖像處理單元（CIPU)驅(qū)動(dòng) 器16 3〇、編碼器驅(qū)動(dòng)器1635和解碼器驅(qū)動(dòng)器1640。在一些實(shí)施例中，緩沖器1625是保存 視頻的圖像以便在雙照相機(jī)移動(dòng)設(shè)備的顯示器1645上顯示的幀緩沖器。
[0277] 在一些實(shí)施例中，客戶端應(yīng)用1665與圖9的視頻會(huì)議客戶端945相同。如上所 述，客戶端應(yīng)用1冊(cè)5可被集成到另一個(gè)應(yīng)用中，或者實(shí)現(xiàn)成獨(dú)立的應(yīng)用?？蛻舳藨?yīng)用1665 可以是利用視頻會(huì)議模塊1602的視頻會(huì)議功能的應(yīng)用，比如視頻會(huì)議應(yīng)用、IP話音（V0IP) 應(yīng)用（例如，Skype)或者即時(shí)消息通信應(yīng)用。
[0278] 一些實(shí)施例的客戶端應(yīng)用1665向視頻會(huì)議模塊1602發(fā)送指令，比如開始會(huì)議和 結(jié)束會(huì)議的指令，從視頻會(huì)議模塊1602接收指令，把來自雙照相機(jī)移動(dòng)設(shè)備的用戶的指令 路由到視頻會(huì)議模塊1602,和產(chǎn)生顯示在雙照相機(jī)移動(dòng)設(shè)備上并允許用戶與應(yīng)用交互的用 戶界面。
[0279] D.視頻會(huì)議管理器
[0280] 如圖16中所示，視頻會(huì)議模塊1602包括視頻會(huì)議管理器1604、圖像處理管理器 1608、連網(wǎng)管理器1614、和緩沖器1606、1610、1612、1616和1618。在一些實(shí)施例中，視頻會(huì) 議模塊1602與圖9中圖解說明的視頻會(huì)議模塊925相同，從而執(zhí)行上面關(guān)于視頻會(huì)議模塊 925所述的一些或全部的相同功能。
[0281] 在一些實(shí)施例中，視頻會(huì)議管理器1604負(fù)責(zé)當(dāng)視頻會(huì)議開始時(shí)，初始化視頻會(huì)議 模塊16〇 2的一些或所有其它模塊（例如，圖像處理管理器1608和連網(wǎng)管理器1614)，在視 頻會(huì)議期間控制視頻會(huì)議模塊1602的操作，和當(dāng)視頻會(huì)議結(jié)束時(shí)，停止視頻會(huì)議模塊1602 的一些或所有其它模塊的操作。
[0282] 一些實(shí)施例的視頻會(huì)議管理器1604還處理從視頻會(huì)議中的一個(gè)或多個(gè)設(shè)備接收 的圖像，和由雙照相機(jī)移動(dòng)設(shè)備的一部或兩部照相機(jī)拍攝的圖像，以便顯示在雙照相機(jī)移 動(dòng)設(shè)備上。例如，一些實(shí)施例的視頻會(huì)議管理器1604從緩沖器1618取回從參與視頻會(huì)議 的另一個(gè)設(shè)備接收的解碼圖像，和從緩沖器1606取回由CIPU 1650處理的圖像（即，由雙 照相機(jī)移動(dòng)設(shè)備拍攝的圖像）。在一些實(shí)施例中，在把圖像顯示在雙照相機(jī)移動(dòng)設(shè)備上之 前，視頻會(huì)議管理器1604還比例縮放和合成圖像。即，在一些實(shí)施例中，視頻會(huì)議管理器 1604產(chǎn)生PIP或其它合成視圖，以顯示在移動(dòng)設(shè)備上。一些實(shí)施例比例縮放從緩沖器1606 和1618取回的圖像，而其它實(shí)施例只比例縮放從緩沖器1606和1618之一取回的圖像。
[0283] 盡管圖16把視頻會(huì)議管理器1604圖解表示成視頻會(huì)議模塊1602的一部分，不過 視頻會(huì)議管理器1604的一些實(shí)施例被實(shí)現(xiàn)成與視頻會(huì)議模塊 16〇2分離的組件。因而，單 個(gè)視頻會(huì)議管理器1604可被用于管理和控制幾個(gè)視頻會(huì)議模塊16〇2。例如，一些實(shí)施例將 在本地設(shè)備上運(yùn)行獨(dú)立的視頻會(huì)議模塊以與多方會(huì)議中的每一方交互，本地設(shè)備上的這些 視頻會(huì)議模塊均由一個(gè)視頻會(huì)議管理器管理和控制。
[0284] 在圖像被編碼器I655編碼之前，一些實(shí)施例的圖像處理管理器1608處理由雙 照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝的圖像。例如，圖像處理管理器1608的一些實(shí)施例對(duì)CIPU 165〇處理的圖像執(zhí)行曝光調(diào)整、焦距調(diào)整、透視校正、動(dòng)態(tài)范圍調(diào)整和圖像縮放中的一個(gè)或 多個(gè)操作。在一些實(shí)施例中，圖像處理管理器1608控制傳送給視頻會(huì)議中的另一個(gè)設(shè)備的 編碼圖像的幀速率。
[0285] 連網(wǎng)管理器1614的一些實(shí)施例管理雙照相機(jī)移動(dòng)設(shè)備和參加視頻會(huì)議的另一個(gè) 設(shè)備之間的一個(gè)或多個(gè)連接。例如，一些實(shí)施例的連網(wǎng)管理器1614在視頻會(huì)議開始時(shí)，建 立雙照相機(jī)移動(dòng)設(shè)備和視頻會(huì)議的另一個(gè)設(shè)備之間的連接，以及在視頻會(huì)議結(jié)束時(shí)，中斷 這些連接。
[0286] 在視頻會(huì)議期間，連網(wǎng)管理器1614把由編碼器1655編碼的圖像傳送給視頻會(huì)議 的另一個(gè)設(shè)備，以及把從視頻會(huì)議的另一個(gè)設(shè)備接收的圖像路由給解碼器1660以便解碼。 在一些實(shí)施例中，連網(wǎng)管理器1 614,而不是圖像處理管理器1608,控制傳送給視頻會(huì)議的 另一個(gè)設(shè)備的圖像的幀速率。例如，連網(wǎng)管理器1614的一些這樣的實(shí)施例通過丟棄（即， 不傳送）應(yīng)該被傳送給視頻會(huì)議的另一個(gè)設(shè)備的編碼幀中的一些編碼幀，控制幀速率。
[0287] 如圖所示，一些實(shí)施例的媒體交換模塊1620包括照相機(jī)源模塊1622、視頻壓縮模 塊1624和視頻解壓縮模塊1626。媒體交換模塊1620與圖3中所示的媒體交換模塊310相 同，同時(shí)提供更多的細(xì)節(jié)。照相機(jī)源模塊1622通過CIPU驅(qū)動(dòng)器1630,在視頻會(huì)議模塊1602 和CIPU1650之間路由消息和媒體內(nèi)容，視頻壓縮模塊1624通過編碼器驅(qū)動(dòng)器1635,在視頻 會(huì)議模塊1602和編碼器1655之間路由消息和媒體內(nèi)容，以及視頻解壓縮模塊1626通過解 碼器驅(qū)動(dòng)器1640,在視頻會(huì)議模塊1602和解碼器1660之間路由消息和媒體內(nèi)容。一些實(shí) 施例把包括在媒體交換模塊310中的TNR模塊315 (圖16中未示出）實(shí)現(xiàn)成照相機(jī)源模塊 1622的一部分，而其它實(shí)施例把TNR模塊315實(shí)現(xiàn)成視頻壓縮模塊1624的一部分。
[0288] 在一些實(shí)施例中，CIPU驅(qū)動(dòng)器1630和編碼器驅(qū)動(dòng)器1635與圖3中圖解說明的 CIPU驅(qū)動(dòng)器305和編碼器驅(qū)動(dòng)器320相同。一些實(shí)施例的解碼器驅(qū)動(dòng)器1640充當(dāng)視頻解 壓縮模塊1626和解碼器1 66〇之間的通信接口。在這樣的實(shí)施例中，解碼器1660解碼通過 連網(wǎng)管理器1614從視頻會(huì)議的另一個(gè)設(shè)備接收的并通過視頻解壓縮模塊1626路由的圖 像。在圖像被解碼之后，圖像通過解碼器驅(qū)動(dòng)器1640和視頻壓縮模塊1626被送回視頻會(huì) 議模塊1602。
[0289] 除了在視頻會(huì)議期間進(jìn)行視頻處理之外，一些實(shí)施例的雙照相機(jī)移動(dòng)設(shè)備的視頻 會(huì)議和處理模塊1600還在視頻會(huì)議期間，執(zhí)行音頻處理操作。圖17圖解說明這樣的軟件 體系結(jié)構(gòu)。如圖所示，視頻會(huì)議和處理模塊1 6〇0包括視頻會(huì)議模塊1602(它包括視頻會(huì)議 管理器1604、圖像處理管理器1608和連網(wǎng)管理器1Θ14)、媒體交換模塊1 62〇和客戶端應(yīng)用 1665。圖17中省略了圖16中所示的視頻會(huì)議和處理模塊1600的其它組件和模塊，以簡(jiǎn)化 說明。視頻會(huì)議和處理模塊1600還包括幀緩沖器1705和170、音頻處理管理器1715和音 頻驅(qū)動(dòng)器1720。在一些實(shí)施例中，音頻處理管理器1715被實(shí)現(xiàn)成單獨(dú)的軟件模塊，而在其 它實(shí)施例中，音頻處理管理器1715被實(shí)現(xiàn)成媒體交換模塊1620的一部分。
[0290]音頻處理管理器1715處理由雙照相機(jī)移動(dòng)設(shè)備捕獲的音頻數(shù)據(jù)，以便傳送給視 頻會(huì)議中的另一個(gè)設(shè)備。例如，音頻處理管理器1715通過音頻驅(qū)動(dòng)器1720接收由麥克 風(fēng)Π 25捕獲的音頻數(shù)據(jù)，對(duì)音頻數(shù)據(jù)編碼，之后把編碼的音頻數(shù)據(jù)保存在緩沖器17〇5中， 以便傳送給所述另一個(gè)設(shè)備。音頻處理管理器1715還處理由視頻會(huì)議中的另一個(gè)設(shè)備捕 獲并從所述另一個(gè)設(shè)備接收的音頻數(shù)據(jù)。例如，音頻處理管理器1715從緩沖器1710取回 音頻數(shù)據(jù)，對(duì)音頻數(shù)據(jù)解碼，解碼后的音頻數(shù)據(jù)隨后通過音頻驅(qū)動(dòng)器Π 20被輸出給揚(yáng)聲器 1730。
[0291] 在一些實(shí)施例中，視頻會(huì)議模塊1602連同音頻處理管理器Π 15及其關(guān)聯(lián)的緩沖 器一起是更大的會(huì)議模塊的一部分。當(dāng)在不交換視頻內(nèi)容的情況下，在幾個(gè)設(shè)備之間進(jìn)行 多方音頻會(huì)議時(shí)，視頻會(huì)議和處理模塊1600只利用連網(wǎng)管理器1614和音頻處理管理器 1715,以使通過網(wǎng)際協(xié)議（IP)層的音頻交換更容易。
[0292] 現(xiàn)在參考圖18,說明一些實(shí)施例的視頻會(huì)議管理器1604的操作。圖18概念地圖 解說明由一些實(shí)施例的視頻會(huì)議管理器，比如圖16中圖解說明的視頻會(huì)議管理器1604執(zhí) 行的處理1800。這可等同于由圖9的管理層935執(zhí)行。在一些實(shí)施例中，當(dāng)雙照相機(jī)移動(dòng) 設(shè)備的用戶接受（例如，通過顯示在雙照相機(jī)移動(dòng)設(shè)備上的用戶界面）視頻會(huì)議請(qǐng)求，或 者當(dāng)另一個(gè)設(shè)備的用戶接受雙照相機(jī)移動(dòng)設(shè)備的用戶發(fā)送的請(qǐng)求時(shí)，視頻會(huì)議管理器1604 執(zhí)行處理1800。
[0293] 通過接收（在1805)開始視頻會(huì)議的指令，開始處理1800。在一些實(shí)施例中，指令 是從客戶端應(yīng)用1665接收的，或者是通過顯示在雙照相機(jī)移動(dòng)設(shè)備上的用戶界面從用戶 接收的，并由客戶端應(yīng)用1665轉(zhuǎn)發(fā)給視頻會(huì)議管理器1604。例如，在一些實(shí)施例中，當(dāng)雙照 相機(jī)移動(dòng)設(shè)備的用戶接受視頻會(huì)議請(qǐng)求時(shí)，指令是通過用戶界面接收的并由客戶端應(yīng)用轉(zhuǎn) 發(fā)。另一方面，當(dāng)另一個(gè)設(shè)備的用戶接受從本地設(shè)備發(fā)出的請(qǐng)求時(shí)，一些實(shí)施例從客戶端應(yīng) 用接收指令，而沒有用戶界面交互（不過，可存在先前的發(fā)送初始請(qǐng)求的用戶界面交互）。
[0294] 隨后，處理1800初始化（在1810)與視頻會(huì)議管理器1604交互的第一模塊。一 些實(shí)施例的與視頻會(huì)議管理器1604交互的模塊包括CIPU 1650、圖像處理管理器1608、音 頻處理管理器1715和連網(wǎng)管理器1614。
[0295] 在一些實(shí)施例中，初始化CIPU 1650包括指令CIPU 1650開始處理由雙照相機(jī)移 動(dòng)設(shè)備的一部或兩部照相機(jī)拍攝的圖像。一些實(shí)施例通過指令圖像處理管理器1608開始 從緩沖器Ιθ?ο取回圖像，并處理和編碼取回的圖像，初始化圖像處理管理器1608。為了初 始化音頻處理管理器1715, 一些實(shí)施例指令音頻處理管理器1715開始編碼由麥克風(fēng)1725 捕獲的音頻數(shù)據(jù)，和解碼保存在緩沖器ΠΙΟ中的音頻數(shù)據(jù)（從另一個(gè)設(shè)備接收的音頻數(shù) 據(jù)），以便輸出給揚(yáng)聲器1730。一些實(shí)施例的連網(wǎng)管理器1614的初始化包括指令連網(wǎng)管理 器1614建立和視頻會(huì)議中的另一個(gè)設(shè)備的網(wǎng)絡(luò)連接。
[0296] 處理1800隨后確定（在1815)是否還剩有要初始化的任何模塊。當(dāng)剩有要初始 化的模塊時(shí)，處理18〇〇返回操作1810,以初始化另一個(gè)模塊。當(dāng)所有需要的模塊都己被初 始化時(shí)，處理1800產(chǎn)生（在1820)供顯示在雙照相機(jī)移動(dòng)設(shè)備（即，本地顯示器）上的合 成圖像。這些合成圖像可包括示于下面說明的圖65中的那些合成圖像（即，PIP或其它合 成顯示），并且可包括來自本地的雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)的圖像和來自參與視頻會(huì)議 的另一個(gè)設(shè)備的照相機(jī)的圖像的各種組合。
[0297] 接下來，處理1800確定（在1825)是否對(duì)視頻會(huì)議做出了改變。一些實(shí)施例通過 用戶與顯示在雙照相機(jī)移動(dòng)設(shè)備上的用戶界面的交互，接收對(duì)視頻會(huì)議的改變，而其它實(shí) 施例通過連網(wǎng)管理器1614,從另一個(gè)設(shè)備接收對(duì)視頻會(huì)議的改變（即，遠(yuǎn)程控制）。在一些 實(shí)施例中，也可從客戶端應(yīng)用1665,或者視頻會(huì)議模塊1602中的其它模塊接收對(duì)視頻會(huì)議 設(shè)置的改變。視頻會(huì)議設(shè)置還會(huì)由于網(wǎng)絡(luò)條件的變化而改變。
[0298] 當(dāng)發(fā)生改變時(shí)，處理1800確定（在1830)對(duì)視頻會(huì)議的改變是否是對(duì)網(wǎng)絡(luò)設(shè)置的 改變。在一些實(shí)施例中，所述改變或者是網(wǎng)絡(luò)設(shè)置改變或者是圖像拍攝設(shè)置改變。當(dāng)對(duì)視 頻會(huì)議的改變是對(duì)網(wǎng)絡(luò)設(shè)置的改變時(shí)，處理修改（在1840)網(wǎng)絡(luò)設(shè)置，隨后進(jìn)入操作1845。 一些實(shí)施例的網(wǎng)絡(luò)設(shè)置改變包括改變對(duì)圖像編碼的比特率，或者向另一個(gè)設(shè)備傳送圖像的 幀速率。
[0299] 當(dāng)對(duì)視頻會(huì)議的改變不是對(duì)網(wǎng)絡(luò)設(shè)置的改變時(shí)，處理1800確定所述改變是對(duì)圖 像拍攝設(shè)置的改變，從而進(jìn)入操作1835。處理1800隨后執(zhí)行（在1835)對(duì)圖像拍攝設(shè)置的 改變。在一些實(shí)施例中，對(duì)圖像拍攝設(shè)置的改變可包括切換照相機(jī)（S卩，切換雙照相機(jī)移動(dòng) 設(shè)備上的哪部照相機(jī)拍攝視頻），焦距調(diào)整，曝光調(diào)整，顯示或不顯示來自雙照相機(jī)移動(dòng)設(shè) 備的一部或兩部照相機(jī)的圖像，和放大或縮小顯示在雙照相機(jī)移動(dòng)設(shè)備上的圖像，以及其 它設(shè)置改變。
[0300] 在操作1845,處理1800確定是否結(jié)束視頻會(huì)議。當(dāng)處理1800確定不結(jié)束視頻會(huì)議 時(shí)，處理1800返回操作1820。當(dāng)處理1800確定視頻會(huì)議將結(jié)束時(shí)，處理1800結(jié)束。當(dāng)處 理1S00從客戶端應(yīng)用1665接收到結(jié)束視頻會(huì)議的指令時(shí)（即，歸因于通過本地雙照相機(jī) 移動(dòng)設(shè)備的用戶界面接收的，或者從參與視頻會(huì)議的另一個(gè)設(shè)備接收的指令），處理1800 的一些實(shí)施例確定結(jié)束視頻會(huì)議。
[0301] 在一些實(shí)施例中，當(dāng)視頻會(huì)議結(jié)束時(shí)，視頻會(huì)議管理器1604執(zhí)行未示于處理1800 中的各種操作。一些實(shí)施例指令CIPU 1650停止產(chǎn)生圖像，指令連網(wǎng)管理器1614中斷與視 頻會(huì)議中的另一個(gè)設(shè)備的網(wǎng)絡(luò)連接，和指令圖像處理管理器1608停止處理和編碼圖像。 [0302] E.時(shí)間噪聲降低
[0303] 一些實(shí)施例包括處理視頻圖像，以降低視頻中的噪聲的特殊的時(shí)間噪聲降低模 塊。一些實(shí)施例的時(shí)間噪聲降低模塊比較視頻序列中的后續(xù)圖像，以識(shí)別和從視頻中消除 有害的噪聲。
[0304] 圖19概念地圖解說明一些實(shí)施例的這種時(shí)間噪聲降低（TNR)模塊190的軟件體 系結(jié)構(gòu)。一些實(shí)施例把TNR模塊1900實(shí)現(xiàn)成應(yīng)用的一部分（例如，實(shí)現(xiàn)成如圖3中所示的 媒體交換模塊的一部分），而其它實(shí)施例把TNR模塊1900實(shí)現(xiàn)成由其它應(yīng)用使用的獨(dú)立應(yīng) 用。除此以外的其它實(shí)施例把TNR模塊1900實(shí)現(xiàn)成在雙照相機(jī)移動(dòng)設(shè)備上運(yùn)行的操作系 統(tǒng)的一部分。在一些實(shí)施例中，TNR模塊1900由一組API實(shí)現(xiàn)，所述一組API向其它應(yīng)用 提供TNR模塊1900的一些或全部功能。
[0305] 如圖I9中所示，TNR模塊19〇0包括TNR管理器1905、差分模塊ΙΘΙΟ、像素平均模 塊W15和運(yùn)動(dòng)歷史模塊1920。盡管圖I9把三個(gè)模塊1910、1915和1920表示成獨(dú)立的模 塊，不過一些實(shí)施例在單個(gè)模塊中實(shí)現(xiàn)下面說明的這些模塊的功能。一些實(shí)施例的 TNR模 塊1900接收輸入圖像、基準(zhǔn)圖像和運(yùn)動(dòng)歷史作為輸入。在一些實(shí)施例中，輸入圖像是目前 正在處理的圖像，而基準(zhǔn)圖像是視頻序列中輸入圖像與之比較的在先圖像。TNR模塊1900 輸出輸出圖像（一種形式的噪聲降低的輸入圖像）和輸出運(yùn)動(dòng)歷史。
[0306] -些實(shí)施例的TNR管理器19〇5指引數(shù)據(jù)在TNR模塊1900內(nèi)的流動(dòng)。如圖所示， TNR管理器19〇5接收輸入圖像、基準(zhǔn)圖像和運(yùn)動(dòng)歷史。TNR管理器1905還輸出輸出圖像和 輸出運(yùn)動(dòng)歷史。TNR管理器1 9〇5把輸入圖像和基準(zhǔn)圖像發(fā)送給差分模塊1910,從差分模塊 1910接收差分圖像。
[0307] 在一些實(shí)施例中，差分模塊1910處理從TNR管理器1905接收的數(shù)據(jù)，并把處理后 的數(shù)據(jù)發(fā)送給TNR管理器1905。如圖所示，差分模塊1910從TNR管理器1905接收輸入圖 像和基準(zhǔn)圖像。一些實(shí)施例的差分模塊1910通過從另一個(gè)圖像的像素值中減去一個(gè)圖像 的像素值，產(chǎn)生差分圖像。差分圖像被發(fā)送給TNR管理器1905。一些實(shí)施例的差分圖像指 示兩個(gè)圖像之間的差異，以便識(shí)別與前一圖像相比，輸入圖像的已發(fā)生變化的部分，和輸入 圖像的保持不變的部分。
[0308] TNR管理器1905還把輸入圖像和基準(zhǔn)圖像發(fā)送給像素平均模塊1915。如圖所示， 一些實(shí)施例還把運(yùn)動(dòng)歷史發(fā)送給像素平均模塊1915。不過，其它實(shí)施例可以只發(fā)送輸入圖 像和基準(zhǔn)圖像，而不發(fā)送運(yùn)動(dòng)歷史。在任何一個(gè)實(shí)施例中，TNR管理器1905都從像素平均 模塊1915接收處理后的圖像。
[0309] 一些實(shí)施例的像素平均模塊1915利用運(yùn)動(dòng)歷史來確定是否關(guān)于圖像中的特定位 置，從輸入圖像和基準(zhǔn)圖像中獲得像素的平均值。在一些實(shí)施例中，運(yùn)動(dòng)歷史包括輸入圖 像中的每個(gè)像素的概率值。特定的概率值代表相對(duì)于基準(zhǔn)圖像中的對(duì)應(yīng)像素，輸入圖像中 的對(duì)應(yīng)像素已發(fā)生變化（S卩，動(dòng)態(tài)像素）的概率。例如，如果輸入圖像中的特定像素的概率 值為 2〇,那么指示相對(duì)于基準(zhǔn)圖像中的對(duì)應(yīng)像素，輸入圖像中的特定像素已變化的概率為 20%。作為另一個(gè)例子，如果輸入圖像中的特定像素的概率值為0,那么指示相對(duì)于基準(zhǔn)圖 像中的對(duì)應(yīng)像素，輸入圖像中的特定像素未變化（即，靜態(tài)像素）。
[0310] 不同的實(shí)施例不同地保存輸入圖像的概率值。一些實(shí)施例可把輸入圖像的每個(gè)像 素的概率值保存在一個(gè)數(shù)據(jù)陣列中。其它實(shí)施例可把概率值保存在維數(shù)與視頻的圖像的分 辨率相同的矩陣中（例如，一組陣列中）。例如，如果視頻的圖像的分辨率為320X240,那 么矩陣也為320X240。
[0311] 當(dāng)除了輸入圖像和基準(zhǔn)圖像之外,像素平均模塊1915還從TNR管理器1905接收 到運(yùn)動(dòng)歷史時(shí)，像素平均模塊1915讀取輸入圖像中的每個(gè)像素的概率值。如果輸入圖像中 的特定像素的概率值低于規(guī)定的閾值（例如，5%, 20% )，那么像素平均模塊1915根據(jù)在該 特定像素，大概不會(huì)存在運(yùn)動(dòng)，從而在該像素的圖像之間的差異可能歸因于噪聲的假定，求 該特定像素值和基準(zhǔn)圖像中的對(duì)應(yīng)像素值的平均值。
[0312] 如果輸入圖像中的特定像素的概率值不低于規(guī)定的閾值，那么像素平均模塊1915 不修改輸入圖像的特定像素（即，在該像素的像素值保持和輸入圖像中的一樣）。這是因?yàn)?運(yùn)動(dòng)很可能位于該特定像素，從而圖像之間的差異很可能不是噪聲的結(jié)果。在一些實(shí)施例 中，當(dāng)運(yùn)動(dòng)歷史不被發(fā)送給像素平均模塊1915時(shí)，像素平均模塊1915求輸入圖像中的每個(gè) 像素與基準(zhǔn)圖像中的對(duì)應(yīng)像素的平均值。由像素平均模塊1915輸出并被發(fā)送給TNR管理 器1 9〇5的處理后的圖像包括未被平均的任何像素的輸入圖像像素值，和被像素平均模塊 1915平均的任何像素的平均像素值。
[0313] 在一些實(shí)施例中，運(yùn)動(dòng)歷史模塊1920處理從TNR管理器1905接收的數(shù)據(jù)，并把結(jié) 果數(shù)據(jù)回送給TNR管理器1905。一些實(shí)施例的運(yùn)動(dòng)歷史模塊1920從TNR管理器1905接收 輸入圖像和運(yùn)動(dòng)歷史。一些實(shí)施例把該數(shù)據(jù)輸入Bayes估計(jì)器，以便產(chǎn)生可在關(guān)于下一個(gè) 輸入圖像的像素平均中使用的新的運(yùn)動(dòng)歷史（g卩，一組概率值）。其它實(shí)施例使用其它估計(jì) 器來產(chǎn)生新的運(yùn)動(dòng)歷史。
[0314] 現(xiàn)在參考圖20,說明TNR模塊1900的操作。圖20概念地圖解說明一些實(shí)施例的 降低視頻的圖像的時(shí)間噪聲的處理 2〇00。從TNR管理器19〇5接收（在2005)輸入圖像、基 準(zhǔn)圖像和運(yùn)動(dòng)歷史開始處理 2〇00。輸入圖像是目前為了降噪而處理的圖像。在一些實(shí)施例 中，基準(zhǔn)圖像是從CIPU接收的視頻的圖像序列中的前一個(gè)圖像。不過，在其它實(shí)施例中，基 準(zhǔn)圖像是由前一個(gè)輸入圖像的處理產(chǎn)生的輸出圖像（即，TNR模塊1900的輸出）。運(yùn)動(dòng)歷 史是由前一個(gè)輸入圖像的處理產(chǎn)生的輸出運(yùn)動(dòng)歷史。
[0315] 當(dāng)輸入圖像是視頻的第一個(gè)圖像時(shí)，一些實(shí)施例的TNR模塊1900并不處理第一個(gè) 圖像（即，不對(duì)第一個(gè)圖像應(yīng)用TNR)。換句話說，TNR管理器1905接收第一個(gè)圖像，并且只 是輸出第一個(gè)圖像。在其它實(shí)施例中，當(dāng)輸入圖像是視頻的第一個(gè)圖像時(shí)，第一個(gè)圖像被用 作輸入圖像和基準(zhǔn)圖像，TNR模塊1900如下所述處理該圖像。此外，當(dāng)輸入圖像是視頻的 第一圖像時(shí)，運(yùn)動(dòng)歷史為空（即，空值，全為零，等等），TNR管理器1905只是輸出空的運(yùn)動(dòng) 歷史，作為輸出運(yùn)動(dòng)歷史。
[0316] TNR管理器1905隨后確定（在2010)輸入圖像是否是靜態(tài)的。為了做出該確定， 一些實(shí)施例把輸入圖像和基準(zhǔn)圖像發(fā)送給差分模塊1910,從差分模塊1910接收差分圖像。 當(dāng)兩個(gè)圖像之間的差異低于規(guī)定的閾值（例如，5%差異，10%差異等）時(shí)，一些實(shí)施例把輸 入圖像分類為靜態(tài)圖像。
[0317] 當(dāng)輸入圖像是靜態(tài)圖像時(shí)，TNR管理器1905把輸入圖像和基準(zhǔn)圖像發(fā)送給像素平 均模塊1915,以計(jì)算（在2015)輸入圖像的像素與基準(zhǔn)圖像的像素的平均值，以便從靜態(tài)圖 像中減少任何噪聲。處理隨后進(jìn)入下面說明的操作2040。
[0318] 當(dāng)輸入圖像不是靜態(tài)圖像時(shí)，TNR管理器把輸入圖像、基準(zhǔn)圖像和運(yùn)動(dòng)歷史發(fā)送給 像素平均模塊1915以便處理。像素平均模塊1915選擇（在2020)輸入圖像中的一個(gè)像 素。通過利用運(yùn)動(dòng)歷史，像素平均模塊1915確定（在2025)像素的運(yùn)動(dòng)概率是否低于特定 閾值，如上所述。
[0319] 如果所選像素的概率低于特定閾值，那么像素平均模塊1915計(jì)算（在2030)輸入 圖像的所述像素與基準(zhǔn)圖像中的對(duì)應(yīng)像素的平均值。否則，該像素不被求平均值，并且輸出 圖像將與在所述特定像素的輸入圖像相同。像素平均模塊1915隨后確定（在2035)在輸 入圖像中是否剩有任何未選擇的像素。如果存在還未被處理的任何像素，那么處理返回操 作2020以選擇下一個(gè)像素。像素平均模塊1915執(zhí)行操作 2〇2〇-2〇30,直到評(píng)估了所有像素 為止。
[0320] 處理隨后更新（在2040)運(yùn)動(dòng)歷史。如圖19中所示和如上所述，運(yùn)動(dòng)歷史模塊 1920根據(jù)輸入圖像更新運(yùn)動(dòng)歷史。新的運(yùn)動(dòng)歷史連同來自像素平均模塊的處理后圖像一起 由TNR管理器輸出。
[0321] F.圖像處理管理器&編碼器
[0322] 除了由CIPU和/或CIPU驅(qū)動(dòng)器執(zhí)行的時(shí)間噪聲降低和圖像處理操作之外，一些 實(shí)施例在視頻會(huì)議模塊92δ的圖像處理層930執(zhí)行各種圖像處理操作。這些圖像處理操作 可包括曝光調(diào)整、焦距調(diào)整、透視校正、動(dòng)態(tài)范圍的調(diào)整和圖像縮放等等。
[0323] 圖21概念地圖解說明執(zhí)行這樣的圖像處理操作的處理2100。在一些實(shí)施例中，處 理2100的一些或全部操作由圖16的圖像處理管理器1608和編碼器驅(qū)動(dòng)器1635的組合執(zhí) 行。在一些這樣的實(shí)施例中，圖像處理管理器16〇8執(zhí)行基于像素的處理（例如，縮放、動(dòng)態(tài) 范圍調(diào)整、透視校正等）。一些實(shí)施例在視頻會(huì)議期間，對(duì)將被傳送給參與視頻會(huì)議的另一 個(gè)設(shè)備的圖像執(zhí)行處理2100。
[0324] 現(xiàn)在參考圖16,說明處理2100。通過從緩沖器1606取回（在2105)圖像，開始該 處理。在一些實(shí)施例中，取回的圖像是視頻的圖像（即，圖像序列中的一個(gè)圖像）。該視頻 可由在其上執(zhí)行處理2100的設(shè)備的照相機(jī)拍攝。
[0325] 隨后，處理2100對(duì)取回的圖像執(zhí)行（在2110)曝光調(diào)整。一些實(shí)施例通過顯示在 雙照相機(jī)移動(dòng)設(shè)備上的用戶界面，進(jìn)行曝光調(diào)整。圖22圖解說明這種實(shí)施例的示例曝光調(diào) 整操作。
[0326] 圖22參考設(shè)備2200的UI 2205的三個(gè)階段2210、2215和2220,說明曝光調(diào)整操 作。第一階段2210圖解說明包括顯示區(qū)2225和顯示區(qū)1155的UI 2205。如圖所示，顯示 區(qū)2225顯示太陽和臉及身體都暗黑的男士的圖像2230。暗黑的臉和身體顯示該男士未得 到恰當(dāng)曝光。圖像 2230可以是由設(shè)備2200的照相機(jī)拍攝的視頻圖像。如圖所示，顯示區(qū) 1155包括用于結(jié)束視頻會(huì)議的可選UI項(xiàng)目22 5〇。在一些實(shí)施例中，顯示區(qū)1155的布局與 上面說明的圖12的顯示區(qū)1155的布局相同。
[0327] 第二階段2215圖解說明設(shè)備2200的用戶通過選擇顯示區(qū)222δ的某一區(qū)域，發(fā)起 曝光調(diào)整操作。在這個(gè)例子中，通過把手指2235放在顯示區(qū)2225內(nèi)的任何地方實(shí)現(xiàn)選擇。 在一些實(shí)施例中，用戶從可能的圖像設(shè)置調(diào)整的菜單中選擇曝光調(diào)整。
[0328] 第三階段2220顯示在完成曝光調(diào)整操作之后，所述男士的圖像2240。如圖所示， 圖像 2240類似于圖像223〇，不過圖像2240中的男士被恰當(dāng)曝光。在一些實(shí)施例中，恰當(dāng)曝 光的圖像是在不恰當(dāng)曝光的圖像之后拍攝的圖像。在第二階段2215中發(fā)起的曝光調(diào)整操 作調(diào)整由設(shè)備2200的照相機(jī)拍攝的后續(xù)圖像的曝光。
[0329] 返回圖21，處理2100隨后對(duì)圖像執(zhí)行（在2115)焦距調(diào)整。一些實(shí)施例通過顯示 在雙照相機(jī)移動(dòng)設(shè)備上的用戶界面，進(jìn)行焦距調(diào)整。圖23概念地圖解說明這種焦距調(diào)整操 作的例子。
[0330] 圖23參考設(shè)備2300的UI 2305的三個(gè)不同階段2310、2315和2320,圖解說明焦 距調(diào)整操作。第一階段2310圖解說明包括顯示區(qū)2325和顯示區(qū)1155的UI 2305。顯示區(qū) 23?呈現(xiàn)由設(shè)備2300的照相機(jī)拍攝的男士的模糊圖像2330。這種模糊說明該男士的圖像 2330未對(duì)準(zhǔn)焦點(diǎn)。即，當(dāng)照相機(jī)拍攝該男士的圖像2330時(shí)，照相機(jī)的透鏡未被聚焦于該男 士。另外，圖像2330可以是由設(shè)備2300的照相機(jī)拍攝的視頻圖像。如圖所示，顯示區(qū)1155 包括用于結(jié)束視頻會(huì)議的可選UI項(xiàng)目2350。在一些實(shí)施例中，顯示區(qū)1155的布局和上面 說明的圖12的顯示區(qū)1155的顯示區(qū)1155的布局相同。
[0331] 第二階段2315圖解說明設(shè)備2300的用戶通過選擇顯示區(qū)2325的一個(gè)區(qū)域，發(fā)起 焦距調(diào)整操作。在這個(gè)例子中，通過把手指2335放在顯示區(qū)2225內(nèi)的任何地方實(shí)現(xiàn)選擇。 在一些實(shí)施例中，用戶從可能的圖像設(shè)置調(diào)整的菜單中選擇焦距調(diào)整。
[0332] 第三階段2320顯示在完成焦距調(diào)整操作之后，所述男士的圖像2340。如圖所示， 圖像2340和圖像2330相同，不過圖像2340中的男士顯得更清晰。這說明照相機(jī)的透鏡被 恰當(dāng)?shù)鼐奂谠撃惺?。在一些?shí)施例中，恰當(dāng)聚焦的圖像是在不恰當(dāng)焦距的圖像之后拍攝 的圖像。在第二階段2315中發(fā)起的焦距調(diào)整操作調(diào)整由設(shè)備2300的照相機(jī)拍攝的后續(xù)圖 像的焦距。
[0333] 返回圖21，處理2100對(duì)圖像進(jìn)行（在2120)圖像縮放。一些實(shí)施例對(duì)圖像進(jìn)行圖 像縮放，以減少用于對(duì)圖像編碼的比特?cái)?shù)（即，降低比特率）。在一些實(shí)施例中，處理2100 進(jìn)行圖像縮放，如下面參考圖26所述。
[0334] 處理2100隨后對(duì)圖像進(jìn)行（在2125)透視校正。在一些實(shí)施例中，處理2100進(jìn) 行透視校正，如下在圖24中所述。這樣的透視校正涉及利用由識(shí)別雙照相機(jī)移動(dòng)設(shè)備的定 向和移動(dòng)的一個(gè)或多個(gè)加速計(jì)和/或陀螺儀傳感器獲得的數(shù)據(jù)。所述數(shù)據(jù)隨后被用于修改 圖像，以校正不正確的透視。
[0335] 在對(duì)圖像進(jìn)行透視校正之后，處理2100調(diào)整（在2130)圖像的動(dòng)態(tài)范圍。在一些 實(shí)施例中，圖像的動(dòng)態(tài)范圍是圖像中的每個(gè)像素能夠具有可能值的范圍。例如，具有0-255 的動(dòng)態(tài)范圍的圖像可被調(diào)整到0-128的范圍，或者任何其它數(shù)值范圍。調(diào)整圖像的動(dòng)態(tài)范 圍可減少將用于對(duì)圖像編碼的比特的數(shù)量（即，降低比特率），從而使圖像平滑。
[0336] 調(diào)整圖像的動(dòng)態(tài)范圍還可用于各種其它目的。一個(gè)目的是減少圖像噪聲（例如， 圖像是由有噪聲的照相機(jī)傳感器拍攝的）。為了減少噪聲，可以調(diào)整圖像的動(dòng)態(tài)范圍，使得 暗電平被重新定義，以包括淺黑（即，粉碎的黑色（crush black))。以此方式，圖像的噪聲 被減少。動(dòng)態(tài)范圍調(diào)整的另一個(gè)目的是調(diào)整一種或多種顏色或者顏色范圍，以便增強(qiáng)圖像。 例如，一些實(shí)施例可假定正面照相機(jī)拍攝的圖像是人臉的圖像。因此，可以調(diào)整該圖像的動(dòng) 態(tài)范圍，以增強(qiáng)紅色和粉紅色，使人的面頰顯得紅潤(rùn)/更紅潤(rùn)。動(dòng)態(tài)范圍調(diào)整操作還可用于 其它目的。
[0337] 最后，處理2100確定（在2135)用于對(duì)圖像編碼的一個(gè)或多個(gè)速率控制器參數(shù)。 在一些實(shí)施例中，這樣的速率控制器參數(shù)可包括量化參數(shù)和幀類型（例如，預(yù)測(cè)幀、雙向 幀、幀內(nèi)編碼幀）。該處理隨后結(jié)束。
[0338] 盡管處理21〇〇的各個(gè)操作被圖解表示成按照特定的順序執(zhí)行，不過，普通技術(shù)人 員會(huì)認(rèn)識(shí)到這些操作中的許多操作（曝光調(diào)整、焦距調(diào)整、透視校正等）可按照任意順序執(zhí) 行，并且彼此無關(guān)。即，一些實(shí)施例的處理可在曝光調(diào)整之前進(jìn)行焦距調(diào)整，或者可對(duì)圖21 中圖解說明的處理進(jìn)行類似的修改。
[0339] 1.透視校正
[0340]如上所述，一些實(shí)施例在顯示或傳送圖像之前,對(duì)圖像進(jìn)行透視校正。在一些情況 下，雙照相機(jī)移動(dòng)設(shè)備上的一部或多部照相機(jī)不會(huì)完全面向其被攝物體，并且在未校正的 圖像中，被攝物體會(huì)顯得失真?？梢允褂猛敢曅Ｕ齺硖幚韴D像，使得圖像將忠實(shí)地反映圖像 中的被攝對(duì)象在人看來的樣子。
[0341]圖24概述地圖解說明由一些實(shí)施例的圖像處理管理器，比如圖16中圖解說明的 圖像處理管理器執(zhí)行的透視校正處理2400。一些實(shí)施例的處理2400由圖9中所示的圖像 處理層930 (它可包含圖像處理管理器16〇8)執(zhí)行。一些實(shí)施例在處理2100的操作2125 執(zhí)行處理2400,以便在顯示或傳送最近拍攝的視頻圖像之前，校正所述圖像的透視。
[0342]處理2400從自加速計(jì)傳感器接收（在M05)數(shù)據(jù)開始，在一些實(shí)施例中，所述加 速計(jì)傳感器是雙照相機(jī)移動(dòng)設(shè)備的一部分。一些實(shí)施例的加速計(jì)傳感器測(cè)量沿著一個(gè)或 多個(gè)軸的設(shè)備的速度的變化率（即，設(shè)備的加速度）。該處理還從陀螺儀傳感器接收（在 2410)數(shù)據(jù)，在一些實(shí)施例中，所述陀螺儀傳感器也可以是雙照相機(jī)移動(dòng)設(shè)備的一部分。一 些實(shí)施例的陀螺儀和加速計(jì)傳感器可被單獨(dú)地或者組合地用于識(shí)別雙照相機(jī)移動(dòng)設(shè)備的 定向。
[0343] 隨后，處理2400根據(jù)從加速計(jì)和陀螺儀傳感器獲得的數(shù)據(jù)，確定（在2415)要進(jìn) 行的透視校正量。通常，當(dāng)所述定向離軸更遠(yuǎn)時(shí)，為了產(chǎn)生最佳的圖像，需要更多的透視校 正。~'些實(shí)施例根據(jù)設(shè)備的定向，計(jì)算代表透視校正量的扭曲參數(shù)（warp parameter)。
[0344] 在確定要進(jìn)行的透視校正量之后，處理MOO接收（在2420)由雙照相機(jī)移動(dòng)設(shè)備 的照相機(jī)拍攝的圖像。可對(duì)由該照相機(jī)拍攝的視頻序列中的每個(gè)圖像進(jìn)行所述處理。一些 實(shí)施例可對(duì)分別來自雙照相機(jī)移動(dòng)設(shè)備上的兩部照相機(jī)的每個(gè)圖像進(jìn)行單獨(dú)的計(jì)算。
[0345] 所述處理隨后根據(jù)確定的透視校正量，修改（在2425)圖像。除了扭曲參數(shù)或者 透視校正量的其它表示之外，一些實(shí)施例還使用基線圖像或者其它信息（例如，用戶輸入 的應(yīng)關(guān)于其進(jìn)行校正的點(diǎn)）。在修改圖像之后，處理2400結(jié)束。
[0346] 圖25概念地圖解說明一些實(shí)施例的示例圖像處理操作。圖25圖解說明由不使用 透視校正的第一圖像處理模塊 2520執(zhí)行的第一圖像處理操作2505,和由使用透視校正的 第二圖像處理模塊2565執(zhí)行的第二圖像處理操作2550。
[0347] 如圖所示，對(duì)由成一定角度向下觀看塊體的空間透視產(chǎn)生的塊體2515的第一圖 像2δ10進(jìn)行第一圖像處理操作2 5〇5。與塊體2515的底部相比，塊體的頂部離所述透視更 近。因而，塊體2515顯得朝著拍攝第一圖像2510的照相機(jī)傾斜。圖25還表示了在由第一 圖像處理模塊 252〇處理之后的處理后的第一圖像2525。如圖所示，處理后的第一圖像2525 中的塊體2515出現(xiàn)相同的后處理，因?yàn)榈谝粓D像處理模塊2520未進(jìn)行任何透視校正。
[0348] 對(duì)塊體256〇的第二圖像2555進(jìn)行第二圖像處理操作2550。塊體2560和第一圖 像 2510中的塊體2515相同。圖25還表示在由第二圖像處理模塊2565的透視校正器2570 進(jìn)行第二圖像2555的處理之后的處理后的第二圖像2575。透視校正器 257〇可使用處理 2400,以便校正第二圖像2555的透視。根據(jù)來自加速計(jì)和陀螺儀的指出拍攝第二圖像2555 的照相機(jī)成向下的角度傾斜的數(shù)據(jù)（可能還根據(jù)其它數(shù)據(jù)），透視校正器 2575能夠校正第 二圖像，使得在處理后的第二圖像2575中，塊體看來好像是筆直地觀看的。
[0349] 2.縮放和比特流處理
[0350] 圖像縮放和比特流處理屬于在上面參考圖21說明的由一些實(shí)施例的圖像處理層 930執(zhí)行的功能之列。圖像縮放（在操作2130進(jìn)行）涉及在一些實(shí)施例中比例放大或比例 縮小圖像（即，修改用于表示該圖像的像素的數(shù)目）。在一些實(shí)施例中，比特流處理涉及把 指示縮放后圖像的大小的數(shù)據(jù)插入比特流中。在一些實(shí)施例中，這種縮放和比特流處理由 編碼器驅(qū)動(dòng)器（例如，驅(qū)動(dòng)器1635)執(zhí)行。
[0351] 圖26概念地圖解說明一些實(shí)施例的這種編碼器驅(qū)動(dòng)器26〇〇的軟件體系結(jié)構(gòu)，并 且顯示由編碼器驅(qū)動(dòng)器 26〇〇對(duì)示例圖像2605進(jìn)行的示例縮放和比特流處理操作。在一些 實(shí)施例中，圖像2605是由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝的、用于傳送給視頻會(huì)議中的另 一個(gè)設(shè)備的視頻的圖像。參見圖16,在一些實(shí)施例中，視頻圖像已通過CIPU驅(qū)動(dòng)器1630和 照相機(jī)源模塊1622從CIPU 1650傳播到緩沖器16〇6,圖像處理管理器1608從緩沖器1606 取回所述視頻圖像。在圖像處理管理器1608中經(jīng)過圖像處理（例如，焦距調(diào)整、曝光調(diào)整、 透視校正）之后，圖像通過緩沖器比10和視頻壓縮模塊1624被發(fā)送給編碼器驅(qū)動(dòng)器1635。 [0 352] 如圖所示，編碼器驅(qū)動(dòng)器26〇0包括處理層 261〇和速率控制器2645。在下面說明 的圖30中圖解說明了一些實(shí)施例的速率控制器的例子。處理層2610包括圖像縮放器2615 和比特流管理器2625。在一些實(shí)施例中，這些模塊在圖像被編碼之前和之后對(duì)圖像進(jìn)行各 種操作。盡管在本例中，圖像縮放器被表示成編碼器驅(qū)動(dòng)器2600的處理層2610的一部分， 不過一些實(shí)施例把圖像縮放器實(shí)現(xiàn)成圖像處理管理器1608而不是編碼器驅(qū)動(dòng)器2600的一 部分（即，在把圖像和大小數(shù)據(jù)發(fā)送給編碼器驅(qū)動(dòng)器之前進(jìn)行圖像縮放）。
[0353] 如圖所示，在圖像通過速率控制器2M5被發(fā)送給編碼器2650之前，圖像縮放器 261 5縮放圖像。圖像26〇5通過縮放器26丨5被發(fā)送并被比例縮小成圖像2630。除了比例 縮小圖像之外，一些實(shí)施例還能夠比例放大圖像。
[0354] 如圖26中所示，一些實(shí)施例比例縮小輸入的圖像（例如，圖像2605),隨后把比例 縮小的圖像（例如，2630)重疊在空間冗余圖像（例如，圖像2635)上，所述空間冗余圖像的 大?。ň拖袼貋碚f）與輸入圖像相同（即，圖像2605的像素的行數(shù)和列數(shù)與空間冗余圖像 2635的像素的行數(shù)和列數(shù)相同）。一些實(shí)施例把比例縮小的圖像2630重疊在空間冗余圖 像的左上角（如圖所示，以產(chǎn)生合成圖像2640)，而其它實(shí)施例把比例縮小的圖像重疊到空 間冗余圖像的不同部分（例如，中央、左上角、正上方、正下方、右下方等等）。
[0355] 在一些實(shí)施例中，空間冗余圖像是基本上全部為一種顏色（例如，黑色、藍(lán)色、紅 色、白色等），或者具有重復(fù)圖案（例如，方格、條紋等）的圖像。例如，圖26中所示的空間 冗余圖像2635具有重復(fù)的十字形圖案。由于重復(fù)性的緣故，合成圖像2640的空間冗余部 分能夠容易地被編碼器壓縮成少量的數(shù)據(jù)。此外，如果一系列的圖像都被比例縮小，并且對(duì) 序列中的每個(gè)圖像來說，使用的空間冗余圖像都相同，那么時(shí)間壓縮可被用于進(jìn)一步減少 為呈現(xiàn)編碼圖像所需要的數(shù)據(jù)的量。
[0356] 圖像縮放器2615的一些實(shí)施例還產(chǎn)生指示縮放后的圖像的大小（例如，比例縮 放的圖像2630的大小）的大小數(shù)據(jù)2620,并把產(chǎn)生的大小數(shù)據(jù) 2620發(fā)送給比特流管理器 2625。一些實(shí)施例的大小數(shù)據(jù)262〇按照縮放后的圖像 263〇的像素的行數(shù)和像素的列數(shù) (即，高度和寬度），指示縮放后的圖像263〇的大小。在一些實(shí)施例中，大小數(shù)據(jù) 2620還指 示縮放后的圖像2630在合成圖像2640中的位置。
[0357] 在圖像被縮放之后，合成圖像2M0通過速率控制器264δ被發(fā)送給編碼器 265〇。 在一些實(shí)施例中，如下進(jìn)一步詳細(xì)所述，速率控制器2645控制由編碼器2650輸出的圖像的 比特率（即，數(shù)據(jù)大?。Ｒ恍?shí)施例的編碼器 2650壓縮和編碼圖像。編碼器2650可以使 用H. 264編碼或者另一種編碼方法。
[0358] 一些實(shí)施例的比特流管理器2625從編碼器2650接收一個(gè)或多個(gè)編碼圖像的比特 流，并把大小數(shù)據(jù)插入比特流中。例如，在一些實(shí)施例中，比特流管理器 2625從圖像縮放器 2615接收大小數(shù)據(jù)2620,并把大小數(shù)據(jù)262〇插入從編碼器26δ0接收的編碼合成圖像 2640 的比特流2655中。這種情況下，比特流管理器2625的輸出是包括大小數(shù)據(jù)2620的修改后 的比特流2660。不同的實(shí)施例把大小數(shù)據(jù) 262〇插入比特流2655中的不同位置。例如，比 特流2660顯示大小數(shù)據(jù)2620被插入在比特流2660的開始。不過，其它實(shí)施例把大小數(shù)據(jù) 2620插入在比特流2655的結(jié)尾、插入在比特流2陽5的中間、或者插入在比特流2655內(nèi)的 任何其它位置。
[0359] 在一些實(shí)施例中，比特流2655是包括合成圖像2M0的一系列的一個(gè)或多個(gè)編碼 圖像的比特流。在一些這樣的實(shí)施例中，該系列中的圖像都被縮放到相同的大小，并且大小 數(shù)據(jù)2620指示這些縮放后的圖像的大小。在圖像被傳送給在視頻會(huì)議另一端的設(shè)備之后， 接收設(shè)備能夠從比特流中提取大小信息，并利用所述大小信息正確地解碼接收的圖像。 [0360]圖27概念地圖解說明由雙照相機(jī)移動(dòng)設(shè)備的編碼器驅(qū)動(dòng)器，比如驅(qū)動(dòng)器2600執(zhí) 行的圖像縮放處理2700。處理2700從接收（在2705)由雙照相機(jī)移動(dòng)設(shè)備的照相機(jī)拍攝 的圖像（例如，圖像 26〇5)開始。當(dāng)雙照相機(jī)設(shè)備用兩部照相機(jī)拍攝圖像時(shí)，一些實(shí)施例對(duì) 來自兩部照相機(jī)的圖像執(zhí)行處理2700。
[0361] 隨后，處理2700縮放（在2710)接收的圖像。如上所述，不同的實(shí)施例不同地縮 放圖像 2605。例如，圖26中的圖像26〇5被比例縮小并被重疊在空間冗余圖像2635上，從 而產(chǎn)生合成圖像2640。
[0362] 處理2700隨后把縮放后的圖像（例如，包括縮放后的圖像2630的合成圖像2640) 發(fā)送給（在2715)編碼器2 65〇,以便編碼。處理2700的一些實(shí)施例把縮放后的圖像2630(包 括在合成圖像2640中）通過確定編碼器編碼圖像的比特率的速率控制器發(fā)送給編碼器 26 5〇。一些實(shí)施例的編碼器2650壓縮和編碼圖像（例如，利用離散余弦變換、量化、熵編碼 等等），并把帶有編碼圖像的比特流返回給編碼器驅(qū)動(dòng)器2600。
[0363] 隨后，處理2700把指示縮放后的圖像的大小的數(shù)據(jù)（例如，大小數(shù)據(jù)2620)發(fā)送 給（在2720)比特流管理器。如圖26中所示，在一些實(shí)施例中，該操作是在編碼器驅(qū)動(dòng) 器2600中進(jìn)行的（即，編碼器驅(qū)動(dòng)器2600中的一個(gè)模塊把大小數(shù)據(jù)發(fā)送給編碼器驅(qū)動(dòng)器 2600中的另一個(gè)模塊）。
[0364] 在縮放后的圖像被編碼器2650編碼之后，處理2700從編碼器接收（在2725)比 特流。如圖所示，一些實(shí)施例在另外已接收大小數(shù)據(jù)的比特流管理器接收所述比特流。接 收的比特流包括編碼的合成圖像，還可包括視頻序列中的一個(gè)或多個(gè)另外的圖像。
[0365] 處理2700隨后把指示縮放后的圖像的大小的數(shù)據(jù)（例如，大小數(shù)據(jù)2620)插入比 特流中，隨后結(jié)束。如圖26中所示，在一些實(shí)施例中，該操作也是由比特流管理器執(zhí)行的。 如上所述，不同的實(shí)施例把大小數(shù)據(jù)插入比特流的不同部分。在圖解說明的例子中，大小數(shù) 據(jù)2620被插入在比特流2655的開始處，如所得到的比特流2660中所示。現(xiàn)在，該比特流 可被傳送給參與視頻會(huì)議的另一個(gè)設(shè)備，在所述另一個(gè)設(shè)備，該比特流能夠被解碼和觀看。
[0366] 在一些實(shí)施例中，解碼器驅(qū)動(dòng)器（例如，驅(qū)動(dòng)器1640)執(zhí)行編碼器驅(qū)動(dòng)器的相反功 能。即，解碼器驅(qū)動(dòng)器從接收的比特流提取大小數(shù)據(jù)，把比特流傳送給解碼器，并利用大小 數(shù)據(jù)縮放解碼的圖像。圖28概念地圖解說明一些實(shí)施例的這種解碼器驅(qū)動(dòng)器2800的軟件 體系結(jié)構(gòu)，并且表示由解碼器驅(qū)動(dòng)器2800對(duì)示例的比特流2825進(jìn)行的示例比特流處理和 縮放操作。
[0367] 在一些實(shí)施例中，比特流2825是包括由視頻會(huì)議中的一個(gè)設(shè)備的照相機(jī)拍攝的 視頻的編碼圖像的比特流（例如，來自諸如驅(qū)動(dòng)器2600之類的編碼器驅(qū)動(dòng)器的比特流），并 被傳送給解碼器驅(qū)動(dòng)器2800所運(yùn)行于的設(shè)備。參見圖16,在一些實(shí)施例中，該比特流已被 連網(wǎng)管理器1614接收，并被發(fā)送給緩沖器1616,所述比特流從緩沖器ieie被視頻解壓縮模 塊1626取回，并被發(fā)送給解碼器驅(qū)動(dòng)器1640。
[0368] 如圖所示，解碼器驅(qū)動(dòng)器2800包括處理層2805。處理層2805包括圖像縮放器 2810和比特流管理器2820。在一些實(shí)施例中，這些模塊281〇和2820在圖像被解碼之前和 之后，對(duì)接收的圖像進(jìn)行各種操作。盡管在本例中，圖像縮放器 281〇被表示成解碼器驅(qū)動(dòng) 器2800的處理層2805的一部分，不過，一些實(shí)施例把圖像縮放器實(shí)現(xiàn)成圖像處理管理器 1608,而不是解碼器驅(qū)動(dòng)器的一部分（即，在從解碼器驅(qū)動(dòng)器2800發(fā)送圖像之后，進(jìn)行圖像 縮放）。
[0369] 如圖所示，一些實(shí)施例的比特流管理器282〇接收一個(gè)或多個(gè)編碼圖像（即，視 頻序列中的圖像）的比特流，并從該比特流中提取大小數(shù)據(jù)，之后把比特流發(fā)送給解碼器 2835進(jìn)行解碼。例如，如圖28中所示，比特流管理器 282〇接收一個(gè)編碼圖像的比特流 2825,從比特流2825提取大小數(shù)據(jù)2815,并把得到的比特流2830 (沒有大小數(shù)據(jù)2815)發(fā) 送給解碼器2835進(jìn)行解碼。如圖所示，在一些實(shí)施例中，比特流管理器2820把提取的大小 數(shù)據(jù)2815發(fā)送給圖像縮放器2810。
[0370] 一些實(shí)施例的大小數(shù)據(jù)2815和由編碼器驅(qū)動(dòng)器2600插入比特流中的大小數(shù)據(jù) 2620相同。如上在圖26的說明中所述，一些實(shí)施例的大小數(shù)據(jù) 281δ按照子圖像2845的像 素的行數(shù)和像素的列數(shù)，指示子圖像2845的大小。大小數(shù)據(jù)2815還可指示子圖像2845在 更大的空間冗余圖像2840內(nèi)的位置。在這個(gè)例子中，比特流2825顯示插入在比特流2825 的開始處的大小數(shù)據(jù)2815。不過，如上所述，不同的實(shí)施例把大小數(shù)據(jù)2815插入比特流 2825的不同位置。
[0371] 一些實(shí)施例的圖像縮放器2810利用從比特流管理器2820接收的大小數(shù)據(jù)，從圖 像中提取子圖像。例如，圖28圖解說明圖像縮放器2810從解碼器2835接收包括子圖像 2845的圖像2840。如圖所示，一些實(shí)施例的圖像縮放器2810從圖像2840提取子圖像2845。 提取的圖像隨后可被顯示在雙照相機(jī)移動(dòng)設(shè)備上。
[0372] 圖29概念地圖解說明一些實(shí)施例的由參與視頻會(huì)議的設(shè)備的解碼器驅(qū)動(dòng)器，比 如驅(qū)動(dòng)器2800執(zhí)行的圖像提取處理2900。通過接收（在2905)編碼圖像的比特流（例如， 比特流2825)，開始該處理。所述比特流可以發(fā)送自與解碼器驅(qū)動(dòng)器所運(yùn)行于的設(shè)備進(jìn)行視 頻會(huì)議的另一個(gè)設(shè)備，或者可被保存在所述設(shè)備的存儲(chǔ)器中。當(dāng)所述設(shè)備從多個(gè)來源接收 圖像時(shí)，一些實(shí)施例對(duì)來自每個(gè)來源的圖像進(jìn)行處理2900。
[0373] 隨后，處理2900從比特流提?。ㄔ?910)大小數(shù)據(jù)。如上所述，可在比特流中的 不同位置找到所述大小數(shù)據(jù)。一些實(shí)施例知道在何處尋找所述大小數(shù)據(jù)，而其它實(shí)施例尋 找特定的標(biāo)記，所述標(biāo)記指出所述大小數(shù)據(jù)位于接收的比特流中的何處。在一些實(shí)施例中， 大小數(shù)據(jù)指出子圖像的大?。ɡ?，每一行中的像素?cái)?shù)和每一列中的像素?cái)?shù)）和子圖像在 編碼圖像中的位置。
[0374] 處理2900隨后把提取的大小數(shù)據(jù)發(fā)送給（在2915)圖像縮放器。如圖28中所 示，在一些實(shí)施例中，該操作是在解碼器驅(qū)動(dòng)器內(nèi)進(jìn)行的（即，解碼器驅(qū)動(dòng)器中的一個(gè)模塊 把大小數(shù)據(jù)發(fā)送給解碼器驅(qū)動(dòng)器中的另一個(gè)模塊）。
[0375] 處理2900還把比特流發(fā)送給（在2920)解碼器，以便解碼。在一些實(shí)施例中，解 碼器解壓縮和解碼比特流（例如，利用反向離散余弦變換、反向量化等），并把重構(gòu)的圖像 返回給解碼器驅(qū)動(dòng)器。
[0376] 在比特流被解碼器解碼之后，處理2900從解碼器接收（在292δ)解碼圖像。如圖 所示，一些實(shí)施例在還已從比特流管理器接收大小數(shù)據(jù)的圖像縮放器接收解碼圖像。處理 隨后利用接收的大小數(shù)據(jù)，從解碼圖像提?。ㄔ?930)子圖像。如圖所示，如大小數(shù)據(jù)2815 中所示那樣，從解碼圖像2840的左上角提取子圖像2845?，F(xiàn)在，提取的子圖像可被顯示在 顯示設(shè)備（例如，雙照相機(jī)移動(dòng)設(shè)備的屏幕）上。
[0377] 3.速率控制器
[0378] 在一些實(shí)施例中，設(shè)備的兩部照相機(jī)具有不同的多組特性。例如，在一些實(shí)施例 中，正面照相機(jī)是為運(yùn)動(dòng)視頻圖像的拍攝而優(yōu)化的較低分辨率照相機(jī)，而背面照相機(jī)是為 靜止圖像的拍攝而優(yōu)化的較高分辨率照相機(jī)。由于諸如設(shè)備的成本、功能和/或幾何形狀 之類的各種原因，其它實(shí)施例可以使用不同特性的照相機(jī)的不同組合。
[0379] 具有不同特性的照相機(jī)能夠引入不同的偽像。例如，與較低分辨率照相機(jī)相比，較 高分辨率照相機(jī)會(huì)顯示更多的噪聲。與由較低分辨率照相機(jī)拍攝的圖像相比，由較高分辨 率照相機(jī)拍攝的圖像會(huì)表現(xiàn)出更高水平的空間或時(shí)間復(fù)雜性。另外，具有不同光學(xué)性質(zhì)的 不同照相機(jī)會(huì)在拍攝的圖像中引入不同的Y值。由不同的照相機(jī)用于拍攝圖像的不同感 光機(jī)構(gòu)也會(huì)引入不同的偽像。
[0380] 這些照相機(jī)特有的偽像中的一些隱藏由其它來源產(chǎn)生的偽像。例如，在由具有高 水平噪聲的高分辨率照相機(jī)拍攝的圖像中，作為視頻編碼處理的副產(chǎn)物的偽像變得不太可 見。當(dāng)編碼噪聲（比如量化失真）隱藏在照相機(jī)特有的偽像之后時(shí)，視頻編碼處理可使用 更大的量化步長(zhǎng)來獲得較小的比特率。另一方面，當(dāng)照相機(jī)引入較少的偽像時(shí)（比如就較 低分辨率照相機(jī)來說），視頻編碼處理能夠利用更細(xì)小的量化步長(zhǎng)，以便避免由量化引起的 不可接受的視覺失真水平。從而，與忽視這些照相機(jī)特有的特性的視頻編碼處理相比，優(yōu)化 成利用或者補(bǔ)償這些照相機(jī)特有的特性的視頻編碼處理能夠獲得更好的速率-失真折衷。
[0381] 為了把這些照相機(jī)特有的特性用于實(shí)現(xiàn)速率-失真折衷，一些實(shí)施例實(shí)現(xiàn)分別相 對(duì)于兩部照相機(jī)的每個(gè)照相機(jī)優(yōu)化的兩種視頻編碼處理。圖30圖解說明具有關(guān)于兩部照 相機(jī)3060和3070的兩個(gè)視頻編碼處理的系統(tǒng)的例子。如圖30中所示，系統(tǒng)3000包括編 碼器驅(qū)動(dòng)器3010、速率控制器3020和3040、和視頻編碼器3030。編碼器3030把從視頻照 相機(jī)3060和3070拍攝的視頻圖像編碼成比特流3080和3090。
[0382] 在一些實(shí)施例中，視頻編碼器驅(qū)動(dòng)器3010是一個(gè)或多個(gè)處理單元上運(yùn)行的軟件 模塊。它提供視頻編碼器303和系統(tǒng)的其它組件，比如視頻照相機(jī)、圖像處理模塊、網(wǎng)絡(luò)管 理模塊和存儲(chǔ)緩沖器之間的接口。編碼器驅(qū)動(dòng)器3010控制拍攝的視頻圖像從照相機(jī)和圖 像處理模塊到視頻編碼器3〇 3〇的流動(dòng)，它還提供編碼比特流3080和3090到存儲(chǔ)緩沖器和 網(wǎng)絡(luò)管理模塊的管道。
[0383] 如圖30中所示，編碼器驅(qū)動(dòng)器3010包括速率控制器的兩個(gè)不同實(shí)例3020和 3040。這些多個(gè)實(shí)例可以是用于兩部不同照相機(jī)的兩個(gè)不同的速率控制器，或者是關(guān)于兩 部不同的照相機(jī)，按照兩種不同的方式配置的一個(gè)速率控制器。具體地說，在一些實(shí)施例 中，這兩個(gè)速率控制器3〇 2〇和3〇40代表兩個(gè)單獨(dú)的速率控制器。另一方面，在其它實(shí)施例 中，這兩個(gè)速率控制器3020和 3〇40是單個(gè)速率控制器的兩種不同配置。
[0384]圖30還顯示包括狀態(tài)緩沖器3015的編碼器驅(qū)動(dòng)器3010,狀態(tài)緩沖器3015保存 在視頻會(huì)議期間使用的速率控制操作的編碼狀態(tài)信息。具體地說，在一些實(shí)施例中，這兩個(gè) 不同的速率控制器，或者相同速率控制器的兩種不同配置在視頻會(huì)議期間，共享保存在狀 態(tài)緩沖器3015中的相同的編碼狀態(tài)信息。狀態(tài)信息的這種共享允許雙視頻拍攝視頻會(huì)議 中的統(tǒng)一的速率控制器操作。這種共享還允許單視頻拍攝視頻會(huì)議中，切換照相機(jī)操作期 間的最佳視頻編碼（即，允許關(guān)于當(dāng)前照相機(jī)所攝視頻的編碼的速率控制操作使用由關(guān)于 前一照相機(jī)所攝視頻的編碼的速率控制操作保持的編碼狀態(tài)信息）。圖 3〇把狀態(tài)緩沖器 3015表示成編碼器驅(qū)動(dòng)器3010的一部分，不過其它實(shí)施例可在編碼器驅(qū)動(dòng)器3〇1〇之外實(shí) 現(xiàn)狀態(tài)緩沖器3015。
[0385] 在狀態(tài)緩沖器3015中，不同的實(shí)施例保存代表編碼狀態(tài)信息的不同類型的數(shù)據(jù) (例如，不同類型的編碼參數(shù)）。這種編碼狀態(tài)信息的一個(gè)例子是視頻會(huì)議的當(dāng)前目標(biāo)比特 率。上面在III. B節(jié)中說明了識(shí)別目標(biāo)比特率的一種方式。這種編碼狀態(tài)信息的其它例子 包括緩沖器充滿度、最大緩沖器充滿度、一個(gè)或多個(gè)最近編碼的幀的比特率、以及其它編碼 狀態(tài)信息。
[0386] 速率控制器隨后能夠使用目標(biāo)比特率（或者保存在狀態(tài)緩沖器中的另一個(gè)編碼 狀態(tài)參數(shù)）來計(jì)算在其速率控制操作中使用的一個(gè)或多個(gè)參數(shù)。例如，如下進(jìn)一步所述，一 些實(shí)施例的速率控制器使用當(dāng)前的目標(biāo)比特率來計(jì)算宏塊或幀的量化參數(shù)QP。例如，一些 實(shí)施例利用當(dāng)前的目標(biāo)比特率來計(jì)算量化調(diào)整參數(shù)，這些實(shí)施例從量化調(diào)整參數(shù)得到宏塊 和/或幀的量化參數(shù)QP。因此，在視頻會(huì)議中的照相機(jī)切換操作期間，在（兩個(gè)速率控制 器，或者一個(gè)速率控制器的兩種不同配置的）兩種速率控制操作之間共享目標(biāo)比特率允許 對(duì)當(dāng)前照相機(jī)拍攝的視頻編碼的速率控制操作受益于對(duì)前一照相機(jī)拍攝的視頻編碼的在 先速率控制操作的編碼狀態(tài)數(shù)據(jù)。
[0387] 圖30圖解說明包括兩個(gè)不同的速率控制器實(shí)例3020和3040的編碼器驅(qū)動(dòng)器 3010。不過，在其它實(shí)施例中，這些速率控制器實(shí)例3020和3040被內(nèi)置到視頻編碼器3030 中。視頻編碼器3030把由照相機(jī)3060和3070拍攝的視頻圖像編碼成數(shù)字比特流3〇 8〇和 3090。在一些實(shí)施例中，視頻編碼器產(chǎn)生符合常規(guī)的視頻編碼標(biāo)準(zhǔn)（例如，H· 264MPEG-4)的 比特流。在一些這樣的實(shí)施例中，視頻編碼器執(zhí)行包括運(yùn)動(dòng)估計(jì)、離散余弦變換（"DCT")、 量化和熵編碼的編碼操作。視頻編碼器還進(jìn)行與編碼操作的功能相反的解碼操作。
[0388] 在一些實(shí)施例中，編碼器3030包括用于進(jìn)行量化的量化器模塊3032。量化器模 塊由來自速率控制器3020或3040的量化參數(shù) 3〇22或3042控制。在一些實(shí)施例中，每個(gè) 量化參數(shù)由對(duì)應(yīng)的速率控制器設(shè)定，并且是與該速率控制器相關(guān)的照相機(jī)的一種或多種屬 性的函數(shù)，如下進(jìn)一步所述。速率控制器能夠通過設(shè)定更大的量化步長(zhǎng)減少用于編碼的比 特?cái)?shù)，或者通過設(shè)定更小的量化步長(zhǎng)增大所使用的比特?cái)?shù)。通過控制量化步長(zhǎng)，速率控制器 還確定在編碼的視頻圖像中會(huì)引入多少失真。從而，速率控制器能夠?qū)崿F(xiàn)比特率和圖像質(zhì) 量之間的折衷。在實(shí)現(xiàn)速率-失真折衷時(shí)，速率控制器監(jiān)控比特率，以便不會(huì)上溢存儲(chǔ)緩沖 器、下溢存儲(chǔ)緩沖器、或者超過傳輸通道容量。速率控制器還必須控制比特率，以便提供最 佳的可能圖像質(zhì)量和避免由量化引起的不可接受的圖像質(zhì)量失真。在一些實(shí)施例中，每個(gè) 速率控制器把按照一組狀態(tài)數(shù)據(jù)值表示的監(jiān)控?cái)?shù)據(jù)保存在狀態(tài)緩沖器 3〇15中。在一些實(shí) 施例中，速率控制器3020和3040使用照相機(jī)特有的屬性來優(yōu)化速率-失真折衷。
[0389] 在一些實(shí)施例中，每個(gè)速率控制器通過直接對(duì)其量化參數(shù)應(yīng)用修正系數(shù)，優(yōu)化速 率-失真折衷。在一些這樣的實(shí)施例中，修正系數(shù)是預(yù)先確定的并和照相機(jī)一起被內(nèi)置在 設(shè)備中；設(shè)備不需要?jiǎng)討B(tài)計(jì)算這些修正系數(shù)。在其它實(shí)施例中，系統(tǒng)利用由照相機(jī)拍攝的輸 入圖像，動(dòng)態(tài)確定特定于照相機(jī)的適當(dāng)修正系數(shù)。在一些這樣的實(shí)施例中，系統(tǒng)在多次編碼 中，分析由照相機(jī)拍攝的一系列的輸入視頻圖像，以收集關(guān)于照相機(jī)的某些統(tǒng)計(jì)數(shù)據(jù)。系統(tǒng) 隨后利用這些統(tǒng)計(jì)數(shù)據(jù)得到關(guān)于該照相機(jī)優(yōu)化的量化參數(shù)的修正系數(shù)。
[0390] 在一些實(shí)施例中，這些照相機(jī)特有的修正系數(shù)經(jīng)由視頻圖像的視覺掩蔽屬性，被 應(yīng)用于量化參數(shù)。圖像或一部分圖像的視覺掩蔽屬性是在所述圖像或圖像部分中能夠容忍 多少編碼偽像的指示。一些實(shí)施例計(jì)算量化所述圖像或圖像部分的亮度能量的視覺掩蔽屬 性，而其它實(shí)施例計(jì)算量化所述圖像或圖像部分的活化能或復(fù)雜性的視覺掩蔽屬性。與如 何計(jì)算視覺掩蔽屬性無關(guān)，一些實(shí)施例利用視覺掩蔽屬性來計(jì)算一個(gè)視頻幀的修正或掩蔽 量化參數(shù)。一些這樣的實(shí)施例把掩蔽量化參數(shù)計(jì)算為幀級(jí)視覺掩蔽屬性ff ram?和基準(zhǔn)視覺 掩蔽屬性<PR的函數(shù)。在一些實(shí)施例中，用視頻掩蔽屬性tpframe和#R修正的量化參數(shù)被表 不成：

【權(quán)利要求】
1. 一種操作第一移動(dòng)設(shè)備的方法，所述方法包括： 在通過無線通信網(wǎng)絡(luò)與第二設(shè)備的音頻通話期間，呈現(xiàn)用于從音頻通話切換到視頻會(huì) 議的第一可選用戶界面π項(xiàng)目； 在接收到對(duì)第一可選Π 項(xiàng)目的選擇之后： 顯示由第一移動(dòng)設(shè)備的第一照相機(jī)拍攝的第一視頻，和 呈現(xiàn)用于在第一移動(dòng)設(shè)備的第一照相機(jī)和第二照相機(jī)之間切換的第二可選Π 項(xiàng)目； 在發(fā)起視頻會(huì)議之前，接收對(duì)第二可選Π 項(xiàng)目的選擇，以利用由第二照相機(jī)拍攝的第 二視頻代替由第一照相機(jī)拍攝的視頻；以及 通過與由第二照相機(jī)拍攝的視頻同時(shí)顯示由第二設(shè)備拍攝的第三視頻來發(fā)起視頻會(huì) 議。
2. 按照權(quán)利要求1所述的方法，其中呈現(xiàn)第二可選Π 項(xiàng)目包括在視頻會(huì)議發(fā)起期間和 在視頻會(huì)議已經(jīng)發(fā)起之后呈現(xiàn)第二可選Π 項(xiàng)目。
3. 按照權(quán)利要求2所述的方法，其中呈現(xiàn)第二可選Π 項(xiàng)目包括在預(yù)定的時(shí)間量之后停 止呈現(xiàn)第二可選Π 項(xiàng)目。
4. 按照權(quán)利要求1所述的方法，還包括一旦第一可選Π 項(xiàng)目被選擇就向第二設(shè)備發(fā)送 視頻會(huì)議請(qǐng)求。
5. 按照權(quán)利要求4所述的方法，其中，發(fā)起視頻會(huì)議包括在同時(shí)顯示第二視頻和第三 視頻之前，接收對(duì)來自第二設(shè)備的視頻會(huì)議請(qǐng)求的接受。
6. 按照權(quán)利要求5所述的方法，其中，同時(shí)顯示所述視頻包括將第二視頻顯示為與第 三視頻的至少一部分重疊的插入視頻。
7. 按照權(quán)利要求1所述的方法，其中，第一移動(dòng)設(shè)備的第一照相機(jī)是正面的照相機(jī)，而 第一移動(dòng)設(shè)備的第二照相機(jī)是背面的照相機(jī)。
8. -種第一設(shè)備，包括： 第一照相機(jī)和第二照相機(jī)； 用于呈現(xiàn)用于發(fā)起與第二設(shè)備的視頻會(huì)議的第一可選用戶界面Π 項(xiàng)目； 用于在接收到對(duì)第一可選Π 項(xiàng)目的選擇之后： 顯示由第一設(shè)備的第一照相機(jī)拍攝的第一視頻，并且 呈現(xiàn)用于在第一設(shè)備的第一照相機(jī)和第二照相機(jī)之間切換的第二可選UI項(xiàng)目的裝 置； 用于在發(fā)起視頻會(huì)議之前，接收對(duì)第二可選Π 項(xiàng)目的選擇，以利用由第二照相機(jī)拍攝 的第二視頻代替由第一照相機(jī)拍攝的視頻的裝置；以及 用于通過與由第二照相機(jī)拍攝的視頻同時(shí)顯示由第二設(shè)備拍攝的第三視頻來發(fā)起與 第二設(shè)備的視頻會(huì)議的裝置。
9. 按照權(quán)利要求8所述的第一設(shè)備，其中用于呈現(xiàn)第二可選Π 項(xiàng)目的裝置包括用于在 視頻會(huì)議發(fā)起期間和在視頻會(huì)議已經(jīng)發(fā)起之后呈現(xiàn)第二可選Π 項(xiàng)目的裝置。
10. 按照權(quán)利要求9所述的第一設(shè)備，其中用于呈現(xiàn)第二可選Π 項(xiàng)目的裝置包括用于 在預(yù)定的時(shí)間量之后停止呈現(xiàn)第二可選Π 項(xiàng)目的裝置。
11. 按照權(quán)利要求8所述的第一設(shè)備，還包括用于一旦第一可選Π 項(xiàng)目被選擇就向第 二設(shè)備發(fā)送視頻會(huì)議請(qǐng)求的裝置。
12. 按照權(quán)利要求11所述的第一設(shè)備，其中，用于發(fā)起視頻會(huì)議的裝置包括用于在同 時(shí)顯示第二視頻和第三視頻之前，接收對(duì)來自第二設(shè)備的視頻會(huì)議請(qǐng)求的接受的裝置。
13. 按照權(quán)利要求12所述的第一設(shè)備，其中，用于同時(shí)顯示第二視頻和第三視頻的裝 置包括用于將第二視頻顯示為與第三視頻的至少一部分重疊的插入視頻的裝置。
14. 按照權(quán)利要求8所述的第一設(shè)備，其中，第一設(shè)備的第一照相機(jī)是正面的照相機(jī)， 而第一設(shè)備的第二照相機(jī)是背面的照相機(jī)。
15. -種用于第一設(shè)備進(jìn)行與第二設(shè)備的視頻會(huì)議的方法，所述方法包括： 呈現(xiàn)用于發(fā)起與第二設(shè)備的第一可選用戶界面Π 項(xiàng)目； 在接收到對(duì)所述第一可選Π 項(xiàng)目的選擇之后： 顯示由第一設(shè)備的第一照相機(jī)拍攝的第一視頻，和 呈現(xiàn)用于在第一設(shè)備的第一照相機(jī)和第二照相機(jī)之間切換的第二可選Π 項(xiàng)目； 在發(fā)起視頻會(huì)議之前，接收對(duì)第二可選Π 項(xiàng)目的選擇，以利用由第二照相機(jī)拍攝的第 二視頻代替由第一照相機(jī)拍攝的視頻；以及 通過與由第二照相機(jī)拍攝的視頻同時(shí)顯示由第二設(shè)備拍攝的第三視頻來發(fā)起視頻會(huì) 議。
16. 按照權(quán)利要求15所述的方法，還包括一旦第一可選Π 項(xiàng)目被選擇就向第二設(shè)備發(fā) 送視頻會(huì)議請(qǐng)求。
17. 按照權(quán)利要求16所述的方法，其中，發(fā)起視頻會(huì)議包括在同時(shí)顯示第二視頻和第 三視頻之前，接收對(duì)來自第二設(shè)備的視頻會(huì)議請(qǐng)求的接受。
18. 按照權(quán)利要求17所述的方法，其中，同時(shí)顯示所述視頻包括將第二視頻顯示為與 第三視頻的至少一部分重疊的插入視頻。
19. 按照權(quán)利要求15所述的方法，其中，第一設(shè)備的第一照相機(jī)是正面的照相機(jī)，而第 一設(shè)備的第二照相機(jī)是背面的照相機(jī)。
20. 按照權(quán)利要求15所述的方法，其中，第一設(shè)備和第二設(shè)備是智能電話。
【文檔編號(hào)】H04N7/15GK104270597SQ201410575145
【公開日】2015年1月7日 申請(qǐng)日期:2010年9月25日 優(yōu)先權(quán)日:2010年4月7日
【發(fā)明者】E·C·克蘭菲爾, S·O·勒梅, J·S·阿布安, 吳錫榮, 周小松, 小R·加西亞 申請(qǐng)人:蘋果公司