具有三層視頻場景的影中影視頻流的制作方法
【專利摘要】本申請案涉及一種具有三層視頻場景的影中影視頻流。一種移動計算裝置包含經耦合以分別產生第一、第二及第三攝像機視頻流的第一、第二及第三攝像機。所述第一攝像機在所述移動計算裝置的第一側上，且所述第二及第三攝像機包含于所述移動計算裝置的第二側上的立體攝像機中。視頻處理器經耦合以產生包含從所述第一攝像機視頻流產生的第一視頻層的輸出視頻流。所述視頻處理器進一步經耦合以響應于所述第二及所述第三攝像機視頻流而從所述第二攝像機視頻流將所述輸出視頻流產生為包含第二及第三視頻層。所述視頻處理器進一步經耦合以在所述輸出視頻流中將所述第一視頻層疊加于所述第二視頻層與所述第三視頻層之間。
【專利說明】具有二層視頻場景的影中影視頻流
【技術領域】
[0001]本發(fā)明大體來說涉及一種移動計算裝置，且更具體來說涉及一種可產生具有三層視頻場景的影中影(ViV)視頻流的移動電話或智能電話。
【背景技術】
[0002]在線共享視頻已變?yōu)槌Ｒ娮龇?。通常，將視頻流從所存儲視頻文件上載到服務器。多個接收器可在不同時間從所述服務器下載經上載的視頻?？捎蓡我粩z像機產生所存儲視頻文件。上載及下載并非實時的。
[0003]例如移動電話、智能電話、平板計算機等移動計算裝置已變得無所不在。確實，相信當今世界上移動電話的數目正在接近(如果不超過)全世界的人口數?，F在，對從移動電話廣播實時視頻流的能力的需求正在增長。

【發(fā)明內容】

[0004]本發(fā)明的一個實施例涉及一種移動計算裝置。所述裝置包括:第一攝像機，其在所述移動計算裝置的第一側上，其中所述第一攝像機經耦合以產生第一攝像機視頻流；第二攝像機，其在所述移動計算裝置的第二側上，其中所述第二攝像機經耦合以產生第二攝像機視頻流；第三攝像機，其在所述移動計算裝置的所述第二側上，其中所述第三攝像機經耦合以產生第三攝像機視頻流，其中所述第二攝像機及所述第三攝像機包含于所述移動計算裝置的立體攝像機中；及視頻處理器，其經耦合以產生包含從所述第一攝像機視頻流產生的第一視頻層的輸出視頻流，其中所述視頻處理器進一步經耦合以響應于所述第二攝像機視頻流及所述第三攝像機視頻流而產生具有從所述第二攝像機視頻流產生的第二視頻層及第三視頻層的所述輸出視頻流，其中所述視頻處理器經耦合以在所述輸出視頻流中將所述第一視頻層疊加于所述第二視頻層與所述第三視頻層之間。
[0005]本發(fā)明的另一實施例涉及一種網絡。所述網絡包括:服務器；第一移動計算裝置，其連接到所述服務器，所述第一移動計算裝置包含在所述第一移動計算裝置的第一側上的經耦合以產生第一攝像機視頻流的第一攝像機；立體攝像機，其連接到所述服務器，所述立體攝像機包含經耦合以產生第二攝像機視頻流的第二攝像機，且所述立體攝像機進一步包含經耦合以產生第三攝像機視頻流的第三攝像機；視頻處理器，其包含于所述第一移動計算裝置中，其中所述視頻處理器經耦合以接收所述第一攝像機視頻流以產生輸出視頻流的第一視頻層，且其中所述視頻處理器經耦合以接收所述第二攝像機視頻流及所述第三攝像機視頻流以從所述第二攝像機視頻流產生所述輸出視頻流的第二視頻層及第三視頻層，其中所述視頻處理器經耦合以在所述輸出視頻流中將所述第一視頻層疊加于所述第二視頻層與所述第三視頻層之間，且其中所述視頻處理器經耦合以將所述輸出視頻流上載到所述服務器；及多個接收器，其耦合到所述服務器以接收所述輸出視頻流。
[0006]本發(fā)明的另一實施例涉及一種用于將三個視頻層疊加于輸出視頻流中的方法。所述方法包括:在從立體攝像機接收的第二及第三攝像機視頻流中識別對象；確定所述立體攝像機與在所述第二及第三攝像機視頻流中識別的所述對象中的每一者之間的相應距離；將在所述第二及第三攝像機視頻流中識別的小于距所述立體攝像機的中視頻層距離的任何對象放置于第二視頻層中；將在所述第二及第三攝像機視頻流中識別的大于距所述立體攝像機的所述中視頻層距離的任何對象放置于第三視頻層中；在從第一攝像機接收的第一攝像機視頻流中識別被攝體；從所述第一攝像機視頻流修整背景以在所述第一攝像機視頻流中僅僅留下所述經識別被攝體；僅僅將所述經識別被攝體放置于第一視頻層中；及在所述輸出視頻流中將所述第一視頻層疊加于所述第二與第三視頻層之間。
【專利附圖】

【附圖說明】
[0007]參考以下各圖描述本發(fā)明的非限制性及非詳盡實施例，其中在所有各視圖中相似參考編號指代相似部件，除非另有規(guī)定。
[0008]圖1根據本發(fā)明的教示展示具有產生左場景的左攝像機及產生右場景的右攝像機的實例性立體攝像機。
[0009]圖2根據本發(fā)明的教示展示產生場景的實例性單一攝像機。
[0010]圖3根據本發(fā)明的教示展示修整背景且僅僅留下被攝體的圖2的實例性場景。
[0011]圖4根據本發(fā)明的教示展示經耦合以在視頻場景中識別被攝體的視頻處理器的實例性功能框圖。
[0012]圖5根據本發(fā)明的教示展示后視頻層與前視頻層之間的疊加中視頻層從而產生具有三個視頻場景層的ViV視頻流的實例。
[0013]圖6根據本發(fā)明的教示展示后視頻層與前視頻層之間的疊加中視頻層從而產生具有三個視頻場景層的ViV視頻流的另一實例。
[0014]圖7根據本發(fā)明的教示展示概述產生具有三個視頻場景層的ViV視頻流的過程的實例性框圖。
[0015]圖8根據本發(fā)明的教示展示通過因特網連接到服務器的實例性移動計算裝置。
[0016]圖9根據本發(fā)明的教示展示具有面向移動計算裝置用戶的單一前攝像機的移動計算裝置前側及具有面向移動計算裝置用戶所面向的視圖的立體后攝像機的移動計算裝置后側的實例。
[0017]圖10根據本發(fā)明的教示展示上載由立體攝像機產生的立體視頻流從而替換由移動計算裝置的立體后攝像機產生的左及右攝像機視頻流的實例性裝置。
[0018]在圖式的所有數個視圖中，對應參考字符指示對應組件。所屬領域的技術人員將了解，各圖中的元件是為簡單明晰的起見而圖解說明的，而未必按照比例繪制。舉例來說，為有助于改進對本發(fā)明的各種實施例的理解，各圖中某些元件的尺寸可能相對于其它元件放大。此外，通常未描繪在商業(yè)可行的實施例中有用或必需的常見但眾所周知的元件以便促進對本發(fā)明的這些各種實施例的較不受阻礙的觀察。
【具體實施方式】
[0019]在以下描述中，闡述眾多特定細節(jié)以便提供對本發(fā)明的透徹理解。然而，所屬領域的技術人員將明了，實踐本發(fā)明不需要采用特定細節(jié)。在其它實例中，未詳細地描述眾所周知的材料或方法以便避免使本發(fā)明模糊。[0020]在本說明書通篇中對“一個實施例”、“一實施例”、“一個實例”或“一實例”的提及意指結合所述實施例或實例所描述的特定特征、結構或特性包含于本發(fā)明的至少一個實施例中。因此，在本說明書通篇中各個地方短語“在一個實施例中”、“在一實施例中”、“一個實例”或“一實例”的出現未必全部指代同一實施例或實例。此外，所述特定特征、結構或特性可以任何適合組合及/或子組合而組合于一個或一個以上實施例或實例中。特定特征、結構或特性可包含于集成電路、電子電路、組合邏輯電路或提供所要功能性的其它適合組件中。另外，應了解，隨本文提供的各圖是出于向所屬領域的技術人員解釋的目的且所述圖式未必按比例繪制。
[0021]由于越來越多數目的移動電話包含多個攝像機，因此合并來自同一移動電話的多個攝像機的多個視頻流從而形成單一影中影(ViV)視頻流可為有用的。如將論述，根據本發(fā)明的教示的實例針對具有形成立體攝像機的單一前攝像機及一對后攝像機的移動計算裝置，例如移動電話、智能電話、平板計算機等。根據本發(fā)明的教示的實例組合由所述移動計算裝置的單一前攝像機產生的視頻流與由所述移動計算裝置的后攝像機中的一者產生的視頻流。由于前攝像機面向移動計算裝置的用戶，因此前攝像機視頻流包含為移動計算裝置的用戶的被攝體。在一個實例中，可通過修整背景來提取被攝體使得前攝像機視頻流僅僅包含所述被攝體的面部及身體而背景被從場景移除。在一個實例中，恰當地縮放僅僅包含被攝體的前攝像機視頻流以形成中視頻層場景。
[0022]在一個實例中，移動計算裝置的后攝像機面向所述移動計算裝置的用戶也面向的視圖?；谌菧y量，可將由后攝像機產生的后攝像機視頻流的場景中的對象劃分成遠區(qū)及近區(qū)。遠區(qū)中的對象包含于后視頻層場景中，且近區(qū)中的對象包含于前視頻層場景中。
[0023]在所述實例中，將來自前攝像機的中視頻層場景疊加于后視頻層場景的頂部上，且將前視頻層場景疊加于中視頻層場景的頂部上，從而形成具有三個視頻層的ViV視頻流。在恰當遮擋的情況下，所得ViV視頻流展示被攝體整合到所述被攝體實際上觀看的背景場景中。事實上，被攝體并不在所述背景中。在一個實例中，可將所形成的ViV視頻流上載到服務器且接著由所述服務器通過因特網實時地廣播。因此，在一個實例中，可從移動計算裝置實時地廣播正在進行的事件的實況視圖，其中所述移動計算裝置的用戶被并入到所述實況視圖中。事實上，呈現者并不在實況視圖中。由于呈現者實際上觀看所述實況視圖，因此呈現者可精確地對所述實況視圖進行評論。
[0024]為了圖解說明，圖1根據本發(fā)明的教示展示移動計算裝置的實例性立體攝像機100，其具有左攝像機102及右攝像機104。出于解釋目的且如圖1中所描繪的實例中所圖解說明，在本發(fā)明中假定左攝像機102的鏡頭與右攝像機104的鏡頭分別位于與左攝像機102及右攝像機104實質上相同的位置處。因此，如圖1中所描繪的實例中所展示，左攝像機102與右攝像機104之間存在基線110距離。在一個實例中，視頻處理器400包含于所述移動計算裝置中且耦合到左攝像機102及右攝像機104。左攝像機102產生左攝像機視頻流106，在一個實例中，左攝像機視頻流106經耦合而由視頻處理器400接收并處理。右攝像機104產生右攝像機視頻流108,在一個實例中，右攝像機視頻流108經稱合而由視頻處理器400接收并處理。由于左攝像機102及右攝像機104兩者均包含于立體攝像機100中，因此左攝像機視頻流106中的場景及右攝像機視頻流108中的場景兩者包含具有視差的相同對象111、112、113及114。可使用此項技術中眾所周知的標準方法(例如三角測量)來測量所述視差并確定對象111-114到立體攝像機100的基線110的距離。
[0025]圖2根據本發(fā)明的教示展示移動計算裝置的實例性單一攝像機202，其耦合到視頻處理器400。在一個實例中，圖2中所描繪的移動計算裝置及視頻處理器400為圖解說明立體攝像機100的圖1中所描繪的相同移動計算裝置及視頻處理器400。在另一實例中，圖2中所描繪的移動計算裝置及視頻處理器400處于不同于圖1中所描繪的實例的移動計算裝置中。返回參考圖2中所描繪的實例，攝像機202為移動計算裝置的前攝像機且產生包含被攝體211以及背景對象212及213的前攝像機視頻流204。根據本發(fā)明的教示，可從前攝像機視頻流204的場景修整背景對象212及213，使得僅僅被攝體211留在前攝像機視頻流206中，如圖3中所展示。
[0026]在一個實例中，可使用此項技術中眾所周知的方法來從前攝像機視頻流204修整背景對象212及213。舉例來說，在一個實例中，可利用綠色屏幕或藍色屏幕技術。也稱為色度鍵合成或色度鍵控的綠色屏幕或藍色屏幕技術為基于色調或色度范圍而將兩個圖像合成或層化在一起的特殊技術。在許多領域中已大量使用所述技術從相片或視頻的被攝體移除背景，例如新聞廣播。使頂層中的色彩范圍為透明的，從而展露后面的另一場景。此可借助均勻且明顯的任何色彩的背景來完成，但較常使用綠色及藍色背景，因為其在色調上最明顯地不同于大多數人類皮膚色彩。視頻中被攝體的任何部分可能均不復制背景中所使用的色彩。以此方式，被攝體站立于綠色或藍色屏幕的前方。在背景修整過程中修整綠色或藍色屏幕的背景。
[0027]為了圖解說明，在電視上的天氣預報新聞廣播中，在其中于實況電視新聞廣播期間被攝體(例如，氣象學家)顯現為站立于大的天氣圖前方的情形中，通常使用綠色屏幕或藍色屏幕色度鍵合成技術。然而，事實上，被攝體實際站立于大的藍色或綠色背景屏幕的前方。當使用藍色屏幕時，在圖像的在被攝體后面的其中色彩為藍色的背景中的部分上添加不同背景(例如，天氣圖)。如果被攝體穿著藍色衣服，那么還將用背景場景替換他的或她的衣服。類似系統用于綠色屏幕。使用綠色屏幕或藍色屏幕色度鍵合成技術形成視頻的各種計算機程序為可用的。
[0028]在一個實例中，不要求使用所述移動計算裝置的被攝體站立于綠色或藍色屏幕的前方。在一個實例中，移動計算裝置的視頻處理器400利用高級處理來從前攝像機視頻流204修整背景場景以形成僅僅包含被攝體211的前攝像機視頻流206。舉例來說，圖4根據本發(fā)明的教示描繪圖解說明移動計算裝置的視頻處理器400的一個實例中所包含的處理框的功能框圖。過程框中的一些或全部在過程400中出現的次序不應視為限制性。而是，受益于本發(fā)明的所屬領域的技術人員將理解，可以未圖解說明的多種次序或甚至并行地執(zhí)行所述過程框中的一些。
[0029]如所描繪的實例中所展示，根據本發(fā)明的教示，視頻處理器400經耦合以識別視頻場景中的被攝體。在所述實例中，前攝像機視頻流204經耦合而由視頻處理器400的面部檢測單元402從移動計算裝置的前攝像機接收。面部檢測單元402包含確定任意數字圖像中的人類面部的位置及大小的處理技術。在一個實例中，面部檢測單元402檢測面部特征且忽略別的任何事物，例如建筑物(例如，圖2的213)、樹木(例如，圖2的212)及身體。面部檢測通常用于數碼攝像機的自動聚焦中。在檢測到被攝體的面部之后，在面部邊緣檢測單元404中確定面部的邊緣。因此，識別面部的位置及邊緣。在由面部邊緣檢測單元404進行的面部邊緣檢測之后，還可識別被攝體的身體并將其定位為從面部的延伸。在被攝體識別單元406中識別包含面部及身體的被攝體。在由被攝體識別單元406進行的被攝體識別之后，可在背景修整單元408中從場景204修整包含對象212及213而排除被攝體的面部及身體的背景對象以產生僅僅包含被攝體211的面部及身體而不具有背景的場景206。在一個實例中，根據本發(fā)明的教示，場景206將為中層。在各種實例中，應了解，根據本發(fā)明的教示，視頻處理器400中所包含的處理框可在移動計算裝置中所包含的硬件、計算機軟件、固件及/或其組合中實施。
[0030]在一個實例中，來自場景106及108的僅一個場景用于形成兩個其它視頻層,其為后視頻層及前視頻層。根據本發(fā)明的教示，后視頻層、中視頻層及前視頻層共同形成三層影中影(ViV)視頻流。在一個實例中，場景106用于形成三層ViV視頻流的后視頻層及前視頻層。首先識別場景106中的對象111-114。在另一實例中，應了解，也可使用場景108?？墒褂么隧椉夹g中的標準方法來進行對象識別。舉例來說，可辨識對象的邊界或邊緣且因此可使用其紋理及/或色彩來識別所述邊界或邊緣。另外，假定同一對象的各部分具有到立體攝像機100的基線110的實質上相同的距離。
[0031]繼續(xù)所述實例，在識別場景106中的對象111-114之后，或換句話說，在辨識對象111-114的所有邊界或邊緣之后，可使用左場景106與右場景108的視差基于(舉例來說)三角測量而確定對象111-114中的每一者到立體攝像機100的基線110的距離。出于解釋目的，在所描繪的實例中假定對象111、112、113及114到立體攝像機100的基線110的所確定距離分別為D1、D2、D3及D4。另外，在所描繪的實例中，假定D1<D2<D3<D4。
[0032]基于其距離D1、D2、D3及D4，可將場景106中的對象111-114劃分成遠區(qū)及近區(qū)。此外，遠區(qū)中的對象包含于后視頻層中，且近區(qū)中的對象包含于前視頻層中。圖3的場景206用作中視頻層?？蛇x擇中視頻層到立體攝像機100的基線110的距離，且使用所述距離來劃分遠區(qū)及近區(qū)。比中視頻層到立體攝像機100的基線110的距離遠的對象包含于遠區(qū)中，且比中視頻層到立體攝像機100的基線110的距離近的對象包含于近區(qū)中。
[0033]舉例來說，根據本發(fā)明的教示，將中視頻層的距離DS(S代表被攝體)選擇為D1〈DS〈D2，如圖5中所展示。后視頻層502包含對象112、113及114。中視頻層504為包含被攝體211的圖3的經恰當縮放的場景206。前視頻層506包含對象111。將中視頻層504疊加于后視頻層502上且進一步將前視頻層506疊加于中視頻層504上產生具有三個視頻層的ViV視頻場景508。換句話說，根據本發(fā)明的教示，中視頻層504疊加于前視頻層506與后視頻層502之間。在所得ViV視頻場景508中，被攝體211遮擋后視頻層502中的對象112及113，且前視頻層506中的對象111遮擋被攝體211。應注意，前視頻層508中的對象已適當遮擋后視頻層502中的對象，因為前視頻層508及后視頻層502中的對象最初均是從場景106裁切的。
[0034]如所描繪的實例中所圖解說明，恰當縮放中視頻層504中的被攝體211的大小。舉例來說，假定人類面部的寬度W為約18cm。應了解，可假定W為其它值。參考攝像機102的放大率及距離DS，可縮放場景206使得如果被攝體211站立在距立體攝像機100的基線110距離DS處，那么在中視頻層504中被攝體211的面部的寬度W’將等于W或大約18cm。因此，根據本發(fā)明的教示，被攝體適當地處于ViV視頻場景508中的中視頻層504中使得在ViV視頻場景508中被攝體的面部的寬度W被縮放為等于預定值，例如18cm。應了解，18cm的預定值是出于解釋目的而隨本文提供的且根據本發(fā)明的教示還可利用其它預定值。
[0035]圖6根據本發(fā)明的教示圖解說明其中將中視頻層的距離DS選擇為D2〈DS〈D3的另一實例。如所圖解說明，后視頻層602包含對象113及114。中視頻層604為如先前所描述經恰當縮放的包含被攝體211的圖3的場景206。前視頻層606包含對象111及112。將中視頻層604疊加于后視頻層602上且進一步將前視頻層606疊加于中視頻層604上產生具有三個視頻層的ViV視頻場景608。在所得ViV視頻場景608中，被攝體211遮擋后視頻層602中的對象113，且前視頻層606中的對象111及112遮擋被攝體211。
[0036]以此方式，根據本發(fā)明的教示，可產生具有三個視頻層的ViV視頻流。在進行恰當遮擋的情況下被攝體顯現為作為背景的一部分而站立，但事實上被攝體并不站立于背景中。在ViV視頻流中，還根據被攝體虛擬站立之處的選定距離來恰當縮放被攝體。雖然立體攝像機100用于確定場景中各種對象的距離，但所產生的ViV視頻流并非立體顯示。而是，根據本發(fā)明的教示，所得三視頻層ViV視頻流為單一視頻流。
[0037]圖7根據本發(fā)明的教示展示由視頻處理器執(zhí)行的實例性過程(例如借助上文所論述的視頻處理器400中所包含的高級處理)的框圖700，所述視頻處理器經耦合以從前攝像機及立體攝像機接收視頻流以產生具有視頻場景的三個視頻層的ViV視頻流。過程框中的一些或全部在框圖700中出現的次序不應視為限制性。而是，受益于本發(fā)明的所屬領域的技術人員將理解，可以未圖解說明的多種次序或甚至并行地執(zhí)行所述過程框中的一些。
[0038]如過程框702中所展示，基于立體攝像機的左場景或右場景中的對象的邊界或邊緣而識別所述對象，可使用包含紋理及/或色彩以及其它的各種因素來確定所述邊界或邊緣。在過程框704中，使用左場景與右場景的視差基于三角測量而確定每一對象的距離。在過程框706中，選擇中視頻層的距離。在過程框708中，將場景中的對象劃分成遠區(qū)及近區(qū)。比中視頻層的距離遠的對象包含于遠區(qū)中，且比中視頻層的距離近的對象包含于近區(qū)中。在過程框710中，形成包含遠區(qū)中的對象的后視頻層，且形成包含近區(qū)中的對象的前視頻層。
[0039]在過程框712中，使用色度鍵合成方法及/或視頻處理器來識別單攝像機場景(例如前攝像機)中的被攝體以檢測所述被攝體的面部及身體。在過程框714中，修整所述單攝像機場景中的背景，從而僅僅留下經識別被攝體的面部及身體。在過程框716中，根據過程706來選擇中視頻層的距離。在過程框718中，縮放被攝體。出于解釋目的，在一個實例中，被攝體經縮放使得在場景中根據過程框706選擇的中視頻層距離處被攝體的面部的寬度將為約18cm。當然，應了解，可利用被攝體的面部的寬度的任何預定值來將被攝體適當縮放到背景場景中。在過程框720中，形成包含經恰當縮放的被攝體的中視頻層。在過程框722中，根據本發(fā)明的教示，疊加后視頻層、中視頻層及前視頻層，從而形成具有三個視頻層的ViV視頻流。根據本發(fā)明的教示，在進行恰當遮擋的情況下，將中視頻層疊加于后視頻層的頂部上且將前視頻層疊加于中視頻層的頂部上產生被攝體站立于背景中的表觀。在各種實例中，應了解，根據本發(fā)明的教示，框圖700中所描述的處理框可在移動計算裝置中所包含的硬件、計算機軟件、固件及/或其組合中實施。
[0040]圖8根據本發(fā)明的教示展示通過因特網連接到網絡800中的服務器804的移動計算裝置802的實例。在一個實例中，舉例來說，移動計算裝置802可為移動電話、智能電話、平板計算機等。如所描繪的實例中所展示，網絡800包含移動計算裝置802、服務器804以及多個接收器810、812、814及816。所述因特網包含有線與無線網絡的組合。在一個實例中，移動計算裝置802使用無線網絡來與服務器804連接。所述無線網絡可包含W1-Fi網絡、移動寬帶網絡、電話網絡或任何適當網絡。移動計算裝置802中所包含的視頻處理器將視頻流視頻I上載806到服務器804。在一個實例中，視頻流視頻I為由移動計算裝置802捕獲的實時視頻流。在一個實例中，視頻流視頻I可為先前存儲于移動計算裝置802中的經記錄視頻流。
[0041]如先前所提及，在一個實例中，移動計算裝置802可為智能電話。出于本發(fā)明的目的，可將智能電話視為建立在移動操作系統(OS)基礎上的具有比功能電話更高級的計算能力及連接性的移動電話。除攝像機、觸摸屏及web瀏覽器以外，智能電話還可包含個人數字助理(PDA)、便攜式媒體播放器及全球定位系統(GPS)導航單元的功能。由現代智能電話使用的移動操作系統(OS)的實例包含但不限于:Android、iOS、Symbian、BlackBerry OS、Bada、Windows Phone、webOS 及嵌入式 Linux 以及其它。
[0042]在服務器804使與移動計算裝置802的連接安全之后，移動計算裝置802將視頻流視頻I上載806到服務器804。所接收的視頻流視頻I又由服務器804通過包含有線與無線網絡的組合的因特網廣播808。在所圖解說明的實例中，服務器804將視頻流視頻I廣播到個別接收器，例如接收器810、812、814及816。所廣播視頻流視頻I的接收器可包含另一移動計算裝置810，例如移動電話、智能電話、平板計算機等。以此方式，移動計算裝置810的用戶可收看視頻流視頻I。類似地，其它接收器812、814及816可收看所廣播視頻流視頻I。在一個實例中，上載及廣播可為實時的。在另一實例中，上載及廣播可并非實時的。
[0043]可使用此項技術中眾所周知的標準方法來使移動計算裝置802與服務器804之間的連接安全且由服務器804將視頻流廣播到接收器810-816。在所描繪的實例中，視頻流視頻I包含視頻及音頻信號兩者。視頻流視頻I還可包含嵌入于視頻流中的文本、圖形及其它數據。
[0044]圖9根據本發(fā)明的教示展示實例性移動計算裝置802的具有單一前攝像機906的前側902，前側902面向移動計算裝置802的用戶。在一個實例中，前攝像機906經耦合以將前攝像機視頻流提供到視頻處理器400。圖9還根據本發(fā)明的教示展示移動計算裝置802的具有立體后攝像機908的后側904,后側904面向移動計算裝置802的用戶所面向的視圖。立體后攝像機908進一步包含左后攝像機910及右后攝像機912。在Iv實例中，立體后攝像機906經耦合以將左后攝像機視頻流及右后攝像機視頻流提供到視頻處理器400。前攝像機906產生包含參考圖2的視頻場景204的前攝像機視頻流，其可為展示移動計算裝置802的用戶的視圖。左后攝像機910廣生包含參考圖1的視頻場景106的左后視頻流。右后攝像機912產生包含參考圖1的視頻場景108的右后視頻流。場景106及108可為移動計算裝置802的用戶所面向的左視圖及右視圖。
[0045]簡單地返回參考圖7、圖4、圖2及圖1，視頻處理器400經耦合以產生具有包含來自視頻場景204及視頻場景106或視頻場景108的對象及被攝體的三個視頻層的輸出ViV視頻流。在一個實例中，移動計算裝置的視頻處理器400執(zhí)行圖7中所描述的過程以產生具有三個視頻層的輸出ViV視頻流。在圖8中所描繪的實例中，將所產生的輸出ViV視頻流展示為上載806到服務器804的視頻I。
[0046]以此方式，移動計算裝置802的用戶可產生包含他或她所面向的視圖的ViV視頻流，其中他或她在中間視頻層中的圖像被縮放為在距移動計算裝置802的中視頻層距離處且具有恰當遮擋(即，他的或她的圖像適當地遮擋后對象)。因此，被確定為距移動計算裝置802小于中視頻層距離的距離的疊加于前視頻層中的相對近的對象適當地遮擋他或她在所形成ViV視頻流視頻I中的圖像。另外，被確定為距移動計算裝置802大于中視頻層距離的距離的疊加于后視頻層中的相對遠的對象由他或她在所形成ViV視頻流視頻I中的圖像適當地遮擋。此外，將所產生的ViV視頻流視頻I上載806到服務器，且所述服務器將視頻流視頻I廣播到接收器810-816。在一個實例中，視頻I的上載及廣播可為實時的。在另一實例中，視頻I的上載及廣播可并非實時的。
[0047]圖10根據本發(fā)明的教示展示其中背景立體場景106及108不來自移動計算裝置802的實例。為了圖解說明，移動計算裝置1000或具有包含產生包含圖1的左視頻場景106的左視頻流的左攝像機1002及廣生包含圖1的右視頻場景108的右視頻流的右攝像機1004的立體攝像機的另一裝置將包含左視頻流及右視頻流的立體視頻流視頻2上載1006到網絡800中的服務器804。網絡800包含移動計算裝置802、裝置1000、服務器804以及多個接收器810、812、814及816，如所展示。應注意，立體視頻流可需要用于上載的雙倍帶寬。移動計算裝置802從服務器804接收1008立體視頻流視頻2。根據本發(fā)明的教示，將包含由移動計算裝置802的前攝像機906產生的圖2的視頻流204的視頻流連同視頻流視頻2 —起處理，從而形成如先前所描述具有三個視頻層的ViV視頻流視頻I。將所形成的ViV視頻流視頻I上載806到服務器804。服務器804又將視頻I廣播到接收器810-816。在一個實例中，上載及廣播可為實時的。在另一實例中，上載及廣播可并非實時的。
[0048]還應了解，實時上載及實時廣播可包含由因特網業(yè)務導致的延遲。在一個實例中，根據本發(fā)明的教示，出于本發(fā)明的目的，可將多達數秒的延遲視為實時的。在另一實例中，應了解，根據本發(fā)明的教示，出于本發(fā)明的目的，仍可將更長延遲視為實時的。
[0049]如先前所提及，可利用計算機軟件及硬件來實施上文所解釋的過程。所描述的技術可構成在有形或非暫時機器(例如，計算機)可讀存儲媒體內體現的機器可執(zhí)行指令，所述機器可執(zhí)行指令在由機器(例如視頻處理器400)執(zhí)行時將致使所述機器執(zhí)行所描述的操作。另外，可在硬件(例如專用集成電路(“ASIC”)或其它)內體現所述過程。
[0050]有形非暫時機器可讀存儲媒體包含以可由機器(例如，計算機、網絡裝置、移動計算裝置、制造工具、具有一個或一個以上處理器的集合的任何裝置等)存取的形式提供(即，存儲)信息的任何機構。舉例來說，機器可讀存儲媒體包含可記錄/不可記錄媒體(例如，只讀存儲器(ROM)、隨機存取存儲器(RAM)、磁盤存儲媒體、光學存儲媒體、快閃存儲器裝置等)。
[0051]包含發(fā)明摘要中所描述內容的本發(fā)明的所圖解說明實例的以上描述并非打算為窮盡性或限制于所揭示的精確形式。盡管出于說明性目的而在本文中描述本發(fā)明的特定實施例及實例，但可做出各種等效修改，此并不背離本發(fā)明的較廣泛精神及范圍。
[0052]可根據以上詳細描述對本發(fā)明的實例做出這些修改。所附權利要求書中所使用的術語不應理解為將本發(fā)明限制于說明書及權利要求書中所揭示的特定實施例。相反，范圍將完全由所附權利要求書來確定，所述權利要求書將根據所創(chuàng)建的權利要求解釋原則來加以理解。因此，應將本說明書及各圖視為說明性而非限制性。
【權利要求】
1.一種移動計算裝置，其包括: 第一攝像機，其在所述移動計算裝置的第一側上，其中所述第一攝像機經耦合以產生第一攝像機視頻流； 第二攝像機，其在所述移動計算裝置的第二側上，其中所述第二攝像機經耦合以產生第二攝像機視頻流； 第三攝像機，其在所述移動計算裝置的所述第二側上，其中所述第三攝像機經耦合以產生第三攝像機視頻流，其中所述第二攝像機及所述第三攝像機包含于所述移動計算裝置的立體攝像機中 '及 視頻處理器，其經耦合以產生包含從所述第一攝像機視頻流產生的第一視頻層的輸出視頻流，其中所述視頻處理器進一步經耦合以響應于所述第二攝像機視頻流及所述第三攝像機視頻流而產生具有從所述第二攝像機視頻流產生的第二視頻層及第三視頻層的所述輸出視頻流，其中所述視頻處理器經耦合以在所述輸出視頻流中將所述第一視頻層疊加于所述第二視頻層與所述第三視頻層之間。
2.根據權利要求1所述的移動計算裝置，其中所述視頻處理器耦合到所述立體攝像機以響應于所述第二攝像機視頻流及所述第三攝像機視頻流而從所述第二攝像機視頻流產生所述輸出視頻流的所述第二視頻層及所述第三視頻層，使得所述輸出視頻流的所述第三視頻層中的第三對象比所述輸出視頻流的所述第二視頻層中的第二對象更遠離所述立體攝像機。
3.根據權利要求2所述的移動計算裝置，其中所述輸出視頻流的疊加于所述輸出視頻流的所述第二視頻層與第三視頻層之間的所述第一視頻層中的第一對象經耦合而由所述視頻處理器縮放為比所述第二視頻層中的所述第二對象更遠離所述立體攝像機，且其中所述第一視頻層中的所述第一對象經耦合而由所述視頻處理器縮放為比所述輸出視頻流的所述第三視頻層中的所述第三對象更靠近所述立體攝像機。
4.根據權利要求3所述的移動計算裝置，其中所述輸出視頻流的所述第二視頻層中的所述第二對象遮擋所述輸出視頻流的所述第一視頻層中的所述第一對象，且其中所述輸出視頻流的所述第一視頻層中的所述第一對象遮擋所述輸出視頻流的所述第三視頻層中的所述第三對象。
5.根據權利要求2所述的移動計算裝置，其中所述視頻處理器進一步經耦合以在所述第二及第三攝像機視頻流中識別所述第二對象且基于所述第二對象在所述第二與第三攝像機視頻流之間的視差而確定所述第二對象距所述立體攝像機的距離，其中所述視頻處理器進一步經耦合以在所述第二及第三攝像機視頻流中識別所述第三對象且基于所述第三對象在所述第二與第三攝像機視頻流之間的視差而確定所述第三對象距所述立體攝像機的距離，其中所述第二對象距所述立體攝像機的所述距離小于所述第三對象距所述立體攝像機的所述距離。
6.根據權利要求1所述的移動計算裝置，其中所述視頻處理器進一步經耦合以將在所述第二及第三攝像機視頻流中識別的比中視頻層距離更靠近所述立體攝像機的任何對象放置于所述 第二視頻層中，其中所述視頻處理器進一步經耦合以將在所述第二及第三攝像機視頻流中識別的比所述中視頻層距離更遠離所述立體攝像機的任何對象放置于所述第三視頻層中，且其中所述視頻處理器進一步經耦合以將所述第一攝像機視頻流中的在所述中視頻層距離處的第一對象放置于所述第一視頻層中。
7.根據權利要求1所述的移動計算裝置，其中所述視頻處理器進一步經耦合以從所述第一攝像機視頻流修整背景以在所述輸出視頻流中僅僅將被攝體疊加于所述第二視頻層與所述第三視頻層之間的所述第一視頻層中，其中所述被攝體為所述移動計算裝置的用戶。
8.根據權利要求7所述的移動計算裝置，其中所述視頻處理器進一步經耦合以縮放所述輸出視頻流的所述第一視頻層中的所述被攝體，使得所述被攝體的面部的寬度被縮放為等于所述輸出視頻流中的預定值。
9.根據權利要求7所述的移動計算裝置，其中所述視頻處理器經耦合以利用色度鍵合成從所述第一攝像機視頻流修整所述背景。
10.根據權利要求7所述的移動計算裝置，其中所述視頻處理器進一步包括: 面部檢測單元，其耦合到所述第一攝像機以接收所述第一攝像機視頻流，其中所述面部檢測單元經耦合以確定所述第一攝像機視頻流中的所述被攝體的面部的位置； 面部邊緣檢測單元，其耦合到所述面部檢測單元，其中所述面部邊緣檢測單元經耦合以檢測所述第一攝像機視頻流中的所述被攝體的所述面部的邊緣； 被攝體識別單元，其耦合到所述面部邊緣檢測單元，其中所述被攝體識別單元經耦合以識別所述第一攝像機視頻流中的所述被攝體的身體；及 背景修整單元，其耦合到所述被攝體識別單元，其中所述背景修整單元經耦合以從所述第一攝像機視頻流修整所述背景以在所述輸出視頻流的所述第一視頻層中僅僅留下所述被攝體的所述面部及所述身體。
11.根據權利要求1所述的移動計算裝置，其中包含所述第一視頻層、所述第二視頻層及第三視頻層的所述輸出視頻流經耦合以上載到服務器。
12.根據權利要求11所述的移動計算裝置，其中所述輸出視頻流經耦合而由所述服務器廣播到多個接收器。
13.根據權利要求11所述的移動計算裝置，其中所述輸出視頻流經耦合以通過包含W1-Fi網絡、移動寬帶網絡及電話網絡中的至少一者的因特網無線網絡上載到所述服務器。
14.根據權利要求12所述的移動計算裝置，其中所述移動計算裝置經耦合以將所述輸出視頻流實時地上載到所述服務器，且其中所述服務器經耦合以使用有線因特網網絡及無線因特網網絡中的至少一者將所述輸出視頻流實時地廣播到所述多個接收器。
15.根據權利要求14所述的移動計算裝置，其中所述輸出視頻流從所述移動計算裝置到所述服務器的所述實時上載及其中所述輸出視頻流從所述服務器到所述多個接收器的所述實時廣播包含由因特網業(yè)務導致的延遲。
16.根據權利要求1所述的移動計算裝置，其中所述移動計算裝置為移動電話、智能電話或平板計算機中的一者。
17.一種網絡，其包括: 服務器； 第一移動計算裝置，其連接到所述服務器，所述第一移動計算裝置包含在所述第一移動計算裝置的第一側上的經耦合以產生第一攝像機視頻流的第一攝像機；
立體攝像機，其連接到所述服務器，所述立體攝像機包含經耦合以產生第二攝像機視頻流的第二攝像機，且所述立體攝像機進一步包含經耦合以產生第三攝像機視頻流的第三攝像機； 視頻處理器，其包含于所述第一移動計算裝置中，其中所述視頻處理器經耦合以接收所述第一攝像機視頻流以產生輸出視頻流的第一視頻層，且其中所述視頻處理器經耦合以接收所述第二攝像機視頻流及所述第三攝像機視頻流以從所述第二攝像機視頻流產生所述輸出視頻流的第二視頻層及第三視頻層，其中所述視頻處理器經耦合以在所述輸出視頻流中將所述第一視頻層疊加于所述第二視頻層與所述第三視頻層之間，且其中所述視頻處理器經耦合以將所述輸出視頻流上載到所述服務器；及 多個接收器，其耦合到所述服務器以接收所述輸出視頻流。
18.根據權利要求17所述的網絡，其中所述立體攝像機包含于所述第一移動計算裝置中所述第一移動計算裝置的第二側上。
19.根據權利 要求17所述的網絡，其中所述立體攝像機包含于第二移動計算裝置中，其中所述第二計算裝置經耦合以將所述第二攝像機視頻流及所述第三攝像機視頻流上載到所述服務器，且其中所述第一移動計算裝置的所述視頻處理器經耦合以從所述服務器接收所述第二攝像機視頻流及所述第三攝像機視頻流。
20.根據權利要求19所述的網絡，其中所述第二移動計算裝置為移動電話、智能電話或平板計算機中的一者。
21.根據權利要求17所述的網絡，其中所述視頻處理器經耦合以響應于所述第二攝像機視頻流及所述第三攝像機視頻流而從所述第二攝像機視頻流產生所述輸出視頻流的所述第二視頻層及所述第三視頻層，使得所述輸出視頻流的所述第三視頻層中的第三對象比所述輸出視頻流的所述第二視頻層中的第二對象更遠離所述立體攝像機。
22.根據權利要求21所述的網絡，其中所述視頻處理器經耦合以將所述輸出視頻流的所述第一視頻層中的第一對象疊加于所述輸出視頻流的所述第二視頻層與所述第三視頻層之間，其中所述視頻處理器經耦合以將所述第一視頻層中的所述第一對象縮放為比所述第二視頻層中的所述第二對象更遠離所述立體攝像機，且其中所述第一視頻層中的所述第一對象經耦合而由所述視頻處理器縮放為比所述輸出視頻流的所述第三視頻層中的所述第三對象更靠近所述立體攝像機。
23.根據權利要求22所述的網絡，其中所述輸出視頻流的所述第二視頻層中的所述第二對象遮擋所述輸出視頻流的所述第一視頻層中的所述第一對象，且其中所述輸出視頻流的所述第一視頻層中的所述第一對象遮擋所述輸出視頻流的所述第三視頻層中的所述第三對象。
24.根據權利要求21所述的網絡，其中所述視頻處理器進一步經耦合以在所述第二及第三攝像機視頻流中識別所述第二對象且基于所述第二對象在所述第二與第三攝像機視頻流之間的視差而確定所述第二對象距所述立體攝像機的距離，其中所述視頻處理器進一步經耦合以在所述第二及第三攝像機視頻流中識別所述第三對象且基于所述第三對象在所述第二與第三攝像機視頻流之間的視差而確定所述第三對象距所述立體攝像機的距離，其中所述第二對象距所述立體攝像機的所述距離小于所述第三對象距所述立體攝像機的所述距離。
25.根據權利要求22所述的網絡，其中所述視頻處理器進一步經耦合以將在所述第二及第三攝像機視頻流中識別的比距所述立體攝像機的中視頻層距離更靠近所述立體攝像機的任何對象疊加于所述第二視頻層中，其中所述視頻處理器進一步經耦合以將在所述第二及第三攝像機視頻流中識別的比所述中視頻層距離更遠離所述立體攝像機的任何對象疊加于所述第三視頻層中，且其中所述視頻處理器進一步經耦合以在所述輸出視頻流的所述第一視頻層中將所述第一對象疊加為在距所述立體攝像機的所述中視頻層距離處。
26.根據權利要求17所述的網絡，其中所述視頻處理器進一步經耦合以從所述第一攝像機視頻流修整背景以在所述輸出視頻流中僅僅將被攝體疊加于所述第二視頻層與所述第三視頻層之間的所述第一視頻層中，其中所述被攝體為所述第一移動計算裝置的用戶。
27.根據權利要求26所述的網絡，其中所述視頻處理器進一步經耦合以縮放所述輸出視頻流的所述第一視頻層中的所述被攝體，使得所述被攝體的面部的寬度被縮放為等于所述輸出視頻流中的預定值。
28.根據權利要求26所述的網絡，其中所述視頻處理器經耦合以利用色度鍵合成從所述第一攝像機視頻流修整所述背景。
29.根據權利要求26所述的網絡，其中所述視頻處理器進一步包括: 面部檢測單元，其耦合到所述第一攝像機以接收所述第一攝像機視頻流，其中所述面部檢測單元經耦合以確定所述第一攝像機視頻流中的所述被攝體的面部的位置； 面部邊緣檢測單元，其耦合到所述面部檢測單元，其中所述面部邊緣檢測單元經耦合以檢測所述第一攝像機視頻流中的所述被攝體的所述面部的邊緣； 被攝體識別單元，其耦合到所述面部邊緣檢測單元，其中所述被攝體識別單元經耦合以識別所述第一攝像機視頻流中的所述被攝體的身體；及 背景修整單元，其耦合到所述被攝體識別單元，其中所述背景修整單元經耦合以從所述第一攝像機視頻流修整所述背景以在所述輸出視頻流的所述第一視頻層中僅僅留下所述被攝體的所述面部及所述身體。
30.根據權利要求17所述的網絡，其中所述第一移動計算裝置為移動電話、智能電話或平板計算機中的一者。
31.一種用于將三個視頻層疊加于輸出視頻流中的方法，其包括: 在從立體攝像機接收的第二及第三攝像機視頻流中識別對象； 確定所述立體攝像機與在所述第二及第三攝像機視頻流中識別的所述對象中的每一者之間的相應距離； 將在所述第二及第三攝像機視頻流中識別的小于距所述立體攝像機的中視頻層距離的任何對象放置于第二視頻層中； 將在所述第二及第三攝像機視頻流中識別的大于距所述立體攝像機的所述中視頻層距離的任何對象放置于第三視頻層中； 在從第一攝像機接收的第一攝像機視頻流中識別被攝體； 從所述第一攝像機視頻流修整背景以在所述第一攝像機視頻流中僅僅留下所述經識別被攝體； 僅僅將所述經識別被攝體放置于第一視頻層中；及 在所述輸出視頻流中將所述第一視頻層疊加于所述第二與第三視頻層之間。
32.根據權利要求31所述的方法，其進一步包括:在所述第一攝像機視頻流中檢測所述經識別被攝體的面部； 在所述第一攝像機視頻流中識別所述經識別被攝體的身體，其中從所述第一攝像機視頻流修整所述背景以在所述第一視頻層中僅僅留下所述經識別被攝體的所述面部及所述身體。
33.根據權利要求32所述的方法，其進一步包括在所述第一視頻層中將所述經識別被攝體縮放為在距所述立體攝像機的所述中視頻層距離處，使得所述經識別被攝體的所述面部的寬度被縮放為等于所述輸出視頻流中的預定值。
34.根據權利要求31所述的方法，其中在所述第一攝像機視頻流上識別所述被攝體包括在所述第一攝像機視頻流中利用色度鍵合成。
35.根據權利要求31所述的方法，其中在所述輸出視頻流中將所述第一視頻層疊加于所述第二與第三視頻層之間包括: 用所述第二視頻層中的在所述第二及第三攝像機視頻流中識別的小于距所述立體攝像機的所述中視頻層距離的所述任何對象遮擋所述第一視頻層中的所述經識別被攝體；及 用所述第一視頻層中的所述經識別被攝體遮擋所述第三視頻層中的在所述第二及第三攝像機視頻流中識別的大于距所述立體攝像機的所述中視頻層距離的所述任何對象。
36.根據權利要求31所述的方法，其中所述第一攝像機在第一移動計算裝置上。
37.根據權利要求31所述的方法，其中所述立體攝像機在第二移動計算裝置上。
【文檔編號】H04N5/262GK103916604SQ201310405499
【公開日】2014年7月9日 申請日期:2013年9月9日 優(yōu)先權日:2013年1月4日
【發(fā)明者】古安諾·喬治·曹, 單繼璋, 潘輝, 陳家旺 申請人:全視科技有限公司