專利名稱：通信終端和信息系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明實施例涉及移動通信領(lǐng)域，尤其是一種通信終端和通信系統(tǒng)。
背景技術(shù)：
二維的圖像或視頻是二維信息載體，只能表現(xiàn)出景物的內(nèi)容而無法表現(xiàn)物體的遠近、位置等深度信息，是不完整的。
立體(Three-Dimensional, 3D )視頻是基于人的雙目視差原理，通過攝像機獲取同一場景但略有差異的兩幅圖像，分別對左眼和右眼進行顯示，形成雙目視差，從而獲得場景深度信息并體驗到立體感。立體圖像一般有兩種常用的形式，即由分別針對左右眼的左右圖像對構(gòu)成的立體圖像，或者是由一幅二維圖像以及與該二維圖像對應(yīng)的深度圖構(gòu)成立體圖像。因此立體視頻技術(shù)可以提供符合立體視覺原理的深度信息，從而能夠更加真實地重現(xiàn)客觀世界景象，表現(xiàn)出場景的縱深感、層次感和真實性，隨著時代的發(fā)展，立體圖像/立體視頻技術(shù)也顯得越來越重要。
立體圖像/視頻技術(shù)廣泛應(yīng)用在立體電影、電視，立體視頻會議，虛擬現(xiàn)實系統(tǒng)，遠程工業(yè)控制，機器人導(dǎo)航和遠程醫(yī)療等諸多場合。
在曰常生活中，同樣需要立體圖像/視頻技術(shù)。例如旅游時遇到的美麗景色，希望通過發(fā)送立體短信，讓其他用戶也可以顯示當(dāng)前的立體景色；再例如進行立體視頻通話或發(fā)送立體圖像/視頻信息，則通話雙方在聽到對方聲音的同時，還可以感知對方的立體場景。
現(xiàn)有的三維圖像通信終端包括 一個三維圖像輸入模塊，具有多個攝像頭用于捕獲立體物體圖像； 一個三維圖像顯示模塊，用于顯示三維圖像信息；一個通信模塊，用于至少傳輸由三維圖像輸入模塊獲得的三維圖像信息；三維圖像顯示模塊由集成成像類型的水平/垂直視差顯示設(shè)備組成，攝像機被排列為至少呈上/下，左/右方位分布，在三維圖像顯示設(shè)備的附近。
因此現(xiàn)有的三維通信終端必須采用多個攝像頭才能完成三維圖像信息的輸入，因此結(jié)構(gòu)復(fù)雜，并且無法將三維圖像/視頻信息進行存儲。

發(fā)明內(nèi)容
本發(fā)明實施例提供一種通信終端和通信系統(tǒng)，利用簡單的結(jié)構(gòu)實現(xiàn)立體圖像/視頻的采集、現(xiàn)實和傳輸。
本發(fā)明實施例提供一種通信系統(tǒng)，利用簡單的結(jié)構(gòu)圖像/視頻信息的傳輸。
本發(fā)明實施例提供了一種通信終端，包括
一個圖像/視頻采集生成模塊，用于采集和生成立體圖像/視頻數(shù)據(jù)；
通信模塊，用于發(fā)送圖像/視頻和生成的所述立體圖像/視頻數(shù)據(jù)，或者接收圖像/視頻和立體圖像/視頻數(shù)據(jù)；
圖像/視頻顯示模塊，用于根據(jù)采集的圖像/視頻，或者接收到的和生成的立體圖像/視頻數(shù)據(jù)顯示出立體圖像/視頻。
本發(fā)明實施例提供了一種信息系統(tǒng)，包括立體圖像/視頻信息中心，該立體圖像/視頻信息中心包括
立體圖像/視頻信息中繼，用于與通信終端進行交互；
立體圖像/視頻信息服務(wù)器，用于存儲立體圖像/視頻信息，以及立體圖像/視頻信息和短信息的轉(zhuǎn)換。
本發(fā)明實施例通信終端可以利用圖像/視頻采集生成模塊釆集和生成立體圖像/視頻數(shù)據(jù)，然后由通信模塊圖像/視頻和生成的所述立體圖像/視頻數(shù)據(jù)，或者接收圖像/視頻和立體圖像/視頻數(shù)據(jù)，在圖像/視頻顯示模塊進行顯示，所以結(jié)構(gòu)簡單效果好。本發(fā)明實施例的通信系統(tǒng)可進行立體圖像/視頻信息的通信，讓通話雙方在聽到對方聲音的同時，還可以感知對方場景的深度信息，獲得一種身臨其境的通話效果，使得通話雙方感覺更親切且更真實。


圖1為本發(fā)明通信終端實施例的結(jié)構(gòu)示意圖2為本發(fā)明通信終端實施例利用一個平面圖像/視頻攝像機，針對相同場景進行兩次拍攝的示意圖3為本發(fā)明通信終端實施例的掃描線平行對齊的兩幅圖像；
圖4為本發(fā)明通信終端實施例采用二維轉(zhuǎn)三維圖像序列處理方法的示意
圖5為本發(fā)明通信終端實施例圖像/視頻采集模塊采集圖像的示意圖；圖6為本發(fā)明通信終端實施例的圖像/視頻生成模塊進行處理的示意圖；圖7為本發(fā)明通信終端實施例目標(biāo)點深度與攝像機之間的幾何關(guān)系示意
圖8為本發(fā)明通信終端另一實施例的結(jié)構(gòu)示意圖；圖9為本發(fā)明通信終端另一實施例的通信模塊采用分層編碼的方式編碼的示意圖10為本發(fā)明通信終端再一實施例的結(jié)構(gòu)示意圖；圖11為本發(fā)明通信系統(tǒng)實施例的結(jié)構(gòu)示意圖。
具體實施例方式
下面通過附圖和實施例，對本發(fā)明實施例的技術(shù)方案做進一步的詳細描述。
如圖1所示，為本發(fā)明通信終端實施例的結(jié)構(gòu)示意圖，該通信終端包括一個圖像/視頻采集生成模塊l，用于采集和生成立體圖像/視頻數(shù)據(jù)；通信模塊2,用于發(fā)送圖像/視頻和生成的所述立體圖像/視頻數(shù)據(jù)，或者接收圖像/
視頻和立體圖像/視頻數(shù)據(jù)；圖像/視頻顯示模塊3，用于根據(jù)采集的圖像/視頻，或者接收到的和生成的立體圖像/視頻數(shù)據(jù)顯示出立體圖像/視頻。
進一步的，再如圖1所示，圖像/視頻采集生成模塊包括圖像/視頻采集模塊ll，用于采集圖像/視頻；圖像/視頻生成模塊12，用于將采集到的圖像/視頻生成立體圖像/視頻數(shù)據(jù)。
圖像/視頻采集模塊用來進行圖像/視頻的采集，可以是單個的立體圖像/視頻攝像機也可以是一個平面圖像/視頻攝像機或者多個(例如兩個)平面圖像/視頻攝像機。
平面圖像/視頻攝像機只能采集平面的圖像/視頻，因此需要圖像/視頻生成模塊將采集到的平面圖像/視頻處理成立體圖像/視頻數(shù)據(jù)，處理方式有很多種。
第一，圖像/視頻采集模塊為一個單獨的平面圖像/視頻攝像機，可以通過從不同角度采集同 一場景的兩幅圖像，然后由圖像/視頻生成模塊進行立體匹配獲取三維圖像/^f見頻。
生成模塊可以根據(jù)采集到的不同角度的圖像進行對齊預(yù)處理，從而生成立體圖像/視頻數(shù)據(jù)；或者生成模塊根據(jù)采集到的不同角度的圖像進行對齊預(yù)處理，對對齊后的兩幅圖像進行立體匹配，得到深度信息，并根據(jù)其中的一幅圖像和深度信息重構(gòu)生成立體圖像/視頻數(shù)據(jù)。如圖2所示，為本發(fā)明實施例通信終端，利用一個平面圖像/視頻攝像機針對相同場景進行兩次拍攝的示意圖，圖中實線所示的位置為攝像機采集第一幅圖像/視頻的位置，然后平移距離B，圖中虛線所示的位置為將攝像機平移后采集第二幅圖像/視頻的位置，當(dāng)兩次所采集的圖像中的場景內(nèi)容沒有變化或變化很緩慢時，則可以近似獲得由雙目攝像機或立體攝像機一次拍攝的效果，圖中f為焦距，Z為場景點到光心平面的距離，d為圖像對中相對應(yīng)的成像點變換到同 一平面的距離，B為攝像機采集兩個圖像的位置的光心間距。針對攝像頭從不同位置獲取的兩幅圖像，圖像/視頻生成模塊可以釆用各種預(yù)處理方法進行 預(yù)處理，如可以采用快速極線調(diào)整的方法或其它方法進行預(yù)處理和掃描線 對齊，從而消除在通信終端后攝像頭方位變化給后續(xù)立體匹配帶來的影響。 當(dāng)圖像/視頻生成模塊對在兩個不同位置針對相同場景的拍攝的圖像進 行上述的預(yù)處理后，可以得到如圖3所示的本發(fā)明通信終端實施例的掃描線平
行對齊的兩幅圖像，M點在左右兩幅圖像中成像點分別是m,和nv,利用偏振約 束可以按照如下方式進行深度求解
<formula>formula see original document page 9</formula>
其中，w)表示圖像在同 一坐標(biāo)系的視差，對攝像機拍攝的兩幅圖像進 行立體匹配，在獲得場景中同一目標(biāo)在兩幅圖像中的視差后，可根據(jù)式l中視 差與深度之間的關(guān)系獲得場景中目標(biāo)的深度信息，從而得到立體圖像/視頻數(shù) 據(jù)。
第二，圖像/視頻采集模塊為一個單獨的平面圖像/視頻攝像機，然后利 用采集到的平面圖像，圖像/視頻生成模塊基于平面二維圖像獲取三維圖像需 要確定場景中目標(biāo)的深度信息，即需要創(chuàng)建深度圖，通過對圖像中目標(biāo)的辨 別和理解，獲得相對的深度關(guān)系，從而創(chuàng)建深度圖，得到立體圖像/視頻數(shù)據(jù)，
該方法用于處理針對小屏幕僅需稀疏深度信息的立體圖像時，非常方便；
第三，圖像/視頻采集模塊為一個單獨的平面圖像/視頻攝像機，當(dāng)需要 處理連續(xù)的圖像幀時，圖像/視頻生成模塊可以采用二維轉(zhuǎn)三維圖像序列處理 方法，將場景中的目標(biāo)劃分為前景和背景，并設(shè)置不同的深度信息，利用設(shè) 置的深度信息和所述圖像/視頻，生成立體圖像/視頻數(shù)據(jù)。如圖4所示的本發(fā) 明通信終端實施例采用二維轉(zhuǎn)三維圖像序列處理方法的示意圖，圖像/視頻生 成模塊根據(jù)采集到的圖像系列中點的深度數(shù)據(jù)；利用深度數(shù)據(jù)和一個分類器
9確定深度特性作為圖像特征和相關(guān)位置的函數(shù)；利用圖像特征創(chuàng)建圖像序列
至少某一幀的深度圖，由此得到立體圖像/視頻數(shù)據(jù)。
第三，圖像/視頻采集模塊為一個單獨的平面圖像/視頻攝像機，圖像/視
頻生成模塊可以包括采樣圖像獲取子模塊，用于采集當(dāng)前圖像和前一幀圖 像；
運動檢測子模塊，用于通過對當(dāng)前圖像和前一幀圖像的相關(guān)性像素比較 檢測運動像素和靜止像素；區(qū)域分割子模塊，用于將當(dāng)前圖像分割為小的搜 索區(qū)域，根據(jù)運動檢測的結(jié)果對每個區(qū)域的運動像素生成表示值；深度圖生 成子模塊，用于檢測構(gòu)成運動物體區(qū)域的運動像素組，給每個運動像素組設(shè) 置權(quán)值，生成和原圖像同樣大小的深度圖；視差處理子模塊，用于生成左/ 右眼圖像生成立體圖像/視頻數(shù)據(jù)。
第四，圖像/視頻采集模塊為兩個平面圖像/視頻攝像機，如圖5所示， 為本發(fā)明通信終端實施例圖像/視頻釆集模塊釆集圖像的示意圖，可以同時采 集從不同方位拍攝的相同場景內(nèi)容的兩幅圖像。如圖6所示，為本發(fā)明通信 終端實施例的圖像/視頻生成模塊進行處理的示意圖，場景中目標(biāo)點M在兩幅 圖像中的對應(yīng)成像點分別為mL和m 基于雙目立體匹配可獲得對應(yīng)成像點nii
和nv之間坐標(biāo)差值，即雙目視差《—再如圖7所示，為本發(fā)明通信終端 實施例目標(biāo)點深度與攝像機之間的幾何關(guān)系示意圖，圖中目標(biāo)點深度與攝像 機之間的幾何關(guān)系，可以按照公式2求得目標(biāo)點的深度Z，式中，f為焦距， Z為場景點到光心平面的距離，d為兩幅圖像對中的成像點的距離，B為兩個 攝像機位置的光心間距，由此圖像/視頻生成模塊生成立體圖像/視頻數(shù)據(jù)。
<formula>formula see original document page 10</formula>(式2 )
圖像/視頻采集模塊也可以采用立體圖像/視頻攝像機，立體圖像/視頻攝 像機有兩種結(jié)構(gòu)，即由和由 一 個平面攝像機加 一 個深度傳感器組成的立體攝像機，當(dāng)采用不同的立體圖像/視頻攝像機時，圖像/視頻生成模塊的處理也 不相同。
第 一 ，當(dāng)圖像/視頻采集模塊為分開一定距離的兩個鏡頭組成的雙目立體 攝像機時，兩個鏡頭可以同時采集一個場景的兩幅不同的圖像，相當(dāng)于人的 左右眼圖像，與采用兩個平面攝像機的圖像/視頻采集模塊類似，其圖像/視
頻生成模塊的后續(xù)處理，也可以通過立體匹配確定場景中目標(biāo)的深度信息； 當(dāng)進行圖像采集時，可以對兩個圖像視頻序列中的圖像對進行匹配，獲取每 一幀圖像所對應(yīng)的深度信息，從而獲取立體圖像/視頻數(shù)據(jù)。
第二，當(dāng)圖像/視頻采集模塊為一個平面攝像機加一個深度傳感器組成的 立體攝像機時，平面攝像機可以和采集，而深度傳感器可以獲得該二維圖像 中目標(biāo)的，圖像/視頻生成模塊根據(jù)圖像的二維信息和深度信息生成立體圖像 /視頻數(shù)據(jù)。
因此本發(fā)明實施例一的通信終端，可以利用圖像/視頻采集生成模塊采集 和生成立體圖像/視頻數(shù)據(jù)，然后由通信模塊發(fā)送該生成的立體圖像/視頻數(shù) 據(jù)，或者接收其他立體圖像/視頻數(shù)據(jù)在圖像/視頻顯示模塊進行顯示，所以 結(jié)構(gòu)簡單，效果好，并且可以使通話雙發(fā)在聽到對方聲音的同時，還可以感 知對方場景的深度信息，獲得一種身臨其境的通話效果，使得通話雙方感覺 更親切且更真實，因此可以獲得更好的用戶體驗。
如圖8所示，為本發(fā)明通信終端另一實施例的結(jié)構(gòu)示意圖，本實施例與 實施例一不同之處在于增加了存儲模塊4，可以用于存儲生成和接收到的立體 圖像/視頻數(shù)據(jù)和/或通話信息。
進一步的，通信模塊2可以包括編碼子模塊21，用于將采集或者存儲的 圖像/視頻數(shù)據(jù)編碼；通信子模塊20,用于接收和發(fā)送經(jīng)過編碼或者未經(jīng)編碼 的圖像/視頻數(shù)據(jù)；解碼子模塊22,用于將接收到的經(jīng)過編碼的圖像/視頻數(shù) 據(jù)進行解碼。通信模塊2發(fā)送和接收三維立體圖像/視頻數(shù)據(jù)，包括但是不限 于傳輸三維圖像，還可以對聲音等其它數(shù)據(jù)進行傳輸；通信的方式可采用有線或者無線連接和傳輸；三維圖像/視頻數(shù)據(jù)的傳送可以采用多種方式，如分
別編碼傳送兩個獨立的圖像或視頻流，提取深度后編碼傳輸參考圖像和深度 信息，以及傳輸參考圖像和各種預(yù)測估計等。
通信模塊2可以將從圖像/視頻采集模塊11采集的圖像或從存儲模塊4 讀取的立體圖像/視頻數(shù)據(jù)進行傳輸。傳輸內(nèi)容可以為編碼和未編碼的立體圖
像/視頻數(shù)據(jù)。
如果圖像/視頻采集模塊11是由雙個平面圖像/視頻攝像機組成的，通信 模塊2的編碼子模塊21對采集的兩個圖像流可以分別單獨編碼傳輸，也可以 基于所獲取的深度信息和原始圖像對編碼傳輸。如圖9所示，為本發(fā)明通信 終端另 一實施例的通信模塊采用分層編碼的方式編碼的示意圖，基本層編碼 傳輸從原始圖像對中選擇的參考視圖(圖中選擇左視圖)，將深度信息編碼 放入增強層，其中基本層采用標(biāo)準(zhǔn)的混合編碼方法編碼，增強層基于基本層 對應(yīng)幀進行預(yù)測編碼，同時使用層內(nèi)幀間預(yù)測編碼。采用此編碼方案，在接 收端可以根據(jù)需要，僅解碼基本層編碼內(nèi)容用于兼容傳統(tǒng)二維顯示，或同時 解碼基本層和增強層編碼內(nèi)容用于立體顯示。
通信模塊2除了進行圖像編碼傳輸外，還可以接收網(wǎng)絡(luò)發(fā)送的立體圖像/ 視頻數(shù)據(jù)和其它信息，接收的立體圖像/視頻信息經(jīng)過解碼子模塊32解碼后 放入立體顯示模塊進行立體顯示，也可以將接收的數(shù)據(jù)放入存儲模塊4進行 存儲。
對于圖像/視頻顯示模塊3可以是能夠進行三維立體顯示的所有設(shè)備，例 如自動立體顯示設(shè)備，立體眼鏡和全息顯示設(shè)備等。圖像/視頻顯示模塊3完 成立體圖像/視頻的顯示，顯示的圖像/視頻內(nèi)容可以為圖像/視頻采集模塊11 采集的圖像/視頻，也可以是通過網(wǎng)絡(luò)接收到的內(nèi)容，還可以是從存儲模塊4 中讀取的內(nèi)容等。
此外，若圖像/視頻顯示模塊3可以兼容顯示二維圖像信息，則可以實現(xiàn) 三維圖像通信終端與傳統(tǒng)二維圖像通信設(shè)備的兼容通信，便于通信終端從二維平面通信向三維立體通信的順利過渡。
當(dāng)進行立體視頻通信時，可以將圖像/視頻采集模塊11采集的圖像/視頻
通過通信模塊2發(fā)送；或者將圖像/視頻生成模塊12生成的立體圖像/視頻數(shù) 據(jù)發(fā)送；也可以將存儲模塊4中存儲的圖像/視頻和立體圖像/視頻數(shù)據(jù)發(fā)送； 同時通信模塊接收對端發(fā)送的像/視頻或立體圖像/視頻數(shù)據(jù)，由圖像/視頻顯 示模塊3進行三維立體顯示。
因此本發(fā)明實施例二的通信終端，可以利用存儲模塊，將圖像/視頻采集 生成模塊采集到的圖像/視頻，以及生成的立體圖像/視頻數(shù)據(jù)進行存儲，從 而便于發(fā)送。效果更好。
如圖10所示，為本發(fā)明通信終端再一實施例的結(jié)構(gòu)示意圖，本實施例與 上一實施例相比增加了立體信息生成模塊5,用于根據(jù)立體圖像/視頻數(shù)據(jù)生 成立體圖像/視頻信息，并存儲在存儲模塊4中；應(yīng)答模塊6，用于通過通信 模塊2自動向?qū)Χ税l(fā)送立體圖像/視頻信息。
立體信息生成模塊5可以根據(jù)圖像/視頻生成模塊12生成的立體圖像/視 頻數(shù)據(jù)，或者存儲模塊4存儲的立體圖像/視頻數(shù)據(jù)生成立體圖像/視頻信息， 這些立體圖像/視頻信息可以直接由通信模塊2發(fā)送；也可以存儲到存儲模塊 4中，后續(xù)調(diào)取存儲模塊4中存儲的立體圖像/視頻信息進行發(fā)送。當(dāng)利用通 信終端利用立體圖像/視頻信息進行溝通時，即可以利同通信模塊2發(fā)送立體 圖像/視頻信息，也可以接收立體圖像/視頻信息，由圖像/視頻顯示模塊3進 4亍顯示。
而應(yīng)答模塊6實現(xiàn)自動應(yīng)答方式如下首先可以利用圖像/視頻采集模塊 11采集圖像/視頻，或者利用圖像/視頻生成模塊12生成立體圖像/視頻數(shù)據(jù) 存儲在存儲模塊4中作為應(yīng)答內(nèi)容，(可以為針對不同呼叫用戶使用相同或 者不同的應(yīng)答內(nèi)容)，當(dāng)其它用戶呼叫時，本地通信終端無應(yīng)答時，應(yīng)答模 塊6讀取自動答錄的設(shè)置，當(dāng)設(shè)置為不處理時，則不進行任何處理；否則自 動接聽呼叫，判斷呼叫用戶，并根據(jù)不同的用戶從存儲才莫塊4中讀取預(yù)先設(shè)
13置的相應(yīng)應(yīng)答內(nèi)容，播放給呼叫用戶，同時錄制呼叫用戶的應(yīng)答留言存入存 儲模塊4中。
因此本發(fā)明實施例三的通信終端，可以利用立體信息生成模塊生成立體
圖像/視頻信息，并存儲在存儲模塊中；利用應(yīng)答模塊通過通信模塊自動向?qū)?端發(fā)送立體圖像/視頻信息，所以可以生成和發(fā)送立體圖像/視頻信息，因此 功能更加豐富，效果更佳。
如圖ll所示，為本發(fā)明通信系統(tǒng)實施例的結(jié)構(gòu)示意圖，該通信系統(tǒng)包括 立體圖像/視頻信息中心91,該立體圖像/視頻信息中心91包括立體圖像/視 頻信息中繼911，用于與通信終端90進行交互；立體圖像/視頻信息服務(wù)器 912,用于存儲立體圖像/視頻信息和立體圖像/視頻信息和短信息的轉(zhuǎn)換。進 一步的，再如圖11所示，該通信系統(tǒng)還包括電子郵件(Email)服務(wù)器92, 用于提供電子郵件服務(wù)。
通信終端90就是上述所述的可以支持立體圖像/視頻信息的通信終端， 可以實現(xiàn)立體圖像/視頻信息的生成、管理、發(fā)送和接收，通過通信網(wǎng)絡(luò)與立 體圖像/視頻信息中心連接，可以為有線或者無線連接。立體圖像/視頻信息 中繼911是本信息系統(tǒng)的核心組成部分，主要實現(xiàn)與通信終端90的交互。立 體圖像/視頻信息服務(wù)器912是本信息系統(tǒng)的核心組成部分，提供立體圖像/ 視頻信息的存儲，還可以根據(jù)完成相應(yīng)的格式轉(zhuǎn)化，該格式轉(zhuǎn)化可以是從立 體圖像/視頻信息轉(zhuǎn)換到平面圖像/視頻信息，也可以是將立體圖像/視頻信息 的分辨率降低的轉(zhuǎn)化，從而在提高傳輸效率的同時，兼容各種不同終端顯示 能力或短信系統(tǒng)。Email服務(wù)器92可以提供標(biāo)準(zhǔn)的Internet郵件服務(wù)，可以 從通信終端接收立體圖像/視頻信息，也可以向通信終端發(fā)送立體圖像/視頻
j呂息。
本通信系統(tǒng)也可以與其它短信中心交互。
利用支持立體圖像/視頻信息的通信終端與現(xiàn)有的各種通信終端的兼容 通信可以利用以下方式實現(xiàn)1) 發(fā)送方知道對端通信終端的處理能力，發(fā)送有先有短信息系統(tǒng);格式兼
容的短信息，發(fā)送現(xiàn)有短信息；
2) 發(fā)送方通信終端直接發(fā)送立體圖像/視頻信息，由立體圖像/視頻信息
中心根據(jù)接受方通信終端的顯示能力對立體圖像/視頻信息進行格式轉(zhuǎn)換，轉(zhuǎn)
換成與現(xiàn)有系統(tǒng)兼容的格式，實現(xiàn)與現(xiàn)有的短信息通信終端的兼容通信；
3) 發(fā)送方通信終端直接發(fā)送立體圖像/視頻信息，立體圖像/視頻信息中 心發(fā)送簡單通知給現(xiàn)有短信息通信終端的同時發(fā)送立體圖像/視頻信息到 Email郵箱，用戶通過Internet在計算機等其它支持立體短信顯示的設(shè)備上 查看。
基于立體圖像/視頻信息中心的信息格式轉(zhuǎn)化功能，在群發(fā)立體圖像/視 頻信息時，系統(tǒng)可以根據(jù)接受方通信終端的顯示能力將立體圖像/視頻信息轉(zhuǎn) 化成相應(yīng)的格式發(fā)送，可以充分利用網(wǎng)絡(luò)帶寬的前提。同時在接受用戶點播 時也可以根據(jù)接受方通信終端的顯示能力發(fā)送相應(yīng)的點播內(nèi)容。
因此本發(fā)明實施例的通信系統(tǒng)可進行立體圖像/視頻信息的通信，讓通話 雙方在聽到對方聲音的同時，還可以感知對方場景的深度信息，獲得一種身 臨其境的通話效果，使得通話雙方感覺更親切且更真實，可以獲得更好的用 戶體驗。同時還可以實現(xiàn)利用通信終端對立體圖像/視頻信息與現(xiàn)有信息的通 信系統(tǒng)之間的現(xiàn)有信息互發(fā)。
最后所應(yīng)說明的是，以上實施例僅用以說明本發(fā)明實施例的技術(shù)方案而 非限制，盡管參照較佳實施例對本發(fā)明實施例進行了詳細說明，本領(lǐng)域的普 通技術(shù)人員應(yīng)當(dāng)理解，可以對本發(fā)明實施例的技術(shù)方案進行修改或者等同替 換，而不脫離本發(fā)明實施例技術(shù)方案的精神和范圍。
1權(quán)利要求
1、一種通信終端，其特征在于包括一個圖像/視頻采集生成模塊，用于采集和生成立體圖像/視頻數(shù)據(jù)；通信模塊，用于發(fā)送圖像/視頻和生成的所述立體圖像/視頻數(shù)據(jù)，或者接收圖像/視頻和立體圖像/視頻數(shù)據(jù)；圖像/視頻顯示模塊，用于根據(jù)采集的圖像/視頻，或者接收到的和生成的立體圖像/視頻數(shù)據(jù)顯示出立體圖像/視頻。
2、 根據(jù)權(quán)利要求1所述的通信終端，其特征在于所述圖像/視頻采集生 成模塊包括圖像/視頻采集模塊，用于采集圖像/視頻；圖像/視頻生成模塊，用于將采集到的圖像/視頻生成立體圖像/視頻數(shù)據(jù)。
3、 根據(jù)權(quán)利要求2所述的通信終端，其特征在于所述圖像/視頻采集模 塊為平面圖像/視頻攝像機，用來從不同角度采集同一場景的兩幅圖像；所述 圖像/視頻生成模塊根據(jù)采集到的不同角度的圖像生成立體圖像/視頻數(shù)據(jù)。
4、 根據(jù)權(quán)利要求3所述的通信終端，其特征在于所述圖像/視頻生成模 塊根據(jù)采集到的不同角度的圖像生成立體圖像/視頻數(shù)據(jù)，是生成模塊根據(jù)采 集到的不同角度的圖像進行對齊預(yù)處理，從而生成立體圖像/視頻數(shù)據(jù)。
5、 根據(jù)權(quán)利要求3所述的通信終端，其特征在于所述圖像/視頻生成模 塊根據(jù)采集到的不同角度的圖像生成立體圖像/視頻數(shù)據(jù)，是生成模塊根據(jù)采 集到的不同角度的圖像進行對齊預(yù)處理，對對齊后的兩幅圖像進行立體匹配， 得到深度信息，并根據(jù)其中的一幅圖像和深度信息重構(gòu)生成立體圖像/視頻數(shù) 據(jù)。
6、 根據(jù)權(quán)利要求5所述的通信終端，其特征在于所述生成模塊根據(jù)公式.A Z-《(附,，^卜x,-x,^Z(;r,-&) = ^，得到深度信息，從而生成立體圖 、—/ z zX —5像/視頻數(shù)據(jù)，式中f為焦距，Z為場景點到光心平面的距離即深度信息，d 為圖像對中相對應(yīng)的成像點變換到同一平面的距離，B為攝像機采集兩個 圖像的位置的光心間距，m,和mr為同一點在兩幅圖像中的成像點，分 乇—， ;i表示圖像在同 一坐標(biāo)系的視差。
7、 根據(jù)權(quán)利要求2所述的通信終端，其特征在于所述圖像/視頻采集模 塊為平面圖像/視頻攝像機，用來采集圖像/視頻；所述圖像/視頻生成模塊根 據(jù)采集到的圖像，將場景中的目標(biāo)劃分為前景和背景，并設(shè)置不同的深度信 息，利用設(shè)置的深度信息和所述圖像/視頻，生成立體圖像/視頻數(shù)據(jù)。
8、 根據(jù)權(quán)利要求2所述的通信終端，其特征在于所述圖像/視頻采集模 塊為平面圖像/視頻攝像機，用來采集圖像/視頻；所述圖像/視頻生成模塊包 括采樣圖像獲取子模塊，用于采集當(dāng)前圖像和前一幀圖像；運動檢測子模塊，用于通過對當(dāng)前圖像和前一幀圖像的相關(guān)性像素比較 檢測運動像素和靜止像素；區(qū)域分割子模塊，用于將當(dāng)前圖像分割為小的搜索區(qū)域，根據(jù)運動檢測 的結(jié)果對每個區(qū)域的運動像素生成表示值；深度圖生成子模塊，用于檢測構(gòu)成運動物體區(qū)域的運動像素組，給每個 運動像素組設(shè)置深度值，生成和原圖同樣大小的深度圖；視差處理子模塊，用于生成立體圖像/視頻數(shù)據(jù)。
9、 根據(jù)權(quán)利要求2所述的通信終端，其特征在于所述圖像/視頻采集模 塊為立體圖像/視頻攝像機。
10、 根據(jù)權(quán)利要求9所述的通信終端，其特征在于所述立體圖像/視頻攝 像機是由兩個平面圖像/視頻攝像頭組成的雙目立體攝像機，用于同時采集兩個不同的圖像/視頻；所述圖像/視頻生成模塊根據(jù)采集到的兩個平面圖像/視 頻序列中的圖像進行匹配，獲取每一個圖像對應(yīng)的深度信息，生成立體圖像/ 視頻數(shù)據(jù)。
11、 根據(jù)權(quán)利要求9所述的通信終端，其特征在于所述立體圖像/視頻攝 像機是由一個平面圖像/視頻攝像頭和一個深度傳感器組成，用于釆集平面圖 像/視頻和深度信息；所述圖像/視頻生成模塊根據(jù)采集到的平面圖像/視頻和 該平面圖像/視頻的深度信息生成立體圖像/視頻數(shù)據(jù)。
12、 根據(jù)權(quán)利要求1所述的通信終端，其特征在于所述通信模塊包括 編碼子模塊，用于將采集或者存儲的圖像/視頻數(shù)據(jù)編碼； 通信子模塊，用于接收和發(fā)送經(jīng)過編碼或者未經(jīng)編碼的圖像/視頻數(shù)據(jù)； 解碼子模塊，用于將接收到的經(jīng)過編碼的圖像/視頻數(shù)據(jù)進行解碼。
13、 根據(jù)權(quán)利要求1-12任一所述的通信終端，其特征在于還包括存儲模 塊，用于存儲生成和接收到的立體圖像/視頻數(shù)據(jù)和/或通話信息。
14、 根據(jù)權(quán)利要求13所述的通信終端，其特征在于還包括立體信息生成 模塊，用于根據(jù)立體圖像/視頻數(shù)據(jù)生成立體圖像/視頻信息，并存儲在存儲 模塊中。
15、 根據(jù)權(quán)利要求16所述的通信終端，其特征在于還包括應(yīng)答模塊，用 于通過通信模塊自動向?qū)Χ税l(fā)送立體圖像/視頻信息。
16、 一種信息系統(tǒng)，其特征在于包括立體圖像/視頻信息中心，該立體圖 像/視頻信息中心包括立體圖像/視頻信息中繼，用于與通信終端進行交互； 立體圖像/視頻信息服務(wù)器，用于存儲立體圖像/視頻信息，以及立體圖 像/視頻信息和短信息的轉(zhuǎn)換。
17、 根據(jù)權(quán)利要求16所述的信息系統(tǒng)，其特征在于還包括電子郵件服務(wù) 器，用于提供電子郵件服務(wù)。
全文摘要
本發(fā)明實施例涉及一種通信終端，包括一個圖像/視頻采集生成模塊，用于采集和生成立體圖像/視頻數(shù)據(jù)；通信模塊，用于發(fā)送圖像/視頻和生成的所述立體圖像/視頻數(shù)據(jù)，或者接收圖像/視頻和立體圖像/視頻數(shù)據(jù)；圖像/視頻顯示模塊，用于根據(jù)采集的圖像/視頻，或者接收到的和生成的立體圖像/視頻數(shù)據(jù)顯示出立體圖像/視頻。本發(fā)明實施例涉及一種信息系統(tǒng)，包括立體圖像/視頻信息中心，該立體圖像/視頻信息中心包括立體圖像/視頻信息中繼，用于與通信終端進行交互；立體圖像/視頻信息服務(wù)器，用于存儲立體圖像/視頻信息和立體圖像/視頻信息和短信息的轉(zhuǎn)換。本發(fā)明實施例通信終端結(jié)構(gòu)簡單效果好，通信系統(tǒng)可進行立體圖像/視頻信息的通信。
文檔編號H04N13/00GK101459857SQ200710179059
公開日2009年6月17日 申請日期2007年12月10日 優(yōu)先權(quán)日2007年12月10日
發(fā)明者源 劉, 平 方, 凱 李, 靜 王 申請人:深圳華為通信技術(shù)有限公司