一種呈現(xiàn)多媒體信息的方法及裝置的制造方法
【專利摘要】本發(fā)明公開了一種呈現(xiàn)多媒體信息的方法和裝置：接收用于表征表象信息的四維時空模型，所述四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的所述表象信息的屬性；對所述四維時空模型進(jìn)行解碼處理，得到解碼的四維時空模型；根據(jù)所述解碼的四維時空模型，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)，在該方案中，四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的表象信息的屬性，這樣，在一定程度上解決了呈現(xiàn)的表象信息存在時延的問題，因此，本方案在一定程度上解決了現(xiàn)有技術(shù)中存在的具有時延的缺陷。
【專利說明】
一種呈現(xiàn)多媒體信息的方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種呈現(xiàn)多媒體信息的方法及裝置。
【背景技術(shù)】
[0002]隨著通信技術(shù)的發(fā)展，人們對通信已經(jīng)由最初的單一語音需求轉(zhuǎn)變?yōu)閷σ曨l和音頻的通信需求，因此，以傳送語音、數(shù)據(jù)、視頻為一體的視頻通信業(yè)務(wù)在通信領(lǐng)域中越來越重要，并在會議電視、遠(yuǎn)程視頻醫(yī)療、遠(yuǎn)程視頻教育等方面應(yīng)用的也越來越廣泛。
[0003]VR(Virtual Reality，虛擬現(xiàn)實)技術(shù)是一種能夠模擬人類視覺、聽覺、觸覺等感知行為的高度逼真的人機(jī)交互技術(shù)，利用該技術(shù)可以使人處于用計算機(jī)生成的環(huán)境中，通過感官語言、手勢可以在其中用自然的方式進(jìn)行“交互、對話”，并自由地運動，隨意觀察周圍的事物，觀到物、聽到聲、感到力，使人具有完全身臨其境之感。
[0004]但是目前將采集的多媒體信息采用VR技術(shù)處理的方法，由于不能處理實時采集的多媒體信息，因此，呈現(xiàn)多媒體信息的時間與多媒體信息所表示的真實場景時間存在時延。
[0005]綜上所述，目前呈現(xiàn)多媒體信息的方法具有存在時延較長的缺陷。

【發(fā)明內(nèi)容】

[0006]鑒于上述問題，提出了本發(fā)明，以便提供一種克服上述問題或者至少部分地解決上述問題的一種呈現(xiàn)多媒體信息的方法和裝置。
[0007]依據(jù)本發(fā)明的第一方面，提供了一種呈現(xiàn)多媒體信息的方法，包括:接收用于表征表象信息的四維時空模型，所述四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的所述表象信息的屬性，所述表象信息包括能夠用肉眼觀察到的和/或能夠用設(shè)備采集到的用于表征物體的電磁場光譜信息;對所述四維時空模型進(jìn)行解碼處理，得到解碼的四維時空模型;根據(jù)所述解碼的四維時空模型，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0008]可選地，在根據(jù)本發(fā)明的上述實施例的呈現(xiàn)多媒體信息的方法中，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)之前，還包括:
[0009]將所述四維時空模型與所述第一時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，所述第一時空模型用于表征呈現(xiàn)多媒體信息所處場所的物體的表象信息；
[0010]將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)，具體包括:
[0011 ]根據(jù)所述目標(biāo)四維時空模型，將所述四維時空模型所表征的表象信息和所述第一時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0012]可選地，在根據(jù)本發(fā)明的上述任一實施例的呈現(xiàn)多媒體信息的方法中，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)之前，所述方法還包括:
[0013]將所述四維時空模型與本端的第一時空模型、第二時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，所述第一時空模型用于表征呈現(xiàn)多媒體信息所處場所的物體的表象信息，所述第二時空模型用于表征虛擬物體的表象信息；
[0014]將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)，具體包括:
[0015]根據(jù)所述目標(biāo)四維時空模型，將所述四維時空模型所表征的表象信息、所述第一時空模型所表征的表象信息和所述第二時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0016]可選地，在根據(jù)本發(fā)明的上述任一實施例的呈現(xiàn)多媒體信息的方法中，所述表象信息還包括能夠用耳朵感覺到的和/或能夠用設(shè)備采集到的聲場信息，所述四維時空模型還用于表征與所述表象信息對應(yīng)的物體的聲場信息；
[0017]所述方法還包括:
[0018]將所述四維時空模型所表征的聲場信息進(jìn)行播放。
[0019]可選地，在根據(jù)本發(fā)明的上述任一實施例的呈現(xiàn)多媒體信息的方法中，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)之前，還包括:
[0020]確定呈現(xiàn)多媒體信息的裝置的正面朝向信息；
[0021 ]將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)，包括:
[0022]根據(jù)所述正面朝向信息，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0023]可選地，在根據(jù)本發(fā)明的上述任一實施例的呈現(xiàn)多媒體信息的方法中，所述方法還包括:
[0024]確定呈現(xiàn)多媒體信息的裝置的正面朝向信息和目標(biāo)多媒體信息；
[0025]將所述正面朝向信息和所述目標(biāo)多媒體信息反饋至發(fā)送四維時空模型的裝置。
[0026]依據(jù)本發(fā)明的第二方面，提供了一種呈現(xiàn)多媒體信息的裝置，包括:接收單元，用于接收用于表征表象信息的四維時空模型，所述四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的所述表象信息的屬性，所述表象信息包括能夠用肉眼觀察到的和/或能夠用設(shè)備采集到的用于表征物體的電磁場光譜信息；四維時空模型處理單元，用于對所述四維時空模型進(jìn)行解碼處理，得到解碼的四維時空模型；呈現(xiàn)單元，用于根據(jù)所述解碼的四維時空模型，將所述四維時空模型所表征的表象信息進(jìn)行播放。
[0027]可選地，在根據(jù)本發(fā)明的上述實施例的呈現(xiàn)多媒體信息的裝置中，所述裝置還包括模型融合單元，用于將所述四維時空模型與所述第一時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，所述第一時空模型用于表征呈現(xiàn)多媒體信息的裝置所處場所的表象信息；
[0028]所述呈現(xiàn)單元在將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)時，具體為:
[0029]根據(jù)所述目標(biāo)四維時空模型，將所述四維時空模型所表征的表象信息和所述第一時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0030]可選地，在根據(jù)本發(fā)明的上述任一實施例的呈現(xiàn)多媒體信息的裝置中，所述裝置還包括模型融合單元，將所述四維時空模型與所述呈現(xiàn)多媒體信息的裝置的第一時空模型、第二時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，所述第一時空模型用于表征呈現(xiàn)多媒體信息的裝置所處場所的物體的表象信息，所述第二時空模型用于表征虛擬物體的表象信息;
[0031]所述呈現(xiàn)單元將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)時，具體為:
[0032]根據(jù)所述目標(biāo)四維時空模型，將所述四維時空模型所表征的表象信息、所述第一時空模型所表征的表象信息和所述第二時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0033]可選地，在根據(jù)本發(fā)明的上述任一實施例的呈現(xiàn)多媒體信息的裝置中，所述表象信息還包括能夠用耳朵感覺到的和/或能夠用設(shè)備采集到的聲場信息，所述四維時空模型還用于表征與所述表象信息對應(yīng)的物體的聲場信息；
[0034]所述裝置還包括播放單元，用于將所述四維時空模型所表征的聲場信息進(jìn)行播放。
[0035]可選地，在根據(jù)本發(fā)明的上述任一實施例的呈現(xiàn)多媒體信息的裝置中，所述裝置還包括處理單元，用于確定呈現(xiàn)多媒體信息的裝置的正面朝向信息；
[0036]所述呈現(xiàn)單元在將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)時，具體為:
[0037]根據(jù)所述正向朝向，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0038]可選地，在根據(jù)本發(fā)明的上述任一實施例的呈現(xiàn)多媒體信息的裝置中，所述裝置還包括處理單元，用于確定持有呈現(xiàn)多媒體信息的裝置的正面朝向信息和目標(biāo)多媒體信息;
[0039]所述裝置還包括反饋單元，用于將所述正面朝向信息和所述目標(biāo)多媒體信息反饋至發(fā)送四維時空模型的裝置。
[0040]本發(fā)明實施例中，提供了一種呈現(xiàn)多媒體信息的方法和裝置:接收用于表征表象信息的四維時空模型，所述四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的所述表象信息的屬性;對所述四維時空模型進(jìn)行解碼處理，得到解碼的四維時空模型;根據(jù)所述解碼的四維時空模型，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)，在該方案中，四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的表象信息的屬性，這樣，在一定程度上解決了呈現(xiàn)的表象信息存在時延的問題，因此，本方案在一定程度上解決了現(xiàn)有技術(shù)中存在的具有時延的缺陷。
[0041]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的【具體實施方式】。
【附圖說明】
[0042]通過閱讀下文優(yōu)選實施方式的詳細(xì)描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認(rèn)為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0043]圖1A是根據(jù)本發(fā)明的實施例的呈現(xiàn)多媒體信息的方法的一種流程示意圖；
[0044]圖1B是根據(jù)本發(fā)明的實施例的呈現(xiàn)多媒體信息的方法的另一種流程示意圖；
[0045]圖2A是根據(jù)本發(fā)明的實施例的呈現(xiàn)多媒體信息的裝置的一種示意圖；
[0046]圖2B是根據(jù)本發(fā)明的實施例的建立四維時空模型的一種流程示意圖；
[0047]圖2C是根據(jù)本發(fā)明的實施例的建立四維時空模型的另一種流程示意圖；
[0048]圖2D是根據(jù)本發(fā)明的實施例的處理多媒體信息的裝置的一種示意圖；
[0049]圖2E是根據(jù)本發(fā)明的實施例的獲取單元的一種示意圖；
[0050]圖2F是根據(jù)本發(fā)明的實施例的獲取單元的另一種示意圖；
[0051 ]圖2G是根據(jù)本發(fā)明的實施例的獲取單元的俯視圖；
[0052]圖2H是根據(jù)本發(fā)明的實施例的獲取單元的側(cè)視圖；
[0053]圖3A是根據(jù)本發(fā)明的實施例所提供的一種場景示意圖；
[0054]圖3B是根據(jù)本發(fā)明的實施例所提供的另一種場景示意圖；
[0055]圖3C是根據(jù)本發(fā)明的實施例所提供的另一種場景示意圖；
[0056]圖3D是根據(jù)本發(fā)明的實施例所提供的另一種場景示意圖；
[0057]圖3E是根據(jù)本發(fā)明的實施例所提供的另一種場景示意圖；
[0058]圖3F是根據(jù)本發(fā)明的實施例所提供的另一種場景示意圖。
【具體實施方式】
[0059]為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明作進(jìn)一步地詳細(xì)描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護(hù)的范圍。
[0060]本發(fā)明所提出的處理多媒體信息的方法和裝置可以應(yīng)用在如下場景中，但是不限于以下場景:
[0061]實時通訊場景:例如，甲把自身以及周圍環(huán)境采集下來實時傳輸給乙，乙在其中漫游以及和甲互動;又例如，甲和乙均把自身以及周圍環(huán)境采集下來實時傳輸給對方，在可選地包括兩人物理上所處的環(huán)境或者任意第三方環(huán)境中漫游以及互動；
[0062]遠(yuǎn)程觀測和監(jiān)控場景；
[0063]工作場景:例如，個人或者多人遠(yuǎn)程辦公、遠(yuǎn)程身臨其境地開會、遠(yuǎn)程身臨其境地合作或者幫助客戶解決問題，或者，身臨其境地培訓(xùn)；
[0064]教育場景:例如，可以身臨其境地在虛擬課堂以及和老師在虛擬環(huán)境中互動；
[0065]醫(yī)療場景:例如，遠(yuǎn)程醫(yī)療以及和醫(yī)生在虛擬環(huán)境中互動；
[0066]商業(yè)場景:例如，遠(yuǎn)程購物以及和商家在虛擬環(huán)境中互動，全方位試衣鏡；
[0067]體育場景:例如，個人或者多人和短跑冠軍在虛擬環(huán)境中比賽短跑；
[0068]娛樂場景:例如，個人或者多人在虛擬空間中的游戲，可身臨其境地參加電視直播或者和電影角色互動；
[0069]個人生活場景:例如，四維日記的記錄和放映，遠(yuǎn)程參觀博物館，遠(yuǎn)程陪伴家人或?qū)櫸铮h(yuǎn)程成人應(yīng)用；
[0070]也可用于應(yīng)用于如下場景:
[0071]虛擬現(xiàn)實或者增強(qiáng)現(xiàn)實內(nèi)容生成的場景:包括電影、電視、游戲、視頻內(nèi)容制作；
[0072]對特定時間空間地點做四維歷史記錄的場景。
[0073]圖1A示出了根據(jù)本發(fā)明的一種呈現(xiàn)多媒體信息的方法的流程示意圖，具體過程如下:
[0074]步驟100:接收用于表征表象信息的四維時空模型，所述四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的所述表象信息的屬性，所述表象信息包括能夠用肉眼觀察到的和/或能夠用設(shè)備采集到的用于表征物體的電磁場光譜信息。
[0075]本發(fā)明實施例中，步驟100中所描述的電磁場光譜信息可以是物體發(fā)射的，也可以是物體反射的，或者也可以是物體折射的，在此不做具體限定。
[0076]本發(fā)明實施例中，步驟100中所描述的電磁場光譜信息可以包括無線電波信息、紅外線信息、可見光信息、紫外線信息、X射線信息，及伽馬射線信息中的至少一種，其中，可見光信息可以包括激光。
[0077]本發(fā)明實施例中，表象信息對應(yīng)的物體可以是室內(nèi)和/或室外的任一視野大小和角度的物體。
[0078]本發(fā)明實施例中，四維時空模型在內(nèi)容上至少包括如下屬性:
[0079]空間位置屬性:可以指任意時刻物體上的每一點在一個不隨時間變化的坐標(biāo)系下的坐標(biāo)；
[0080]外觀屬性:可以指任意時刻物體表面的紋理以及光譜特征(例如，顏色)、物體表面的幾何特性(例如，法向、曲率、光滑度等);
[0081]聲音屬性；
[0082]運動屬性:可以指任意時刻物體上的每一點的運動速度矢量、加速度矢量;或者，也可以指物體上可看作剛體的每一部分的角速度矢量、角加速度矢量；
[0083]其它屬性:可以指物體的類別、身份、材質(zhì)、相互關(guān)系等所有能由表象信息和表象信息隨時間的變化推斷出來的信息中的至少一種。
[0084]形式上，四維時空模型是以數(shù)字化的數(shù)據(jù)形式存在于存儲介質(zhì)中，這種形式能夠被存儲，呈現(xiàn)，檢索，編輯，傳輸，加密，以及被用于更高級的智能應(yīng)用。
[0085]步驟110:對所述四維時空模型進(jìn)行解碼處理，得到解碼的四維時空模型。
[0086]本發(fā)明實施例中，進(jìn)一步的，步驟100中接收到的四維時空模型可能經(jīng)過壓縮處理，此時，還可以將四維時空模型進(jìn)行解壓縮處理。
[0087]進(jìn)一步的，為了提高傳輸?shù)陌踩?，接收到的四維時空模型可能經(jīng)過加密處理，此時，還要將接收到的四維時空模型進(jìn)行解密處理。
[0088]步驟120:根據(jù)所述解碼的四維時空模型，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0089]本發(fā)明實施例中，進(jìn)一步的，還可以將呈現(xiàn)多媒體信息的裝置這一端的場景進(jìn)行呈現(xiàn)，因此，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)之前，還包括如下操作:
[0090]將所述四維時空模型與所述第一時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，所述第一時空模型用于表征呈現(xiàn)多媒體信息所處場所的物體的表象信息；
[0091 ]此時，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)時，可選的，可以采用如下方式:
[0092]根據(jù)所述目標(biāo)四維時空模型，將所述四維時空模型所表征的表象信息和所述第一時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0093]例如，四維時空模型表征的表象信息對應(yīng)的場景為在海邊的場景，第一時空模型所表征的表象信息所對應(yīng)的場景為在辦公桌辦公的場景，在這種情況下，呈現(xiàn)的場景可以為辦公桌前面是海邊的這種融合的場景。
[0094]更進(jìn)一步的，還可以對人體及物體檢測、跟蹤和識別:可將真實物理區(qū)域疊加至虛擬區(qū)域，例如，觀察者戴VR頭盔面對一個草原，現(xiàn)實中他所在房間是有墻壁的，這個時候“基于物體檢測”就可以把真實物理的墻的信息疊加至VR頭盔的草原，呈現(xiàn)出一個草原中的半透明墻;又例如，人手檢測，可將真實的手的手勢檢測出來然后將虛擬的手疊加進(jìn)四維模型中，也就是說，還可以融合一些虛擬的場景，因此，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)之前，所述方法還包括如下操作:
[0095]將所述四維時空模型與本端的第一時空模型、第二時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，所述第一時空模型用于表征呈現(xiàn)多媒體信息的裝置所處場所的表象信息，所述第二時空模型用于表征虛擬物體的表象信息；
[0096]此時，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)時，可選地，可以采用如下方式:
[0097]根據(jù)所述目標(biāo)四維時空模型，將所述四維時空模型所表征的表象信息、所述第一時空模型所表征的表象信息和所述第二時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0098]例如，四維時空模型表征的表象信息對應(yīng)的場景為在海邊的場景，第一時空模型所表征的表象信息所對應(yīng)的場景為在辦公桌辦公的場景，在這種情況下，呈現(xiàn)的場景可以為辦公桌前面是海邊的這種融合的場景，進(jìn)一步的，想在呈現(xiàn)的辦公桌上擺放一盆鮮花，但是實際中辦公桌上是沒有鮮花的，此時，可以用第二時空模型表征鮮花，并將所述四維時空模型與本端的第一時空模型、第二時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，這種情況下呈現(xiàn)的場景可以為辦公桌前面是海邊，且辦公桌上擺放鮮花的這種融合的場景。
[0099]本發(fā)明實施例中，呈現(xiàn)的場景中不僅可以有畫面，還可以有聲音，因此，所述表象信息還包括能夠用耳朵感覺到的和/或能夠用設(shè)備采集到的聲場信息，所述四維時空模型還用于表征與所述表象信息對應(yīng)的物體的聲場信息;此時，所述方法還包括如下操作:
[0100]將所述四維時空模型所表征的聲場信息進(jìn)行播放。
[0101]本發(fā)明實施例中，為了提高呈現(xiàn)的表象信息所對應(yīng)的場景與真實場景的相似度，在呈現(xiàn)四維時空模型所表征的表象信息時，要參考呈現(xiàn)多媒體信息的裝置的正面朝向信息，因此，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)之前，還包括如下操作:
[0102]確定呈現(xiàn)多媒體信息的裝置的正面朝向信息；
[0103]此時，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)時，可選的，可以采用如下方式:
[0104]根據(jù)所述正面朝向信息，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0105]本發(fā)明實施例中，確定呈現(xiàn)多媒體信息的裝置的正面朝向信息時，可選的，可以采用如下方式:
[0106]對與呈現(xiàn)多媒體信息的裝置相關(guān)聯(lián)的慣性導(dǎo)航進(jìn)行姿態(tài)解算，得到呈現(xiàn)多媒體信息的裝置的正面朝向信息。
[0107]其中，慣性導(dǎo)航可以為陀螺儀、磁力計、加速度計中的任意一種或者任意組合。
[0108]本發(fā)明實施例中，可以有選擇性地提高觀察者感興趣的部分的精度，進(jìn)一步的，還包括如下操作:
[0109]確定呈現(xiàn)多媒體信息的裝置的正面朝向信息和目標(biāo)多媒體信息；
[0110]將所述正面朝向信息和所述目標(biāo)多媒體信息反饋至發(fā)送四維時空模型的裝置。
[0111 ]例如，表象信息所對應(yīng)的場景中有海灘，人物，及帆船，如果持有呈現(xiàn)多媒體信息的裝置的用戶的眼球注視著人物，則將人物作為目標(biāo)多媒體信息。這樣，發(fā)送四維時空模型的裝置在獲取表象信息時，就可以僅僅人物的表象信息，可以不包括帆船的表象信息。
[0112]本發(fā)明實施例中，確定目標(biāo)多媒體信息時，可以基于呈現(xiàn)多媒體信息的裝置的攝像頭的“眼球”來確定。
[0113]需要說明的是，本發(fā)明實施例中所描述的第一時空模型和第二時空模型可以是呈現(xiàn)多媒體信息的裝置預(yù)先建立好的，也可以是實時建立的，或者，也可以是其他裝置預(yù)先建立好的，或者實時建立并發(fā)送給呈現(xiàn)多媒體信息的裝置的，在此不做具體限定。
[0114]本發(fā)明實施例中，在有些場景中，可以僅僅呈現(xiàn)四維時空模型所表征的表象信息，例如，遠(yuǎn)程辦公或遠(yuǎn)程通信場景中，呈現(xiàn)多媒體信息的裝置只是想體驗發(fā)送四維時空模型的裝置所發(fā)過來的“真實的遠(yuǎn)程”場景，此時，僅呈現(xiàn)四維時空模型所表征的表象信息即可。在有些場景中，在呈現(xiàn)四維時空模型所表征的表象信息的基礎(chǔ)上，還可以進(jìn)一步呈現(xiàn)第一時空模型或者第二時空模型所表征的表象信息，呈現(xiàn)表象信息這一端還要添加一些虛擬道具，例如，呈現(xiàn)多媒體信息的裝置不光要體驗發(fā)送四維時空模型的裝置所發(fā)過來的場景，還要在該場景中添加虛擬道具，比如，隨手一揮在空中畫個白板，或者為了游戲，添加一些虛擬道具(如，手上發(fā)一道“閃電”去擊中場景中的石頭)。
[0115]本發(fā)明實施例中，進(jìn)一步的，還可以將第一標(biāo)注信息和/或第二標(biāo)注信息進(jìn)行呈現(xiàn)。
[0116]本發(fā)明實施例中，也可以接收到多個裝置分別發(fā)送的四維時空模型，例如，接收到第一發(fā)送端發(fā)送的第一四維時空模型所表征的表象信息對應(yīng)的場景為天壇，接收到第二發(fā)送端發(fā)送的第二四維時空模型所表征的表象信息對應(yīng)的場景為埃菲爾鐵塔，呈現(xiàn)時可以將天壇和埃菲爾鐵塔并排呈現(xiàn)。
[0117]本發(fā)明給出了呈現(xiàn)四維時空模型的詳細(xì)流程，參閱圖1B所示，將四維時空模型、第一時空模型和第二時空模型融合，得到目標(biāo)四維時空模型，確定呈現(xiàn)多媒體信息的裝置的正面朝向信息和目標(biāo)多媒體信息，并根據(jù)正面朝向信息和目標(biāo)四維時空模型呈現(xiàn)四維時空模型所表征的表象信息，及將正面朝向信息和目標(biāo)多媒體信息反饋至發(fā)送四維時空模型的
目.ο
[0118]本發(fā)明實施例中，公開了一種呈現(xiàn)多媒體信息的方法:接收用于表征表象信息的四維時空模型，所述四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的所述表象信息的屬性;對所述四維時空模型進(jìn)行解碼處理，得到解碼的四維時空模型;根據(jù)所述解碼的四維時空模型，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)，在該方案中，四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的表象信息的屬性，這樣，本方案在一定程度上解決了呈現(xiàn)的表象信息存在時延的問題，因此，一定程度上解決了現(xiàn)有技術(shù)中存在的具有時延的缺陷。
[0119]參閱圖2A所示，本發(fā)明實施例還提出一種呈現(xiàn)多媒體信息裝置，包括:
[0120]接收單元20，用于接收用于表征表象信息的四維時空模型，所述四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的所述表象信息的屬性，所述表象信息包括能夠用肉眼觀察到的和/或能夠用設(shè)備采集到的用于表征物體的電磁場光譜信息；
[0121]四維時空模型處理單元21，用于對所述四維時空模型進(jìn)行解碼處理，得到解碼的四維時空模型；
[0122]呈現(xiàn)單元22，用于根據(jù)所述解碼的四維時空模型，將所述四維時空模型所表征的表象信息進(jìn)行播放。
[0123]本發(fā)明實施例中，進(jìn)一步的，接收單元20接收到的四維時空模型可能經(jīng)過壓縮處理，此時，還可以將四維時空模型進(jìn)行解壓縮處理。
[0124]進(jìn)一步的，為了提高傳輸?shù)陌踩?，接收單?0接收到的四維時空模型可能經(jīng)過加密處理，此時，還要將接收到的四維時空模型進(jìn)行解密處理。
[0125]本發(fā)明實施例中，進(jìn)一步的，還可以將呈現(xiàn)多媒體信息的裝置這一端的場景進(jìn)行呈現(xiàn)，因此，所述裝置還包括模型融合單元23，用于將所述四維時空模型與所述第一時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，所述第一時空模型用于表征呈現(xiàn)多媒體信息的裝置所處場所的表象信息；
[0126]此時，所述呈現(xiàn)單元22在將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)時，可選的，還可以采用如下方式:
[0127]根據(jù)所述目標(biāo)四維時空模型，將所述四維時空模型所表征的表象信息和所述第一時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0128]例如，四維時空模型表征的表象信息對應(yīng)的場景為在海邊的場景，第一時空模型所表征的表象信息所對應(yīng)的場景為在辦公桌辦公的場景，在這種情況下，呈現(xiàn)單元22呈現(xiàn)的場景可以為辦公桌前面是海邊的這種融合的場景。
[0129]更進(jìn)一步的，還可以對人體及物體檢測、跟蹤和識別:可將真實物理區(qū)域疊加至虛擬區(qū)域，例如，觀察者戴VR頭盔面對一個草原，現(xiàn)實中他所在房間是有墻壁的，這個時候“基于物體檢測”就可以把真實物理的墻的信息疊加至VR頭盔的草原，呈現(xiàn)出一個草原中的半透明墻;又例如，人手檢測，可將真實的手的手勢檢測出來然后將虛擬的手疊加進(jìn)四維模型中，也就是說，還可以融合一些虛擬的場景，所述裝置還包括模型融合單元23，用于將所述四維時空模型與所述呈現(xiàn)多媒體信息的裝置的第一時空模型、第二時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，所述第一時空模型用于表征呈現(xiàn)多媒體信息的裝置所處場所的表象信息，所述第二時空模型用于表征虛擬物體的表象信息；
[0130]此時，所述呈現(xiàn)單元22將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)時，可選的，可以采用如下方式:
[0131]根據(jù)所述目標(biāo)四維時空模型，將所述四維時空模型所表征的表象信息、所述第一時空模型所表征的表象信息和所述第二時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0132]例如，四維時空模型表征的表象信息對應(yīng)的場景為在海邊的場景，第一時空模型所表征的表象信息所對應(yīng)的場景為在辦公桌辦公的場景，在這種情況下，呈現(xiàn)單元22呈現(xiàn)的場景可以為辦公桌前面是海邊的這種融合的場景，進(jìn)一步的，想在呈現(xiàn)的辦公桌上擺放一盆鮮花，但是實際中辦公桌上是沒有鮮花的，此時，可以用第二時空模型表征鮮花，并將所述四維時空模型與本端的第一時空模型、第二時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，這種情況下呈現(xiàn)單元22呈現(xiàn)的場景可以為辦公桌前面是海邊，且辦公桌上擺放鮮花的這種融合的場景。
[0133]本發(fā)明實施例中，呈現(xiàn)的場景中不僅可以有畫面，還可以有聲音，因此，所述表象信息還包括能夠用耳朵感覺到的和/或能夠用設(shè)備采集到的聲場信息，所述四維時空模型還用于表征與所述表象信息對應(yīng)的物體的聲場信息；
[0134]此時，所述裝置還包括播放單元24，用于將所述四維時空模型所表征的聲場信息進(jìn)行播放。
[0135]本發(fā)明實施例中，為了提高呈現(xiàn)的表象信息所對應(yīng)的場景與真實場景的相似度，呈現(xiàn)單元22在呈現(xiàn)四維時空模型所表征的表象信息時，要參考呈現(xiàn)多媒體信息的裝置的正面朝向信息，因此，進(jìn)一步的，所述裝置還包括處理單元25，用于確定呈現(xiàn)多媒體信息的裝置的正面朝向信息；
[0136]所述呈現(xiàn)單元22在將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)時，可選的，可以采用如下方式:
[0137]根據(jù)所述正向朝向，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)。
[0138]本發(fā)明實施例中，處理單元25確定呈現(xiàn)多媒體信息的裝置的正面朝向信息時，可選的，可以采用如下方式:
[0139]對與呈現(xiàn)多媒體信息的裝置相關(guān)聯(lián)的慣性導(dǎo)航進(jìn)行姿態(tài)解算，得到呈現(xiàn)多媒體信息的裝置的正面朝向信息。
[0140]其中，慣性導(dǎo)航可以為陀螺儀、磁力計、加速度計中的任意一種或者任意組合。
[0141]本發(fā)明實施例中，可以有選擇性地提高觀察者感興趣的部分的精度，進(jìn)一步的，所述裝置還包括處理單元25，確定持有呈現(xiàn)多媒體信息的裝置的正面朝向信息和目標(biāo)多媒體信息；
[0142]所述裝置還包括反饋單元26，用于將所述正面朝向信息和所述目標(biāo)多媒體信息反饋至發(fā)送四維時空模型的裝置。
[0143]例如，表象信息所對應(yīng)的場景中有海灘，人物，及帆船，如果持有呈現(xiàn)多媒體信息的裝置的用戶的眼球注視著人物，則將人物作為目標(biāo)多媒體信息。這樣，發(fā)送四維時空模型的裝置在獲取表象信息時，就可以僅僅人物的表象信息，可以不包括帆船的表象信息。
[0144]本發(fā)明實施例中，處理單元25確定目標(biāo)多媒體信息時，可以基于呈現(xiàn)多媒體信息的裝置的攝像頭的“眼球”來確定。
[0145]需要說明的是，本發(fā)明實施例中所描述的第一時空模型和第二時空模型可以是呈現(xiàn)多媒體信息的裝置預(yù)先建立好的，也可以是實時建立的，或者，也可以是其他裝置預(yù)先建立好的，或者實時建立并發(fā)送給呈現(xiàn)多媒體信息的裝置的，在此不做具體限定。
[0146]本發(fā)明實施例中，在有些場景中，呈現(xiàn)單元22可以僅僅呈現(xiàn)四維時空模型所表征的表象信息，例如，遠(yuǎn)程辦公或遠(yuǎn)程通信場景中，呈現(xiàn)多媒體信息的裝置只是想體驗發(fā)送四維時空模型的裝置所發(fā)過來的“真實的遠(yuǎn)程”場景，此時，僅呈現(xiàn)四維時空模型所表征的表象信息即可。在有些場景中，呈現(xiàn)單元22在呈現(xiàn)四維時空模型所表征的表象信息的基礎(chǔ)上，還可以進(jìn)一步呈現(xiàn)第一時空模型或者第二時空模型所表征的表象信息，呈現(xiàn)表象信息這一端還要添加一些虛擬道具，例如，呈現(xiàn)多媒體信息的裝置不光要體驗發(fā)送四維時空模型的裝置所發(fā)過來的場景，還要在該場景中添加虛擬道具，比如，隨手一揮在空中畫個白板，或者為了游戲，添加一些虛擬道具(如，手上發(fā)一道“閃電”去擊中場景中的石頭)。
[0147]本發(fā)明實施例中，接收單元20也可以接收到多個裝置分別發(fā)送的四維時空模型，例如，接收到第一發(fā)送端發(fā)送的第一四維時空模型所表征的表象信息對應(yīng)的場景為天壇，接收到第二發(fā)送端發(fā)送的第二四維時空模型所表征的表象信息對應(yīng)的場景為埃菲爾鐵塔，呈現(xiàn)時可以將天壇和埃菲爾鐵塔并排呈現(xiàn)。
[0148]本發(fā)明實施例中，公開了一種呈現(xiàn)多媒體信息的裝置:接收單元20，用于接收用于表征表象信息的四維時空模型，所述四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的所述表象信息的屬性，所述表象信息包括能夠用肉眼觀察到的和/或能夠用設(shè)備采集到的用于表征物體的電磁場光譜信息；四維時空模型處理單元21，用于對所述四維時空模型進(jìn)行解碼處理，得到解碼的四維時空模型；呈現(xiàn)單元22，用于根據(jù)所述解碼的四維時空模型，將所述四維時空模型所表征的表象信息進(jìn)行播放，在該方案中，四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的表象信息的屬性，這樣，一定程度上解決了呈現(xiàn)的表象信息存在時延的問題，因此，解決了現(xiàn)有技術(shù)中存在的具有時延的缺陷。
[0149]參閱圖2B所示，本發(fā)明實施例中，接收到的四維時空模型可以采用如下方式建立:
[0150]步驟200:獲取表象信息，表象信息包括能夠用肉眼觀察到的和/或能夠用設(shè)備采集到的用于表征物體的電磁場光譜信息；
[0151]步驟210:根據(jù)獲取到的表象信息建立用于表征表象信息的四維時空模型，四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的表象信息的屬性；
[0152]步驟220:將建立的四維時空模型進(jìn)行編碼處理，并將經(jīng)過編碼處理后的四維時空模型進(jìn)行發(fā)送。
[0153]本發(fā)明實施例中所描述的電磁場光譜信息可以是物體發(fā)射的，也可以是物體反射的，或者也可以是物體折射的，在此不做具體限定。
[0154]本發(fā)明實施例中所描述的電磁場光譜信息可以包括無線電波信息、紅外線信息、可見光信息、紫外線信息、X射線信息，及伽馬射線信息中的至少一種，其中，可見光信息可以包括激光。
[0155]本發(fā)明實施例中，表象信息對應(yīng)的物體可以是室內(nèi)和/或室外的任一視野大小和角度的物體。
[0156]本發(fā)明實施例中，獲取表象信息時，每秒可獲取24幀至120幀。
[0157]本發(fā)明實施例中，獲取到的表象信息可以是不同空間點和/或不同時間點獲取到的表象信息。
[0158]本發(fā)明實施例中，四維時空模型在內(nèi)容上至少包括如下屬性:
[0159]空間位置屬性:可以指任意時刻物體上的每一點在一個不隨時間變化的坐標(biāo)系下的坐標(biāo)；
[0160]外觀屬性:可以指任意時刻物體表面的紋理以及光譜特征(例如，顏色)、物體表面的幾何特性(例如，法向、曲率、光滑度等);
[0161]聲音屬性；
[0162]運動屬性:可以指任意時刻物體上的每一點的運動速度矢量、加速度矢量;或者，也可以指物體上可看作剛體的每一部分的角速度矢量、角加速度矢量；
[0163]其它屬性:可以指物體的類別、身份、材質(zhì)、相互關(guān)系等所有能由表象信息和表象信息隨時間的變化推斷出來的信息中的至少一種。
[0164]形式上，四維時空模型是以數(shù)字化的數(shù)據(jù)形式存在于存儲介質(zhì)中，這種形式能夠被存儲，呈現(xiàn)，檢索，編輯，傳輸，加密，以及被用于更高級的智能應(yīng)用。
[0165]本發(fā)明實施例中，建立四維時空模型之后，進(jìn)一步的，還可以修改、增強(qiáng)、優(yōu)化四維時空模型。
[0166]本發(fā)明實施例中，根據(jù)獲取到的表象信息建立用于表征表象信息的四維時空模型時，可選地，可以采用如下方式:
[0167]對表象信息進(jìn)行處理，得到第一標(biāo)注信息；
[0168]根據(jù)第一標(biāo)注信息和表象信息，得到包括幾何信息的第一點云信息、包括紋理信息的第二點云信息；
[0169]將第一點云信息和第二點云信息進(jìn)行融合，得到目標(biāo)點云信息；
[0170]根據(jù)目標(biāo)點云信息得到視覺信息；
[0171]根據(jù)視覺信息獲得空間模型，將針對不同時刻的空間模型進(jìn)行融合；
[0172]根據(jù)融合得到的空間模塊、第一標(biāo)注信息和第二標(biāo)注信息，得到四維時空模型。
[0173]在實際應(yīng)用中，表象信息除了能夠包括用肉眼觀察到的和/或能夠用設(shè)備采集到的用于表征物體的電磁場光譜信息之外，還可能包括聲場信息，此時，根據(jù)視覺信息獲得空間模型之前，方法還包括如下操作:
[0174]根據(jù)表象信息計算與表象信息對應(yīng)的物體的聲場信息，表象信息還包括能夠用耳朵感覺到的和/或能夠用設(shè)備采集到的聲場信息；
[0175]此時，根據(jù)視覺信息獲得空間模型時，可選地，可以采用如下方式:
[0176]將視覺信息和聲場信息融合，得到空間模型。
[0177]本發(fā)明實施例中所描述的聲場信息不僅指音頻信息本身，還有隱含的聲源空間位置信息在里面，可以包括可采集的聲波信息和/或超聲波信息。
[0178]本發(fā)明實施例中，將第一點云信息和第二點云信息進(jìn)行融合，得到目標(biāo)點云信息之后，得到視覺信息之前，上述方法還包括如下操作:
[0179]對目標(biāo)點云信息進(jìn)行處理，得到第二標(biāo)注信息；
[0180]此時，根據(jù)目標(biāo)點云信息，得到視覺信息時，可選地，可以采用如下方式:
[0181 ]根據(jù)第二標(biāo)注信息和目標(biāo)點云信息，得到視覺信息。
[0182]本發(fā)明實施例中，根據(jù)第二標(biāo)注信息和目標(biāo)點云信息，得到視覺信息時，可選地，可以采用如下方式:
[0183]對目標(biāo)點云信息進(jìn)行幾何頂點位置優(yōu)化和法向計算，得到第一結(jié)果；
[0184]將第一結(jié)果進(jìn)行表面擬合和三角網(wǎng)格化處理，得到第二結(jié)果；
[0185]根據(jù)第二結(jié)果，得到視覺信息。
[0186]本發(fā)明實施例中，對表象信息進(jìn)行處理，得到第一標(biāo)注信息時，可選地，可以采用如下方式:
[0187]對表象信息進(jìn)行數(shù)字圖像處理分析，得到第一標(biāo)注信息。
[0188]本發(fā)明實施例中，對表象信息進(jìn)行數(shù)字圖像處理分析時，可選地，可以采用如下方式:
[0189]對表象信息進(jìn)行分割、檢測、跟蹤、識別等處理。
[0190]本發(fā)明實施例中，分割、檢測、跟蹤、識別這幾個步驟之間并無明確的順序關(guān)系，例如，可以對表象信息先分割，再檢測;也可以先檢測，再分割。為了提高得到的第一標(biāo)注信息的準(zhǔn)確度，可以循環(huán)執(zhí)行幾次分割、檢測、跟蹤和識別。例如，執(zhí)行完一次分割、檢測、跟蹤和識別之后，根據(jù)當(dāng)前結(jié)果，再執(zhí)行至少一輪分割、檢測、跟蹤和識別，這樣可以提高精度。
[0191]本發(fā)明實施例中，分割可以指將圖像分割為前景和后景，例如，分割成天空、地面或者其他，檢測可以指檢測行人、檢測車牌，跟蹤可以指跟蹤人的手臂運動，識別可以指識別車輛。
[0192]本發(fā)明實施例中，根據(jù)第一標(biāo)注信息和表象信息，得到包括幾何信息的第一點云信息時，可選地，可以采用如下方式:
[0193]根據(jù)第一標(biāo)注信息對表象信息進(jìn)行處理，得到與表象信息所對應(yīng)的物體的坐標(biāo)信息;
[0194]根據(jù)坐標(biāo)信息，生成包括幾何信息的第一點云信息。
[0195]本發(fā)明實施例中，與表象信息所對應(yīng)的物體的坐標(biāo)信息在不同時刻可能對應(yīng)于不同的坐標(biāo)系，此時，為了提高得到的第一點云信息的準(zhǔn)確度，得到與表象信息所對應(yīng)的物體的坐標(biāo)信息之后，還可以將不同時刻的不同局部坐標(biāo)系下的物體的坐標(biāo)信息融合到同一個坐標(biāo)系下，然后根據(jù)融合到同一個坐標(biāo)系下的坐標(biāo)信息，生成包括幾何信息的第一點云信息。
[0196]本發(fā)明實施例中，根據(jù)第一標(biāo)注信息和表象信息，得到包括紋理信息的第二點云信息時，可選地，可以采用如下方式:
[0197]采用逐點和/或圖像合成的方式，根據(jù)第一標(biāo)注信息，對表象信息進(jìn)行提取信息處理，得到包括紋理信息的第二點云信息。
[0198]本發(fā)明實施例中，根據(jù)第二標(biāo)注信息和目標(biāo)點云信息，得到視覺信息時，可選地，可以采用如下方式:
[0199]根據(jù)第二標(biāo)注信息和目標(biāo)點云信息，計算物體的表面法向信息；
[0200]根據(jù)表面法向信息得到視覺信息。
[0201]本發(fā)明給出了建立四維時空模型的詳細(xì)流程，參閱圖2C所示，根據(jù)表象信息得到第一標(biāo)注信息和聲場信息，并根據(jù)表象信息和第一標(biāo)注信息得第一點云信息和第二點云信息，將第一點云信息和第二點云信息融合得到目標(biāo)點云信息，根據(jù)目標(biāo)點云信息得到第二標(biāo)注信息，并對目標(biāo)點云信息進(jìn)行幾何頂點位置優(yōu)化和法向計算得到第一結(jié)果，對第一結(jié)果進(jìn)行表面擬合和三角網(wǎng)格化處理，得到第二結(jié)果，根據(jù)第二結(jié)果和第二標(biāo)注信息得到視覺信息，將視覺信息和聲場信息融合，得到空間模型，將空間模型融合得到融合后的空間模型，將融合后的空間模型、第一標(biāo)注信息和第二標(biāo)注信息處理得到四維時空模型。
[0202]參閱圖2D所示，本發(fā)明實施例還提出一種處理多媒體信息裝置，包括:
[0203]獲取單元2100，用于獲取表象信息，所述表象信息包括能夠用肉眼觀察到的和/或能夠用設(shè)備采集到的用于表征物體的電磁場光譜信息；
[0204]模型建立單元2200，用于根據(jù)獲取到的表象信息建立用于表征所述表象信息的四維時空模型，所述四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的所述表象信息的屬性；
[0205]處理單元2300，用于將建立的四維時空模型進(jìn)行編碼處理；
[0206]發(fā)送單元2400，用于將經(jīng)過編碼處理后的四維時空模型進(jìn)行發(fā)送。
[0207]本發(fā)明實施例中，獲取單元2100所獲取的電磁場光譜信息可以是物體發(fā)射的，也可以是物體反射的，或者也可以是物體折射的，在此不做具體限定。
[0208]本發(fā)明實施例中，獲取單元2100所描述的電磁場光譜信息可以包括無線電波信息、紅外線信息、可見光信息、紫外線信息、X射線信息，和伽馬射線信息中的至少一種，其中，可見光信息可以包括激光。
[0209]本發(fā)明實施例中，表象信息對應(yīng)的物體可以是室內(nèi)和/或室外的任一視野大小和角度的物體。
[0210]本發(fā)明實施例中，獲取單元2100獲取表象信息時，每秒可獲取24幀至120幀。
[0211]本發(fā)明實施例中，獲取單元2100所獲取到的表象信息可以是不同空間點和不同時間點獲取到的表象信息。
[0212]本發(fā)明實施例中，四維時空模型在內(nèi)容上至少包括如下屬性:
[0213]空間位置屬性:可以指任意時刻物體上的每一點在一個不隨時間變化的坐標(biāo)系下的坐標(biāo)；
[0214]外觀屬性:可以指任意時刻物體表面的紋理以及光譜特征(例如，顏色)、物體表面的幾何特性(例如，法向、曲率、光滑度等);
[0215]聲音屬性；
[0216]運動屬性:可以指任意時刻物體上每一點的運動速度矢量、加速度矢量;或者，也可以指物體上可看作剛體的每一部分的角速度矢量、角加速度矢量；
[0217]其它屬性:可以指物體的類別、身份、材質(zhì)、相互關(guān)系等所有能由表象信息和表象隨時間的變化推斷出來的信息中的至少一種。
[0218]形式上，四維時空模型是以數(shù)字化的數(shù)據(jù)形式存在于存儲介質(zhì)中，這種形式能夠被存儲，呈現(xiàn)，檢索，編輯，傳輸，加密，以及被用于更高級的智能應(yīng)用。
[0219]本發(fā)明實施例中，模型建立單元2200建立四維時空模型之后，進(jìn)一步的，還可以修改、增強(qiáng)、優(yōu)化四維時空模型。
[0220]在實際應(yīng)用中，表象信息除了能夠包括用肉眼觀察到的和/或能夠用設(shè)備采集到的用于表征物體的電磁場光譜信息之外，還可能包括聲場信息，此時，本發(fā)明實施例中，進(jìn)一步的，所述裝置還可以包括聲場信息計算單元2500，用于根據(jù)所述表象信息計算與所述表象信息對應(yīng)的物體的聲場信息，所述表象信息還包括能夠用耳朵感覺到的和/或能夠用設(shè)備采集到的聲場信息；
[0221]所述模型建立單元2200根據(jù)所述表象信息建立用于表征所述表象信息的四維時空模型時，具體為:
[0222]根據(jù)所述表象信息和所述聲場信息，建立用于表征所述表象信息和所述聲場信息的四維時空模型。
[0223]本發(fā)明實施例中所描述的聲場信息不僅指音頻信息本身，還有隱含的聲源空間位置信息在里面，可以包括可采集的聲波信息和/或超聲波信息。
[0224]本發(fā)明實施例中，可選地，所述模型建立單元2200包括第一標(biāo)注信息生成單元2200A、點云信息生成單元2200B、點云信息融合單元2200C、視覺信息生成單元2200D、四維時空模型生成單元2200E，其中:
[0225]所述第一標(biāo)注信息生成單元2200A，用于對所述表象信息進(jìn)行處理，得到第一標(biāo)注信息；
[0226]所述點云信息生成單元2200B，用于根據(jù)所述第一標(biāo)注信息和所述表象信息，得到包括幾何信息的第一點云信息、包括紋理信息的第二點云信息；
[0227]所述點云信息融合單元2200C，用于將所述第一點云信息和所述第二點云信息進(jìn)行融合，得到目標(biāo)點云信息；
[0228]所述視覺信息生成單元2200D，用于根據(jù)所述目標(biāo)點云信息得到視覺信息；
[0229]所述四維時空模型生成單元2200E，用于根據(jù)所述視覺信息獲得空間模型，將針對不同時刻的空間模型進(jìn)行融合，根據(jù)融合得到的空間模塊、所述第一標(biāo)注信息和所述第二標(biāo)注信息，得到所述四維時空模型。
[0230]本發(fā)明實施例中，進(jìn)一步的，所述裝置還包括聲場信息計算單元2500，用于根據(jù)所述表象信息計算所述表象信息對應(yīng)的物體的聲場信息，所述表象信息還包括能夠用耳朵感覺到的和/或能夠用設(shè)備采集到的聲場信息；
[0231]所述四維時空模型生成單元2200E根據(jù)所述視覺信息獲得空間模型時，可選地，可以采用如下方式:
[0232]將所述視覺信息和所述聲場信息融合，得到所述空間模型。
[0233]本發(fā)明實施例中，可選地，所述點云信息生成單元2200B還用于，對所述目標(biāo)點云信息進(jìn)行處理，得到第二標(biāo)注信息；
[0234]所述視覺信息生成單元2200D根據(jù)所述目標(biāo)點云信息，得到視覺信息時，可選地，可以采用如下方式:
[0235]根據(jù)所述第二標(biāo)注信息和所述目標(biāo)點云信息，得到所述視覺信息。
[0236]本發(fā)明實施例中，進(jìn)一步的，所述視覺信息生成單元2200D還用于:
[0237]對所述目標(biāo)點云信息進(jìn)行幾何頂點位置優(yōu)化和法向計算，得到第一結(jié)果；
[0238]將所述第一結(jié)果進(jìn)行表面擬合和三角網(wǎng)格化處理，得到第二結(jié)果；
[0239]根據(jù)所述第二結(jié)果，得到所述視覺信息。
[0240]本發(fā)明實施例中，可選地，所述第一標(biāo)注信息生成單元2200A對所述表象信息進(jìn)行處理，得到第一標(biāo)注信息時，可選地，可以采用如下方式:
[0241]對所述表象信息進(jìn)行數(shù)字圖像處理分析，得到所述第一標(biāo)注信息。
[0242]本發(fā)明實施例中，所述第一標(biāo)注信息生成單元2200A對所述表象信息進(jìn)行數(shù)字圖像處理分析時，對表象信息進(jìn)行分割、檢測、跟蹤、識別等處理。
[0243]本發(fā)明實施例中，分割、檢測、跟蹤、識別這幾個步驟之間并無明確的順序關(guān)系，例如，可以對表象信息先分割，再檢測;也可以先檢測，再分割。為了提高得到的第一標(biāo)注信息的準(zhǔn)確度，可以循環(huán)執(zhí)行幾次分割、檢測、跟蹤和識別。例如，執(zhí)行完一次分割、檢測、跟蹤和識別之后，根據(jù)當(dāng)前結(jié)果，再執(zhí)行至少一輪分割、檢測、跟蹤和識別，這樣可以提高精度。
[0244]本發(fā)明實施例中，分割可以指將圖像分割為前景和后景，例如，分割成天空、地面或者其他，檢測可以指檢測行人、檢測車牌，跟蹤可以指跟蹤人的手臂運動，識別可以指識別車輛。
[0245]本發(fā)明實施例中，所述點云信息生成單元2200B根據(jù)所述第一標(biāo)注信息和所述表象信息，得到包括幾何信息的第一點云信息時，可選地，可以采用如下方式:
[0246]根據(jù)所述第一標(biāo)注信息對所述表象信息進(jìn)行處理，得到與所述表象信息所對應(yīng)的物體的坐標(biāo)信息；
[0247]根據(jù)所述坐標(biāo)信息，生成包括所述幾何信息的第一點云信息。
[0248]本發(fā)明實施例中，與表象信息所對應(yīng)的物體的坐標(biāo)信息在不同時刻可能對應(yīng)于不同的坐標(biāo)系，此時，為了提高得到的第一點云信息的準(zhǔn)確度，得到與表象信息所對應(yīng)的物體的坐標(biāo)信息之后，點云信息生成單元2200B還可以將不同時刻的不同局部坐標(biāo)系下的物體的坐標(biāo)信息融合到同一個坐標(biāo)系下，然后根據(jù)融合到同一個坐標(biāo)系下的坐標(biāo)信息，生成包括幾何信息的第一點云信息。
[0249]本發(fā)明實施例中，可選地，所述點云信息生成單元2200B根據(jù)所述第一標(biāo)注信息和所述表象信息，得到包括紋理信息的第二點云信息時，可以采用如下方式:
[0250]采用逐點和/或圖像合成的方式，根據(jù)所述第一標(biāo)注信息，對所述表象信息進(jìn)行提取信息處理，得到包括紋理信息的第二點云信息。
[0251]本發(fā)明實施例中，所述視覺信息生成單元2200D根據(jù)所述第二標(biāo)注信息和所述目標(biāo)點云信息，得到視覺信息時，可以采用如下方式:
[0252]根據(jù)所述第二標(biāo)注信息和所述目標(biāo)點云信息，計算物體表面法向信息；
[0253]根據(jù)所述表面法向信息得到視覺信息。
[0254]本發(fā)明實施例中，進(jìn)一步的，處理單元2300將建立的四維時空模型進(jìn)行編碼處理之后，還要將進(jìn)行編碼處理后的四維時空模型進(jìn)行壓縮處理，發(fā)送單元2400將壓縮處理后的四維時空模型進(jìn)行發(fā)送。
[0255]進(jìn)一步的，為了提高傳輸?shù)陌踩裕诎l(fā)送單元2400發(fā)送編碼處理后的四維時空模型之前，處理單元2300可以將編碼處理后的四維時空模型進(jìn)行加密處理，或者，在發(fā)送壓縮處理后的四維時空模型之前，可以將壓縮處理后的四維時空模型進(jìn)行加密處理。
[0256]本發(fā)明實施例中，獲取單元2100可以為包括圓柱型、長方體、棱柱形、環(huán)型、球形，及半球形中的任意一種形狀，包括至少一個攝像頭，攝像頭可以為顏色攝像頭，深度攝像頭或紅外攝像頭。
[0257]進(jìn)一步的，獲取單元2100還可以包括至少一個麥克風(fēng)，如圖2E、2F所示，其中，圖2G是圖2E或者圖2F的俯視圖，圖2H是圖2E或者圖2F的側(cè)視圖。
[0258]可選地，獲取單元2100包括8對顏色攝像頭和8個麥克風(fēng)，其中:頂部有I對顏色攝像頭、視角各為180度;側(cè)面有6對顏色攝像頭、視角各為70度;底部有I對顏色攝像頭、視角各為180度;每I對攝像頭中間都有I個麥克風(fēng)。
[0259]可選地，獲取單元2100還可以為如下形式:
[0260]頂部有I個或者I對顏色攝像頭，視角為45?180度；側(cè)面有2個或者8對顏色攝像頭，視角各為45?180度;底部有I個或者I對顏色攝像頭，視角為45?180度;有I個麥克風(fēng)，或者，每I對攝像頭中間都有I個麥克風(fēng)，可選地，麥克風(fēng)的數(shù)量介于I?8之間。
[0261 ]本發(fā)明實施例中，可選地，頂部的攝像頭也可以為立體攝像頭、多焦距攝像頭，結(jié)構(gòu)光攝像頭、飛行時間(ToF)攝像頭、光場攝像頭組中的一種或者任意組合。
[0262]本發(fā)明實施例中，可選地，側(cè)面的攝像頭可以是立體攝像頭、多焦距攝像頭、結(jié)構(gòu)光攝像頭、飛行時間(ToF)攝像頭、光場攝像頭組中的一種或者任意組合。
[0263]例如，獲取單元2100為圓柱型，在圓柱側(cè)表面有六對雙目攝像頭，每一攝像頭視野為70度;在圓柱頂面和底面各有一對雙目攝像頭，每一攝像頭視野為180度，可以實現(xiàn)立體全景的視野覆蓋，且所有攝像頭都經(jīng)過事先校準(zhǔn)并已獲得參數(shù)矩陣。獲取單元2100還可以內(nèi)置八個麥克風(fēng)。
[0264]本發(fā)明實施例中，顏色攝像頭可以由光學(xué)鏡頭、感光器件(Image Sensor)、ISP(Image Signal Processing Unit，圖像信號處理芯片)組成。
[0265]VPU(Vis1n Processing Unit，視覺處理器)可以包括模型建立單元2200和處理單元2300，其中，攝像頭可以由MIPI(Mobile Industry Processor Interface，移動產(chǎn)業(yè)處理器接口)連至VPU芯片，一個VPU芯片處理兩對攝像頭傳過來的數(shù)據(jù)，這樣一個圓柱里面是四個VPU芯片。
[0266]本發(fā)明實施例中，模型建立單元2200可以包括處理器、顯卡、內(nèi)存、顯存、閃存、硬盤、無線傳輸、有線傳輸和多個總線接口芯片。
[0267]下面給出了本發(fā)明實施例所適用的場景。
[0268]圖3A所示的場景為:甲在第一場景中，乙在第二場景中，甲和乙通過本發(fā)明實例提供的方法使得甲及甲的周圍環(huán)境實時地“遠(yuǎn)程呈現(xiàn)”在乙的面前，乙可以與甲進(jìn)行互動。
[0269]進(jìn)一步的，多媒體信息處理裝置還可以將四維時空模型先存儲在存儲設(shè)備中，乙所持有的可以接收并處理四維時空模型的裝置可以從存儲設(shè)備中獲取四維時空模型，如圖3B所示，在這種情況下，乙所“看見”的場景與圖3A所示的情況下看到的場景可以是一樣的。
[0270]當(dāng)多媒體信息處理裝置將四維時空模型存儲在存儲設(shè)備中時，甲也可以持有可以接收并處理四維時空模型的裝置，從存儲設(shè)備中獲取四維時空模型，感知到自己在過去一個時間點所處的第一場景，如圖3C所示。
[0271]圖3D所示的場景為:甲在第一場景中，乙在第二場景中，甲和乙通過本發(fā)明實例一使得甲及甲的周圍環(huán)境實時地“遠(yuǎn)程呈現(xiàn)”在乙的面前，乙可以與甲進(jìn)行互動；甲和乙通過本發(fā)明實例一實現(xiàn)雙向?qū)崟r“遠(yuǎn)程現(xiàn)實”和“混合現(xiàn)實”，甲所感知到的是甲所在的第一場景和乙的疊加，乙所感知到的是甲及甲所在的第一場景；需要說明的是，甲和乙對于所要感知的場景還可以有多種選擇，雙方可以選擇看到甲所在的第一場景也可以選擇看到乙所在的第二場景，或者看到其它方所在的第三場景；甲和乙可以看到同一個真實或者虛擬場景也可以看到不同的真實或者虛擬場景。
[0272]圖3E所示的場景為:甲通過本發(fā)明所提供的實施例實現(xiàn)遠(yuǎn)程辦公。
[0273]圖3F所示的場景為:甲和乙通過本發(fā)明所提供的實施例都可以實現(xiàn)感到虛擬環(huán)境，進(jìn)一步的，還可以實現(xiàn)互動，如同“身臨其境” 一般。
[0274]在此提供的方法和裝置不與任何特定計算機(jī)、虛擬系統(tǒng)或者其它設(shè)備固有相關(guān)。各種通用系統(tǒng)也可以與基于在此的示例一起使用。根據(jù)上面的描述，構(gòu)造這類裝置所要求的結(jié)構(gòu)是顯而易見的。此外，本發(fā)明也不針對任何特定編程語言。應(yīng)當(dāng)明白，可以利用各種編程語言實現(xiàn)在此描述的本發(fā)明的內(nèi)容，并且上面對特定語言所做的描述是為了披露本發(fā)明的最佳實施方式。
[0275]在此處所提供的說明書中，說明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實施例可以在沒有這些具體細(xì)節(jié)的情況下實踐。在一些實例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對本說明書的理解。
[0276]類似地，應(yīng)當(dāng)理解，為了精簡本公開并幫助理解各個發(fā)明方面中的一個或多個，在上面對本發(fā)明的示例性實施例的描述中，本發(fā)明的各個特征有時被一起分組到單個實施例、圖、或者對其的描述中。然而，并不應(yīng)將該公開的方法解釋成反映如下意圖:即所要求保護(hù)的本發(fā)明要求比在每個權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如權(quán)利要求書所反映的那樣，發(fā)明方面在于少于前面公開的單個實施例的所有特征。因此，遵循【具體實施方式】的權(quán)利要求書由此明確地并入該【具體實施方式】，其中每個權(quán)利要求本身都作為本發(fā)明的單獨實施例。
[0277]本領(lǐng)域那些技術(shù)人員可以理解，可以對實施例中的裝置中的模塊進(jìn)行自適應(yīng)性地改變并且把它們設(shè)置在與該實施例不同的一個或多個裝置中?？梢园褜嵤├械娜舾赡K組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特征和/或過程或者模塊中的至少一些是相互排斥之外，可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進(jìn)行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的替代特征來代替。
[0278]此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征，但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實施例。例如，在權(quán)利要求書中，所要求保護(hù)的實施例的任意之一都可以以任意的組合方式來使用。
[0279]本發(fā)明的各個裝置實施例可以以硬件實現(xiàn)，或者以在一個或者多個處理器上運行的軟件模塊實現(xiàn)，或者以它們的組合實現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實踐中使用微處理器或者數(shù)字信號處理器(DSP)來實現(xiàn)根據(jù)本發(fā)明實施例的裝置中的一些或者全部模塊的一些或者全部功能。本發(fā)明還可以實現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的裝置程序(例如，計算機(jī)程序和計算機(jī)程序產(chǎn)品)。這樣的實現(xiàn)本發(fā)明的程序可以存儲在計算機(jī)可讀介質(zhì)上，或者可以具有一個或者多個信號的形式。這樣的信號可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。
[0280]應(yīng)該注意的是上述實施例對本發(fā)明進(jìn)行說明而不是對本發(fā)明進(jìn)行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計出替換實施例。在權(quán)利要求中，不應(yīng)將位于括號之間的任何參考符號構(gòu)造成對權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個”不排除存在多個這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計算機(jī)來實現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個可以是通過同一個硬件項來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序?？蓪⑦@些單詞解釋為名稱。
【主權(quán)項】
1.一種呈現(xiàn)多媒體信息的方法，包括: 接收用于表征表象信息的四維時空模型，所述四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的所述表象信息的屬性，所述表象信息包括能夠用肉眼觀察到的和/或能夠用設(shè)備采集到的用于表征物體的電磁場光譜信息； 對所述四維時空模型進(jìn)行解碼處理，得到解碼的四維時空模型； 根據(jù)所述解碼的四維時空模型，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)。2.如權(quán)利要求1所述的方法，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)之前，還包括: 將所述四維時空模型與所述第一時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，所述第一時空模型用于表征呈現(xiàn)多媒體信息所處場所的物體的表象信息； 將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)，具體包括: 根據(jù)所述目標(biāo)四維時空模型，將所述四維時空模型所表征的表象信息和所述第一時空模型所表征的表象信息進(jìn)行呈現(xiàn)。3.如權(quán)利要求1所述的方法，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)之前，所述方法還包括: 將所述四維時空模型與本端的第一時空模型、第二時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，所述第一時空模型用于表征呈現(xiàn)多媒體信息所處場所的物體的表象信息，所述第二時空模型用于表征虛擬物體的表象信息； 將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)，具體包括: 根據(jù)所述目標(biāo)四維時空模型，將所述四維時空模型所表征的表象信息、所述第一時空模型所表征的表象信息和所述第二時空模型所表征的表象信息進(jìn)行呈現(xiàn)。4.如權(quán)利要求1所述的方法，所述表象信息還包括能夠用耳朵感覺到的和/或能夠用設(shè)備采集到的聲場信息，所述四維時空模型還用于表征與所述表象信息對應(yīng)的物體的聲場信息; 所述方法還包括: 將所述四維時空模型所表征的聲場信息進(jìn)行播放。5.如權(quán)利要求1所述的方法，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)之前，還包括: 確定呈現(xiàn)多媒體信息的裝置的正面朝向信息； 將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)，包括: 根據(jù)所述正面朝向信息，將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)。6.如權(quán)利要求1-5任一項所述的方法，所述方法還包括: 確定呈現(xiàn)多媒體信息的裝置的正面朝向信息和目標(biāo)多媒體信息； 將所述正面朝向信息和所述目標(biāo)多媒體信息反饋至發(fā)送四維時空模型的裝置。7.—種呈現(xiàn)多媒體信息的裝置，包括: 接收單元，用于接收用于表征表象信息的四維時空模型，所述四維時空模型具有能夠以數(shù)字化形式表征隨時間變化的所述表象信息的屬性，所述表象信息包括能夠用肉眼觀察到的和/或能夠用設(shè)備采集到的用于表征物體的電磁場光譜信息； 四維時空模型處理單元，用于對所述四維時空模型進(jìn)行解碼處理，得到解碼的四維時空豐旲型； 呈現(xiàn)單元，用于根據(jù)所述解碼的四維時空模型，將所述四維時空模型所表征的表象信息進(jìn)行播放。8.如權(quán)利要求7所述的裝置，所述裝置還包括模型融合單元，用于將所述四維時空模型與所述第一時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，所述第一時空模型用于表征呈現(xiàn)多媒體信息的裝置所處場所的表象信息； 所述呈現(xiàn)單元在將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)時，具體為: 根據(jù)所述目標(biāo)四維時空模型，將所述四維時空模型所表征的表象信息和所述第一時空模型所表征的表象信息進(jìn)行呈現(xiàn)。9.如權(quán)利要求7所述的裝置，所述裝置還包括模型融合單元，將所述四維時空模型與所述呈現(xiàn)多媒體信息的裝置的第一時空模型、第二時空模型進(jìn)行融合，得到目標(biāo)四維時空模型，所述第一時空模型用于表征呈現(xiàn)多媒體信息的裝置所處場所的表象信息，所述第二時空模型用于表征虛擬物體的表象信息； 所述呈現(xiàn)單元將所述四維時空模型所表征的表象信息進(jìn)行呈現(xiàn)時，具體為: 根據(jù)所述目標(biāo)四維時空模型，將所述四維時空模型所表征的表象信息、所述第一時空模型所表征的表象信息和所述第二時空模型所表征的表象信息進(jìn)行呈現(xiàn)。10.如權(quán)利要求7所述的裝置，所述表象信息還包括能夠用耳朵感覺到的和/或能夠用設(shè)備采集到的聲場信息，所述四維時空模型還用于表征與所述表象信息對應(yīng)的物體的聲場信息； 所述裝置還包括播放單元，用于將所述四維時空模型所表征的聲場信息進(jìn)行播放。
【文檔編號】G06F17/30GK105893452SQ201610044505
【公開日】2016年8月24日
【申請日】2016年1月22日
【發(fā)明人】馮歆鵬, 周驥
【申請人】馮歆鵬, 周驥