專利名稱：數(shù)據(jù)傳送器－接收器、傳送接收方法和雙向數(shù)據(jù)傳送系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于在各種狀態(tài)動(dòng)態(tài)變化并且傳送路徑具有延遲的通信環(huán)境中進(jìn)行雙向數(shù)據(jù)傳送的數(shù)據(jù)傳送器-接收器、雙向數(shù)據(jù)傳送系統(tǒng)以及數(shù)據(jù)傳送接收方法。
背景技術(shù)：
當(dāng)在具有延遲的傳送路徑中進(jìn)行雙向通信時(shí)，在傳送側(cè)設(shè)備生成要被傳送到接收側(cè)設(shè)備的傳送數(shù)據(jù)時(shí)的接收器狀態(tài)與接收側(cè)設(shè)備接收傳送數(shù)據(jù)時(shí)的接收器狀態(tài)之間可能存在不一致。因此，需要用于對(duì)這樣的不一致進(jìn)行補(bǔ)償?shù)臋C(jī)制。當(dāng)由于負(fù)載分集(load dispersion)等原因，傳送側(cè)設(shè)備和接收側(cè)設(shè)備協(xié)調(diào)地進(jìn)行執(zhí)行處理時(shí)，需要通過(guò)例如使傳送側(cè)設(shè)備和接收側(cè)設(shè)備同步來(lái)掌握彼此的狀態(tài)。
作為例子，以下對(duì)立體聲傳送的情況進(jìn)行描述。
近年來(lái)，對(duì)用于通過(guò)雙聲道立體聲系統(tǒng)實(shí)現(xiàn)立體聲的系統(tǒng)進(jìn)行了研究，并且，用于利用頭部傳遞函數(shù)的技術(shù)是公知的，頭部傳遞函數(shù)是一種從聲源到收聽者的耳朵的傳遞函數(shù)。當(dāng)用HRTF對(duì)輸入聲源進(jìn)行數(shù)字濾波并通過(guò)雙聲道揚(yáng)聲器或耳機(jī)對(duì)濾波的信號(hào)進(jìn)行重放時(shí)，收聽者能夠感受到立體聲效果。與用于通過(guò)在周圍設(shè)置許多揚(yáng)聲器來(lái)再現(xiàn)環(huán)繞聲學(xué)空間的多聲道再現(xiàn)系統(tǒng)相比，這是一種適合于在蜂窩終端再現(xiàn)立體聲的技術(shù)。但是，頭部傳遞函數(shù)隨收聽者與聲源的相對(duì)位置以及收聽者的方向改變。為了再現(xiàn)自己一方或其他方說(shuō)話的動(dòng)態(tài)聲場(chǎng)，即聲源或收聽者隨意移動(dòng)的動(dòng)態(tài)聲場(chǎng)，需要跟蹤聲源和收聽者的位置以及頭的方向。因此，使用了用于檢測(cè)頭的位置和旋轉(zhuǎn)并且隨后更新頭部傳遞函數(shù)濾波器的方法(例如，參照“Reassessment of the roleof head movements in human sound localization”，F(xiàn).Wightman等人，J.Acoust.Soc.Am.，95(5)，pp.3003-3004；下文中將其稱為非專利文獻(xiàn)1)。通過(guò)引入以下功能，希望能夠提高方向檢測(cè)的精度。
當(dāng)在移動(dòng)通信中利用上述技術(shù)再現(xiàn)立體聲時(shí)，如圖12所示，有一個(gè)用于接收多個(gè)聲源數(shù)據(jù)并且進(jìn)行立體聲處理的終端。但是，在這種終端側(cè)處理系統(tǒng)的情況下，針對(duì)在立體聲空間中分配的聲源，也需要大的帶寬來(lái)傳送所有聲學(xué)數(shù)據(jù)。當(dāng)應(yīng)用于對(duì)處理功率和傳送帶寬具有限制的終端如蜂窩式電話時(shí)，最好使它們最小。
作為另一種方法，考慮使用包括服務(wù)器和終端的立體聲傳送系統(tǒng)，如圖13所示，其中，服務(wù)器用于接收多個(gè)聲源數(shù)據(jù)并且將已經(jīng)經(jīng)過(guò)立體聲處理的聲音數(shù)據(jù)傳送到終端，而終端用于對(duì)接收的立體聲數(shù)據(jù)進(jìn)行再現(xiàn)。在這種服務(wù)器側(cè)處理系統(tǒng)的情況下，上述的終端吞吐量以及傳送數(shù)據(jù)量的問題得到了解決。但是，為了按照收聽者的移動(dòng)進(jìn)行立體聲處理，必須將收聽者的頭的位置和方向傳送到服務(wù)器。當(dāng)服務(wù)器與終端之間存在很大的傳送延遲時(shí)，出現(xiàn)了另一個(gè)問題。即，在接收的立體聲數(shù)據(jù)與頭的實(shí)際位置和方向之間存在不匹配(頭跟蹤延遲)。
此外，作為另一種方法，考慮使用包括服務(wù)器和終端的立體聲傳送系統(tǒng)，如圖14所示，其中，服務(wù)器用于接收多個(gè)聲源數(shù)據(jù)并且將已經(jīng)經(jīng)過(guò)立體聲處理的數(shù)據(jù)傳送到終端，而終端用于對(duì)根據(jù)最新位置和方向信息接收的立體聲數(shù)據(jù)進(jìn)行校正和再現(xiàn)(例如，參照美國(guó)專利No.6259795；在下文中將其稱為專利文獻(xiàn)1)。在這種技術(shù)的情況下，如專利文獻(xiàn)1中所披露的，當(dāng)聲場(chǎng)為靜態(tài)時(shí)，可以利用簡(jiǎn)單操作生成立體聲場(chǎng)，并且，如果服務(wù)器向終端發(fā)送經(jīng)過(guò)立體聲處理的聲音并且對(duì)由于收聽者頭部的輕微移動(dòng)引起的聲音圖像不匹配進(jìn)行補(bǔ)償，則可以減小跟蹤延遲。

發(fā)明內(nèi)容
但是，在專利文獻(xiàn)1中披露的技術(shù)的情況下，除非當(dāng)服務(wù)器進(jìn)行立體聲處理時(shí)在終端方已經(jīng)知道了聲源和收聽者的位置和方向，否則不能進(jìn)行補(bǔ)償。因此，問題在于難以將該技術(shù)應(yīng)用于像移動(dòng)通信中那樣的收聽者和聲源(另一通信方)的位置和頭部的方向隨時(shí)變化的動(dòng)態(tài)立體聲聲場(chǎng)。
此外，當(dāng)傳送側(cè)設(shè)備和接收側(cè)設(shè)備通過(guò)具有延遲的傳送路徑進(jìn)行雙向數(shù)據(jù)傳送時(shí)，由于傳送延遲的影響，出現(xiàn)了難以使傳送側(cè)設(shè)備和接收側(cè)設(shè)備的內(nèi)部狀態(tài)保持相同的問題。
當(dāng)在利用具有延遲的傳送路徑時(shí)和在例如收聽者的位置和方向、另一通信方設(shè)備的位置以及傳送側(cè)設(shè)備和接收側(cè)設(shè)備的內(nèi)部狀態(tài)等各種狀態(tài)動(dòng)態(tài)變化的情況下，會(huì)在交互式通信(雙向數(shù)據(jù)傳送)上出現(xiàn)上述問題。
考慮到上述問題提出了本發(fā)明，本發(fā)明的目的是提供一種數(shù)據(jù)傳送器-接收器、雙向數(shù)據(jù)傳送系統(tǒng)以及數(shù)據(jù)傳送接收方法，當(dāng)在各種狀態(tài)動(dòng)態(tài)變化的環(huán)境中與另一通信方設(shè)備進(jìn)行雙向通信時(shí)，能夠減小傳送延遲的影響。
為了解決上述問題，權(quán)利要求1的發(fā)明提供了一種用于與另一通信方設(shè)備進(jìn)行雙向數(shù)據(jù)通信的數(shù)據(jù)傳送器-接收器，它包括數(shù)據(jù)獲取裝置，用于獲取隨時(shí)間變化的變化數(shù)據(jù)；時(shí)間信息獲取裝置，用于獲取表示生成由數(shù)據(jù)獲取裝置獲取的變化數(shù)據(jù)的時(shí)間的時(shí)間信息；接收裝置，用于接收從所述另一通信方設(shè)備傳送的傳送數(shù)據(jù)和表示傳送數(shù)據(jù)是在預(yù)定時(shí)間的數(shù)據(jù)的預(yù)定時(shí)間信息；以及校正裝置，用于根據(jù)由數(shù)據(jù)獲取裝置獲取的變化數(shù)據(jù)、由時(shí)間信息獲取裝置獲取的時(shí)間信息、由接收裝置接收的預(yù)定時(shí)間信息以及傳送數(shù)據(jù)，對(duì)由于與所述另一通信方設(shè)備進(jìn)行數(shù)據(jù)傳送而引入的延遲進(jìn)行校正。
按照上述配置，由于數(shù)據(jù)傳送器-接收器能夠獲得表示生成變化數(shù)據(jù)和傳送數(shù)據(jù)的時(shí)間的時(shí)間信息，并且，能夠按照這些變化數(shù)據(jù)、傳送數(shù)據(jù)和時(shí)間信息對(duì)由于與所述另一通信方設(shè)備進(jìn)行數(shù)據(jù)傳送而引入的延遲進(jìn)行校正，因此，即使在各種狀態(tài)隨時(shí)間動(dòng)態(tài)變化的環(huán)境中，也能夠減小傳送延遲的影響。
權(quán)利要求2的發(fā)明提供了如權(quán)利要求1所述的數(shù)據(jù)傳送器-接收器，其還包括傳送裝置，用于將由數(shù)據(jù)獲取裝置獲取的、在預(yù)定時(shí)間的變化數(shù)據(jù)和由時(shí)間信息獲取裝置獲取的、表示預(yù)定時(shí)間的預(yù)定時(shí)間信息傳送到所述另一通信方設(shè)備，并且，校正裝置根據(jù)由傳送裝置傳送的在預(yù)定時(shí)間的變化數(shù)據(jù)與由數(shù)據(jù)獲取裝置獲得的最新的變化數(shù)據(jù)之間的差異，對(duì)由接收裝置接收的在預(yù)定時(shí)間的傳送數(shù)據(jù)進(jìn)行校正。
按照上述配置，即使在各種狀態(tài)隨時(shí)間動(dòng)態(tài)變化的環(huán)境中，當(dāng)與另一通信方設(shè)備進(jìn)行雙向通信時(shí)，數(shù)據(jù)傳送器-接收器也能夠根據(jù)在預(yù)定時(shí)間的變化數(shù)據(jù)與最新變化數(shù)據(jù)之間的差異，對(duì)預(yù)定時(shí)間的傳送數(shù)據(jù)的跟蹤延遲進(jìn)行校正，并且減小跟蹤延遲的影響。
權(quán)利要求3的發(fā)明提供了如權(quán)利要求1或2所述的數(shù)據(jù)傳送器-接收器，還包括存儲(chǔ)裝置，用于使由數(shù)據(jù)獲取裝置獲得的變化數(shù)據(jù)與由時(shí)間信息獲取裝置獲得的、表示時(shí)間的時(shí)間信息相關(guān)聯(lián)并且存儲(chǔ)所述信息；其中，校正裝置根據(jù)存儲(chǔ)在存儲(chǔ)裝置中的、對(duì)應(yīng)于最新時(shí)間信息的最新變化數(shù)據(jù)與對(duì)應(yīng)于預(yù)定時(shí)間信息的變化數(shù)據(jù)之間的差異，將由接收裝置接收的、在預(yù)定時(shí)間的傳送數(shù)據(jù)校正到與最新時(shí)間信息對(duì)應(yīng)的傳送數(shù)據(jù)。
按照上述配置，通過(guò)在使變化數(shù)據(jù)與時(shí)間信息相關(guān)聯(lián)之后在存儲(chǔ)裝置中存儲(chǔ)變化數(shù)據(jù)和時(shí)間信息，數(shù)據(jù)傳送器-接收器能夠根據(jù)對(duì)應(yīng)于最新時(shí)間信息的最新變化數(shù)據(jù)與對(duì)應(yīng)于預(yù)定時(shí)間信息的變化數(shù)據(jù)之間的差異，將在預(yù)定時(shí)間的傳送數(shù)據(jù)容易地校正到對(duì)應(yīng)于最新時(shí)間信息的傳送數(shù)據(jù)。因此，即使在各種狀態(tài)動(dòng)態(tài)變化的環(huán)境中，當(dāng)與另一通信方設(shè)備進(jìn)行雙向數(shù)據(jù)通信時(shí)，也能夠減小跟蹤延遲的影響。
權(quán)利要求4的發(fā)明提供了如權(quán)利要求1到3中的任何一個(gè)所述的數(shù)據(jù)傳送器-接收器，其中，數(shù)據(jù)獲取裝置與時(shí)間信息獲取裝置獲得時(shí)間信息的定時(shí)同步地獲得變化數(shù)據(jù)。
按照上述配置，由于時(shí)間信息獲取定時(shí)與變化數(shù)據(jù)獲取定時(shí)同步，因此，通過(guò)按照所述定時(shí)生成包括變化數(shù)據(jù)的通信數(shù)據(jù)包，可以將添加到通信數(shù)據(jù)包的頭部的時(shí)間標(biāo)記用作時(shí)間信息并且抑制傳送數(shù)據(jù)量。
權(quán)利要求5的發(fā)明提供了如權(quán)利要求4所述的數(shù)據(jù)傳送器-接收器，其中，時(shí)間信息獲取裝置與要傳送到另一通信方設(shè)備的經(jīng)過(guò)編碼的數(shù)據(jù)的編碼周期同步地獲得時(shí)間信息。
按照上述配置，當(dāng)向另一通信方設(shè)備傳送經(jīng)過(guò)編碼的數(shù)據(jù)時(shí)，可以利用經(jīng)過(guò)編碼的數(shù)據(jù)的編碼周期獲得時(shí)間信息。因此，數(shù)據(jù)傳送器-接收器不必向另一通信方設(shè)備傳送時(shí)間信息，并且，能夠抑制傳送數(shù)據(jù)量。
權(quán)利要求6的發(fā)明提供了一種用于與另一通信方設(shè)備進(jìn)行雙向數(shù)據(jù)傳送的數(shù)據(jù)傳送器-接收器，它包括接收裝置，用于從另一通信方設(shè)備接收按照時(shí)間變化的變化數(shù)據(jù)和表示生成變化數(shù)據(jù)的時(shí)間的時(shí)間信息；數(shù)據(jù)生成裝置，用于按照由接收裝置接收的變化數(shù)據(jù)生成要傳送到另一通信方設(shè)備的傳送數(shù)據(jù)；時(shí)間信息復(fù)制裝置，用于對(duì)由接收裝置接收的時(shí)間信息進(jìn)行復(fù)制；以及傳送裝置，用于將由數(shù)據(jù)生成裝置生成的傳送數(shù)據(jù)和由時(shí)間信息復(fù)制裝置復(fù)制的時(shí)間信息傳送到另一通信方設(shè)備。
按照上述配置，由于數(shù)據(jù)傳送器-接收器在接收裝置接收的時(shí)間信息表示的時(shí)間生成傳送數(shù)據(jù)并且將時(shí)間信息與生成的傳送數(shù)據(jù)一起傳送到另一通信方設(shè)備，因此，當(dāng)生成傳送數(shù)據(jù)時(shí)，另一通信方設(shè)備能夠掌握，并且，能夠?qū)νㄟ^(guò)數(shù)據(jù)傳送而引入的延遲進(jìn)行校正。
權(quán)利要求7的發(fā)明提供了如權(quán)利要求6所述的數(shù)據(jù)傳送器-接收器，其中，接收裝置接收經(jīng)過(guò)編碼的數(shù)據(jù)而不是時(shí)間信息，并且，時(shí)間信息復(fù)制裝置利用由接收裝置接收的經(jīng)過(guò)編碼的數(shù)據(jù)的編碼周期對(duì)時(shí)間信息進(jìn)行復(fù)制。
按照上述配置，在不接收來(lái)自另一通信方設(shè)備的時(shí)間信息的情況下，數(shù)據(jù)傳送器-接收器能夠利用經(jīng)過(guò)編碼的數(shù)據(jù)的編碼周期對(duì)時(shí)間信息進(jìn)行復(fù)制。因此，能夠減小數(shù)據(jù)傳送帶寬。
權(quán)利要求8的發(fā)明提供了如權(quán)利要求1到7中的任何一個(gè)所述的數(shù)據(jù)傳送器-接收器，其中，傳送數(shù)據(jù)是媒體數(shù)據(jù)，而變化數(shù)據(jù)是表示用于接收媒體數(shù)據(jù)的接收器的位置和方向中的至少一個(gè)的位置方向信息。
按照上述配置，數(shù)據(jù)傳送器-接收器通過(guò)獲得生成位置方向信息和媒體數(shù)據(jù)的時(shí)間并且對(duì)媒體數(shù)據(jù)的跟蹤延遲進(jìn)行校正來(lái)減小跟蹤延遲的影響，并且，可以實(shí)現(xiàn)高質(zhì)量的媒體數(shù)據(jù)傳送。
權(quán)利要求9的發(fā)明提供了一種包括第一數(shù)據(jù)傳送器-接收器和第二數(shù)據(jù)傳送器-接收器的雙向數(shù)據(jù)通信系統(tǒng)，其中，第一數(shù)據(jù)傳送器-接收器包括數(shù)據(jù)獲取裝置，用于獲得隨時(shí)間變化的變化數(shù)據(jù)；時(shí)間信息獲取裝置，用于獲得表示生成由數(shù)據(jù)獲取裝置獲得的變化數(shù)據(jù)的時(shí)間的時(shí)間信息；傳送裝置，用于將由數(shù)據(jù)獲取裝置獲得的變化數(shù)據(jù)和由時(shí)間信息獲取裝置獲得的時(shí)間信息傳送到第二數(shù)據(jù)傳送器-接收器；接收裝置，用于接收從第二數(shù)據(jù)傳送器-接收器傳送的傳送數(shù)據(jù)和表示傳送數(shù)據(jù)是在預(yù)定時(shí)間的數(shù)據(jù)的預(yù)定時(shí)間信息；以及校正裝置，用于根據(jù)由數(shù)據(jù)獲取裝置獲得的變化數(shù)據(jù)、由時(shí)間信息獲取裝置獲得的時(shí)間信息、由接收裝置接收的預(yù)定時(shí)間信息以及傳送數(shù)據(jù)，對(duì)由于與第二數(shù)據(jù)傳送器-接收器進(jìn)行數(shù)據(jù)傳送而引入的延遲進(jìn)行校正，并且，第二數(shù)據(jù)傳送器-接收器包括接收裝置，用于從第一數(shù)據(jù)傳送器-接收器接收變化數(shù)據(jù)和表示生成變化數(shù)據(jù)的預(yù)定時(shí)間的預(yù)定時(shí)間信息；數(shù)據(jù)生成裝置，用于按照由接收裝置接收的變化數(shù)據(jù)生成傳送數(shù)據(jù)；時(shí)間信息復(fù)制裝置，用于對(duì)由接收裝置接收的預(yù)定時(shí)間信息進(jìn)行復(fù)制；以及傳送裝置，用于將由數(shù)據(jù)生成裝置生成的傳送數(shù)據(jù)和由時(shí)間信息復(fù)制裝置復(fù)制的預(yù)定時(shí)間信息傳送到第一數(shù)據(jù)傳送器-接收器。
按照上述配置，構(gòu)成雙向數(shù)據(jù)傳送系統(tǒng)的第二傳送器-接收器將表示生成傳送數(shù)據(jù)的時(shí)間的時(shí)間信息與傳送數(shù)據(jù)一起傳送到第一傳送器-接收器，并且，當(dāng)生成傳送數(shù)據(jù)和變化數(shù)據(jù)時(shí)，第一傳送器-接收器掌握，由此，即使在各種狀態(tài)隨時(shí)間動(dòng)態(tài)變化的環(huán)境中，也能夠?qū)τ捎谂c第二數(shù)據(jù)傳送器-接收器進(jìn)行數(shù)據(jù)傳送而引入的延遲進(jìn)行校正并且能夠減小傳送延遲的影響。此外，由于通過(guò)將處理分散到第一數(shù)據(jù)傳送器-接收器和第二數(shù)據(jù)傳送器-接收器來(lái)進(jìn)行處理，因此，即使數(shù)據(jù)傳送器-接收器是資源貧乏的終端單元，也能夠減小處理負(fù)擔(dān)。因此，可以減小傳送延遲的影響，同時(shí)保持每個(gè)數(shù)據(jù)傳送器-接收器的合理的負(fù)荷和數(shù)據(jù)傳送帶寬。
權(quán)利要求10的發(fā)明提供了一種終端單元接收由服務(wù)器傳送的媒體數(shù)據(jù)的數(shù)據(jù)傳送接收方法，該方法包括如下步驟第一信息獲取步驟，其中，終端單元獲得表示接收器的位置和方向中的至少一個(gè)的第一位置方向信息以及表示生成第一位置方向信息的時(shí)間的第一時(shí)間信息；存儲(chǔ)步驟，其中，終端單元使第一位置方向信息與第一時(shí)間信息相關(guān)聯(lián)并將信息存儲(chǔ)在存儲(chǔ)器中；第一信息傳送步驟，其中，終端單元將第一位置方向信息和第一時(shí)間信息傳送到服務(wù)器；數(shù)據(jù)處理步驟，其中，服務(wù)器按照在第一信息傳送步驟中傳送的第一位置方向信息，對(duì)要傳送到終端單元的媒體數(shù)據(jù)進(jìn)行處理；時(shí)間信息復(fù)制步驟，其中，服務(wù)器對(duì)在第一信息傳送步驟中傳送的第一時(shí)間信息進(jìn)行復(fù)制；媒體數(shù)據(jù)傳送步驟，其中，服務(wù)器將在數(shù)據(jù)處理步驟中處理的媒體數(shù)據(jù)和在時(shí)間信息復(fù)制步驟中復(fù)制的第一時(shí)間信息傳送到終端單元；第一位置方向信息獲取步驟，其中，終端單元從存儲(chǔ)器獲得與在媒體數(shù)據(jù)傳送步驟中傳送的第一時(shí)間信息對(duì)應(yīng)的第一位置方向信息；第二信息獲取步驟，其中，終端單元獲得第二位置方向信息以及表示生成第二位置方向信息的時(shí)間的第二時(shí)間信息；以及校正步驟，其中，終端單元按照第二位置方向信息、第二時(shí)間信息、第一位置方向信息以及第一時(shí)間信息，將在媒體數(shù)據(jù)傳送步驟中傳送的媒體數(shù)據(jù)校正到與第二時(shí)間信息對(duì)應(yīng)的媒體數(shù)據(jù)。
按照上述方法，終端單元能夠?qū)⒌谝晃恢梅较蛐畔⒑偷谝粫r(shí)間信息傳送到服務(wù)器，服務(wù)器能夠生成與第一時(shí)間信息對(duì)應(yīng)的媒體數(shù)據(jù)，終端單元能夠按照第一位置方向信息、第一時(shí)間信息以及新得到的第二位置方向信息和第二時(shí)間信息，將與第一時(shí)間信息對(duì)應(yīng)的媒體數(shù)據(jù)校正到與第二時(shí)間信息對(duì)應(yīng)的媒體數(shù)據(jù)。因此，即使位置方向信息被從終端單元反饋到服務(wù)器，也能夠減小跟蹤延遲并且能夠?qū)γ襟w數(shù)據(jù)進(jìn)行再現(xiàn)。此外，由于通過(guò)將處理分散到服務(wù)器和終端單元，因此能夠減小處理負(fù)擔(dān)。即使在接收器的方向和位置動(dòng)態(tài)變化的動(dòng)態(tài)環(huán)境中，也能夠減小在傳送路徑中的傳送延遲的影響并且提高通信質(zhì)量。
按照本發(fā)明，數(shù)據(jù)傳送器-接收器能夠得到表示生成變化數(shù)據(jù)和傳送數(shù)據(jù)的時(shí)間的時(shí)間信息，并且能夠按照變化數(shù)據(jù)、傳送數(shù)據(jù)和時(shí)間信息對(duì)由于與另一通信方設(shè)備進(jìn)行數(shù)據(jù)傳送而引入的延遲進(jìn)行校正。因此，即使在各種狀態(tài)隨時(shí)間動(dòng)態(tài)變化的環(huán)境中，也能夠減小傳送延遲的影響。


圖1示出了本發(fā)明第一實(shí)施例的立體聲傳送系統(tǒng)的示意性配置；圖2為示出了第一實(shí)施例的終端的功能配置的框圖；圖3為示出了第一實(shí)施例的服務(wù)器的功能配置的框圖；圖4為用于說(shuō)明第一實(shí)施例的終端和服務(wù)器的示例性操作的流程圖；圖5為用于對(duì)第一實(shí)施例的跟蹤延遲與傳統(tǒng)的跟蹤延遲進(jìn)行比較的順序圖；圖6為示出了構(gòu)成本發(fā)明第二實(shí)施例的雙向數(shù)據(jù)傳送系統(tǒng)的傳送側(cè)設(shè)備的功能配置的框圖；圖7為示出了構(gòu)成第二實(shí)施例的雙向數(shù)據(jù)傳送系統(tǒng)的接收側(cè)設(shè)備的功能配置的框圖；圖8為用于說(shuō)明第二實(shí)施例的傳送側(cè)設(shè)備和接收側(cè)設(shè)備的操作的流程圖；圖9為第一修改的終端的功能配置的框圖，一個(gè)數(shù)據(jù)獲取部分與時(shí)間信息獲取部分同步運(yùn)行的例子；圖10為第二修改的終端的功能配置的框圖，示出了時(shí)間信息獲取部分與收聽者方的編碼的聲學(xué)數(shù)據(jù)的編碼周期同步運(yùn)行的例子；圖11為第三修改的服務(wù)器的功能配置的框圖，示出了從接收的聲學(xué)編碼聲學(xué)數(shù)據(jù)復(fù)制時(shí)間信息，從而將該信息與立體聲數(shù)據(jù)一起傳送的例子；
圖12為傳統(tǒng)的立體聲傳送系統(tǒng)的示意性配置，示出了用于對(duì)接收多個(gè)聲源數(shù)據(jù)進(jìn)行立體聲處理的終端；圖13為傳統(tǒng)的立體聲傳送系統(tǒng)的另一種示意性配置，示出了包括服務(wù)器和終端的立體聲傳送系統(tǒng)，其中，服務(wù)器用于接收多個(gè)聲源數(shù)據(jù)并且執(zhí)行立體聲處理并對(duì)其進(jìn)行傳送，而終端用于對(duì)接收的立體聲數(shù)據(jù)進(jìn)行再現(xiàn)；并且圖14為傳統(tǒng)的立體聲傳送系統(tǒng)的另一種示意性配置，示出了包括服務(wù)器和終端的立體聲傳送系統(tǒng)，其中，服務(wù)器用于接收多個(gè)聲源數(shù)據(jù)并且執(zhí)行立體聲處理并對(duì)其進(jìn)行傳送，而終端用于根據(jù)最新的位置方向信息，對(duì)接收的立體聲數(shù)據(jù)進(jìn)行校正和再現(xiàn)。
具體實(shí)施例方式
以下將參照附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行描述。在以下描述中被參照的附圖中，與其它圖中相同的部分具有相同的符號(hào)。
(第一實(shí)施例)首先，對(duì)本發(fā)明的第一實(shí)施例進(jìn)行描述。在第一實(shí)施例的情況下，將本發(fā)明的數(shù)據(jù)傳送器-接收器應(yīng)用于構(gòu)成立體聲傳送系統(tǒng)1的終端10和服務(wù)器20。
圖1示出了本發(fā)明第一實(shí)施例的立體聲傳送系統(tǒng)的示意性配置。如圖1所示，立體聲傳送系統(tǒng)1包括終端10和服務(wù)器20。終端10和服務(wù)器20包括硬件，如沒有示出的CPU(中央處理器)、存儲(chǔ)器和通信接口等。軟件，如數(shù)據(jù)和程序，被存儲(chǔ)在存儲(chǔ)器中。在程序中，包括用于向和從另一通信方傳送和接收時(shí)間信息并且利用時(shí)間信息進(jìn)行處理的程序。通過(guò)終端10和服務(wù)器20的硬件和軟件，在終端10和服務(wù)器20中實(shí)現(xiàn)下述功能配置。
<終端的功能配置>
圖2為示出了終端10的功能配置的框圖。
圖2所示的數(shù)據(jù)獲取部分11獲得關(guān)于收聽者的頭部和身體的位置和方向的位置方向信息，作為隨時(shí)間變化的變化數(shù)據(jù)。允許數(shù)據(jù)獲取部分11從傳感器如陀螺傳感器或磁性傳感器獲得位置方向信息，或者從GPS(全球定位系統(tǒng))或指南針獲得位置方向信息。此外，當(dāng)利用立體聲信號(hào)對(duì)虛擬音頻空間進(jìn)行再現(xiàn)時(shí)，允許數(shù)據(jù)獲取部分11獲得當(dāng)收聽者使用游戲桿等時(shí)隨意輸入到終端10的位置或方向。
時(shí)間信息獲取部分12獲得表示生成由數(shù)據(jù)獲取部分11獲得的位置方向信息的時(shí)間的時(shí)間信息。該時(shí)間信息可以是內(nèi)部時(shí)鐘的時(shí)間信息，或者是當(dāng)數(shù)據(jù)獲取部分11接收來(lái)自GPS的接收位置方向信息時(shí)的GPS的時(shí)間信息。
存儲(chǔ)器部分13包括如非易失存儲(chǔ)器等存儲(chǔ)器。存儲(chǔ)器部分13存儲(chǔ)由數(shù)據(jù)獲取部分11獲得的位置方向信息和由時(shí)間信息獲取部分12獲得的時(shí)間信息。
傳送部分15將由數(shù)據(jù)獲取部分11獲得的位置方向信息和由時(shí)間信息獲取部分12獲得的時(shí)間信息傳送到服務(wù)器20。接收部分16接收來(lái)自服務(wù)器20的、作為傳送數(shù)據(jù)的立體聲數(shù)據(jù)。此外，接收部分16接收立體聲數(shù)據(jù)和表示生成立體聲數(shù)據(jù)的時(shí)間的時(shí)間信息。
校正部分14按照由數(shù)據(jù)獲取部分11獲得的位置方向信息、由時(shí)間信息獲取部分12獲得的時(shí)間信息以及由接收部分16接收的時(shí)間信息和立體聲數(shù)據(jù)，對(duì)由于與服務(wù)器20進(jìn)行的數(shù)據(jù)傳送所引入的跟蹤延遲進(jìn)行校正。
具體地說(shuō)，校正部分14首先從存儲(chǔ)器部分13讀取與由接收部分16接收的時(shí)間信息對(duì)應(yīng)的位置方向信息。然后，校正部分14從數(shù)據(jù)獲取部分11獲得最新的位置方向信息。校正部分14根據(jù)讀取的位置方向信息與最新的位置方向信息之間的差異，對(duì)立體聲數(shù)據(jù)進(jìn)行校正。還允許校正部分14從數(shù)據(jù)獲取部分11或者通過(guò)存儲(chǔ)器部分13獲得最新的位置方向信息。此外，作為一種校正立體聲數(shù)據(jù)的方法，允許計(jì)算兩個(gè)位置方向信息之間的差異，獲得對(duì)應(yīng)于該差異的校正傳遞函數(shù)，并通過(guò)該校正傳遞函數(shù)來(lái)處理接收到的立體聲數(shù)據(jù)。也允許通過(guò)利用兩個(gè)位置方向信息之間的差異來(lái)使用在美國(guó)專利No.6532291中披露的技術(shù)。在進(jìn)行距離校正的情況下，允許利用濾波器模擬距離衰減，或者允許使用用于更簡(jiǎn)單地改變音量的技術(shù)。當(dāng)從服務(wù)器20傳送到終端10的傳送數(shù)據(jù)是圖像數(shù)據(jù)時(shí)，允許服務(wù)器20將視角比顯示的范圍寬的圖像傳送到終端10，并且，終端10的校正部分14根據(jù)頭部旋轉(zhuǎn)，改變要顯示的圖像范圍。
<服務(wù)器的功能配置>
以下對(duì)服務(wù)器20的功能配置進(jìn)行描述。圖3為示出了服務(wù)器20的功能配置的框圖。
服務(wù)器20的接收部分23從一個(gè)或多個(gè)終端10接收時(shí)間信息和位置方向信息。
數(shù)據(jù)生成部分21按照由接收部分23接收的位置方向信息，對(duì)接收的聲學(xué)數(shù)據(jù)應(yīng)用立體聲處理。
時(shí)間信息復(fù)制部分22對(duì)由接收部分23從終端10接收的時(shí)間信息進(jìn)行復(fù)制，這個(gè)時(shí)間信息表示與用于在數(shù)據(jù)生成部分21生成立體聲數(shù)據(jù)的方向位置信息有關(guān)的時(shí)間信息。
傳送部分24將由數(shù)據(jù)生成部分21生成的立體聲數(shù)據(jù)以及由時(shí)間信息復(fù)制部分22復(fù)制的時(shí)間信息傳送到終端10。
<運(yùn)行>
以下將對(duì)構(gòu)成立體聲傳送系統(tǒng)1的終端10和服務(wù)器20的運(yùn)行的例子進(jìn)行描述。
終端10的數(shù)據(jù)獲取部分11獲得收聽者的位置方向信息D(步驟S101)，同時(shí)，時(shí)間信息獲取部分12獲得表示生成位置方向信息D的時(shí)間的時(shí)間信息Tn(步驟S102)。
終端10的傳送部分15將在時(shí)間信息Tn的時(shí)間的位置方向信息D(Tn)和時(shí)間信息Tn傳送到服務(wù)器20，并且，終端10還將位置方向信息D(Tn)和時(shí)間信息Tn寫入存儲(chǔ)器部分13(步驟S103)。
服務(wù)器20的接收部分23接收來(lái)自終端10的時(shí)間信息Tn和位置方向信息D(Tn)(步驟S201)。數(shù)據(jù)生成部分21按照位置方向信息D(Tn)，通過(guò)例如利用與位置方向信息D(Tn)和聲學(xué)數(shù)據(jù)之間的相對(duì)關(guān)系對(duì)應(yīng)的頭部傳遞函數(shù)，對(duì)聲學(xué)數(shù)據(jù)進(jìn)行立體聲處理，從而生成在時(shí)間信息Tn的時(shí)間的聲場(chǎng)中的立體聲數(shù)據(jù)S(Tn)(步驟S202)。為了表示生成的立體聲數(shù)據(jù)S(Tn)是在時(shí)間Tn的聲場(chǎng)，時(shí)間信息復(fù)制部分22對(duì)時(shí)間信息Tn進(jìn)行復(fù)制(步驟S203)。傳送部分24將立體聲數(shù)據(jù)S(Tn)和時(shí)間信息Tn傳送到終端10(步驟S204)。
終端10的接收部分16接收來(lái)自服務(wù)器20的時(shí)間信息Tn和立體聲數(shù)據(jù)S(Tn)(步驟S104)。校正部分14從存儲(chǔ)器部分13中讀取在時(shí)間信息Tn的時(shí)間的位置方向信息D(Tn)(步驟S105)。
校正部分14接收來(lái)自數(shù)據(jù)獲取部分11的最新位置方向信息D(Tm)(步驟S106)，按照位置方向信息D(Tn)與最新位置方向信息D(Tm)之間的差異對(duì)立體聲數(shù)據(jù)S(Tn)進(jìn)行校正(步驟S107)，并且生成要由終端10實(shí)際再現(xiàn)的立體聲數(shù)據(jù)S’(Tm)(步驟S108)。
將立體聲數(shù)據(jù)和表示用于生成立體聲數(shù)據(jù)的位置方向信息的時(shí)間的輔助信息從用于進(jìn)行立體聲處理的服務(wù)器20傳送到終端10，并且，終端10利用輔助信息對(duì)最新頭部位置和方向之間的差異進(jìn)行校正?？梢詫?duì)由跟蹤延遲導(dǎo)致的聲音圖像不匹配進(jìn)行補(bǔ)償。
圖5為用于說(shuō)明按照傳統(tǒng)方法的跟蹤延遲以及在圖4所描述的本實(shí)施例的運(yùn)行例子中的跟蹤延遲的順序圖。圖5中示出的τa表示在圖13所示的傳統(tǒng)的服務(wù)器處理系統(tǒng)中對(duì)立體聲數(shù)據(jù)S進(jìn)行再現(xiàn)的方法(用于在Tn的時(shí)刻，將表示收聽者的位置和方向的位置方向信息一次反饋到服務(wù)器20側(cè)，由服務(wù)器20側(cè)將進(jìn)行了立體聲處理的聲學(xué)數(shù)據(jù)傳送到終端10，并且在時(shí)刻Tn對(duì)聲學(xué)數(shù)據(jù)S進(jìn)行再現(xiàn)的方法)的情況下的跟蹤延遲。此外，τb表示在圖4所示的本實(shí)施例的再現(xiàn)方法(用于在終端10側(cè)按照最新(在時(shí)刻Tm的)位置方向信息進(jìn)行校正，并且在時(shí)刻Tm對(duì)立體聲數(shù)據(jù)S進(jìn)行再現(xiàn)的方法)中的跟蹤延遲。因此，與傳統(tǒng)方法的跟蹤延遲τa相比，本實(shí)施例只需要很小的跟蹤延遲τb。
在本實(shí)施例的情況下，即使為了再現(xiàn)動(dòng)態(tài)立體聲聲場(chǎng)而將收聽者頭部的位置和方向從終端10反饋到服務(wù)器20側(cè)，也可以在終端10通過(guò)接收作為輔助信息的時(shí)間信息，以很低的延遲對(duì)立體聲聲場(chǎng)進(jìn)行再現(xiàn)。此外，由于對(duì)與頭部和身體的旋轉(zhuǎn)對(duì)應(yīng)的立體聲處理在服務(wù)器20側(cè)和終端10側(cè)分布，因此可以在不將處理負(fù)擔(dān)加到資源貧乏的終端10的情況下，以很低的延遲對(duì)動(dòng)態(tài)立體聲聲場(chǎng)進(jìn)行再現(xiàn)。
即使改變收聽者與聲源之間的相對(duì)位置和收聽者的方向，也能夠改善跟蹤延遲并降低處理負(fù)擔(dān)。
對(duì)于上述實(shí)施例，對(duì)從服務(wù)器20傳送到終端10的數(shù)據(jù)是立體聲數(shù)據(jù)的情況進(jìn)行了描述。但是，該實(shí)施例也可以被應(yīng)用于圖像數(shù)據(jù)、文本數(shù)據(jù)以及包括圖像數(shù)據(jù)和立體聲數(shù)據(jù)的媒體數(shù)據(jù)(medium data)。
此外，在上述實(shí)施例的情況下，對(duì)傳送只有立體聲數(shù)據(jù)的單個(gè)媒體數(shù)據(jù)的情況進(jìn)行了描述。但是，當(dāng)傳送多個(gè)媒體數(shù)據(jù)時(shí)，允許使用與每個(gè)媒體數(shù)據(jù)對(duì)應(yīng)的不同的時(shí)間信息，或者允許具有一個(gè)共同的時(shí)間信息。
(第二實(shí)施例)以下對(duì)本發(fā)明的第二實(shí)施例進(jìn)行描述。對(duì)于第二實(shí)施例，將本發(fā)明的數(shù)據(jù)傳送器-接收器應(yīng)用于構(gòu)成雙向數(shù)據(jù)傳送系統(tǒng)2的傳送側(cè)設(shè)備30和接收側(cè)設(shè)備40。
傳送側(cè)設(shè)備30和接收側(cè)設(shè)備40分別包括沒有示出的CPU、存儲(chǔ)器、顯示器和通信接口，并且分別具有通用計(jì)算機(jī)的硬件配置。例如數(shù)據(jù)和程序的軟件被存儲(chǔ)在存儲(chǔ)器中。在這些程序中，包括用于向和從另一通信方設(shè)備傳送和接收時(shí)間信息與數(shù)據(jù)并且利用時(shí)間信息進(jìn)行處理的程序。通過(guò)設(shè)備30和40中的每一個(gè)的硬件和軟件，在設(shè)備30和40中的每一個(gè)中實(shí)現(xiàn)下述功能配置。
圖6為示出了構(gòu)成雙向數(shù)據(jù)傳送系統(tǒng)2的傳送側(cè)設(shè)備30的功能配置的框圖。
數(shù)據(jù)獲取部分31獲得圖像數(shù)據(jù)，作為要隨時(shí)間變化的變化數(shù)據(jù)。
時(shí)間信息獲取部分32獲得表示生成由數(shù)據(jù)獲取部分31獲得的圖像數(shù)據(jù)的時(shí)間的時(shí)間信息。
傳送部分34將由數(shù)據(jù)獲取部分31獲得的圖像數(shù)據(jù)和由時(shí)間信息獲取部分32獲得的時(shí)間信息傳送到接收側(cè)設(shè)備40。
接收部分35接收來(lái)自接收側(cè)設(shè)備40的、作為傳送數(shù)據(jù)的事件信息。事件信息是表示在接收側(cè)設(shè)備40中出現(xiàn)預(yù)定事件的信息。此外，接收部分35接收事件信息和表示事件發(fā)生的時(shí)間的時(shí)間信息。
校正部分33根據(jù)由接收部分35接收的事件信息和時(shí)間信息，對(duì)在接收的時(shí)間信息表示的時(shí)間出現(xiàn)什么事件進(jìn)行判斷，并且，將由數(shù)據(jù)獲取部分31獲得的最新圖像數(shù)據(jù)校正為事件發(fā)生時(shí)的圖像數(shù)據(jù)。由此，本實(shí)施例對(duì)由數(shù)據(jù)獲取部分31獲得的變化數(shù)據(jù)進(jìn)行校正。
圖7為示出了構(gòu)成雙向數(shù)據(jù)傳送系統(tǒng)2的接收側(cè)設(shè)備40的功能配置的框圖。圖7所示的接收部分43接收?qǐng)D像數(shù)據(jù)和表示生成該圖象數(shù)據(jù)的時(shí)間的時(shí)間信息。
數(shù)據(jù)生成部分41根據(jù)由接收部分43接收的圖像數(shù)據(jù)生成事件信息。例如，當(dāng)為了使圖像數(shù)據(jù)停止，接收者通過(guò)鼠標(biāo)點(diǎn)擊由接收側(cè)設(shè)備40接收的、顯示在顯示器上的圖像數(shù)據(jù)時(shí)，數(shù)據(jù)生成部分41生成表示點(diǎn)擊鼠標(biāo)的事件信息。
傳送部分44將由數(shù)據(jù)生成部分41生成的事件信息和由時(shí)間信息復(fù)制部分42復(fù)制的時(shí)間信息傳送到傳送側(cè)設(shè)備30。
<運(yùn)行>
以下參照?qǐng)D8對(duì)運(yùn)行進(jìn)行描述。作為運(yùn)行的例子，使用了這樣的例子，其中，傳送側(cè)設(shè)備30傳送圖像數(shù)據(jù)，接收側(cè)設(shè)備40在顯示器上顯示接收的圖像數(shù)據(jù)，并且，接收者通過(guò)用鼠標(biāo)對(duì)圖像進(jìn)行點(diǎn)擊使圖像停止。
首先，傳送側(cè)設(shè)備30的數(shù)據(jù)獲取部分31預(yù)先得到要傳送到接收側(cè)設(shè)備40的圖像數(shù)據(jù)V(t)(步驟S301)，并且，時(shí)間信息獲取部分32得到對(duì)應(yīng)的時(shí)間信息t(步驟S302)。傳送部分34將圖像數(shù)據(jù)V(t)和時(shí)間信息t傳送到接收側(cè)設(shè)備40(步驟S303)。
接收側(cè)設(shè)備40顯示接收的圖像數(shù)據(jù)V(t)(步驟S401)，并且向接收者示出數(shù)據(jù)。當(dāng)接收者為了使顯示的圖像停止而通過(guò)鼠標(biāo)點(diǎn)擊時(shí)間信息t1的圖像數(shù)據(jù)V(t1)時(shí)，接收側(cè)設(shè)備40立即停止顯示圖像數(shù)據(jù)，并且，數(shù)據(jù)生成部分41生成表示點(diǎn)擊鼠標(biāo)的事件信息(步驟S402)。時(shí)間信息復(fù)制部分42對(duì)與發(fā)生了事件的圖像數(shù)據(jù)對(duì)應(yīng)的時(shí)間信息t1進(jìn)行復(fù)制(步驟S403)。接收側(cè)設(shè)備40將事件信息和時(shí)間信息t1返回到傳送側(cè)設(shè)備30(步驟S404)。
傳送側(cè)設(shè)備30接收事件信息和復(fù)制時(shí)間信息t1(步驟S304)。在這種情況下，當(dāng)假設(shè)將事件信息和復(fù)制時(shí)間信息t1從接收側(cè)設(shè)備40傳送到傳送側(cè)設(shè)備30需要的時(shí)間為d時(shí)，傳送側(cè)設(shè)備30接收事件信息和復(fù)制時(shí)間信息t1的時(shí)間變?yōu)閠1+d。因此，傳送側(cè)設(shè)備30完成向接收側(cè)設(shè)備40傳送從V(t1+1)到V(t1+d)的圖像數(shù)據(jù)。
傳送側(cè)設(shè)備30的校正部分33判斷在接收到的復(fù)制時(shí)間信息t1的時(shí)間在圖像數(shù)據(jù)V(t1)中出現(xiàn)停止事件，將圖像數(shù)據(jù)V(t1+d)校正到圖像數(shù)據(jù)V(t1)(步驟S305)，并且在圖像數(shù)據(jù)V(t1)中執(zhí)行停止處理(步驟S306)。由此，傳送側(cè)設(shè)備30的圖像停止在V(t1)。因此，當(dāng)傳送側(cè)設(shè)備30和接收側(cè)設(shè)備40停止時(shí)，它們的圖像變?yōu)閂(t1)。
由此，能夠按照從接收側(cè)設(shè)備40接收的時(shí)間信息t1，將傳送側(cè)設(shè)備30中的最新圖像數(shù)據(jù)V(t1+d)校正到圖像數(shù)據(jù)V(t1)，并且，消除了跟蹤延遲的影響。當(dāng)利用具有延遲的傳送路徑進(jìn)行交互式通信時(shí)，盡管傳送側(cè)設(shè)備30和接收側(cè)設(shè)備40得到的圖像數(shù)據(jù)的狀態(tài)隨時(shí)改變，但傳送側(cè)設(shè)備30和接收側(cè)設(shè)備40可以利用時(shí)間信息保持相同的內(nèi)部狀態(tài)。
因此認(rèn)為，在基于確認(rèn)雙向通信的情況下，傳送側(cè)設(shè)備30變?yōu)榻邮諅?cè)而接收側(cè)設(shè)備40變?yōu)閭魉蛡?cè)。
此外，在上述實(shí)施例的情況下，對(duì)將圖像數(shù)據(jù)從傳送側(cè)設(shè)備30傳送到接收側(cè)設(shè)備40進(jìn)行了描述。但是，被傳送的數(shù)據(jù)的類型不限于圖像數(shù)據(jù)。還允許使用如立體聲數(shù)據(jù)或文本數(shù)據(jù)等媒體數(shù)據(jù)。
此外，事件類型不限于使圖像停止。例如，允許事件類型是使圖像快速向前或向后。
(修改)本發(fā)明不限于上述實(shí)施例?？梢詫?duì)本發(fā)明進(jìn)行各種修改，只要修改不脫離本發(fā)明的本質(zhì)即可。作為修改，考慮了以下情況。
(1)第一修改圖9示出了第一修改的終端10的功能配置。當(dāng)數(shù)據(jù)獲取部分111與時(shí)間信息獲取部分12同步時(shí)，本修改起作用。即，數(shù)據(jù)獲取部分111與時(shí)間信息獲取部分12獲得時(shí)間信息的獲取定時(shí)同步地獲得位置方向信息。
例如，考慮終端10和服務(wù)器20按照RTP(H.Schulzrinne等人的“RTP一種用于實(shí)時(shí)應(yīng)用程序的傳送協(xié)議(RTPA TransportProtocol for Real-Time Applications)”，RFC1889，Jan.1996)進(jìn)行分組通信的情況。在這種情況下，終端10的時(shí)間信息獲取部分12包括例如用于對(duì)RTP數(shù)據(jù)包的傳送定時(shí)進(jìn)行計(jì)時(shí)的定時(shí)器，并且，時(shí)間信息獲取部分12按照由定時(shí)器計(jì)時(shí)的RTP數(shù)據(jù)包傳送定時(shí)獲得時(shí)間信息。時(shí)間信息獲取部分12將獲得的時(shí)間信息存儲(chǔ)在存儲(chǔ)器部分13中，并將用于獲得位置方向信息的定時(shí)傳送到數(shù)據(jù)獲取部分111。數(shù)據(jù)獲取部分111按照從時(shí)間信息獲取部分12傳送的定時(shí)獲得位置方向信息。終端10生成包括位置方向信息的RTP數(shù)據(jù)包，并且，將生成RTP數(shù)據(jù)包的時(shí)間標(biāo)記添加到RTP頭部。
由此，可以將RTP頭部的時(shí)間標(biāo)記用作時(shí)間信息并且減少要被傳送到服務(wù)器20的輔助信息。
作為另一個(gè)修改，允許時(shí)間信息獲取部分12不包括用于對(duì)RTP數(shù)據(jù)包的傳送定時(shí)進(jìn)行計(jì)時(shí)的定時(shí)器，但是，時(shí)間信息獲取部分12從外部定時(shí)器接收用于RTP數(shù)據(jù)包的傳送定時(shí)的通知，并且，按照這個(gè)定時(shí)獲得時(shí)間信息。
此外，這樣的修改可以被相似地應(yīng)用于第二實(shí)施例的傳送側(cè)設(shè)備30。
(2)第二修改圖10示出了第二修改的終端10的功能配置。在這種修改的情況下，時(shí)間信息獲取部分121的運(yùn)行與收聽者側(cè)的編碼聲學(xué)數(shù)據(jù)的編碼周期同步并由此獲得時(shí)間信息。此外，在這種修改的情況下，與第一修改的情況相似，數(shù)據(jù)獲取部分111的運(yùn)行與時(shí)間信息獲取部分121同步并由此獲得位置方向信息。
當(dāng)終端10對(duì)收聽者側(cè)的聲學(xué)數(shù)據(jù)如收聽者的語(yǔ)音進(jìn)行編碼并且將數(shù)據(jù)傳送到服務(wù)器20時(shí)，時(shí)間信息獲取部分121將聲學(xué)數(shù)據(jù)的時(shí)間信息，如經(jīng)過(guò)編碼的幀周期或者采樣周期用作要獲得的時(shí)間信息。由于數(shù)據(jù)獲取部分111與數(shù)據(jù)獲取部分12同步運(yùn)行，因此，數(shù)據(jù)獲取部分111按照收聽者側(cè)聲學(xué)數(shù)據(jù)的編碼周期，獲得位置方向信息。
具體地說(shuō)，時(shí)間信息獲取部分12只需要對(duì)例如經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)的經(jīng)過(guò)編碼的幀數(shù)進(jìn)行計(jì)數(shù)，將幀數(shù)與位置方向信息一起存儲(chǔ)在存儲(chǔ)器部分13中作為時(shí)間信息。當(dāng)假設(shè)通信開始時(shí)間為T0時(shí)，可以根據(jù)編碼幀的長(zhǎng)度L和數(shù)量N，將生成位置方向信息的時(shí)間Tn計(jì)算為Tn＝T0+L×N。
還允許按照每幀生成位置方向信息，或者，當(dāng)使用短周期如采樣周期時(shí)，允許按照每若干個(gè)樣本生成位置方向信息。
即使當(dāng)從服務(wù)器20側(cè)接收的時(shí)間信息是幀數(shù)N或時(shí)間Tn時(shí)，上述的計(jì)算表達(dá)式也是有效的。因此，可以從存儲(chǔ)器部分13中讀取對(duì)應(yīng)的位置方向信息。
接收經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)的服務(wù)器20可以利用與終端10的情況相同的程序，根據(jù)經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)計(jì)算時(shí)間。此外，由于即使在終端10從服務(wù)器20接收幀數(shù)的情況下，終端10也能夠根據(jù)幀數(shù)計(jì)算時(shí)間，因此，終端10不必向服務(wù)器20傳送時(shí)間信息，并且，可以減少要傳送到服務(wù)器20的輔助信息。
經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)不限于聲學(xué)數(shù)據(jù)。只要數(shù)據(jù)是經(jīng)過(guò)編碼的數(shù)據(jù)，則可以使用任何數(shù)據(jù)。例如，允許使用經(jīng)過(guò)編碼的位置方向信息。此外，這個(gè)修改可以相似地應(yīng)用于第二實(shí)施例的傳送側(cè)設(shè)備30。
(3)第三修改圖11示出了第三修改的服務(wù)器20的功能配置。在這樣的修改的情況下，服務(wù)器20接收經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)而不是時(shí)間信息，并且，根據(jù)接收的經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)計(jì)算并生成時(shí)間信息。
服務(wù)器20的接收部分23從一個(gè)或多個(gè)終端10接收經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)和位置方向信息。
數(shù)據(jù)生成部分21根據(jù)由接收部分23獲得的位置方向信息，對(duì)接收的經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)或者要傳送到終端10的其它聲學(xué)數(shù)據(jù)進(jìn)行立體聲處理，從而生成要在終端10側(cè)再現(xiàn)的立體聲數(shù)據(jù)。在這種情況下，如果需要，在進(jìn)行立體聲處理之前，部分21進(jìn)行解碼。
在這種情況下，為了在終端10側(cè)按照最新位置方向信息進(jìn)行校正，需要表示立體聲數(shù)據(jù)屬于聲場(chǎng)的哪個(gè)時(shí)點(diǎn)(point of time)的時(shí)間信息。在這樣的修改的情況下，當(dāng)接收來(lái)自圖10所示的終端10的經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)時(shí)，即使服務(wù)器20的接收部分23不接收時(shí)間信息，時(shí)間信息復(fù)制部分221也能夠通過(guò)使用接收的經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)生成時(shí)間信息。例如，允許對(duì)由時(shí)間信息復(fù)制部分221接收的經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)的經(jīng)過(guò)編碼的幀數(shù)進(jìn)行計(jì)數(shù)，并且將幀數(shù)用作時(shí)間信息。此外，允許時(shí)間信息復(fù)制部分221通過(guò)將通信開始時(shí)間設(shè)定為T0，利用上述的計(jì)算表達(dá)式，根據(jù)編碼幀長(zhǎng)度L和幀數(shù)N計(jì)算生成位置方向信息時(shí)的時(shí)間Tn。
由此，可以根據(jù)接收的經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)生成時(shí)間信息。因此，當(dāng)圖10所示的終端10按照經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)的編碼周期生成位置方向信息并將該信息傳送到服務(wù)器20時(shí)，即使服務(wù)器20不接收時(shí)間信息，服務(wù)器20也能夠傳送表示立體聲數(shù)據(jù)屬于聲場(chǎng)的哪個(gè)時(shí)點(diǎn)的時(shí)間信息。由于不需要向服務(wù)器20傳送時(shí)間信息，因此可以減少輔助信息并且抑制數(shù)據(jù)傳送帶寬。
經(jīng)過(guò)編碼的聲學(xué)數(shù)據(jù)不限于聲學(xué)數(shù)據(jù)，只要數(shù)據(jù)是經(jīng)過(guò)編碼的數(shù)據(jù)即可。此外，可以將本修改相似地應(yīng)用于第二實(shí)施例的接收側(cè)設(shè)備40。
當(dāng)在通信環(huán)境中，例如在收聽者的位置和方向、另一通信方設(shè)備的位置以及傳送側(cè)設(shè)備和接收側(cè)設(shè)備的內(nèi)部狀態(tài)等各種狀態(tài)動(dòng)態(tài)變化的移動(dòng)通信網(wǎng)絡(luò)中，通過(guò)具有延遲的傳送路徑進(jìn)行交互式通信時(shí)，可以將本發(fā)明應(yīng)用于必須減小傳送延遲的影響并提高通信質(zhì)量的每個(gè)行業(yè)。
權(quán)利要求
1.一種數(shù)據(jù)傳送器-接收器，用于與另一通信方設(shè)備進(jìn)行雙向數(shù)據(jù)傳送，包括數(shù)據(jù)獲取裝置，用于獲取隨時(shí)間變化的變化數(shù)據(jù)；時(shí)間信息獲取裝置，用于獲取表示生成從所述數(shù)據(jù)獲取裝置獲取的變化數(shù)據(jù)的時(shí)間的時(shí)間信息；接收裝置，用于接收從所述另一通信方設(shè)備傳送的傳送數(shù)據(jù)和表示所述傳送數(shù)據(jù)是在預(yù)定時(shí)間的數(shù)據(jù)的預(yù)定時(shí)間信息；以及校正裝置，用于根據(jù)由所述數(shù)據(jù)獲取裝置獲取的變化數(shù)據(jù)、由所述時(shí)間信息獲取裝置獲取的時(shí)間信息、由所述接收裝置接收的預(yù)定時(shí)間信息以及傳送數(shù)據(jù)，對(duì)由與所述另一通信方設(shè)備進(jìn)行數(shù)據(jù)傳送而引入的延遲進(jìn)行校正。
2.如權(quán)利要求1所述的數(shù)據(jù)傳送器-接收器，還包括傳送裝置，用于將由所述數(shù)據(jù)獲取裝置獲取的在預(yù)定時(shí)間的變化數(shù)據(jù)和由所述時(shí)間信息獲取裝置獲取的表示預(yù)定時(shí)間的所述預(yù)定時(shí)間信息傳送到所述另一通信方設(shè)備；其中，所述校正裝置根據(jù)由所述傳送裝置傳送的在預(yù)定時(shí)間的變化數(shù)據(jù)與由所述數(shù)據(jù)獲取裝置獲取的最新變化數(shù)據(jù)之間的差異，對(duì)由所述接收裝置接收的在預(yù)定時(shí)間的傳送數(shù)據(jù)的跟蹤延遲進(jìn)行校正。
3.如權(quán)利要求1或2所述的數(shù)據(jù)傳送器-接收器，還包括存儲(chǔ)裝置，用于使由所述數(shù)據(jù)獲取裝置獲取的變化數(shù)據(jù)與由所述時(shí)間信息獲取裝置獲取的表示時(shí)間的所述時(shí)間信息相關(guān)聯(lián)，并且存儲(chǔ)所述數(shù)據(jù)和所述信息；其中所述校正裝置根據(jù)存儲(chǔ)在所述存儲(chǔ)裝置中的、對(duì)應(yīng)于最新時(shí)間信息的最新變化數(shù)據(jù)與對(duì)應(yīng)于所述預(yù)定時(shí)間信息的所述變化數(shù)據(jù)之間的差異，將由所述接收裝置接收的在預(yù)定時(shí)間的傳送數(shù)據(jù)校正為與最新時(shí)間信息對(duì)應(yīng)的傳送數(shù)據(jù)。
4.如權(quán)利要求1到3中的任何一個(gè)所述的數(shù)據(jù)傳送器-接收器，其中所述數(shù)據(jù)獲取裝置與所述時(shí)間信息獲取裝置獲取所述時(shí)間信息的定時(shí)同步地獲得變化數(shù)據(jù)。
5.如權(quán)利要求4所述的數(shù)據(jù)傳送器-接收器，其中所述時(shí)間信息獲取裝置與要傳送到所述另一通信方設(shè)備的經(jīng)過(guò)編碼的數(shù)據(jù)的編碼周期同步地獲取時(shí)間信息。
6.一種數(shù)據(jù)傳送器-接收器，用于與另一通信方設(shè)備進(jìn)行雙向數(shù)據(jù)傳送，包括接收裝置，用于從所述另一通信方設(shè)備接收隨時(shí)間變化的變化數(shù)據(jù)和表示生成所述變化數(shù)據(jù)的時(shí)間的時(shí)間信息；數(shù)據(jù)生成裝置，用于按照由所述接收裝置接收的所述變化數(shù)據(jù)生成要傳送到所述另一通信方設(shè)備的傳送數(shù)據(jù)；時(shí)間信息復(fù)制裝置，用于對(duì)由所述接收裝置接收的時(shí)間信息進(jìn)行復(fù)制；以及傳送裝置，用于將由所述數(shù)據(jù)生成裝置生成的所述傳送數(shù)據(jù)和由所述時(shí)間信息復(fù)制裝置復(fù)制的時(shí)間信息傳送到所述另一通信方設(shè)備。
7.如權(quán)利要求6所述的數(shù)據(jù)傳送器-接收器，其中所述接收裝置接收經(jīng)過(guò)編碼的數(shù)據(jù)而不是所述時(shí)間信息，并且所述時(shí)間信息復(fù)制裝置利用由所述接收裝置接收的所述經(jīng)過(guò)編碼的數(shù)據(jù)的編碼周期對(duì)所述時(shí)間信息進(jìn)行復(fù)制。
8.如權(quán)利要求1到7中的任何一個(gè)所述的數(shù)據(jù)傳送器-接收器，其中所述傳送數(shù)據(jù)是媒體數(shù)據(jù)，而所述變化數(shù)據(jù)是表示用于接收所述媒體數(shù)據(jù)的接收器的位置和方向中的至少一個(gè)的位置方向信息。
9.一種雙向數(shù)據(jù)傳送系統(tǒng)，包括第一數(shù)據(jù)傳送器-接收器和第二數(shù)據(jù)傳送器-接收器，其中所述第一數(shù)據(jù)傳送器-接收器包括數(shù)據(jù)獲取裝置，用于獲取按隨時(shí)間變化的變化數(shù)據(jù)；時(shí)間信息獲取裝置，用于獲取表示生成從所述數(shù)據(jù)獲取裝置獲取的變化數(shù)據(jù)的時(shí)間的時(shí)間信息；傳送裝置，用于將由所述數(shù)據(jù)獲取裝置獲取的所述變化數(shù)據(jù)和由所述時(shí)間信息獲取裝置獲取的所述時(shí)間信息傳送到所述第二數(shù)據(jù)傳送器-接收器；接收裝置，用于接收從所述第二數(shù)據(jù)傳送器-接收器傳送的傳送數(shù)據(jù)和表示所述傳送數(shù)據(jù)是在預(yù)定時(shí)間的數(shù)據(jù)的預(yù)定時(shí)間信息；以及校正裝置，用于根據(jù)由所述數(shù)據(jù)獲取裝置獲取的變化數(shù)據(jù)、由所述時(shí)間信息獲取裝置獲取的時(shí)間信息，由所述接收裝置接收的預(yù)定時(shí)間信息以及傳送數(shù)據(jù)，對(duì)通過(guò)與所述第二數(shù)據(jù)傳送器-接收器進(jìn)行數(shù)據(jù)傳送而引入的延遲進(jìn)行校正，并且所述第二數(shù)據(jù)傳送器-接收器包括接收裝置，用于從第一數(shù)據(jù)傳送器-接收器接收變化數(shù)據(jù)和表示生成所述變化數(shù)據(jù)的預(yù)定時(shí)間的所述預(yù)定時(shí)間信息；數(shù)據(jù)生成裝置，用于按照由所述接收裝置接收的所述變化數(shù)據(jù)生成傳送數(shù)據(jù)；時(shí)間信息復(fù)制裝置，用于對(duì)由所述接收裝置接收的所述預(yù)定時(shí)間信息進(jìn)行復(fù)制；以及傳送裝置，用于將由所述數(shù)據(jù)生成裝置生成的所述傳送數(shù)據(jù)和由所述時(shí)間信息復(fù)制裝置復(fù)制的所述預(yù)定時(shí)間信息傳送到所述第一數(shù)據(jù)傳送器-接收器。
10.一種數(shù)據(jù)傳送接收方法，其中終端單元接收由服務(wù)器傳送的媒體數(shù)據(jù)，所述方法包括如下步驟第一信息獲取步驟，其中，所述終端單元獲取表示接收器的位置和方向中的至少一個(gè)的第一位置方向信息以及表示生成所述第一位置方向信息的時(shí)間的第一時(shí)間信息；存儲(chǔ)步驟，其中，所述終端單元使所述第一位置方向信息與所述第一時(shí)間信息相關(guān)聯(lián)并將該信息存儲(chǔ)在存儲(chǔ)器中；第一信息傳送步驟，其中，所述終端單元將所述第一位置方向信息和所述第一時(shí)間信息傳送到所述服務(wù)器；數(shù)據(jù)處理步驟，其中，所述服務(wù)器按照在所述第一信息傳送步驟中傳送的所述第一傳送位置方向信息，對(duì)要傳送到所述終端單元的所述媒體數(shù)據(jù)進(jìn)行處理；時(shí)間信息復(fù)制步驟，其中，所述服務(wù)器對(duì)在所述第一信息傳送步驟中傳送的所述第一時(shí)間信息進(jìn)行復(fù)制；媒體數(shù)據(jù)傳送步驟，其中，所述服務(wù)器將在所述數(shù)據(jù)處理步驟中處理的所述媒體數(shù)據(jù)和在所述時(shí)間信息復(fù)制步驟中復(fù)制的所述第一時(shí)間信息傳送到所述終端單元；第一位置方向信息獲取步驟，其中，所述終端單元從所述存儲(chǔ)器獲取與在所述媒體數(shù)據(jù)傳送步驟中傳送的所述第一時(shí)間信息對(duì)應(yīng)的第一位置方向信息；第二信息獲取步驟，其中，所述終端單元獲取第二位置方向信息以及表示生成所述第二位置方向信息的時(shí)間的第二時(shí)間信息；以及校正步驟，其中，所述終端單元按照所述第二位置方向信息、所述第二時(shí)間信息、所述第一位置方向信息以及所述第一時(shí)間信息，將在所述媒體數(shù)據(jù)傳送步驟中傳送的媒體數(shù)據(jù)校正為與所述第二時(shí)間信息對(duì)應(yīng)的媒體數(shù)據(jù)。
全文摘要
本發(fā)明提供了在各種狀態(tài)隨時(shí)間動(dòng)態(tài)變化的環(huán)境中，能減少與另一通信方設(shè)備進(jìn)行雙向通信的傳送延遲的影響的數(shù)據(jù)傳送器－接收器雙向傳送系統(tǒng)和數(shù)據(jù)傳送接收方法。終端10的數(shù)據(jù)獲取部分11獲得位置方向信息D(Tn)，時(shí)間信息獲取部分12獲得時(shí)間信息Tn。終端10將D(Tn)和Tn存儲(chǔ)在存儲(chǔ)器部分13中，傳送部分15將D(Tn)和Tn傳送到服務(wù)器20，其數(shù)據(jù)生成部分21利用D(Tn)生成立體聲數(shù)據(jù)S(Tn)，時(shí)間信息復(fù)制部分22復(fù)制Tn，傳送部分24將S(Tn)和Tn傳送到終端10。數(shù)據(jù)獲取部分11獲得位置方向信息D(Tm)，時(shí)間信息獲取部分12獲得時(shí)間信息Tm，校正部分14對(duì)D(Tm)與D(Tn)之間的差異進(jìn)行校正，從而生成S’(m)。
文檔編號(hào)H04S3/00GK1832634SQ20061005477
公開日2006年9月13日 申請(qǐng)日期2006年3月10日 優(yōu)先權(quán)日2005年3月11日
發(fā)明者安田泰代, 仲信彥, 大矢智之, 三木俊雄 申請(qǐng)人:株式會(huì)社Ntt都科摩