全景視頻的音頻處理方法、裝置和播放系統(tǒng)的制作方法
【專利摘要】本發(fā)明實(shí)施例提供了一種全景視頻的音頻處理方法和音頻處理裝置以及全景視頻的播放系統(tǒng)，該方法包括：確定觀看全景視頻的用戶和全景視頻的音源之間的當(dāng)前相對(duì)位置信息；根據(jù)當(dāng)前相對(duì)位置信息和與當(dāng)前相對(duì)位置信息相關(guān)的預(yù)設(shè)濾波系數(shù)，確定當(dāng)前位置信息對(duì)應(yīng)的目標(biāo)濾波系數(shù)；根據(jù)目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻進(jìn)行濾波處理，生成3D音頻。本發(fā)明可以基于觀看全景視頻的用戶和全景視頻的音源之間的相對(duì)位置信息來(lái)確定與該相對(duì)位置信息相匹配的濾波系數(shù)，從而對(duì)經(jīng)過(guò)該相對(duì)位置信息所對(duì)應(yīng)的路徑的聲波進(jìn)行濾波處理，以生成與該相對(duì)位置信息相匹配的3D音頻，使得觀看全景視頻的用戶能夠從不同的角度收聽到與其實(shí)際觀看場(chǎng)景相匹配的不同3D音效。
【專利說(shuō)明】
全景視頻的音頻處理方法、裝置和播放系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是設(shè)及一種全景視頻的音頻處理方法和一種全 景視頻的音頻處理裝置W及一種全景視頻的播放系統(tǒng)。
【背景技術(shù)】
[0002] 隨著計(jì)算技術(shù)的飛速發(fā)展，全景視頻的引入，為人們的觀影體驗(yàn)帶來(lái)了更加震撼 的感受。其中，全景視頻是由許多連拍圖片組合而成，并通過(guò)對(duì)鏡頭方向的實(shí)時(shí)調(diào)整，來(lái)為 觀眾提供不同角度的視頻觀看，從而使得相對(duì)于鏡頭處于不同位置的觀眾都能觀看到適應(yīng) 于本人所處角度的全景視頻。
[0003] 但是，在現(xiàn)有技術(shù)中的全景視頻僅僅做到了隨著觀眾觀影方向的不同，調(diào)整視頻 畫面，而在實(shí)際的應(yīng)用環(huán)境下，全景視頻的聲音效果并不能夠做到隨著觀眾視角位置的不 同而不同。
[0004] 為了增加觀眾對(duì)視頻的臨場(chǎng)體驗(yàn)，3D音效成為重要組成部分，如果在全景視頻中 能夠從不同的角度產(chǎn)生不同的音效，那么將會(huì)提高觀眾的視聽效果。
[0005] 因此，目前需要本領(lǐng)域技術(shù)人員迫切解決的一個(gè)技術(shù)問(wèn)題就是：如何在全景視頻 中從不同的角度產(chǎn)生不同的音效。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明實(shí)施例所要解決的技術(shù)問(wèn)題是提供一種全景視頻的音頻處理方法和裝置 W及全景視頻的播放系統(tǒng)，W解決在全景視頻中無(wú)法從不同的角度產(chǎn)生不同的音效的問(wèn) 題。
[0007] 為了解決上述問(wèn)題，根據(jù)本發(fā)明的一個(gè)方面，本發(fā)明公開了一種全景視頻的音頻 處理方法，包括：
[000引確定觀看全景視頻的用戶和全景視頻的音源之間的當(dāng)前相對(duì)位置信息；
[0009] 根據(jù)當(dāng)前相對(duì)位置信息和與當(dāng)前相對(duì)位置信息相關(guān)的預(yù)設(shè)濾波系數(shù)，確定當(dāng)前位 置信息對(duì)應(yīng)的目標(biāo)濾波系數(shù)；
[0010] 根據(jù)目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻進(jìn)行濾波處理，生成3D音頻。
[0011] 根據(jù)本發(fā)明的另一方面，本發(fā)明還公開了一種全景視頻的音頻處理裝置，包括：
[0012] 第一確定模塊，用于確定觀看全景視頻的用戶和全景視頻的音源之間的當(dāng)前相對(duì) 位置信息；
[0013] 第二確定模塊，用于根據(jù)當(dāng)前相對(duì)位置信息和與當(dāng)前相對(duì)位置信息相關(guān)的預(yù)設(shè)濾 波系數(shù)，確定當(dāng)前位置信息對(duì)應(yīng)的目標(biāo)濾波系數(shù)；
[0014] 濾波處理模塊，用于根據(jù)目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻進(jìn)行濾波處理，生成3D音 頻。
[0015] 根據(jù)本發(fā)明的又一方面，本發(fā)明還公開了一種全景視頻的播放系統(tǒng)，包括:上述的 全景視頻的音頻處理裝置。
[0016] 與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例包括W下優(yōu)點(diǎn)：
[0017] 本發(fā)明可W基于觀看全景視頻的用戶和全景視頻的音源之間的相對(duì)位置信息來(lái) 確定與該相對(duì)位置信息相匹配的濾波系數(shù)，從而對(duì)經(jīng)過(guò)該相對(duì)位置信息所對(duì)應(yīng)的路徑的聲 波進(jìn)行濾波處理，W生成與該相對(duì)位置信息相匹配的3D音頻，使得觀看全景視頻的用戶能 夠從不同的角度收聽到與其實(shí)際觀看場(chǎng)景相匹配的不同3D音效。
[0018] 此外，本發(fā)明能夠基于不同坐標(biāo)系來(lái)確定用戶和音頻之間的當(dāng)前相對(duì)位置信息， 從而提高位置信息的準(zhǔn)確度;此外，通過(guò)對(duì)與當(dāng)前相對(duì)位置信息相關(guān)的不同相對(duì)位置信息 所分別對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)來(lái)進(jìn)行計(jì)算處理，來(lái)得到對(duì)應(yīng)當(dāng)前相對(duì)位置信息的濾波系數(shù)， 能夠?qū)θ魏蜗鄬?duì)位置信息所對(duì)應(yīng)的濾波系數(shù)進(jìn)行計(jì)算，應(yīng)用廣泛;最后，在對(duì)輸入音頻進(jìn)行 濾波處理時(shí)，采用的是與該當(dāng)前相對(duì)位置信息對(duì)應(yīng)的濾波系數(shù)，從而使得對(duì)該音頻的濾波 效果與實(shí)際收聽場(chǎng)景相匹配，提高用戶視聽感受。
【附圖說(shuō)明】
[0019] 圖1是本發(fā)明的一種全景視頻的播放系統(tǒng)實(shí)施例的系統(tǒng)示意圖；
[0020] 圖2是本發(fā)明的一種全景視頻的音頻處理方法實(shí)施例的步驟流程圖；
[0021 ]圖3是本發(fā)明的另一種全景視頻的音頻處理方法實(shí)施例的步驟流程圖；
[0022] 圖4是本發(fā)明的另一種全景視頻的音頻處理方法實(shí)施例的第一坐標(biāo)軸示意圖；
[0023] 圖5是本發(fā)明的另一種全景視頻的音頻處理方法實(shí)施例的第二坐標(biāo)軸示意圖；
[0024] 圖6是本發(fā)明的另一種全景視頻的音頻處理方法實(shí)施例的3D音頻生成流程；
[0025] 圖7是本發(fā)明的一種全景視頻的音頻處理裝置實(shí)施例的結(jié)構(gòu)框圖；
[0026] 圖8是本發(fā)明的另一種全景視頻的音頻處理裝置實(shí)施例的結(jié)構(gòu)框圖；
[0027] 圖9是本發(fā)明的另一種全景視頻的播放系統(tǒng)實(shí)施例的系統(tǒng)示意圖。
【具體實(shí)施方式】
[0028] 為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí) 施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
[0029] 由于音源的聲波到達(dá)用戶兩耳的強(qiáng)度、延時(shí)、頻譜等差異，使得人耳能夠分辨聲音 的方位。其中，到達(dá)人耳的聲波可W看成是從音源經(jīng)過(guò)了一個(gè)濾波器濾波處理后得到的；而 左右耳不同的濾波系數(shù)將會(huì)產(chǎn)生兩耳所接收的聲波差異，從而產(chǎn)生方位感。其中，用戶位置 不變，左右耳的濾波系數(shù)不同；此外，用戶同一個(gè)耳朵處在不同的位置，其所接收的聲波所 經(jīng)過(guò)的濾波系數(shù)也不同。
[0030] 那么為了使用戶在觀看全景視頻時(shí)，使處于不同位置的用戶都能感受到3D音效， 同時(shí)，在用戶所處方位、角度發(fā)生細(xì)微變化時(shí)，所接收的聲波仍為3D音效，參照?qǐng)D1，示出了 本發(fā)明的一種全景視頻的播放系統(tǒng)實(shí)施例的系統(tǒng)示意圖，系統(tǒng)的具體執(zhí)行流程如下：
[0031 ]首先，將音頻輸入流輸入至全景播放器；
[0032] 然后，判斷是否開啟了3D音效，如果未開啟，則直接將音頻輸出；
[0033] 如果開啟了 3D音效，則將音頻輸入流、3D濾波數(shù)據(jù)和音源相對(duì)位置信息（用戶和音 頻之間的相對(duì)位置信息）輸入至3D音效生成模塊，3D音效生成模塊借助于3D濾波數(shù)據(jù)和音 源相對(duì)位置信息對(duì)音頻輸入流進(jìn)行處理，生成3D音頻并輸出，從而實(shí)現(xiàn)全景視頻的3D音效 播放。
[0034] 通過(guò)上述3D音效生成模塊對(duì)輸入音頻的處理，能夠使輸出的3D音頻與音源相對(duì)位 置信息直接關(guān)聯(lián)，使得用戶在觀看全景視頻時(shí)能夠在不同的角度接收到不同的音效，提高 用戶的視聽效果。
[0035] 那么具體到3D音效生成模塊如何將輸入音頻處理為3D音頻，圖2則做出了詳細(xì)介 紹。參照?qǐng)D2,示出了本發(fā)明的一種全景視頻的音頻處理方法實(shí)施例的步驟流程圖，具體可 W包括如下步驟：
[0036] 步驟201，確定觀看全景視頻的用戶和全景視頻的音源之間的當(dāng)前相對(duì)位置信息；
[0037] 其中，可W確定觀看當(dāng)前全景視頻的觀眾和該全景視頻的音源之間的當(dāng)前相對(duì)位 置信息(例如可W包括高度、角度、距離等信息）。
[0038] 步驟203,根據(jù)當(dāng)前相對(duì)位置信息和與當(dāng)前相對(duì)位置信息相關(guān)的預(yù)設(shè)濾波系數(shù)，確 定當(dāng)前位置信息對(duì)應(yīng)的目標(biāo)濾波系數(shù)；
[0039] 其中，可W基于該當(dāng)前相對(duì)位置信息和與該當(dāng)前相對(duì)位置信息相關(guān)的預(yù)設(shè)濾波系 數(shù)，來(lái)確定當(dāng)前相對(duì)位置對(duì)應(yīng)的目標(biāo)濾波系數(shù)，即，音頻在全景視頻的音源和該用戶之間濾 波時(shí)的濾波系數(shù)。
[0040] 步驟205,根據(jù)目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻進(jìn)行濾波處理，生成3D音頻。
[0041] 最后，就可W根據(jù)確定的目標(biāo)濾波系數(shù)對(duì)全景視頻的當(dāng)前輸入音頻進(jìn)行濾波處 理，來(lái)生成3D音頻。
[0042] 借助于本發(fā)明上述實(shí)施例的技術(shù)方案，本發(fā)明可W基于觀看全景視頻的用戶和全 景視頻的音源之間的相對(duì)位置信息來(lái)確定與該相對(duì)位置信息相匹配的濾波系數(shù)，從而對(duì)經(jīng) 過(guò)該相對(duì)位置信息所對(duì)應(yīng)的路徑的聲波進(jìn)行濾波處理，W生成與該相對(duì)位置信息相匹配的 3D音頻，使得觀看全景視頻的用戶能夠從不同的角度收聽到與其實(shí)際觀看場(chǎng)景相匹配的不 同3D音效。
[0043] 參照如圖3,示出了本發(fā)明的另一種全景視頻的音頻處理方法實(shí)施例的步驟流程 圖，具體可W包括如下步驟：
[0044] 步驟301，基于笛卡爾坐標(biāo)系或球面坐標(biāo)系確定當(dāng)前相對(duì)位置信息。
[0045] 其中，可W基于笛卡爾坐標(biāo)系的坐標(biāo)(x，y，z)或者球面坐標(biāo)系的坐標(biāo)(.目,啤,r)來(lái)確 定觀看全景視頻的用戶和該全景視頻的音源之間的當(dāng)前相對(duì)位置信息。
[0046] 步驟303,按照預(yù)定的內(nèi)插方式，對(duì)與當(dāng)前相對(duì)位置信息相關(guān)的不同相對(duì)位置信息 所分別對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)進(jìn)行內(nèi)插擬合，得到當(dāng)前位置信息對(duì)應(yīng)的目標(biāo)濾波系數(shù)；
[0047] 其中，預(yù)設(shè)濾波系數(shù)具體可W是在預(yù)設(shè)音效庫(kù)中查找到的與當(dāng)前相對(duì)位置信息相 關(guān)的不同相對(duì)位置信息所分別對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)；
[0048] 其中，由于音源的位置可W來(lái)自無(wú)數(shù)個(gè)方位，從而造成音源和觀看全景視頻的用 戶之間的相對(duì)位置也是無(wú)數(shù)個(gè)。因此，為了節(jié)省資源存儲(chǔ)空間，在上述預(yù)設(shè)音效庫(kù)中可W存 儲(chǔ)多個(gè)具有代表性的相對(duì)位置信息所分別對(duì)應(yīng)的濾波系數(shù)。而在確定目標(biāo)濾波系數(shù)時(shí)，就 可W借助于與當(dāng)前相對(duì)位置信息相關(guān)的不同位置信息所分別對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)(一個(gè)或 多個(gè))來(lái)確定。
[0049] W-個(gè)具體實(shí)例為例，假如當(dāng)前相對(duì)位置的球面坐標(biāo)系的坐標(biāo)M為（30.3度，20.3 度，10)，而預(yù)設(shè)音效庫(kù)中并不存在對(duì)應(yīng)于該坐標(biāo)的預(yù)設(shè)濾波系數(shù)，那么就可W查找與當(dāng)前 坐標(biāo)M相近的兩個(gè)坐標(biāo)在預(yù)設(shè)音效庫(kù)中所分別對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)，例如與坐標(biāo)M(30.3度， 20.3度，10)相近且在預(yù)設(shè)音效庫(kù)中有存儲(chǔ)的坐標(biāo)A( 30度，20度，10)和坐標(biāo)B (30.5度，20.5， 10)，那么就可W根據(jù)該坐標(biāo)A對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)與坐標(biāo)B對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)來(lái)確定對(duì) 應(yīng)于M的濾波系數(shù)。
[0050] 其中，在本例中由于當(dāng)前坐標(biāo)M在預(yù)設(shè)音效庫(kù)中未存儲(chǔ)有對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)，因 此，需要查找兩個(gè)與坐標(biāo)M相近的兩個(gè)坐標(biāo)來(lái)確定坐標(biāo)M的濾波系數(shù);而如果該坐標(biāo)M在預(yù)設(shè) 音效庫(kù)中存儲(chǔ)有對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)，那么就可W直接將該對(duì)應(yīng)預(yù)設(shè)濾波系數(shù)確定為目標(biāo) 濾波系數(shù)。
[0051] 步驟305，根據(jù)目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻進(jìn)行濾波處理，生成3D音頻；
[0052] 其中，在確定了該當(dāng)前相對(duì)位置信息所對(duì)應(yīng)的聲波傳遞路徑的目標(biāo)濾波系數(shù)后就 可W對(duì)當(dāng)前輸入音頻進(jìn)行濾波處理，W生成3D音頻。
[0053] 步驟307,將3D音頻直接輸出到播放設(shè)備進(jìn)行播放，或者W文件流的方式輸出到文 件保存。
[0054] 其中，可W將該3D音頻直接輸出到播放設(shè)備，W達(dá)到實(shí)時(shí)輸出的效果;可選的，該 3D音頻也可W W文件流的方式輸出到文件保存，即，可W預(yù)先生成一定方位的3D音頻文件。
[0055] 借助于本發(fā)明實(shí)施例的上述技術(shù)方案，本發(fā)明能夠基于不同坐標(biāo)系來(lái)確定用戶和 音頻之間的當(dāng)前相對(duì)位置信息，從而提高位置信息的準(zhǔn)確度;此外，通過(guò)對(duì)與當(dāng)前相對(duì)位置 信息相關(guān)的不同相對(duì)位置信息所分別對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)來(lái)進(jìn)行計(jì)算處理，來(lái)得到對(duì)應(yīng)當(dāng) 前相對(duì)位置信息的濾波系數(shù)，能夠?qū)θ魏蜗鄬?duì)位置信息所對(duì)應(yīng)的濾波系數(shù)進(jìn)行計(jì)算，應(yīng)用 廣泛;最后，在對(duì)輸入音頻進(jìn)行濾波處理時(shí)，采用的是與該當(dāng)前相對(duì)位置信息對(duì)應(yīng)的濾波系 數(shù)，從而使得對(duì)該音頻的濾波效果與實(shí)際收聽場(chǎng)景相匹配，提高用戶視聽感受。
[0056] 可選的，在一個(gè)實(shí)施例中，根據(jù)本發(fā)明實(shí)施例的處理方法還包括:在當(dāng)前相對(duì)位置 信息更新的情況下（即，用戶與音源的相對(duì)位置關(guān)系發(fā)生改變的情況，例如，用戶扭頭、轉(zhuǎn) 身、走動(dòng)等），就可根據(jù)更新的當(dāng)前相對(duì)位置信息和與更新的當(dāng)前相對(duì)位置信息相關(guān)的預(yù)設(shè) 濾波系數(shù)，重新確定目標(biāo)濾波系數(shù);再根據(jù)重新確定的目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻進(jìn)行 濾波處理，生成3D音頻。
[0057] 借助于本發(fā)明實(shí)施例的上述技術(shù)方案，能夠基于用戶和音源之間的相對(duì)位置變 化，實(shí)時(shí)生成與該變化后的相對(duì)位置關(guān)系相適應(yīng)的3D音頻，從而能夠?yàn)樘幱诓煌嵌群臀?置的用戶實(shí)時(shí)提供全景視頻的3D音頻，提高視聽感受。
[0058] 可選的，在一個(gè)實(shí)施例中，根據(jù)本發(fā)明實(shí)施例的處理方法還包括：
[0059] 在當(dāng)前相對(duì)位置信息未更新的情況下（即，觀看全景視頻的用戶和該全景視頻的 音源之間的相對(duì)位置信息未發(fā)生任何變化），就可獲取用戶和音源之間的當(dāng)前距離信息;在 根據(jù)當(dāng)前距離信息和對(duì)應(yīng)當(dāng)前距離信息的第一預(yù)設(shè)衰減系數(shù)，對(duì)當(dāng)前輸入音頻的音量進(jìn)行 衰減處理。
[0060] 其中，在當(dāng)前相對(duì)位置信息不改變的情況下，即在同一方位下，音量的大小能夠在 一定程度上反應(yīng)距離信息，因此，為了提高3D音頻的視聽感受，還可W根據(jù)該當(dāng)前距離信息 對(duì)該當(dāng)前輸入音頻進(jìn)行音量的衰減處理，從而使得用戶聽到的3D音頻的音量也與其和音源 的實(shí)際距離相匹配。
[0061] 其中，在當(dāng)前距離信息更新的情況下(例如，用戶和音源之間的相對(duì)位置信息不改 變，而二者之間的距離發(fā)生變化），那么在根據(jù)當(dāng)前距離信息和對(duì)應(yīng)當(dāng)前距離信息的預(yù)設(shè)衰 減系數(shù)，對(duì)當(dāng)前輸入音頻的音量進(jìn)行衰減處理時(shí)，就可根據(jù)更新后的當(dāng)前距離信息和對(duì)應(yīng) 更新后的當(dāng)前距離信息的第二預(yù)設(shè)衰減系數(shù)，對(duì)當(dāng)前輸入音頻的音量進(jìn)行衰減處理。
[0062] 借助于本發(fā)明上述實(shí)施例的技術(shù)方案，本發(fā)明能夠?qū)斎氲囊纛l進(jìn)行音量的調(diào) 整，使得調(diào)整后的音量與該用戶和音源之間的距離相匹配，提高用戶對(duì)觀看的全景視頻的 3D視聽感受。
[0063] 為了更好的理解本發(fā)明的上述技術(shù)方案，下面結(jié)合一具體實(shí)施例來(lái)對(duì)本發(fā)明的上 述技術(shù)方案進(jìn)行詳細(xì)闡述。
[0064] 由于同一音源的聲波到達(dá)觀眾的兩個(gè)耳朵的濾波系數(shù)不同，因此，可W對(duì)左、右耳 建立傳遞函數(shù)模型(可W理解為對(duì)應(yīng)兩個(gè)耳朵的不同濾波系數(shù)的濾波器）；
[0065] 在利用傳遞函數(shù)模型計(jì)算兩耳的濾波系數(shù)時(shí)，可W通過(guò)笛卡爾坐標(biāo)系的坐標(biāo)(X， y，z)或是球面坐標(biāo)系的坐標(biāo)巧,中,r)來(lái)確定觀看全景視頻的用戶和該全景視頻的音源的當(dāng) 前相對(duì)位置信息(方位信息）。運(yùn)里W球面坐標(biāo)系的坐標(biāo)巧,傘,r)為例，其中，圖4示出了 0為 音源位置41相對(duì)于頭部42在Y軸的夾角，圖5示出了啤為音源位置41在Z軸上與XY平面的夾 角，r為音源位置41與用戶頭部42之間的直線距離。
[0066] 那么為了計(jì)算左、右耳至音源在當(dāng)前時(shí)間t的濾波系數(shù)化（t)和Hr(t)，就可W分別 基于上述當(dāng)前相對(duì)位置信息(目，斯r)和預(yù)設(shè)音效數(shù)據(jù)庫(kù)中的與該當(dāng)前相對(duì)位置信息相關(guān)的 濾波系數(shù)進(jìn)行內(nèi)插擬合，來(lái)得到左耳的對(duì)應(yīng)的濾波系數(shù)出（t)，右耳的對(duì)應(yīng)的濾波系數(shù)Hr (t)。
[0067] 然后，本發(fā)明實(shí)施例的處理方法就可W利用左右耳傳遞函數(shù)模型計(jì)算當(dāng)前時(shí)間左 右耳的3D音頻Yi(t)、Yr(t)，具體如下：
[006引
[0069]
[0070] 其中，當(dāng)前時(shí)間t輸入的音頻為X(t)，a為對(duì)應(yīng)距離r的衰減系數(shù)。
[0071 ]運(yùn)樣就得到了分別對(duì)應(yīng)于左耳和右耳的3D音頻。
[0072] 其中，在本實(shí)施例中，在全景視頻播放中引入了3D音效，在觀眾改變觀看視角時(shí)， 聲音的方位信息也會(huì)隨之改變，本發(fā)明W方位信息來(lái)改變音效;針對(duì)距離，引入了對(duì)數(shù)距離 衰減，可W根據(jù)衰減系數(shù)來(lái)設(shè)置隨距離的衰減程度〇,在方位不變，距離改變時(shí)能夠產(chǎn)生音 量隨距離變化的動(dòng)態(tài)效果。
[0073] 那么在用戶和音源之間的當(dāng)前方位發(fā)生改變的情況下，可W參照如圖6所示的3D 音頻生成流程，具體如下：
[0074] 在用戶發(fā)生轉(zhuǎn)頭、側(cè)身等引起方位改變的情況時(shí)，可W參照上述方法重新確定方 位信息，即，更新相對(duì)位置;然后，讀取預(yù)設(shè)音效數(shù)據(jù)庫(kù)中的與該更新相對(duì)位置相關(guān)的3D濾 波系數(shù)，從而重新計(jì)算濾波系數(shù)；
[0075] 然后，將計(jì)算的濾波系數(shù)時(shí)域信號(hào)經(jīng)過(guò)FFT進(jìn)行頻域信號(hào)的轉(zhuǎn)換；
[0076] W及，將輸入音頻數(shù)據(jù)時(shí)域信號(hào)經(jīng)過(guò)FFT進(jìn)行頻域信號(hào)的轉(zhuǎn)換；
[0077] 最后，再將轉(zhuǎn)換后的濾波系數(shù)和音頻數(shù)據(jù)作濾波運(yùn)算，并將運(yùn)算結(jié)果經(jīng)過(guò)IFFT進(jìn) 行頻域信號(hào)到時(shí)域信號(hào)的轉(zhuǎn)換，最后將轉(zhuǎn)換后的3D音頻輸出。
[0078] 其中，上述實(shí)施例中采用時(shí)域到頻域的轉(zhuǎn)換可W提高系統(tǒng)的計(jì)算速度，節(jié)省運(yùn)算 時(shí)間，降低音頻輸出延遲；同時(shí)針對(duì)聽者建立左右耳的傳遞函數(shù)模型，利用坐標(biāo)信息確定頭 部與音源的相對(duì)位置，那么在聽者觀看位置改變的過(guò)程中，就可W通過(guò)上述更新機(jī)制，根據(jù) 兩者更新的相對(duì)位置調(diào)整傳遞函數(shù)模型的參數(shù)，從而在不同的位置產(chǎn)生不同的聽覺(jué)效果。
[0079] 需要說(shuō)明的是，對(duì)于方法實(shí)施例，為了簡(jiǎn)單描述，故將其都表述為一系列的動(dòng)作組 合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明實(shí)施例并不受所描述的動(dòng)作順序的限制，因?yàn)橐?據(jù)本發(fā)明實(shí)施例，某些步驟可W采用其他順序或者同時(shí)進(jìn)行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該 知悉，說(shuō)明書中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例，所設(shè)及的動(dòng)作并不一定是本發(fā)明實(shí)施 例所必須的。
[0080] 參照?qǐng)D7,示出了本發(fā)明一種全景視頻的音頻處理裝置實(shí)施例的結(jié)構(gòu)框圖，具體可 W包括如下模塊：
[0081] 第一確定模塊71，用于確定觀看全景視頻的用戶和全景視頻的音源之間的當(dāng)前相 對(duì)位置信息；
[0082] 第二確定模塊72,用于根據(jù)當(dāng)前相對(duì)位置信息和與當(dāng)前相對(duì)位置信息相關(guān)的預(yù)設(shè) 濾波系數(shù)，確定當(dāng)前位置信息對(duì)應(yīng)的目標(biāo)濾波系數(shù)；
[0083] 濾波處理模塊73,用于根據(jù)目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻進(jìn)行濾波處理，生成3D 音頻。
[0084] 借助于本發(fā)明上述實(shí)施例的技術(shù)方案，本發(fā)明可W基于觀看全景視頻的用戶和全 景視頻的音源之間的相對(duì)位置信息來(lái)確定與該相對(duì)位置信息相匹配的濾波系數(shù)，從而對(duì)經(jīng) 過(guò)該相對(duì)位置信息所對(duì)應(yīng)的路徑的聲波進(jìn)行濾波處理，W生成與該相對(duì)位置信息相匹配的 3D音頻，使得觀看全景視頻的用戶能夠從不同的角度收聽到與其實(shí)際觀看場(chǎng)景相匹配的不 同3D音效。
[0085] 參照?qǐng)D8,示出了本發(fā)明另一種全景視頻的音頻處理裝置實(shí)施例的結(jié)構(gòu)框圖，具體 如下：
[0086] 第一確定模塊71，用于基于笛卡爾坐標(biāo)系或球面坐標(biāo)系確定當(dāng)前相對(duì)位置信息；
[0087] 查找模塊74,用于在預(yù)設(shè)音效庫(kù)中查找與當(dāng)前相對(duì)位置信息相關(guān)的不同相對(duì)位置 信息所分別對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)；
[0088] 第二確定模塊72可包括：
[0089] 內(nèi)插處理子模塊721，用于按照預(yù)定的內(nèi)插方式，對(duì)與當(dāng)前相對(duì)位置信息相關(guān)的不 同相對(duì)位置信息所分別對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)進(jìn)行內(nèi)插擬合，得到當(dāng)前位置信息對(duì)應(yīng)的目標(biāo) 濾波系數(shù)；
[0090] 其中，濾波處理模塊73的作用如上所述，在此不再寶述；
[0091] 獲取模塊75,用于在當(dāng)前相對(duì)位置信息未更新的情況下，獲取用戶和音源之間的 當(dāng)前距離信息；
[0092] 衰減處理模塊76,用于根據(jù)當(dāng)前距離信息和對(duì)應(yīng)當(dāng)前距離信息的第一預(yù)設(shè)衰減系 數(shù)，對(duì)當(dāng)前輸入音頻的音量進(jìn)行衰減處理；
[0093] 輸出模塊77,用于將濾波處理模塊處理生成的3D音頻直接輸出到播放設(shè)備進(jìn)行播 放，或者W文件流的方式輸出到文件保存。
[0094] 借助于本發(fā)明實(shí)施例的上述技術(shù)方案，本發(fā)明能夠基于不同坐標(biāo)系來(lái)確定用戶和 音頻之間的當(dāng)前相對(duì)位置信息，從而提高位置信息的準(zhǔn)確度;此外，通過(guò)對(duì)與當(dāng)前相對(duì)位置 信息相關(guān)的不同相對(duì)位置信息所分別對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)來(lái)進(jìn)行計(jì)算處理，來(lái)得到對(duì)應(yīng)當(dāng) 前相對(duì)位置信息的濾波系數(shù)，能夠?qū)θ魏蜗鄬?duì)位置信息所對(duì)應(yīng)的濾波系數(shù)進(jìn)行計(jì)算，應(yīng)用 廣泛;最后，在對(duì)輸入音頻進(jìn)行濾波處理時(shí)，采用的是與該當(dāng)前相對(duì)位置信息對(duì)應(yīng)的濾波系 數(shù)，從而使得對(duì)該音頻的濾波效果與實(shí)際收聽場(chǎng)景相匹配，提高用戶視聽感受。
[00%]可選的，根據(jù)本發(fā)明實(shí)施例的第二確定模塊72,還用于在當(dāng)前相對(duì)位置信息更新 的情況下，根據(jù)更新的當(dāng)前相對(duì)位置信息和與更新的當(dāng)前相對(duì)位置信息相關(guān)的預(yù)設(shè)濾波系 數(shù)，重新確定目標(biāo)濾波系數(shù)；
[0096] 濾波處理模塊73,還用于根據(jù)重新確定的目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻進(jìn)行濾波 處理，生成3D音頻。
[0097] 可選的，根據(jù)本發(fā)明實(shí)施例的衰減處理模塊77,還用于在當(dāng)前距離信息更新的情 況下，根據(jù)更新后的當(dāng)前距離信息和對(duì)應(yīng)更新后的當(dāng)前距離信息的第二預(yù)設(shè)衰減系數(shù)，對(duì) 當(dāng)前輸入音頻的音量進(jìn)行衰減處理。
[0098] 參照?qǐng)D9,示出了本發(fā)明另一種全景視頻的播放系統(tǒng)實(shí)施例的系統(tǒng)示意圖，包括： 上文所述的全景視頻的音頻處理裝置91和全景播放器92。
[0099] 在全景播放器92播放全景視頻時(shí)，可W選擇是否開啟3D音效，如果開啟3D音效，貝U 啟動(dòng)音頻處理裝置91，輸入的音頻就會(huì)經(jīng)過(guò)該音頻處理裝置91并處理為3D音頻后輸出。
[0100] 借助于本發(fā)明上述實(shí)施例的技術(shù)方案，本發(fā)明能夠在進(jìn)行全景視頻的播放過(guò)程中 實(shí)現(xiàn)3D音頻的實(shí)時(shí)輸出。
[0101] 對(duì)于裝置實(shí)施例而言，由于其與方法實(shí)施例基本相似，所W描述的比較簡(jiǎn)單，相關(guān) 之處參見(jiàn)方法實(shí)施例的部分說(shuō)明即可。
[0102] 本說(shuō)明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與 其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見(jiàn)即可。
[0103] 本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明實(shí)施例的實(shí)施例可提供為方法、裝置、或計(jì)算 機(jī)程序產(chǎn)品。因此，本發(fā)明實(shí)施例可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和 硬件方面的實(shí)施例的形式。而且，本發(fā)明實(shí)施例可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可 用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)（包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等）上 實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。
[0104] 本發(fā)明實(shí)施例是參照根據(jù)本發(fā)明實(shí)施例的方法、終端設(shè)備（系統(tǒng)）、和計(jì)算機(jī)程序 產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖 中的每一流程和/或方框、W及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻\(yùn)些 計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理終端設(shè) 備的處理器W產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備的處理器執(zhí) 行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中 指定的功能的裝置。
[0105] 運(yùn)些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備 W特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包 括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方 框或多個(gè)方框中指定的功能。
[0106] 運(yùn)些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理終端設(shè)備上，使得 在計(jì)算機(jī)或其他可編程終端設(shè)備上執(zhí)行一系列操作步驟W產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在 計(jì)算機(jī)或其他可編程終端設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程 和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。
[0107] 盡管已描述了本發(fā)明實(shí)施例的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基 本創(chuàng)造性概念，則可對(duì)運(yùn)些實(shí)施例做出另外的變更和修改。所W，所附權(quán)利要求意欲解釋為 包括優(yōu)選實(shí)施例W及落入本發(fā)明實(shí)施例范圍的所有變更和修改。
[0108] 最后，還需要說(shuō)明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將 一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來(lái)，而不一定要求或者暗示運(yùn)些實(shí)體或操作 之間存在任何運(yùn)種實(shí)際的關(guān)系或者順序。而且，術(shù)語(yǔ)"包括"、"包含"或者其任何其他變體意 在涵蓋非排他性的包含，從而使得包括一系列要素的過(guò)程、方法、物品或者終端設(shè)備不僅包 括那些要素，而且還包括沒(méi)有明確列出的其他要素，或者是還包括為運(yùn)種過(guò)程、方法、物品 或者終端設(shè)備所固有的要素。在沒(méi)有更多限制的情況下，由語(yǔ)句"包括一個(gè)……"限定的要 素，并不排除在包括所述要素的過(guò)程、方法、物品或者終端設(shè)備中還存在另外的相同要素。
[0109] W上對(duì)本發(fā)明所提供的一種全景視頻的音頻處理方法和一種全景視頻的音頻處 理裝置W及一種全景視頻的播放系統(tǒng)，進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明 的原理及實(shí)施方式進(jìn)行了闡述，W上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核 屯、思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在【具體實(shí)施方式】及應(yīng)用范 圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
【主權(quán)項(xiàng)】
1. 一種全景視頻的音頻處理方法，其特征在于，包括： 確定觀看所述全景視頻的用戶和所述全景視頻的音源之間的當(dāng)前相對(duì)位置信息； 根據(jù)所述當(dāng)前相對(duì)位置信息和與所述當(dāng)前相對(duì)位置信息相關(guān)的預(yù)設(shè)濾波系數(shù)，確定所 述當(dāng)前位置信息對(duì)應(yīng)的目標(biāo)濾波系數(shù)； 根據(jù)所述目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻進(jìn)行濾波處理，生成3D音頻。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定觀看所述全景視頻的用戶和所述 全景視頻的音源之間的當(dāng)前相對(duì)位置信息的步驟包括： 基于笛卡爾坐標(biāo)系或球面坐標(biāo)系確定所述當(dāng)前相對(duì)位置信息。3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)濾波系數(shù)具體是在預(yù)設(shè)音效庫(kù)中 查找到的與所述當(dāng)前相對(duì)位置信息相關(guān)的不同相對(duì)位置信息所分別對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)。4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述當(dāng)前相對(duì)位置信息和與所述 當(dāng)前相對(duì)位置信息相關(guān)的預(yù)設(shè)濾波系數(shù)，確定所述當(dāng)前位置信息對(duì)應(yīng)的目標(biāo)濾波系數(shù)的步 驟包括： 按照預(yù)定的內(nèi)插方式，對(duì)與所述當(dāng)前相對(duì)位置信息相關(guān)的不同相對(duì)位置信息所分別對(duì) 應(yīng)的預(yù)設(shè)濾波系數(shù)進(jìn)行內(nèi)插擬合，得到所述當(dāng)前位置信息對(duì)應(yīng)的目標(biāo)濾波系數(shù)。5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 在所述當(dāng)前相對(duì)位置信息更新的情況下，根據(jù)更新的當(dāng)前相對(duì)位置信息和與所述更新 的當(dāng)前相對(duì)位置信息相關(guān)的預(yù)設(shè)濾波系數(shù)，重新確定所述目標(biāo)濾波系數(shù)； 根據(jù)重新確定的所述目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻進(jìn)行濾波處理，生成3D音頻。6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括： 在所述當(dāng)前相對(duì)位置信息未更新的情況下，獲取所述用戶和所述音源之間的當(dāng)前距離 信息； 根據(jù)所述當(dāng)前距離信息和對(duì)應(yīng)所述當(dāng)前距離信息的第一預(yù)設(shè)衰減系數(shù)，對(duì)所述當(dāng)前輸 入音頻的音量進(jìn)行衰減處理。7. 根據(jù)權(quán)利要求6所述的方法，其特征在于，在所述當(dāng)前距離信息更新的情況下，所述 根據(jù)所述當(dāng)前距離信息和對(duì)應(yīng)所述當(dāng)前距離信息的預(yù)設(shè)衰減系數(shù)，對(duì)所述當(dāng)前輸入音頻的 音量進(jìn)行衰減處理的步驟包括： 根據(jù)更新后的所述當(dāng)前距離信息和對(duì)應(yīng)所述更新后的當(dāng)前距離信息的第二預(yù)設(shè)衰減 系數(shù)，對(duì)所述當(dāng)前輸入音頻的音量進(jìn)行衰減處理。8. 根據(jù)權(quán)利要求1所述的方法，其特征在于，在根據(jù)所述目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻 進(jìn)行濾波處理，生成3D音頻的步驟之后，所述方法還包括： 將所述3D音頻直接輸出到播放設(shè)備進(jìn)行播放，或者以文件流的方式輸出到文件保存。9. 一種全景視頻的音頻處理裝置，其特征在于，包括： 第一確定模塊，用于確定觀看所述全景視頻的用戶和所述全景視頻的音源之間的當(dāng)前 相對(duì)位置信息； 第二確定模塊，用于根據(jù)所述當(dāng)前相對(duì)位置信息和與所述當(dāng)前相對(duì)位置信息相關(guān)的預(yù) 設(shè)濾波系數(shù)，確定所述當(dāng)前位置信息對(duì)應(yīng)的目標(biāo)濾波系數(shù)； 濾波處理模塊，用于根據(jù)所述目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻進(jìn)行濾波處理，生成3D音 頻。10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述第一確定模塊用于基于笛卡爾坐標(biāo) 系或球面坐標(biāo)系確定所述當(dāng)前相對(duì)位置信息。11. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括： 查找模塊，用于在預(yù)設(shè)音效庫(kù)中查找與所述當(dāng)前相對(duì)位置信息相關(guān)的不同相對(duì)位置信 息所分別對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)。12. 根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述第二確定模塊包括： 內(nèi)插處理子模塊，用于按照預(yù)定的內(nèi)插方式，對(duì)與所述當(dāng)前相對(duì)位置信息相關(guān)的不同 相對(duì)位置信息所分別對(duì)應(yīng)的預(yù)設(shè)濾波系數(shù)進(jìn)行內(nèi)插擬合，得到所述當(dāng)前位置信息對(duì)應(yīng)的目 標(biāo)濾波系數(shù)。13. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述第二確定模塊，還用于在所述當(dāng)前相 對(duì)位置信息更新的情況下，根據(jù)更新的當(dāng)前相對(duì)位置信息和與所述更新的當(dāng)前相對(duì)位置信 息相關(guān)的預(yù)設(shè)濾波系數(shù)，重新確定所述目標(biāo)濾波系數(shù)； 所述濾波處理模塊，還用于根據(jù)重新確定的所述目標(biāo)濾波系數(shù)對(duì)當(dāng)前輸入音頻進(jìn)行濾 波處理，生成3D音頻。14. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括： 獲取模塊，用于在所述當(dāng)前相對(duì)位置信息未更新的情況下，獲取所述用戶和所述音源 之間的當(dāng)前距離信息； 衰減處理模塊，用于根據(jù)所述當(dāng)前距離信息和對(duì)應(yīng)所述當(dāng)前距離信息的第一預(yù)設(shè)衰減 系數(shù)，對(duì)所述當(dāng)前輸入音頻的音量進(jìn)行衰減處理。15. 根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述衰減處理模塊，還用于在所述當(dāng)前 距離信息更新的情況下，根據(jù)更新后的所述當(dāng)前距離信息和對(duì)應(yīng)所述更新后的當(dāng)前距離信 息的第二預(yù)設(shè)衰減系數(shù)，對(duì)所述當(dāng)前輸入音頻的音量進(jìn)行衰減處理。16. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置還包括： 輸出模塊，用于將所述濾波處理模塊處理生成的3D音頻直接輸出到播放設(shè)備進(jìn)行播 放，或者以文件流的方式輸出到文件保存。17. -種全景視頻的播放系統(tǒng)，其特征在于，包括根據(jù)權(quán)利要求9-16任意一項(xiàng)所述的全 景視頻的音頻處理裝置。
【文檔編號(hào)】H04S7/00GK105979470SQ201610371367
【公開日】2016年9月28日
【申請(qǐng)日】2016年5月30日
【發(fā)明人】黃瑛, 王濤, 張彥剛
【申請(qǐng)人】北京奇藝世紀(jì)科技有限公司