全景視頻的生成方法和裝置的制造方法
【專利摘要】本發(fā)明提出一種全景視頻的生成方法和裝置，其中，該全景視頻的生成方法，包括以下步驟：接收視頻錄制指令，并檢測(cè)全景相機(jī)中的多個(gè)相機(jī)模組的錄像功能是否已經(jīng)全部開啟；如果所述多個(gè)相機(jī)模組的錄像功能已經(jīng)全部開啟，則在所述多個(gè)相機(jī)模組錄制的視頻文件中同時(shí)添加音視頻識(shí)別碼；在對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合時(shí)，從各視頻文件中解析出所述音視頻識(shí)別碼所在位置，并以所述視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合，以生成全景視頻。本發(fā)明的全景視頻的生成方法，能夠避免因視頻幀不同步而導(dǎo)致視頻縫合失敗或者出錯(cuò)的問題，且無需增加復(fù)雜的處理，方案簡(jiǎn)單易行，消耗資源少。
【專利說明】
全景視頻的生成方法和裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，特別涉及一種全景視頻的生成方法和裝置。
【背景技術(shù)】
[0002]隨著虛擬現(xiàn)實(shí)(Virtual Reality簡(jiǎn)稱VR)領(lǐng)域逐漸升溫，作為虛擬現(xiàn)實(shí)(VR)內(nèi)容的提供者，全景相機(jī)逐漸走進(jìn)了大家的視野。目前一種常見的全景相機(jī)是多鏡頭方案，通過多鏡頭同時(shí)觸發(fā)控制，實(shí)現(xiàn)全景照片或者視頻的拍攝。在多鏡頭全景相機(jī)中，不可或缺的功能就是全景視頻功能。
[0003]由于多鏡頭的全景相機(jī)是基于多個(gè)相機(jī)模組聯(lián)動(dòng)控制，因此，在同步錄制視頻的時(shí)候，會(huì)出現(xiàn)視頻功能啟動(dòng)時(shí)間不一致的問題。而由于視頻幀率較高，一般是30-60幀每秒，當(dāng)開啟時(shí)間不一致，就會(huì)造成多個(gè)鏡頭錄制出來的視頻文件無法直接進(jìn)行縫合。在使用縫合軟件，或者硬件實(shí)時(shí)縫合的過程中，多組視頻幀不同步就導(dǎo)致無法完成多視頻文件的全景視頻縫合工作，或者導(dǎo)致拼合出來的視頻是有問題的。因此，全景視頻功能實(shí)現(xiàn)的難點(diǎn)就是對(duì)多個(gè)角度錄制好的視頻縫合問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明旨在至少在一定程度上解決上述技術(shù)問題。
[0005]為此，本發(fā)明的第一個(gè)目的在于提出一種全景視頻的生成方法，能夠避免因視頻幀不同步而導(dǎo)致視頻縫合失敗或者出錯(cuò)的問題。
[0006]本發(fā)明的第二個(gè)目的在于提出一種全景視頻的生成裝置。
[0007]本發(fā)明的第三個(gè)目的在于提出一種全景相機(jī)。
[0008]為達(dá)上述目的，根據(jù)本發(fā)明第一方面實(shí)施例提出了一種全景視頻的生成方法，包括以下步驟:接收視頻錄制指令，并檢測(cè)全景相機(jī)中的多個(gè)相機(jī)模組的錄像功能是否已經(jīng)全部開啟；如果所述多個(gè)相機(jī)模組的錄像功能已經(jīng)全部開啟，則在所述多個(gè)相機(jī)模組錄制的視頻文件中同時(shí)添加音視頻識(shí)別碼；在對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合時(shí)，從各視頻文件中解析出所述音視頻識(shí)別碼所在位置，并以所述視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合，以生成全景視頻。
[0009]另外，在本發(fā)明的一個(gè)實(shí)施例中，所述在所述多個(gè)相機(jī)模組的錄制的視頻文件中同步增加音視頻識(shí)別碼，包括:按照預(yù)設(shè)時(shí)間間隔在所述多個(gè)相機(jī)模組的錄制的視頻文件中多次添加音視頻識(shí)別碼，且在每次添加音視頻識(shí)別碼時(shí)，為所述多個(gè)相機(jī)模組的錄制的視頻文件同時(shí)添加音視頻識(shí)別碼。
[0010]在本發(fā)明的一個(gè)實(shí)施例中，所述以所述視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合，包括:從第一個(gè)音視頻識(shí)別碼所在位置開始依次對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件中的視頻幀進(jìn)行縫合，直至至少一個(gè)視頻文件到達(dá)下一音視頻識(shí)別碼所在位置，并以所述下一音視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，繼續(xù)進(jìn)行視頻幀縫合。[0011 ]在本發(fā)明的一個(gè)實(shí)施例中，還包括:如果存在至少一個(gè)相機(jī)模組未開啟錄像功能，則發(fā)出第一警示信號(hào)，以提示用戶相機(jī)模組未就緒。
[0012]在本發(fā)明的一個(gè)實(shí)施例中，還包括:如果經(jīng)過預(yù)設(shè)時(shí)間后所述至少一個(gè)相機(jī)模組仍未開啟錄像功能，則發(fā)出第二警示信號(hào)，以提示所述用戶相機(jī)模組故障。
[0013]在本發(fā)明的一個(gè)實(shí)施例中，還包括:如果在視頻錄制過程中，檢測(cè)到至少一個(gè)相機(jī)模組停止了視頻錄制，則控制其他相機(jī)模組停止視頻錄制，并對(duì)用戶進(jìn)行提示。
[0014]在本發(fā)明的一個(gè)實(shí)施例中，還包括:判斷所述全景相機(jī)是否具有視頻縫合功能;如果所述全景相機(jī)不具有視頻縫合功能，則將所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行存儲(chǔ)，并在錄制完成后導(dǎo)出所述多個(gè)相機(jī)模組錄制的視頻文件，以對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合;如果所述全景相機(jī)具有視頻縫合功能，則在所述全景相機(jī)內(nèi)對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合。
[0015]本發(fā)明第二方面實(shí)施例提供了一種全景視頻的生成裝置，包括:多個(gè)相機(jī)模組，用于接收視頻錄制指令，并進(jìn)行視頻錄制;檢測(cè)模塊，用于檢測(cè)所述多個(gè)相機(jī)模組的錄像功能是否已經(jīng)全部開啟；添加模塊，用于當(dāng)所述多個(gè)相機(jī)模組的錄像功能已經(jīng)全部開啟時(shí)，在所述多個(gè)相機(jī)模組錄制的視頻文件中同時(shí)添加音視頻識(shí)別碼;視頻縫合模塊，用于在對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合時(shí)，從各視頻文件中解析出所述音視頻識(shí)別碼所在位置，并以所述視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合，以生成全景視頻。
[0016]另外，在本發(fā)明的一個(gè)實(shí)施例中，所述添加模塊用于:按照預(yù)設(shè)時(shí)間間隔在所述多個(gè)相機(jī)模組的錄制的視頻文件中多次添加音視頻識(shí)別碼，且在每次添加音視頻識(shí)別碼時(shí)，為所述多個(gè)相機(jī)模組的錄制的視頻文件同時(shí)添加音視頻識(shí)別碼。
[0017]在本發(fā)明的一個(gè)實(shí)施例中，所述視頻縫合模塊用于:從第一個(gè)音視頻識(shí)別碼所在位置開始依次對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件中的視頻幀進(jìn)行縫合，直至至少一個(gè)視頻文件到達(dá)下一音視頻識(shí)別碼所在位置，并以所述下一音視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，繼續(xù)進(jìn)行視頻幀縫合。
[0018]在本發(fā)明的一個(gè)實(shí)施例中，還包括:警示模塊，用于當(dāng)存在至少一個(gè)相機(jī)模組未開啟錄像功能時(shí)，發(fā)出第一警示信號(hào)，以提示用戶相機(jī)模組未就緒。
[0019]在本發(fā)明的一個(gè)實(shí)施例中，所述警示模塊還用于當(dāng)經(jīng)過預(yù)設(shè)時(shí)間后所述至少一個(gè)相機(jī)模組仍未開啟錄像功能時(shí)，發(fā)出第二警示信號(hào)，以提示所述用戶相機(jī)模組故障。
[0020]在本發(fā)明的一個(gè)實(shí)施例中，還包括:控制模塊，用于當(dāng)在視頻錄制過程中，檢測(cè)到至少一個(gè)相機(jī)模組停止了視頻錄制時(shí)，控制其他相機(jī)模組停止視頻錄制，并對(duì)用戶進(jìn)行提不O
[0021]在本發(fā)明的一個(gè)實(shí)施例中，還包括:存儲(chǔ)模塊，用于將所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行存儲(chǔ);導(dǎo)出模塊，用于在錄制完成后導(dǎo)出所述多個(gè)相機(jī)模組錄制的視頻文件，以對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合。
[0022]本發(fā)明第三方面實(shí)施例提供了一種全景相機(jī)，包括本發(fā)明任意實(shí)施例所述的全景視頻的生成裝置。
[0023]本發(fā)明實(shí)施例的全景視頻的生成方法、裝置和全景相機(jī)，在檢測(cè)到全景相機(jī)中多個(gè)相機(jī)模組的錄像功能全部開啟后，在各相機(jī)模組錄制的視頻文件中同時(shí)添加音視頻識(shí)別碼，并在進(jìn)行視頻縫合時(shí)，根據(jù)音視頻識(shí)別碼在個(gè)視頻文件中的所在位置標(biāo)識(shí)視頻同步點(diǎn)，對(duì)視頻文件進(jìn)行縫合以生成全景視頻。由此，通過音視頻標(biāo)識(shí)碼能夠準(zhǔn)確地定位視頻間的同步位置，進(jìn)而同步各個(gè)視頻文件，能夠避免因視頻幀不同步而導(dǎo)致視頻縫合失敗或者出錯(cuò)的問題，且無需增加復(fù)雜的處理，方案簡(jiǎn)單易行，消耗資源少。
[0024]本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。
【附圖說明】
[0025]本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中:
[0026]圖1為根據(jù)本發(fā)明一個(gè)實(shí)施例的全景視頻的生成方法的流程圖；
[0027]圖2為根據(jù)本發(fā)明另一個(gè)實(shí)施例的全景視頻的生成方法的流程圖；
[0028]圖3為根據(jù)本發(fā)明一個(gè)具體實(shí)施例的全景視頻的生成方法的流程圖；
[0029]圖4為根據(jù)本發(fā)明一個(gè)實(shí)施例的全景視頻的生成裝置的結(jié)構(gòu)示意圖一；
[0030]圖5為根據(jù)本發(fā)明一個(gè)實(shí)施例的全景視頻的生成裝置的結(jié)構(gòu)示意圖二；
[0031]圖6為根據(jù)本發(fā)明一個(gè)實(shí)施例的全景視頻的生成裝置的結(jié)構(gòu)示意圖三；
[0032]圖7為根據(jù)本發(fā)明一個(gè)實(shí)施例的全景視頻的生成裝置的結(jié)構(gòu)示意圖四；
[0033]圖8為根據(jù)本發(fā)明一個(gè)實(shí)施例的音視頻識(shí)別碼模塊與相機(jī)模組的交互示意圖。
【具體實(shí)施方式】
[0034]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。
[0035]為了解決相關(guān)技術(shù)中存在因視頻幀不同步而導(dǎo)致的縫合出錯(cuò)率較高的問題，本發(fā)明提出了一種全景視頻生成的方法、裝置和全景相機(jī)。
[0036]下面參考附圖描述根據(jù)本發(fā)明實(shí)施例的全景視頻的生成方法、裝置和全景相機(jī)。
[0037]圖1為根據(jù)本發(fā)明一個(gè)實(shí)施例的全景視頻的生成方法的流程圖。
[0038]如圖1所示，根據(jù)本發(fā)明實(shí)施例的全景視頻的生成方法，包括以下步驟。
[0039]SlOl，接收視頻錄制指令。
[0040]S102，檢測(cè)全景相機(jī)中的多個(gè)相機(jī)模組的錄像功能是否已經(jīng)全部開啟。
[0041]在本發(fā)明的實(shí)施例中，全景相機(jī)具有多個(gè)相機(jī)模組。多個(gè)相機(jī)模組可設(shè)置為分別對(duì)不同方向進(jìn)行拍攝。舉例來說，全景相機(jī)可具有6個(gè)相機(jī)模組，分別用于對(duì)拍攝6個(gè)不同方向進(jìn)行拍攝。全景相機(jī)可同步控制6個(gè)相機(jī)模組進(jìn)行拍攝，得到全景相機(jī)當(dāng)前位置對(duì)應(yīng)的6個(gè)圖像。
[0042]具體地，在全景相機(jī)處于開機(jī)狀態(tài)下，用戶可向全景相機(jī)輸入視頻錄制指令。全景相機(jī)接收到視頻錄制指令時(shí)，可切換至視頻錄制模式，并同步控制多個(gè)相機(jī)模組開啟錄像功能，并檢測(cè)每個(gè)相機(jī)模組的錄像功能是否已經(jīng)開啟，即是否全部啟動(dòng)完成。
[0043]在本發(fā)明的一個(gè)實(shí)施例中，如果存在至少一個(gè)相機(jī)模組未開啟錄像功能，則可發(fā)出第一警示信號(hào)，以提示用戶相機(jī)模組未就緒。以便用戶檢測(cè)全景相機(jī)中的相機(jī)模組是否出現(xiàn)故障或者選擇繼續(xù)等待。
[0044]進(jìn)一步地，如果經(jīng)過預(yù)設(shè)時(shí)間后所述至少一個(gè)相機(jī)模組仍未開啟錄像功能，則可發(fā)出第二警示信號(hào)，以提示所述用戶相機(jī)模組故障。從而，用戶可采取相應(yīng)的應(yīng)對(duì)措施。
[0045]在本發(fā)明的實(shí)施例中，如果在視頻錄制過程中，檢測(cè)到至少一個(gè)相機(jī)模組停止了視頻錄制，則可控制其他相機(jī)模組停止視頻錄制，并對(duì)用戶進(jìn)行提示。舉例來說，如果其中一個(gè)相機(jī)模組因線路故障導(dǎo)致斷電，當(dāng)檢測(cè)到該相機(jī)模組停止工作時(shí)，則可及時(shí)控制其他相機(jī)模組也停止視頻錄制。從而能夠避免視頻幀縫合時(shí)出現(xiàn)因缺失某一角度的視頻幀而導(dǎo)致縫合出錯(cuò)的情況。
[0046]S103，如果所述多個(gè)相機(jī)模組的錄像功能已經(jīng)全部開啟，則在所述多個(gè)相機(jī)模組錄制的視頻文件中同時(shí)添加音視頻識(shí)別碼。
[0047]其中，所述音視頻識(shí)別碼為全景相機(jī)中各個(gè)相機(jī)模組錄制的視頻文件中同步視頻幀的標(biāo)識(shí)信息。
[0048]由于音視頻識(shí)別碼是在所有相機(jī)模組的錄像功能全部開啟后添加的，且是分別在多個(gè)相機(jī)模組錄制的視頻文件中同時(shí)添加的，因此，在多個(gè)視頻文件中，音視頻識(shí)別碼所在的時(shí)間位置是相同的。這樣，可以使音視頻識(shí)別碼在各個(gè)視頻文件中所在的位置對(duì)應(yīng)的視頻幀是同步的，因此，可在視頻縫合時(shí)，將音視頻識(shí)別碼作為視頻同步點(diǎn)，即標(biāo)識(shí)視頻幀同步的點(diǎn)。
[0049]舉例來說，如果全景相機(jī)有6個(gè)相機(jī)模組，編號(hào)分別為1-6，在檢測(cè)到這1-6個(gè)相機(jī)模組的錄像功能全部開啟后的第2秒時(shí)，在I號(hào)相機(jī)模組錄制視頻文件中添加音視頻識(shí)別碼，同時(shí)在2、3、4、5、6號(hào)相機(jī)模組錄制視頻文件中均添加音視頻識(shí)別碼。在本發(fā)明的實(shí)施例中，在各個(gè)相機(jī)模組錄制視頻文件的過程中，可在每個(gè)視頻文件中添加一個(gè)或多個(gè)音視頻識(shí)別碼。
[0050]具體地，可在所有相機(jī)模組的錄像功能全部開啟后的某一時(shí)刻，將音視頻識(shí)別碼同時(shí)發(fā)送至各個(gè)相機(jī)模組，以使各個(gè)相機(jī)模組將音視頻識(shí)別碼與該時(shí)刻錄制的視頻幀合并。由此，各個(gè)相機(jī)模組錄制的視頻文件中都包含一個(gè)音視頻識(shí)別碼。
[0051]另外，一般來說，各個(gè)相機(jī)模組啟動(dòng)后錄制的視頻文件中，在第一個(gè)視頻同步點(diǎn)之后的視頻幀都是同步的，但是也可能存在因各個(gè)相機(jī)模組的處理能力或者其他因素導(dǎo)致視頻幀不同步的情況。為了進(jìn)一步提高各個(gè)視頻文件的實(shí)時(shí)同步性，還可按照預(yù)設(shè)時(shí)間間隔在所述多個(gè)相機(jī)模組的錄制的視頻文件中多次添加音視頻識(shí)別碼，且在每次添加音視頻識(shí)別碼時(shí)，為所述多個(gè)相機(jī)模組的錄制的視頻文件同時(shí)添加音視頻識(shí)別碼。也就是說，可在錄制視頻過程中，按照一定的時(shí)間間隔(如I秒增加一次)，進(jìn)行相關(guān)音視頻識(shí)別碼的增加。
[0052]舉例來說，可每隔I秒在各個(gè)視頻文件中添加一次音視頻識(shí)別碼。這樣，每個(gè)一定的時(shí)間間隔，就可根據(jù)新的音視頻識(shí)別碼重新確定各個(gè)視頻文件中同步的視頻幀。由此，即使隨著視頻的錄制，各個(gè)相機(jī)模組因處理速度或者其他原因?qū)е乱曨l文件不同步，也可根據(jù)新的音視頻識(shí)別碼重新定位同步視頻幀。
[0053]S104，在對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合時(shí)，從各視頻文件中解析出所述音視頻識(shí)別碼所在位置，并以所述視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合，以生成全景視頻。
[0054]在本法發(fā)明的實(shí)施例中，由于每個(gè)音視頻識(shí)別碼在各個(gè)視頻文件中所在的時(shí)間位置是相同的，即每個(gè)音視頻識(shí)別碼在各個(gè)視頻文件中對(duì)應(yīng)的視頻幀是同步的，因此，可將音視頻識(shí)別碼作為視頻同步點(diǎn)，并從該視頻同步點(diǎn)對(duì)應(yīng)的視頻幀開始依次對(duì)后續(xù)視頻幀進(jìn)行縫合，以生成全景視頻。
[0055]具體地，如果每個(gè)視頻文件中包括一個(gè)音視頻識(shí)別碼，即每個(gè)視頻文件中僅包括一個(gè)視頻同步點(diǎn)，則可將各個(gè)視頻文件中視頻同步點(diǎn)對(duì)應(yīng)的視頻幀縫合為一個(gè)全景視頻幀，然后將各個(gè)視頻文件中視頻同步點(diǎn)對(duì)應(yīng)的視頻幀的下一幀合并為下一個(gè)全景視頻幀，以此類推，可依次對(duì)后續(xù)視頻幀進(jìn)行縫合，直至其中一個(gè)或多個(gè)視頻文件到達(dá)最后一幀圖像，得到全景視頻。
[0056]如果每個(gè)視頻文件中包括多個(gè)音視頻識(shí)別碼，即每個(gè)視頻文件中包括多個(gè)視頻同步點(diǎn)，則所述以所述視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合，可包括:從第一個(gè)音視頻識(shí)別碼所在位置開始依次對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件中的視頻幀進(jìn)行縫合，直至至少一個(gè)視頻文件到達(dá)下一音視頻識(shí)別碼所在位置，并以所述下一音視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，繼續(xù)進(jìn)行視頻幀縫合。
[0057]也就是說，可將各個(gè)視頻文件中第一個(gè)視頻同步點(diǎn)對(duì)應(yīng)的視頻幀縫合為一個(gè)全景視頻幀，然后將各個(gè)視頻文件中第一個(gè)視頻同步點(diǎn)對(duì)應(yīng)的視頻幀的下一幀合并為下一個(gè)全景視頻幀，以此類推，依次對(duì)后續(xù)視頻幀進(jìn)行縫合，直至下一個(gè)視頻同步點(diǎn)，重復(fù)上述過程。
[0058]由此，即使在錄制視頻文件過程中各個(gè)相機(jī)模組存在錄制不同步的情況，也能夠通過每隔一段時(shí)間添加的音視頻識(shí)別碼定位同步的視頻幀，以對(duì)同步視頻進(jìn)行縫合得到全景視頻幀，進(jìn)而提升全景視頻的同步性。
[0059]在本發(fā)明的實(shí)施例中，視頻縫合可根據(jù)全景相機(jī)的功能或用戶的需求在全景相機(jī)中進(jìn)行，或者在全景相機(jī)外部執(zhí)行，例如，在云端執(zhí)行，或者在其他視頻縫合設(shè)備中執(zhí)行等。
[0060]因此，在本發(fā)明的一個(gè)實(shí)施例中，全景視頻的生成方法還可包括:步驟S201-S207。其中，S201-S203與步驟S101-S103相同。步驟S204-S207如下:
[0061 ] S204，判斷所述全景相機(jī)是否具有視頻縫合功能。
[0062]S205，如果所述全景相機(jī)不具有視頻縫合功能，則將所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行存儲(chǔ)，并在錄制完成后導(dǎo)出所述多個(gè)相機(jī)模組錄制的視頻文件，以對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合。
[0063]如果全景相機(jī)不具有視頻縫合功能，則可將各個(gè)相機(jī)模組錄制的視頻文件存儲(chǔ)至本地的存儲(chǔ)空間，并在錄制完成后導(dǎo)出至全景視頻合成設(shè)備，以進(jìn)行視頻縫合，生成全景視頻。
[0064]S206，如果所述全景相機(jī)具有視頻縫合功能，則在所述全景相機(jī)內(nèi)對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合。
[0065]如果全景相機(jī)具有視頻縫合功能，則可在視頻錄制的過程中，對(duì)各個(gè)相機(jī)模組錄制的視頻幀進(jìn)行實(shí)時(shí)縫合，并將縫合后生成的全景視頻幀生成全景視頻。由此，可在全景相機(jī)中隨著視頻的錄制實(shí)時(shí)生成對(duì)應(yīng)的全景視頻，實(shí)現(xiàn)了全景視頻的實(shí)時(shí)縫合，無需等待全部錄制完畢。
[0066]需要說明的是，無論在全景相機(jī)內(nèi)進(jìn)行視頻縫合還是將視頻文件導(dǎo)出全景相機(jī)后進(jìn)行視頻縫合，其縫合過程都可參照?qǐng)D1所述實(shí)施例中S104中對(duì)應(yīng)的縫合策略。
[0067]本發(fā)明實(shí)施例的全景視頻的生成方法，在檢測(cè)到全景相機(jī)中多個(gè)相機(jī)模組的錄像功能全部開啟后，在各相機(jī)模組錄制的視頻文件中同時(shí)添加音視頻識(shí)別碼，并在進(jìn)行視頻縫合時(shí)，根據(jù)音視頻識(shí)別碼在個(gè)視頻文件中的所在位置標(biāo)識(shí)視頻同步點(diǎn)，對(duì)視頻文件進(jìn)行縫合以生成全景視頻。由此，通過音視頻標(biāo)識(shí)碼能夠準(zhǔn)確地定位視頻間的同步位置，進(jìn)而同步各個(gè)視頻文件，能夠避免因視頻幀不同步而導(dǎo)致視頻縫合失敗或者出錯(cuò)的問題，且無需增加復(fù)雜的處理，方案簡(jiǎn)單易行，消耗資源少。
[0068]圖3為根據(jù)本發(fā)明一個(gè)具體實(shí)施例的全景視頻的生成方法的流程圖。
[0069]如圖3所示，該全景視頻的生成方法包括以下步驟。
[0070]S301，全景相機(jī)開機(jī)。
[0071 ] S302，將全景相機(jī)切換到視頻功能。
[0072]S303，開啟全景相機(jī)的視頻錄像功能。
[0073]S304，檢測(cè)全景相機(jī)的多個(gè)相機(jī)模組的錄像功能是否已全部開啟成功。
[0074]如果否，則執(zhí)行S305，否則執(zhí)行S306。
[0075]具體地，在控制相機(jī)模組的時(shí)候，相機(jī)模組存在相關(guān)的反饋引腳，從而實(shí)現(xiàn)整個(gè)全景相機(jī)的閉環(huán)控制。當(dāng)相機(jī)模組的錄制功能開啟成功時(shí)，相機(jī)模組反饋引腳會(huì)提供一個(gè)低脈沖信號(hào)，作為反饋開啟成功的提示。當(dāng)相機(jī)錄制功能開啟失敗時(shí)，相機(jī)反饋模組會(huì)提供3個(gè)連續(xù)的低脈沖，提示錄像功能開啟失敗，則保持相機(jī)待機(jī)狀態(tài)，顯示相機(jī)故障信息。
[0076]S305，全景相機(jī)待機(jī)，顯示故障信息。
[0077]S306，開啟硬件音視頻識(shí)別碼模塊，以在各個(gè)相機(jī)模組錄制的視頻文件中添加音視頻識(shí)別碼。
[0078]其中，添加音視頻識(shí)別碼的策略可參照前述實(shí)施例。
[0079]S307，判斷視頻縫合方式。
[0080]如果視頻縫合方式為機(jī)外縫合，則執(zhí)行S308，如果視頻縫合方式為機(jī)內(nèi)縫合，則執(zhí)行S309。
[0081 ]具體地，當(dāng)錄制開始后，可通過全景相機(jī)中的相機(jī)同步控制模塊中的主控制器的特定GP1接口，檢測(cè)外部硬件接口配置，當(dāng)GP1接口檢測(cè)到高電平的時(shí)候，表明全景相機(jī)支持機(jī)內(nèi)縫合;當(dāng)GP1接口檢測(cè)到低電平的時(shí)候，表明全景相機(jī)不支持機(jī)內(nèi)縫合(17)。若是不支持，則直接將錄制的音視頻數(shù)據(jù)存儲(chǔ)到相機(jī)模組自身的存儲(chǔ)單元內(nèi)，等待視頻錄制功能結(jié)束，由操作人員將存儲(chǔ)文件導(dǎo)出，通過后臺(tái)視頻縫合服務(wù)器進(jìn)行相關(guān)的視頻縫合操作。若是判斷相機(jī)自身支持機(jī)內(nèi)縫合，則將相機(jī)模組生成的已經(jīng)增加了音視頻識(shí)別碼的視頻文件，傳輸?shù)胶竺娴娜耙曨l縫合模塊進(jìn)行視頻縫合。
[0082]S308，在視頻錄制完成后關(guān)閉視頻錄像功能。
[0083]具體地，可將錄制的視頻文件導(dǎo)出，并通過全景視頻縫合設(shè)備進(jìn)行視頻縫合?？p合過程可參見圖1所示實(shí)施例中步驟S104及其說明。
[0084]S309，通過音視頻接口傳輸已帶音視頻識(shí)別碼的文件至全景視頻縫合模塊。
[0085]S310，通過解析音視頻識(shí)別碼，確定視頻縫合的起始點(diǎn)。
[0086]全景視頻縫合模塊可通過Huffman(哈夫曼)編解碼算法解析出音視頻識(shí)別碼，從而定位多個(gè)視頻文件的視頻同步點(diǎn)，并作為視頻縫合的起始點(diǎn)。
[0087]S311，通過實(shí)時(shí)縫合算法縫合音視頻文件。
[0088]全景視頻縫合模塊從視頻同步點(diǎn)開始，通過魚眼圖像全景拼接算法(魚眼圖像全景拼接算法，主要可以分為四個(gè)部分:魚眼圖像校正技術(shù)、特征點(diǎn)檢測(cè)與匹配技術(shù)、位置關(guān)系計(jì)算、圖像融合技術(shù))，實(shí)現(xiàn)視頻幀的實(shí)時(shí)縫合。當(dāng)然，其他可行的圖像全景拼接算法也適用與本發(fā)明，本發(fā)明對(duì)使用的縫合算法不做限定。
[0089]S312，存儲(chǔ)實(shí)時(shí)縫合后的視頻文件到存儲(chǔ)單元。
[0090]舉例來說，可將縫合好的視頻文件存儲(chǔ)到對(duì)應(yīng)的TF卡中。
[0091]S 313，關(guān)閉全景相機(jī)的視頻錄像功能。
[0092]當(dāng)視頻錄制停止操作時(shí)，可關(guān)閉現(xiàn)有的實(shí)時(shí)縫合通道，完成本次視頻錄制-縫合-存儲(chǔ)等一系列過程。
[0093]與上述全景視頻的生成方法實(shí)施例相對(duì)應(yīng)，本發(fā)明還提出一種全景視頻的生成裝置。
[0094]圖4為根據(jù)本發(fā)明一個(gè)實(shí)施例的全景視頻的生成裝置的結(jié)構(gòu)示意圖一。
[0095]如圖4所示，根據(jù)本發(fā)明實(shí)施例的全景視頻的生成裝置，包括:多個(gè)相機(jī)模組10、檢測(cè)模塊20、添加模塊30和視頻縫合模塊40。
[0096]具體地，多個(gè)相機(jī)模組10用于接收視頻錄制指令，并進(jìn)行視頻錄制。
[0097]在本發(fā)明的實(shí)施例中，全景相機(jī)具有多個(gè)相機(jī)模組。多個(gè)相機(jī)模組可設(shè)置為分別對(duì)不同方向進(jìn)行拍攝。舉例來說，全景相機(jī)可具有6個(gè)相機(jī)模組，分別用于對(duì)拍攝6個(gè)不同方向進(jìn)行拍攝。全景相機(jī)可同步控制6個(gè)相機(jī)模組進(jìn)行拍攝，得到全景相機(jī)當(dāng)前位置對(duì)應(yīng)的6個(gè)圖像。
[0098]在本發(fā)明的一個(gè)實(shí)施例中，可通過全景相機(jī)中的同步控制模塊控制多個(gè)相機(jī)模組同步工作，具體地可包括控制多個(gè)相機(jī)模組同步開機(jī)、拍照、錄像等。
[0099]具體地，在全景相機(jī)處于開機(jī)狀態(tài)下，用戶可向全景相機(jī)輸入視頻錄制指令。在接收到視頻錄制指令后，多個(gè)相機(jī)模組可根據(jù)同步控制模塊的控制開啟錄像功能，并開始錄制視頻。
[0100]檢測(cè)模塊20用于檢測(cè)多個(gè)相機(jī)模組10的錄像功能是否已經(jīng)全部開啟。
[0101]由于多個(gè)相機(jī)模塊10在開啟或者啟動(dòng)錄像功能時(shí)，可能出現(xiàn)一個(gè)或多個(gè)相機(jī)模組存在延遲的情況，這就導(dǎo)致了各個(gè)相機(jī)模組錄制的視頻不同步。因此，檢測(cè)模塊20在接收到視頻錄制指令后可檢測(cè)每個(gè)相機(jī)模組的錄像功能是否已經(jīng)開啟，即是否全部啟動(dòng)完成。
[0102]添加模塊30用于當(dāng)所述多個(gè)相機(jī)模組的錄像功能已經(jīng)全部開啟時(shí)，在所述多個(gè)相機(jī)模組錄制的視頻文件中同時(shí)添加音視頻識(shí)別碼。
[0103]其中，所述音視頻識(shí)別碼為全景相機(jī)中各個(gè)相機(jī)模組錄制的視頻文件中同步視頻幀的標(biāo)識(shí)信息。
[0104]由于音視頻識(shí)別碼是在所有相機(jī)模組的錄像功能全部開啟后添加的，且是分別在多個(gè)相機(jī)模組錄制的視頻文件中同時(shí)添加的，因此，在多個(gè)視頻文件中，音視頻識(shí)別碼所在的時(shí)間位置是相同的。這樣，可以使音視頻識(shí)別碼在各個(gè)視頻文件中所在的位置對(duì)應(yīng)的視頻幀是同步的，因此，可在視頻縫合時(shí)，將音視頻識(shí)別碼作為視頻同步點(diǎn)，即標(biāo)識(shí)視頻幀同步的點(diǎn)。
[0105]舉例來說，如果全景相機(jī)有6個(gè)相機(jī)模組，編號(hào)分別為1-6，在檢測(cè)到這1-6個(gè)相機(jī)模組的錄像功能全部開啟后的第2秒時(shí)，添加模塊30在I號(hào)相機(jī)模組錄制視頻文件中添加音視頻識(shí)別碼，同時(shí)在2、3、4、5、6號(hào)相機(jī)模組錄制視頻文件中均添加音視頻識(shí)別碼。在本發(fā)明的實(shí)施例中，在各個(gè)相機(jī)模組錄制視頻文件的過程中，添加模塊30可在每個(gè)視頻文件中添加一個(gè)或多個(gè)音視頻識(shí)別碼。
[0106]具體地，添加模塊30可在所有相機(jī)模組的錄像功能全部開啟后的某一時(shí)刻，將音視頻識(shí)別碼同時(shí)發(fā)送至各個(gè)相機(jī)模組，以使各個(gè)相機(jī)模組將音視頻識(shí)別碼與該時(shí)刻錄制的視頻幀合并。由此，各個(gè)相機(jī)模組錄制的視頻文件中都包含一個(gè)音視頻識(shí)別碼。
[0107]另外，一般來說，各個(gè)相機(jī)模組啟動(dòng)后錄制的視頻文件中，在第一個(gè)視頻同步點(diǎn)之后的視頻幀都是同步的，但是也可能存在因各個(gè)相機(jī)模組的處理能力或者其他因素導(dǎo)致視頻幀不同步的情況。為了進(jìn)一步提高各個(gè)視頻文件的實(shí)時(shí)同步性，添加模塊30還可用于:按照預(yù)設(shè)時(shí)間間隔在所述多個(gè)相機(jī)模組的錄制的視頻文件中多次添加音視頻識(shí)別碼，且在每次添加音視頻識(shí)別碼時(shí)，為所述多個(gè)相機(jī)模組的錄制的視頻文件同時(shí)添加音視頻識(shí)別碼。也就是說，可在錄制視頻過程中，按照一定的時(shí)間間隔(如I秒增加一次)，進(jìn)行相關(guān)音視頻識(shí)別碼的增加。
[0108]舉例來說，可每隔I秒在各個(gè)視頻文件中添加一次音視頻識(shí)別碼。這樣，每個(gè)一定的時(shí)間間隔，就可根據(jù)新的音視頻識(shí)別碼重新確定各個(gè)視頻文件中同步的視頻幀。由此，即使隨著視頻的錄制，各個(gè)相機(jī)模組因處理速度或者其他原因?qū)е乱曨l文件不同步，也可根據(jù)新的音視頻識(shí)別碼重新定位同步視頻幀。
[0109]視頻縫合模塊40用于在對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合時(shí)，從各視頻文件中解析出所述音視頻識(shí)別碼所在位置，并以所述視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合，以生成全景視頻。
[0110]在本法發(fā)明的實(shí)施例中，由于每個(gè)音視頻識(shí)別碼在各個(gè)視頻文件中所在的時(shí)間位置是相同的，即每個(gè)音視頻識(shí)別碼在各個(gè)視頻文件中對(duì)應(yīng)的視頻幀是同步的，因此，視頻縫合模塊40可將音視頻識(shí)別碼作為視頻同步點(diǎn)，并從該視頻同步點(diǎn)對(duì)應(yīng)的視頻幀開始依次對(duì)后續(xù)視頻幀進(jìn)行縫合，以生成全景視頻。
[0111]具體地，如果每個(gè)視頻文件中包括一個(gè)音視頻識(shí)別碼，即每個(gè)視頻文件中僅包括一個(gè)視頻同步點(diǎn)，則視頻縫合模塊40可將各個(gè)視頻文件中視頻同步點(diǎn)對(duì)應(yīng)的視頻幀縫合為一個(gè)全景視頻幀，然后將各個(gè)視頻文件中視頻同步點(diǎn)對(duì)應(yīng)的視頻幀的下一幀合并為下一個(gè)全景視頻幀，以此類推，可依次對(duì)后續(xù)視頻幀進(jìn)行縫合，直至其中一個(gè)或多個(gè)視頻文件到達(dá)最后一幀圖像，得到全景視頻。
[0112]如果每個(gè)視頻文件中包括多個(gè)音視頻識(shí)別碼，即每個(gè)視頻文件中包括多個(gè)視頻同步點(diǎn)，則視頻縫合模塊40可用于:從第一個(gè)音視頻識(shí)別碼所在位置開始依次對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件中的視頻幀進(jìn)行縫合，直至至少一個(gè)視頻文件到達(dá)下一音視頻識(shí)別碼所在位置，并以所述下一音視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，繼續(xù)進(jìn)行視頻幀縫合。
[0113]也就是說，視頻縫合模塊40可將各個(gè)視頻文件中第一個(gè)視頻同步點(diǎn)對(duì)應(yīng)的視頻幀縫合為一個(gè)全景視頻幀，然后將各個(gè)視頻文件中第一個(gè)視頻同步點(diǎn)對(duì)應(yīng)的視頻幀的下一幀合并為下一個(gè)全景視頻幀，以此類推，依次對(duì)后續(xù)視頻幀進(jìn)行縫合，直至下一個(gè)視頻同步點(diǎn)，重復(fù)上述過程。
[0114]由此，即使在錄制視頻文件過程中各個(gè)相機(jī)模組存在錄制不同步的情況，也能夠通過每隔一段時(shí)間添加的音視頻識(shí)別碼定位同步的視頻幀，以對(duì)同步視頻進(jìn)行縫合得到全景視頻幀，進(jìn)而提升全景視頻的同步性。此外，通過視頻縫合模塊可在全景相機(jī)中隨著視頻的錄制實(shí)時(shí)生成對(duì)應(yīng)的全景視頻，實(shí)現(xiàn)了全景視頻的實(shí)時(shí)縫合，無需等待全部錄制完畢。
[0115]本發(fā)明實(shí)施例的全景視頻的生成裝置，在檢測(cè)到全景相機(jī)中多個(gè)相機(jī)模組的錄像功能全部開啟后，在各相機(jī)模組錄制的視頻文件中同時(shí)添加音視頻識(shí)別碼，并在進(jìn)行視頻縫合時(shí)，根據(jù)音視頻識(shí)別碼在個(gè)視頻文件中的所在位置標(biāo)識(shí)視頻同步點(diǎn)，對(duì)視頻文件進(jìn)行縫合以生成全景視頻。由此，通過音視頻標(biāo)識(shí)碼能夠準(zhǔn)確地定位視頻間的同步位置，進(jìn)而同步各個(gè)視頻文件，能夠避免因視頻幀不同步而導(dǎo)致視頻縫合失敗或者出錯(cuò)的問題，且無需增加復(fù)雜的處理，方案簡(jiǎn)單易行，消耗資源少。
[0116]圖5為根據(jù)本發(fā)明一個(gè)實(shí)施例的全景視頻的生成裝置的結(jié)構(gòu)示意圖二。
[0117]如圖5所示，根據(jù)本發(fā)明實(shí)施例的全景視頻的生成裝置，包括:多個(gè)相機(jī)模組10、檢測(cè)模塊20、添加模塊30、視頻縫合模塊40、警示模塊50和控制模塊60。
[0118]其中，多個(gè)相機(jī)模組10、檢測(cè)模塊20、添加模塊30和視頻縫合模塊40與圖4所示實(shí)施例相同。
[0119]警示模塊50用于當(dāng)存在至少一個(gè)相機(jī)模組未開啟錄像功能時(shí)，發(fā)出第一警示信號(hào)，以提示用戶相機(jī)模組未就緒。以便用戶檢測(cè)全景相機(jī)中的相機(jī)模組是否出現(xiàn)故障或者選擇繼續(xù)等待。
[0120]進(jìn)一步地，警示模塊50還可用于當(dāng)經(jīng)過預(yù)設(shè)時(shí)間后所述至少一個(gè)相機(jī)模組仍未開啟錄像功能時(shí)，發(fā)出第二警示信號(hào)，以提示所述用戶相機(jī)模組故障。從而，用戶可采取相應(yīng)的應(yīng)對(duì)措施。
[0121]控制模塊60用于當(dāng)在視頻錄制過程中，檢測(cè)到至少一個(gè)相機(jī)模組停止了視頻錄制時(shí)，控制其他相機(jī)模組停止視頻錄制，并對(duì)用戶進(jìn)行提示。
[0122]舉例來說，如果其中一個(gè)相機(jī)模組因線路故障導(dǎo)致斷電，當(dāng)檢測(cè)到該相機(jī)模組停止工作時(shí)，則可及時(shí)控制其他相機(jī)模組也停止視頻錄制。從而能夠避免視頻幀縫合時(shí)出現(xiàn)因缺失某一角度的視頻幀而導(dǎo)致縫合出錯(cuò)的情況。
[0123]圖6為根據(jù)本發(fā)明一個(gè)實(shí)施例的全景視頻的生成裝置的結(jié)構(gòu)示意圖三。
[0124]如圖6所示，根據(jù)本發(fā)明實(shí)施例的全景視頻的生成裝置，包括:多個(gè)相機(jī)模組10、檢測(cè)模塊20、添加模塊30、視頻縫合模塊40、警示模塊50、控制模塊60、存儲(chǔ)模塊70和導(dǎo)出模塊
80 ο
[0125]其中，多個(gè)相機(jī)模組10、檢測(cè)模塊20、添加模塊30、視頻縫合模塊40、警示模塊50和控制模塊60與圖5所示實(shí)施例相同。
[0126]存儲(chǔ)模塊70用于將所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行存儲(chǔ)。
[0127]導(dǎo)出模塊80用于在錄制完成后導(dǎo)出所述多個(gè)相機(jī)模組錄制的視頻文件，以對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合。
[0128]具體地，如果全景相機(jī)不具有視頻縫合功能，或者用戶希望通過外部設(shè)備進(jìn)行視頻縫合，則可通過存儲(chǔ)模塊70存儲(chǔ)各個(gè)相機(jī)模組錄制的視頻文件。在錄制完成后通過導(dǎo)出模塊80導(dǎo)出至全景視頻合成設(shè)備，以進(jìn)行視頻縫合，生成全景視頻。
[0129]其中，導(dǎo)出模塊80可以是USB接口等數(shù)據(jù)傳輸接口。
[0130]由此，在用戶不同的需求以及不同功能的全景相機(jī)，都能夠?qū)崿F(xiàn)全景視頻的合成。
[0131]圖7為根據(jù)本發(fā)明一個(gè)實(shí)施例的全景視頻的生成裝置的結(jié)構(gòu)示意圖四。
[0132]如圖7所示，本發(fā)明實(shí)施例的全景視頻的生成裝置，包括相機(jī)模組供電模塊21、相機(jī)同步控制模塊22、音視頻識(shí)別碼模塊23、相機(jī)模組檢測(cè)模塊24、相機(jī)模組25、視頻縫合模塊26和存儲(chǔ)模塊27。
[0133]相機(jī)模組供電模塊21，用于多相機(jī)模組同時(shí)供電控制；
[0134]相機(jī)同步控制模塊22，用于多相機(jī)模組同步控制，如同步開機(jī)、拍照、攝像、設(shè)置等功能的實(shí)現(xiàn)。
[0135]音視頻識(shí)別碼模塊23，用于多相機(jī)模組錄像過程中音視頻識(shí)別碼的添加。此部分需要通過主控單元，發(fā)送系統(tǒng)設(shè)定好的邏輯電平(音視頻識(shí)別碼)到各個(gè)相機(jī)模組25對(duì)應(yīng)的音視頻接口，使相機(jī)模組在采集音視頻信息的初始階段就生成了帶有音視頻識(shí)別碼的文件，從而為后期的解碼，確認(rèn)多文件的同步，奠定了硬件基礎(chǔ)。
[0136]相機(jī)模組檢測(cè)模塊24，通過相機(jī)模組25提供的反饋的高低電平信號(hào)，來檢測(cè)多相機(jī)模組運(yùn)行狀態(tài)是否正常，運(yùn)行異常時(shí)，能夠及時(shí)給出報(bào)警信息。
[0137]相機(jī)模組25，全景相機(jī)最主要的功能模塊，用于拍照、錄像、連拍等基本的音視頻信息拾取，通過模數(shù)轉(zhuǎn)換模塊轉(zhuǎn)換后將數(shù)字信息流傳遞給數(shù)字信號(hào)處理器DSP(DigitalSignal Processing) ASP將數(shù)字信息流按照H.264編碼處理，并將處理后的圖像或者視頻文件放置到自身的存儲(chǔ)單元中。
[0138]視頻縫合模塊26，用于實(shí)時(shí)縫合各個(gè)相機(jī)模組錄制的視頻文件，可采用FPGA作為基礎(chǔ)縫合硬件平臺(tái)。音視頻識(shí)別碼在此處被解析出來，從而確定視頻幀同步的起始位置。
[0139]存儲(chǔ)模塊27，用于存儲(chǔ)全景相機(jī)內(nèi)部實(shí)時(shí)縫合后的文件，即最終生成的音視頻文件，圖片信息及其他最終用戶可見的全景文件。
[0140]圖8為根據(jù)本發(fā)明一個(gè)實(shí)施例的音視頻識(shí)別碼模塊與相機(jī)模組的交互示意圖。
[0141]如圖8所示，音視頻識(shí)別碼模塊分別與多個(gè)相機(jī)模組外圍的同步控制電路單元連接。同步控制單元默認(rèn)連接到各個(gè)相機(jī)模組的音頻采集(MIC)部分電路，從而實(shí)現(xiàn)整體音視頻識(shí)別碼的同步加入。
[0142]首視頻識(shí)別碼t旲塊主要功能:內(nèi)部具備t旲塊使能功能，在多相機(jī)t旲組全部啟動(dòng)完成后，通過控制指令，能夠定時(shí)產(chǎn)生脈沖識(shí)別碼信號(hào)，并通過同步控制電路傳送到各個(gè)相機(jī)模組的音頻采集(MIC)電路中。
[0143]同步控制電路單元將音視頻識(shí)別碼模塊產(chǎn)生的識(shí)別碼信號(hào)，通過多個(gè)同步的高速切換開關(guān)，同步傳輸?shù)礁鱾€(gè)相機(jī)模組中，實(shí)現(xiàn)同步的脈沖識(shí)別碼信號(hào)的加載。
[0144]相機(jī)模組中的音頻采集(MIC)電路:將脈沖識(shí)別碼信號(hào)拾取，并轉(zhuǎn)化為對(duì)應(yīng)的數(shù)字信號(hào)，合并到音視頻數(shù)據(jù)中，形成包含音視頻識(shí)別碼的視頻文件。
[0145]本發(fā)明實(shí)施例的全景相機(jī)包括本發(fā)明上述任一實(shí)施例的全景視頻的生成裝置。
[0146]本發(fā)明實(shí)施例的全景相機(jī)，在檢測(cè)到全景相機(jī)中多個(gè)相機(jī)模組的錄像功能全部開啟后，在各相機(jī)模組錄制的視頻文件中同時(shí)添加音視頻識(shí)別碼，并在進(jìn)行視頻縫合時(shí)，根據(jù)音視頻識(shí)別碼在個(gè)視頻文件中的所在位置標(biāo)識(shí)視頻同步點(diǎn)，對(duì)視頻文件進(jìn)行縫合以生成全景視頻。由此，通過音視頻標(biāo)識(shí)碼能夠準(zhǔn)確地定位視頻間的同步位置，進(jìn)而同步各個(gè)視頻文件，能夠避免因視頻幀不同步而導(dǎo)致視頻縫合失敗或者出錯(cuò)的問題，且無需增加復(fù)雜的處理，方案簡(jiǎn)單易行，消耗資源少。
[0147]流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個(gè)或更多個(gè)用于實(shí)現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實(shí)施方式的范圍包括另外的實(shí)現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時(shí)的方式或按相反的順序，來執(zhí)行功能，這應(yīng)被本發(fā)明的實(shí)施例所屬技術(shù)領(lǐng)域的技術(shù)人員所理解。
[0148]在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認(rèn)為是用于實(shí)現(xiàn)邏輯功能的可執(zhí)行指令的定序列表，可以具體實(shí)現(xiàn)在任何計(jì)算機(jī)可讀介質(zhì)中，以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備(如基于計(jì)算機(jī)的系統(tǒng)、包括處理器的系統(tǒng)或其他可以從指令執(zhí)行系統(tǒng)、裝置或設(shè)備取指令并執(zhí)行指令的系統(tǒng))使用，或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用。就本說明書而言，“計(jì)算機(jī)可讀介質(zhì)”可以是任何可以包含、存儲(chǔ)、通信、傳播或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備或結(jié)合這些指令執(zhí)行系統(tǒng)、裝置或設(shè)備而使用的裝置。計(jì)算機(jī)可讀介質(zhì)的更具體的示例(非窮盡性列表)包括以下:具有一個(gè)或多個(gè)布線的電連接部(電子裝置)，便攜式計(jì)算機(jī)盤盒(磁裝置)，隨機(jī)存取存儲(chǔ)器(RAM)，只讀存儲(chǔ)器(ROM)，可擦除可編輯只讀存儲(chǔ)器(EPR0M或閃速存儲(chǔ)器)，光纖裝置，以及便攜式光盤只讀存儲(chǔ)器(CDR0M)。另外，計(jì)算機(jī)可讀介質(zhì)甚至可以是可在其上打印所述程序的紙或其他合適的介質(zhì)，因?yàn)榭梢岳缤ㄟ^對(duì)紙或其他介質(zhì)進(jìn)行光學(xué)掃描，接著進(jìn)行編輯、解譯或必要時(shí)以其他合適方式進(jìn)行處理來以電子方式獲得所述程序，然后將其存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)器中。
[0149]應(yīng)當(dāng)理解，本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來實(shí)現(xiàn)。在上述實(shí)施方式中，多個(gè)步驟或方法可以用存儲(chǔ)在存儲(chǔ)器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實(shí)現(xiàn)。例如，如果用硬件來實(shí)現(xiàn)，和在另一實(shí)施方式中一樣，可用本領(lǐng)域公知的下列技術(shù)中的任一項(xiàng)或他們的組合來實(shí)現(xiàn):具有用于對(duì)數(shù)據(jù)信號(hào)實(shí)現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(PGA)，現(xiàn)場(chǎng)可編程門陣列(FPGA)等。
[0150]本技術(shù)領(lǐng)域的普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法攜帶的全部或部分步驟是可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，包括方法實(shí)施例的步驟之一或其組合。
[0151]此外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理模塊中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，也可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。
[0152]上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器，磁盤或光盤等。
[0153]在本發(fā)明的描述中，需要理解的是，術(shù)語“中心”、“縱向”、“橫向”、“上”、“下”、“前”、“后”、“左”、“右”、“豎直”、“水平”、“頂”、“底”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。此外，術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。
[0154]在本發(fā)明的描述中，需要說明的是，除非另有明確的規(guī)定和限定，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接;可以是機(jī)械連接，也可以是電連接;可以是直接相連，也可以通過中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語在本發(fā)明中的具體含義。
[0155]在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對(duì)上述術(shù)語的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。
[0156]盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解:在不脫離本發(fā)明的原理和宗旨的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同限定。
【主權(quán)項(xiàng)】
1.一種全景視頻的生成方法，其特征在于，包括以下步驟: 接收視頻錄制指令，并檢測(cè)全景相機(jī)中的多個(gè)相機(jī)模組的錄像功能是否已經(jīng)全部開啟； 如果所述多個(gè)相機(jī)模組的錄像功能已經(jīng)全部開啟，則在所述多個(gè)相機(jī)模組錄制的視頻文件中同時(shí)添加音視頻識(shí)別碼； 在對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合時(shí)，從各視頻文件中解析出所述音視頻識(shí)別碼所在位置，并以所述視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合，以生成全景視頻。2.如權(quán)利要求1所述的方法，其特征在于，所述在所述多個(gè)相機(jī)模組的錄制的視頻文件中同步增加音視頻識(shí)別碼，包括: 按照預(yù)設(shè)時(shí)間間隔在所述多個(gè)相機(jī)模組的錄制的視頻文件中多次添加音視頻識(shí)別碼，且在每次添加音視頻識(shí)別碼時(shí)，為所述多個(gè)相機(jī)模組的錄制的視頻文件同時(shí)添加音視頻識(shí)別碼。3.如權(quán)利要求2所述的方法，其特征在于，所述以所述視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合，包括: 從第一個(gè)音視頻識(shí)別碼所在位置開始依次對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件中的視頻幀進(jìn)行縫合，直至至少一個(gè)視頻文件到達(dá)下一音視頻識(shí)別碼所在位置，并以所述下一音視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，繼續(xù)進(jìn)行視頻幀縫合。4.如權(quán)利要求1所述的方法，其特征在于，還包括: 如果存在至少一個(gè)相機(jī)模組未開啟錄像功能，則發(fā)出第一警示信號(hào)，以提示用戶相機(jī)模組未就緒。5.如權(quán)利要求4所述的方法，其特征在于，還包括: 如果經(jīng)過預(yù)設(shè)時(shí)間后所述至少一個(gè)相機(jī)模組仍未開啟錄像功能，則發(fā)出第二警示信號(hào)，以提示所述用戶相機(jī)模組故障。6.如權(quán)利要求1所述的方法，其特征在于，還包括: 如果在視頻錄制過程中，檢測(cè)到至少一個(gè)相機(jī)模組停止了視頻錄制，則控制其他相機(jī)模組停止視頻錄制，并對(duì)用戶進(jìn)行提示。7.如權(quán)利要求1所述的方法，其特征在于，還包括: 判斷所述全景相機(jī)是否具有視頻縫合功能； 如果所述全景相機(jī)不具有視頻縫合功能，則將所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行存儲(chǔ)，并在錄制完成后導(dǎo)出所述多個(gè)相機(jī)模組錄制的視頻文件，以對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合； 如果所述全景相機(jī)具有視頻縫合功能，則在所述全景相機(jī)內(nèi)對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合。8.一種全景視頻的生成裝置，其特征在于，包括: 多個(gè)相機(jī)模組，用于接收視頻錄制指令，并進(jìn)行視頻錄制； 檢測(cè)模塊，用于檢測(cè)所述多個(gè)相機(jī)模組的錄像功能是否已經(jīng)全部開啟； 添加模塊，用于當(dāng)所述多個(gè)相機(jī)模組的錄像功能已經(jīng)全部開啟時(shí)，在所述多個(gè)相機(jī)模組錄制的視頻文件中同時(shí)添加音視頻識(shí)別碼； 視頻縫合模塊，用于在對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合時(shí)，從各視頻文件中解析出所述音視頻識(shí)別碼所在位置，并以所述視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合，以生成全景視頻。9.如權(quán)利要求8所述的裝置，其特征在于，所述添加模塊用于: 按照預(yù)設(shè)時(shí)間間隔在所述多個(gè)相機(jī)模組的錄制的視頻文件中多次添加音視頻識(shí)別碼，且在每次添加音視頻識(shí)別碼時(shí)，為所述多個(gè)相機(jī)模組的錄制的視頻文件同時(shí)添加音視頻識(shí)別碼。10.如權(quán)利要求9所述的裝置，其特征在于，所述視頻縫合模塊用于: 從第一個(gè)音視頻識(shí)別碼所在位置開始依次對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件中的視頻幀進(jìn)行縫合，直至至少一個(gè)視頻文件到達(dá)下一音視頻識(shí)別碼所在位置，并以所述下一音視頻識(shí)別碼所在位置作為視頻同步點(diǎn)，繼續(xù)進(jìn)行視頻幀縫合。11.如權(quán)利要求8所述的裝置，其特征在于，還包括: 警示模塊，用于當(dāng)存在至少一個(gè)相機(jī)模組未開啟錄像功能時(shí)，發(fā)出第一警示信號(hào)，以提示用戶相機(jī)模組未就緒。12.如權(quán)利要求11所述的裝置，其特征在于， 所述警示模塊還用于當(dāng)經(jīng)過預(yù)設(shè)時(shí)間后所述至少一個(gè)相機(jī)模組仍未開啟錄像功能時(shí)，發(fā)出第二警示信號(hào)，以提示所述用戶相機(jī)模組故障。13.如權(quán)利要求8所述的裝置，其特征在于，還包括: 控制模塊，用于當(dāng)在視頻錄制過程中，檢測(cè)到至少一個(gè)相機(jī)模組停止了視頻錄制時(shí)，控制其他相機(jī)模組停止視頻錄制，并對(duì)用戶進(jìn)行提示。14.如權(quán)利要求8所述的裝置，其特征在于，還包括: 存儲(chǔ)模塊，用于將所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行存儲(chǔ)； 導(dǎo)出模塊，用于在錄制完成后導(dǎo)出所述多個(gè)相機(jī)模組錄制的視頻文件，以對(duì)所述多個(gè)相機(jī)模組錄制的視頻文件進(jìn)行縫合。15.—種全景相機(jī)，其特征在于，包括如權(quán)利要求8-14任一項(xiàng)所述的全景視頻的生成裝置。
【文檔編號(hào)】H04N5/232GK105872369SQ201610196043
【公開日】2016年8月17日
【申請(qǐng)日】2016年3月30日
【發(fā)明人】薛琪, 王乾, 王一乾, 宋金貴, 德偉龍, 遲海
【申請(qǐng)人】沈陽泰科易科技有限公司