一種基于移動平臺的全景拍攝系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于全景拍攝技術(shù)領(lǐng)域，尤其涉及一種基于移動平臺的全景拍攝系統(tǒng)及方法。
【背景技術(shù)】
[0002]圖像和視頻的拼接技術(shù)，即通過對從不同角度拍攝的畫面進(jìn)行拼接及融合從而獲得更大視角的畫面或者全景畫面。目前大部分算法都是通過尋找兩兩畫面重疊區(qū)域中相匹配的點(diǎn)，然后將重疊區(qū)域配準(zhǔn)，并最終將多個畫面融合到一起。大多數(shù)方案的差異主要集中在數(shù)據(jù)的采集和使用方面，如:手機(jī)中全景拍攝模式:通過用戶平移手機(jī)，手機(jī)會拍攝平移過程中的所有畫面，兩兩拼接后，得到整個場景的畫面；通過多個相機(jī)分別拍攝不同視角的相片或視頻，要求所拍攝畫面保證兩兩之間有重疊的區(qū)域，然后通過后期處理的方式，將所拍攝的畫面拼接成一個全景畫面；通過特制的一體化全景相機(jī)，一次性輸出全景畫面。
[0003]通過手機(jī)的全景模式拍攝，拍攝時間長，經(jīng)常出現(xiàn)拼接錯誤或由于拍攝過程中有物體移動而產(chǎn)生的“鬼影”，以及無法拍攝全景視頻等問題；通過多個相機(jī)拍攝，則會存在設(shè)備昂貴，無法實(shí)時查看拍攝畫面，操作復(fù)雜以及數(shù)據(jù)很難同步等問題；通過特制的全景相機(jī)來拍攝，由于是獨(dú)立的拍攝設(shè)備，會存在系統(tǒng)設(shè)計(jì)復(fù)雜，價格高昂，攜帶不變等問題。另外，目前多數(shù)設(shè)備不支持實(shí)時預(yù)覽全景畫面和全景視頻拍攝等功能。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種基于移動平臺的全景拍攝系統(tǒng)及方法，旨在解決現(xiàn)有全景拍攝方法存在成本高、拍攝過程繁瑣、需要獨(dú)立拍攝設(shè)備、無法錄制全景視頻的問題。
[0005]本發(fā)明是這樣實(shí)現(xiàn)的，一種基于移動平臺的全景拍攝方法，所述基于移動平臺的全景拍攝方法包括:
[0006]打開前置相機(jī)和后置相機(jī)，讀取前置相機(jī)和后置相機(jī)拍攝的圖片或視頻流以及實(shí)時的預(yù)覽視頻流；
[0007]對兩路圖像分別作處理，包括圖像矯正，色彩調(diào)整，噪點(diǎn)消除，曝光及對比度調(diào)整；圖像矯正是去除部分畸變以及Lens Shading，色彩校正是對于色溫的調(diào)整，噪點(diǎn)消除涉及圖像傳感器固有噪聲，以及圖像數(shù)據(jù)讀取時的噪聲消除；
[0008]圖像特征點(diǎn)的提取、篩選及匹配；特征點(diǎn)提取算法檢測到特征點(diǎn)的位置，并通過對特征點(diǎn)的描述，匹配到該點(diǎn)在另一幅畫面中相對應(yīng)的特征點(diǎn)，為后面的圖像配準(zhǔn)和拼接做準(zhǔn)備；
[0009]圖像配準(zhǔn)、拼接、融合:基于得到的圖像特征點(diǎn)匹配對，計(jì)算得到前后相機(jī)的相對位置關(guān)系，以及畫面的重疊區(qū)域，即Ifront= K[R|T]K Ibd，其中4_與I badi表示通過特征點(diǎn)提取找到的前后置相機(jī)畫面的特征點(diǎn)匹配對，K表示的是相機(jī)的內(nèi)部參數(shù)，包括相機(jī)的焦距，相機(jī)傳感器中心相對鏡頭光軸的偏移量以及鏡頭的畸變參數(shù)等，而[RlT]則是需用計(jì)算的相機(jī)相對位置關(guān)系，這個相對位置關(guān)系，描述成旋轉(zhuǎn)和平移的數(shù)學(xué)模型，相對變換矩陣[R|T]是固定的；拼接算法則是基于確定后的圖像重合情況將畫面重疊區(qū)域移動到一起，最后通過圖像融合將兩張圖像之間的重疊區(qū)域過度平滑；
[0010]全景圖像及視頻的壓縮及存儲；圖像渲染顯示到移動設(shè)備的屏幕上。
[0011]本發(fā)明的另一目的在于提供一種所述基于移動平臺的全景拍攝方法的全景拍攝系統(tǒng)，所述全景拍攝系統(tǒng)包括:
[0012]讀取模塊，用于讀取前置相機(jī)和后置相機(jī)拍攝的圖片或視頻流以及實(shí)時的預(yù)覽視頻流；
[0013]圖像處理模塊，用于對兩路圖像分別作處理，包括圖像矯正，色彩調(diào)整，噪點(diǎn)消除，曝光及對比度調(diào)整；
[0014]特征點(diǎn)處理模塊，用于圖像特征點(diǎn)的提取、篩選及匹配；特征點(diǎn)提取算法檢測到特征點(diǎn)的位置，并通過對特征點(diǎn)的描述，匹配到該點(diǎn)在另一幅畫面中相對應(yīng)的特征點(diǎn)，為后面的圖像配準(zhǔn)和拼接做準(zhǔn)備；
[0015]特征點(diǎn)匹配模塊，用于圖像配準(zhǔn)、拼接、融合；基于得到的圖像特征點(diǎn)匹配對，計(jì)算的到前后相機(jī)的相對位置關(guān)系，以及畫面的重疊區(qū)域；拼接算法則是基于確定后的圖像重合情況將畫面重疊區(qū)域移動到一起，最后通過圖像融合將兩張圖像之間的重疊區(qū)域過度平滑；
[0016]存儲模塊，用于全景圖像及視頻的壓縮及存儲；
[0017]顯示模塊，用于圖像渲染顯示到移動設(shè)備的屏幕上。
[0018]進(jìn)一步，所述圖像處理模塊包括:
[0019]圖像矯正單元，用于去除部分畸變以及Lens Shading ；
[0020]色彩校正單元，用于對色溫的調(diào)整；
[0021]噪點(diǎn)消除單元，用于對圖像傳感器固有噪聲，以及圖像數(shù)據(jù)讀取時的噪聲消除。
[0022]進(jìn)一步，所述全景拍攝系統(tǒng)進(jìn)一步包括:兩個魚眼鏡頭和一個加固機(jī)構(gòu)；
[0023]兩個魚眼鏡頭通過螺紋安裝在手機(jī)或者平板的前置攝像頭和后置攝像頭上。
[0024]本發(fā)明的另一目的在于提供一種使用所述基于移動平臺的全景拍攝方法的智能終端。
[0025]本發(fā)明提供的基于移動平臺的全景拍攝方法，提出一種基于移動平臺(手機(jī)或者平板)拍攝全景圖像以及視頻的方案，要求該移動平臺具備前后置兩個攝像頭，較好地解決了現(xiàn)有全景拍攝方法存在成本高、拍攝過程繁瑣、需要獨(dú)立拍攝設(shè)備、無法錄制全景視頻的問題。此外，本發(fā)明的結(jié)構(gòu)簡單，操作方便，實(shí)用性較強(qiáng)，加固件的作用是將兩個魚眼鏡頭分別固定在前后置相機(jī)上，為了保證成像質(zhì)量，兩個鏡頭的光軸需要與相機(jī)的光軸重合；為了保證結(jié)構(gòu)穩(wěn)定，加固件首先需要緊緊包裹在手機(jī)或平板上，可以通過架子或者保護(hù)套的形式固定；加固件要求不能遮擋前后置鏡頭的視野；兩個魚眼鏡頭為了固定的穩(wěn)定性，可以通過螺紋固定在加固件上；加固件的作用是將兩個魚眼鏡頭分別固定在前后置相機(jī)上，為了保證成像質(zhì)量，兩個鏡頭的光軸需要與相機(jī)的光軸重合；為了保證結(jié)構(gòu)穩(wěn)定，加固件首先需要緊緊包裹在手機(jī)或平板上，可以通過架子或者保護(hù)套的形式固定；加固件要求不能遮擋前后置鏡頭的視野；兩個魚眼鏡頭為了固定的穩(wěn)定性，可以通過螺紋固定在加固件上。
【附圖說明】
[0026]圖1是本發(fā)明實(shí)施例提供的基于移動平臺的全景拍攝方法流程圖。
[0027]圖2是本發(fā)明實(shí)施例提供的基于移動平臺的全景拍攝系統(tǒng)結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0028]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0029]下面結(jié)合附圖對本發(fā)明的應(yīng)用原理作進(jìn)一步描述。
[0030]如圖1所示，本發(fā)明實(shí)施例的基于移動平臺的全景拍攝方法包括以下步驟:
[0031]第一步，打開前置相機(jī)和后置相機(jī)；
[0032]第二步，讀取前置相機(jī)和后置相機(jī)拍攝的圖片或視頻流以及實(shí)時的預(yù)覽視頻流；
[0033]第三步，對兩路圖像分別作處理，包括圖像矯正，色彩調(diào)整，噪點(diǎn)消除，曝光及對比度調(diào)整等；
[0034]第四步，圖像特征點(diǎn)的提取、篩選及匹配；
[0035]第五步，圖像配準(zhǔn)、拼接、融合；
[0036]第六步，全景圖像及視頻的壓縮及存儲；圖像渲染顯示到移動設(shè)備的屏幕上。
[0037]對兩路圖像分別作處理，包括圖像矯正，色彩調(diào)整，噪點(diǎn)消除，曝光及對比度調(diào)整；比較難描述，因?yàn)槊恳粋€都是一個復(fù)雜的操作，而且每一塊也都相對標(biāo)準(zhǔn)，只是會針對平臺作些調(diào)整，例如圖像矯正，主要是去除部分畸變以及Lens Shading等，色彩校正主要是對于色溫的調(diào)整，噪點(diǎn)消除則主要涉及圖像傳感器固有噪聲，以及圖像數(shù)據(jù)讀取時的噪聲消除，曝光和對比度主要是為了解決高動態(tài)場景下的亮度不準(zhǔn)確，過明過暗的問題。這些的算法在本發(fā)明中并不是保護(hù)重點(diǎn)，但可以保護(hù)這