一種兩視點(diǎn)立體圖像合成方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及立體成像技術(shù)，尤指一種兩視點(diǎn)立體圖像合成方法及系統(tǒng)。
【背景技術(shù)】
[0002]人類獲取信息最有效的渠道是通過視覺。由于人的雙眼看到的是自然界中真實(shí)的三維景物，因此，能夠在屏幕上再現(xiàn)真實(shí)的三維景物一直是人類追求的目標(biāo)。立體成像技術(shù)就是基于這樣的需求逐步發(fā)展起來的，可以用于科研、軍事、教育、工業(yè)、醫(yī)療等諸多領(lǐng)域。通過立體成像技術(shù)，可以記錄、傳輸和顯示立體彩色圖像，使觀眾產(chǎn)生身臨其境的感覺。
[0003]空間復(fù)用方式立體成像技術(shù)是將立體圖像對同時(shí)顯示在屏幕上，通過一些特殊的手段，使兩眼分別同時(shí)觀看到不同的畫面，從而獲得立體感。從光學(xué)原理上講，不戴眼鏡而利用各種光學(xué)面即可觀看到立體圖像，被稱為雙視點(diǎn)自由立體(auto-stereoscopic)顯示方式。常用的光學(xué)面包括:透鏡柱板(Lenticular Plate)、視差柵欄(Parallax Barrier)、光柵陣列(IP Lens Array)等。對于雙視點(diǎn)自由立體顯示方式,一般情況下,通過在CRT顯示器或者平板顯示器前加入透鏡柱面或者視差柵欄，控制各像素光線的射出方向，使左視點(diǎn)的圖像僅射入左眼，右視點(diǎn)的圖像僅射入右眼，利用雙目視差，產(chǎn)生立體視覺。
[0004]透鏡柱面由一排垂直排列的半圓形柱面透鏡組成，利用每個(gè)柱面鏡頭對光的折射作用，把兩幅不同的平面圖像導(dǎo)向雙眼分別對應(yīng)的視域，使左眼圖像聚焦于觀看者左眼，右眼圖像聚焦于觀看者右眼，由此來產(chǎn)生立體視覺。
[0005]視差柵欄是安裝在顯示前方的垂直平板，對每只眼睛，它都阻擋了屏幕的一部分，使左視點(diǎn)所有像素的光線均射入左眼視域，右視點(diǎn)所有像素的光線均射入右眼視域。視差檔板的作用類似透鏡柱面，區(qū)別在于它是利用檔板擋住部分像素顯示，而不是通過折射改變方向。
[0006]圖1為現(xiàn)有狹縫前置式IXD自由立體顯示器的結(jié)構(gòu)示意圖，如圖1所示，將狹縫光柵置于液晶屏前適當(dāng)位置，狹縫會(huì)遮擋人眼的部分視線。人眼透過狹縫光柵觀看液晶屏，由于狹縫光柵的遮擋，人的單眼透過一條狹縫只能觀看到一列像素。比如，右眼只能看到Rn列像素，左眼只能看到Ln列像素。如果Rn列像素與Ln列像素分別顯示右眼和左眼的圖像，那么，人眼觀看此圖像會(huì)在大腦中形成立體圖像。
[0007]立體視頻最終通過移動(dòng)屏幕顯示，讓人的左右眼分別觀看到具有一定視差的兩個(gè)視圖，從而使人腦恢復(fù)出視圖中的三維信息。考慮到移動(dòng)終端的顯示屏幕較小、電池驅(qū)動(dòng)等特點(diǎn)，采用兩個(gè)視點(diǎn)足以滿足觀看的需要。
[0008]現(xiàn)有技術(shù)中，存在利用單攝像頭完成立體圖像采集顯示的方案，方法是對單幀圖像進(jìn)行人工地視差平移，產(chǎn)生出另一張與其視差不同的圖像，再將這兩張圖像用于立體合成。由于人工模擬的視差只是單純地對圖像進(jìn)行左右整體平移而不改變圖像中各景深景物的相對距離，其立體顯示效果不佳；此外，由于采集時(shí)只使用一路攝像頭，當(dāng)出現(xiàn)攝像頭被遮擋或是圖像噪聲較大的情況時(shí)，會(huì)對立體圖像的質(zhì)量產(chǎn)生較大影響。而且，在移動(dòng)終端在攝像頭被遮擋、采集的立體圖像素材噪聲較大的情況下，不能以較快的速度采集、合成、顯示出高質(zhì)量的立體圖像。

【發(fā)明內(nèi)容】

[0009]為了解決上述技術(shù)問題，本發(fā)明提供一種兩視點(diǎn)立體圖像合成方法及系統(tǒng)，能夠克服圖像突變問題，增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力，從而顯示出高質(zhì)量的立體圖像。
[0010]為了達(dá)到本發(fā)明目的，本發(fā)明提供了一種兩視點(diǎn)立體圖像合成方法，包括:利用雙移動(dòng)行業(yè)處理器接口 MIPI接口采集雙視點(diǎn)圖像；
[0011]對采集到的雙視點(diǎn)圖像進(jìn)行匹配、合成處理，生成兩視點(diǎn)立體圖像數(shù)據(jù)；
[0012]通過狹縫光柵前置LED立體顯示器實(shí)現(xiàn)對兩視點(diǎn)立體圖像的裸眼顯示。
[0013]該方法還包括:對述采集到的雙視點(diǎn)圖像進(jìn)行視頻驅(qū)動(dòng)處理。
[0014]所述對采集到的雙視點(diǎn)圖像進(jìn)行匹配、合成處理包括:
[0015]利用兩個(gè)并行執(zhí)行的預(yù)覽線程，分別提取出所述采集到的雙視點(diǎn)圖像中的左右視圖每一幀圖像的數(shù)據(jù)，再對其進(jìn)行匹配、合成處理。
[0016]所述進(jìn)行匹配、合成處理包括:
[0017]在內(nèi)存中注冊用于照相機(jī)預(yù)覽顯示的專用緩沖區(qū)；從所述采集到的雙視點(diǎn)圖像中中獲取左右兩路視頻單幀數(shù)據(jù)，并將其分別存放到專用緩沖區(qū)中；
[0018]利用幀數(shù)據(jù)時(shí)間戳對獲得的左右兩路視頻單幀數(shù)據(jù)進(jìn)行同步處理；
[0019]將采集到的YUV格式的數(shù)據(jù)轉(zhuǎn)換為RGB格式；
[0020]對格式轉(zhuǎn)換后的左右視圖進(jìn)行圖像平滑和尺寸變換處理；
[0021]采用尺度不變特征變換匹配算法SIFT特征匹配算法提取并匹配的經(jīng)過圖像平滑和尺寸變換處理后的左右視圖的特征；
[0022]通過預(yù)先設(shè)置的特定的像素排列方式對左右視圖像素點(diǎn)進(jìn)行排列，生成一幀可在光柵下顯示的立體圖像數(shù)據(jù)。
[0023]所述圖像平滑處理應(yīng)用高斯低通濾波器實(shí)現(xiàn)。
[0024]該方法還包括:利用隨機(jī)取樣一致性算法RANSAC剔除所述匹配后的左右視圖的特征中的誤匹配的特征點(diǎn)。
[0025]所述像素排列方式為:以縱向列為單位，合成圖的第一列排布左視圖的第一列像素，合成圖的第二列排布右視圖的第一列像素；合成圖的第三列排布左視圖第二列像素，合成圖的第四列排布右視圖第二列像素，以此類推，直至左右視圖像素完全排布進(jìn)入合成圖中。
[0026]所述生成一幀可在光柵下顯示的立體圖像數(shù)據(jù)之前還包括:驗(yàn)證所述左右視圖是否被遮擋，如果存在被遮擋，修復(fù)遮擋區(qū)域。
[0027]所述修復(fù)遮擋區(qū)域包括:采用另一視圖中像素點(diǎn)的灰度值修正對某一視圖中對應(yīng)的被異物遮擋的區(qū)域。
[0028]該方法還包括:利用中值濾波器檢測所述修復(fù)遮擋后的左右視圖的噪聲，并對噪聲點(diǎn)加以標(biāo)注；
[0029]對于確定為噪聲的點(diǎn)進(jìn)行噪聲點(diǎn)修復(fù)。
[0030]所述進(jìn)行噪聲修復(fù)包括:采用另一視點(diǎn)對應(yīng)像素點(diǎn)的灰度值修正確認(rèn)出的噪聲點(diǎn)內(nèi)各像素灰度值。
[0031]本發(fā)明還提供了一種兩視點(diǎn)立體圖像合成系統(tǒng)，至少包括采集單元、處理單元，以及顯示單元；其中，
[0032]采集單元，用于利用雙MIPI接口采集雙視點(diǎn)圖像；
[0033]處理單元，用于對采集到的雙視點(diǎn)圖像進(jìn)行匹配、合成處理，生成兩視點(diǎn)立體圖像數(shù)據(jù)并輸出給顯示單元；
[0034]顯示單元，用于通過狹縫光柵前置LED立體顯示器實(shí)現(xiàn)對兩視點(diǎn)立體圖像的裸眼顯不ο
[0035]所述采集單元至少包括兩路具有ΜΙΡΙ接口的后置攝像頭，分別用于采集左右兩路視圖；
[0036]兩路攝像頭分別掛載在不同的I2C總線上，采用獨(dú)立的數(shù)據(jù)線路與內(nèi)存和中央處理器交互，并利用每一幀圖像的時(shí)間戳進(jìn)行幀同步。
[0037]所述攝像頭的為Omnivis1n公司的0V5640芯片。
[0038]所述采集單元還包括攝像頭驅(qū)動(dòng)模塊，用于對采集到的兩路視圖進(jìn)行驅(qū)動(dòng)處理后輸出給處理單元。
[0039]所述攝像頭驅(qū)動(dòng)模塊采用V4L2視頻驅(qū)動(dòng)框架來實(shí)現(xiàn)。
[0040]所述處理單元至少包括預(yù)處理模塊、提取模塊、匹配模塊，合成模塊；其中，
[0041]預(yù)處理模塊，用于在內(nèi)存中注冊用于照相機(jī)預(yù)覽顯示的專用緩沖區(qū)；獲取左右兩路視頻單幀數(shù)據(jù)，并將其分別存放到專用緩沖區(qū)中；同時(shí)，利用幀數(shù)據(jù)時(shí)間戳功能進(jìn)行軟件同步；將采集到的YUV格式的數(shù)據(jù)轉(zhuǎn)換為RGB格式；對格式轉(zhuǎn)換后的左右視圖進(jìn)行圖像平滑和尺寸變換處理后輸出給提取模塊；
[0042]提取模塊，用于采用SIFT特征匹配算法提取預(yù)處理后的左右視圖的特征，生成32維度的SIFT特征描述子；
[0043]匹配模塊，用于采用SIFT特征匹配算法匹配提取的左右視圖的特征，將右視圖中歐式距離最近的點(diǎn)作為當(dāng)前左視圖SIFT關(guān)鍵點(diǎn)的匹配點(diǎn)，記錄匹配點(diǎn)對的坐標(biāo)信息；
[0044]合成模塊，用于通過預(yù)先設(shè)置的特定的像素排列方式對左右視圖像素點(diǎn)進(jìn)行排列，生成一幀可在光柵下顯示的立體圖像數(shù)據(jù)。
[004