本發(fā)明涉及圖像處理，特別涉及一種四目攝像頭全景拼接方法。

背景技術(shù)：

1、目前具有圖像采集功能的電子設(shè)備，拍攝視角局限，例如手機(jī)的主攝鏡頭視角范圍在80°-90°，而專(zhuān)業(yè)相機(jī)的廣角攝像不到160°，其攝像視角存在視線(xiàn)盲區(qū)。對(duì)此，目前也有將攝像頭設(shè)置成魚(yú)眼鏡頭，進(jìn)行全景視野圖像采集的形式，增強(qiáng)了鏡頭視野的捕捉，從而達(dá)到全方位攝像的效果。

2、但是，目前攝像頭的成像方案是將全景圖像以圓形的形式，全方位360°地呈現(xiàn)出來(lái)，對(duì)于全景成像的圖像拼接算法要求較高，?雖然在此方向上有重疊區(qū)域融合、顏色校正等技術(shù)處理手段，但由于魚(yú)眼鏡頭本身畸變效果的特性，會(huì)導(dǎo)致圖像畸變失真，并且圖像中的物體被拉伸、變形后，會(huì)造成與現(xiàn)實(shí)不符的情況。

3、基于此技術(shù)有，?cn112581371a?-?基于四路攝像頭新型結(jié)構(gòu)的全景實(shí)時(shí)成像拼接方法，通過(guò)四路廣角鏡頭拍攝圖像，并通過(guò)usb集線(xiàn)器將圖像輸入到mini?pc端，根據(jù)透視變換原理，確定源圖像中待測(cè)矩形的四點(diǎn)坐標(biāo)，再確定目標(biāo)圖像中矩形的四點(diǎn)坐標(biāo)，將圖像信息通過(guò)透視變換成為一個(gè)矩陣，再把變換后的矩陣輸入到透視變換函數(shù)接口中，可得到相應(yīng)變換后的圖像；依次將四路攝像機(jī)拍攝的圖片進(jìn)行處理后，將變換后的圖像全部拼接在一起得到一張完整的全景圖；該發(fā)明解決現(xiàn)在的四路輸入的360度全景圖拍攝存在盲區(qū)的問(wèn)題，可以實(shí)時(shí)地顯示出來(lái)畫(huà)面；但該方案在對(duì)物體的動(dòng)態(tài)匹配上，僅僅是對(duì)物體首幀圖像的捕捉處理，不能實(shí)時(shí)更新移動(dòng)目標(biāo)的狀態(tài)，以及不能消除拼接痕跡，導(dǎo)致不能實(shí)現(xiàn)移動(dòng)目標(biāo)的追蹤。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的為提供一種四目攝像頭全景拼接方法?，旨在實(shí)時(shí)更新移動(dòng)目標(biāo)的狀態(tài)，消除拼接痕跡，實(shí)現(xiàn)移動(dòng)目標(biāo)的追蹤。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種四目攝像頭全景拼接方法?，包括以下步驟：

3、通過(guò)四目攝像頭采集同一空間下的圖像信息，并將所述圖像信息導(dǎo)入cmos圖像傳感器中，所述四目攝像頭包括對(duì)應(yīng)預(yù)設(shè)焦距的攝像頭；

4、利用cmos圖像傳感器中光電轉(zhuǎn)換區(qū)的像素陣列，將所接收到的圖像信息光信號(hào)轉(zhuǎn)化為圖像信息電信號(hào)，cmos圖像傳感器上的讀出電路將所述圖像信息電信號(hào)轉(zhuǎn)化為數(shù)字化圖像信號(hào)；

5、利用cmos圖像傳感器將轉(zhuǎn)化后所述數(shù)字化圖像信號(hào)輸入dsp數(shù)字信號(hào)處理芯片中進(jìn)行圖像信息預(yù)處理；

6、利用sift算法對(duì)四目攝像頭不同角度采集的dsp數(shù)字信號(hào)處理芯片中的數(shù)字化圖像信息進(jìn)行關(guān)鍵點(diǎn)的提取，并基于所述關(guān)鍵點(diǎn)提取將四目攝像頭中的全景圖像信息進(jìn)行匹配，且獲取所匹配輸出的第一拼接全景圖像，所述第一拼接全景圖像為同一時(shí)間幀不同攝像頭采集圖像的拼接；

7、通過(guò)計(jì)算所述第一拼接全景圖像與相鄰幀第二拼接全景圖像之間的像素差，識(shí)別出動(dòng)態(tài)目標(biāo)；

8、利用背景建模法構(gòu)造出全景圖像背景，將所述動(dòng)態(tài)目標(biāo)作為前景融合到所構(gòu)造的全景圖像背景中，拼接出動(dòng)態(tài)圖像。

9、進(jìn)一步地，cmos圖像傳感器中光電轉(zhuǎn)換區(qū)的像素陣列，將所接收到的圖像信息光信號(hào)轉(zhuǎn)化為圖像信息電信號(hào)的步驟，包括：

10、四目攝像頭采集圖像光線(xiàn)輸送到cmos圖像傳感器陣列像素，圖像光線(xiàn)經(jīng)過(guò)陣列像素上的彩色濾光片通道，對(duì)原始黑白的圖像進(jìn)行填充，得到彩色圖像，每個(gè)像素上的光敏二極管將射入的光子轉(zhuǎn)換為電荷；

11、所述像素陣列的每個(gè)像素上放置單一顏色的濾光片，以間隔排列方式進(jìn)行1/4、1/4藍(lán)和1/2綠色的占比進(jìn)行組合。

12、進(jìn)一步地，數(shù)字化圖像信號(hào)輸入dsp數(shù)字信號(hào)處理芯片中進(jìn)行數(shù)字化圖像信息預(yù)處理的方法，包括：

13、利用圖像灰度化處理和幾何變換算法進(jìn)行數(shù)字化圖像信息的處理。

14、通過(guò)加權(quán)平均法將彩色的數(shù)字化圖像信息灰度化處理，每個(gè)像素的rgb值轉(zhuǎn)換為單一的灰度值，凸顯圖像的邊緣和紋理；

15、對(duì)灰度化處理后的數(shù)字化圖像信息進(jìn)行幾何變換算法操作，?識(shí)別四目攝像頭不同攝像角度的數(shù)字化圖像像素矩陣，得出不同攝像角度的數(shù)字化圖像重合區(qū)域；通過(guò)平移、縮放、旋轉(zhuǎn)、鏡像的幾何變換操作，約束四目攝像頭不同攝像角度的數(shù)字化圖像大小、角度的一致性。

16、進(jìn)一步地，sift算法進(jìn)行數(shù)字化圖像信息關(guān)鍵點(diǎn)的提取，并基于所述關(guān)鍵點(diǎn)提取將四目攝像頭中的全景圖像信息進(jìn)行匹配，且獲取所匹配輸出的第一拼接全景圖像的步驟，包括：

17、利用sift算法對(duì)對(duì)應(yīng)預(yù)設(shè)焦距構(gòu)圖預(yù)處理后的數(shù)字化圖像之間的關(guān)系提取特征點(diǎn)；

18、根據(jù)數(shù)字化圖像之間的特征點(diǎn)進(jìn)行不同攝像角度數(shù)字化圖像的匹配，得到第一拼接全景圖像。

19、進(jìn)一步地，計(jì)算第一拼接全景圖像與相鄰幀第二拼接全景圖像之間的像素差，識(shí)別出動(dòng)態(tài)目標(biāo)，包括：

20、對(duì)第一全景圖像與其相鄰幀的第二全景圖像之間的相似部分進(jìn)行像素值的減少，所要識(shí)別的動(dòng)態(tài)目標(biāo)就是兩圖像之間顯現(xiàn)變化的區(qū)域。

21、進(jìn)一步地，背景建模法構(gòu)造出全景圖像背景，將所述動(dòng)態(tài)目標(biāo)作為前景融合到所構(gòu)造的全景圖像背景的方法，包括：

22、讀取每一幀四目攝像頭的全景圖像，根據(jù)像素點(diǎn)在每幀出現(xiàn)頻率最高的像素構(gòu)建出一個(gè)背景模型，將每相鄰幀全景圖像識(shí)別出的動(dòng)態(tài)目標(biāo)作為前景標(biāo)記到背景模型當(dāng)中。

23、本發(fā)明還提供一種四目攝像頭全景拼接裝置，包括：

24、采集單元，用于采集四目攝像頭同一空間下的圖像信息，并將所述圖像信息導(dǎo)入cmos圖像傳感器中；

25、信號(hào)轉(zhuǎn)化單元，用于利用cmos圖像傳感器中的像素陣列，將所接收到的圖像信息光信號(hào)轉(zhuǎn)化為圖像信息電信號(hào)，cmos圖像傳感器上的讀出電路將所述圖像信息電信號(hào)轉(zhuǎn)化為數(shù)字化圖像信號(hào)；

26、信號(hào)處理單元，用于cmos圖像傳感器將轉(zhuǎn)化后所述數(shù)字化圖像信號(hào)輸入dsp數(shù)字信號(hào)處理芯片中進(jìn)行圖像信息預(yù)處理；

27、計(jì)算單元，用于sift算法對(duì)四目攝像頭不同角度采集的dsp數(shù)字信號(hào)處理芯片中的數(shù)字化圖像信息進(jìn)行關(guān)鍵點(diǎn)的提取，并基于所述關(guān)鍵點(diǎn)提取將四目攝像頭中的全景圖像信息進(jìn)行匹配，且獲取所匹配輸出的第一拼接全景圖像，所述第一拼接全景圖像為同一時(shí)間幀不同攝像頭采集圖像的拼接；

28、識(shí)別單元，用于計(jì)算所述第一拼接全景圖像與相鄰幀第二拼接全景圖像之間的像素差，識(shí)別出動(dòng)態(tài)目標(biāo)；

29、模型單元，用于背景建模法構(gòu)造出全景圖像背景，將所述動(dòng)態(tài)目標(biāo)作為前景融合到所構(gòu)造的全景圖像背景中，拼接出動(dòng)態(tài)圖像。

30、本發(fā)明還提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述四目攝像頭全景拼接方法?的步驟。

31、本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述四目攝像頭全景拼接方法的步驟。

32、本發(fā)明提供的四目攝像頭全景拼接方法?，具有以下有益效果：

33、（1）cmos圖像傳感器中光信號(hào)轉(zhuǎn)化通過(guò)彩色濾光片通道和光敏二極管的組合，實(shí)現(xiàn)高效的圖像光線(xiàn)采集和轉(zhuǎn)換，得到高質(zhì)量的彩色圖像；特定的濾光片組合比例（1/4藍(lán)、1/4藍(lán)和1/2綠）能夠平衡色彩表現(xiàn)，提升圖像的視覺(jué)效果；

34、（2）使用sift算法進(jìn)行圖像匹配能夠準(zhǔn)確地提取對(duì)應(yīng)預(yù)設(shè)焦距構(gòu)圖預(yù)處理后的圖像之間的特征點(diǎn)，提高圖像匹配的準(zhǔn)確性和穩(wěn)定性；通過(guò)特征點(diǎn)進(jìn)行圖像匹配，能夠生成高質(zhì)量的第一拼接全景圖像，減少重影和模糊現(xiàn)象；

35、（3）識(shí)別動(dòng)態(tài)目標(biāo)通過(guò)計(jì)算相鄰幀全景圖像之間的像素差，能夠?qū)崟r(shí)識(shí)別出動(dòng)態(tài)目標(biāo)，提高全景圖像的實(shí)時(shí)性和動(dòng)態(tài)表現(xiàn)力；識(shí)別出的動(dòng)態(tài)目標(biāo)可以用于后續(xù)的分析、跟蹤和交互，拓展全景圖像的應(yīng)用場(chǎng)景；

36、（4）背景建模與動(dòng)態(tài)目標(biāo)融合通過(guò)讀取每一幀四目攝像頭的全景圖像，構(gòu)建出穩(wěn)定的背景模型，為動(dòng)態(tài)目標(biāo)的融合提供基礎(chǔ)；將動(dòng)態(tài)目標(biāo)作為前景標(biāo)記到背景模型中，能夠生成自然、流暢的動(dòng)態(tài)全景圖像，提升用戶(hù)體驗(yàn)。