一種圖像處理系統(tǒng)、方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種圖像處理系統(tǒng)、方法及裝置。
【背景技術(shù)】
[0002]在現(xiàn)有技術(shù)中的各種可以進(jìn)行視頻拍攝和拍照功能的多媒體設(shè)備(如數(shù)碼相機(jī)、手機(jī)、平板電腦等)中，都存在獲取圖像的圖像傳感器，以及可以進(jìn)行圖像處理的多媒體處理芯片。其中，圖像傳感器包括互補(bǔ)金屬氧化物半導(dǎo)體(ComplementaryMetal-Oxide-Semiconductor, CMOS)圖像傳感器、電荷藕合器件(Charge Coupled Device,(XD)圖像傳感器等。
[0003]而大部分的多媒體處理芯片都帶有圖像信號(hào)處理器(Image Signal Processor,ISP)模塊，用于對(duì)圖像傳感器獲取的圖像進(jìn)行處理，這些ISP模塊一般都是針對(duì)某一個(gè)特定的規(guī)格進(jìn)行設(shè)計(jì)，例如，某ISP模塊是針對(duì)500W像素的圖像大小設(shè)計(jì)的，包含該ISP模塊的多媒體處理芯片只能接收和處理500W像素以下的圖像，如果需要針對(duì)大于500W像素的圖像，比如1200W像素的圖像，上述多媒體處理芯片則無法工作，該多媒體處理芯片需要重新進(jìn)行設(shè)計(jì)。
[0004]現(xiàn)有技術(shù)中的多媒體處理系統(tǒng)的結(jié)構(gòu)示意圖參閱圖1所示，當(dāng)前圖像信息的獲取，一般是使用CMOS或者是CXD圖像傳感器，這些圖像傳感器的信號(hào)需要經(jīng)過ISP模塊進(jìn)行處理，才能轉(zhuǎn)化為用戶需要的圖像信息，ISP模塊在多媒體處理系統(tǒng)中的位置如圖所示。
[0005]ISP模塊具體的圖像處理的功能包括:壞點(diǎn)去除、自動(dòng)曝光、白平衡、自動(dòng)對(duì)焦、色彩校正、貝爾插值、噪聲去除、邊緣增強(qiáng)等，這些圖像處理功能理論上可以由中央處理器(Central Processing Unit, CPU)或者圖形處理器(Graphic Processing Unit, GPU)來處理，但是獲取視頻時(shí)，需要進(jìn)行實(shí)時(shí)的圖像處理，從功耗和效率上考慮，采用ISP模塊來做圖像處理是最為合適的。ISP模塊需要做的圖像處理很多，為了實(shí)現(xiàn)實(shí)時(shí)性的操作，就需要做流水處理，算法一級(jí)接一級(jí)，傳統(tǒng)的ISP流水線參閱圖2所示，原始的圖像數(shù)據(jù)從圖像傳感器傳入，經(jīng)過ISP流水線處理后直接進(jìn)行系統(tǒng)存儲(chǔ)。在ISP圖像處理流水線中，一些算法需要參考上下行的數(shù)據(jù)，如壞點(diǎn)去除和插值算法，效果比較好的算法至少需要參考上兩行和下兩行的數(shù)據(jù)，因此為了實(shí)現(xiàn)硬件數(shù)據(jù)流水操作，需要保存至少4行的數(shù)據(jù)，這樣，上述兩個(gè)算法實(shí)現(xiàn)，累加需要8行的行緩存，其中一行的行緩存為一行像素點(diǎn)數(shù)據(jù)的比特?cái)?shù)。對(duì)于像素較大圖像的數(shù)據(jù)，這些行緩存所占用的邏輯是比較大的，例如，若ISP模塊支持4096的行分辨率(每個(gè)像素點(diǎn)12比特)，8行的行緩存需要存儲(chǔ)約400k比特(12*4096*8=393216)，其中，支持4096的行分辨率為可以處理分辨率為4096*H的圖像，即處理寬度為4096個(gè)像素點(diǎn)的圖像。圖中的ISP模塊總共需要的行緩存=B*Image_Width*H，其中，B為一個(gè)像素點(diǎn)的比特?cái)?shù),Image_ffidth為圖像的行分辨率,H為行緩存的行數(shù)。一些復(fù)雜算法需要更多的行緩存，功能比較少的ISP模塊一般需要10行以上的緩存，處理大像素的圖像時(shí)，這些行緩存所占的芯片面積較大。
[0006]對(duì)于一些可以處理高像素圖像的多媒體處理芯片，例如，可以處理3200W像素的圖像的規(guī)格的多媒體處理芯片，可以滿足大部分的需求，但是數(shù)據(jù)進(jìn)行流水處理過程中需要很大的片內(nèi)行緩存，由于每一個(gè)比特的緩存數(shù)據(jù)都需要一個(gè)硬件邏輯單元存儲(chǔ)，因此，處理過程中產(chǎn)生的很大的緩存數(shù)據(jù)則需要很多的硬件邏輯單元存儲(chǔ)，導(dǎo)致多媒體處理芯片的面積很大，進(jìn)而增加了生產(chǎn)成本，以及導(dǎo)致了多媒體處理芯片的良率下降，最終影響該多媒體處理芯片的圖像處理效率。
[0007]綜上所述，通過傳統(tǒng)的ISP模塊的圖像處理流程進(jìn)行圖像處理，只能處理小于或等于ISP模塊的規(guī)格的圖像，兼容性較差；處理大像素圖像的多媒體處理芯片的面積大，進(jìn)而增加生產(chǎn)成本、導(dǎo)致多媒體處理芯片的良率下降，最終影響該多媒體處理芯片的圖像處理效率。

【發(fā)明內(nèi)容】

[0008]本發(fā)明實(shí)施例提供了一種圖像處理系統(tǒng)、方法及裝置，用以解決現(xiàn)有技術(shù)中的ISP架構(gòu)存在的處理的圖像大小兼容性差的問題，以及處理大像素圖像的多媒體處理芯片面積大，進(jìn)而增加生產(chǎn)成本、導(dǎo)致多媒體處理芯片的良率下降，最終影響該多媒體處理芯片的圖像處理效率的問題。
[0009]本發(fā)明實(shí)施例提供的具體技術(shù)方案如下:
[0010]第一方面，一種圖像處理系統(tǒng)，包括圖像傳感器、采樣模塊、圖像信號(hào)處理器ISP模塊以及存儲(chǔ)器，其中，
[0011]圖像傳感器，與采樣模塊和存儲(chǔ)器相連接，用于將獲取的視頻圖像發(fā)送至所述采樣模塊，以及將獲取的靜態(tài)圖像直接發(fā)送至所述存儲(chǔ)器；
[0012]采樣模塊，與ISP模塊相連接，用于根據(jù)所述圖像傳感器配置的圖像分辨率與所述ISP模塊處理的最大行分辨率，對(duì)接收的所述視頻圖像進(jìn)行采樣，并將采樣后的視頻圖像發(fā)送至所述ISP模塊；
[0013]ISP模塊，與存儲(chǔ)器相連接，用于接收所述采樣模塊傳送的視頻圖像，并對(duì)所述視頻圖像進(jìn)行圖像處理，以及將處理后的視頻圖像發(fā)送至所述存儲(chǔ)器；還用于根據(jù)所述ISP模塊處理的最大行分辨率，讀取所述存儲(chǔ)器中當(dāng)前存儲(chǔ)的靜態(tài)圖像，并對(duì)所述靜態(tài)圖像進(jìn)行圖像處理，以及將處理后的靜態(tài)圖像發(fā)送至所述存儲(chǔ)器；
[0014]存儲(chǔ)器，用于存儲(chǔ)視頻圖像以及靜態(tài)圖像。
[0015]這樣，通過采樣模塊將采集的視頻圖像進(jìn)行采樣處理后再發(fā)往ISP模塊進(jìn)行圖像處理，并直接存儲(chǔ)靜態(tài)圖像，ISP模塊從存儲(chǔ)器中讀取靜態(tài)圖像并進(jìn)行圖像處理，不需要對(duì)靜態(tài)圖像進(jìn)行下采樣，也不需要要求ISP模塊處理圖像的大小的配置，降低了圖像處理過程中的行緩存的需求，保證在行緩存容量的前提下，可以支持處理圖像傳感器發(fā)送的任意大分辨率的圖像，解決了 ISP模塊處理的圖像大小兼容性差的問題，并且避免了處理大像素圖像時(shí)，重新設(shè)計(jì)的多媒體處理芯片的面積太大的問題，降低了生產(chǎn)成本、提高了多媒體處理芯片的良率，最終提高了該多媒體處理芯片的圖像處理效率。
[0016]結(jié)合第一方面，在第一種可能的實(shí)現(xiàn)方式中，所述圖像傳感器具體用于:
[0017]在接收到存儲(chǔ)靜態(tài)圖像指令的時(shí)刻，將所述時(shí)刻所設(shè)定的時(shí)間段內(nèi)全部靜態(tài)圖像發(fā)送至存儲(chǔ)器；或
[0018]在接收到存儲(chǔ)靜態(tài)圖像指令的時(shí)刻，將所述時(shí)刻所設(shè)定的時(shí)間段內(nèi)指定幀數(shù)的靜態(tài)圖像發(fā)送至存儲(chǔ)器。
[0019]這樣，圖像傳感器可以將指定的多個(gè)靜態(tài)圖像保存，待ISP模塊處理后供用戶選擇。
[0020]結(jié)合第一方面，在第二種可能的實(shí)現(xiàn)方式中，所述采樣模塊具體用于:
[0021]確定所述圖像傳感器配置的圖像分辨率中的行分辨率小于或等于所述ISP模塊處理的最大行分辨率時(shí)，采用1:1的比例對(duì)接收的所述視頻圖像進(jìn)行采樣；
[0022]確定所述圖像傳感器配置的圖像分辨率中的行分辨率大于所述ISP模塊處理的最大行分辨率時(shí)，采用小于或等于1:N的比例對(duì)接收的所述視頻圖像進(jìn)行采樣，其中，N為所述圖像傳感器配置的圖像分辨率中的行分辨率與所述ISP模塊處理的最大行分辨率的商。
[0023]這樣，通過采樣模塊對(duì)視頻圖像進(jìn)行處理，可以使采樣后的圖像的行分辨率滿足ISP模塊處理的最大行分辨率，使ISP模塊可以對(duì)視頻圖像進(jìn)行圖像處理。
[0024]結(jié)合第一方面或以上任一種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述ISP模塊具體用于:
[0025]若所述存儲(chǔ)器中當(dāng)前存儲(chǔ)的靜態(tài)圖像的行分辨率小于或等于所述ISP模塊處理的最大行分辨率，則一次讀取所述靜態(tài)圖像；
[0026]若所述存儲(chǔ)器中當(dāng)前存儲(chǔ)的靜態(tài)圖像的行分辨率大于所述ISP模塊處理的最大行分辨率，則分次讀取所述靜態(tài)圖像，每次讀取行分辨率小于或等于所述ISP模塊處理的最大行分辨率的部分圖像，直至所述靜態(tài)圖像全部讀完。
[0027]這樣，通過每次讀取行分辨率小于或等于ISP模塊處理的最大行分辨率的部分圖像，可以使讀取的部分圖像的行分辨率滿足ISP模塊處理的最大行分辨率，使ISP模塊可以對(duì)靜態(tài)圖像進(jìn)行圖像處理。通過這種方式，不需要要求ISP模塊處理圖像的大小的配置，解決了 ISP模塊處理的圖像大小兼容性差的問題。
[0028]結(jié)合第一方面的第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，在非首次讀取所述存儲(chǔ)器中當(dāng)前存儲(chǔ)的靜態(tài)圖像時(shí)，所述ISP模塊進(jìn)一步用于:
[0029]讀取當(dāng)前的部分圖像時(shí)，當(dāng)前的部分圖像與上一次讀取的部分圖像重疊預(yù)設(shè)的寬度，其中，所述寬度為設(shè)定數(shù)目的像素點(diǎn)的寬度。
[0030]這樣，ISP模塊采用重疊的方式避免邊界效應(yīng)，提高圖像處理后的靜態(tài)圖像的質(zhì)量。
[0031]結(jié)合第一方面的第三種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，所述ISP模塊還用于:
[0032]采用與所述ISP模塊對(duì)所述視頻圖像進(jìn)行圖像處理時(shí)相同的調(diào)整參數(shù)，對(duì)每次讀取的靜態(tài)圖像中的部分圖像進(jìn)行圖像處理。
[0033]這樣，采用不改變?cè)瓐D像的基本特征的處理視頻圖像采用的調(diào)整參數(shù)，對(duì)每次讀取的靜態(tài)圖像中的部分圖像進(jìn)行圖像處理，可以得到最優(yōu)化的圖像。
[0034]第二方面，一種圖像處理方法，包括:
[0035]接收到存儲(chǔ)視頻圖像指令，獲取當(dāng)前的視頻圖像；
[0036]根據(jù)獲取的當(dāng)前的視頻圖像的圖像分辨率與預(yù)設(shè)的最大行分辨率，對(duì)所述視頻圖像進(jìn)行采樣；
[0037]將采樣后的視頻圖像進(jìn)行圖像處理，并將處理后的視頻圖像進(jìn)行存儲(chǔ)；
[0038]