構(gòu)示意圖。
【具體實(shí)施方式】
[0093]采用本發(fā)明技術(shù)方案，能夠有效地避免現(xiàn)有技術(shù)中的ISP架構(gòu)存在的處理的圖像大小兼容性差的問題，以及處理大像素圖像的多媒體處理芯片面積大，進(jìn)而增加生產(chǎn)成本、導(dǎo)致多媒體處理芯片的良率下降，最終影響該多媒體處理芯片的圖像處理效率的問題。
[0094]本發(fā)明實(shí)施例提供了一種圖像處理系統(tǒng)，應(yīng)用于各種圖像處理設(shè)備，下面結(jié)合附圖對(duì)本發(fā)明優(yōu)選的實(shí)施方式進(jìn)行詳細(xì)說明。
[0095]本發(fā)明實(shí)施例提供的圖像處理系統(tǒng)可以應(yīng)用于各種圖像處理設(shè)備的視頻錄制模式以及拍照模式，其中在各種圖像處理設(shè)備的拍照模式下的預(yù)覽過程與視頻錄制模式過程中的圖像處理流程相同。
[0096]在實(shí)際應(yīng)用中，視頻錄制模式過程中的視頻圖像的圖像分辨率通常會(huì)比拍照模式拍攝的靜態(tài)圖像的圖像分辨率小，例如某圖像處理設(shè)備最大可錄制1080逐行掃描(Progressive-scan, P)的視頻(其中，1080P表示畫面圖像的垂直方向有1080條水平掃描線。通常1080P的視頻圖像的圖像分辨率為1920*1080)，卻可以拍攝1600萬像素的靜態(tài)圖像(靜態(tài)圖像的圖像分辨率可以為4628*3456)，而拍照模式下的預(yù)覽的視頻圖像也是1080P的。因此，對(duì)于該圖像處理設(shè)備來說，其主要工作時(shí)間處理小分辨率的視頻圖像，較少的工作時(shí)間處理大分辨率的靜態(tài)圖像，若采用現(xiàn)有技術(shù)中的可以處理高像素圖像的多媒體處理芯片，則片內(nèi)處理大分辨率的靜態(tài)圖像的行緩存在主要工作時(shí)間是空閑的，因此，很容易造成資源浪費(fèi)。
[0097]在實(shí)際應(yīng)用中，視頻錄制模式中要求視頻圖像要實(shí)時(shí)處理，而拍照模式中為了增加用戶的體驗(yàn)，不需要進(jìn)行實(shí)時(shí)處理，因?yàn)榕臄z靜態(tài)圖像時(shí)，需要一個(gè)遲滯預(yù)覽，因此，基于以上圖像處理需求，本發(fā)明實(shí)施例提供了一種圖像處理系統(tǒng)，參閱圖3所示，該圖像處理系統(tǒng)包括右側(cè)的直接存儲(chǔ)通路和左側(cè)的回讀通路。
[0098]參閱圖3所示，本發(fā)明實(shí)施例提供的一種圖像處理系統(tǒng)包括:圖像傳感器301、采樣模塊302、ISP模塊303以及存儲(chǔ)器304，其中
[0099]圖像傳感器301，與采樣模塊302和存儲(chǔ)器相連接，用于將獲取的視頻圖像發(fā)送至采樣模塊302，以及將獲取的靜態(tài)圖像直接發(fā)送至存儲(chǔ)器304 ；
[0100]采樣模塊302，與ISP模塊303相連接，用于根據(jù)圖像傳感器301配置的圖像分辨率與ISP模塊303處理的最大行分辨率，對(duì)接收的視頻圖像進(jìn)行采樣，并將采樣后的視頻圖像發(fā)送至ISP模塊303 ；
[0101]ISP模塊303，與存儲(chǔ)器304相連接，用于接收采樣模塊302傳送的視頻圖像，并對(duì)該視頻圖像進(jìn)行圖像處理，以及將處理后的視頻圖像發(fā)送至存儲(chǔ)器304 ;還用于根據(jù)ISP模塊303處理的最大行分辨率，讀取存儲(chǔ)器304中當(dāng)前存儲(chǔ)的靜態(tài)圖像，并對(duì)該靜態(tài)圖像進(jìn)行圖像處理，以及將處理后的靜態(tài)圖像發(fā)送至存儲(chǔ)器304 ；
[0102]存儲(chǔ)器304，用于存儲(chǔ)視頻圖像以及靜態(tài)圖像。
[0103]圖像傳感器301具體用于:
[0104]在接收到存儲(chǔ)靜態(tài)圖像指令的時(shí)刻，將該時(shí)刻所設(shè)定的時(shí)間段內(nèi)全部靜態(tài)圖像發(fā)送至存儲(chǔ)器304;或
[0105]在接收到存儲(chǔ)靜態(tài)圖像指令的時(shí)刻，將該時(shí)刻所設(shè)定的時(shí)間段內(nèi)指定幀數(shù)的靜態(tài)圖像發(fā)送至存儲(chǔ)器304。
[0106]具體的，圖像傳感器301 (即攝像頭等圖像采集裝置)用來獲取當(dāng)前的圖像信息，在接收到存儲(chǔ)靜態(tài)圖像指令的時(shí)刻(即在拍照模式下摁下快門的時(shí)刻)，可以將設(shè)定時(shí)間段內(nèi)的全部或指定幀數(shù)的靜態(tài)圖像發(fā)送至存儲(chǔ)器304。其中，設(shè)定時(shí)間段、以及靜態(tài)圖像的幀數(shù)等可以根據(jù)實(shí)際的應(yīng)用需求確定。例如，照相機(jī)，在摁下快門準(zhǔn)備拍照時(shí)，可以在摁下快門的時(shí)刻之后I秒或2秒鐘的全部幀數(shù)或指定幀數(shù)的靜態(tài)圖像(照片)保存，將保存的所有照片都進(jìn)行圖像處理，用來供用戶選擇。
[0107]采樣模塊302具體用于:
[0108]確定圖像傳感器301配置的圖像分辨率中的行分辨率小于或等于ISP模塊303處理的最大行分辨率時(shí)，采用1:1的比例對(duì)接收的視頻圖像進(jìn)行采樣；
[0109]確定圖像傳感器301配置的圖像分辨率中的行分辨率大于ISP模塊303處理的最大行分辨率時(shí)，采用小于或等于1:N的比例對(duì)接收的視頻圖像進(jìn)行采樣，其中，N為圖像傳感器301配置的圖像分辨率中的行分辨率與ISP模塊303處理的最大行分辨率的商。
[0110]在本實(shí)施例中，由于在摁下快門后，圖像傳感器會(huì)直接把靜態(tài)圖像(照片)存儲(chǔ)，不經(jīng)過采樣模塊302，采樣模塊302只處理視頻錄制模式下的視頻圖像和拍照模式中預(yù)覽的視頻圖像，這樣，可以實(shí)時(shí)處理視頻圖像，而靜態(tài)圖像不通過采樣模塊302，可以保持靜態(tài)圖像的高分辨率，從而減少了靜態(tài)圖像采樣降低分辨率并進(jìn)行圖像處理后還需要進(jìn)行將降低分辨率的靜態(tài)圖像恢復(fù)高分辨率的步驟，提高了系統(tǒng)的工作效率，并增加了用戶的體驗(yàn)。
[0111]采樣模塊302采用的算法必須不能改變視頻圖像的特征(如亮度、色彩等)，只能改變視頻圖像的分辨率的大小，例如抽點(diǎn)算法、離散余弦變換(Discrete Cosine Transform,DCT )域下采樣算法等。
[0112]采樣模塊302用于縮小圖像傳感器發(fā)送的視頻圖像，該采樣模塊302的采樣比例是根據(jù)圖像傳感器301配置的圖像分辨率中的行分辨率與ISP模塊303可以處理的最大行分辨率來共同決定的。采樣比例即分辨率的轉(zhuǎn)換，仍以照相機(jī)為例，ISP模塊303處理的最大行分辨率即為可設(shè)置的最大預(yù)覽尺寸(如該照相機(jī)的顯示屏的行分辨率)，該照相機(jī)的采樣模塊302的采樣比例由圖像傳感器輸出的圖像的行分辨率與ISP模塊303最大預(yù)覽尺寸共同決定。
[0113]優(yōu)選的，當(dāng)確定圖像傳感器301配置的圖像分辨率中的行分辨率小于或等于ISP模塊303處理的最大行分辨率時(shí)，采用1:1的比例對(duì)接收的視頻圖像進(jìn)行采樣。圖像傳感器301配置的圖像分辨率中的行分辨率即為該圖像傳感器301獲取的視頻圖像的行分辨率，在獲取的視頻圖像的行分辨率小于或等于ISP模塊303處理的最大行分辨率時(shí)，該ISP模塊303可以直接對(duì)視頻圖像進(jìn)行處理，可以將該采樣模塊302的采樣比例設(shè)為1:1。
[0114]確定圖像傳感器301配置的圖像分辨率中的行分辨率大于ISP模塊303處理的最大行分辨率時(shí)，采用小于或等于1:N的比例對(duì)接收的視頻圖像進(jìn)行采樣，其中，N為圖像傳感器301配置的圖像分辨率中的行分辨率與ISP模塊303處理的最大行分辨率的商。當(dāng)圖像傳感器301獲取的視頻圖像的行分辨率是ISP模塊303處理的最大行分辨率N倍時(shí)，只有將該視頻圖像的分辨率縮小至原來的1/N后，ISP模塊303才可以進(jìn)行圖像處理。
[0115]ISP模塊303具體用于:
[0116]若存儲(chǔ)器304中當(dāng)前存儲(chǔ)的靜態(tài)圖像的行分辨率小于或等于ISP模塊303處理的最大行分辨率，則一次讀取該靜態(tài)圖像；
[0117]若存儲(chǔ)器304中當(dāng)前存儲(chǔ)的靜態(tài)圖像的行分辨率大于ISP模塊303處理的最大行分辨率，則分次讀取存儲(chǔ)器304中當(dāng)前存儲(chǔ)的靜態(tài)圖像，每次讀取行分辨率小于或等于ISP模塊303處理的最大行分辨率的部分圖像，直至該靜態(tài)圖像全部讀完。
[0118]具體的，ISP模塊303可以對(duì)靜態(tài)圖像和視頻圖像進(jìn)行圖像處理，其中，圖像處理包括:壞點(diǎn)去除、自動(dòng)曝光、白平衡、自動(dòng)對(duì)焦、色彩校正、貝爾插值、噪聲去除、邊緣增強(qiáng)等。
[0119]若ISP模塊303對(duì)視頻圖像進(jìn)行圖像處理，則可以直接將采樣模塊302發(fā)送過來的視頻圖像進(jìn)行處理；若ISP模塊303對(duì)靜態(tài)圖像進(jìn)行圖像處理，則必須先將存儲(chǔ)在存儲(chǔ)器304中的靜態(tài)圖像讀取出來在進(jìn)行處理，由于存儲(chǔ)器304中存儲(chǔ)的靜態(tài)圖像是圖像傳感器301通過直接存儲(chǔ)通路直接發(fā)送的，因此，該靜態(tài)圖像的分辨率與圖像傳感器301配置的圖像分辨率相同，而與ISP模塊303處理的最大行分辨率并不匹配，所以，ISP模塊303只能根據(jù)本地處理的最大行分辨率和存儲(chǔ)器中當(dāng)前存儲(chǔ)的靜態(tài)圖像的行分辨，讀取靜態(tài)圖像，每次讀取行分辨率小于或等于本地處理的最大行分辨率的部分圖像，若該靜態(tài)圖像的分辨率小于本地處理的最大行分辨率，則一次全部讀取該靜態(tài)圖像，否則，分次讀取該靜態(tài)圖像，直至該靜態(tài)圖像全部讀完。
[0120]這樣，降低了 ISP模塊303在圖像處理過程中的行緩存，其中ISP模塊303總共需要的行緩存=B*Image_Width_min*H,其中，B為一個(gè)像素點(diǎn)的比特?cái)?shù)，Image_ffidth_min為每次讀取的部分圖像的行分辨率，H為行緩存的行數(shù)。
[0121]例如，ISP模塊303處理的最大行分辨率為2304，而該靜態(tài)圖像的分辨率為4608*3456，則ISP模塊303可以分依次讀取和處理小于或等于2304 (如2048)行分辨率(2048個(gè)像素點(diǎn)寬度)的部分圖像，這樣，ISP模塊303可以三次將該靜態(tài)圖像全部讀完。
[0122]在非首次讀取所述存儲(chǔ)器中當(dāng)前存儲(chǔ)的靜態(tài)圖像時(shí)，ISP模塊303進(jìn)一步用于:
[0123]讀取當(dāng)前的部分圖像時(shí)，當(dāng)前的部分圖像與上一次讀取的部分圖像重疊預(yù)設(shè)的寬度，其中，該寬度為設(shè)定數(shù)目的像素點(diǎn)的寬度。
[0124]若靜態(tài)圖像的分辨率為4608*3456，ISP模塊303每次讀取2304行分辨率的部分圖像，則可以兩次將該靜態(tài)圖像全部讀完，但是會(huì)出現(xiàn)邊界效應(yīng)。優(yōu)選的，本發(fā)明實(shí)施例采用重疊的方式來避免邊界效應(yīng)，例如，參閱圖4所示，第一次和第二次都讀取2048行分辨率(2048個(gè)像素點(diǎn)寬度)的部分圖像，第三次讀取640行分辨率(640個(gè)像素點(diǎn)寬度)的部分圖像，第二次讀取的部分圖像與