專利名稱：用于在圖像信號(hào)處理系統(tǒng)中同步音頻和視頻數(shù)據(jù)的技術(shù)的制作方法
技術(shù)領(lǐng)域：
本公開一般涉及數(shù)字成像設(shè)備，更具體地說，涉及用于處理利用數(shù)字成像設(shè)備的圖像傳感器獲得的圖像數(shù)據(jù)的系統(tǒng)和方法。
背景技術(shù)：
背景技術(shù)部分旨在向讀者介紹與下面描述和/或要求保護(hù)的本發(fā)明技術(shù)的各個(gè)方面相關(guān)的技術(shù)的各個(gè)方面。相信下面的討論有助于向讀者提供背景信息，以便于更好地理解本公開的各個(gè)方面。因此，應(yīng)明白要就此而論理解這些陳述，而不應(yīng)理解成對(duì)于現(xiàn)有技術(shù)的承認(rèn)。近年來，至少部分由于普通消費(fèi)者越來越負(fù)擔(dān)得起數(shù)字成像設(shè)備的費(fèi)用，因此數(shù)字成像設(shè)備變得日益普及。此外，除了目前可從市場上獲得的許多獨(dú)立的數(shù)字照相機(jī)之外， 作為另一個(gè)電子設(shè)備(比如桌上型或筆記本計(jì)算機(jī)、蜂窩電話或便攜式媒體播放器)的一部分而被集成的數(shù)字成像設(shè)備也不罕見。為了獲得圖像數(shù)據(jù)，多數(shù)數(shù)字成像設(shè)備包括提供許多光檢測元件(例如，光電檢測器)的圖像傳感器，所述光檢測元件被配置成把圖像傳感器檢測的光轉(zhuǎn)換成電信號(hào)。圖像傳感器還可包括過濾圖像傳感器捕捉的光，從而捕捉顏色信息的顏色濾光器陣列。圖像傳感器捕捉的圖像數(shù)據(jù)隨后由圖像處理管線處理，所述圖像處理管線可對(duì)圖像數(shù)據(jù)應(yīng)用多種不同的圖像處理操作，從而生成可顯示在顯示設(shè)備(比如監(jiān)視器)上以供觀看的全色圖像。雖然常規(guī)的圖像處理技術(shù)的目的通常在于產(chǎn)生在客觀和主觀方面令觀看者滿意的值得一看的圖像，不過這樣的常規(guī)技術(shù)可能沒有充分解決由成像設(shè)備和/或圖像傳感器引入的圖像數(shù)據(jù)的錯(cuò)誤和/或畸變。例如，圖像傳感器上的歸因于制造缺陷或操作故障的有缺陷像素不能精確地感測光級(jí)，如果未被校正，那么會(huì)表現(xiàn)為出現(xiàn)在最后得到的經(jīng)處理的圖像中的偽像。另外，在圖像傳感器邊緣處的光強(qiáng)降低(可能歸因于透鏡的制造缺陷) 可能不利地影響特性測量，并且可能導(dǎo)致整體光強(qiáng)度不均勻的圖像。圖像處理管線還可進(jìn)行銳化圖像的一種或多種處理。不過，常規(guī)的銳化技術(shù)可能未充分解決現(xiàn)有的圖像信號(hào)中的噪聲，或者可能不能把噪聲和圖像中的邊緣和紋理化區(qū)域區(qū)分開。在這種情況下，常規(guī)的銳化技術(shù)實(shí)際上可能會(huì)增加圖像中的噪聲的出現(xiàn)，這通常是不可取的。此外，還可進(jìn)行各種另外的圖像處理步驟，其中的一些圖像處理步驟依賴于用統(tǒng)計(jì)信息收集引擎收集的圖像統(tǒng)計(jì)fe息?？蓪?duì)圖像傳感器捕捉的圖像數(shù)據(jù)應(yīng)用的另一種圖像處理操作是去馬賽克操作。由于色彩濾鏡陣列通常每個(gè)傳感器像素一個(gè)波長地提供顏色數(shù)據(jù)，因此為了再現(xiàn)全色圖像 (例如，RGB圖像)，通常對(duì)于每個(gè)顏色通道內(nèi)插完整的一組顏色數(shù)據(jù)。常規(guī)的去馬賽克技術(shù)通常基于某種類型的固定閾值，沿著水平或垂直方向內(nèi)插丟失的顏色數(shù)據(jù)的值。不過，這種常規(guī)的去馬賽克技術(shù)可能未充分考慮圖像內(nèi)的邊緣的位置和方向，這可能會(huì)導(dǎo)致將邊緣偽像(比如混疊(aliasing))、棋盤格偽像、或者彩虹偽像引入全色圖像，尤其是沿著圖像內(nèi)的對(duì)角邊緣引入。因此，當(dāng)處理利用數(shù)字照相機(jī)或其它成像設(shè)備獲得的數(shù)字圖像時(shí)，應(yīng)專注于各種考慮因素，以改善最后得到的圖像的外觀。特別地，下面的本公開的某些方面解決了上面簡要提及的一個(gè)或多個(gè)缺陷。

發(fā)明內(nèi)容
下面陳述這里公開的某些實(shí)施例的概要。應(yīng)明白介紹這些方面只是為了向讀者提供所述這些實(shí)施例的簡明概要，所述這些方面并不意圖限制本公開的范圍。實(shí)際上，本公開可包含未在下面陳述的各個(gè)方面。本公開提供和舉例說明圖像信號(hào)處理技術(shù)的各個(gè)實(shí)施例。特別地，本公開的公開實(shí)施例可涉及利用后端圖像處理單元的圖像數(shù)據(jù)的處理，實(shí)現(xiàn)原始像素處理邏輯器的線緩沖器的布置和結(jié)構(gòu)，在存在溢出(也稱為過速(overrun))狀態(tài)的情況下，管理像素?cái)?shù)據(jù)的移動(dòng)的技術(shù)，使視頻和音頻數(shù)據(jù)同步的技術(shù)，以及涉及可用于把像素?cái)?shù)據(jù)保存到存儲(chǔ)器和從存儲(chǔ)器讀取像素?cái)?shù)據(jù)的各種像素存儲(chǔ)器格式的使用的技術(shù)。就后端處理來說，公開的實(shí)施例提供一種圖像信號(hào)處理系統(tǒng)，它包括接收由前端像素處理單元和像素處理管線中的至少一個(gè)處理之后的像素?cái)?shù)據(jù)的后端像素處理單元。在一些實(shí)施例中，后端處理單元接收亮度/色度圖像數(shù)據(jù)，并且可被配置成應(yīng)用面部檢測操作，局部色調(diào)映射，明度(brightness)、對(duì)比度和顏色調(diào)整以及比例縮放。此外，后端處理單元還可包括可收集頻率統(tǒng)計(jì)信息的后端統(tǒng)計(jì)單元。頻率統(tǒng)計(jì)信息可被提供給編碼器，并且可用于確定將應(yīng)用于圖像幀的量化參數(shù)。本公開的另一方面涉及利用一組線緩沖器的原始像素處理單元的實(shí)現(xiàn)。在一個(gè)實(shí)施例中，所述一組線緩沖器可包括第一子集和第二子集?？砂凑展灿玫姆绞?，利用線緩沖器的第一子集和第二子集，實(shí)現(xiàn)原始像素處理單元的各個(gè)邏輯器單元。例如，在一個(gè)實(shí)施例中，可利用線緩沖器的第一子集實(shí)現(xiàn)缺陷像素校正和檢測邏輯器。線緩沖器的第二子集可用于實(shí)現(xiàn)透鏡陰影校正邏輯器，增益、偏移和箝位邏輯器，和去馬賽克邏輯器。此外，也可分別利用線緩沖器的第一子集和第二子集的至少一部分實(shí)現(xiàn)降噪。本公開的另一方面涉及一種圖像信號(hào)處理系統(tǒng)，包括當(dāng)傳感器輸入隊(duì)列和/或前端處理單元接收到來自下游目的地單元的背壓時(shí)，檢測出目的地單元出現(xiàn)溢出狀態(tài)的溢出控制邏輯器。圖像信號(hào)處理系統(tǒng)還可以包括閃光控制器，所述閃光控制器被配置成利用傳感器定時(shí)信號(hào)，在目標(biāo)圖像幀開始之前啟用閃光設(shè)備。在一個(gè)實(shí)施例中，閃光控制器接收延遲的傳感器定時(shí)信號(hào)，并如下確定閃光啟用開始時(shí)間利用延遲的傳感器定時(shí)信號(hào)識(shí)別與前一幀的結(jié)束對(duì)應(yīng)的時(shí)間，使所述時(shí)間增大垂直消隱間隔時(shí)間，隨后減去第一偏移量，以補(bǔ)償傳感器定時(shí)信號(hào)和延遲的傳感器定時(shí)信號(hào)之間的延遲。隨后，閃光控制器減去第二偏移量，以確定閃光啟用時(shí)間，從而確保在接收目標(biāo)幀的第一個(gè)像素之前，閃光被啟用。本公開的其它方面提供涉及音頻-視頻同步的技術(shù)。在一個(gè)實(shí)施例中，當(dāng)被采樣時(shí)，時(shí)間碼寄存器提供當(dāng)前時(shí)間戳?？筛鶕?jù)圖像信號(hào)處理系統(tǒng)的時(shí)鐘，每隔一定時(shí)間間隔遞增時(shí)間碼寄存器的值。在圖像傳感器獲得的當(dāng)前幀開始時(shí)，對(duì)時(shí)間碼寄存器采樣，把時(shí)間戳保存在與圖像傳感器相關(guān)的時(shí)間戳寄存器中。隨后從時(shí)間戳寄存器讀出時(shí)間戳，并將其寫入與當(dāng)前幀相關(guān)的一組元數(shù)據(jù)中。隨后可以使用保存在幀元數(shù)據(jù)中的時(shí)間戳以使當(dāng)前幀與對(duì)應(yīng)的一組音頻數(shù)據(jù)同步。本公開的另一個(gè)方面提供一種靈活的存儲(chǔ)器輸入/輸出控制器，所述控制器被配置成支持多種像素和像素存儲(chǔ)器格式的保存和讀取。例如，存儲(chǔ)器I/O控制器可支持各種比特精度，例如8比特，10比特，12比特，14比特和16比特的原始圖像像素的存儲(chǔ)和讀取。 可按照緊縮方式，保存未與存儲(chǔ)器字節(jié)對(duì)準(zhǔn)(例如，不是8比特的倍數(shù))的像素格式。存儲(chǔ)器I/O控制器還可以支持各種格式的RGB像素組和YCC像素組。本公開的各個(gè)方面存在上面提及的特征的各種修改。在這些各個(gè)方面中也可結(jié)合另外的特征。這些修改和另外的特征可單獨(dú)存在或任意組合地存在。例如，下面關(guān)于一個(gè)或多個(gè)舉例說明的實(shí)施例討論的各個(gè)特征可以單獨(dú)地或者任意組合地結(jié)合到本公開的上述各個(gè)方向任意之一中。同樣，上面給出的簡要概述只是用來使讀者熟悉本公開的實(shí)施例的某些方面和上下文，而不是對(duì)要求保護(hù)的主題的限制。


本專利或申請(qǐng)文件包含至少一個(gè)彩色附圖。在支付必要費(fèi)用的情況下，事務(wù)所將應(yīng)請(qǐng)求提供本專利或?qū)＠暾?qǐng)公開的帶彩色附圖的副本。參考附圖，閱讀下面的詳細(xì)說明，可更好地理解本公開的各個(gè)方面，其中圖1是描述電子設(shè)備的一個(gè)例子的組件的簡化方框圖，所述電子設(shè)備包括成像設(shè)備和配置成實(shí)現(xiàn)在本公開中陳述的一種或多種圖像處理技術(shù)的圖像處理電路；圖2表示可在圖1的成像設(shè)備中實(shí)現(xiàn)的Bayer色彩濾鏡矩陣的2X2像素塊的圖形表示。圖3是按照本公開的各個(gè)方面的圖1的呈膝上型計(jì)算設(shè)備形式的電子設(shè)備的透視圖；圖4是按照本公開的各個(gè)方面的圖1的呈桌上型計(jì)算設(shè)備形式的電子設(shè)備的正視圖；圖5是按照本公開的各個(gè)方面的圖1的呈手持便攜式電子設(shè)備形式的電子設(shè)備的正視圖；圖6是圖5中所示的電子設(shè)備的后視圖；圖7是按照本公開的各個(gè)方面，圖解說明的圖1的圖像處理電路的一個(gè)實(shí)施例的方框圖，所述圖像處理電路包括前端圖像信號(hào)處理(ISP)邏輯器和ISP管道(pipe)處理邏輯器；圖8是按照本公開的各個(gè)方面，圖解說明圖1的圖像處理電路的另一個(gè)實(shí)施例的方框圖，所述圖像處理電路包括前端圖像信號(hào)處理(ISP)邏輯器、ISP管道(管線)處理邏輯器和ISP后端處理邏輯器；圖9是按照本公開的各個(gè)方面，描述利用圖7或圖8的圖像處理電路處理圖像數(shù)據(jù)的方法的流程圖；圖10是按照本公開的各個(gè)方面，表示可在圖7或圖8中實(shí)現(xiàn)的ISP前端邏輯器的一個(gè)實(shí)施例的更詳細(xì)方框圖；圖11是按照一個(gè)實(shí)施例，表示用于在圖10的ISP前端邏輯器中處理圖像數(shù)據(jù)的方法的流程圖12是按照一個(gè)實(shí)施例，圖解說明可用于在ISP前端邏輯器中處理圖像數(shù)據(jù)的雙緩沖寄存器和控制寄存器的結(jié)構(gòu)的方框圖；圖13-15是按照本發(fā)明技術(shù)的實(shí)施例，描述觸發(fā)圖像幀的處理的不同模式的時(shí)序圖；圖16是按照一個(gè)實(shí)施例，更詳細(xì)地描述控制寄存器的示圖；圖17是描述當(dāng)圖10的ISP前端邏輯器按照單傳感器模式工作時(shí)，使用前端像素處理單元處理圖像幀的方法的流程圖；圖18是描述當(dāng)圖10的ISP前端邏輯器按照雙傳感器模式工作時(shí)，使用前端像素處理單元處理圖像幀的方法的流程圖；圖19是描述當(dāng)圖10的ISP前端邏輯器按照雙傳感器模式工作時(shí)，使用前端像素處理單元處理圖像幀的方法的流程圖；圖20是按照一個(gè)實(shí)施例，描述其中兩個(gè)圖像傳感器都有效的方法的流程圖，不過其中第一圖像傳感器在向前端像素處理單元發(fā)送圖像幀，而第二圖像傳感器在向統(tǒng)計(jì)信息處理單元發(fā)送圖像幀，以致當(dāng)?shù)诙D像傳感器稍后繼續(xù)向前端像素處理單元發(fā)送圖像幀時(shí)，可立即得到第二傳感器的成像統(tǒng)計(jì)信息；圖21是按照本公開的各個(gè)方面，可應(yīng)用于保存在圖1的電子設(shè)備的存儲(chǔ)器中的像素格式的線性存儲(chǔ)器尋址格式的圖形描述；圖22是按照本公開的各個(gè)方面，可應(yīng)用于保存在圖1的電子設(shè)備的存儲(chǔ)器中的像素格式的分塊(tiled)存儲(chǔ)器尋址格式的圖形描述；圖23是按照本公開的各個(gè)方面，在圖像傳感器捕捉的源圖像幀內(nèi)定義的各個(gè)成像區(qū)的圖形描述；圖M是使用ISP前端處理單元處理圖像幀的重疊垂直條紋的技術(shù)的圖形描述；圖25是描述按照本公開的各個(gè)方面，如何利用交換代碼，把字節(jié)交換應(yīng)用于來自存儲(chǔ)器的進(jìn)入(incoming)圖像像素?cái)?shù)據(jù)的示圖；圖沈-四表示按照本公開的各個(gè)實(shí)施例，可由圖7或圖8的圖像處理電路支持的原始圖像數(shù)據(jù)的存儲(chǔ)器格式的例子；圖30-34表示按照本公開的各個(gè)實(shí)施例，可由圖7或圖8的圖像處理電路支持的全色RGB圖像數(shù)據(jù)的存儲(chǔ)器格式的例子；圖35-36表示按照本公開的各個(gè)實(shí)施例，可由圖7或圖8的圖像處理電路支持的亮度/色度圖像數(shù)據(jù)(YUV/YC1C2)的存儲(chǔ)器格式的例子；圖37表示按照本公開的各個(gè)方面，如何確定線性尋址格式的存儲(chǔ)器中的幀位置的例子；圖38表示按照本公開的各個(gè)方面，如何確定分塊尋址格式的存儲(chǔ)器中的幀位置的例子；圖39是描述按照本公開的一個(gè)實(shí)施例，如何進(jìn)行溢出處理的圖8的ISP電路的方框圖；圖40是描述按照本公開的各個(gè)方面，在從圖片存儲(chǔ)器讀取圖像像素?cái)?shù)據(jù)的同時(shí)， 當(dāng)發(fā)生溢出情況時(shí)用于溢出處理的方法的流程圖；圖41是描述按照本公開的一個(gè)實(shí)施例，在從圖像傳感器接口讀入圖像像素?cái)?shù)據(jù)的同時(shí)，當(dāng)發(fā)生溢出情況時(shí)用于溢出處理的方法的流程圖；圖42是描述按照本公開的另一個(gè)實(shí)施例，在從圖像傳感器接口讀入圖像像素?cái)?shù)據(jù)的同時(shí)，當(dāng)發(fā)生溢出情況時(shí)的另一種用于溢出處理的方法的流程圖；圖43是可由圖1的電子設(shè)備捕捉和保存的圖像(例如，視頻)和對(duì)應(yīng)音頻數(shù)據(jù)的圖形描述；圖44圖解說明按照一個(gè)實(shí)施例，可用于提供使圖43的音頻和視頻數(shù)據(jù)同步的時(shí)間戳的一組寄存器；圖45是按照本公開的各個(gè)方面，可捕捉為圖43的視頻數(shù)據(jù)的一部分的圖像幀的簡化表示，并且說明如何把時(shí)間戳信息保存為圖像幀元數(shù)據(jù)的一部分；圖46是描述按照一個(gè)實(shí)施例，利用基于VSYNC信號(hào)的時(shí)間戳使圖像數(shù)據(jù)與音頻數(shù)據(jù)同步的方法的流程圖；圖47是描述按照本公開的一個(gè)實(shí)施例，可如何進(jìn)行閃光計(jì)時(shí)控制的圖8的ISP電路的方框圖；圖48是描述按照本公開的一個(gè)實(shí)施例，用于確定閃光啟用和停用時(shí)間的技術(shù)；圖49是描述根據(jù)圖48中所示的技術(shù)，確定閃光啟用時(shí)間的方法的流程圖；圖50是描述按照本公開的各個(gè)方面，在利用閃光獲取圖像場景之前，使用預(yù)閃光更新圖像統(tǒng)計(jì)信息的方法的流程圖；圖51是按照本公開的各個(gè)方面，提供如在圖10的ISP前端邏輯器中所示的ISP 前端像素處理單元的一個(gè)實(shí)施例的更詳細(xì)的視圖的方框圖；圖52是圖解說明按照一個(gè)實(shí)施例，可如何對(duì)圖51中所示的ISP前端像素處理單元接收的圖像像素?cái)?shù)據(jù)應(yīng)用時(shí)域?yàn)V波的處理圖；圖53圖解說明可用于確定圖52中所示的時(shí)域?yàn)V波處理的一個(gè)或多個(gè)參數(shù)的一組參考圖像像素和一組對(duì)應(yīng)的當(dāng)前圖像像素；圖M是圖解說明按照一個(gè)實(shí)施例，對(duì)一組圖像數(shù)據(jù)的中的當(dāng)前圖像像素應(yīng)用時(shí)域?yàn)V波的處理的流程圖；圖55是表示按照一個(gè)實(shí)施例，計(jì)算供圖M的當(dāng)前圖像像素的時(shí)域?yàn)V波之用的運(yùn)動(dòng)增量值的技術(shù)的流程圖；圖56是圖解說明按照另一個(gè)實(shí)施例，對(duì)一組圖像數(shù)據(jù)中的當(dāng)前圖像像素應(yīng)用時(shí)域?yàn)V波的另一種處理的流程圖，所述另一種處理包括對(duì)圖像數(shù)據(jù)的每個(gè)顏色分量使用不同的增益；圖57是圖解說明按照又一個(gè)實(shí)施例，對(duì)圖51中所示的ISP前端像素處理單元接收的圖像像素?cái)?shù)據(jù)的每個(gè)顏色分量使用單獨(dú)的運(yùn)動(dòng)表和亮度表的時(shí)域?yàn)V波技術(shù)的處理圖；圖58是圖解說明按照又一個(gè)實(shí)施例，利用圖57中所示的運(yùn)動(dòng)表和亮度表，對(duì)一組圖像數(shù)據(jù)中的當(dāng)前圖像像素應(yīng)用時(shí)域?yàn)V波的處理的流程圖；圖59描述按照本公開的各個(gè)方面，可用圖像傳感器捕捉的全分辨率原始圖像數(shù)據(jù)的樣本；圖60圖解說明按照本公開的一個(gè)實(shí)施例，可被配置成對(duì)圖59的全分辨率原始圖像數(shù)據(jù)應(yīng)用箱化(binning)，以輸出箱化的原始圖像數(shù)據(jù)的樣本的圖像傳感器；
10
圖61描述按照本公開的各個(gè)方面，可由圖60的圖像傳感器提供的箱化的原始圖像數(shù)據(jù)的樣本；圖62描述按照本公開的各個(gè)方面，在用箱化補(bǔ)償濾波器重新采樣之后的圖61的箱化的原始圖像數(shù)據(jù)；圖63描述按照一個(gè)實(shí)施例，可在圖51的ISP前端像素處理單元中實(shí)現(xiàn)的箱化補(bǔ)償濾波器；圖64是按照本公開的各個(gè)方面，可應(yīng)用于微分分析器，以選擇用于箱化補(bǔ)償濾波的中心輸入像素和索引/相位的各個(gè)步長的圖形描述；圖65是圖解說明按照一個(gè)實(shí)施例，利用圖63的箱化補(bǔ)償濾波器，比例縮放圖像數(shù)據(jù)的處理的流程圖；圖66是圖解說明按照一個(gè)實(shí)施例，確定圖63的箱化補(bǔ)償濾波器的水平和垂直濾波的當(dāng)前輸入源中心像素的處理的流程圖；圖67是圖解說明按照一個(gè)實(shí)施例，確定用于選擇圖63的箱化補(bǔ)償濾波器的水平和垂直濾波的濾波系數(shù)的指數(shù)的處理的流程圖；圖68是表示按照本公開的各個(gè)方面，可在如圖10中所示的ISP前端處理邏輯器中實(shí)現(xiàn)的統(tǒng)計(jì)信息處理單元的一個(gè)實(shí)施例的更詳細(xì)的方框圖；圖69表示按照本公開的各個(gè)方面，當(dāng)在圖68的統(tǒng)計(jì)信息處理單元的統(tǒng)計(jì)信息處理中，應(yīng)用檢測和校正缺陷像素時(shí)可以考慮的各個(gè)圖像幀邊界情況；圖70是圖解說明按照一個(gè)實(shí)施例，在統(tǒng)計(jì)信息處理期間進(jìn)行缺陷像素檢測和校正的處理的流程圖；圖71表示描述成像設(shè)備的常規(guī)透鏡的光強(qiáng)度與像素位置的關(guān)系的三維輪廓；圖72是表現(xiàn)整個(gè)圖像內(nèi)的非均勻光強(qiáng)度(可能由于透鏡陰影不規(guī)則性)的彩圖；圖73是按照本公開的各個(gè)方面，包括透鏡陰影校正區(qū)和增益網(wǎng)格的原始成像幀的圖示；圖74圖解說明按照本公開的各個(gè)方面，由四個(gè)邊界網(wǎng)格增益點(diǎn)圍繞的圖像像素的增益值的內(nèi)插；圖75是圖解說明按照本技術(shù)的一個(gè)實(shí)施例，確定在透鏡陰影校正操作期間，可應(yīng)用于成像像素的內(nèi)插增益值的處理的流程圖；圖76是描述按照本公開的各個(gè)方面，當(dāng)進(jìn)行透鏡陰影校正時(shí)，可應(yīng)用于表現(xiàn)出圖 71中所示的光強(qiáng)度特性的圖像的內(nèi)插增益值的三維輪廓；圖77表示按照本公開的各個(gè)方面，在應(yīng)用透鏡陰影校正操作之后的表現(xiàn)出改進(jìn)的光強(qiáng)度均勻性的圖72的彩圖；圖78圖示按照一個(gè)實(shí)施例，如何計(jì)算當(dāng)前像素和圖像的中心之間的徑向距離，并且將其用于確定透鏡陰影校正的徑向增益分量；圖79是圖解說明按照本發(fā)明技術(shù)的一個(gè)實(shí)施例，使用增益網(wǎng)格的徑向增益和內(nèi)插增益來確定在透鏡陰影校正操作中，可應(yīng)用于成像像素的總增益的處理的流程圖；圖80是表示顏色空間中的白色區(qū)域及低色溫軸和高色溫軸的圖示；圖81是表示按照一個(gè)實(shí)施例，如何關(guān)于各種參考照明條件設(shè)定白平衡增益的表；圖82是表示按照本公開的一個(gè)實(shí)施例，可在ISP前端處理邏輯器中實(shí)現(xiàn)的統(tǒng)計(jì)信息收集引擎的方框圖；圖83圖解說明按照本公開的各個(gè)方面，原始Bayer RGB數(shù)據(jù)的下采樣；圖84描述按照一個(gè)實(shí)施例，可利用圖82的統(tǒng)計(jì)信息收集引擎收集的二維顏色直方圖；圖85描述二維顏色直方圖內(nèi)的變焦和搖攝；圖86是按照一個(gè)實(shí)施例，更詳細(xì)地表示用于實(shí)現(xiàn)統(tǒng)計(jì)信息收集引擎的像素濾波器的邏輯器的示圖；圖87是按照一個(gè)實(shí)施例，可如何根據(jù)為像素濾波器定義的像素條件，評(píng)估像素在 C1-C2顏色空間內(nèi)的位置的圖形描述；圖88是按照另一個(gè)實(shí)施例的可如何根據(jù)為像素濾波器定義的像素條件，評(píng)估像素在C1-C2顏色空間內(nèi)的位置的圖形描述；圖89是按照又一個(gè)實(shí)施例，如何根據(jù)為像素濾波器定義的像素條件，評(píng)估像素在 C1-C2顏色空間內(nèi)的位置的圖形描述；圖90是表示按照一個(gè)實(shí)施例，可以如何確定圖像傳感器積分時(shí)間，以補(bǔ)償閃爍的圖示；圖91是詳細(xì)表示按照一個(gè)實(shí)施例，可在圖82的統(tǒng)計(jì)信息收集引擎中實(shí)現(xiàn)的，并被配置成收集自動(dòng)聚焦統(tǒng)計(jì)信息的邏輯器的方框圖；圖92是描述按照一個(gè)實(shí)施例，利用粗調(diào)和微調(diào)自動(dòng)聚焦評(píng)分值進(jìn)行自動(dòng)聚焦的技術(shù)的圖示；圖93是描述按照一個(gè)實(shí)施例，利用粗調(diào)和微調(diào)自動(dòng)聚焦評(píng)分值進(jìn)行自動(dòng)聚焦的處理的流程圖；圖94和95表示獲得白平衡亮度值的原始Bayer數(shù)據(jù)的抽選(decimation)；圖96表示按照一個(gè)實(shí)施例，利用每個(gè)顏色分量的相對(duì)自動(dòng)聚焦評(píng)分值進(jìn)行自動(dòng)聚焦的技術(shù)；圖97是表示按照一個(gè)實(shí)施例，如何使用Bayer RGB直方圖數(shù)據(jù)幫助黑電平補(bǔ)償?shù)膱D68的統(tǒng)計(jì)信息處理單元的更詳細(xì)示圖；圖98是表示按照本公開的各個(gè)方面，圖7的ISP管道處理邏輯器的實(shí)施例的方框圖；圖99是表示按照本公開的各個(gè)方面，可在圖98的ISP管道處理邏輯器中實(shí)現(xiàn)的原始像素處理塊的實(shí)施例的更詳細(xì)的視圖；圖100是表示按照本公開的各個(gè)方面，當(dāng)在圖99中所示的原始像素處理塊的處理期間，應(yīng)用檢測和校正缺陷像素的技術(shù)時(shí)，可考慮的各種圖像幀邊界情況；圖101-103是描述按照一個(gè)實(shí)施例，可在圖99的原始像素處理塊中進(jìn)行的檢測和校正缺陷像素的各種處理的流程圖；圖104表示按照本公開的各個(gè)方面，當(dāng)在圖99的原始像素處理塊的處理中，應(yīng)用綠色不均勻校正技術(shù)時(shí)，可內(nèi)插的Bayer圖像傳感器的2X2像素塊中的兩個(gè)綠色像素的位置；圖105圖解說明按照本公開的各個(gè)方面，可用作降噪用水平濾波處理的一部分的，包括中央像素和相關(guān)聯(lián)的水平相鄰像素的一組像素；
圖106圖解說明按照本公開的各個(gè)方面，可用作降噪用垂直濾波處理的一部分的，包括中央像素和相關(guān)聯(lián)的垂直相鄰像素的一組像素；圖107是描述如何把去馬賽克應(yīng)用于原始Bayer圖像模式，以產(chǎn)生全色RGB圖像的簡化流程圖；圖108描述按照一個(gè)實(shí)施例，在Bayer圖像模式的去馬賽克期間，可從中得到水平和垂直能量分量，以便內(nèi)插綠色顏色值的Bayer圖像模式的一組像素；圖109表示按照本發(fā)明技術(shù)的各個(gè)方面，在Bayer圖像模式的去馬賽克期間，可對(duì)其應(yīng)用濾波，以確定內(nèi)插綠色顏色值的水平分量的一組水平像素；圖110表示按照本發(fā)明技術(shù)的各個(gè)方面，在Bayer圖像模式的去馬賽克期間，可對(duì)其應(yīng)用濾波，以確定內(nèi)插綠色顏色值的垂直分量的一組垂直像素；圖111表示按照本發(fā)明技術(shù)的各個(gè)方面，在Bayer圖像模式的去馬賽克期間，可對(duì)其應(yīng)用濾波，以確定內(nèi)插的紅色和藍(lán)色值的各個(gè)3X3像素塊；圖112-115提供描述按照一個(gè)實(shí)施例，在Bayer圖像模式的去馬賽克期間，內(nèi)插綠色、紅色和藍(lán)色顏色值的各種處理的流程圖；圖116表示可用圖像傳感器捕捉，并按照這里公開的去馬賽克技術(shù)的各個(gè)方面處理的原始圖像場景的彩圖；圖117表示圖116中所示的圖像場景的Bayer圖像模式的彩圖；圖118表示根據(jù)圖117的Bayer圖像模式，利用常規(guī)的去馬賽克技術(shù)重構(gòu)的RGB 圖像的彩圖；圖119表示按照這里公開的去馬賽克技術(shù)的各個(gè)方面，從圖117的Bayer圖像模式重構(gòu)的RGB圖像的彩圖；圖120-123描述按照一個(gè)實(shí)施例，可用于實(shí)現(xiàn)圖99的原始像素處理塊的線緩沖器的結(jié)構(gòu)和布置；圖IM是表示按照一個(gè)實(shí)施例，利用圖120-123中所示的線緩沖器結(jié)構(gòu)，處理原始像素?cái)?shù)據(jù)的方法的流程圖；圖125是表示按照本公開的各個(gè)方面，可在圖98的ISP管道處理邏輯器中實(shí)現(xiàn)的 RGB處理塊的一個(gè)實(shí)施例的更詳細(xì)的示圖；圖1 是表示按照本公開的各個(gè)方面，可在圖98的ISP管道處理邏輯器中實(shí)現(xiàn)的 YCbCr處理塊的一個(gè)實(shí)施例的更詳細(xì)的示圖；圖127是按照本公開的各個(gè)方面，在利用1-平面格式的源緩沖器內(nèi)定義的亮度和色度的激活源區(qū)的圖形描述；圖1 是按照本公開的各個(gè)方面，在利用2-平面格式的源緩沖器內(nèi)定義的亮度和色度的激活源區(qū)的圖形描述；圖1 是圖解說明按照一個(gè)實(shí)施例，可在如圖126中所示的YCbCr處理塊中實(shí)現(xiàn)的圖像銳化邏輯器的方框圖；圖130是圖解說明按照一個(gè)實(shí)施例，可在如圖126中所示的YCbCr處理塊中實(shí)現(xiàn)的邊緣增強(qiáng)邏輯器的方框圖；圖131是表示按照本公開的各個(gè)方面，色度衰減因子與銳化的亮度值的關(guān)系的圖示；
圖132是圖解說明按照一個(gè)實(shí)施例，可在如圖126中所示的YCbCr處理塊中實(shí)現(xiàn)的圖像明度(brightness)、對(duì)比度和顏色(BCC)調(diào)整邏輯器的方框圖；圖133表示定義可在圖132的BCC調(diào)整邏輯器中的顏色調(diào)整期間應(yīng)用的各種色相角和飽和度值的YCbCr顏色空間中的色相和飽和度色輪；圖134是表示按照本公開的各個(gè)方面，圖8的ISP后端處理邏輯器的一個(gè)實(shí)施例的方框圖，所述ISP后端處理邏輯器可被配置成進(jìn)行ISP管線下游的各個(gè)后處理步驟；圖135是表示一種常規(guī)的全局色調(diào)映射技術(shù)的圖形表示；圖136是表示另一種常規(guī)的全局色調(diào)映射技術(shù)的圖形表示；圖137描述按照本公開的各個(gè)方面，為了應(yīng)用局部色調(diào)應(yīng)用技術(shù)，可如何分割圖像的各個(gè)區(qū)域；圖138圖形地圖解說明常規(guī)的局部色調(diào)映射如何導(dǎo)致輸出色調(diào)范圍的有限利用；圖139圖形地圖解說明按照本公開的實(shí)施例，用于局部色調(diào)映射的技術(shù)；圖140是按照本公開的各個(gè)方面，表示局部色調(diào)映射LTM邏輯器的一個(gè)實(shí)施例的更詳細(xì)的方框圖，所述局部色調(diào)映射LTM邏輯器可被配置成實(shí)現(xiàn)圖134的ISP后端邏輯器中的色調(diào)映射處理；圖141是表示按照一個(gè)實(shí)施例，利用圖134的ISP后端處理邏輯器處理圖像數(shù)據(jù)的方法的流程圖；圖142是表示按照一個(gè)實(shí)施例，利用圖140中所示的LTM邏輯器，應(yīng)用色調(diào)映射的方法的流程圖。
具體實(shí)施例方式下面將說明本公開的一個(gè)或多個(gè)具體實(shí)施例。這些說明的實(shí)施例只是目前公開的技術(shù)的例子。另外，在致力于提供這些實(shí)施例的簡明描述的過程中，在說明書中可能未描述實(shí)際實(shí)現(xiàn)的所有特征。應(yīng)意識(shí)到，在任何這種實(shí)際實(shí)現(xiàn)的開發(fā)中，和任何工程或設(shè)計(jì)項(xiàng)目中一樣，為了實(shí)現(xiàn)開發(fā)人員的可能因?qū)崿F(xiàn)而異的特定目標(biāo)，比如遵守與系統(tǒng)相關(guān)的和與商業(yè)相關(guān)的約束條件，必須做出各種特定于實(shí)現(xiàn)的決策。此外，應(yīng)意識(shí)到這樣的開發(fā)工作可能復(fù)雜和費(fèi)時(shí)，不過對(duì)受益于本公開內(nèi)容的普通技術(shù)人員來說，這樣的開發(fā)工作不過是常規(guī)的設(shè)計(jì)、加工和生產(chǎn)任務(wù)。當(dāng)介紹本公開的各個(gè)實(shí)施例的部件時(shí)，冠詞“一個(gè)”等旨在意味存在一個(gè)或多個(gè)所述部件。用語“包含”、“包括”和“具有”旨在是開放的，并且意味可以存在除列舉的部件以外的其它部件。另外，應(yīng)明白本公開的對(duì)“一個(gè)實(shí)施例”或“實(shí)施例”的引用并不意圖被解釋成排除也包含所引用特征的其它實(shí)施例的存在。如下所述，本公開一般涉及處理利用一個(gè)或多個(gè)圖像感測設(shè)備獲得的圖像數(shù)據(jù)的技術(shù)。特別地，本公開的某些方面可以涉及檢測和校正缺陷像素的技術(shù)，對(duì)原始圖像模式去馬賽克的技術(shù)，利用多尺度非銳化掩膜銳化亮度圖像的技術(shù)，和應(yīng)用透鏡陰影增益校正透鏡陰影不規(guī)則性的技術(shù)。此外，應(yīng)明白，目前公開的技術(shù)可應(yīng)用于靜止圖像和運(yùn)動(dòng)圖像(例如，視頻)，并且可用在任何適當(dāng)類型的成像應(yīng)用中，比如數(shù)字照相機(jī)、具有一體化數(shù)字照相機(jī)的電子設(shè)備、安全或視頻監(jiān)視系統(tǒng)、醫(yī)療成像系統(tǒng)等等。在記住以上內(nèi)容的同時(shí)，圖1是圖解說明通過利用上面簡要提及的一種或多種圖像處理技術(shù)，提供圖像數(shù)據(jù)的處理的電子設(shè)備10的例子的方框圖。電子設(shè)備10 可以是被配置成接收和處理圖像數(shù)據(jù)，比如利用一個(gè)或多個(gè)圖像感測組件獲得的數(shù)據(jù)的任意類型的電子設(shè)備，比如膝上型或桌上型計(jì)算機(jī)、移動(dòng)電話、數(shù)字媒體播放器等等。例如，電子設(shè)備10可以是便攜式電子設(shè)備，比如可從Cupertino，California的蘋果公司獲得的某種型號(hào)的iPod 或iPhone 。另外，電子設(shè)備10可以是桌上型或膝上型計(jì)算機(jī)，比如可從蘋果公司獲得的某種型號(hào)的MacBook 、MacBook Pro、 MacBook Air , iMaC 、Mac Mini或Mac Pro 。在其它實(shí)施例中，電子設(shè)備10也可以是另一家制造商的能夠獲得和處理圖像數(shù)據(jù)的某種型號(hào)的電子設(shè)備。與其形式(例如，便攜式或非便攜式)無關(guān)，應(yīng)明白，電子設(shè)備10可利用上面簡要討論的一種或多種圖像處理技術(shù)提供圖像數(shù)據(jù)的處理，所述圖像處理技術(shù)可包括缺陷像素校正和/或檢測技術(shù)、透鏡陰影校正技術(shù)、去馬賽克技術(shù)或者圖像銳化技術(shù)等等。在一些實(shí)施例中，電子設(shè)備10可把這樣的圖像處理技術(shù)應(yīng)用于保存在電子設(shè)備10的存儲(chǔ)器中的圖像數(shù)據(jù)。在另外的實(shí)施例中，電子設(shè)備10可包括被配置成獲取圖像數(shù)據(jù)的一個(gè)或多個(gè)成像設(shè)備，比如一體的或者外部的數(shù)字照相機(jī)，電子設(shè)備10隨后可利用一種或多種上述圖像處理技術(shù)處理所述圖像數(shù)據(jù)。下面在圖3-6中進(jìn)一步討論表示電子設(shè)備10的便攜式和非便攜式實(shí)施例的各個(gè)實(shí)施例。如圖1中所示，電子設(shè)備10可包括為設(shè)備10的功能作出貢獻(xiàn)的各個(gè)內(nèi)部和/或外部組件。本領(lǐng)域的普通技術(shù)人員將認(rèn)識(shí)到圖1中所示的各個(gè)功能塊可包含硬件部件(包括電路)、軟件部件(包括保存在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)代碼)、或者硬件部件和軟件部件的組合。例如，在目前舉例說明的實(shí)施例中，電子設(shè)備10可包括輸入/輸出(1/0)端口 12、輸入結(jié)構(gòu)14、一個(gè)或多個(gè)處理器16、存儲(chǔ)設(shè)備18、非易失性存儲(chǔ)設(shè)備20、擴(kuò)展卡22、 連網(wǎng)設(shè)備24、電源沈和顯示器28。另外，電子設(shè)備10可包括一個(gè)或多個(gè)成像設(shè)備30 (比如數(shù)字照相機(jī))和圖像處理電路32。如下進(jìn)一步所述，圖像處理電路32可被配置成在處理圖像數(shù)據(jù)時(shí)實(shí)現(xiàn)一種或多種上述圖像處理技術(shù)?？烧J(rèn)識(shí)到，圖像處理電路32處理的圖像數(shù)據(jù)可以取自存儲(chǔ)器18和/或非易失性存儲(chǔ)設(shè)備20，或者可以利用成像設(shè)備30獲得。在繼續(xù)進(jìn)行說明之前，應(yīng)明白圖1中所示的設(shè)備10的系統(tǒng)方框圖旨在是描述可包括在這樣的設(shè)備10中的各個(gè)組件的高級(jí)控制圖。S卩，圖1中表示的各個(gè)單獨(dú)組件之間的連接線不一定必須代表數(shù)據(jù)流經(jīng)的，或者在設(shè)備10的各個(gè)組件之間傳送數(shù)據(jù)的路徑或方向。事實(shí)下，如下所述，在一些實(shí)施例中，描述的處理器16可包括多個(gè)處理器，比如主處理器(例如，CPU)和專用圖像和/或視頻處理器。在這樣的實(shí)施例中，圖像數(shù)據(jù)的處理主要可由這些專用處理器負(fù)責(zé)，從而有效地從主處理器(CPU)卸載這些任務(wù)。就圖1中例示的每個(gè)組件來說，1/0端口 12可包括被配置成與各個(gè)外部設(shè)備連接的端口，所述外部設(shè)備比如是電源、音頻輸出設(shè)備(例如，頭戴式聽筒或頭戴式收話器)、或者其它電子設(shè)備(比如手持設(shè)備和/或計(jì)算機(jī)、打印機(jī)、投影儀、外部顯示器、調(diào)制解調(diào)器、 擴(kuò)展塢等等)。在一個(gè)實(shí)施例中，1/0端口 12可被配置成連接到外部成像設(shè)備，比如數(shù)字照相機(jī)，以便獲得可利用圖像處理電路32處理的圖像數(shù)據(jù)。1/0端口 12可支持任何適當(dāng)?shù)慕涌陬愋?，比如通用串行總線(USB)端口、串行連接端口、IEEE-1394(火線)端口、以太網(wǎng)或調(diào)制解調(diào)器端口、和/或AC/DC電力連接端口。在一些實(shí)施例中，某些1/0端口 12可被配置成提供不止一種功能。例如，在一個(gè)
15實(shí)施例中，I/O端口 12可包括蘋果公司的專用端口，所述專用端口不僅能夠使數(shù)據(jù)在電子設(shè)備10和外部源之間的傳送更容易，而且能夠使設(shè)備10與充電接口(比如用于從壁裝電源插座提供電力的電源適配器，或者被配置成從另一個(gè)電設(shè)備，比如桌上型或膝上型計(jì)算機(jī)抽取電力的接口電纜)耦接，以便對(duì)電源26 (它可包括一個(gè)或多個(gè)可再充電電池)充電。 因此，I/O端口 12可被配置成基于經(jīng)I/O端口 12與設(shè)備10耦接的外部組件，既起數(shù)據(jù)傳送端口的作用，又起AC/DC電源連接端口的作用。輸入結(jié)構(gòu)14可向處理器16提供用戶輸入或反饋。例如，輸入結(jié)構(gòu)14可被配置成控制電子設(shè)備10的一個(gè)或多個(gè)功能，比如在電子設(shè)備10上運(yùn)行的應(yīng)用程序。例如，輸入結(jié)構(gòu)14可以包括按鈕、滑動(dòng)器、開關(guān)、控制板、按鍵、旋鈕、滾輪、鍵盤、鼠標(biāo)、觸摸板等等，或者它們的組合。在一個(gè)實(shí)施例中，輸入結(jié)構(gòu)14允許用戶操縱顯示在設(shè)備10上的圖形用戶界面(GUI)。另外，輸入結(jié)構(gòu)14可包括結(jié)合顯示器觀設(shè)置的觸敏機(jī)構(gòu)。在這樣的實(shí)施例中， 用戶可以利用觸敏機(jī)構(gòu)選擇或與顯示的界面部件互動(dòng)。輸入結(jié)構(gòu)14可包括向一個(gè)或多個(gè)處理器16提供用戶輸入或反饋的各種設(shè)備、電路和通道。這種輸入結(jié)構(gòu)14可被配置成控制設(shè)備10的功能，在設(shè)備10上運(yùn)行的應(yīng)用，和 /或與電子設(shè)備10連接或者由電子設(shè)備10使用的任意接口或設(shè)備。例如，輸入結(jié)構(gòu)14可以允許用戶操縱顯示的用戶界面或應(yīng)用界面。輸入結(jié)構(gòu)14的例子可包括按鈕、滑動(dòng)器、開關(guān)、控制板、按鍵、旋鈕、滾輪、鍵盤、鼠標(biāo)、觸摸板等等。在一些實(shí)施例中，輸入結(jié)構(gòu)14和顯示器設(shè)備觀可以設(shè)置在一起，比如在“觸摸屏” 的情況下，從而與顯示器觀相結(jié)合地設(shè)置觸敏機(jī)構(gòu)。在這種實(shí)施例中，用戶可借助觸敏機(jī)構(gòu)，選擇或與顯示的界面部件互動(dòng)。這樣，顯示的界面可提供交互式功能，從而允許用戶通過觸摸顯示器觀來操縱顯示的界面。例如，用戶與輸入結(jié)構(gòu)14的交互，比如與顯示在顯示器觀上的用戶或者應(yīng)用界面互動(dòng)可生成表示用戶輸入的電信號(hào)。這些輸入信號(hào)可以經(jīng)由適當(dāng)?shù)耐ǖ?，比如輸入集線器或數(shù)據(jù)總線路由到一個(gè)或多個(gè)處理器16，以供進(jìn)一步處理。在一個(gè)實(shí)施例中，輸入結(jié)構(gòu)14可包括音頻輸入設(shè)備。例如，電子設(shè)備10可以配有一個(gè)或多個(gè)音頻捕捉設(shè)備，比如一個(gè)或多個(gè)麥克風(fēng)。音頻捕捉設(shè)備可以與電子設(shè)備10—體化，或者可以是比如通過I/O端口 12與電子設(shè)備10耦接的外部設(shè)備。如下進(jìn)一步所述，電子設(shè)備10可以既是音頻輸入設(shè)備又是成像設(shè)備30，以捕捉聲音和圖像數(shù)據(jù)(例如，視頻數(shù)據(jù))，并且可以包括被配置成提供使捕捉的視頻數(shù)據(jù)和音頻數(shù)據(jù)同步的邏輯器。除了處理經(jīng)輸入結(jié)構(gòu)14接收的各種輸入信號(hào)外，處理器16可控制設(shè)備10的一般操作。例如，處理器16可提供執(zhí)行操作系統(tǒng)、程序、用戶界面和應(yīng)用界面、和電子設(shè)備10 的任何其它功能的處理能力。處理器16可包括一個(gè)或多個(gè)微處理器，比如一個(gè)或多個(gè)“通用”微處理器、一個(gè)或多個(gè)專用微處理器和/或?qū)Ｓ梦⑻幚砥?ASIC)，或者這些處理組件的組合。例如，處理器16可包括一個(gè)或多個(gè)指令集(例如，RISC)處理器、以及圖形處理器 (GPU)、視頻處理器、音頻處理器和/或相關(guān)的芯片集。應(yīng)認(rèn)識(shí)到，處理器16可以與一個(gè)或多個(gè)數(shù)據(jù)總線耦接，以便在設(shè)備10的各個(gè)組件之間傳送數(shù)據(jù)和指令。在一些實(shí)施例中，處理器16可提供在電子設(shè)備 ο上運(yùn)行成像應(yīng)用，比如可從蘋果公司獲得的Photo Booth 、 Aperture 、iPhoto 或Preview ，或者由蘋果公司提供的存在于各種型號(hào)的 iPhone 上的“照相機(jī)”和/或“照片”應(yīng)用的處理能力。將由處理器16處理的指令或數(shù)據(jù)可被保存在計(jì)算機(jī)可讀介質(zhì)，比如存儲(chǔ)器裝置18中?？梢砸资源鎯?chǔ)器(比如隨機(jī)存取存儲(chǔ)器(RAM))，或者以非易失性存儲(chǔ)器(比如只讀存儲(chǔ)器(ROM))，或者以一個(gè)或多個(gè)RAM和ROM設(shè)備的組合的形式提供存儲(chǔ)器裝置18。存儲(chǔ)器18可保存各種信息，并且可用于各種用途。例如，存儲(chǔ)器18可保存電子設(shè)備10的固件，比如基本輸入/輸出系統(tǒng)(BIOS)、操作系統(tǒng)、各種程序、應(yīng)用、或者可在電子設(shè)備10上運(yùn)行的任何其它例程，包括用戶接口功能、處理器功能等等。另外，在電子設(shè)備10的工作期間，存儲(chǔ)器18可用于緩存或高速緩存。例如，在一個(gè)實(shí)施例中，存儲(chǔ)器18包括當(dāng)視頻數(shù)據(jù)被輸出給顯示器觀時(shí)，緩存視頻數(shù)據(jù)的一個(gè)或多個(gè)幀緩沖器。除了存儲(chǔ)器裝置18之外，電子設(shè)備10還可包括用于永久保存數(shù)據(jù)和/或指令的非易失性存儲(chǔ)設(shè)備20。非易失性存儲(chǔ)設(shè)備20可包括閃速存儲(chǔ)器，硬盤驅(qū)動(dòng)器，或者任何其它光、磁和/或固態(tài)存儲(chǔ)介質(zhì)，或者它們的某種組合。從而，盡管為了清楚起見，在圖1中被描述成單個(gè)設(shè)備，但應(yīng)明白，非易失性存儲(chǔ)設(shè)備20可包括結(jié)合處理器16工作的一個(gè)或多個(gè)上面列舉的存儲(chǔ)設(shè)備的組合。非易失性存儲(chǔ)器20可被用于保存固件、數(shù)據(jù)文件、圖像數(shù)據(jù)、 軟件程序和應(yīng)用、無線連接信息、個(gè)人信息、用戶首選項(xiàng)、和任何其它適當(dāng)?shù)臄?shù)據(jù)。按照本公開的各個(gè)方面，在顯示器上被輸出之前，保存在非易失性存儲(chǔ)設(shè)備20和/或存儲(chǔ)器裝置18 中的圖像數(shù)據(jù)可被圖像處理電路32處理。圖1中圖解說明的實(shí)施例還包括一個(gè)或多個(gè)卡或者擴(kuò)展槽?？ú劭杀慌渲贸山蛹{擴(kuò)展卡22，擴(kuò)展卡22可用于向電子設(shè)備10增添功能，比如額外的存儲(chǔ)器、I/O功能或者連網(wǎng)能力。這種擴(kuò)展卡22可通過任意種類的適當(dāng)連接器與設(shè)備連接，并且可相對(duì)于電子設(shè)備 10的機(jī)殼在外部或內(nèi)部被訪問。例如，在一個(gè)實(shí)施例中，擴(kuò)展卡22可以是閃速存儲(chǔ)卡，比如安全數(shù)字卡(SD)卡、小型或微型SD、緊湊式閃存卡等，或者可以是PCMCIA設(shè)備。另外，擴(kuò)展卡22可以是供電子設(shè)備10的提供移動(dòng)電話能力的實(shí)施例使用的用戶識(shí)別模塊(SIM)卡。電子設(shè)備10還包括網(wǎng)絡(luò)設(shè)備對(duì)，它可以是通過無線802. 11標(biāo)準(zhǔn)，或者任何其它適當(dāng)?shù)倪B網(wǎng)標(biāo)準(zhǔn)提供網(wǎng)絡(luò)連通性的網(wǎng)絡(luò)控制器或網(wǎng)絡(luò)接口卡(NIC)，其它適當(dāng)?shù)倪B網(wǎng)標(biāo)準(zhǔn)比如是局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)，例如增強(qiáng)數(shù)據(jù)速率GSM演進(jìn)(EDGE)網(wǎng)絡(luò)，3G數(shù)據(jù)網(wǎng)絡(luò)或因特網(wǎng)。在一些實(shí)施例中，網(wǎng)絡(luò)設(shè)備M可提供與在線數(shù)字媒體內(nèi)容提供者，比如可從蘋果公司得到的iTimes 音樂服務(wù)的連接。設(shè)備10的電源沈可包括按非便攜式和便攜式設(shè)置向設(shè)備10供電的能力。例如， 在便攜式設(shè)置中，設(shè)備10可包括向設(shè)備10供電的一個(gè)或多個(gè)電池，比如鋰離子電池。通過把設(shè)備10連接到外部電源，比如連接到壁裝電源插座，電池可被再充電。在非便攜式設(shè)置中，電源沈可包括被配置成從壁裝電源插座抽取電力，并且向非便攜式電子設(shè)備(比如桌上型計(jì)算系統(tǒng))的各個(gè)組件分配電力的電源單元(PSU)。顯示器觀可用于顯示設(shè)備10生成的各種圖像，比如操作系統(tǒng)的⑶I，或者圖像處理電路32處理的圖像數(shù)據(jù)(包括靜止圖像和視頻數(shù)據(jù))，如下進(jìn)一步所述。如上所述，圖像數(shù)據(jù)可包括利用成像設(shè)備30獲得的圖像數(shù)據(jù)，或者從存儲(chǔ)器18和/或非易失性存儲(chǔ)設(shè)備20取回的圖像數(shù)據(jù)。顯示器觀可以是任何適當(dāng)類型的顯示器，比如，例如液晶顯示器 (LCD)、等離子體顯示器、或者有機(jī)發(fā)光二極管(OLED)顯示器。另外，如上所述，可以結(jié)合上述觸敏機(jī)構(gòu)(例如，觸摸屏)設(shè)置顯示器觀，所述觸敏機(jī)構(gòu)起電子設(shè)備10的控制界面的一部分的作用。可以被配置成獲得靜止圖像和運(yùn)動(dòng)圖像(例如視頻)的數(shù)字照相機(jī)的形式，提供圖解所示的成像設(shè)備30。照相機(jī)30可包括鏡頭，和被配置成捕捉光并把光轉(zhuǎn)換成電信號(hào)的一個(gè)或多個(gè)圖像傳感器。例如，圖像傳感器可包括CMOS圖像傳感器(例如，CMOS有源像素傳感器(APQ)或者CCD(電荷耦合器件)傳感器。通常，照相機(jī)30中的圖像傳感器包括具有像素陣列的集成電路，其中，每個(gè)像素包括感測光的光電探測器。本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，成像像素中的光電探測器通常探測經(jīng)照相機(jī)鏡頭捕捉的光的強(qiáng)度。不過，光電探測器本身通常不能檢測捕捉的光的波長，從而不能確定顏色信息。因此，圖像傳感器還包括覆蓋或者置于圖像傳感器的像素陣列上，以捕捉顏色信息的色彩濾鏡陣列(CFA)。色彩濾鏡陣列可包括微小色彩濾鏡的陣列，每個(gè)色彩濾鏡可重疊在圖像傳感器的相應(yīng)像素上，并按波長過濾捕捉的光。從而，當(dāng)結(jié)合使用時(shí)，色彩濾鏡陣列和光電探測器可提供關(guān)于通過照相機(jī)捕捉的光的波長和強(qiáng)度信息，所述光可以代表捕捉的圖像。在一個(gè)實(shí)施例中，色彩濾鏡陣列可包括Bayer色彩濾鏡陣列，它提供為50 %綠色元素，25%紅色元素和25%藍(lán)色元素的濾波模式。例如，圖2表示Bayer CFA的2X2像素塊，它包括2個(gè)綠色元素(Gr和(ib)、l個(gè)紅色元素(R)和一個(gè)藍(lán)色元素(B)。從而，利用 Bayer色彩濾鏡陣列的圖像傳感器可提供關(guān)于照相機(jī)30在綠色、紅色和藍(lán)色波長下接收的光的強(qiáng)度有關(guān)的信息，從而每個(gè)圖像像素只記錄三種顏色(RGB)之一。隨后可利用一種或多種去馬賽克技術(shù)處理該信息(可被稱為“原始圖像數(shù)據(jù)”或者“原始域”中的數(shù)據(jù))，以把原始圖像數(shù)據(jù)轉(zhuǎn)換成全色圖像，通常是通過對(duì)于每個(gè)像素內(nèi)插一組紅色、綠色和藍(lán)色值進(jìn)行的。如下進(jìn)一步所述，這種去馬賽克技術(shù)由圖像處理電路32執(zhí)行。如上所述，圖像處理電路32可提供各種圖像處理步驟，比如缺陷像素檢測/校正、 透鏡陰影校正、去馬賽克、圖像銳化、降噪、伽馬校正、圖像增強(qiáng)、顏色空間變換、圖像壓縮、 色度子采樣和圖像比例縮放操作等等。在一些實(shí)施例中，圖像處理電路32可包括各種子組件和/或離散邏輯器單元，所述子組件和/或離散邏輯器單元共同構(gòu)成執(zhí)行各種圖像處理步驟中的每一種的圖像處理“管線”。這些子組件可以利用硬件(例如，數(shù)字信號(hào)處理器或 ASIC)或者軟件實(shí)現(xiàn)，或者借助硬件和軟件組件的組合實(shí)現(xiàn)。圖像處理電路32可提供的各種圖像處理操作，尤其是與缺陷像素檢測/校正、透鏡陰影校正、去馬賽克和圖像銳化相關(guān)的那些處理操作將在下面更詳細(xì)地說明。在繼續(xù)進(jìn)行說明之前，應(yīng)注意，雖然下面說明的各種圖像處理技術(shù)的各個(gè)實(shí)施例可利用Bayer CFA，不過目前公開的技術(shù)并不意圖局限于此。事實(shí)上，本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到這里提供的圖像處理技術(shù)適合于任何適當(dāng)類型的色彩濾鏡陣列，包括RGBW濾鏡、 CYGM濾鏡等等。重新參見電子設(shè)備10，圖3-6圖解說明電子設(shè)備10可以采取的各種形式。如上所述，電子設(shè)備10可以采取計(jì)算機(jī)的形式，包括通常便攜的計(jì)算機(jī)(比如膝上型、筆記本和平板計(jì)算機(jī))，以及通常不便攜的計(jì)算機(jī)(比如桌上型計(jì)算機(jī)、工作站和/或服務(wù)器)，或者其它類型的電子設(shè)備，比如手持便攜式電子設(shè)備(例如，數(shù)字媒體播放器或移動(dòng)電話機(jī))。特別地，圖3和4分別描述呈膝上型計(jì)算機(jī)40和桌上型計(jì)算機(jī)50形式的電子設(shè)備10。圖5 和6分別表示呈手持便攜式設(shè)備60形式的電子設(shè)備10的正視圖和后視圖。如圖3中所示，描述的膝上型計(jì)算機(jī)40包括機(jī)殼42、顯示器觀、1/0端口 12和輸入結(jié)構(gòu)14。輸入結(jié)構(gòu)14可包括與機(jī)殼42 —體化的鍵盤和觸摸板鼠標(biāo)。另外，輸入結(jié)構(gòu)14可包括各種其它按鈕和/或開關(guān)，所述各種其它按鈕和/或開關(guān)可用于與計(jì)算機(jī)40交互， 比如使計(jì)算機(jī)通電或啟動(dòng)計(jì)算機(jī)，操作GUI或者在計(jì)算機(jī)40上運(yùn)行的應(yīng)用，以及調(diào)整與計(jì)算機(jī)40的操作相關(guān)的各個(gè)其它方面(例如，音量、顯示明度等)。計(jì)算機(jī)40還可包括提供與如上所述的其它設(shè)備的連通性的各種I/O端口 12，比如FireWire 或USB端口、高分辨率多媒體接口(HDMI)端口、或者適合于連接到外部設(shè)備的任何其它類型的端口。另外，如上關(guān)于圖1所述，計(jì)算機(jī)40可包括網(wǎng)絡(luò)連通性(例如，網(wǎng)絡(luò)設(shè)備沈)、存儲(chǔ)器(例如，存儲(chǔ)器 20)，和存儲(chǔ)能力(例如，存儲(chǔ)設(shè)備22)。此外，在圖解說明的實(shí)施例中，膝上型計(jì)算機(jī)40可包括一體式成像設(shè)備30 (例如，照相機(jī))。在其它實(shí)施例中，代替或者除了一體式照相機(jī)30之外，膝上型計(jì)算機(jī)40可以利用連接到一個(gè)或多個(gè)I/O端口 12的外部照相機(jī)(例如，外部USB照相機(jī)或“網(wǎng)絡(luò)照相機(jī)(webcam)”)。例如，外部照相機(jī)可以是可從蘋果公司獲得的iSight 照相機(jī)。照相機(jī)30(不論是一體的，還是外部的)可提供圖像的捕捉和記錄。這樣的圖像隨后可由用戶利用圖像觀看應(yīng)用觀看，或者可被其它應(yīng)用使用，所述其它應(yīng)用包括視頻會(huì)議應(yīng)用(比如 iChat )和圖像編輯 / 觀看應(yīng)用(比如 Photo Booth 、Aperture 、iPhoto 或者Preview )，這些應(yīng)用程序可從蘋果公司獲得。在一些實(shí)施例中，描述的膝上型計(jì)算機(jī)40可以是可從蘋果公司獲得的某種型號(hào)的MacBook 、MacBook Pro、 MacBook Air 或者PowerBook 。另外，在一個(gè)實(shí)施例中，計(jì)算機(jī)40可以是便攜式平板計(jì)算設(shè)備，比如也可從蘋果公司獲得的某種型號(hào)的iPad 平板計(jì)算機(jī)。圖4還圖解說明其中以桌上型計(jì)算機(jī)50的形式提供電子設(shè)備10的實(shí)施例。要認(rèn)識(shí)到，桌上型計(jì)算機(jī)50可包括許多大體與圖4中所示的膝上型計(jì)算機(jī)40提供的那些特征類似的特征，不過可具有通常更大的整體形狀因子。如圖所示，桌上型計(jì)算機(jī)50可被置于外殼42中，所述外殼42包括顯示器觀，以及上面關(guān)于圖1中所示的方框圖討論的各種其它組件。此外，桌上型計(jì)算機(jī)50可包括可以通過一個(gè)或多個(gè)1/0端口 12(例如，USB)與計(jì)算機(jī)50耦接，或者可以與計(jì)算機(jī)50無線(例如，RF、藍(lán)牙等)通信的外部鍵盤和鼠標(biāo)(輸入結(jié)構(gòu)14)。桌上型計(jì)算機(jī)50還包括成像設(shè)備30，如上所述，成像設(shè)備30可以是一體式或外部照相機(jī)。在一些實(shí)施例中，描述的桌上型計(jì)算機(jī)50可以是可從蘋果公司獲得的某種型號(hào)的iMac 、Mac mini 或 Mac Pro e如圖進(jìn)一步所示，顯示器觀可被配置成生成可由用戶觀看的各種圖像。例如，在計(jì)算機(jī)50的工作期間，顯示器觀可顯示圖形用戶界面(“⑶1”)52，⑶I 52允許用戶與在計(jì)算機(jī)50上運(yùn)行的操作系統(tǒng)和/或應(yīng)用交互。GUI 52可包括可以顯示在整個(gè)或者部分顯示器觀中的各種層、窗口、屏幕、模板或其它圖形元素。例如，在描述的實(shí)施例中，操作系統(tǒng) GUI 52可包括各種圖形圖標(biāo)M，每個(gè)圖形圖標(biāo)M對(duì)應(yīng)于當(dāng)檢測到用戶選擇(例如，借助鍵盤/鼠標(biāo)或觸摸屏輸入)時(shí)，被打開或執(zhí)行的各種應(yīng)用。圖標(biāo)討可被顯示在塢站(dock) 56 中，或者被顯示在顯示于屏幕上的一個(gè)或多個(gè)圖形窗口元素58內(nèi)。在一些實(shí)施例中，圖標(biāo) 54的選擇可通向分級(jí)導(dǎo)航處理，從而圖標(biāo)M的選擇通向屏幕，或者打開包括一個(gè)或多個(gè)另外的圖標(biāo)或其它GUI元素的另一個(gè)圖形窗口。例如，顯示在圖4中的操作系統(tǒng)GUI 52可以源自可從蘋果公司獲得的某種版本的Mac OS 操作系統(tǒng)。繼續(xù)參見圖5和6，圖中進(jìn)一步以便攜式手持電子設(shè)備60的形式圖解說明了電子設(shè)備10，所述便攜式手持電子設(shè)備60可以是可從蘋果公司獲得的某種型號(hào)的iPod 或iPhone 。在所描述的實(shí)施例中，手持設(shè)備60包括殼體42，殼體42可保護(hù)內(nèi)部組件免受物理損壞，和屏蔽內(nèi)部組件使其不受電磁干擾的影響。殼體42可以用任何適當(dāng)?shù)牟牧?，或者多種材料的組合構(gòu)成，所述材料比如是塑料、金屬或復(fù)合材料，并且可以允許某些頻率的電磁輻射(比如無線連網(wǎng)信號(hào))通過，從而到達(dá)置于殼體42內(nèi)的無線通信電路(例如，網(wǎng)絡(luò)設(shè)備M)，如圖5中所示。殼體42還包括各種用戶輸入結(jié)構(gòu)14，通過用戶輸入結(jié)構(gòu)14，用戶可以與手持設(shè)備 60交互。例如，每個(gè)輸入結(jié)構(gòu)14可被配置成當(dāng)被按下或啟動(dòng)時(shí)，控制一個(gè)或多個(gè)相應(yīng)設(shè)備功能。例如，一個(gè)或多個(gè)輸入結(jié)構(gòu)14可被配置成調(diào)用“主”屏幕，或者要顯示的菜單，在睡眠、喚醒或者通電/斷電模式之間切換，使蜂窩電話機(jī)應(yīng)用的鈴聲靜音，增大或減小音量輸出等等。應(yīng)明白，圖解說明的輸入結(jié)構(gòu)14僅僅是例證性的，并且手持設(shè)備60可包括以各種形式(包括按鈕、開關(guān)、按鍵、旋鈕、滾輪等)存在的許多適當(dāng)?shù)挠脩糨斎虢Y(jié)構(gòu)。如圖5中所示，手持設(shè)備60可包括各種I/O端口 12。例如，描述的I/O端口 12可包括傳送和接收數(shù)據(jù)文件，或者對(duì)電源沈充電的專用連接端口 12a，和使設(shè)備60與音頻輸出設(shè)備(例如，頭戴式收話器或揚(yáng)聲器)連接的音頻連接端口 12b。此外，在手持設(shè)備60提供移動(dòng)電話功能的實(shí)施例中，設(shè)備60可包括接納用戶識(shí)別模塊(SIM)卡(例如，擴(kuò)展卡22) 的 I/O 端口 12c。顯示器設(shè)備觀(它可以是IXD、OLED或者任何適當(dāng)類型的顯示器)可以顯示手持設(shè)備60生成的各種圖像。例如，顯示器觀可顯示向用戶提供關(guān)于手持設(shè)備60的一個(gè)或多個(gè)狀態(tài)(比如電源狀態(tài)、信號(hào)強(qiáng)度、外部設(shè)備連接等等)的反饋的各種系統(tǒng)指示符64。顯示器還可顯示如下參考圖4所述，允許用戶與設(shè)備60交互的⑶I 52。⑶I 52可包括圖形元素，比如圖標(biāo)54，圖標(biāo)M與當(dāng)檢測到用戶選擇相應(yīng)圖標(biāo)M時(shí)，可被打開或運(yùn)行的各種應(yīng)用相對(duì)應(yīng)。例如，圖標(biāo)M之一可代表可以結(jié)合照相機(jī)30(圖5中用虛線表示)使用，以便獲得圖像的照相機(jī)應(yīng)用66。簡要地參見圖6，圖中圖解說明了圖5中所示的手持電子設(shè)備60 的后視圖，該圖把照相機(jī)30表示成與機(jī)殼42 —體化，并被置于手持設(shè)備60的背面。如上所述，利用圖像處理電路32可以處理利用照相機(jī)30獲得的圖像數(shù)據(jù)，圖像處理電路32可包括硬件(例如，置于殼體42內(nèi))和/或保存在設(shè)備60的一個(gè)或多個(gè)存儲(chǔ)器 (例如，存儲(chǔ)器18或非易失性存儲(chǔ)設(shè)備20)上的軟件。利用照相機(jī)應(yīng)用66和照相機(jī)30獲得的圖像可保存在設(shè)備60上(例如，保存在存儲(chǔ)設(shè)備20中)，并且可在稍后利用照片觀看應(yīng)用68觀看。手持設(shè)備60還可包括各種音頻輸入和輸出部件。例如，由附圖標(biāo)記70表示的音頻輸入/輸出部件可包括輸入接收器，比如一個(gè)或多個(gè)麥克風(fēng)。例如，在手持設(shè)備60包括蜂窩電話功能的情況下，輸入接收器可被配置成接收用戶音頻輸入，比如用戶的話音。另外， 音頻輸入/輸出部件70可包括一個(gè)或多個(gè)輸出發(fā)送器。這樣的輸出發(fā)送器可包括一個(gè)或多個(gè)揚(yáng)聲器，所述揚(yáng)聲器可用于向用戶傳送音頻信號(hào)，比如在利用媒體播放器應(yīng)用72重放音樂數(shù)據(jù)期間。此外，在手持設(shè)備60包括蜂窩電話應(yīng)用的實(shí)施例中，可以設(shè)置另外的音頻輸出發(fā)送器74，如圖5中所示。類似于音頻輸入/輸出部件70的輸出發(fā)送器，輸出發(fā)送器 74也包括被配置成向用戶傳送音頻信號(hào)，比如在電話通話期間接收的話音數(shù)據(jù)的一個(gè)或多個(gè)揚(yáng)聲器。從而，音頻輸入/輸出部件70和74可以一起工作，起電話機(jī)的音頻接收和發(fā)送部件的作用。
在提供了關(guān)于電子設(shè)備10可以采取的各種形式的一些背景的情況下，下面的討論將專注于圖1中描述的圖像處理電路32。如上所述，圖像處理電路32可以利用硬件和/ 或軟件組件實(shí)現(xiàn)，并且可包括定義圖像信號(hào)處理(ISP)管線的各種處理單元。特別地，下面討論將專注于在本公開中陳述的圖像處理技術(shù)的各個(gè)方面，尤其是涉及缺陷像素檢測/校正技術(shù)、透鏡陰影校正技術(shù)、去馬賽克技術(shù)和圖像銳化技術(shù)的方面?，F(xiàn)在參見圖7，按照目前公開技術(shù)的一個(gè)實(shí)施例，圖解說明描述可實(shí)現(xiàn)成圖像處理電路32的一部分的若干功能組件的簡化高級(jí)方框圖。特別地，圖7意解說明按照至少一個(gè)實(shí)施例，圖像數(shù)據(jù)是如何流過圖像處理電路32的。為了提供圖像處理電路32的概述， 這里參考圖7提供了這些功能組件如何工作以處理圖像數(shù)據(jù)的一般性描述，而每個(gè)圖解說明的功能組件的更具體說明以及它們相應(yīng)的子組件將在下面進(jìn)一步提供。參見圖解說明的實(shí)施例，圖像處理電路32可以包括圖像信號(hào)處理(ISP)前端處理邏輯器80、ISP管道處理邏輯器82和控制邏輯器84。成像設(shè)備30捕捉的圖像數(shù)據(jù)可以首先由ISP前端邏輯器80處理，并對(duì)其進(jìn)行分析以捕捉可用于確定ISP管道邏輯器82和/或成像設(shè)備30的一個(gè)或多個(gè)控制參數(shù)的圖像統(tǒng)計(jì)信息。ISP前端邏輯器80可被配置成從圖像傳感器輸入信號(hào)捕捉圖像數(shù)據(jù)。例如，如圖7中所示，成像設(shè)備30可包括具有一個(gè)或多個(gè)透鏡88和圖像傳感器90的照相機(jī)。如上所述，圖像傳感器90可包括色彩濾鏡陣列(例如，Bayer濾鏡)，從而可提供用圖像傳感器90的每個(gè)成像像素捕捉的光強(qiáng)度和波長信息， 以提供可由ISP前端邏輯器80處理的一組原始圖像數(shù)據(jù)。例如，成像設(shè)備30的輸出92可被傳感器接口 94接收，傳感器接口 94接著可基于例如傳感器接口類型把原始圖像數(shù)據(jù)96 提供給ISP前端邏輯器80。例如，傳感器接口 94可以利用標(biāo)準(zhǔn)移動(dòng)成像架構(gòu)(SMIA)接口或者其它串行或并行照相機(jī)接口，或者它們的某種組合。在一些實(shí)施例中，ISP前端邏輯器 80可在它自己的時(shí)鐘域內(nèi)工作，并且可向傳感器接口 94提供異步接口，以支持大小和定時(shí)要求不同的圖像傳感器。在一些實(shí)施例中，傳感器接口 94可包括在傳感器側(cè)的子接口(例如，傳感器側(cè)接口)和在ISP前端側(cè)的子接口，所述子接口構(gòu)成傳感器接口 94。原始圖像數(shù)據(jù)96可被提供給ISP前端邏輯器80，并按多種格式逐個(gè)像素地處理。 例如，每個(gè)圖像像素可具有8、10、12或14比特的位深度。表示在存儲(chǔ)器中如何保存和尋址像素?cái)?shù)據(jù)的存儲(chǔ)格式的各種例子將在下面進(jìn)一步詳細(xì)討論。ISP前端邏輯器80可對(duì)原始圖像數(shù)據(jù)96進(jìn)行一個(gè)或多個(gè)圖像處理操作，以及收集關(guān)于圖像數(shù)據(jù)96的統(tǒng)計(jì)信息?？砂聪嗤虿煌奈簧疃染冗M(jìn)行圖像處理操作，以及統(tǒng)計(jì)數(shù)據(jù)的收集。例如，在一個(gè)實(shí)施例中， 可以14比特的精度進(jìn)行原始圖像像素?cái)?shù)據(jù)96的處理。在這種實(shí)施例中，ISP前端邏輯器 80接收的位深度小于14比特(例如，8比特、10比特、12比特)的原始像素?cái)?shù)據(jù)可被上采樣到14比特，以便進(jìn)行圖像處理。在另一個(gè)實(shí)施例中，可以8比特的精度進(jìn)行統(tǒng)計(jì)處理，從而，具有較高位深度的原始像素?cái)?shù)據(jù)可被下采樣成8比特格式，以供統(tǒng)計(jì)。要認(rèn)識(shí)到，下采樣到8比特可減小硬件尺寸(例如，面積)，還降低關(guān)于統(tǒng)計(jì)數(shù)據(jù)的處理/計(jì)算復(fù)雜性。另外，可在空間上平均原始圖像數(shù)據(jù)，以使統(tǒng)計(jì)數(shù)據(jù)對(duì)噪聲的魯棒性更高。此外，如圖7中所示，ISP前端邏輯器80還可從存儲(chǔ)器108接收像素?cái)?shù)據(jù)。例如， 如附圖標(biāo)記98所示，原始像素?cái)?shù)據(jù)可從傳感器接口 94被發(fā)送給存儲(chǔ)器108。駐留在存儲(chǔ)器108中的原始像素?cái)?shù)據(jù)隨后可被提供給ISP前端邏輯器80以供處理，如附圖標(biāo)記100所示。存儲(chǔ)器108可以是存儲(chǔ)器裝置18的一部分、存儲(chǔ)設(shè)備20，或者可以是電子設(shè)備10內(nèi)的獨(dú)立的專用存儲(chǔ)器，并且可包括直接存儲(chǔ)器存取(DMA)特征。此外，在一些實(shí)施例中，ISP 前端邏輯器80可在它自己的時(shí)鐘域內(nèi)工作，并且可向傳感器接口 94提供異步接口，以支持大小不同并且具有不同的定時(shí)要求的傳感器。 當(dāng)收到原始圖像數(shù)據(jù)96 (來自傳感器接口 94)或100 (來自存儲(chǔ)器108)時(shí)，ISP前端邏輯器80可進(jìn)行一個(gè)或多個(gè)圖像處理操作，比如時(shí)域?yàn)V波和/或箱化補(bǔ)償濾波。處理后的圖像數(shù)據(jù)隨后可被提供給ISP管道邏輯器82 (輸出信號(hào)109)，以便在被顯示(例如，顯示在顯示器設(shè)備觀上)之前進(jìn)行另外的處理，或者可被發(fā)送給存儲(chǔ)器(輸出信號(hào)110)。ISP 管道邏輯器82或者直接從ISP前端邏輯器80接收“前端”處理數(shù)據(jù)，或者從存儲(chǔ)器108接收“前端”處理數(shù)據(jù)(輸入信號(hào)112)，并且可提供原始域中以及RGB和YCbCr顏色空間中的圖像數(shù)據(jù)的其它處理。ISP管道邏輯器82處理的圖像數(shù)據(jù)隨后可被輸出給顯示器觀(信號(hào) 114)，以供用戶觀看和/或可由圖形引擎或GPU進(jìn)一步處理。另外，ISP管道邏輯器82的輸出可被發(fā)送給存儲(chǔ)器108 (信號(hào)11 ，并且顯示器觀可從存儲(chǔ)器108讀取圖像數(shù)據(jù)(信號(hào)116)，在一些實(shí)施例中，存儲(chǔ)器108可被配置成實(shí)現(xiàn)一個(gè)或多個(gè)幀緩沖器。此外，在一些實(shí)現(xiàn)中，ISP管道邏輯器82的輸出可被提供給壓縮/解壓縮引擎118 (信號(hào)117)，以便編碼 /解碼圖像數(shù)據(jù)。編碼的圖像數(shù)據(jù)可被保存，稍后在被顯示在顯示器設(shè)備觀上(信號(hào)119) 之前被解壓縮。例如，壓縮引擎或“編碼器” 118可以是用于編碼靜止圖像的JPEG壓縮引擎、或者編碼視頻圖像的H. 264壓縮引擎、或者它們的某種組合、以及解碼圖像數(shù)據(jù)的對(duì)應(yīng)解壓縮引擎。關(guān)于可在ISP管道邏輯器82中提供的圖像處理操作的額外信息將在下面參考圖98-133更詳細(xì)地討論。另外，應(yīng)注意，ISP管道邏輯器82還可從存儲(chǔ)器108接收原始圖像數(shù)據(jù)，如由輸入信號(hào)112所示。ISP前端邏輯器80確定的統(tǒng)計(jì)數(shù)據(jù)102可被提供給控制邏輯器單元84。例如，統(tǒng)計(jì)數(shù)據(jù)102可包括涉及自動(dòng)曝光、自動(dòng)白平衡、自動(dòng)聚焦、閃爍檢測、黑電平補(bǔ)償(BLC)、透鏡陰影校正等等的圖像傳感器統(tǒng)計(jì)信息?？刂七壿嬈?4可包括被配置成執(zhí)行一個(gè)或多個(gè)例程(例如，固件)的處理器和/或微控制器，所述一個(gè)或多個(gè)例程可以被配置成根據(jù)接收的統(tǒng)計(jì)數(shù)據(jù)102，確定成像設(shè)備30的控制參數(shù)104，以及ISP管道邏輯器82的控制參數(shù)106。 例如，控制參數(shù)104可包括傳感器控制參數(shù)(例如，增益、曝光控制的積分時(shí)間)、照相機(jī)閃光控制參數(shù)、透鏡控制參數(shù)(例如，聚焦或變焦用焦距)、或者這些參數(shù)的組合。ISP控制參數(shù)106可包括用于自動(dòng)白平衡和顏色調(diào)整(例如，在RGB處理期間)的增益水平和色彩校正矩陣(CCM)，以及透鏡陰影校正參數(shù)，如下所述，透鏡陰影校正參數(shù)可以是根據(jù)白點(diǎn)平衡參數(shù)確定的。在一些實(shí)施例中，除了分析統(tǒng)計(jì)數(shù)據(jù)102之外，控制邏輯器84還可以分析歷史統(tǒng)計(jì)信息，所述歷史統(tǒng)計(jì)信息可保存在電子設(shè)備10上(例如，保存在存儲(chǔ)器18或存儲(chǔ)設(shè)備20中)。參見圖解說明的實(shí)施例，圖像處理電路32可包括信號(hào)處理(ISP)前端處理邏輯器 80、ISP管道處理邏輯器82和控制邏輯器84。成像設(shè)備30捕捉的圖像數(shù)據(jù)首先可由ISP 前端邏輯器80處理，并被分析以捕捉可用于確定ISP管道邏輯器82和/或成像設(shè)備30的一個(gè)或多個(gè)控制參數(shù)的圖像統(tǒng)計(jì)信息。ISP前端邏輯器80可被配置成從圖像傳感器輸入信號(hào)中捕捉圖像數(shù)據(jù)。例如，如圖7中所示，成像設(shè)備30可包括具有一個(gè)或多個(gè)透鏡88和圖像傳感器90的照相機(jī)。如上所述，圖像傳感器90可包括色彩濾鏡陣列(例如，Bayer濾鏡)，從而可提供用圖像傳感器90的每個(gè)成像像素捕捉的光強(qiáng)度和波長信息，以提供可由
22ISP前端邏輯器80處理的一組原始圖像數(shù)據(jù)。例如，成像設(shè)備30的輸出92可被傳感器接口 94接收，傳感器接口 94隨后把原始圖像數(shù)據(jù)96提供給基于例如傳感器接口類型的ISP 前端邏輯器80。例如，傳感器接口 94可以利用標(biāo)準(zhǔn)移動(dòng)成像架構(gòu)(SMIA)接口，或者其它串行或并行照相機(jī)接口，或者它們的某種組合。在一些實(shí)施例中，ISP前端邏輯器80可在它自己的時(shí)鐘域內(nèi)工作，并且可向傳感器接口 94提供異步接口，以支持大小和定時(shí)要求不同的圖像傳感器。圖8表示描述圖像處理電路32的另一個(gè)實(shí)施例的方框圖，其中，相同的組件用相同的附圖標(biāo)記表示。一般來說，圖8的圖像處理電路32的操作和功能與圖7的圖像處理電路32類似，除了圖8中所示的實(shí)施例還包括ISP后端處理邏輯器單元120之外，ISP后端處理邏輯器單元120可耦接在ISP管線82的下游并且提供另外的后處理步驟。在圖解說明的實(shí)施例中，ISP后端邏輯器120可從ISP管線82接收輸出114，并對(duì)接收的數(shù)據(jù)114進(jìn)行后處理。另外，ISP后端120可直接從存儲(chǔ)器108接收?qǐng)D像數(shù)據(jù)，如輸入IM所示。如下參考圖134-142進(jìn)一步所述，ISP后端邏輯器120的一個(gè)實(shí)施例可提供圖像數(shù)據(jù)的動(dòng)態(tài)范圍壓縮(通常稱為“色調(diào)映射”)、明度、對(duì)比度和顏色調(diào)整、以及把圖像數(shù)據(jù)比例縮放到期望的尺寸或分辨率(例如，根據(jù)輸出顯示器設(shè)備的分辨率)的比例縮放邏輯器。此外，ISP后端邏輯器120還可包括檢測圖像數(shù)據(jù)中的某些特征的特征檢測邏輯器。 例如，在一個(gè)實(shí)施例中，特征檢測邏輯器可包括被配置成識(shí)別圖像數(shù)據(jù)內(nèi)，面部和/或面部特征位于和/或置于的區(qū)域的面部檢測邏輯器。面部檢測數(shù)據(jù)可被提供給前端統(tǒng)計(jì)信息處理單元，作為用于確定自動(dòng)白平衡、自動(dòng)聚焦、閃爍和自動(dòng)曝光統(tǒng)計(jì)信息的反饋數(shù)據(jù)。例如， ISP前端80中的統(tǒng)計(jì)信息處理單元(下面在圖68-97中更詳細(xì)地討論)可被配置成根據(jù)確定的圖像數(shù)據(jù)中的面部和/或面部特征的位置，選擇用于統(tǒng)計(jì)信息處理的窗口。在一些實(shí)施例中，代替或者除了被反饋給ISP前端統(tǒng)計(jì)信息反饋控制回路之外， 面部檢測數(shù)據(jù)也可被提供給局部色調(diào)映射處理邏輯器、ISP后端統(tǒng)計(jì)信息單元、或者編碼器 /解碼器單元118中至少之一。如下進(jìn)一步所述，提供給后端統(tǒng)計(jì)信息單元的面部檢測數(shù)據(jù)可被用于控制量化參數(shù)。例如，當(dāng)編碼或壓縮輸出圖像數(shù)據(jù)(例如，在宏塊中)時(shí)，對(duì)于圖像的已確定為包括面部和/或面部特征的區(qū)域，可以減少量化，從而當(dāng)用戶顯示和觀看圖像時(shí)，提高面部和面部特征的視覺質(zhì)量。在其它實(shí)施例中，特征檢測邏輯器還可被配置成檢測圖像幀中的對(duì)象的角落的位置。該數(shù)據(jù)可用于識(shí)別連續(xù)圖像幀中的特征的位置，以確定各幀之間的全局運(yùn)動(dòng)的估計(jì)，這可用于進(jìn)行某些圖像處理操作，比如圖像配準(zhǔn)。在一個(gè)實(shí)施例中，角落特征等的識(shí)別可能對(duì)于組合多個(gè)圖像幀的算法(比如某些高動(dòng)態(tài)范圍(HDR)成像算法，以及某些全景拼接算法) 特別有用。此外，如圖8中所示，ISP后端邏輯器120處理的圖像數(shù)據(jù)可被輸出給顯示器設(shè)備 28(信號(hào)126)，以供用戶觀看，和/或可被圖形引擎或GPU進(jìn)一步處理。另外，ISP后端邏輯器120的輸出可被發(fā)送給存儲(chǔ)器108 (信號(hào)12 ，并且顯示器觀可從存儲(chǔ)器108讀取圖像數(shù)據(jù)(信號(hào)116)，在一些實(shí)施例中，存儲(chǔ)器108可被配置成實(shí)現(xiàn)一個(gè)或多個(gè)幀緩沖器。在圖解說明的實(shí)施例中，ISP后端邏輯器120的輸出還可被提供給壓縮/解壓縮引擎118 (信號(hào)117)，以編碼/解碼圖像數(shù)據(jù)，供存儲(chǔ)和隨后重放之用，如上面大體在圖7中所述。在其它實(shí)施例中，圖8的ISB子系統(tǒng)32可具有旁路ISP后端處理單元120的選項(xiàng)。在這樣的實(shí)施例中，如果后端處理單元120被旁路，那么圖8的ISP子系統(tǒng)32可按照和圖7中所示類似的方式工作，即，ISP管線82的輸出被直接/間接發(fā)送到存儲(chǔ)器108、編碼器/解碼器118 或顯示器觀中的一個(gè)或多個(gè)。在圖7和圖8中所示的實(shí)施例中描述的圖像處理技術(shù)可大體利用圖9中的流程圖中描述的方法130概述。如圖所示，方法130始于方框132，在方框132，利用傳感器接口， 從圖像傳感器(例如，90)接收原始圖像數(shù)據(jù)(例如，Bayer模式數(shù)據(jù))。在方框134，利用 ISP前端邏輯器80處理在步驟132接收的原始圖像數(shù)據(jù)。如上所述，ISP前端邏輯器80可被配置成應(yīng)用時(shí)域?yàn)V波、箱化補(bǔ)償濾波。隨后在步驟136，ISP前端邏輯器80處理的原始圖像數(shù)據(jù)可被ISP管線82進(jìn)一步處理，ISP管線82可進(jìn)行各種處理步驟，以把原始圖像數(shù)據(jù)去馬賽克成全色RGB數(shù)據(jù)，并且進(jìn)一步把RGB顏色數(shù)據(jù)轉(zhuǎn)換到Y(jié)UV或YC1C2顏色空間(其中Cl和C2代表不同的色度差顏色，其中，在一個(gè)實(shí)施例中，Cl和C2可代表藍(lán)色色差(Cb) 和紅色色差(Cr)色度)。從步驟136，方法130可以繼續(xù)到步驟138，或者繼續(xù)到步驟140。例如，在ISP管線82的輸出被提供給顯示器設(shè)備觀的實(shí)施例(圖7)中，方法130繼續(xù)到步驟140，在步驟 140，利用顯示器設(shè)備觀顯示YC1C2圖像數(shù)據(jù)(或者把YC1C2圖像數(shù)據(jù)從ISP管線82發(fā)送給存儲(chǔ)器108)。另一方面，在用ISP后端單元120對(duì)ISP管線82的輸出進(jìn)行后處理的實(shí)施例(圖8)中，方法130可從步驟136繼續(xù)到步驟138，在步驟138，利用ISP后端處理邏輯器120處理ISP管線182的YC1C2輸出，隨后在步驟140用顯示器設(shè)備顯示。由于這里所示的圖像處理電路32的一般復(fù)雜的設(shè)計(jì)，有益的是把ISP前端邏輯器 80、ISP管道處理邏輯器82 (或ISP管線)和ISP后端處理邏輯器120的討論分成多個(gè)獨(dú)立的部分，如下所示。特別地，本申請(qǐng)的圖10-97可以涉及ISP前端邏輯器80的各個(gè)實(shí)施例和各個(gè)方面的討論，本申請(qǐng)的圖98-133可以涉及ISP管道處理邏輯器82的各個(gè)實(shí)施例和各個(gè)方面的討論，圖134-142可以涉及ISP后端邏輯器120的各個(gè)實(shí)施例和各個(gè)方面的討論。ISP前端處理邏輯器圖10是按照一個(gè)實(shí)施例，更詳細(xì)地表示可在ISP前端邏輯器80中實(shí)現(xiàn)的功能邏輯器塊的方框圖?；诔上裨O(shè)備30和/或傳感器接口 94的結(jié)構(gòu)，如上在圖7中所述，原始圖像數(shù)據(jù)可由一個(gè)或多個(gè)圖像傳感器90提供給ISP前端邏輯器80。在描述的實(shí)施例中， 原始圖像數(shù)據(jù)可由第一圖像傳感器90a(knSor0)和第二圖像傳感器90b(knsOrl)提供給 ISP前端邏輯器80。如下進(jìn)一步所述，每個(gè)圖像傳感器90a和90b可被配置成對(duì)全分辨率圖像數(shù)據(jù)應(yīng)用箱化，以便提高圖像信號(hào)的信噪比。例如，可以應(yīng)用諸如2X2箱化之類的箱化技術(shù)，所述箱化技術(shù)可以內(nèi)插以相同顏色的4個(gè)全分辨率圖像像素為基礎(chǔ)的“箱化的”原始圖像像素。在一個(gè)實(shí)施例中，這會(huì)導(dǎo)致相對(duì)于單個(gè)噪聲分量，存在與箱化的像素相關(guān)的4個(gè)累積信號(hào)分量，從而提高圖像數(shù)據(jù)的信噪比，不過降低總分辨率。另外，箱化還會(huì)可能導(dǎo)致圖像數(shù)據(jù)的不均勻或不一致的空間采樣，這可利用箱化補(bǔ)償濾波來校正，如下更詳細(xì)所述。如圖所示，圖像傳感器90a和90b可分別提供作為信號(hào)SifO和Sifl的原始圖像數(shù)據(jù)。每個(gè)圖像傳感器90a和90b可大體與相應(yīng)的統(tǒng)計(jì)信息處理單元142 (StatsPipeO) 和 144 (StatsPipel)關(guān)聯(lián)，統(tǒng)計(jì)信息處理單元 142 (StatsPipeO)和 144 (StatsPipel)可被配置成處理圖像數(shù)據(jù)，以確定一組或多組統(tǒng)計(jì)信息(如信號(hào)MatsO和Matsl所示)，包括與自動(dòng)曝光、自動(dòng)白平衡、自動(dòng)聚焦、閃爍檢測、黑電平補(bǔ)償和透鏡陰影校正等等相關(guān)的統(tǒng)計(jì)信息。在一些實(shí)施例中，當(dāng)只有傳感器90a或90b之一在有效地獲取圖像時(shí)，如果需要另外的統(tǒng)計(jì)信息，那么圖像數(shù)據(jù)可被發(fā)給MatsPipeO和MatsPipel。例如，舉例來說，如果MatsPipeO和MatsPipel都可用，那么可以利用MatsPipeO收集一個(gè)顏色空間(例如 RGB)的統(tǒng)計(jì)信息，并且利用MatsPipel收集另一個(gè)顏色空間(例如，YUV或YCbCr)的統(tǒng)計(jì)信息。即，統(tǒng)計(jì)信息處理單元142和144可以并行工作，以收集有效傳感器獲得的圖像數(shù)據(jù)的每一幀的多組統(tǒng)計(jì)信息。在本實(shí)施例中，在ISP前端80中提供5個(gè)異步數(shù)據(jù)源。這些包括(1)來自對(duì)應(yīng)于knsOr0(90a)的傳感器接口的直接輸入(稱為SifO或knsO)，(2)來自對(duì)應(yīng)于 Sensorl (90b)的傳感器接口的直接輸入(稱為Sif 1或knsl)，(3)來自存儲(chǔ)器108的 SensorO數(shù)據(jù)輸入(稱為SifInO或knsODMA)，存儲(chǔ)器108可包括DMA接口，(4)來自存儲(chǔ)器108的Sensorl數(shù)據(jù)輸入(稱為SifInO或knslDMA)，和(5)具有來自從存儲(chǔ)器108取回的knsorO和Sensorl數(shù)據(jù)輸入的各幀的一組圖像數(shù)據(jù)(稱為!^eProch或ProcInDMA)。 ISP前端80還可包括來自多個(gè)源的圖像數(shù)據(jù)可被發(fā)送到的多個(gè)目的地，其中，每個(gè)目的地可以是存儲(chǔ)器(例如，108)中的存儲(chǔ)位置，或者是處理單元。例如，在本實(shí)施例中，ISP前端80包括6個(gè)目的地(1)接收存儲(chǔ)器108中的SensorO數(shù)據(jù)的SifODMA，(2)接收存儲(chǔ)器 108中的Sensorl數(shù)據(jù)的SiflDMA, (3)第一統(tǒng)計(jì)信息處理單元142 (StatsPipeO)，(4)第二統(tǒng)計(jì)信息處理單元144 (MatsPipel)，(5)前端像素處理單元(FEProc) 150, ^P (6)到存儲(chǔ)器108或ISP管線82的!^eOut (或FEftOcOut)(下面更詳細(xì)討論)。在一個(gè)實(shí)施例中，ISP
前端80可被配置成使得只有某些目的地對(duì)于特定數(shù)據(jù)源有效，如下面的表1中所示。
權(quán)利要求
1.一種在電子設(shè)備上同步音頻和視頻數(shù)據(jù)的方法，包括利用圖像信號(hào)處理器接收視頻數(shù)據(jù)的圖像幀，所述圖像幀是利用電子設(shè)備的數(shù)字圖像傳感器獲得的；檢測圖像幀的開始；當(dāng)檢測到圖像幀的開始時(shí)，從被配置成提供與當(dāng)前時(shí)間對(duì)應(yīng)的時(shí)間戳值的時(shí)間碼寄存器讀取當(dāng)前時(shí)間戳值；使所述時(shí)間戳值與和所述圖像幀相關(guān)聯(lián)的一組元數(shù)據(jù)關(guān)聯(lián)；和利用與所述一組元數(shù)據(jù)關(guān)聯(lián)的時(shí)間戳值，在電子設(shè)備上使圖像幀的重放與和視頻數(shù)據(jù)同時(shí)獲得的一組音頻數(shù)據(jù)的對(duì)應(yīng)音頻樣本同步。
2.按照權(quán)利要求1所述的方法，其中，使時(shí)間戳值與所述一組元數(shù)據(jù)關(guān)聯(lián)包括把時(shí)間戳值保存在與數(shù)字圖像傳感器相關(guān)聯(lián)的時(shí)間戳寄存器中，和把保存在時(shí)間戳寄存器中的時(shí)間戳值寫入所述一組元數(shù)據(jù)中。
3.按照權(quán)利要求1所述的方法，其中，根據(jù)圖像信號(hào)處理器的時(shí)鐘域，按用特定數(shù)目的時(shí)鐘周期定義的間隔，遞增時(shí)間碼寄存器提供的時(shí)間戳值。
4.按照權(quán)利要求1所述的方法，其中在使時(shí)間戳值與所述一組元數(shù)據(jù)關(guān)聯(lián)之前，在時(shí)間戳值中加入經(jīng)編程的延遲。
5.一種系統(tǒng)，包括圖像信號(hào)處理器，所述圖像信號(hào)處理器包括被配置成接收利用數(shù)字圖像傳感器獲得的多個(gè)圖像幀的接口，其中，所述多個(gè)圖像幀對(duì)應(yīng)于一組視頻數(shù)據(jù)；音頻子系統(tǒng)，所述音頻子系統(tǒng)包括被配置成與數(shù)字圖像傳感器獲得的圖像數(shù)據(jù)同時(shí)地接收音頻數(shù)據(jù)的輸入設(shè)備；和音頻-視頻同步邏輯器，所述音頻-視頻同步邏輯器被配置成對(duì)于多個(gè)圖像幀中的每個(gè)圖像幀，識(shí)別圖像幀的開始，確定與圖像幀的開始對(duì)應(yīng)的時(shí)間戳值，并把所述時(shí)間戳值寫入與圖像幀相關(guān)聯(lián)的元數(shù)據(jù)中；其中，所述音頻-視頻同步邏輯器被配置成通過使保存在與多個(gè)圖像幀中的每個(gè)圖像幀相關(guān)聯(lián)的元數(shù)據(jù)中的時(shí)間戳值和與音頻數(shù)據(jù)相關(guān)聯(lián)的對(duì)應(yīng)時(shí)間戳關(guān)聯(lián)，使多個(gè)圖像幀與音頻數(shù)據(jù)同步。
6.按照權(quán)利要求5所述的系統(tǒng)，其中，所述音頻-視頻同步邏輯器包含被配置成提供當(dāng)前時(shí)間戳值的時(shí)間碼寄存器，其中，按規(guī)律的間隔遞增時(shí)間碼寄存器提供的時(shí)間戳值。
7.按照權(quán)利要求6所述的系統(tǒng)，其中，圖像信號(hào)處理器和音頻子系統(tǒng)分別根據(jù)獨(dú)立的第一時(shí)鐘和第二時(shí)鐘工作。
8.按照權(quán)利要求7所述的系統(tǒng)，其中，所述音頻-視頻同步邏輯器包含被配置成保存時(shí)間配置碼的定時(shí)器配置寄存器，所述規(guī)律的間隔對(duì)應(yīng)于作為時(shí)間配置碼的函數(shù)確定的第一時(shí)鐘的多個(gè)時(shí)鐘周期。
9.按照權(quán)利要求7所述的系統(tǒng)，其中，所述音頻-視頻同步邏輯器被配置成使第一時(shí)鐘與系統(tǒng)的主處理器的第三時(shí)鐘同步，使第二時(shí)鐘與系統(tǒng)的主處理器的第三時(shí)鐘同步，根據(jù)第一時(shí)鐘和第二時(shí)鐘與第三時(shí)鐘的同步，確定第一時(shí)鐘和第二時(shí)鐘之間的時(shí)間差，并利用所述時(shí)間差，使保存在多個(gè)圖像幀中的每個(gè)圖像幀的元數(shù)據(jù)中的時(shí)間戳值與和音頻數(shù)據(jù)相關(guān)聯(lián)的對(duì)應(yīng)時(shí)間戳關(guān)聯(lián)。
10.按照權(quán)利要求6所述的系統(tǒng)，其中，所述音頻-視頻同步邏輯器被配置成通過增加或丟棄圖像幀，直到使對(duì)應(yīng)于圖像幀的時(shí)間戳與對(duì)應(yīng)于音頻數(shù)據(jù)的時(shí)間戳對(duì)準(zhǔn)為止，來使所述多個(gè)圖像幀與音頻數(shù)據(jù)同步。
11.一種電子設(shè)備，包括用于檢測電子設(shè)備的圖像處理系統(tǒng)利用數(shù)字圖像傳感器獲得的一組視頻數(shù)據(jù)中的圖像幀的開始的裝置；用于使時(shí)間戳值與和所述圖像幀相關(guān)聯(lián)的元數(shù)據(jù)關(guān)聯(lián)的裝置，其中，所述時(shí)間戳值對(duì)應(yīng)于所述圖像幀的開始；用于利用所述時(shí)間戳值，使所述圖像幀與電子設(shè)備獲得的一組音頻數(shù)據(jù)中的對(duì)應(yīng)音頻樣本對(duì)準(zhǔn)的裝置。
12.按照權(quán)利要求11所述的電子設(shè)備，其中，用于使所述時(shí)間戳值與和所述圖像幀相關(guān)聯(lián)的元數(shù)據(jù)關(guān)聯(lián)的裝置包括用于從被配置成提供定期遞增的當(dāng)前時(shí)間值的第一寄存器讀取時(shí)間戳值的裝置；用于把時(shí)間戳值寫入與數(shù)字圖像傳感器相關(guān)聯(lián)的第二寄存器的裝置；和用于把來自第二寄存器的時(shí)間戳值保存為與所述圖像幀相關(guān)聯(lián)的元數(shù)據(jù)的一部分的直ο
13.按照權(quán)利要求11所述的電子設(shè)備，進(jìn)一步包括用于檢測第一寄存器的當(dāng)前時(shí)間值何時(shí)超過第一寄存器的最大比特分辨率的裝置； 如果第一寄存器的當(dāng)前時(shí)間值超過第一寄存器的最大比特分辨率，那么確定比特分辨率高于第一寄存器的比特分辨率的更高分辨率的當(dāng)前時(shí)間值的裝置；和用于把更高分辨率的當(dāng)前時(shí)間值寫入與所述圖像幀相關(guān)聯(lián)的元數(shù)據(jù)，直到第一寄存器被重置為止的裝置。
14.一種電子設(shè)備，包括 第一圖像傳感器； 第一圖像傳感器接口；圖像信號(hào)處理子系統(tǒng)，所述圖像信號(hào)處理子系統(tǒng)被配置成經(jīng)第一傳感器接口接收利用第一圖像傳感器獲得的第一組視頻數(shù)據(jù)；音頻處理子系統(tǒng)，所述音頻處理子系統(tǒng)被配置成接收和第一組視頻數(shù)據(jù)同時(shí)獲得的第一組音頻數(shù)據(jù)；和音頻-視頻同步電路，所述音頻-音頻同步電路包括 時(shí)間碼寄存器，被配置成提供當(dāng)前時(shí)間值； 第一時(shí)間戳寄存器，與第一圖像傳感器相關(guān)聯(lián)；和邏輯器，被配置成對(duì)于第一組視頻數(shù)據(jù)中的每個(gè)圖像幀，檢測第一組視頻數(shù)據(jù)的圖像幀的開始，當(dāng)檢測到所述圖像幀的開始時(shí)，對(duì)時(shí)間碼寄存器采樣，從而獲得與所述圖像幀的開始對(duì)應(yīng)的時(shí)間戳值，把所述時(shí)間戳值保存在第一時(shí)間戳寄存器中，把第一時(shí)間戳寄存器的時(shí)間戳值寫入與所述圖像幀相關(guān)聯(lián)的一組元數(shù)據(jù)中，和通過使第一組視頻數(shù)據(jù)的每個(gè)圖像幀的元數(shù)據(jù)中的時(shí)間戳值與和第一組音頻數(shù)據(jù)相關(guān)聯(lián)的對(duì)應(yīng)時(shí)間戳相互關(guān)聯(lián)，來使第一組視頻數(shù)據(jù)和第一組音頻數(shù)據(jù)同步。
15.按照權(quán)利要求14所述的電子設(shè)備，進(jìn)一步包括第二圖像傳感器；第二圖像傳感器接口，其中，所述圖像信號(hào)處理子系統(tǒng)被配置成經(jīng)第二傳感器接口，接收利用第二圖像傳感器獲得的視頻數(shù)據(jù)，并且所述音頻處理子系統(tǒng)被配置成接收和第二組視頻數(shù)據(jù)同時(shí)獲得的第二組音頻數(shù)據(jù)；和其中，所述音頻-視頻同步電路包括第二時(shí)間戳寄存器，與第二圖像傳感器相關(guān)聯(lián)，和邏輯器，被配置成對(duì)于第二組視頻數(shù)據(jù)中的每個(gè)圖像幀，檢測第二組視頻數(shù)據(jù)的圖像幀的開始，當(dāng)檢測到所述圖像幀的開始時(shí)，對(duì)時(shí)間碼寄存器采樣，從而獲得與所述圖像幀的開始對(duì)應(yīng)的時(shí)間戳值，把所述時(shí)間戳值保存在第二時(shí)間戳寄存器中，把第二時(shí)間戳寄存器的時(shí)間戳值寫入與所述圖像幀相關(guān)聯(lián)的一組元數(shù)據(jù)中，并且通過使第二組視頻數(shù)據(jù)中的每個(gè)圖像幀的元數(shù)據(jù)中的時(shí)間戳值與和第二組音頻數(shù)據(jù)相關(guān)聯(lián)的時(shí)間戳相互關(guān)聯(lián)，來使第二組視頻數(shù)據(jù)和第二組音頻數(shù)據(jù)同步。
16.按照權(quán)利要求15所述的電子設(shè)備，進(jìn)一步包括被配置成顯示第一組和第二組視頻數(shù)據(jù)的顯示設(shè)備，其中，所述顯示設(shè)備包括以下各項(xiàng)中的至少一項(xiàng)IXD顯示設(shè)備、等離子體顯示設(shè)備、LED顯示設(shè)備、OLED顯示設(shè)備、或者它們的某種組合。
17.按照權(quán)利要求15所述的電子設(shè)備，進(jìn)一步包括音頻輸入設(shè)備，被配置成獲得第一組和第二組音頻數(shù)據(jù)，其中，所述音頻輸入設(shè)備包括至少一個(gè)麥克風(fēng)；和音頻輸出設(shè)備，被配置成重放第一組和第二組音頻數(shù)據(jù)。
18.按照權(quán)利要求15所述的電子設(shè)備，其中，第一和第二圖像傳感器包括以下各項(xiàng)中的至少一項(xiàng)與電子設(shè)備一體化的數(shù)字照相機(jī)、經(jīng)接口與電子設(shè)備耦接的外部數(shù)字照相機(jī)、 或者它們的某種組合。
19.按照權(quán)利要求14所述的電子設(shè)備，包括以下各項(xiàng)中的至少一項(xiàng)桌上型計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、移動(dòng)蜂窩電話、便攜式媒體播放器、或者它們的任意組合。
20.按照權(quán)利要求14所述的電子設(shè)備，其中，如果第一組視頻數(shù)據(jù)和第一組音頻數(shù)據(jù)未對(duì)準(zhǔn)，那么所述音頻-視頻同步電路被配置成重復(fù)或丟棄圖像幀，以使第一組視頻數(shù)據(jù)的時(shí)間戳和與第一組音頻數(shù)據(jù)相關(guān)聯(lián)的時(shí)間戳對(duì)準(zhǔn)。
21.一種在電子設(shè)備上同步音頻和視頻的方法，包括檢測電子設(shè)備的圖像處理系統(tǒng)利用數(shù)字圖像傳感器獲得的一組視頻數(shù)據(jù)中的圖像幀的開始；使時(shí)間戳值與和所述圖像幀相關(guān)聯(lián)的元數(shù)據(jù)關(guān)聯(lián)，其中，所述時(shí)間戳值對(duì)應(yīng)于所述圖像幀的開始；利用所述時(shí)間戳值，使所述圖像幀與電子設(shè)備獲得的一組音頻數(shù)據(jù)中的對(duì)應(yīng)音頻樣本對(duì)準(zhǔn)。
22.按照權(quán)利要求21所述的方法，其中，使所述時(shí)間戳值與和所述圖像幀相關(guān)聯(lián)的元數(shù)據(jù)關(guān)聯(lián)包括從被配置成提供定期遞增的當(dāng)前時(shí)間值的第一寄存器讀取時(shí)間戳值；把時(shí)間戳值寫入與數(shù)字圖像傳感器相關(guān)聯(lián)的第二寄存器；和把來自第二寄存器的時(shí)間戳值保存為與所述圖像幀相關(guān)聯(lián)的元數(shù)據(jù)的一部分。
23.按照權(quán)利要求21所述的方法，進(jìn)一步包括 檢測第一寄存器的當(dāng)前時(shí)間值何時(shí)超過第一寄存器的最大比特分辨率； 如果第一寄存器的當(dāng)前時(shí)間值超過第一寄存器的最大比特分辨率，那么確定比特分辨率高于第一寄存器的比特分辨率的更高分辨率的當(dāng)前時(shí)間值；和把更高分辨率的當(dāng)前時(shí)間值寫入與所述圖像幀相關(guān)聯(lián)的元數(shù)據(jù)，直到第一寄存器被重置為止。
全文摘要
本公開涉及用于在圖像信號(hào)處理系統(tǒng)中同步音頻和視頻數(shù)據(jù)的技術(shù)。本公開提供利用圖像信號(hào)處理系統(tǒng)(22)，實(shí)現(xiàn)音頻-視頻同步的技術(shù)。在一個(gè)實(shí)施例中，當(dāng)被采樣時(shí)，時(shí)間碼寄存器(492)提供當(dāng)前時(shí)間戳。可根據(jù)圖像信號(hào)處理系統(tǒng)(32)的時(shí)鐘，每隔一定時(shí)間間隔遞增時(shí)間碼寄存器(492)的值。當(dāng)利用圖像傳感器(90)獲得的當(dāng)前幀開始時(shí)，時(shí)間碼寄存器(492)被采樣，時(shí)間戳(500)被保存在與圖像傳感器(90)相關(guān)的時(shí)間戳寄存器中。隨后從時(shí)間戳寄存器讀出時(shí)間戳(500)，并將其寫入與當(dāng)前幀相關(guān)的一組元數(shù)據(jù)(498)中。保存在幀元數(shù)據(jù)(498)中的時(shí)間戳(500)隨后可被用于使當(dāng)前幀與對(duì)應(yīng)的一組音頻數(shù)據(jù)同步。
文檔編號(hào)H04N5/14GK102572443SQ20111030503
公開日2012年7月11日 申請(qǐng)日期2011年9月30日 優(yōu)先權(quán)日2010年9月30日
發(fā)明者G·科泰, J·E·弗雷德里克森 申請(qǐng)人:蘋果公司