專利名稱：一種實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置、方法及芯片和手機(jī)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，確切地說，涉及一種Camera(攝像頭)中視頻接口裝置及其實(shí)現(xiàn)方法。
背景技術(shù)：
目前越來越多手機(jī)開始支持?jǐn)z像功能，手機(jī)系統(tǒng)的攝像處理單元架構(gòu)一般包括圖像處理子系統(tǒng)和圖像傳感器SOC(System On Chip，片上系統(tǒng))芯片。
圖像傳感器SOC芯片一般集成了圖像傳感器、圖像原始數(shù)據(jù)處理(如RGB和YUV之間的轉(zhuǎn)換，Y/C伸張，γ校正等)、圖像輸出格式調(diào)整等功能，此外圖像傳感器SOC芯片還提供了視頻接口，它根據(jù)一定的視頻協(xié)議輸出數(shù)字圖像。
圖像處理子系統(tǒng)要求完成Camera圖像數(shù)據(jù)的接收與處理，它包含圖像數(shù)據(jù)接口與能夠提供圖像應(yīng)用軟件處理器。圖像應(yīng)用軟件處理器可以由手機(jī)中的一片或多片SOC完成，而圖像數(shù)據(jù)接口一般集成于某一片SOC芯片中。
圖1給出了一種現(xiàn)有的圖像處理系統(tǒng)，該系統(tǒng)中圖像處理子系統(tǒng)與視頻接口(Camera接口)模塊設(shè)計在一個SOC中。視頻接口采集圖像傳感器(Camera Sensor)輸出的圖像數(shù)據(jù)，按照一定的數(shù)據(jù)格式及總線傳送規(guī)范，將圖像數(shù)據(jù)傳送給圖像處理子系統(tǒng)，而該技術(shù)方案對微處理器的依賴程度較高，需要依靠軟件或者DMA(直接存儲器存取)方式來接受圖像數(shù)據(jù)，因而總線負(fù)載較重，實(shí)時處理能力不強(qiáng)，導(dǎo)致處理速度較慢，此外能夠接受圖像的最大像素也受限制，只能接受較少類型的camera，適用性較差，功耗較大。

發(fā)明內(nèi)容
本發(fā)明目的在于提供一種實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置、方法，加強(qiáng)圖像接收能力和處理能力，減輕處理器負(fù)擔(dān)和總線負(fù)載。
本發(fā)明又一目的在于進(jìn)一步提供集成有所述實(shí)現(xiàn)圖像數(shù)據(jù)采集裝置的芯片及使用該芯片的移動電話。
本發(fā)明提供的實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置，包括圖像輸入接口，接收輸入的圖像數(shù)據(jù)；FIFO單元，存儲圖像數(shù)據(jù)；FIFO控制單元，將圖像數(shù)據(jù)存入所述FIFO單元，并轉(zhuǎn)換時鐘域；通道控制器，從所述FIFO單元中讀取圖像數(shù)據(jù)，并對圖像數(shù)據(jù)的傳送選擇合適信道；先進(jìn)高性能總線主接口，將圖像數(shù)據(jù)通過先進(jìn)高性能總線輸出；寄存器堆，對所述圖像輸入接口、所述FIFO單元、所述FIFO控制器單元及所述通道控制器進(jìn)行控制和功能選擇；先進(jìn)高性能總線從接口，對所述寄存器堆中的寄存器進(jìn)行配置。
所述視頻接口裝置還包括圖像處理單元，接收所述寄存器堆的控制，對所述圖像輸入接口接收的圖像數(shù)據(jù)進(jìn)行處理，并將處理后的圖像數(shù)據(jù)通過FIFO控制單元存儲在所述FIFO單元中。
所述視頻接口裝置還包括中斷處理單元，接收所述寄存器堆的控制，處理多種中斷。
所述圖像輸入接口位于攝像頭時鐘域，所述通道控制器、AHB Master接口、寄存器堆及AHB Slave接口位于先進(jìn)高性能總線時鐘域。
所述通道控制器包括數(shù)據(jù)流控制器，讀取所述FIFO單元中的圖像數(shù)據(jù)，對所述圖像數(shù)據(jù)進(jìn)行突發(fā)傳送處理；多路選擇器，對圖像數(shù)據(jù)的傳送進(jìn)行信道仲裁。
所述數(shù)據(jù)流控制器包括圖像數(shù)據(jù)控制器Y、圖像數(shù)據(jù)控制器U和圖像數(shù)據(jù)控制器V，分別讀取所述FIFO單元中的Y通道、U通道和V通道的圖像數(shù)據(jù)，并進(jìn)行突發(fā)傳送處理。
所述FIFO單元包括Y FIFO、U FIFO及V FIFO，分別存儲Y通道、U通道和V通道的圖像數(shù)據(jù)；所述FIFO控制單元包括Y FIFO控制器，將Y通道圖像數(shù)據(jù)存入Y FIFO；U FIFO控制器，將U通道圖像數(shù)據(jù)存入U FIFO；VFIFO控制器，將V通道圖像數(shù)據(jù)存入V FIFO。
本發(fā)明提供的一種實(shí)現(xiàn)圖像數(shù)據(jù)采集的方法，包括以下步驟先進(jìn)高性能總線從接口對寄存器堆中的多個寄存器進(jìn)行配置；圖像輸入接口根據(jù)配置結(jié)果接收輸入的圖像數(shù)據(jù)；FIFO控制單元根據(jù)配置結(jié)果將圖像數(shù)據(jù)存儲在FIFO單元中；通道控制器根據(jù)配置結(jié)果從FIFO單元中讀取圖像數(shù)據(jù)，并選擇合適的通道進(jìn)行傳送；先進(jìn)高性能總線主接口將圖像數(shù)據(jù)輸出。
所述通道包括Y通道、U通道和V通道，所述選擇合適的通道具體為在Y通道、U通道和V通道設(shè)置為固定優(yōu)先級模式的情況下，根據(jù)圖像數(shù)據(jù)不同的存儲方式按照設(shè)置的優(yōu)先級順序進(jìn)行通道選擇；或者在Y通道、U通道和V通道設(shè)置為循環(huán)優(yōu)先級模式的情況下，基于不同的策略選擇優(yōu)先級最高的通道。
所述策略為根據(jù)通道內(nèi)數(shù)據(jù)量進(jìn)行選擇，數(shù)據(jù)量最多的通道占有最高的優(yōu)先級；或者所述策略為根據(jù)通道最近使用的順序進(jìn)行選擇，等待最久的通道占有最高的優(yōu)先級。
所述圖像輸入接口根據(jù)配置結(jié)果接收輸入的圖像數(shù)據(jù)具體為中斷處理單元檢測到寄存器更新中斷；對輸入的圖像數(shù)據(jù)幀進(jìn)行信息配置；接收信息配置后的圖像數(shù)據(jù)幀。
在圖像輸入接口根據(jù)配置結(jié)果接收輸入的圖像數(shù)據(jù)之后還包括圖像處理單元對所述圖像輸入接口接收的圖像數(shù)據(jù)進(jìn)行處理。
本發(fā)明提供的一種芯片，所述芯片中集成有實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置，所述實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置包括圖像輸入接口，接收輸入的圖像數(shù)據(jù)；FIFO單元，存儲圖像數(shù)據(jù)；FIFO控制單元，將圖像數(shù)據(jù)存入所述FIFO，并轉(zhuǎn)換時鐘域；通道控制器，從所述FIFO單元中讀取圖像數(shù)據(jù)進(jìn)行突發(fā)傳送處理，并對圖像數(shù)據(jù)的傳送進(jìn)行信道仲裁；先進(jìn)高性能總線主接口，將所述通道控制器突發(fā)傳送處理后的圖像數(shù)據(jù)通過先進(jìn)高性能總線輸出；寄存器堆，對所述圖像輸入接口、所述FIFO單元、所述FIFO控制器單元及所述通道控制器進(jìn)行控制和功能選擇；先進(jìn)高性能總線從接口，對所述寄存器堆中的寄存器進(jìn)行配置。
本發(fā)明提供的一種移動電話，所述移動電話使用的芯片中至少有一個芯片集成有實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置，所述實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置包括圖像輸入接口，接收輸入的圖像數(shù)據(jù)；FIFO單元，存儲圖像數(shù)據(jù)；FIFO控制單元，將圖像數(shù)據(jù)存入所述FIFO，并轉(zhuǎn)換時鐘域；通道控制器，從所述FIFO單元中讀取圖像數(shù)據(jù)進(jìn)行突發(fā)傳送處理，并對圖像數(shù)據(jù)的突發(fā)傳送進(jìn)行信道仲裁；先進(jìn)高性能總線主接口，將所述通道控制器突發(fā)傳送處理后的圖像數(shù)據(jù)通過先進(jìn)高性能總線輸出；寄存器堆，對所述圖像輸入接口、所述FIFO單元、所述FIFO控制器單元及所述通道控制器進(jìn)行控制和功能選擇；先進(jìn)高性能總線從接口，對所述寄存器堆中的寄存器進(jìn)行配置。
本發(fā)明方案通過對寄存器堆中的寄存器進(jìn)行配置，可以實(shí)現(xiàn)對圖像輸入接口、FIFO單元、FIFO控制器單元及通道控制器的控制和功能選擇，能夠支持Y、U、V三通道數(shù)據(jù)傳輸，優(yōu)化了圖像數(shù)據(jù)傳輸機(jī)制，減小了總線等待負(fù)載。
本發(fā)明提供了一個圖像輸入接口裝置和一套圖像接受機(jī)制，可非常方便地接受camera輸出的多種格式的圖像數(shù)據(jù)，完成圖像存儲、圖像預(yù)覽等功能。
本發(fā)明通過提供三路FIFO圖像數(shù)據(jù)通道，大大增強(qiáng)了圖像數(shù)據(jù)處理帶寬，優(yōu)化了圖像數(shù)據(jù)傳輸機(jī)制，提高了圖像接受能力，減小了總線負(fù)載，可以接受更高像素的圖像，可以支持1600萬以上的圖像像素。
本發(fā)明內(nèi)置了數(shù)字圖像處理單元，可完成圖像任意比例縮放、圖像YUV數(shù)據(jù)轉(zhuǎn)換為RGB數(shù)據(jù)、Y/C伸張、圖像亮度、色度、對比度調(diào)整、圖像伽瑪校正、圖像抖動處理、圖像alpha混合、圖像銳化、圖像鈍化等圖像算法，提升了圖像處理能力。
本發(fā)明通過內(nèi)置的專用圖像處理單元，可以對輸入圖像進(jìn)行實(shí)時處理，而不必要先將圖像數(shù)據(jù)存儲到存儲器后，然后由微處理器或其他專用圖像處理單元讀出所述圖像數(shù)據(jù)進(jìn)行圖像處理，從而避免了對整幅圖像存儲一次再讀出一次，減小了存儲器的數(shù)據(jù)負(fù)載，顯著提升系統(tǒng)性能。
本發(fā)明通過提供不同的接受通道優(yōu)先級配置，減少了接受圖像數(shù)據(jù)的溢出可能，增強(qiáng)了使圖像接受的連續(xù)性和可靠性。
另外，本發(fā)明集成了多種寄存器配置，提供了豐富的camera接口類型，可以支持多種camera。


圖1是現(xiàn)有技術(shù)圖像處理系統(tǒng)示意圖；圖2是本發(fā)明第一實(shí)施例及第二實(shí)施例中實(shí)現(xiàn)圖像數(shù)據(jù)采集裝置的接口信號框圖；圖3是本發(fā)明第一實(shí)施例中實(shí)現(xiàn)圖像數(shù)據(jù)采集裝置的框圖；圖4是本發(fā)明第二實(shí)施例中實(shí)現(xiàn)圖像數(shù)據(jù)采集裝置的框圖；圖5是YUV模式下數(shù)據(jù)存放方式示意圖；圖6是本發(fā)明中信道仲裁示意圖；圖7是本發(fā)明中圖像接口單元硬件工作原理圖；圖8是本發(fā)明中圖像接口單元軟件工作流程圖；圖9是本發(fā)明集成有實(shí)現(xiàn)圖像數(shù)據(jù)采集裝置的芯片的一個實(shí)施例；圖10是圖9所示芯片工作的行時序圖；圖11是圖9所示芯片工作的幀時序圖；圖12是本發(fā)明配置有圖9所示芯片的移動電話的一個實(shí)施例。
具體實(shí)施例方式
本發(fā)明為了優(yōu)化圖像數(shù)據(jù)傳輸機(jī)制，減小總線等待負(fù)載，利用先進(jìn)高性能總線從接口對寄存器堆中的多個寄存器進(jìn)行配置；圖像輸入接口根據(jù)配置結(jié)果接收輸入的圖像數(shù)據(jù)；FIFO控制單元根據(jù)配置結(jié)果將圖像數(shù)據(jù)存儲在FIFO單元中；通道控制器根據(jù)配置結(jié)果從FIFO單元中讀取圖像數(shù)據(jù)，選擇合適的通道進(jìn)行突發(fā)傳送處理；先進(jìn)高性能總線主接口將突發(fā)傳送處理后的圖像數(shù)據(jù)輸出。
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
請參閱圖2所示，本發(fā)明第一實(shí)施例及第二實(shí)施例中實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置即視頻接口裝置(AVIU)主要包括四類接口圖像輸入接口、先進(jìn)高性能總線主接口(AHB Master接口)、先進(jìn)高性能總線從接口(AHB Slave接口)以及中斷接口。圖像輸入接口用于接收圖像數(shù)據(jù)，包括行、列同步信號、數(shù)據(jù)信號、主從模式選擇信號等；先進(jìn)高性能總線主接口用于將圖像數(shù)據(jù)輸出至AHB總線；先進(jìn)高性能總線從接口用于訪問視頻接口裝置內(nèi)部寄存器；中斷接口為中斷輸出信號，可以是組合中斷輸出，也可以是分開的獨(dú)立中斷輸出。
請參閱圖3所示，本發(fā)明第一實(shí)施例中視頻接口裝置中包括圖像輸入接口、圖像處理單元、FIFO單元、FIFO控制單元、數(shù)據(jù)流控制器(IMAC)、多路選擇器(MUX)、包含多個寄存器的寄存器堆、先進(jìn)高性能總線主接口、先進(jìn)高性能總線從接口及中斷處理單元。其中FIFO單元進(jìn)一步包括YFIFO、U FIFO及V FIFO，與此相對應(yīng)，F(xiàn)IFO控制單元包括Y FIFO控制器、U FIFO控制器及V FIFO控制器，數(shù)據(jù)流控制器也相應(yīng)地包括Y IMAC、UIMAC及V IMAC。其中圖像輸入接口和圖像處理單元位于圖像時鐘域(camera時鐘域)，Y IMAC、U IMAC及V IMAC、多路選擇器、AHB Master接口、AHB Slave接口、寄存器堆及中斷處理單元位于先進(jìn)高性能總線時鐘域。
圖像輸入接口接收圖像傳感器(圖中沒有表示出來)輸出的圖像數(shù)據(jù)，也就是VI接口信號，將圖像數(shù)據(jù)送至圖像處理單元；此外圖像輸入接口中有一個狀態(tài)機(jī)，該狀態(tài)機(jī)將輸入圖像中需要存儲的圖像窗口部分存儲(crop)下來，簡單地說，該狀態(tài)機(jī)中有一個行地址計數(shù)器和一個列地址計數(shù)器，當(dāng)計數(shù)值落在目標(biāo)圖像之中時，狀態(tài)機(jī)就會把數(shù)據(jù)存儲下來，如果計數(shù)值超過了目標(biāo)窗口的行坐標(biāo)X和列坐列Y時，這些超出部分的圖像數(shù)據(jù)被丟棄。圖像處理單元對輸入的圖像數(shù)據(jù)進(jìn)行處理，如圖像任意比例縮放、圖像YUV數(shù)據(jù)轉(zhuǎn)換為RGB數(shù)據(jù)、Y/C伸張、圖像亮度、色度、對比度調(diào)整、圖像伽瑪校正、圖像抖動處理、圖像alpha混合、圖像銳化、圖像鈍化等圖像算法，其處理過程已為現(xiàn)有技術(shù)所揭示，這里不再詳述；FIFO控制單元將經(jīng)過圖像處理單元處理后圖像數(shù)據(jù)存入FIFO單元，并根據(jù)總線空閑情況讀出所述圖像數(shù)據(jù)，從而進(jìn)行圖像時鐘域和先進(jìn)高性能總線時鐘域的轉(zhuǎn)換，這種轉(zhuǎn)換已有多種技術(shù)方案可以實(shí)現(xiàn)，此處也不再詳述。數(shù)據(jù)流控制器(IMAC)讀取FIFO單元中的圖像數(shù)據(jù)，選擇合適的傳輸方式如突發(fā)傳輸方式對圖像數(shù)據(jù)進(jìn)行傳送處理；多路選擇器(MUX)對圖像數(shù)據(jù)的突發(fā)傳送進(jìn)行信道仲裁；先進(jìn)高性能總線主接口(AHB MASTER接口)將突發(fā)傳送處理及仲裁后的圖像數(shù)據(jù)通過先進(jìn)高性能總線(AHB MASTER)輸出；寄存器堆，包含多個寄存器，對圖像輸入接口、圖像處理單元、FIFO單元、FIFO控制器單元，數(shù)據(jù)流控制器及多路選擇器進(jìn)行控制和功能選擇；先進(jìn)高性能總線從接口，接收CPU(圖中未表示出來)發(fā)送的信號對寄存器堆中的多個寄存器進(jìn)行配置。
本實(shí)施例中視頻接口裝置可以支持三種數(shù)據(jù)存儲方式RGB模式、YUV模式、YC模式。RGB模式下，僅一個數(shù)據(jù)通道Y通道有效，此時所有數(shù)據(jù)將連續(xù)存儲在一片內(nèi)存空間，也就是Y FIFO中、該模式適用于LCD顯示、原始數(shù)據(jù)(Raw data)處理等圖像數(shù)據(jù)連續(xù)存儲的場合。YUV模式下，Y、U、V三個數(shù)據(jù)通道都有效，所有數(shù)據(jù)，如圖5所示按planar IMC1、IMC2、IMC3或IMC4方式，存儲在三片內(nèi)存空間，也就是Y FIFO、U FIFO及V FIFO中，該模式適用于JPEG壓縮、MPEG壓縮等圖像數(shù)據(jù)處理。YC模式下，亮度Y和色度C將占用其中的兩個通道，如Y通道和U通道，如圖5所示按planarIMC1、IMC2、IMC3、IMC4、YV12存儲在三片內(nèi)存空間，對應(yīng)地為Y FIFO、U FIFO和V FIFO或者按planar NV12方式，存儲在兩片內(nèi)存空間，對應(yīng)地為Y FIFO和U FIFO。由于圖5中所示存儲方式已為現(xiàn)有技術(shù)所揭示，此處不再具體介紹。
在YUV模式下，Y、U、V這三個通道可以獨(dú)立工作，其控制信號由圖像輸入接口發(fā)送，圖像數(shù)據(jù)由圖像處理單元發(fā)送。每個通道被使能后，都將捕捉視頻流中的有效數(shù)據(jù)也就是，保存到各自對應(yīng)的FIFO后，并通過對應(yīng)的FIFO控制器同步到系統(tǒng)先進(jìn)高性能總線時鐘域。每當(dāng)FIFO中存儲滿額定量的數(shù)據(jù)，對應(yīng)的IMAC就將向先進(jìn)高性能總線發(fā)送數(shù)據(jù)傳輸請求。
請參閱圖4所示，本發(fā)明第二實(shí)施例中視頻接口裝置中包括圖像輸入接口、圖像處理單元、FIFO單元、FIFO控制單元、數(shù)據(jù)流控制器(IMAC)、多路選擇器(MUX)、寄存器堆、先進(jìn)高性能總線主接口、先進(jìn)高性能總線從接口及中斷處理單元。其中FIFO單元進(jìn)一步包括Y FIFO、U FIFO及VFIFO，與此相對應(yīng)，F(xiàn)IFO控制單元包括Y FIFO控制器、U FIFO控制器及VFIFO控制器。其中圖像輸入接口和圖像處理單元位于圖像時鐘域(camera時鐘域)，數(shù)據(jù)流控制器、多路選擇器、先進(jìn)高性能總線主接口、先進(jìn)高性能總線從接口、寄存器堆及中斷處理單元位于先進(jìn)高性能總線時鐘域。
與第一實(shí)施例相比，本實(shí)施例中數(shù)據(jù)流控制器沒有拆分成三個，且數(shù)據(jù)流控制器位于多路選擇器之后，先進(jìn)高性能總線主接口之前。由于視頻接口裝置中各個模塊功能沒有發(fā)生變化，此處不再詳述。
不難理解，也可以將第一實(shí)施例及第二實(shí)施例中Y FIFO、U FIFO及VFIFO合并為一個FIFO單元，并設(shè)計一個較為復(fù)雜的FIFO控制單元來合并YFIFO控制單元、U FIFO控制單元及V FIFO控制單元的功能。
本發(fā)明提供的視頻接口裝置的實(shí)現(xiàn)方法，主要包括以下步驟先進(jìn)高性能總線從接口接收CPU發(fā)送的信號對寄存器堆中的多個寄存器進(jìn)行配置。
圖像輸入接口根據(jù)寄存器堆配置結(jié)果去接收圖像傳感器輸入的圖像數(shù)據(jù)。
FIFO控制單元根據(jù)寄存器堆配置結(jié)果將圖像數(shù)據(jù)存儲在FIFO單元中。
多路選擇器根據(jù)寄存器堆配置結(jié)果選擇合適的通道。
數(shù)據(jù)流控制器，讀取FIFO單元中的圖像數(shù)據(jù)。
先進(jìn)高性能總線主接口將突發(fā)傳送處理后的圖像數(shù)據(jù)輸出。
請參閱圖6所示，圖6揭示了本發(fā)明第一實(shí)施例及第二實(shí)施例中多路選擇器進(jìn)行信道仲裁過程，也就是選擇合適通道的過程，多路選擇器設(shè)有仲裁狀態(tài)機(jī)，通過判斷通道請求的優(yōu)先級決定當(dāng)前先進(jìn)高性能總線主接口由哪個通道占用。通常仲裁狀態(tài)機(jī)具有固定優(yōu)先級(圖中用數(shù)字表示)和輪循優(yōu)先級(圖中用字母表示)兩種工作狀態(tài)。
在固定優(yōu)先級時，仲裁狀態(tài)機(jī)復(fù)位后處于空閑狀態(tài)。仲裁狀態(tài)機(jī)依據(jù)不同的數(shù)據(jù)存儲方式，采用不同的狀態(tài)轉(zhuǎn)換機(jī)制。
在YUV模式下，Y、U、V三個通道均有效。狀態(tài)機(jī)按照1→2→3→4的順序進(jìn)行狀態(tài)切換。V通道數(shù)據(jù)傳送結(jié)束后，為了節(jié)省時鐘周期，Y通道立刻發(fā)送數(shù)據(jù)傳送請求，則狀態(tài)機(jī)按照1→2→3→5的順序進(jìn)行。
在YC模式下，Y、U兩個通道均有效，Y通道用于存放亮度數(shù)據(jù)，U通道用作存放色度數(shù)據(jù)。狀態(tài)機(jī)按照1→2→6的順序進(jìn)行狀態(tài)切換。U通道數(shù)據(jù)傳送結(jié)束后，為了節(jié)省時鐘周期，Y通道立刻發(fā)送數(shù)據(jù)傳送請求，則狀態(tài)機(jī)按照1→2→7的順序進(jìn)行。
在RGB模式下，僅Y通道有效。狀態(tài)機(jī)按照1→8的順序進(jìn)行。
在輪循優(yōu)先級時，仲裁狀態(tài)機(jī)復(fù)位后處于空閑狀態(tài)。Y、U、V三個通道的優(yōu)先級具有輪換特性。輪換選擇有兩種策略一種是按通道FIFO內(nèi)的數(shù)據(jù)量排序，另一種是按通道最近使用的順序排序。
按通道FIFO內(nèi)的數(shù)據(jù)量排序策略，是當(dāng)前哪個通道FIFO內(nèi)的數(shù)據(jù)量最多，該通道就占有最高的數(shù)據(jù)請求優(yōu)先級，例如當(dāng)Y FIFO內(nèi)的數(shù)據(jù)量最多時，仲裁狀態(tài)機(jī)就選擇Y通道占用先進(jìn)高性能總線主接口。
按通道最近使用的順序排序策略是，某一個通道發(fā)生請求后，該通道的優(yōu)先級降為最低，原先次優(yōu)先級的通道的優(yōu)先級升為最高也就是等待最久的通道占有最高的優(yōu)先級。例如原來的優(yōu)先級為U、V、Y，則U通道數(shù)據(jù)傳送結(jié)束后，優(yōu)先級降為最低，V通道由于等待時間最久，優(yōu)先級變成最高，優(yōu)先級排序變?yōu)閂、Y、U。
本發(fā)明在進(jìn)行通道優(yōu)先級排序時，先按照通道FIFO內(nèi)的數(shù)據(jù)量排序策略進(jìn)行選擇，在數(shù)據(jù)量相同時再按照通道最近使用的順序排序策略進(jìn)行選擇。由于通過不停地自動切換優(yōu)先級，使每個數(shù)據(jù)通道的優(yōu)先級盡可能相等，因而能夠充分利用每一個通道的FIFO，降低了某一個通道因為數(shù)據(jù)帶寬過小而引起的數(shù)據(jù)溢出風(fēng)險，特別是極端情況下某一個通道的FIFO內(nèi)的數(shù)據(jù)已經(jīng)溢出，而另一個通道的FIFO卻為空的可能。
請參閱圖7所示，圖7揭示了視頻接口裝置中圖像接口單元接收圖像數(shù)據(jù)的硬件工作原理。
圖像輸入接口被使能后，等待幀同步信號的到來；當(dāng)接收到幀同步信號后，判斷寄存器更新位是否被更新，若否，進(jìn)入睡眠狀態(tài)繼續(xù)等待幀同步信號；若是，寄存器堆利用CPU傳送過來的配置信息對多個寄存器進(jìn)行更新，并將更新后的寄存器值即配置信息傳送給圖像輸入接口；圖像輸入接口接收配置信息后，根據(jù)配置信息開始接收camera sensor傳送過來的圖像數(shù)據(jù)，并判斷是否出現(xiàn)異常；若是，進(jìn)行異常處理，若否，等當(dāng)前幀圖像數(shù)據(jù)接收完畢后產(chǎn)生數(shù)據(jù)接收完成中斷；然后判斷是否繼續(xù)接收下一幀圖像，若是，繼續(xù)進(jìn)行接收，否則接收過程結(jié)束。
請參閱圖8所示，圖8揭示了視頻接口裝置中圖像接口單元軟件工作流程。
處理器首先配置camera sensor，也就是對圖像傳感器進(jìn)行初始化。
接著對圖像接口單元進(jìn)行初始化，具體包括配置時鐘和復(fù)位、配置控制寄存器、配置圖像屬性寄存器、配置圖像存儲地址及設(shè)置寄存器更新位。
CPU等待中斷，并判斷中斷類型。
如果是寄存器更新中斷，表示寄存器被更新，CPU判斷下一幀圖像的配置信息(主要包括圖像存儲地址和圖像大小)與當(dāng)前幀是否相同，若相同，直接配置下一幀圖像的存儲地址；若不相同，先配置下一幀的傳輸模式和圖像屬性，再配置下一幀圖像的存儲地址；然后對寄存器更新位再次進(jìn)行設(shè)置并繼續(xù)等待中斷。
如果是異常中斷，進(jìn)行異常中斷處理；如果是數(shù)據(jù)接受完成中斷，表示一幀正常接收完成，CPU處理當(dāng)前幀的圖像數(shù)據(jù)；然后判斷是否接收下一幀圖像，若是，繼續(xù)等待中斷；若否，關(guān)閉圖像輸入接口(camera IF)；結(jié)束圖像數(shù)據(jù)傳輸。
其中異常中斷包括AHB總線錯誤中斷圖像超出了有效地址范圍，可以重新指定存儲首地址，或分配更大的圖像存儲空間；幀數(shù)據(jù)丟失中斷全部丟棄當(dāng)前幀；FIFO溢出中斷包括FIFO數(shù)據(jù)溢出中斷和FIFO請求信號溢出中斷。這兩種FIFO溢出均表明內(nèi)部數(shù)據(jù)的平均帶寬不能滿足實(shí)時傳輸要求。適當(dāng)提高CAM_CLK(具體含義請參見表1)，減小數(shù)據(jù)量、增加行列消隱時間、或者提高內(nèi)部總線帶寬，可以避免FIFO溢出；行間溢出中斷一行數(shù)據(jù)未存儲完畢，新的一行數(shù)據(jù)到來。新行的數(shù)據(jù)將覆蓋前一行數(shù)據(jù)。適當(dāng)增加行間消隱信號，或者降低CAM_CLK，可以避免行間溢出中斷。
對工作中斷，除了上述的寄存器更新中斷和數(shù)據(jù)接受完成中斷，還包括幀起始中斷，用于指示檢測到幀同步信號，新的一幀開始，以及行起始中斷，用于指示檢測到指定行。
表1視頻接口裝置管腳說明

請參閱圖9所示，虛線框內(nèi)為本發(fā)明集成有視頻接口裝置的芯片的一個實(shí)施例，該芯片至少包括5個引腳，其中四個為輸入引腳，一個為輸出引腳(具體含義請見表1)。圖中AVIU指視頻接口裝置；camerasensor指圖像傳感器，產(chǎn)生圖像像素時鐘CAM_PCLK、圖像幀同步信號CAM_VSYNC，圖像行同步信號CAM_HSYNC，圖像數(shù)據(jù)CAM_DATA[9:0]，圖像數(shù)據(jù)可是以10位，也可以是8位，這里采用10位。芯片內(nèi)部還包括系統(tǒng)控制器(SystemController)，用于提供camerasensor的工作時鐘CAM_CLK。
請參閱圖10所示，圖10揭示了本發(fā)明集成有視頻接口裝置的芯片工作的行時序圖。Blanking是消隱數(shù)據(jù)，P0、P1……Pn是每行的圖像數(shù)據(jù)。在CAM_HSYNC有效時，圖像接口裝置在CAM_PCLK的上升沿采樣CAM_DATA的數(shù)據(jù)即每行的圖像數(shù)據(jù)。CAM_HSYNC的有效電平可以由控制寄存器配置，圖中為高電平有效。
請參閱圖11所示，圖11揭示了本發(fā)明集成有視頻接口裝置的芯片工作的幀時序圖。CAM_VSYNC有效時，內(nèi)部信號FramePulse將產(chǎn)生一個時鐘周期寬度的幀同步信號，表示一幀開始。PreB和PostB分別是幀前消隱時間和幀后消隱時間，LTIME是行有效時間，LBLK是行間消隱時間，F(xiàn)BLK是幀間消隱時間，這五個參數(shù)由圖像傳感器輸入信號決定。CAM_VSYNC的有效邊沿可由控制寄存器配置，圖中為上升沿有效。
請參閱圖12所示，圖12提供了配置有圖8所示芯片的移動電話的一個實(shí)施例以及該移動電話圖像處理過程。該移動電話包括圖像傳感器(Camera sensor)、視頻接口裝置(AVIU)、ARM處理器、LCD控制器、LCD、RAM控制器及RAM，此外還包括ARM_DAHB總線和CAM_AHB總線。圖像處理過程具體如下，步驟①，ARM處理器配置圖像傳感器和視頻接口裝置的數(shù)據(jù)傳送方式為RGB，視頻接口裝置通過CAM_AHB總線，將RGB數(shù)據(jù)傳輸至RAM控制器，如MPMC、SSMC等；步驟②，每幀RGB數(shù)據(jù)存儲完成后，視頻接口裝置發(fā)出中斷，通知ARM當(dāng)前幀接受完畢；步驟③，ARM處理器讀出RAM控制器中當(dāng)前幀的RGB數(shù)據(jù)，并作相應(yīng)的數(shù)據(jù)處理，如格式調(diào)整等；如果不作處理，則在步驟①中將圖像數(shù)據(jù)直接寫入LCD控制器，如EMI；步驟④，將處理后的RGB數(shù)據(jù)通過ARM_DAHB傳輸至LCD控制器用于顯示；步驟⑤，執(zhí)行拍照功能(圖像存儲)時，ARM處理器配置圖像傳感器和視頻接口裝置的數(shù)據(jù)傳送方式為YUV，視頻接口裝置通過CAM_AHB總線，將YUV數(shù)據(jù)傳輸至RAM控制器；步驟⑥，每幀YUV數(shù)據(jù)存儲完成后，視頻接口裝置發(fā)出中斷，通知ARM當(dāng)前幀接受完畢；步驟⑦，ARM處理器讀出RAM控制器中當(dāng)前幀的YUV數(shù)據(jù)，并作相應(yīng)的數(shù)據(jù)處理，如JPEG壓縮等；步驟⑧，ARM將處理完畢后的圖像數(shù)據(jù)存儲于非易失性存儲器如Flash ROM等。
本發(fā)明方案提供的視頻接口裝置能夠帶來如下有益效果1、本發(fā)明提供了一個圖像輸入接口裝置和一套圖像接受機(jī)制，可非常方便地接受camera輸出的多種格式的圖像數(shù)據(jù)，完成圖像存儲、圖像預(yù)覽等功能。
2、提供了多種數(shù)據(jù)存儲方式，可對輸入數(shù)據(jù)進(jìn)行packed(壓縮方式)和planar(空間分散方式)存儲方式，有利于不同系統(tǒng)的軟件或硬件模塊處理圖像數(shù)據(jù)；3、通過集成了內(nèi)置圖像處理單元可完成圖像任意比例縮放、圖像YUV數(shù)據(jù)轉(zhuǎn)換為RGB數(shù)據(jù)、Y/C伸張、圖像亮度、色度、對比度調(diào)整、圖像伽瑪校正、圖像抖動處理、圖像alpha混合、圖像銳化、圖像鈍化等圖像算法，提升了圖像處理能力。
4、本發(fā)明通過提供三路FIFO圖像數(shù)據(jù)通道，大大增強(qiáng)了圖像數(shù)據(jù)處理帶寬，優(yōu)化了圖像數(shù)據(jù)傳輸機(jī)制，提高了圖像接受能力，減小了總線負(fù)載，可以接受更高像素的圖像，并通過提供不同的接受通道優(yōu)先級配置，減少了接受圖像數(shù)據(jù)的溢出可能，增強(qiáng)了使圖像接受的連續(xù)性和可靠性。
5、本發(fā)明內(nèi)置了數(shù)字圖像處理單元，本發(fā)明通過內(nèi)置的專用圖像處理單元，可以對輸入圖像進(jìn)行實(shí)時處理，而不必要先將圖像數(shù)據(jù)存儲到存儲器后，然后由微處理器或其他專用圖像處理單元讀出所述圖像數(shù)據(jù)進(jìn)行圖像處理，從而避免了對整幅圖像存儲一次再讀出一次，減小了存儲器的數(shù)據(jù)負(fù)載，顯著提升系統(tǒng)性能。
另外，本發(fā)明集成了多種寄存器配置，提供了豐富的camera接口類型，可以支持多種camera。
以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以作出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置，其特征在于，包括先進(jìn)高性能總線從接口，用以傳送CPU的配置信息；寄存器堆，包括多個寄存器，分別用于接收CPU通過所述先進(jìn)高性能總線從接口傳送過來的配置信息；圖像輸入接口，用于根據(jù)所述配置信息接收輸入的圖像數(shù)據(jù)；FIFO單元，用于根據(jù)所述配置信息暫存所述圖像數(shù)據(jù)；FIFO控制單元，用于根據(jù)所述配置信息將所述圖像數(shù)據(jù)存入所述FIFO單元，并根據(jù)先進(jìn)高性能總線空閑情況讀出所述圖像數(shù)據(jù)，從而進(jìn)行第一時鐘域和第二時鐘域之間的轉(zhuǎn)換；通道控制器，根據(jù)所述配置信息從所述FIFO單元中讀取圖像數(shù)據(jù)，并為圖像數(shù)據(jù)的傳送選擇信道和傳送方式；先進(jìn)高性能總線主接口，將通過所述選擇的信道傳送過來的圖像數(shù)據(jù)利用先進(jìn)高性能總線輸出；其中，所述圖像輸入接口位于第一時鐘域，所述通道控制器、先進(jìn)高性能總線主接口、寄存器堆及先進(jìn)高性能總線從接口位于第二時鐘域。
2.如權(quán)利要求1所述的實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置，其特征在于，所述裝置還包括圖像處理單元，根據(jù)所述配置信息對所述圖像輸入接口接收的圖像數(shù)據(jù)進(jìn)行處理，并通過所述FIFO控制單元將處理后的圖像數(shù)據(jù)存儲在所述FIFO單元中。
3.如權(quán)利要求1所述的實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置，其特征在于，所述裝置還包括中斷處理單元，根據(jù)所述配置信息，產(chǎn)生多種中斷并發(fā)送給CPU。
4.如權(quán)利要求1或2或3所述的實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置，其特征在于，所述通道控制器包括多路選擇器，對所述圖像數(shù)據(jù)的傳送進(jìn)行信道仲裁，選擇合適的通道；數(shù)據(jù)流控制器，讀取所述FIFO單元中的圖像數(shù)據(jù)，并通過所述多路選擇器選擇的通道對所述圖像數(shù)據(jù)進(jìn)行突發(fā)傳送處理。
5.如權(quán)利要求4所述的實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置，其特征在于，所述數(shù)據(jù)流控制器包括圖像數(shù)據(jù)控制器Y、圖像數(shù)據(jù)控制器U和圖像數(shù)據(jù)控制器V，分別用于讀取所述FIFO單元中的Y通道、U通道和V通道的圖像數(shù)據(jù)，并進(jìn)行突發(fā)傳送處理。
6.如權(quán)利要求1或2或3所述的實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置，其特征在于，所述FIFO單元包括Y FIFO單元、U FIFO單元及V FIFO單元，分別用于存儲Y通道、U通道和V通道的圖像數(shù)據(jù)；所述FIFO控制單元包括Y FIFO控制器，用于將Y通道圖像數(shù)據(jù)存入Y FIFO；U FIFO控制器，用于將U通道圖像數(shù)據(jù)存入U FIFO；V FIFO控制器，用于將V通道圖像數(shù)據(jù)存入V FIFO。
7.一種實(shí)現(xiàn)圖像數(shù)據(jù)采集的方法，其特征在于，包括以下步驟CPU通過先進(jìn)高性能總線從接口對寄存器堆中的多個寄存器發(fā)送配置信息；圖像輸入接口根據(jù)寄存器堆接收的配置信息接收輸入的圖像數(shù)據(jù)；FIFO控制單元根據(jù)寄存器堆的配置信息將圖像數(shù)據(jù)存儲在FIFO單元中；通道控制器根據(jù)寄存器堆的配置信息從FIFO單元中讀取圖像數(shù)據(jù)，并選擇合適的信道進(jìn)行傳送；先進(jìn)高性能總線主接口將通過所述合適的信道傳送過來的圖像數(shù)據(jù)利用先進(jìn)高性能總線輸出。
8.如權(quán)利要求7所述的實(shí)現(xiàn)圖像數(shù)據(jù)采集的方法，其特征在于，所述通道包括Y通道、U通道和V通道，所述通道控制器選擇合適的信道具體為在Y通道、U通道和V通道設(shè)置為固定優(yōu)先級模式的情況下，根據(jù)圖像數(shù)據(jù)不同的存儲方式按照設(shè)置的優(yōu)先級順序進(jìn)行通道選擇；或者在Y通道、U通道和V通道設(shè)置為循環(huán)優(yōu)先級模式的情況下，基于不同的策略選擇優(yōu)先級最高的通道。
9.如權(quán)利要求8所述的實(shí)現(xiàn)圖像數(shù)據(jù)采集的方法，其特征在于，所述策略為根據(jù)通道內(nèi)數(shù)據(jù)量進(jìn)行選擇，數(shù)據(jù)量最多的通道占有最高的優(yōu)先級；或者所述策略為根據(jù)通道最近使用的順序進(jìn)行選擇，等待最久的通道占有最高的優(yōu)先級。
10.如權(quán)利要求7或8或9所述的實(shí)現(xiàn)圖像數(shù)據(jù)采集的方法，其特征在于，所述圖像輸入接口根據(jù)寄存器堆的配置結(jié)果接收輸入的圖像數(shù)據(jù)具體包括圖像輸入接口等待到幀同步信號；圖像輸入接口接收寄存器堆中多個寄存器更新后的寄存器(最好說明是什么值)值；圖像輸入接口根據(jù)所述多個寄存器更新后的寄存器(最好說明是什么值)值接收輸入的圖像數(shù)據(jù)；圖像輸入接口完成當(dāng)前幀的接收并產(chǎn)生中斷。
11.如權(quán)利要求10所述的實(shí)現(xiàn)圖像數(shù)據(jù)采集的方法，其特征在于，所述圖像輸入接口接收寄存器堆中多個寄存器更新后的值之前還包括寄存器堆檢測到寄存器更新位被刷新，對所述多個寄存器的配置信息進(jìn)行更新。
12.如權(quán)利要求7或8或9所述的實(shí)現(xiàn)圖像數(shù)據(jù)采集的方法，其特征在于，所述圖像輸入接口根據(jù)寄存器堆的配置信息接收輸入的圖像數(shù)據(jù)之后還包括圖像處理單元對所述圖像輸入接口接收的圖像數(shù)據(jù)進(jìn)行數(shù)字圖像處理。
13.一種芯片，其特征在于，所述芯片中設(shè)置有實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置，所述實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置包括先進(jìn)高性能總線接口，用以傳送CPU的配置信息；寄存器堆，包括多個寄存器，接受CPU通過所述先進(jìn)高性能總線從接口傳送過來的配置信息；圖像輸入接口，根據(jù)所述配置信息接收輸入的圖像數(shù)據(jù)；FIFO單元，根據(jù)所述配置信息存儲所述圖像數(shù)據(jù)；FIFO控制單元，根據(jù)所述配置信息將所述圖像數(shù)據(jù)存入所述FIFO單元，并根據(jù)總線空閑情況讀出所述圖像數(shù)據(jù)，從而進(jìn)行第一時鐘域和第二時鐘域之間的轉(zhuǎn)換；通道控制器，根據(jù)所述配置信息從所述FIFO單元中讀取圖像數(shù)據(jù)，并為圖像數(shù)據(jù)的傳送選擇信道和傳送方式；先進(jìn)高性能總線主接口，將通過所述合適信道傳送過來的圖像數(shù)據(jù)利用先進(jìn)高性能總線輸出；其中，所述圖像輸入接口位于第一時鐘域，所述通道控制器、先進(jìn)高性能總線主接口、寄存器堆及先進(jìn)高性能總線從接口位于第二時鐘域。
14.如權(quán)利要求13所述的芯片，其特征在于，所述實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置還包括根據(jù)所述配置信息對所述圖像輸入接口接收的圖像數(shù)據(jù)進(jìn)行數(shù)字圖像處理，并通過FIFO控制單元將處理后的圖像數(shù)據(jù)存儲在所述FIFO單元中。
15.如權(quán)利要求13或14所述的芯片，其特征在于，實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置還包括中斷處理單元，根據(jù)所述配置信息，產(chǎn)生多種中斷并發(fā)送給CPU。
16.一種移動電話，其特征在于，所述移動電話至少設(shè)置有一個實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置，所述實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置包括先進(jìn)高性能總線從接口，用以傳送CPU的配置信息；寄存器堆，包括多個寄存器，接受CPU通過所述先進(jìn)高性能總線從接口傳送過來的配置信息；圖像輸入接口，根據(jù)所述配置信息接收輸入的圖像數(shù)據(jù)；FIFO單元，根據(jù)所述配置信息存儲所述圖像數(shù)據(jù)；FIFO控制單元，根據(jù)所述配置信息將所述圖像數(shù)據(jù)存入所述FIFO單元，并根據(jù)總線空閑情況讀出所述圖像數(shù)據(jù)，從而進(jìn)行第一時鐘域和第二時鐘域之間的轉(zhuǎn)換；通道控制器，根據(jù)所述配置信息從所述FIFO單元中讀取圖像數(shù)據(jù)，并為圖像數(shù)據(jù)的傳送選擇信道和傳送方式；先進(jìn)高性能總線主接口，將通過所述合適信道傳送過來的圖像數(shù)據(jù)利用先進(jìn)高性能總線輸出；其中，所述圖像輸入接口位于第一時鐘域，所述通道控制器、先進(jìn)高性能總線主接口、寄存器堆及先進(jìn)高性能總線從接口位于第二時鐘域。
全文摘要
本發(fā)明提供的一種實(shí)現(xiàn)圖像數(shù)據(jù)采集的裝置，包括圖像輸入接口，接收輸入的圖像數(shù)據(jù)；FIFO單元，暫存圖像數(shù)據(jù)；FIFO控制單元，將圖像數(shù)據(jù)存入所述FIFO單元，并根據(jù)總線空閑情況讀出所述圖像數(shù)據(jù)，從而完成時鐘域轉(zhuǎn)換；通道控制器，從所述FIFO單元中讀取圖像數(shù)據(jù)，并對圖像數(shù)據(jù)的傳送選擇合適信道；先進(jìn)高性能總線主接口，將圖像數(shù)據(jù)通過先進(jìn)高性能總線輸出；寄存器堆，對所述圖像輸入接口、所述FIFO單元、所述FIFO控制器單元及所述通道控制器進(jìn)行控制和功能選擇；先進(jìn)高性能總線從接口，對所述寄存器堆中的寄存器進(jìn)行配置。此外，本發(fā)明還提供了實(shí)現(xiàn)圖像數(shù)據(jù)采集的方法，集成有實(shí)現(xiàn)圖像數(shù)據(jù)采集裝置的芯片以及配置有該芯片的移動電話。
文檔編號H04M1/725GK1901708SQ20061006133
公開日2007年1月24日 申請日期2006年6月26日 優(yōu)先權(quán)日2006年6月26日
發(fā)明者季淵, 陳慶 申請人:華為技術(shù)有限公司