專利名稱：一種面向異步視頻的嵌入式圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明屬于電子設(shè)計技術(shù)，具體涉及一種面向異步視頻的嵌入式圖像處理方法。
背景技術(shù)：
嵌入式圖像處理一般基于DSP+FPGA技術(shù)，接受視頻信息輸入，運行圖像處理算法，實現(xiàn)諸如目標(biāo)跟蹤、檢測、識別等功能，同時輸出處理后的圖像信號。系統(tǒng)規(guī)定的輸入和輸出常常是不同的視頻格式，二者由于幀頻的不同，處于異步的狀態(tài)。目前處理異步視頻的方式有如下如果圖像處理系統(tǒng)的輸入為復(fù)合模擬視頻，幀頻25Hz ;輸出為XGA格式，幀頻60Hz 幅輸入畫面平均產(chǎn)生2. 4次輸出畫面，此時系統(tǒng)處理的就是異步視頻，有3種處理方法。
最直接的方式——幀內(nèi)不同步，輸出以輸入的幀頻進行切換，當(dāng)一幀輸入數(shù)據(jù)準(zhǔn)備好后，輸出就切換到新一幀的視頻數(shù)據(jù)，不管此時輸出幀進行到了哪個時刻。這種模式中輸入和輸出處于幀內(nèi)的不同步狀態(tài)，即輸出的畫面可能由非同一幅輸入畫面組成。當(dāng)相鄰的兩幀圖像存在較大差異，輸出的畫面會出現(xiàn)明顯的分界。第二種是幀間不同步方式，即把不同步局限在幀間的狀態(tài)。當(dāng)一幀輸入數(shù)據(jù)準(zhǔn)備好后，輸出不會立即切換到新一幀的視頻數(shù)據(jù)，而是根據(jù)輸出自身的時序做出選擇。只有當(dāng)前幀輸出完畢后，才會切換到新一幀的視頻數(shù)據(jù)，這樣就保證了輸出的每幅畫面都有一個對應(yīng)的輸入畫面，不可能出現(xiàn)兩個輸入畫面拼接的狀況。如果一幅輸入畫面平均產(chǎn)生2. 4次輸出畫面，實際顯示狀況是某些輸入畫面顯示了 2次，而某些輸入畫面顯示了 3次。這樣，原來在時間上均勻顯示的輸入畫面，在輸出時不再一致。當(dāng)畫面中出現(xiàn)勻速運動的目標(biāo)時，理論上在輸出畫面中，目標(biāo)會出現(xiàn)跳躍式的運動。這種顯示效果在大多數(shù)應(yīng)用環(huán)境中肉眼難以覺察，是目前嵌入式圖像處理產(chǎn)品廣泛采用的處理不同步的方式。最后一種可以稱為準(zhǔn)同步方式，即輸出幀和輸入幀在一段時間上基本對應(yīng)，接近同步的效果。雖然輸入和輸出的幀頻不同，但系統(tǒng)根據(jù)相鄰的輸入幀圖像的變化特點，采用智能算法，人為地生成一些中間幀,加入到輸出幀序列中，更好地突出了輸出幀頻提高的顯示效果，還能夠保持畫面的連續(xù)性。這種方式多用于視聽娛樂的大屏幕影音設(shè)備?，F(xiàn)在視頻格式轉(zhuǎn)換的圖像處理產(chǎn)品的功能流程如圖3所示，在實現(xiàn)異步視頻幀間不同步輸出效果時，大多在數(shù)據(jù)緩存或輸出顯存環(huán)節(jié)采用乒乓切換的方法。這種方式下，DSP需要把視頻數(shù)據(jù)從緩存搬移到顯存，硬件上需要占據(jù)2個數(shù)據(jù)端口，增加了數(shù)據(jù)傳輸?shù)臅r間，O

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種面向異步視頻的嵌入式圖像處理方法，在不增加傳輸時間的前提下滿足不同幀頻的輸入和輸出的需要。為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案一種面向異步視頻的嵌入式圖像處理方法，該方法包括以下步驟1).定義四片幀存用于存放輸入視頻數(shù)據(jù)和輸出視頻數(shù)據(jù)之間不同狀態(tài)幀圖像，利用可編程邏輯器件FPGA將數(shù)字信號處理器DSP、四片幀存以及輸入和輸出視頻數(shù)據(jù)流連接起來；
2).定義的四片幀存分別為寫入幀、處理幀、讀出幀和緩存幀/廢棄幀，使每一幀數(shù)據(jù)與一片幀存關(guān)聯(lián)，依次經(jīng)歷寫入、處理、緩存、讀出和廢棄的狀態(tài)，其中緩存幀和廢棄幀不同時存在，寫入幀與視頻數(shù)據(jù)輸入流連接，用于存儲正在輸入的視頻數(shù)據(jù)，處理幀與DSP連接，用于作為DSP的數(shù)據(jù)緩存，讀出幀與視頻數(shù)據(jù)輸出流連接，用于將視頻數(shù)據(jù)讀出顯示，緩存幀用于等待被讀出顯示，處于孤立狀態(tài)，廢棄幀指的是視頻數(shù)據(jù)已經(jīng)完成輸出，用于等待被新的數(shù)據(jù)寫入，處于孤立狀態(tài)；
3).根據(jù)輸入幀同步信號和輸出幀同步信號和相應(yīng)的切換規(guī)則對四片幀存的狀態(tài)進行切換，實現(xiàn)異步視頻幀間不同步效果。所述步驟2)中的4片幀存有5種狀態(tài)，任一時刻4片幀存分別對應(yīng)寫入、處理、讀 出、緩存/廢棄，幀存的寫入、處理、緩存狀態(tài)由輸入幀的同步信號觸發(fā)確定，幀存的讀出、廢棄狀態(tài)由輸出幀的同步信號觸發(fā)確定，所述切換規(guī)則是指在異步視頻的幀間不同步狀態(tài)下保證輸出幀的完整性，嵌入式圖像處理系統(tǒng)利用第4片幀存提供時間上的緩沖。所述步驟3)中的切換規(guī)則在輸入幀頻小于輸出幀頻的情況下，每一個輸入幀都會被讀出顯示，在每個輸入幀周期中，至少會發(fā)生I次輸出幀同步觸發(fā)事件，第一次輸出幀同步信號觸發(fā)之后，原緩存狀態(tài)的幀存切換到讀出狀態(tài)，原讀出狀態(tài)幀存轉(zhuǎn)換為廢棄狀態(tài)，然后保持不變，直到新的輸入幀同步信號到來。所述步驟3)中的切換規(guī)則在輸入幀頻大于輸出幀頻的情況下，一個輸入幀周期內(nèi)，如果接收到輸出幀同步信號，緩存幀會轉(zhuǎn)換為讀出幀，否則會被重新寫入，沒有機會輸出顯示。所述單個幀存的狀態(tài)轉(zhuǎn)換過程如下某片幀存從寫入狀態(tài)開始，受輸入幀同步信號觸發(fā)后轉(zhuǎn)換為處理狀態(tài)，再次觸發(fā)后轉(zhuǎn)換為半緩存狀態(tài)，期間的輸出幀同步信號不會改變幀存狀態(tài)，只能確定輸出部分為無效狀態(tài)；半緩存狀態(tài)時受輸出幀同步信號觸發(fā)進入讀出狀態(tài)即半緩存/讀出，否則受輸入幀同步信號觸發(fā)返回寫入狀態(tài)，讀出狀態(tài)即半緩存/讀出，不會受輸出幀同步信號的觸發(fā)改變，但接受一次輸入幀同步信號后會成為新的讀出狀態(tài)即無效/讀出，此時系統(tǒng)有了新的緩存幀，當(dāng)輸出幀同步信號來到后轉(zhuǎn)換為廢棄狀態(tài)，此時新的緩存幀進入讀出狀態(tài)，再次受輸入幀同步觸發(fā)后返回寫入狀態(tài)。本發(fā)明由FPGA、DSP和4片幀存構(gòu)成，把數(shù)據(jù)緩存和輸出顯存融合在一起，節(jié)省了數(shù)據(jù)傳輸?shù)臅r間。FPGA依據(jù)規(guī)則切換4片幀存，能夠?qū)崿F(xiàn)異步視頻時幀間不同步狀態(tài)。采用更先進的存儲器、DSP、FPGA芯片能夠提高數(shù)據(jù)傳輸速度，擴充數(shù)據(jù)存儲空間，加強軟件處理能力，實現(xiàn)平臺整體性能指標(biāo)的升級。本發(fā)明能夠?qū)崿F(xiàn)圖像處理和視頻轉(zhuǎn)換兩部分功能圖像處理功能主要由DSP實現(xiàn)，軟件在一個輸入幀周期內(nèi)讀入數(shù)據(jù)、執(zhí)行處理算法、用新的數(shù)據(jù)覆蓋幀存；視頻轉(zhuǎn)換功能指FPGA對4片幀存的切換來實現(xiàn)異步視頻的幀間不同步效果O


圖I是本發(fā)明的功能架構(gòu)圖；圖2是單個幀存的狀態(tài)轉(zhuǎn)換流程 圖3是傳統(tǒng)圖像處理產(chǎn)品常用方案的功能流程。
具體實施例方式如圖I所示為本發(fā)明的功能架構(gòu)圖，F(xiàn)PGA將DSP、4片幀存以及輸入和輸出視頻數(shù)據(jù)流連接起來，依據(jù)功能狀態(tài)，幀存定義為寫入幀、處理幀、讀出幀、緩存幀、廢棄幀，其中緩存幀和廢棄幀不同時存在。寫入幀指該幀存與視頻數(shù)據(jù)輸入流連接，正在存儲輸入的視頻數(shù)據(jù)；處理幀指該幀存與DSP連接，作為DSP的數(shù)據(jù)緩存，供軟件讀寫；讀出幀指該幀存與視頻數(shù)據(jù)輸出流連接，視頻數(shù)據(jù)正在被讀出顯示；緩存幀指處理幀的下一個狀態(tài)，等待被讀出顯示，處于孤立狀態(tài)；廢棄幀指視頻數(shù)據(jù)已經(jīng)完成輸出，等待被新的數(shù)據(jù)寫入，處于孤立狀態(tài)。每一幀視頻數(shù)據(jù)與一片幀存關(guān)聯(lián)，依次經(jīng)歷寫入、處理、緩存、讀出、廢棄的狀態(tài)(不一定是全部的狀態(tài))。FPGA依據(jù)規(guī)則切換4片幀存，循環(huán)往復(fù)。本發(fā)明實現(xiàn)圖像處理和視頻轉(zhuǎn)換兩部分功能。圖像處理功能主要由DSP實現(xiàn)，當(dāng) 輸入的視頻數(shù)據(jù)成為處理幀時，DSP軟件要在一個輸入幀周期內(nèi)讀入數(shù)據(jù)、執(zhí)行處理算法、用新的數(shù)據(jù)覆蓋幀存(該幀存隨后會讀出顯示)。圖像處理結(jié)果可以從DSP的通訊接口上報，必要時，F(xiàn)PGA也可以完成部分圖像處理算法，減輕軟件負(fù)擔(dān)。視頻轉(zhuǎn)換功能指FPGA對4片幀存的切換來實現(xiàn)異步視頻的幀間不同步方法。本發(fā)明的切換規(guī)則如下在異步視頻的幀間不同步狀態(tài)下，輸出幀的完整性需要保證，幀存的切換不能只依據(jù)輸入幀的同步信號，還必須考慮輸出幀的同步信號，嵌入式圖像處理系統(tǒng)利用第4片幀存提供時間上的緩沖。幀存共有5種狀態(tài)，任一時刻4片幀存分別對應(yīng)寫入、處理、讀出、緩存(廢棄)，幀存的寫入、處理、緩存狀態(tài)由輸入幀的同步信號觸發(fā)確定，幀存的讀出、廢棄狀態(tài)由輸出幀的同步信號觸發(fā)確定。本發(fā)明狀態(tài)轉(zhuǎn)換程序設(shè)計如下設(shè)定4片幀存的初始狀態(tài)見表I :
表I幀存的初始狀態(tài)
幀存I 幀存2 傾存3 幀存4初始狀態(tài)寫入讀出緩存處理
幀存的狀態(tài)由2種同步信號觸發(fā)轉(zhuǎn)換，因此設(shè)定為輸入和輸出兩部分狀態(tài)的組合。( I)輸入巾貞頻小于輸出巾貞頻在輸入巾貞頻小于輸出巾貞頻的情況下，每一個輸入巾貞都會被讀出顯示。在每個輸入幀周期中，至少會發(fā)生I次輸出幀同步觸發(fā)事件，第一次輸出幀同步信號觸發(fā)之后，原緩存狀態(tài)的幀存切換到讀出狀態(tài)，原讀出狀態(tài)幀存轉(zhuǎn)換為廢棄狀態(tài)，然后保持不變，直到新的輸入幀同步信號到來。從系統(tǒng)整體分析4片幀存的狀態(tài)轉(zhuǎn)換過程，得出表2的結(jié)果表2顯不系統(tǒng)狀態(tài)轉(zhuǎn)換的一個循環(huán)包含8種情況，由4種輸入和4種輸出組合而成，每種輸出狀態(tài)對應(yīng)一個處于讀出狀態(tài)的幀存。表2系統(tǒng)狀態(tài)的轉(zhuǎn)換過程
權(quán)利要求
1.一種面向異步視頻的嵌入式圖像處理方法，其特征在于該處理方法包括以下步驟 1).定義四片幀存用于存放輸入視頻數(shù)據(jù)和輸出視頻數(shù)據(jù)之間不同狀態(tài)幀圖像，利用可編程邏輯器件FPGA將數(shù)字信號處理器DSP、四片幀存以及輸入和輸出視頻數(shù)據(jù)流連接起來； 2).定義的四片幀存分別為寫入幀、處理幀、讀出幀和緩存幀/廢棄幀，使每一幀數(shù)據(jù)與一片幀存關(guān)聯(lián)，依次經(jīng)歷寫入、處理、緩存、讀出和廢棄的狀態(tài)，其中緩存幀和廢棄幀不同時存在，寫入幀與視頻數(shù)據(jù)輸入流連接，用于存儲正在輸入的視頻數(shù)據(jù)，處理幀與DSP連接，用于作為DSP的數(shù)據(jù)緩存，讀出幀與視頻數(shù)據(jù)輸出流連接，用于將視頻數(shù)據(jù)讀出顯示，緩存幀用于等待被讀出顯示，處于孤立狀態(tài)，廢棄幀指的是視頻數(shù)據(jù)已經(jīng)完成輸出，用于等待被新的數(shù)據(jù)寫入，處于孤立狀態(tài)； 3).根據(jù)輸入幀同步信號和輸出幀同步信號和相應(yīng)的切換規(guī)則對四片幀存的狀態(tài)進行切換，實現(xiàn)異步視頻幀間不同步效果。
2.根據(jù)權(quán)利要求I所述的面向異步視頻的嵌入式圖像處理方法，其特征在于所述步驟2)中的4片幀存有5種狀態(tài)，任一時刻4片幀存分別對應(yīng)寫入、處理、讀出、緩存/廢棄，幀存的寫入、處理、緩存狀態(tài)由輸入幀的同步信號觸發(fā)確定，幀存的讀出、廢棄狀態(tài)由輸出幀的同步信號觸發(fā)確定，所述切換規(guī)則是指在異步視頻的幀間不同步狀態(tài)下保證輸出幀的完整性，嵌入式圖像處理系統(tǒng)利用第4片幀存提供時間上的緩沖。
3.根據(jù)權(quán)利要求I所述的面向異步視頻的嵌入式圖像處理方法，其特征在于所述步驟3)中的切換規(guī)則在輸入幀頻小于輸出幀頻的情況下，每一個輸入幀都會被讀出顯示，在每個輸入幀周期中，至少會發(fā)生I次輸出幀同步觸發(fā)事件，第一次輸出幀同步信號觸發(fā)之后，原緩存狀態(tài)的幀存切換到讀出狀態(tài)，原讀出狀態(tài)幀存轉(zhuǎn)換為廢棄狀態(tài)，然后保持不變，直到新的輸入幀同步信號到來。
4.根據(jù)權(quán)利要求I所述的面向異步視頻的嵌入式圖像處理方法，其特征在于所述步驟3)中的切換規(guī)則在輸入幀頻大于輸出幀頻的情況下，一個輸入幀周期內(nèi)，如果接收到輸出幀同步信號，緩存幀會轉(zhuǎn)換為讀出幀，否則會被重新寫入，沒有機會輸出顯示。
5.根據(jù)權(quán)利要求I所述的面向異步視頻的嵌入式圖像處理方法，其特征在于所述單個幀存的狀態(tài)轉(zhuǎn)換過程如下某片幀存從寫入狀態(tài)開始，受輸入幀同步信號觸發(fā)后轉(zhuǎn)換為處理狀態(tài)，再次觸發(fā)后轉(zhuǎn)換為半緩存狀態(tài)，期間的輸出幀同步信號不會改變幀存狀態(tài)，只能確定輸出部分為無效狀態(tài)；半緩存狀態(tài)時受輸出幀同步信號觸發(fā)進入讀出狀態(tài)即半緩存/讀出，否則受輸入幀同步信號觸發(fā)返回寫入狀態(tài)，讀出狀態(tài)即半緩存/讀出，不會受輸出幀同步信號的觸發(fā)改變，但接受一次輸入幀同步信號后會成為新的讀出狀態(tài)即無效/讀出，此時系統(tǒng)有了新的緩存幀，當(dāng)輸出幀同步信號來到后轉(zhuǎn)換為廢棄狀態(tài)，此時新的緩存幀進入讀出狀態(tài)，再次受輸入幀同步觸發(fā)后返回寫入狀態(tài)。
全文摘要
本發(fā)明涉及一種面向異步視頻的嵌入式圖像處理方法，包括由FPGA、DSP和４片幀存構(gòu)成的嵌入式圖像處理系統(tǒng)，把數(shù)據(jù)緩存和輸出顯存融合在一起，節(jié)省了數(shù)據(jù)傳輸?shù)臅r間。FPGA依據(jù)規(guī)則切換４片幀存，能夠?qū)崿F(xiàn)異步視頻時幀間不同步狀態(tài)。采用更先進的存儲器、DSP、FPGA芯片能夠提高數(shù)據(jù)傳輸速度，擴充數(shù)據(jù)存儲空間，加強軟件處理能力，實現(xiàn)平臺整體性能指標(biāo)的升級。本發(fā)明能夠?qū)崿F(xiàn)圖像處理和視頻轉(zhuǎn)換兩部分功能圖像處理功能主要由DSP實現(xiàn)，軟件在一個輸入幀周期內(nèi)讀入數(shù)據(jù)、執(zhí)行處理算法、用新的數(shù)據(jù)覆蓋幀存；視頻轉(zhuǎn)換功能指FPGA對4片幀存的切換來實現(xiàn)異步視頻的幀間不同步效果。
文檔編號G09G5/00GK102881273SQ20121033177
公開日2013年1月16日 申請日期2012年9月10日 優(yōu)先權(quán)日2012年9月10日
發(fā)明者鄭鑫 申請人:中國航空工業(yè)集團公司洛陽電光設(shè)備研究所