專利名稱：一種雙目立體視頻幀率轉(zhuǎn)換方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像及視頻處理領(lǐng)域，特別涉及一種雙目立體視頻幀率轉(zhuǎn)換方法及裝置。
背景技術(shù)：
近年來，隨著三維立體應(yīng)用的普及，對(duì)立體圖像和視頻的研究開始成為熱點(diǎn)。立體視頻技術(shù)(也稱3D視頻技術(shù))是未來多媒體技術(shù)的發(fā)展方向，立體視頻能夠提供立體感的新型視頻技術(shù)。與單通道視頻相比，立體視頻一般有兩個(gè)視頻通道，數(shù)據(jù)量要遠(yuǎn)遠(yuǎn)大于單通道視頻。立體視頻可以提供人類視覺能感受到的立體感。與圖像和視頻相關(guān)的應(yīng)用也在不斷拓寬，例如數(shù)字電視廣播、視頻點(diǎn)播、遠(yuǎn)程教育與醫(yī)療、無線多媒體通信等。雙目立體視頻是各種立體視頻應(yīng)用中最為典型的一個(gè)，只需要提供兩個(gè)視角的視頻信息就能給用戶帶來立體的視覺感受。相對(duì)單目視頻而言，由于雙目立體視頻的數(shù)據(jù)量翻倍，從而給采集和存儲(chǔ)設(shè)備帶來了一定的困難。雖然可以通過采集較低的幀率的圖像，減輕數(shù)據(jù)采集和存儲(chǔ)的壓力，但是低幀率的圖像的質(zhì)量不高，影響用戶的觀感。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一。為此，本發(fā)明的第一個(gè)目的在于提出了一種雙目立體視頻幀率轉(zhuǎn)換方法，該方法通過視差向量估計(jì)和運(yùn)動(dòng)向量估計(jì)，聯(lián)合利用時(shí)域和視間的信息，生成具有高質(zhì)量的幀率的上采樣視頻。本發(fā)明的第二個(gè)目的在于提出了一種雙目立體視頻幀率轉(zhuǎn)換裝置。為實(shí)現(xiàn)上述目的，本發(fā)明第一方面的實(shí)施例提出了一種雙目立體視頻幀率轉(zhuǎn)換方法，包括如下步驟輸入雙目立體視頻流，其中，所述雙目立體視頻流包括左視角視頻流和右視角視頻流，所述左視角視頻流包括多幀左視圖，所述右視角視頻流包括多幀右視圖；分別對(duì)所述左視角視頻流和所述右視角視頻流進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)，得到所述左視角視頻流的最優(yōu)運(yùn)動(dòng)矢量和所述右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量；利用所述左視角視頻流的最優(yōu)運(yùn)動(dòng)矢量和所述右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償以對(duì)所述左視角視頻流和所述右視角視頻流進(jìn)行上采樣。 根據(jù)本發(fā)明實(shí)施例的雙目立體視頻幀率轉(zhuǎn)換方法，通過對(duì)左視角視頻流和右視角視頻流進(jìn)行視差矢量估計(jì)和運(yùn)動(dòng)矢量估計(jì)，聯(lián)合利用時(shí)域和視間的信息，從而可以生成具有高質(zhì)量的幀率的上采樣視頻。 本發(fā)明第二方面的實(shí)施例提出了一種雙目立體視頻幀率轉(zhuǎn)換裝置，包括輸入模塊，所述輸入模塊用于輸入雙目立體視頻流，其中，所述雙目立體視頻流包括左視角視頻流和右視角視頻流，所述左視角視頻流包括多幀左視圖，所述右視角視頻流包括多幀右視圖； 聯(lián)合視差-運(yùn)動(dòng)估計(jì)模塊，所述聯(lián)合視差-運(yùn)動(dòng)估計(jì)模塊與所述輸入模塊相連，用于分別對(duì)所述左視角視頻流和所述右視角視頻流進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)，得到所述左視角視頻流的最優(yōu)運(yùn)動(dòng)矢量和所述右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量；運(yùn)動(dòng)補(bǔ)償模塊，所述運(yùn)動(dòng)補(bǔ)償模塊與所述聯(lián)合視差-運(yùn)動(dòng)估計(jì)模塊相連，用于利用所述左視角視頻流的最優(yōu)運(yùn)動(dòng)矢量和所述右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償以對(duì)所述左視角視頻流和所述右視角視頻流進(jìn)行上采樣。根據(jù)本發(fā)明實(shí)施例的雙目立體視頻幀率轉(zhuǎn)換裝置，通過對(duì)左視角視頻流和右視角視頻流進(jìn)行視差矢量估計(jì)和運(yùn)動(dòng)矢量估計(jì)，聯(lián)合利用時(shí)域和視間的信息，從而可以生成具有高質(zhì)量的幀率的上采樣視頻。本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中圖1為根據(jù)本發(fā)明實(shí)施例的雙目立體視頻幀率轉(zhuǎn)換方法的示意圖；圖2為根據(jù)本發(fā)明實(shí)施例的聯(lián)合視差-運(yùn)動(dòng)估計(jì)的示意圖；圖3為圖2中的視差矢量估計(jì)的示意圖；圖4為圖2中的運(yùn)動(dòng)矢量估計(jì)的示意圖；圖5為根據(jù)本發(fā)明實(shí)施例的雙目立體視頻幀率轉(zhuǎn)換裝置的示意圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。下面參考圖1至圖4描述根據(jù)本發(fā)明實(shí)施例的雙目立體視頻幀率轉(zhuǎn)換方法。該方法可以廣泛應(yīng)用于圖像/視頻處理過程中。如圖1所示，本發(fā)明實(shí)施例提供的雙目立體視頻幀率轉(zhuǎn)換方法，包括如下步驟SlOl 輸入雙目立體視頻流。向內(nèi)存中輸入雙目立體視頻流，其中雙目立體視頻流包括左視角視頻流和右視角視頻流。左視角視頻流包括多幀左視圖，右視角視頻流包括多幀右視圖，所述左視圖和右視圖均為低幀率圖像。S102 聯(lián)合視差-運(yùn)動(dòng)估計(jì)。分別對(duì)步驟SlOl中輸入的左視角視頻流和右視角視頻流進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)，即對(duì)每幀左視圖和每幀右視圖進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)。在本發(fā)明的一個(gè)實(shí)施例中，對(duì)左視角視頻流和右視角視頻流的聯(lián)合視差-運(yùn)動(dòng)估計(jì)可以同時(shí)進(jìn)行，也可以先后進(jìn)行。在每幀左視圖中和每幀右視圖中均包括多個(gè)圖像塊。將當(dāng)前處理的幀圖像成為待插幀，對(duì)每幀左視圖和每幀右視圖可以看作是對(duì)每幀圖像中的每個(gè)圖像塊進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)。逐塊地對(duì)每幀左視圖或每幀右視圖進(jìn)行視差矢量估計(jì)和運(yùn)動(dòng)矢量估計(jì)以得到每幀左視圖的最優(yōu)運(yùn)動(dòng)矢量或每幀右視圖的最優(yōu)運(yùn)動(dòng)矢量。換言之，對(duì)待插幀中的當(dāng)前塊，根據(jù)該當(dāng)前塊鄰近的時(shí)域和視域的低幀率幀圖像進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)，從而獲取當(dāng)前塊的最優(yōu)運(yùn)動(dòng)矢量。根據(jù)獲取的每幀左視圖和每幀右視圖中的每個(gè)圖像塊的最優(yōu)運(yùn)動(dòng)矢量，從而可以得到左視角視頻流的最優(yōu)運(yùn)動(dòng)矢量及右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量。由于對(duì)左視圖的聯(lián)合視差-運(yùn)動(dòng)估計(jì)過程與右視圖的聯(lián)合視差-運(yùn)動(dòng)估計(jì)過程的原理是一致的，下面以左視圖為例，描述對(duì)每幀左視圖進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)的過程。如圖2所示，對(duì)待插幀進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)，包括如下步驟S1021 設(shè)置左視圖初始視差矢量和左視圖初始運(yùn)動(dòng)矢量。幀率轉(zhuǎn)換的過程是以塊為單位進(jìn)行的，因此可以從已經(jīng)插值塊的運(yùn)動(dòng)矢量和視差矢量中選取一個(gè)作為待插幀的當(dāng)前塊的初始運(yùn)動(dòng)矢量和初始視差矢量的初始值。例如，從左視圖中的已經(jīng)插值塊的運(yùn)動(dòng)矢量和視差矢量中，選取一個(gè)運(yùn)動(dòng)矢量和一個(gè)視差矢量作為左視圖初始運(yùn)動(dòng)矢量和左視圖初始視差矢量。S1022 視差矢量估計(jì)。如圖3所示，上方三幀圖像為分別為左視圖待插幀的前一幀、待插幀(虛線框)和待插幀的后一幀。下方三幀圖像分別為與左視圖對(duì)應(yīng)的三幀圖像。如果當(dāng)前塊為當(dāng)前幀的第一圖像塊，則根據(jù)左視圖初始運(yùn)動(dòng)矢量查找前一幀圖像中對(duì)應(yīng)位置的圖像塊，以及后一幀圖像中對(duì)應(yīng)位置的圖像塊。然后利用上述對(duì)應(yīng)位置的塊在右視圖中進(jìn)行視差估計(jì)以得到當(dāng)前塊的視差矢量。如果當(dāng)前塊不是當(dāng)前幀的第一個(gè)圖像塊，則根據(jù)上次迭代得到的運(yùn)動(dòng)矢量，即上一次運(yùn)動(dòng)矢量估計(jì)得到的運(yùn)動(dòng)矢量查找當(dāng)前幀的前一幀和后一幀中對(duì)應(yīng)位置的圖像塊。利用前一幀和后一幀中對(duì)應(yīng)位置的圖像塊在右視圖中進(jìn)行視差估計(jì)以得到當(dāng)前塊的視差矢量。令表示左視圖中k時(shí)刻的待插幀圖像，對(duì)于其中任一待插塊，首先在待插幀的前后相鄰幀/么和/二中找到對(duì)應(yīng)位置的塊<W^1，然后利用在右視圖中進(jìn)行視差估計(jì)。設(shè)當(dāng)前塊的最優(yōu)的視差矢量為d = (dx, dy)，d = (dx, dy)可被表示為
權(quán)利要求
1.一種雙目立體視頻幀率轉(zhuǎn)換方法，其特征在于，包括如下步驟輸入雙目立體視頻流，其中，所述雙目立體視頻流包括左視角視頻流和右視角視頻流， 所述左視角視頻流包括多幀左視圖，所述右視角視頻流包括多幀右視圖；分別對(duì)所述左視角視頻流和所述右視角視頻流進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)，得到所述左視角視頻流的最優(yōu)運(yùn)動(dòng)矢量和所述右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量；利用所述左視角視頻流的最優(yōu)運(yùn)動(dòng)矢量和所述右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償以對(duì)所述左視角視頻流和所述右視角視頻流進(jìn)行上采樣。
2.如權(quán)利要求1所述的雙目立體視頻幀率轉(zhuǎn)換方法，其特征在于，逐塊地對(duì)每幀左視圖或每幀右視圖進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)，其中每幀左視圖包括多個(gè)圖像塊，每幀右視圖包括多個(gè)圖像塊，所述聯(lián)合視差-運(yùn)動(dòng)估計(jì)包括如下步驟設(shè)置左視圖初始視差矢量、左視圖初始運(yùn)動(dòng)矢量、右視圖初始視差矢量和右視圖初始運(yùn)動(dòng)矢量；根據(jù)所述左視圖初始視差矢量、左視圖初始運(yùn)動(dòng)矢量、右視圖初始視差矢量和右視圖初始運(yùn)動(dòng)矢量，逐塊地對(duì)每幀左視圖或每幀右視圖進(jìn)行視差矢量估計(jì)和運(yùn)動(dòng)矢量估計(jì)以得到所述每幀左視圖的最優(yōu)運(yùn)動(dòng)矢量或每幀右視圖的最優(yōu)運(yùn)動(dòng)矢量；根據(jù)所述每幀左視圖的最優(yōu)運(yùn)動(dòng)矢量或每幀右視圖的最優(yōu)運(yùn)動(dòng)矢量，得到所述左視角視頻流或右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量。
3.如權(quán)利要求2所述的雙目立體視頻幀率轉(zhuǎn)換方法，其特征在于，所述逐塊地對(duì)每幀左視圖或每幀右視圖進(jìn)行視差矢量估計(jì)，包括如下步驟如果當(dāng)前塊為所述當(dāng)前幀左視圖或當(dāng)前幀右視圖的第一個(gè)圖像塊，則根據(jù)所述左視圖初始運(yùn)動(dòng)矢量或右視圖初始運(yùn)動(dòng)矢量查找所述當(dāng)前幀的前一幀中對(duì)應(yīng)位置的圖像塊，以及后一幀中對(duì)應(yīng)位置的圖像塊，利用所述前一幀中對(duì)應(yīng)位置的圖像塊和后一幀中對(duì)應(yīng)位置的圖像塊在所述多幀右視圖或多幀左視圖中進(jìn)行視差估計(jì)以得到所述當(dāng)前塊的視差矢量；如果當(dāng)前塊不為所述當(dāng)前幀左視圖或當(dāng)前幀右視圖的第一個(gè)圖像塊，則根據(jù)所述前一次運(yùn)動(dòng)矢量估計(jì)得到的運(yùn)動(dòng)矢量查找所述當(dāng)前幀的前一幀中對(duì)應(yīng)位置的圖像塊，以及后一幀中對(duì)應(yīng)位置的圖像塊，利用所述前一幀中對(duì)應(yīng)位置的圖像塊和后一幀中對(duì)應(yīng)位置的圖像塊在所述多幀右視圖或多幀左視圖中進(jìn)行視差估計(jì)以得到所述當(dāng)前塊的視差矢量。
4.如權(quán)利要求3所述的雙目立體視頻幀率轉(zhuǎn)換方法，其特征在于，根據(jù)所述當(dāng)前塊的視差矢量，對(duì)所述當(dāng)前塊在所述當(dāng)前幀的前一幀內(nèi)與所述當(dāng)前塊對(duì)應(yīng)位置的圖像塊為中心的搜索區(qū)域內(nèi)進(jìn)行雙向運(yùn)動(dòng)估計(jì)，以及后一幀內(nèi)與所述當(dāng)前塊對(duì)應(yīng)位置的圖像塊為中心的搜索區(qū)域內(nèi)進(jìn)行雙向運(yùn)動(dòng)估計(jì)。
5.如權(quán)利要求4所述的雙目立體視頻幀率轉(zhuǎn)換方法，其特征在于，如果所述當(dāng)前塊為所述當(dāng)前幀左視圖或右視圖的第一個(gè)圖像塊，則根據(jù)所述左視圖初始視差矢量或右視圖初始運(yùn)動(dòng)矢量查找所述當(dāng)前幀的前一幀中對(duì)應(yīng)位置的圖像塊，以及后一幀中對(duì)應(yīng)位置的圖像塊，在所述前一幀中對(duì)應(yīng)位置的圖像塊為中心的搜索區(qū)域內(nèi)以及所述后一幀中對(duì)應(yīng)位置的圖像塊為中心的搜索區(qū)域內(nèi)進(jìn)行雙向運(yùn)動(dòng)估計(jì)得到所述當(dāng)前塊的最優(yōu)運(yùn)動(dòng)矢量；如果所述當(dāng)前塊不為所述當(dāng)前幀左視圖或右視圖的第一個(gè)圖像塊，則根據(jù)所述前一次視差矢量估計(jì)得到的視差矢量查找所述當(dāng)前幀的前一幀中對(duì)應(yīng)位置的圖像塊，以及后一幀中對(duì)應(yīng)位置的圖像塊，在所述前一幀中對(duì)應(yīng)位置的圖像塊為中心的搜索區(qū)域內(nèi)以及所述后一幀中對(duì)應(yīng)位置的圖像塊為中心的搜索區(qū)域內(nèi)進(jìn)行雙向運(yùn)動(dòng)估計(jì)得到所述當(dāng)前塊的最優(yōu)運(yùn)動(dòng)矢量。
6.如權(quán)利要求5所述的雙目立體視頻幀率轉(zhuǎn)換方法，其特征在于，根據(jù)所述當(dāng)前塊的最優(yōu)運(yùn)動(dòng)矢量，利用運(yùn)動(dòng)補(bǔ)償對(duì)所述當(dāng)前塊進(jìn)行插值；逐塊地對(duì)所述每幀左視圖或右視圖進(jìn)行運(yùn)動(dòng)補(bǔ)償以對(duì)所述左視角視頻流或所述右視角視頻流進(jìn)行上采樣。
7.—種雙目立體視頻幀率轉(zhuǎn)換裝置，其特征在于，包括輸入模塊，所述輸入模塊用于輸入雙目立體視頻流，其中，所述雙目立體視頻流包括左視角視頻流和右視角視頻流，所述左視角視頻流包括多幀左視圖，所述右視角視頻流包括多幀右視圖；聯(lián)合視差-運(yùn)動(dòng)估計(jì)模塊，所述聯(lián)合視差-運(yùn)動(dòng)估計(jì)模塊與所述輸入模塊相連，用于分別對(duì)所述左視角視頻流和所述右視角視頻流進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)，得到所述左視角視頻流的最優(yōu)運(yùn)動(dòng)矢量和所述右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量；運(yùn)動(dòng)補(bǔ)償模塊，所述運(yùn)動(dòng)補(bǔ)償模塊與所述聯(lián)合視差-運(yùn)動(dòng)估計(jì)模塊相連，用于利用所述左視角視頻流的最優(yōu)運(yùn)動(dòng)矢量和所述右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償以對(duì)所述左視角視頻流和所述右視角視頻流進(jìn)行上采樣。
8.如權(quán)利要求7所述的雙目立體視頻幀率轉(zhuǎn)換裝置，其特征在于，所述聯(lián)合視差-運(yùn)動(dòng)估計(jì)模塊逐塊地對(duì)每幀左視圖或每幀右視圖進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)，其中每幀左視圖包括多個(gè)圖像塊，每幀右視圖包括多個(gè)圖像塊，所述聯(lián)合視差-運(yùn)動(dòng)估計(jì)模塊包括設(shè)置單元，所述設(shè)置單元用于設(shè)置左視圖初始視差矢量、左視圖初始運(yùn)動(dòng)矢量、右視圖初始視差矢量和右視圖初始運(yùn)動(dòng)矢量；視差矢量估計(jì)單元，所述視差矢量估計(jì)單元與所述設(shè)置單元相連，用于根據(jù)所述左視圖初始視差矢量、左視圖初始運(yùn)動(dòng)矢量、右視圖初始視差矢量和右視圖初始運(yùn)動(dòng)矢量，逐塊地對(duì)每幀左視圖或每幀右視圖進(jìn)行視差矢量估計(jì)；運(yùn)動(dòng)矢量估計(jì)單元，所述運(yùn)動(dòng)矢量估計(jì)單元與所述視差矢量估計(jì)單元相連，用于逐塊地對(duì)每幀左視圖或每幀右視圖進(jìn)行運(yùn)動(dòng)矢量估計(jì)以得到所述每幀左視圖的最優(yōu)運(yùn)動(dòng)矢量或每幀右視圖的最優(yōu)運(yùn)動(dòng)矢量，并根據(jù)所述每幀左視圖的最優(yōu)運(yùn)動(dòng)矢量或每幀右視圖的最優(yōu)運(yùn)動(dòng)矢量，得到所述左視角視頻流或右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量。
9.如權(quán)利要求8所述的雙目立體視頻幀率轉(zhuǎn)換裝置，其特征在于，如果當(dāng)前塊為所述當(dāng)前幀左視圖或當(dāng)前幀右視圖的第一個(gè)圖像塊，則所述視差矢量估計(jì)單元根據(jù)所述左視圖初始運(yùn)動(dòng)矢量或右視圖初始運(yùn)動(dòng)矢量查找所述當(dāng)前幀的前一幀中對(duì)應(yīng)位置的圖像塊，以及后一幀中對(duì)應(yīng)位置的圖像塊，利用所述前一幀中對(duì)應(yīng)位置的圖像塊和后一幀中對(duì)應(yīng)位置的圖像塊在所述多幀右視圖或多幀左視圖中進(jìn)行視差估計(jì)以得到所述當(dāng)前塊的視差矢量；如果當(dāng)前塊不為所述當(dāng)前幀左視圖或當(dāng)前幀右視圖的第一個(gè)圖像塊，則所述視差矢量估計(jì)單元根據(jù)所述前一次運(yùn)動(dòng)矢量估計(jì)得到的運(yùn)動(dòng)矢量查找所述當(dāng)前幀的前一幀中對(duì)應(yīng)位置的圖像塊，以及后一幀中對(duì)應(yīng)位置的圖像塊，利用所述前一幀中對(duì)應(yīng)位置的圖像塊和后一幀中對(duì)應(yīng)位置的圖像塊在所述多幀右視圖或多幀左視圖中進(jìn)行視差估計(jì)以得到所述當(dāng)前塊的視差矢量。
10.如權(quán)利要求9所述的雙目立體視頻幀率轉(zhuǎn)換方法，其特征在于，所述運(yùn)動(dòng)矢量估計(jì)單元根據(jù)所述當(dāng)前塊的視差矢量，對(duì)所述當(dāng)前塊在所述當(dāng)前幀的前一幀內(nèi)與所述當(dāng)前塊對(duì)應(yīng)位置的圖像塊為中心的搜索區(qū)域內(nèi)進(jìn)行雙向運(yùn)動(dòng)估計(jì)，以及后一幀內(nèi)與所述當(dāng)前塊對(duì)應(yīng)位置的圖像塊為中心的搜索區(qū)域內(nèi)進(jìn)行雙向運(yùn)動(dòng)估計(jì)。
11.如權(quán)利要求10所述的雙目立體視頻幀率轉(zhuǎn)換方法，其特征在于，如果所述當(dāng)前塊為所述當(dāng)前幀左視圖或右視圖的第一個(gè)圖像塊，則所述運(yùn)動(dòng)矢量估計(jì)單元根據(jù)所述左視圖初始視差矢量或右視圖初始運(yùn)動(dòng)矢量查找所述當(dāng)前幀的前一幀中對(duì)應(yīng)位置的圖像塊，以及后一幀中對(duì)應(yīng)位置的圖像塊，在所述前一幀中對(duì)應(yīng)位置的圖像塊為中心的搜索區(qū)域內(nèi)以及所述后一幀中對(duì)應(yīng)位置的圖像塊為中心的搜索區(qū)域內(nèi)進(jìn)行雙向運(yùn)動(dòng)估計(jì)得到所述當(dāng)前塊的最優(yōu)運(yùn)動(dòng)矢量；如果所述當(dāng)前塊不為所述當(dāng)前幀左視圖或右視圖的第一個(gè)圖像塊，則所述運(yùn)動(dòng)矢量估計(jì)單元根據(jù)所述前一次視差矢量估計(jì)得到的視差矢量查找所述當(dāng)前幀的前一幀中對(duì)應(yīng)位置的圖像塊，以及后一幀中對(duì)應(yīng)位置的圖像塊，在所述前一幀中對(duì)應(yīng)位置的圖像塊為中心的搜索區(qū)域內(nèi)以及所述后一幀中對(duì)應(yīng)位置的圖像塊為中心的搜索區(qū)域內(nèi)進(jìn)行雙向運(yùn)動(dòng)估計(jì)得到所述當(dāng)前塊的最優(yōu)運(yùn)動(dòng)矢量。
12.如權(quán)利要求11所述的雙目立體視頻幀率轉(zhuǎn)換裝置，其特征在于，所述運(yùn)動(dòng)補(bǔ)償模塊根據(jù)所述當(dāng)前塊的最優(yōu)運(yùn)動(dòng)矢量，利用運(yùn)動(dòng)補(bǔ)償對(duì)所述當(dāng)前塊進(jìn)行插值，逐塊地對(duì)所述每幀左視圖或右視圖進(jìn)行運(yùn)動(dòng)補(bǔ)償以對(duì)所述左視角視頻流或所述右視角視頻流進(jìn)行上采樣。
全文摘要
本發(fā)明公開了一種雙目立體視頻幀率轉(zhuǎn)換方法，包括如下步驟輸入雙目立體視頻流；分別對(duì)左視角視頻流和右視角視頻流進(jìn)行聯(lián)合視差-運(yùn)動(dòng)估計(jì)，得到左視角視頻流的最優(yōu)運(yùn)動(dòng)矢量和右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量；利用左視角視頻流的最優(yōu)運(yùn)動(dòng)矢量和右視角視頻流的最優(yōu)運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償以對(duì)左視角視頻流和右視角視頻流進(jìn)行上采樣。本發(fā)明還公開了一種雙目立體視頻幀率轉(zhuǎn)換裝置。本發(fā)明利用同一時(shí)刻不同視角和同一視角不同時(shí)刻的冗余關(guān)系，實(shí)現(xiàn)雙目立體視頻的幀率上采樣，從而可以生成具有高質(zhì)量的幀率的上采樣視頻。
文檔編號(hào)H04N7/26GK102271269SQ20111023387
公開日2011年12月7日 申請(qǐng)日期2011年8月15日 優(yōu)先權(quán)日2011年8月15日
發(fā)明者季向陽(yáng), 張永兵, 戴瓊海, 王好謙 申請(qǐng)人:清華大學(xué)