基于視頻編碼的全視角圖片瀏覽系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于視頻編碼的全視角圖片瀏覽系統(tǒng)，主要解決現(xiàn)有技術(shù)瀏覽視角有限的問題。其包括：視頻采集子系統(tǒng)，視頻服務(wù)器和用戶終端；該視頻采集子系統(tǒng)包括視頻采集設(shè)備和水平平臺(tái)，待拍攝物品放置在水平平臺(tái)上，視頻采集設(shè)備固定在水平平臺(tái)的一側(cè)，水平平臺(tái)周期性旋轉(zhuǎn)，使視頻采集設(shè)備拍攝出物品的全視角圖片視頻序列，并傳送給視頻服務(wù)器；視頻服務(wù)器對(duì)接收到的視頻序列進(jìn)行周期截取和壓縮編碼，并按用戶終端的請(qǐng)求向其反饋壓縮視頻；用戶終端將用戶請(qǐng)求發(fā)送給視頻服務(wù)器，并按照用戶請(qǐng)求對(duì)接收到的壓縮視頻進(jìn)行解碼和播放，實(shí)現(xiàn)用戶對(duì)物品全視角圖片的瀏覽。本發(fā)明能全方位展示物品外觀信息，實(shí)現(xiàn)了用戶與物品信息的交互。
【專利說明】基于視頻編碼的全視角圖片瀏覽系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)【技術(shù)領(lǐng)域】，具體涉及一種全視角圖片的生成和自由播放系統(tǒng)，可用于文物保護(hù)、藝術(shù)品展覽、產(chǎn)品展示等領(lǐng)域的遠(yuǎn)程圖片演示。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)應(yīng)用的興起以及計(jì)算機(jī)技術(shù)的發(fā)展，在世界范圍內(nèi)遠(yuǎn)程共享物品的信息逐步成為可能，越來(lái)越多的博物館和藝術(shù)中心機(jī)構(gòu)都選擇將其所擁有的物品以圖片、視頻等多媒體形式上傳到互聯(lián)網(wǎng)上進(jìn)行遠(yuǎn)程展示，在傳播文化的同時(shí)更好的實(shí)現(xiàn)對(duì)人類文明成果的保護(hù)。
[0003]目前互聯(lián)網(wǎng)上廣泛采用的物品瀏覽系統(tǒng)大致分為兩類，第一類是通過離線采集物品固定視角的圖片，然后將所采集的圖片上傳至網(wǎng)絡(luò)服務(wù)器，當(dāng)遠(yuǎn)程用戶通過網(wǎng)頁(yè)瀏覽物品的相關(guān)信息時(shí)，向網(wǎng)絡(luò)服務(wù)器發(fā)出申請(qǐng)，網(wǎng)絡(luò)服務(wù)器將所存儲(chǔ)的固定視角的圖片或圖片的局部放大通過網(wǎng)絡(luò)發(fā)送給遠(yuǎn)程用戶，遠(yuǎn)程用戶通過瀏覽所接收到的固定視角的圖片或圖片的局部放大來(lái)獲取所展示物品的細(xì)節(jié)信息；另一類是通過離線采集關(guān)于所展示物品的視頻內(nèi)容，然后將所采集的視頻上傳至網(wǎng)絡(luò)服務(wù)器，當(dāng)遠(yuǎn)程用戶通過網(wǎng)頁(yè)瀏覽物品的相關(guān)信息時(shí)，向網(wǎng)絡(luò)服務(wù)器發(fā)出申請(qǐng)，網(wǎng)絡(luò)服務(wù)器將所存儲(chǔ)的關(guān)于物品的視頻信息通過網(wǎng)絡(luò)發(fā)送給遠(yuǎn)程用戶，遠(yuǎn)程用戶通過觀看所接收到的關(guān)于物品的視頻信息來(lái)獲取所展示物品的細(xì)節(jié)信息。
[0004]這兩類系統(tǒng)的最終目標(biāo)都是希望提升用戶對(duì)物品外觀和功能的了解，更全面的介紹物品的信息，以提高用戶對(duì)物品的認(rèn)知程度。
[0005]然而，在上述系統(tǒng)中，第一類系統(tǒng)僅僅選取了幾個(gè)特定視角或?qū)μ囟ㄒ暯窍碌牟糠謪^(qū)域進(jìn)行局部或全局放大展示，并沒有全方位的展示物品的外觀特性，因而用戶無(wú)法對(duì)物品產(chǎn)生整體的、統(tǒng)一的認(rèn)知。第二類系統(tǒng)忽略了用戶的主觀感受和自主選擇期望，具有不同需求的用戶只能被動(dòng)的觀看預(yù)先錄制好的具有相同內(nèi)容的同一段視頻，失去了自主選擇感興趣區(qū)域和觀看視角的權(quán)利，并且只能在觀看到相關(guān)介紹時(shí)才能獲得對(duì)應(yīng)部分的信息，缺乏用戶與物品信息之間的交互性。此外，由于預(yù)先錄制的視頻并不完全是用戶感興趣的，因此在網(wǎng)絡(luò)上傳輸這些內(nèi)容造成了對(duì)有限網(wǎng)絡(luò)資源的浪費(fèi)。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于針對(duì)上述現(xiàn)有技術(shù)存在的問題，提出一種基于視頻編碼的全視角圖片瀏覽系統(tǒng)及方法，以全方位形式展示物品，提高用戶對(duì)物品外觀的全方位認(rèn)知程度，實(shí)現(xiàn)用戶與物品信息之間的交互。
[0007]本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
[0008]一.為實(shí)現(xiàn)上述目的，本發(fā)明基于視頻編碼的全視角圖片瀏覽系統(tǒng)，包括:
[0009]全視角圖片采集子系統(tǒng)，用于采集由物品全視角圖片組成的視頻序列Vs，并傳輸給視頻服務(wù)器；[0010]視頻服務(wù)器，用于對(duì)全視角圖片采集子系統(tǒng)采集的視頻序列Vs進(jìn)行周期截取，得到周期視頻序列Vt，對(duì)周期視頻序列Vt進(jìn)行壓縮編碼，生成物品全視角圖片的壓縮視頻序列\(zhòng)，并將該壓縮視頻序列\(zhòng)進(jìn)行保存，當(dāng)用戶終端向視頻服務(wù)器請(qǐng)求瀏覽物品的全視角圖片時(shí)，將相應(yīng)的壓縮視頻序列\(zhòng)傳送給用戶終端；
[0011]用戶終端，用于監(jiān)測(cè)用戶行為，將用戶行為轉(zhuǎn)換為相應(yīng)的請(qǐng)求消息傳送給視頻服務(wù)器，并對(duì)接收到的壓縮視頻序列\(zhòng)進(jìn)行解碼，按照用戶選擇的瀏覽順序，逐幀播放解碼的視頻文件實(shí)現(xiàn)用戶對(duì)物品的全視角圖片瀏覽。
[0012]作為優(yōu)選，所述的全視角圖片采集子系統(tǒng)，包括視頻采集設(shè)備，水平平臺(tái)和待拍攝物品，待拍攝物品放置在水平平臺(tái)上，視頻采集設(shè)備固定在水平平臺(tái)的一側(cè)，并聚焦于水平平臺(tái)上所放置的待拍攝物品；水平平臺(tái)以固定旋轉(zhuǎn)周期按照順時(shí)針方向旋轉(zhuǎn)，使用視頻采集設(shè)備拍攝物品的全視角圖片組成的視頻序列\(zhòng)。
[0013]作為優(yōu)選，所述的視頻服務(wù)器，包括:
[0014]周期視頻截取模塊，用于對(duì)全視角圖片采集子系統(tǒng)采集的視頻序列Vs進(jìn)行周期檢測(cè)，從中截取一個(gè)旋轉(zhuǎn)周期的周期視頻序列Vt，傳輸給視頻壓縮編碼模塊；
[0015]視頻壓縮編碼模塊，用于對(duì)周期視頻序列Vt進(jìn)行壓縮編碼，生成物品全視角圖片的壓縮視頻序列V。，輸出給存儲(chǔ)單元模塊進(jìn)行保存；
[0016]存儲(chǔ)單元模塊，用于存儲(chǔ)視頻壓縮編碼模塊所生成的物品全視角圖片的壓縮視頻序列Vc ；
[0017]用戶終端請(qǐng)求響應(yīng)模塊，用于響應(yīng)用戶終端的請(qǐng)求消息，并根據(jù)該請(qǐng)求消息，從存儲(chǔ)單元模塊中提取相應(yīng)的壓縮視頻序列V。，傳送給用戶終端。
[0018]作為優(yōu)選，所述的用戶終端，包括:
[0019]用戶行為監(jiān)測(cè)模塊，用于實(shí)時(shí)監(jiān)測(cè)用戶的行為，將用戶行為轉(zhuǎn)換為請(qǐng)求消息發(fā)送給視頻服務(wù)器；
[0020]視頻解碼模塊，用于對(duì)從視頻服務(wù)器接收到的壓縮視頻序列V。進(jìn)行解碼，并將解碼的視頻文件傳輸給緩存模塊；
[0021]緩存模塊，用于保存視頻解碼模塊解碼的視頻文件，并向視頻播放模塊提供解碼的視頻文件；
[0022]視頻播放模塊，按照用戶選擇的瀏覽順序，從緩存模塊中提取解碼的視頻文件進(jìn)行逐幀播放，實(shí)現(xiàn)用戶對(duì)物品的全視角圖片瀏覽。
[0023]二.為實(shí)現(xiàn)上述目的，本發(fā)明基于視頻編碼的全視角圖片瀏覽方法，包括如下步驟:
[0024]( I)采集由物品全視角圖片組成的視頻序列Vs ；
[0025](2)視頻服務(wù)器對(duì)采集的視頻序列進(jìn)行周期檢測(cè)，截取一個(gè)旋轉(zhuǎn)周期的周期視頻序列Vt ;對(duì)截取的周期視頻序列Vt進(jìn)行壓縮編碼，生成物品全視角圖片的壓縮視頻序列V。，并保存；
[0026](3)用戶終端監(jiān)測(cè)到用戶點(diǎn)擊網(wǎng)頁(yè)上與物品關(guān)聯(lián)的鏈接，使用戶的點(diǎn)擊行為轉(zhuǎn)換為對(duì)物品全視角圖片的瀏覽請(qǐng)求，傳輸給視頻服務(wù)器；
[0027](4)視頻服務(wù)器響應(yīng)步驟(3)中的瀏覽請(qǐng)求，將與物品全視角圖片對(duì)應(yīng)的壓縮視頻序列\(zhòng)的起始幀傳輸給用戶終端；[0028](5)用戶終端對(duì)接收到的壓縮視頻序列V。的起始幀進(jìn)行解碼，將解碼結(jié)果顯示在當(dāng)前窗口或彈出窗口中，并向視頻服務(wù)器發(fā)送應(yīng)答消息；
[0029](6)用戶終端根據(jù)用戶行為與視頻服務(wù)器進(jìn)行信息交互:
[0030]當(dāng)用戶選擇瀏覽順序時(shí)，用戶終端向視頻服務(wù)器請(qǐng)求該瀏覽順序?qū)?yīng)的壓縮視頻序列V。中的后續(xù)視頻幀，并對(duì)視頻服務(wù)器所反饋的后續(xù)視頻幀進(jìn)行解碼，按照用戶選擇的瀏覽順序，逐幀播放解碼的視頻文件；
[0031]當(dāng)用戶切換瀏覽順序時(shí)，按照切換后的瀏覽順序播放本地緩存中已解碼的視頻幀，并向視頻服務(wù)器請(qǐng)求該瀏覽順序?qū)?yīng)的壓縮視頻序列V。中的后續(xù)視頻幀，對(duì)視頻服務(wù)器所反饋的后續(xù)視頻幀進(jìn)行解碼，按照用戶選擇的瀏覽順序，逐幀播放解碼的視頻文件；
[0032]當(dāng)用戶關(guān)閉物品所在頁(yè)面或窗口時(shí)后，用戶終端釋放本地緩存，清除已解碼的視頻幀，并通知視頻服務(wù)器停止發(fā)送后續(xù)視頻幀，完成用戶本次對(duì)物品全視角圖片的瀏覽。
[0033]本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn):
[0034](I)本發(fā)明由于以視頻方式展示物品的全視角圖片，因而可以連續(xù)的、全方位的向用戶提供所要觀看物品的外觀信息，用戶通過自主選擇瀏覽順序就可以不間斷的觀看到不同視角下物品的外觀信息。相比于已有的物品瀏覽系統(tǒng)，本發(fā)明可以增強(qiáng)用戶對(duì)物品的認(rèn)知程度，提高用戶與物品之間的交互，改善用戶體驗(yàn)，以便用戶對(duì)物品產(chǎn)生完整的、全面的評(píng)價(jià)。
[0035](2)本發(fā)明由于充分考慮了不同用戶的自主選擇期望和具體需求信息，只按照用戶需求向其傳遞物品特定視角的圖片信息，而不向用戶傳遞額外的冗余信息，相比于原有的用戶被動(dòng)接受的瀏覽系統(tǒng)，不僅具有更高的人機(jī)交互性和時(shí)效性，提高了用戶的體驗(yàn)質(zhì)量，而且最大化的節(jié)約網(wǎng)絡(luò)資源和本地緩存，提高了網(wǎng)絡(luò)資源的利用率。
【專利附圖】

【附圖說明】
[0036]圖1為本發(fā)明的全視角圖片瀏覽系統(tǒng)的系統(tǒng)框圖。
[0037]圖2為本發(fā)明全視角圖片采集子系統(tǒng)示意圖。
[0038]圖3為本發(fā)明瀏覽全視角圖片方法的總流程圖。
[0039]圖4為本發(fā)明瀏覽方法中截取周期視頻序列Vt的子流程圖。
[0040]圖5為本發(fā)明瀏覽方法中判斷用戶請(qǐng)求的子流程圖。
[0041]圖6為本發(fā)明中用戶終端的全視角圖片瀏覽界面示意圖。
【具體實(shí)施方式】
[0042]下面對(duì)本發(fā)明的實(shí)施例做詳細(xì)說明，本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。
[0043]參照?qǐng)D1，本發(fā)明基于視頻編碼的全視角圖片瀏覽系統(tǒng)，包括:全視角圖片采集子系統(tǒng)，視頻服務(wù)器，用戶終端，全視角圖片采集子系統(tǒng)與視頻服務(wù)器連接，其連接方式為有線連接或無(wú)線連接，視頻服務(wù)器與用戶終端之間通過網(wǎng)絡(luò)連接。其中:
[0044]所述全視角圖片采集子系統(tǒng)，其組成如圖2所示。它包括視頻采集設(shè)備，水平平臺(tái)和待拍攝物品，待拍攝物品放置在水平平臺(tái)上，視頻采集設(shè)備固定在水平平臺(tái)的一側(cè)，并聚焦于水平平臺(tái)上所放置的待拍攝物品，水平平臺(tái)以固定旋轉(zhuǎn)周期按照順時(shí)針方向旋轉(zhuǎn)，使視頻采集設(shè)備拍攝出物品的全視角圖片，并組成視頻序列Vs傳輸給視頻服務(wù)器。
[0045]所述的視頻服務(wù)器，由四個(gè)模塊組成，即周期視頻截取模塊，視頻壓縮編碼模塊，存儲(chǔ)單元模塊和用戶終端請(qǐng)求響應(yīng)模塊，其中:
[0046]該周期視頻截取模塊，對(duì)視頻序列Vs進(jìn)行周期檢測(cè)，從中截取一個(gè)旋轉(zhuǎn)周期的周期視頻序列Vt，傳輸給視頻壓縮編碼模塊；
[0047]該視頻壓縮編碼模塊，對(duì)周期視頻序列Vt的幀率ftl與用戶終端所支持的視頻播放幀率ft2進(jìn)行比較，若滿足ftl>ft2，則對(duì)周期視頻序列Vt進(jìn)行采樣率為Nt=ftl/ft2倍的時(shí)域下采樣，并將該時(shí)域下采樣視頻序列Vtt作為時(shí)域下采樣的輸出結(jié)果V?，否則將周期視頻序列Vt作為時(shí)域下采樣的輸出結(jié)果Vra ；
[0048]該視頻壓縮編碼模塊，對(duì)時(shí)域下采樣輸出結(jié)果Vtc的空間分辨率fsl與用戶終端所支持的空間分辨率fs2進(jìn)行比較，若滿足fsl>fs2，則對(duì)該輸出結(jié)果Vto進(jìn)行采樣率為Ns=fsl/fs2倍的空域下采樣，并將該空域下采樣視頻序列Vts作為空域下采樣的輸出結(jié)果N劃否則將時(shí)域下采樣的輸出結(jié)果Vra作為空域下采樣的輸出結(jié)果VS()；
[0049]該視頻壓縮編碼模塊設(shè)定視頻編碼參數(shù)，對(duì)空域下采樣的輸出結(jié)果VS()進(jìn)行壓縮編碼，將生成的壓縮視頻序列V。送入存儲(chǔ)單元模塊進(jìn)行保存；
[0050]該用戶終端請(qǐng)求響應(yīng)模塊，用于響應(yīng)用戶終端的請(qǐng)求消息，并根據(jù)該請(qǐng)求消息，從存儲(chǔ)單元模塊存儲(chǔ)的壓縮視頻序列V。中，提取與物品特定視角圖片關(guān)聯(lián)的視頻幀傳送給用戶終端；
[0051]該存儲(chǔ)單元模塊，用于存儲(chǔ)視頻壓縮編碼模塊生成的壓縮視頻序列\(zhòng)，并按照用戶終端請(qǐng)求響應(yīng)模塊的要求，反饋壓縮視頻序列V。中的視頻幀；
[0052]所述用戶終端，由四個(gè)模塊組成，即用戶行為監(jiān)測(cè)模塊，視頻解碼模塊，緩存模塊和視頻播放模塊，其中:
[0053]該用戶行為監(jiān)測(cè)模塊，用于監(jiān)測(cè)用戶行為，并將用戶行為轉(zhuǎn)換為相應(yīng)的請(qǐng)求消息傳送給視頻服務(wù)器，同時(shí)從緩存模塊中選取與用戶行為適配的解碼視頻幀送入視頻播放模塊進(jìn)行播放；
[0054]該視頻解碼模塊，用于對(duì)獲取的壓縮視頻序列V。中的視頻幀進(jìn)行視頻解碼，并將解碼視頻幀保存在緩存模塊中；
[0055]該緩存模塊，用于保存解碼視頻幀，并按照用戶行為監(jiān)測(cè)模塊的要求向視頻播放模塊提供解碼視頻幀；
[0056]該視頻播放模塊，用于按照用戶行為監(jiān)測(cè)模塊的要求，從緩存模塊中提取解碼視頻幀進(jìn)行逐幀播放，供用戶對(duì)物品的全視角圖片進(jìn)行瀏覽。
[0057]參照?qǐng)D3，本發(fā)明基于視頻編碼的全視角圖片瀏覽方法，其實(shí)現(xiàn)步驟如下:
[0058]步驟1:產(chǎn)生原始視頻序列。
[0059](Ia)按照如圖2所示的全視角圖片采集子系統(tǒng)示意圖，將待拍攝物品置于水平平臺(tái)上，將視頻采集設(shè)備置于水平平臺(tái)一側(cè)；
[0060](Ib)開啟水平平臺(tái)開關(guān)，使放置在其上的待拍攝物品隨水平平臺(tái)按照順時(shí)針方向進(jìn)行勻速周期旋轉(zhuǎn)；
[0061]所述水平平臺(tái)的旋轉(zhuǎn)方向不限于本實(shí)施例中所使用的順時(shí)針方向，也可以選擇逆時(shí)針方向；[0062]所述全視角圖片采集子系統(tǒng)中，待拍攝物品、水平平臺(tái)以及視頻采集設(shè)備的配置方式不限于本實(shí)施例中所使用的方式，也可將待拍攝物品置于固定平臺(tái)上，將視頻采集設(shè)備置于以固定平臺(tái)為圓心的環(huán)形軌道上，使視頻采集設(shè)備沿環(huán)形軌道做勻速運(yùn)動(dòng)，對(duì)待拍攝物體進(jìn)行拍攝，從而獲取物品全視角圖片組成的視頻序列；
[0063](Ic)設(shè)置拍攝視頻的幀率為50幀/秒，拍攝視頻的空間分辨率為1280X720像素，視頻格式為YUV，其他拍攝參數(shù)選擇視頻采集設(shè)備的默認(rèn)參數(shù)，調(diào)整視頻采集設(shè)備，使其聚焦于水平平臺(tái)上所放置的待拍攝物品；
[0064]所述拍攝視頻幀率不限于本實(shí)施例所使用的50幀/秒，可根據(jù)實(shí)際應(yīng)用場(chǎng)景和所使用視頻采集設(shè)備支持的幀率進(jìn)行合理選擇；
[0065]所述拍攝視頻空間分辨率不限于本實(shí)施例所使用的1280X720像素，實(shí)際應(yīng)用場(chǎng)景和所使用視頻采集設(shè)備支持的空間分辨率進(jìn)行合理選擇；
[0066]所述拍攝視頻格式不限于本實(shí)施例所使用的YUV格式，也可以根據(jù)所使用的攝像機(jī)支持的視頻格式進(jìn)行合理選擇，并轉(zhuǎn)換為YUV格式進(jìn)行后續(xù)處理；
[0067](Ie)開啟視頻采集設(shè)備進(jìn)行視頻拍攝，拍攝時(shí)間不小于I倍的水平平臺(tái)旋轉(zhuǎn)周期；
[0068]( If)停止視頻采集設(shè)備，保存所拍攝的視頻序列\(zhòng)。
[0069]步驟2:截取周期視頻序列Vt。
[0070]參照?qǐng)D4，本步驟的具體實(shí)現(xiàn)如下:
[0071](2a)從步驟(If)所述的視頻序列Vs中選取時(shí)間順序上處于后90%的視頻幀，計(jì)算視頻序列Vs中第i幀相對(duì)于視頻序列中起始幀F(xiàn)1的絕對(duì)誤差和SADi:
[0072]SADi= E w E h I Y1-Y11 ,
[0073]其中Yi表示第i幀的亮度分量，Y1表示起始幀F(xiàn)1的亮度分量，w和h分別表示視頻幀的寬度和高度；
[0074](2b)對(duì)步驟(2a)中的絕對(duì)誤差和SADi,按照由小到大的順序進(jìn)行排序，選取視頻序列Vs中SADi最小的一幀，作為周期視頻序列Vt的終止幀F(xiàn)e ；
[0075](2c)截取視頻序列Vs中包含起始幀F(xiàn)1和步驟(2b)中所得終止幀F(xiàn)e之間所有的視頻幀，得到周期視頻序列VT。
[0076]步驟3:時(shí)域下采樣和空域下采樣判定。
[0077](3a)計(jì)算步驟(Ic)中設(shè)置的視頻采集幀率ftl和用戶終端所能支持視頻播放幀率ft2之比Nt，若滿足Nt> I，則對(duì)步驟(2c)所得周期視頻序列Vt進(jìn)行Nt倍的時(shí)域下采樣，并將該時(shí)域下采樣Vts作為時(shí)域下采樣的輸出結(jié)果Vra ;否則，將步驟(2)所得周期視頻序列Vt作為時(shí)域下采樣的輸出結(jié)果VT();
[0078]所采用的時(shí)域下采樣方法是:
[0079]對(duì)步驟(2c)中所得周期視頻序列Vt進(jìn)行逐幀遍歷，每隔I幀丟棄Nt幀，直至遍歷到周期視頻序列Vt的終止幀F(xiàn)e，剩余視頻幀構(gòu)成的視頻序列即為周期視頻序列Vt的Nt倍時(shí)域下采樣Vts ；
[0080]所述的時(shí)域下采樣方法不限于本實(shí)施例所使用的時(shí)域下采樣方法，可以采用已有的其他用于視頻序列的時(shí)域下采樣方法；
[0081](3b)計(jì)算步驟(Ic)中設(shè)置的視頻采集空間分辨率fsl和用戶終端所能支持視頻播放分辨率fs2之比Ns，若滿足NS>1，則對(duì)步驟(3a)中的時(shí)域下采樣輸出結(jié)果Vra進(jìn)行Ns倍的空域下采樣，并將該空域下采樣Vss作為空域下采樣的輸出結(jié)果Vm;否則，將步驟(3a)中的時(shí)域下采樣輸出結(jié)果Vra作為空域下采樣的輸出結(jié)果VS()；
[0082]所采用的空域下采樣方法是:
[0083]對(duì)步驟(3a)中的時(shí)域下采樣輸出結(jié)果Vra進(jìn)行逐幀遍歷，以第i幀為例，將第i幀中每個(gè)NsXNs大小圖像塊的均值作為該圖像塊的下采樣值，所有NsXNs大小圖像塊的下采樣值構(gòu)成第i幀的空域下采樣，所該輸出結(jié)果Vra中各幀的空域下采樣構(gòu)成步驟(3a)中時(shí)域下采樣輸出結(jié)果Vra的空域下采樣Vss ；
[0084]所述的空域下采樣方法不限于本實(shí)施例所使用的空域下采樣方法，可以采用已有其他用于視頻序列的空域下采樣方法。
[0085]步驟4:視頻壓縮編碼。
[0086](4a)對(duì)視頻服務(wù)器中的視頻編碼軟件ffmpeg SDK進(jìn)行初始化，選擇H.264/AVC編碼器，添加步驟(3b)中所輸出的視頻序列作為H.264/AVC編碼器的輸入；
[0087]所述視頻編碼軟件不限于本實(shí)施例所使用的視頻編碼軟件ffmpeg SDK,也可以采用其他視頻編碼軟件實(shí)現(xiàn)；
[0088]所述視頻編標(biāo)準(zhǔn)不限于本實(shí)施例所使用的H.264/AVC,也可以采用該其他視頻編碼標(biāo)準(zhǔn)；
[0089](4b)設(shè)置H.264/AVC編碼器的編碼參數(shù)，包括視頻寬度、視頻高度、圖像組GOP大小、量化步長(zhǎng)參數(shù)，其余參數(shù)采用a 264/AVC編碼器的默認(rèn)參數(shù)；
[0090](4c)運(yùn)行視頻編碼軟件ffmpeg SDK，分配必要的編碼緩存，逐幀對(duì)輸入視頻序列進(jìn)行編碼，直到編碼過程結(jié)束，輸出由M個(gè)圖像組構(gòu)成的.264壓縮視頻序列V。，存儲(chǔ)于視頻服務(wù)器。
[0091]步驟5:用戶請(qǐng)求瀏覽物品的全視角圖片。
[0092](5a)以通用微型計(jì)算機(jī)作為用戶終端為例，當(dāng)用戶按下鼠標(biāo)按鍵點(diǎn)擊網(wǎng)頁(yè)上與物品關(guān)聯(lián)的鏈接時(shí)，用戶終端監(jiān)測(cè)到用戶點(diǎn)擊該鏈接的行為，將這一行為轉(zhuǎn)換為全視角圖片瀏覽請(qǐng)求消息發(fā)送給視頻服務(wù)器；
[0093]所述用戶終端不限于本實(shí)施例中所使用的通用微型計(jì)算機(jī)，也可以是智能手機(jī)、平板電腦以及其他具有交互能力和視頻處理能力的用戶終端設(shè)備；
[0094](5b)視頻服務(wù)器收到步驟(5a)中的瀏覽請(qǐng)求消息后，通過網(wǎng)絡(luò)向用戶終端發(fā)送該物品對(duì)應(yīng)壓縮視頻序列Vc的起始巾貞；
[0095](5c)用戶終端在接收到壓縮視頻序列V。的起始幀后，對(duì)該起始幀進(jìn)行視頻解碼，并將解碼結(jié)果顯示在用戶瀏覽的窗口內(nèi)，如圖6所示，同時(shí)，用戶終端向視頻服務(wù)器發(fā)送應(yīng)答消息，表明收到壓縮視頻序列\(zhòng)的起始幀；
[0096]所述視頻解碼結(jié)果顯示不限于本實(shí)施例中所使用的在用戶瀏覽的窗口內(nèi)進(jìn)行顯示，也可以采用在用戶瀏覽的網(wǎng)頁(yè)上進(jìn)行顯示等其他顯示方式；
[0097](5d)視頻服務(wù)器接收到步驟(5c)中的應(yīng)答消息后，通過網(wǎng)絡(luò)向用戶終端發(fā)送壓縮視頻序列V。中第I個(gè)圖像組G1和最后I個(gè)圖像組Gm。
[0098]步驟6:用戶選擇瀏覽順序進(jìn)行全視角圖片瀏覽。
[0099](6a)用戶終端在接收到步驟(5d)中的圖像組G1和圖像組Gm后，對(duì)圖像組G1和圖像組Gm進(jìn)行逐幀視頻解碼，將解碼結(jié)果保存在緩存中；
[0100](6b)用戶終端實(shí)時(shí)監(jiān)測(cè)用戶行為，判斷用戶請(qǐng)求，
[0101]參照?qǐng)D5，本步驟實(shí)現(xiàn)如下:
[0102](6bl)若用戶點(diǎn)擊步驟(5c)中顯示窗口的物品并向左移動(dòng)鼠標(biāo)，則判定用戶請(qǐng)求按順時(shí)針方向?yàn)g覽全視角圖片，執(zhí)行步驟(6b2);若用戶點(diǎn)擊步驟(5c)中顯示窗口的物品并向右移動(dòng)鼠標(biāo)，則判定用戶請(qǐng)求按照逆時(shí)針方向?yàn)g覽全視角圖片，執(zhí)行步驟(6b3);若用戶點(diǎn)擊步驟(5c)中顯示窗口的物品并保持鼠標(biāo)靜止，則判定用戶請(qǐng)求按照默認(rèn)瀏覽順序?yàn)g覽全視角圖片，本實(shí)施例中選擇順時(shí)針方向作為默認(rèn)瀏覽順序，執(zhí)行步驟(6b2);
[0103](6b2)用戶終端發(fā)送順時(shí)針瀏覽請(qǐng)求信息給視頻服務(wù)器，將緩存中對(duì)圖像組G1的解碼結(jié)果按照解碼順序進(jìn)行逐幀播放，并向視頻服務(wù)器發(fā)送已解碼的圖像組序號(hào)id=l，執(zhí)行步驟(6b4)；
[0104](6b3)用戶終端發(fā)送逆時(shí)針瀏覽請(qǐng)求信息給視頻服務(wù)器，將緩存中對(duì)圖像組Gm的解碼結(jié)果按照與解碼順序相反的順序進(jìn)行逐幀播放，并向視頻服務(wù)器發(fā)送已解碼的圖像組序號(hào)id=M,執(zhí)行步驟(6b5)；
[0105](6b4)視頻服務(wù)器接收到順時(shí)針瀏覽請(qǐng)求消息，比較已解碼的圖像組序號(hào)id與壓縮視頻編碼序列V。中圖像組個(gè)數(shù)M的大小，若id〈M，將壓縮視頻編碼序列V。中的圖像組Gi, i=id+l發(fā)送給用戶終端，執(zhí)行步驟(6b6);否則，將壓縮視頻編碼序列V。中的圖像組Gi, i=l發(fā)送給用戶終端，執(zhí)行步驟(6b6)；
[0106](6b5)視頻服務(wù)器接收到逆時(shí)針瀏覽請(qǐng)求消息，比較圖像組序號(hào)id與0的大小，若id>0，將壓縮視頻編碼序列Vc中的圖像組Gi, i=id_l發(fā)送給用戶終端，執(zhí)行步驟(6b7);否則，將壓縮視頻編碼序列\(zhòng)中的圖像組Gi, i=M發(fā)送給用戶終端，執(zhí)行步驟(6b7)；
[0107](6b6)用戶終端對(duì)接收到的圖像組Gi進(jìn)行視頻解碼，在用戶瀏覽窗口內(nèi)按照解碼順序逐幀播放圖像組Gi的解碼結(jié)果，并實(shí)時(shí)監(jiān)測(cè)用戶行為，若用戶請(qǐng)求以逆時(shí)針方向?yàn)g覽，執(zhí)行步驟(6b8);若用戶不改變?yōu)g覽順序，向視頻服務(wù)器發(fā)送順時(shí)針瀏覽請(qǐng)求信息和已解碼圖像組序號(hào)id=i，重復(fù)執(zhí)行步驟(6b4)，直至監(jiān)測(cè)到用戶選擇關(guān)閉當(dāng)前瀏覽的窗口，執(zhí)行步驟7 ;
[0108](6b7)用戶終端對(duì)接收到的圖像組Gi進(jìn)行視頻解碼，在用戶瀏覽窗口內(nèi)按照與解碼順序相反的順序逐幀播放圖像組Gi的解碼結(jié)果，并實(shí)時(shí)監(jiān)測(cè)用戶行為，若用戶請(qǐng)求以順時(shí)針方向?yàn)g覽，執(zhí)行步驟(6b9);若用戶不改變?yōu)g覽順序，向視頻服務(wù)器發(fā)送逆時(shí)針瀏覽請(qǐng)求信息和已解碼圖像組序號(hào)id=i，重復(fù)執(zhí)行步驟(6b5)，直至監(jiān)測(cè)到用戶選擇關(guān)閉當(dāng)前窗口，執(zhí)行步驟7 ;
[0109](6b8)用戶終端在用戶瀏覽窗口內(nèi)按照與解碼順序相反的順序逐幀播放圖像組Gi的解碼結(jié)果，并實(shí)時(shí)監(jiān)測(cè)用戶行為，若用戶請(qǐng)求以順時(shí)針方向?yàn)g覽，執(zhí)行步驟(6b9);若用戶不改變?yōu)g覽順序，向視頻服務(wù)器發(fā)送逆時(shí)針瀏覽請(qǐng)求信息和已解碼圖像組序號(hào)id=i，執(zhí)行步驟(6b5)；
[0110](6b9)用戶終端在用戶瀏覽窗口內(nèi)按照解碼順序逐幀播放圖像組Gi的解碼結(jié)果，并實(shí)時(shí)監(jiān)測(cè)用戶行為，若用戶請(qǐng)求以逆時(shí)針方向?yàn)g覽，執(zhí)行步驟(6b8);若用戶不改變?yōu)g覽順序，向視頻服務(wù)器發(fā)送順時(shí)針瀏覽請(qǐng)求信息和已解碼圖像組序號(hào)id=i，執(zhí)行步驟(6b4)；
[0111]所述用戶行為與用戶請(qǐng)求之間的對(duì)應(yīng)關(guān)系不限于本實(shí)施例中所設(shè)定的上述情況，也可以采用其他形式的對(duì)應(yīng)關(guān)系，例如用戶擊步驟(5c)中顯示窗口的物品并向左移動(dòng)鼠標(biāo)表示用戶請(qǐng)求按照逆時(shí)針方向?yàn)g覽全視角圖片，用戶擊步驟(5c)中顯示窗口的物品并向右移動(dòng)鼠標(biāo)表示用戶請(qǐng)求按照順時(shí)針方向?yàn)g覽全視角圖片等；
[0112]所述默認(rèn)瀏覽順序不限于本實(shí)施所選擇的順時(shí)針方向，也可以選擇逆時(shí)針方向；
[0113]所述用戶行為方式不限于本實(shí)施例中所使用的用戶點(diǎn)擊鼠標(biāo)并移動(dòng)鼠標(biāo)，針對(duì)不同的用戶終端也可以選取其他的方式，例如當(dāng)用戶終端是智能手機(jī)時(shí)，可以采用用戶手指點(diǎn)擊屏幕上的物體并滑動(dòng)手指作為用戶的行為方式。
[0114]步驟7:用戶結(jié)束全視角圖片瀏覽。
[0115](7a)若當(dāng)前所瀏覽的窗口被關(guān)閉，即圖6所示窗口被關(guān)閉，則表示用戶結(jié)束全視角圖片的瀏覽過程，此時(shí)用戶終端停止對(duì)接收到的圖像組進(jìn)行解碼，并將本地緩存清空，同時(shí)向視頻服務(wù)器發(fā)送用戶結(jié)束瀏覽請(qǐng)求；
[0116]所述用戶結(jié)束全視角圖片瀏覽的行為不限于本實(shí)施例中所使用的用戶關(guān)閉當(dāng)前所瀏覽的窗口，也可以是其他的用戶行為，例如關(guān)閉當(dāng)前瀏覽網(wǎng)頁(yè)等；
[0117](7b)視頻服務(wù)器接收到用戶結(jié)束瀏覽請(qǐng)求，停止向用戶終端發(fā)送后續(xù)圖像組，至此，完成本發(fā)明基于視頻編碼的全視角圖片瀏覽。
【權(quán)利要求】
1.一種基于視頻編碼的全視角圖片瀏覽系統(tǒng)，包括: 全視角圖片采集子系統(tǒng)，用于采集由物品全視角圖片組成的視頻序列Vs，并傳輸給視頻服務(wù)器； 視頻服務(wù)器，用于對(duì)全視角圖片采集子系統(tǒng)采集的視頻序列\(zhòng)進(jìn)行周期截取，得到周期視頻序列VT，對(duì)周期視頻序列Vt進(jìn)行壓縮編碼，生成物品全視角圖片的壓縮視頻序列V。，并將該壓縮視頻序列V。進(jìn)行保存，當(dāng)用戶終端向視頻服務(wù)器請(qǐng)求瀏覽物品的全視角圖片時(shí)，將相應(yīng)的壓縮視頻序列V。傳送給用戶終端； 用戶終端，用于監(jiān)測(cè)用戶行為，將用戶行為轉(zhuǎn)換為相應(yīng)的請(qǐng)求消息傳送給視頻服務(wù)器，并對(duì)接收到的壓縮視頻序列V。進(jìn)行解碼，按照用戶選擇的瀏覽順序，逐幀播放解碼的視頻文件實(shí)現(xiàn)用戶對(duì)物品的全視角圖片瀏覽。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述的全視角圖片采集子系統(tǒng)，包括視頻采集設(shè)備，水平平臺(tái)和待拍攝物品，待拍攝物品放置在水平平臺(tái)上，視頻采集設(shè)備固定在水平平臺(tái)的一側(cè)，并聚焦于水平平臺(tái)上所放置的待拍攝物品；水平平臺(tái)以固定旋轉(zhuǎn)周期按照順時(shí)針方向旋轉(zhuǎn)，使用視頻采集設(shè)備拍攝物品的全視角圖片組成的視頻序列Vs。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述的視頻服務(wù)器，包括: 周期視頻截取模塊，用于對(duì)全視角圖片采集子系統(tǒng)采集的視頻序列\(zhòng)進(jìn)行周期檢測(cè)，從中截取一個(gè)旋轉(zhuǎn)周期的周期視頻序列Vt，傳輸給視頻壓縮編碼模塊； 視頻壓縮編碼模塊，用于對(duì)周期視頻序列Vt進(jìn)行壓縮編碼，生成物品全視角圖片的壓縮視頻序列V。，輸出給存儲(chǔ)單元模塊進(jìn)行保存； 存儲(chǔ)單元模塊，用于存儲(chǔ)視頻壓縮編碼模塊所生成的物品全視角圖片的壓縮視頻序列Vc; 用戶終端請(qǐng)求響應(yīng)模塊，用于響應(yīng)用戶終端的請(qǐng)求消息，并根據(jù)該請(qǐng)求消息，從存儲(chǔ)單元模塊中提取相應(yīng)的壓縮視頻序列V。，傳送給用戶終端。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述的用戶終端，包括: 用戶行為監(jiān)測(cè)模塊，用于實(shí)時(shí)監(jiān)測(cè)用戶的行為，將用戶行為轉(zhuǎn)換為請(qǐng)求消息發(fā)送給視頻服務(wù)器； 視頻解碼模塊，用于對(duì)從視頻服務(wù)器接收到的壓縮視頻序列\(zhòng)進(jìn)行解碼，并將解碼的視頻文件傳輸給緩存模塊； 緩存模塊，用于保存視頻解碼模塊解碼的視頻文件，并向視頻播放模塊提供解碼的視頻文件； 視頻播放模塊，按照用戶選擇的瀏覽順序，從緩存模塊中提取解碼的視頻文件進(jìn)行逐幀播放，實(shí)現(xiàn)用戶對(duì)物品的全視角圖片瀏覽。
5.一種基于視頻編碼的全視角圖片瀏覽方法，包括如下步驟: (1)采集由物品全視角圖片組成的視頻序列\(zhòng); (2)視頻服務(wù)器對(duì)采集的視頻序列進(jìn)行周期檢測(cè)，截取一個(gè)旋轉(zhuǎn)周期的周期視頻序列Vt ;對(duì)截取的周期視頻序列Vt進(jìn)行壓縮編碼，生成物品全視角圖片的壓縮視頻序列V。，并保存； (3)用戶終端監(jiān)測(cè)到用戶點(diǎn)擊網(wǎng)頁(yè)上與物品關(guān)聯(lián)的鏈接，使用戶的點(diǎn)擊行為轉(zhuǎn)換為對(duì)物品全視角圖片的瀏覽請(qǐng)求，傳輸給視頻服務(wù)器；(4)視頻服務(wù)器響應(yīng)步驟(3)中的瀏覽請(qǐng)求，將與物品全視角圖片對(duì)應(yīng)的壓縮視頻序列Vc的起始幀傳輸給用戶終端； (5)用戶終端對(duì)接收到的壓縮視頻序列V。的起始幀進(jìn)行解碼，將解碼結(jié)果顯示在當(dāng)前窗口或彈出窗口中，并向視頻服務(wù)器發(fā)送應(yīng)答消息； (6)用戶終端根據(jù)用戶行為與視頻服務(wù)器進(jìn)行信息交互: 當(dāng)用戶選擇瀏覽順序時(shí)，用戶終端向視頻服務(wù)器請(qǐng)求該瀏覽順序?qū)?yīng)的壓縮視頻序列V。中的后續(xù)視頻幀，并對(duì)視頻服務(wù)器所反饋的后續(xù)視頻幀進(jìn)行解碼，按照用戶選擇的瀏覽順序，逐幀播放解碼的視頻文件； 當(dāng)用戶切換瀏覽順序時(shí)，按照切換后的瀏覽順序播放本地緩存中已解碼的視頻幀，并向視頻服務(wù)器請(qǐng)求該瀏覽順序?qū)?yīng)的壓縮視頻序列V。中的后續(xù)視頻幀，對(duì)視頻服務(wù)器所反饋的后續(xù)視頻幀進(jìn)行解碼，按照用戶選擇的瀏覽順序，逐幀播放解碼的視頻文件； 當(dāng)用戶關(guān)閉物品所在頁(yè)面或窗口時(shí)后，用戶終端釋放本地緩存，清除已解碼的視頻幀，并通知視頻服務(wù)器停止發(fā)送后續(xù)視頻幀，完成用戶本次對(duì)物品全視角圖片的瀏覽。
6.根據(jù)權(quán)利要求5所述的方法，其中步驟(1)所述的采集由物品全視角圖片組成的視頻序列Vs，包括如下步驟: (Ia)將待拍攝物品置于水平平臺(tái)上，將視頻采集設(shè)備置于水平平臺(tái)一側(cè)； (Ib)開啟水平平臺(tái)開關(guān)，使放置在其上的待拍攝物品隨該水平平臺(tái)按照指定方向進(jìn)行周期旋轉(zhuǎn)； (Ic)設(shè)置視頻采集設(shè)備的拍攝參數(shù)，調(diào)整視頻采集設(shè)備，使其聚焦于水平平臺(tái)上所放置的待拍攝物品；` (Id)開啟視頻采集設(shè)備進(jìn)行視頻拍攝，拍攝時(shí)間不小于I倍的水平平臺(tái)旋轉(zhuǎn)周期； (Ie)停止視頻采集設(shè)備，保存所拍攝的視頻序列\(zhòng)。
7.根據(jù)權(quán)利要求6所述的方法，其中所述步驟(Ic)中設(shè)置視頻采集設(shè)備的拍攝參數(shù)，包括拍攝視頻的幀率、空間分辨率和視頻文件格式。
【文檔編號(hào)】G06F3/01GK103607578SQ201310647454
【公開日】2014年2月26日 申請(qǐng)日期:2013年12月3日 優(yōu)先權(quán)日:2013年12月3日
【發(fā)明者】楊付正, 李鵬 申請(qǐng)人:西安電子科技大學(xué)