一種智能移動(dòng)終端的視頻呈現(xiàn)方法
【專利摘要】本發(fā)明涉及一種智能移動(dòng)終端的視頻呈現(xiàn)方法，其特征在于：采用智能移動(dòng)終端拍攝視頻時(shí)，記錄下智能移動(dòng)終端在拍攝過程中的位移或/和旋轉(zhuǎn)信息，然后將智能移動(dòng)終端在拍攝過程中的位移或/和旋轉(zhuǎn)信息與拍攝的視頻文件保存在一起；當(dāng)智能移動(dòng)終端播放前述視頻文件時(shí)，也記錄下智能移動(dòng)終端的觀看過程中的位移或/和旋轉(zhuǎn)信息，如果觀看過程中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移或/和旋轉(zhuǎn)信息相匹配，則播放前述視頻文件。本發(fā)明拍攝視頻時(shí)除了保存音視頻信息外，還保存了位移(旋轉(zhuǎn))信息，可讓觀看者從另一個(gè)新的媒體維度體驗(yàn)視頻，通過傳達(dá)的位移或/旋轉(zhuǎn)信息，觀看者跟拍攝者同步的位移或/和旋轉(zhuǎn)動(dòng)作提高了觀看視頻時(shí)的沉浸感。
【專利說明】一種智能移動(dòng)終端的視頻呈現(xiàn)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種智能移動(dòng)終端的視頻呈現(xiàn)方法。

【背景技術(shù)】
[0002] 通常用戶拍攝全景照片時(shí)需要保持手機(jī)穩(wěn)定勻速的在水平或垂直方向移動(dòng)，手機(jī) 通過軟件的方法將各幅照片進(jìn)行拼接合成，這對(duì)拍攝者有比較高的要求，稍不穩(wěn)定就會(huì)導(dǎo) 致拼接不自然的痕跡。觀看者查看全景照片時(shí)，由于全景照片往往很長或很寬，觀看者需要 滑動(dòng)照片進(jìn)行瀏覽照片全景。
[0003] 同樣，如果拍攝者用視頻拍攝全景，觀看者直接觀看視頻時(shí)由于缺乏代入感，只是 直接觀看這個(gè)視頻而已。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是針對(duì)上述現(xiàn)有技術(shù)提供一種能讓觀看者在觀看視 頻文件時(shí)與拍攝者具有相同的沉浸體驗(yàn)的智能移動(dòng)終端的視頻呈現(xiàn)方法。
[0005] 本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種智能移動(dòng)終端的視頻呈現(xiàn)方 法，其特征在于：采用智能移動(dòng)終端拍攝視頻時(shí)，記錄下智能移動(dòng)終端在拍攝過程中的位移 或/和旋轉(zhuǎn)信息，然后將智能移動(dòng)終端在拍攝過程中的位移或/和旋轉(zhuǎn)信息與拍攝的視頻 文件保存在一起；當(dāng)智能移動(dòng)終端播放前述視頻文件時(shí)，也記錄下智能移動(dòng)終端的觀看過 程中的位移或/和旋轉(zhuǎn)信息，如果觀看過程中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移 或/和旋轉(zhuǎn)信息相匹配，則播放前述視頻文件。
[0006] 作為改進(jìn)，采用智能移動(dòng)終端拍攝視頻時(shí)，通過開啟智能移動(dòng)終端中自帶的能感 知智能移動(dòng)終端的轉(zhuǎn)動(dòng)加速度或/和移動(dòng)加速度的加速度傳感器設(shè)備，通過加速度傳感器 采集的數(shù)據(jù)，及智能移動(dòng)終端記錄的時(shí)間，獲得智能移動(dòng)終端在拍攝過程中的位移或/和 旋轉(zhuǎn)信息；在智能移動(dòng)終端播放前述視頻文件時(shí)，再次開啟移動(dòng)終端中自帶的能感知智能 移動(dòng)終端的轉(zhuǎn)動(dòng)加速度或/和移動(dòng)加速度的加速度傳感器設(shè)備，通過加速度傳感器采集的 數(shù)據(jù)，及智能移動(dòng)終端記錄的時(shí)間，獲得智能移動(dòng)終端的觀看過程中的位移或/和旋轉(zhuǎn)信 肩、。
[0007] 在實(shí)際應(yīng)用中，通過加速度傳感器設(shè)備檢測(cè)到的位移精度較低，只能判斷出大概 的運(yùn)動(dòng)方向和位移，為了提高精度，可通過分析攝像頭采集的圖像信息進(jìn)行輔助處理，即： 采用智能移動(dòng)終端拍攝視頻時(shí)，先通過按幀對(duì)視頻文件的視頻畫面檢測(cè)出拍攝過程中的位 移或/和旋轉(zhuǎn)信息的方向和相對(duì)距離，然后再通過加速度傳感器采集的數(shù)據(jù)，及智能移動(dòng) 終端記錄的時(shí)間，獲得智能移動(dòng)終端在拍攝過程中的位移信息；在智能移動(dòng)終端播放前述 視頻文件時(shí)，打開智能移動(dòng)終端的前置攝像頭，拍攝前置畫面，同樣通過按幀對(duì)前置畫面檢 測(cè)出位觀看過程的位移信息的方向和相對(duì)距離，然后再通過加速度傳感器采集的數(shù)據(jù)，及 智能移動(dòng)終端記錄的時(shí)間，獲得智能移動(dòng)終端在觀看過程中的位移信息。
[0008] 作為改進(jìn)技術(shù)方案，如果觀看過程中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移 或/和旋轉(zhuǎn)信息不匹配，且觀看過程中的位移或/和旋轉(zhuǎn)速度比拍攝過程中的位移或/和 旋轉(zhuǎn)速度快，則快速播放前述視頻文件；如果觀看過程中的位移或/和旋轉(zhuǎn)信息與拍攝過 程中的位移或/和旋轉(zhuǎn)信息不匹配，且觀看過程中位移或/和旋轉(zhuǎn)速度比拍攝過程中位移 或/和旋轉(zhuǎn)速度慢，則慢鏡頭放前述視頻文件；如果觀看者停止移動(dòng)，則停止播放前述視頻 文件。
[0009] 可以通過以下方式獲得智能移動(dòng)終端在觀看過程或拍攝過程中的位移信息：
[0010] 設(shè)智能移動(dòng)終端的起始的速度為〇,位移距離為〇,智能移動(dòng)終端的加速度傳感 器設(shè)備采集數(shù)據(jù)的周期為ti，智能移動(dòng)終端的加速度傳感器設(shè)備瞬時(shí)采集到的加速度 為ai，則智能移動(dòng)終端瞬時(shí)速度Vi = g=Qajtj，智能移動(dòng)終端的位移信息s = SPqVjti = SiLoCSjUajtj)^,,
[0011] 為了提高播放時(shí)的順滑度，可以對(duì)計(jì)算位移信息的加速度施加一個(gè)低通濾波，即： 通過以下方式獲得智能移動(dòng)終端在觀看過程或拍攝過程中的位移信息：
[0012] 設(shè)智能移動(dòng)終端的起始的速度為0,位移距離為0,智能移動(dòng)終端的加速度傳感 器設(shè)備采集數(shù)據(jù)的周期為ti，智能移動(dòng)終端的加速度傳感器設(shè)備瞬時(shí)采集到的加速度 為ap計(jì)算低通濾波后的加速度將a/，a/ = 0. 3*a」+0. 7*aj_i，智能移動(dòng)終端瞬時(shí)速度 Vi = ZjL0 a/tp智能移動(dòng)終端的位移信息s = Sf=OViIii = !^。(!!丨=。^)!^。
[0013] 用戶拍攝或觀看時(shí)很難做到勻速的移動(dòng)，甚至位移播放的時(shí)候還會(huì)存在抖動(dòng)，為 了消除抖動(dòng)，在智能移動(dòng)終端播放前述視頻文件時(shí)，設(shè)定一個(gè)緩沖區(qū)，緩沖區(qū)大小為10? 20幀，該緩沖區(qū)輸入需要播放的視頻文件的幀序列編號(hào)，在智能移動(dòng)終端播放前述視頻文 件時(shí)，設(shè)定一個(gè)緩沖區(qū)，緩沖區(qū)大小為10?20幀，該緩沖區(qū)輸入需要播放的視頻文件的幀 序列編號(hào)，然后按幀序列順序輸出播放前述視頻文件。
[0014] 為了使用更方便，本發(fā)明還對(duì)位移或/和旋轉(zhuǎn)信息的偏差提供一定容忍度，即：觀 看過程中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移或/和旋轉(zhuǎn)信息偏差在預(yù)設(shè)的容錯(cuò)范 圍內(nèi)，即認(rèn)為觀看過程中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移或/和旋轉(zhuǎn)信息相匹 配。
[0015] 不同于通常的播放方式，本發(fā)明通過用戶移動(dòng)（旋轉(zhuǎn)）手機(jī)來觀看視頻，為了提供 直觀簡潔的交互提示，作為改進(jìn)的技術(shù)方案，當(dāng)智能移動(dòng)終端播放前述視頻文件時(shí)，同時(shí)在 視頻文件播放界面提示智能移動(dòng)終端在拍攝過程中的位移或/和旋轉(zhuǎn)信息，觀看者根據(jù)視 頻文件播放界面提示的位移或/和旋轉(zhuǎn)信息來移動(dòng)或旋轉(zhuǎn)智能移動(dòng)終端。
[0016] 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：本發(fā)明拍攝視頻時(shí)除了保存音視頻信息外， 還保存了位移（旋轉(zhuǎn)）信息，可讓觀看者從另一個(gè)新的媒體維度體驗(yàn)視頻，通過傳達(dá)的位移 或/旋轉(zhuǎn)信息，觀看者跟拍攝者同步的位移或/和旋轉(zhuǎn)動(dòng)作提高了觀看視頻時(shí)的沉浸感。 這種全新的播放視頻方式，不是傳統(tǒng)的基于時(shí)間變量來按幀顯示視頻畫面，而是按照位移 (旋轉(zhuǎn)）變量來按幀顯示畫面；本發(fā)明可代替全景照片的拍攝和瀏覽體驗(yàn)，降低拍攝者的穩(wěn) 定性要求，拍攝全景角度任意大（一圈360都可以支持），拍攝方向任意（上下左右、斜角都 可以），觀看者的觀看體驗(yàn)也更加豐富和有趣。

【專利附圖】

【附圖說明】
[0017] 圖1為本發(fā)明實(shí)施例中以手機(jī)為例的采集位移信息時(shí)移動(dòng)加速度傳感器采集數(shù) 據(jù)的坐標(biāo)；
[0018] 圖2為本發(fā)明實(shí)施例中以手機(jī)為例的手機(jī)移動(dòng)路線圖；
[0019] 圖3為圖2中位移矢量直線向量圖；
[0020] 圖4為本發(fā)明實(shí)施例中以手機(jī)為例的拍攝過程示意圖；
[0021] 圖5為本發(fā)明實(shí)施例中以手機(jī)為例的觀看過程示意圖；
[0022] 圖6為本發(fā)明實(shí)施例中以手機(jī)為例的拍攝或觀看過程旋轉(zhuǎn)示意圖；
[0023] 圖7為本發(fā)明實(shí)施例中以手機(jī)為例的觀看過程顯示視頻幀的示意圖；
[0024] 圖8為本發(fā)明實(shí)施例中以手機(jī)為例的旋轉(zhuǎn)信息容錯(cuò)示意圖；
[0025] 圖9為本發(fā)明實(shí)施例中以手機(jī)為例的屏幕顯示提示示意圖；
[0026] 圖10為本發(fā)明實(shí)施例中以手機(jī)為例的另一種屏幕顯示提示示意圖。

【具體實(shí)施方式】
[0027] 以下結(jié)合附圖實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
[0028] 本發(fā)明提供了一種智能移動(dòng)終端的視頻呈現(xiàn)方法，其主要特點(diǎn)是：采用智能移動(dòng) 終端拍攝視頻時(shí)，記錄下智能移動(dòng)終端在拍攝過程中的位移或/和旋轉(zhuǎn)信息，然后將智能 移動(dòng)終端在拍攝過程中的位移或/和旋轉(zhuǎn)信息與拍攝的視頻文件保存在一起；當(dāng)智能移動(dòng) 終端播放前述視頻文件時(shí)，也記錄下智能移動(dòng)終端的觀看過程中的位移或/和旋轉(zhuǎn)信息， 如果觀看過程中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移或/和旋轉(zhuǎn)信息相匹配，則播 放前述視頻文件。
[0029] 當(dāng)然，如果觀看過程中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移或/和旋轉(zhuǎn)信 息不匹配，且觀看過程中的位移或/和旋轉(zhuǎn)速度比拍攝過程中的位移或/和旋轉(zhuǎn)速度快，則 快速播放前述視頻文件；如果觀看過程中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移或/ 和旋轉(zhuǎn)信息不匹配，且觀看過程中位移或/和旋轉(zhuǎn)速度比拍攝過程中位移或/和旋轉(zhuǎn)速度 慢，則慢鏡頭放前述視頻文件；如果觀看者停止移動(dòng)，則停止播放前述視頻文件。
[0030] 以下詳細(xì)闡述本實(shí)施離的不同實(shí)現(xiàn)的方式：
[0031] [通過加速度傳感器檢測(cè)位移信息]
[0032] 智能移動(dòng)終端在移動(dòng)中拍攝視頻時(shí)，通過加速度傳感器，可以知道智能移動(dòng)終端 在空間上的加速度運(yùn)動(dòng)的方向和大小。不同智能移動(dòng)終端具有不同的加速度傳感器，可以 分別測(cè)量智能移動(dòng)終端的移動(dòng)加速度和轉(zhuǎn)動(dòng)加速度，其加速度傳感器系統(tǒng)接口和數(shù)據(jù)精度 也各有不同，主流包括移動(dòng)加速度傳感器（用于測(cè)量移動(dòng)加速度）和陀螺儀（用于測(cè)量轉(zhuǎn) 動(dòng)加速度），本實(shí)現(xiàn)方式中我們討論的是普及度比較高的移動(dòng)加速度傳感器，其它更高級(jí)的 傳感器能夠獲得更精確更靈敏的位移信息，但交互的行為原則是相同的。
[0033] 采用智能移動(dòng)終端拍攝視頻時(shí)，通過開啟智能移動(dòng)終端中自帶的能感知智能移動(dòng) 終端移動(dòng)加速度的移動(dòng)加速度傳感器，通過說動(dòng)加速度傳感器采集的數(shù)據(jù)，及智能移動(dòng)終 端記錄的時(shí)間，獲得智能移動(dòng)終端在拍攝過程中的位移信息；在智能移動(dòng)終端播放前述視 頻文件時(shí)，再次開啟移動(dòng)終端中自帶的能感知智能移動(dòng)終端的移動(dòng)加速度的移動(dòng)加速度傳 感器，通過移動(dòng)加速度傳感器采集的數(shù)據(jù)，及智能移動(dòng)終端記錄的時(shí)間，獲得智能移動(dòng)終端 的觀看過程中的位移。
[0034] 如圖1，以智能手機(jī)為例，定時(shí)采集x、y、z方向上的移動(dòng)加速度，其中z值體現(xiàn)了 以垂直于智能手機(jī)屏幕平面的運(yùn)動(dòng)方向，可以忽略，X和y表示橫向和縱向的移動(dòng)加速度， 并且X和y可理解為斜向運(yùn)動(dòng)的坐標(biāo)分解，設(shè)起始的速度為0,位移距離為0,數(shù)據(jù)采集周期 為瞬時(shí)采集到的加速度為ai(這個(gè)加速度已經(jīng)去除了重力），則瞬時(shí)速度Vi位移 s = SC=OViIii = 5]f={)(Sj=〇 響)!^。
[0035] 上述位移、速度和加速度都是矢量，即包含了角度和距離信息，移動(dòng)的距離可以是 曲線的，參見圖2中的S，我們可以簡化為直線向量，見圖3中的坐標(biāo)中的位移矢量S1，這樣 只要存儲(chǔ)一個(gè)點(diǎn)的信息。在這里我們?cè)O(shè)矢量Sl的角度為alpha，長度為d，在原點(diǎn)到Sl的 線上，均勻取點(diǎn)s〇、si、S2、…、sn，如圖2. a中"被均勻分解的位移矢量S1"。
[0036] [通過視頻圖像檢測(cè)位移信息]
[0037] 在實(shí)際應(yīng)用中，通過移動(dòng)加速度傳感器檢測(cè)到的位移精度非常低，只能判斷出大 概的運(yùn)動(dòng)方向和位移，為了提高精度，可通過分析攝像頭采集的圖像信息進(jìn)行輔助處理。 艮P :采用智能移動(dòng)終端拍攝視頻時(shí)，先通過按幀對(duì)視頻文件的視頻畫面檢測(cè)出拍攝過程中 的位移或/和旋轉(zhuǎn)信息的方向和相對(duì)距離，然后再通過加速度傳感器采集的數(shù)據(jù)，及智能 移動(dòng)終端記錄的時(shí)間，獲得智能移動(dòng)終端在拍攝過程中的位移或/和旋轉(zhuǎn)信息；在智能移 動(dòng)終端播放前述視頻文件時(shí)，打開智能移動(dòng)終端的前置攝像頭，拍攝前置畫面，同樣通過按 幀對(duì)前置畫面檢測(cè)出位觀看過程的位移或/和旋轉(zhuǎn)信息的方向和相對(duì)距離，然后再通過加 速度傳感器采集的數(shù)據(jù)，及智能移動(dòng)終端記錄的時(shí)間，獲得智能移動(dòng)終端在觀看過程中的 位移或/和旋轉(zhuǎn)信息。
[0038] 同樣以手機(jī)為例，手機(jī)在移動(dòng)中拍攝視頻時(shí)，可以通過按幀對(duì)視頻畫面檢測(cè)出位 移的方向和相對(duì)距離，如圖4,盡管我們無法獲得精確的運(yùn)動(dòng)距離，但我們還是可以獲得相 對(duì)位移大小而不關(guān)心景物的遠(yuǎn)近。同樣的，在視頻播放時(shí)，我們同時(shí)打開前置攝像頭，拍攝 前置畫面，檢測(cè)人臉，如果去除檢測(cè)到的人臉還有背景，則可用同樣的方法獲得相對(duì)位移信 息，如圖5,注意此時(shí)顯示的是播放的視頻，為方便說明問題，圖中顯示的是攝像頭采集的信 息，人臉作為定位基準(zhǔn)，不作為判斷位移的信息，前置攝像頭采集視頻用來判斷位移，非顯 示視頻。盡管由于前置攝像頭采集的背景畫面跟播放視頻的景物的遠(yuǎn)近不同而會(huì)造成位移 快慢和距離的誤差，但這并不影響系統(tǒng)在各自相同環(huán)境下移動(dòng)快慢的處理。如果檢測(cè)不到 人臉，則直接用整個(gè)視頻畫面判斷位移；如果檢測(cè)到全部是人臉而沒有背景畫面，則不做播 放處理或提供一些有趣的提示，比如屏幕可以直接顯示前置攝像頭采集的畫面。
[0039] [通過陀螺儀檢測(cè)轉(zhuǎn)動(dòng)信息]
[0040] 鑒于目前的業(yè)界的技術(shù)水平難以獲取精確的手機(jī)位移信息，即使通過圖像檢測(cè)位 移也會(huì)有較大計(jì)算量，而獲取準(zhǔn)確的手機(jī)轉(zhuǎn)動(dòng)角度信息比較容易，因此我們可以采用以轉(zhuǎn) 動(dòng)角度來驅(qū)動(dòng)播放視頻方式實(shí)現(xiàn)這個(gè)浸入式體驗(yàn)會(huì)更容易。即：采用智能移動(dòng)終端拍攝視 頻時(shí)，通過開啟智能移動(dòng)終端中自帶的能感知智能移動(dòng)終端的轉(zhuǎn)動(dòng)加速度的陀螺儀，通過 陀螺儀采集的數(shù)據(jù)，及智能移動(dòng)終端記錄的時(shí)間，獲得智能移動(dòng)終端在拍攝過程中的旋轉(zhuǎn) 信息；在智能移動(dòng)終端播放前述視頻文件時(shí)，再次開啟移動(dòng)終端中自帶的能感知智能移動(dòng) 終端的轉(zhuǎn)動(dòng)加速度的陀螺儀，通過陀螺儀采集的數(shù)據(jù)，及智能移動(dòng)終端記錄的時(shí)間，獲得智 能移動(dòng)終端的觀看過程中旋轉(zhuǎn)信息。
[0041] 同樣以手機(jī)為例，視頻觀看者拿起手機(jī)以身體為軸轉(zhuǎn)動(dòng)時(shí)，通過陀螺儀就可以獲 取手機(jī)旋轉(zhuǎn)角度。為方便描述，我們定義手機(jī)不同時(shí)間采集到的角度值為a0、al、a2、… an。如圖6所示：正對(duì)拿起手機(jī)，以身體為軸旋轉(zhuǎn)an度角。在三維空間的角度可以投影到 x、y、z三個(gè)方向的平面，根據(jù)手機(jī)當(dāng)前的姿態(tài)不同，我們只選取X或y方向的角度分量的變 化值，作為離散的a0、al、a2、…an采樣值。
[0042] 以上兩個(gè)方式中，描述的是基于位移或旋轉(zhuǎn)的播放，即：
[0043] 播放視頻時(shí)，將視頻的時(shí)間變量t，替換為位移變量s，即將原先的視頻由t0、tl、 t2、…、tn的時(shí)間點(diǎn)顯示各幀^)、？1、？2、*"、？11，轉(zhuǎn)變?yōu)樵诟鱾€(gè)空間位移點(diǎn)8〇、81、82、*"、 sn顯示各幀。如圖7,系統(tǒng)化描述為Fn=f(tn) =f(sn)，其中Fn為當(dāng)前播放幀，tn為某個(gè) 時(shí)間點(diǎn)，snS某個(gè)空間點(diǎn)，f和f為時(shí)間和空間映射到播放幀的函數(shù)。注意，時(shí)間和空間是 連續(xù)的，播放幀是離散的，應(yīng)此通過下標(biāo)n來表示連續(xù)到離散的有意義的取值范圍。實(shí)際上 手機(jī)對(duì)加速度狀態(tài)信息采樣也是離散的，可能在移動(dòng)速度較快的情況下無法采集到某些位 移點(diǎn)。需要將位移的取值跟幀匹配起來，從而確保位移了 Sl時(shí)播放完全部視頻幀序列，假 設(shè)播放時(shí)檢測(cè)到瞬時(shí)的位移ds，視頻總共有m幀，則需要播放的視頻為m*ds/Sl幀，取整數(shù) 部分，小數(shù)部分留給后面?？梢钥闯觯看挝灰苽鞲胁蓸涌赡軐?duì)應(yīng)需要播放的幀數(shù)可能小于 1，也可能很大，比如幾十幀。
[0044] 類似的，播放視頻時(shí)，將視頻的時(shí)間變量t，替換為角度旋轉(zhuǎn)變量a，即將原先的視 頻由t0、tl、t2、…、tn的時(shí)間點(diǎn)顯示各幀^)、？1、？2、?、？11，轉(zhuǎn)變?yōu)樵诟鱾€(gè)旋轉(zhuǎn)角度點(diǎn)&0、 al、a2、…、an顯示各幀。如圖7,其播放幀的時(shí)間函數(shù)映射到角度函數(shù)的邏輯是一致的。
[0045] 為了提高播放時(shí)的順滑度，我們對(duì)計(jì)算位移變量的加速度施加一個(gè)低通濾波，表 達(dá)式為beta^ai+d-betah^，beta大于0小于1，beta越小濾波越強(qiáng)，建議值取0. 3。用 戶很難做到勻速的移動(dòng)，甚至位移播放的時(shí)候還會(huì)存在抖動(dòng)，因此設(shè)定一個(gè)緩沖區(qū)Jitter buffer，緩沖區(qū)大小建議為10?20幀，該緩沖區(qū)輸入需要播放的視頻文件的幀序列編號(hào)和 播放時(shí)間戳，平滑時(shí)間戳后，輸出播放前述視頻文件，從而消除了抖動(dòng)。
[0046] 進(jìn)一步，應(yīng)該對(duì)移動(dòng)速度的偏差有一定容忍度，S卩：只要觀看過程中的位移或/和 旋轉(zhuǎn)信息與拍攝過程中的位移或/和旋轉(zhuǎn)信息偏差在預(yù)設(shè)的容錯(cuò)范圍內(nèi)，即認(rèn)為觀看過程 中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移或/和旋轉(zhuǎn)信息相匹配。比如播放時(shí)移動(dòng)的 速度跟錄制時(shí)速度偏差在v_theta以內(nèi)（建議值50% )，則可按原始速率播放，超出容錯(cuò)偏 差范圍的運(yùn)動(dòng)才快進(jìn)或慢鏡頭如果位移速度過快，可以考慮跳幀播放視頻。為了提高易用 性，我們?cè)试S觀看者和錄制者的位移有一些偏差；只要兩者位移角度能在45度范圍內(nèi)匹配 即可響應(yīng)。如圖8,相同位移方向的前后45度范圍內(nèi)為播放區(qū)域,相反方向前后45度為倒 放區(qū)域，其它區(qū)域?yàn)闊o響應(yīng)區(qū)域；我們將這45度范圍稱為容錯(cuò)角r_theta，我們可以根據(jù)需 要調(diào)整r_theta角大小來控制兩者的匹配精度。
[0047] 如果采用角度旋轉(zhuǎn)驅(qū)動(dòng)播放視頻，從易用性出發(fā)，則可以只考慮左右轉(zhuǎn)動(dòng)兩個(gè)方 向的旋轉(zhuǎn)角度，即同向旋轉(zhuǎn)為正常播放，逆向旋轉(zhuǎn)為倒放。
[0048] 不同于通常的播放方式，本方法需要通過用戶移動(dòng)或/和旋轉(zhuǎn)手機(jī)來觀看視頻， 提供直觀簡潔的交互提示是比較重要的。當(dāng)智能移動(dòng)終端播放前述視頻文件時(shí)，同時(shí)在視 頻文件播放界面提示智能移動(dòng)終端在拍攝過程中的位移或/和旋轉(zhuǎn)信息，觀看者根據(jù)視頻 文件播放界面提示的位移或/和旋轉(zhuǎn)信息來移動(dòng)或旋轉(zhuǎn)智能移動(dòng)終端。同樣以手機(jī)為例， 參見圖9,手機(jī)屏幕中箭頭不但指示了位移或/和旋轉(zhuǎn)的方向，同時(shí)也體現(xiàn)了當(dāng)前視頻播放 的進(jìn)度。圖10是另一種設(shè)計(jì)方案，圈內(nèi)的圓球的方位指示了位移或/和旋轉(zhuǎn)的方向，如果 位移時(shí)讓圓球處于圓圈中心則移動(dòng)或/和旋轉(zhuǎn)速度正好，如果移動(dòng)或/和旋轉(zhuǎn)過快使得視 頻快進(jìn)，則圓球會(huì)處于反方向的位置；外圈的粗線條表示視頻播放進(jìn)度。應(yīng)當(dāng)了解，這些交 互設(shè)計(jì)主要需要體現(xiàn)兩方面信息，一是位移或/和旋轉(zhuǎn)方向，二是播放進(jìn)度；
[0049] 當(dāng)然，在位移播放視頻畫面同時(shí)，也應(yīng)同時(shí)播放音頻，由于觀看者和錄制者位移 (旋轉(zhuǎn)）的速度不一定能達(dá)到一致，需要對(duì)播放的音頻進(jìn)行處理。有兩種策略，一是變速不 變調(diào)，二是直接變速變調(diào)；前者保證音頻信息的真實(shí)性，后者的速度可變?cè)挸潭雀笠哺?趣。我們可以根據(jù)實(shí)際需要選取不同的策略。
[0050] 綜上，本發(fā)明的創(chuàng)新之處在于：
[0051] a.拍攝視頻時(shí)除了保存音視頻信息外，還保存了位移（旋轉(zhuǎn)）信息，可讓觀看者另 一個(gè)新的媒體維度體驗(yàn)視頻；
[0052] b.全新的播放視頻方式，不是傳統(tǒng)的基于時(shí)間變量來按幀顯示視頻畫面，而是按 照位移（旋轉(zhuǎn)）變量來按幀顯示畫面；
[0053] c.可代替全景照片的拍攝和瀏覽體驗(yàn)，降低拍攝者的穩(wěn)定性要求，拍攝全景角度 任意大（一圈360都可以支持），拍攝方向任意（上下左右、斜角都可以），觀看者的觀看體 驗(yàn)也更加豐富和有趣。
【權(quán)利要求】
1. 一種智能移動(dòng)終端的視頻呈現(xiàn)方法，其特征在于：采用智能移動(dòng)終端拍攝視頻時(shí)， 記錄下智能移動(dòng)終端在拍攝過程中的位移或/和旋轉(zhuǎn)信息，然后將智能移動(dòng)終端在拍攝過 程中的位移或/和旋轉(zhuǎn)信息與拍攝的視頻文件保存在一起；當(dāng)智能移動(dòng)終端播放前述視頻 文件時(shí)，也記錄下智能移動(dòng)終端的觀看過程中的位移或/和旋轉(zhuǎn)信息，如果觀看過程中的 位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移或/和旋轉(zhuǎn)信息相匹配，則播放前述視頻文件。
2. 根據(jù)權(quán)利要求1所述的智能移動(dòng)終端的視頻呈現(xiàn)方法，其特征在于：采用智能移動(dòng) 終端拍攝視頻時(shí)，通過開啟智能移動(dòng)終端中自帶的能感知智能移動(dòng)終端的轉(zhuǎn)動(dòng)加速度或/ 和移動(dòng)加速度的加速度傳感器設(shè)備，通過加速度傳感器采集的數(shù)據(jù)，及智能移動(dòng)終端記錄 的時(shí)間，獲得智能移動(dòng)終端在拍攝過程中的位移或/和旋轉(zhuǎn)信息；在智能移動(dòng)終端播放前 述視頻文件時(shí)，再次開啟移動(dòng)終端中自帶的能感知智能移動(dòng)終端的轉(zhuǎn)動(dòng)加速度或/和移動(dòng) 加速度的加速度傳感器設(shè)備，通過加速度傳感器采集的數(shù)據(jù)，及智能移動(dòng)終端記錄的時(shí)間， 獲得智能移動(dòng)終端的觀看過程中的位移或/和旋轉(zhuǎn)信息。
3. 根據(jù)權(quán)利要求2所述的智能移動(dòng)終端的視頻呈現(xiàn)方法，其特征在于：采用智能移動(dòng) 終端拍攝視頻時(shí)，先通過按幀對(duì)視頻文件的視頻畫面檢測(cè)出拍攝過程中的位移或/和旋轉(zhuǎn) 信息的方向和相對(duì)距離，然后再通過加速度傳感器采集的數(shù)據(jù)，及智能移動(dòng)終端記錄的時(shí) 間，獲得智能移動(dòng)終端在拍攝過程中的位移或/和旋轉(zhuǎn)信息；在智能移動(dòng)終端播放前述視 頻文件時(shí)，打開智能移動(dòng)終端的前置攝像頭，拍攝前置畫面，同樣通過按幀對(duì)前置畫面檢測(cè) 出位觀看過程的位移或/和旋轉(zhuǎn)信息的方向和相對(duì)距離，然后再通過加速度傳感器采集的 數(shù)據(jù)，及智能移動(dòng)終端記錄的時(shí)間，獲得智能移動(dòng)終端在觀看過程中的位移或/和旋轉(zhuǎn)信 肩、。
4. 根據(jù)權(quán)利要求1或2或3所述的智能移動(dòng)終端的視頻呈現(xiàn)方法，其特征在于：如果 觀看過程中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移或/和旋轉(zhuǎn)信息不匹配，且觀看過 程中的位移或/和旋轉(zhuǎn)速度比拍攝過程中的位移或/和旋轉(zhuǎn)速度快，則快速播放前述視頻 文件；如果觀看過程中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移或/和旋轉(zhuǎn)信息不匹配， 且觀看過程中位移或/和旋轉(zhuǎn)速度比拍攝過程中位移或/和旋轉(zhuǎn)速度慢，則慢鏡頭放前述 視頻文件；如果觀看者停止移動(dòng)，則停止播放前述視頻文件。
5. 根據(jù)權(quán)利要求1或2或3所述的智能移動(dòng)終端的視頻呈現(xiàn)方法，其特征在于：通過 以下方式獲得智能移動(dòng)終端在觀看過程或拍攝過程中的位移信息： 設(shè)智能移動(dòng)終端的起始的速度為〇，位移距離為〇，智能移動(dòng)終端的加速度傳感器 設(shè)備采集數(shù)據(jù)的周期為h，智能移動(dòng)終端的加速度傳感器設(shè)備瞬時(shí)采集到的加速度為 ai，則智能移動(dòng)終端瞬時(shí)速度
，智能移動(dòng)終端的位移信I

6. 根據(jù)權(quán)利要求1或2或3所述的智能移動(dòng)終端的視頻呈現(xiàn)方法，其特征在于：通過 以下方式獲得智能移動(dòng)終端在觀看過程或拍攝過程中的位移信息： 設(shè)智能移動(dòng)終端的起始的速度為〇,位移距離為〇,智能移動(dòng)終端的加速度傳感器設(shè)備 采集數(shù)據(jù)的周期為h，智能移動(dòng)終端的加速度傳感器設(shè)備瞬時(shí)采集到的加速度為％，計(jì)算 低通濾波后的加速度將a/，a/ = 0. 3*ai+0. 7*ai_i，智能移動(dòng)終端瞬時(shí)速度
智能移動(dòng)終端的位移信息
7. 根據(jù)權(quán)利要求1或2或3所述的智能移動(dòng)終端的視頻呈現(xiàn)方法，其特征在于：在智 能移動(dòng)終端播放前述視頻文件時(shí)，設(shè)定一個(gè)緩沖區(qū)，緩沖區(qū)大小為10?20幀，該緩沖區(qū)輸 入需要播放的視頻文件的幀序列編號(hào)，然后按幀序列順序輸出播放前述視頻文件。
8. 根據(jù)權(quán)利要求1或2或3所述的智能移動(dòng)終端的視頻呈現(xiàn)方法，其特征在于：觀看 過程中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移或/和旋轉(zhuǎn)信息偏差在預(yù)設(shè)的容錯(cuò)范圍 內(nèi)，即認(rèn)為觀看過程中的位移或/和旋轉(zhuǎn)信息與拍攝過程中的位移或/和旋轉(zhuǎn)信息相匹配。
9. 根據(jù)權(quán)利要求1或2或3所述的智能移動(dòng)終端的視頻呈現(xiàn)方法，其特征在于：當(dāng)智 能移動(dòng)終端播放前述視頻文件時(shí)，同時(shí)在視頻文件播放界面提示智能移動(dòng)終端在拍攝過程 中的位移或/和旋轉(zhuǎn)信息，觀看者根據(jù)視頻文件播放界面提示的位移或/和旋轉(zhuǎn)信息來移 動(dòng)或旋轉(zhuǎn)智能移動(dòng)終端。
【文檔編號(hào)】G06F3/0484GK104394451SQ201410734878
【公開日】2015年3月4日 申請(qǐng)日期:2014年12月5日 優(yōu)先權(quán)日:2014年12月5日
【發(fā)明者】錢曉炯, 龔忠耀, 董澤 申請(qǐng)人:寧波菊風(fēng)系統(tǒng)軟件有限公司