用于時(shí)移視頻的曝光計(jì)量的系統(tǒng)和方法
【專利說明】用于時(shí)移視頻的曝光計(jì)量的系統(tǒng)和方法
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本公開涉及申請(qǐng)?zhí)枮?4/292，316、標(biāo)題為“Systems and Methods for Time LapseVideo Acquisit1n and Compress1n”、代理人案號(hào)為P23505US1 (119-0811US1)的共同轉(zhuǎn)讓的美國專利申請(qǐng)的主題，該申請(qǐng)于2014年5月30日提交(“‘316申請(qǐng)”)。
技術(shù)領(lǐng)域
[0003]本公開總地涉及視頻捕捉領(lǐng)域，更具體地講，涉及獲取時(shí)移(timelapse)視頻時(shí)的曝光計(jì)量。
【背景技術(shù)】
[0004]便攜式集成計(jì)算設(shè)備的出現(xiàn)引起了照相機(jī)和視頻設(shè)備的廣泛激增。這些集成計(jì)算設(shè)備常采取智能電話或平板的形式，通常包括通用計(jì)算機(jī)、照相機(jī)、包括觸摸敏感屏幕的復(fù)雜用戶界面、以及通過WiF1、LTE、HSDPA和其他基于蜂窩的技術(shù)或無線技術(shù)的無線通信能力。這些集成設(shè)備的廣泛激增提供了使用該設(shè)備執(zhí)行任務(wù)的能力的機(jī)會(huì)，這些任務(wù)否則將需要專用的硬件和軟件。例如，如以上所指出的，集成設(shè)備，諸如智能電話和平板，通常具有一個(gè)或多個(gè)嵌入照相機(jī)。這些照相機(jī)通常相當(dāng)于可以通過通用計(jì)算機(jī)使用固件和/或軟件(例如，“App”)以及包括觸摸屏固定按鈕和非觸摸式控件(諸如語音控件)的用戶界面進(jìn)行控制的透鏡/照相機(jī)硬件模塊。
[0005]照相機(jī)集成到通信設(shè)備(諸如智能電話和平板)中使得人們能夠以以前永不可能的方式分享圖像和視頻?，F(xiàn)在，獲取照片并且立即通過經(jīng)由文本消息、SMS或電子郵件發(fā)送照片或者通過將照片上傳到基于互聯(lián)網(wǎng)的網(wǎng)站(諸如社交網(wǎng)站或照片共享網(wǎng)站)來與其他人分享照片是非常流行的。
[0006]在一些情況下希望的是，在跨越幾分鐘直至幾天的時(shí)間段的非常長的時(shí)間段捕捉視頻，并且加速這些視頻的回放以使得觀看者可以看見在短時(shí)間跨度(比如說二十至四十秒)發(fā)生的所有動(dòng)作。這常被稱為時(shí)移視頻。因此，需要?jiǎng)討B(tài)地加速時(shí)移視頻的回放、同時(shí)仍然生成具有令人愉悅的樣子的視頻的方法。

【發(fā)明內(nèi)容】

[0007]本文中公開了用于獲取時(shí)移視頻的設(shè)備和方法。在時(shí)移視頻中，圖像是以低于它們的回放幀率的幀率捕捉的(通常用每秒幀“fps”表達(dá))。以高于被捕捉的幀的捕捉速率的速率回放這些幀導(dǎo)致大多數(shù)人熟悉的時(shí)移效果。例如，盛開的花的圖像可能是在幾天或幾星期的時(shí)間段以每小時(shí)一幀的幀率捕捉的。當(dāng)以30fps的速率回放這些圖像時(shí)，花將表現(xiàn)為在大約幾秒之內(nèi)盛開。同樣地，日落可能是以每分鐘幾幀的幀率記錄，并且以正常幀率回放，以提供整個(gè)日落的20秒片段。
[0008]當(dāng)在延長時(shí)間段獲取圖像時(shí)，諸如周圍光的條件可能改變。例如，在花的例子中，周圍光隨著一天過去而改變，并且某些天可能比其他天更亮。許多照相機(jī)包括自動(dòng)曝光(AE)特征，AE特征自動(dòng)地基于光條件設(shè)置曝光參數(shù)，諸如快門速度、光圈設(shè)置、圖像傳感器靈敏度、白平衡等。照相機(jī)的AE特征調(diào)整視頻圖像拍攝期間的曝光參數(shù)以將周圍條件的變化考慮在內(nèi)。當(dāng)以正常幀率，例如，30fps拍攝時(shí)，周圍條件在隨后的圖像之間通常不會(huì)改變很多，因?yàn)殡S后的圖像之間的持續(xù)時(shí)間太短。因此，在隨后的圖像之間僅需要對(duì)曝光參數(shù)進(jìn)行小增量調(diào)整。
[0009]當(dāng)記錄時(shí)移視頻時(shí)，圖像的獲取不太頻繁，并且周圍條件在隨后的圖像之間可能改變很多。因此，照相機(jī)的AE功能可能在隨后的圖像之間更大地改變曝光參數(shù)。當(dāng)以高幀率回放具有明顯不同的曝光參數(shù)的順序圖像時(shí)，被稱為閃爍的閃光狀偽像可能被引入到回放的視頻中。
[0010]本文中所描述的方法和設(shè)備減小或阻止時(shí)移視頻中的閃爍效果。所述方法涉及對(duì)于每個(gè)捕捉時(shí)間捕捉一個(gè)圖像集合(bracket)，每個(gè)圖像具有不同的曝光值。一旦在整個(gè)持續(xù)時(shí)間捕捉到圖像，就從每個(gè)集合選擇單張圖像，并且將這些圖像編碼以形成時(shí)移視頻。每個(gè)集合中的圖像被選為最小化圖像之間的曝光參數(shù)的突然變化，從而最小化時(shí)移視頻中的閃爍。
【附圖說明】
[0011]圖1例示視頻記錄期間的變化的光條件和變化的相對(duì)曝光值。
[0012]圖2例示所計(jì)算的時(shí)移視頻記錄期間的相對(duì)曝光變化。
[0013]圖3例示在每個(gè)獲取時(shí)間使用包圍曝光(exposure bracket)來選擇具有局部類似的曝光值的圖像以提供沒有閃爍并且曝光變化平滑的時(shí)移視頻。
[0014]圖4例示用于捕捉并且處理時(shí)移視頻的示例性電子設(shè)備。
【具體實(shí)施方式】
[0015]公開了提供使一個(gè)或多個(gè)處理單元記錄時(shí)移視頻的指令的系統(tǒng)、方法和程序存儲(chǔ)設(shè)備。本文中所公開的技術(shù)適用于任何數(shù)量的具有顯示器的電子設(shè)備:諸如數(shù)字照相機(jī)、數(shù)字?jǐn)z像機(jī)、移動(dòng)電話、個(gè)人數(shù)字助理(PDA)、便攜式音樂播放器、監(jiān)視器、以及當(dāng)然，臺(tái)式、膝上型和平板計(jì)算機(jī)顯示器。
[0016]在以下描述中，為了說明的目的，闡述了許多特定細(xì)節(jié)，以便提供本發(fā)明構(gòu)思的透徹理解。作為該描述的一部分，本公開的一些附圖以框圖形式表示結(jié)構(gòu)和設(shè)備，以便避免模糊本發(fā)明。為了清晰，并非實(shí)際實(shí)現(xiàn)的所有特征都在本說明書中描述。而且，本公開中所使用的語言主要是出于可讀性和指導(dǎo)的目的而選擇的，可能未被選為描寫或界定本發(fā)明主題，依賴于權(quán)利要求是確定這樣的發(fā)明主題所必要的。本公開中對(duì)于“一個(gè)實(shí)施例”或“實(shí)施例”的論述意指，結(jié)合該實(shí)施例描述的特定的特征、結(jié)構(gòu)或特性被包括在本發(fā)明的至少一種實(shí)現(xiàn)中，并且對(duì)于“一個(gè)實(shí)施例”或“實(shí)施例”的多個(gè)論述不應(yīng)被理解為必定全都指的是同一個(gè)實(shí)施例。
[0017]將意識(shí)到在任何實(shí)際實(shí)現(xiàn)的開發(fā)中(如任何開發(fā)計(jì)劃中)，必需做出實(shí)現(xiàn)開發(fā)者的特定目標(biāo)(例如，與系統(tǒng)相關(guān)約束和業(yè)務(wù)相關(guān)約束的兼容性)的許多決策，并且這些目標(biāo)在不同實(shí)現(xiàn)中可以變化。還將意識(shí)到，這樣的開發(fā)工作可能是復(fù)雜的、耗時(shí)的，但是盡管如此，卻將是本領(lǐng)域的普通技術(shù)人員在設(shè)計(jì)受益于本公開的圖像處理系統(tǒng)的實(shí)現(xiàn)時(shí)承擔(dān)的日常工作。
[0018]時(shí)移通過以快于一系列圖像的獲取速率(在本文中稱為“獲取幀率”)的幀率(在本文中稱為“回放幀率”)回放這些圖像來實(shí)現(xiàn)。為了下面的討論，回放幀率將總是被假定為30fps，但是回放可以以任何速率，例如60fps。作為例子，以15fps的獲取幀率捕捉源視頻40秒得到600個(gè)圖像。以30fps的回放幀率回放這600個(gè)圖像得到20秒的時(shí)移視頻。為了創(chuàng)建跨越更長持續(xù)時(shí)間的事件的20秒時(shí)移視頻，需要更慢的獲取幀率。例如，以7.5fps的獲取幀率捕捉源視頻80秒得到600個(gè)圖像，這600個(gè)圖像可以以30fps回放以提供20秒的時(shí)移視頻。從48小時(shí)獲取的源視頻生成20秒的時(shí)移視頻將要求大約每五分鐘獲取一幀(再次，假定30fps回放速率)。
[0019]如果因?yàn)橛脩舨荒苤捞峁?gòu)成時(shí)移片段的適當(dāng)數(shù)量的圖像需要什么獲取幀率，所以他們不會(huì)提前知道他們將獲取多久的源視頻，則出現(xiàn)問題。該問題的解決方案是，以足夠高的幀率獲取源視頻，然后，當(dāng)獲取完成時(shí)，根據(jù)需要丟棄幀以得到適當(dāng)?shù)摹坝行省薄＠?，將源視頻的40秒片段縮減為20秒的時(shí)移視頻的方法將是:(1)以30fps的獲取幀率獲取源視頻40秒，得到1200個(gè)圖像；(2)丟棄一半圖像(例如，每隔一個(gè)圖像丟棄)，得到總共600個(gè)圖像；以及(3)以30fps回放剩余的600個(gè)圖像，得到20秒的時(shí)移視頻。因?yàn)橐话雸D像被丟棄，所以獲取幀率“有效地”為15fps，即使視頻實(shí)際上是以30fps獲取的。因此，術(shù)語“有效獲取幀率”在本文中用于指代剩余的圖像的數(shù)量除以真實(shí)獲取時(shí)間。當(dāng)以30fps回放時(shí)，視頻中的動(dòng)作將表現(xiàn)為以“逼真”動(dòng)作兩倍的速度移動(dòng)。為了從較長源視頻片段創(chuàng)建20秒的時(shí)移視頻，將必須丟棄更多圖像。例如，以30fps記錄的80秒的源視頻將得到2400個(gè)圖像。丟棄這些圖像中的1800個(gè)圖像(S卩，每四個(gè)圖像保存一個(gè))將留下600個(gè)圖像，再次提供用于以30fps回放的20秒的時(shí)移視頻。隨著獲取源視頻的時(shí)間長度增長，為了得到時(shí)移視頻而將被丟棄的圖像的數(shù)量也增加。
[0020]與本申請(qǐng)同時(shí)提交的共有的專利申請(qǐng)N0.14/292，316描述了用于獲取并且處理時(shí)移視頻的自適應(yīng)算法。專利申請(qǐng)N0.14/292,316的整個(gè)內(nèi)容通過引用并入本文。