感知內(nèi)容的視頻尺寸調(diào)整的制作方法
【技術(shù)領(lǐng)域】
[0001]本描述涉及調(diào)整視頻的尺寸以適應(yīng)不同的高寬比，并且特別是涉及使用對視頻的內(nèi)容的感知來調(diào)整尺寸。
【背景技術(shù)】
[0002]視頻的產(chǎn)生和公布繼續(xù)增加，這是因?yàn)橐曨l攝像機(jī)變得較不昂貴并且視頻托管和分發(fā)服務(wù)繼續(xù)擴(kuò)展。同時(shí)，存在消費(fèi)視頻的很多不同的設(shè)備。屏幕分辨率和高寬比在不同的設(shè)備當(dāng)中廣泛地變化，并且常常不與視頻分辨率和屏幕尺寸相關(guān)。
[0003]為了在具有不同分辨率和高寬比的屏幕上顯示視頻，常常使用簡單的算法來拉伸或壓縮視頻以適合屏幕。然而，由這些變化引起的失真可能使視頻變得觀看起來令人不滿意。更頻繁地，使用柱或條，使得視頻可以以其原始格式顯示在屏幕上。這也可能觀看起來令人不滿意，給出屏幕沒有被充分使用的印象。具有480條線的視頻如果在1080線顯示器的480條線上顯示將顯得非常小。即使線(和列)加倍，視頻也將只填充960條線，在圍繞視頻的屏幕上產(chǎn)生明顯的邊界。
【附圖說明】
[0004]在附圖的圖中作為示例而不是作為限制示出了本發(fā)明的實(shí)施例，其中相似的附圖標(biāo)記表示相似的元件。
[0005]圖1是根據(jù)本發(fā)明的實(shí)施例的無線計(jì)算連續(xù)統(tǒng)一體的使用模型的框圖。
[0006]圖2是根據(jù)本發(fā)明的實(shí)施例的計(jì)算連續(xù)統(tǒng)一體的基于云的使用模型的框圖。
[0007]圖3-1是原始源視頻幀的圖。
[0008]圖3-2是使用線性插值的原始源視頻幀的拉伸版本的圖。
[0009]圖4-1是圖3-1的原始源視頻幀的圖。
[0010]圖4-2是根據(jù)本發(fā)明的實(shí)施例的原始源視頻幀的拉伸版本的圖。
[0011]圖5是根據(jù)本發(fā)明的實(shí)施例的具有從便攜式計(jì)算機(jī)到其它設(shè)備的視頻分布的無線計(jì)算連續(xù)統(tǒng)一體的使用模型的框圖。
[0012]圖6是根據(jù)本發(fā)明的實(shí)施例的具有從服務(wù)器到其它設(shè)備的視頻分布的計(jì)算連續(xù)統(tǒng)一體的基于云的使用模型的框圖。
[0013]圖7是根據(jù)本發(fā)明的實(shí)施例的感知內(nèi)容的調(diào)整視頻尺寸的過程流程圖。
[0014]圖8是根據(jù)本發(fā)明的實(shí)施例的確定視頻高寬比調(diào)節(jié)的框圖。
[0015]圖9是在邊緣檢測中使用的Sobel內(nèi)核的表。
[0016]圖10-1是第二原始源視頻幀的圖。
[0017]圖10-2是根據(jù)本發(fā)明的實(shí)施例的圖10-1的視頻幀的檢測邊緣的圖。
[0018]圖10-3是根據(jù)本發(fā)明的實(shí)施例的之前的視頻幀與圖10-2的視頻幀的檢測的邊緣比較的圖。
[0019]圖11-1是圖10-1的第二原始源視頻幀的圖。
[0020]圖11-2是根據(jù)本發(fā)明的實(shí)施例的圖10-2的視頻幀的邊緣的計(jì)算的能量的圖。
[0021]圖12-1是根據(jù)本發(fā)明的實(shí)施例的選定列的過程列表。
[0022]圖12-2是根據(jù)本發(fā)明的實(shí)施例的基于之前的過程列表來調(diào)節(jié)列能量的圖。
[0023]圖13-1是第三原始源視頻幀的圖。
[0024]圖13-2是使用線性插值的原始源視頻幀的拉伸版本的圖。
[0025]圖13-3是根據(jù)本發(fā)明的實(shí)施例的原始源視頻幀的拉伸版本的圖。
[0026]圖13-4是根據(jù)本發(fā)明的實(shí)施例的使用基于先前過程列表調(diào)節(jié)的列能量的原始源視頻幀的拉伸版本的圖。
[0027]圖14是根據(jù)本發(fā)明的實(shí)施例的基于選定列來調(diào)節(jié)列能量的圖。
[0028]圖15是根據(jù)本發(fā)明的實(shí)施例的使用選定列來創(chuàng)建兩個(gè)新列的圖。
[0029]圖16-1是第四原始源視頻幀的圖。
[0030]圖16-2是使用線性插值的圖16-1的原始源視頻幀的拉伸版本的圖。
[0031]圖16-3是根據(jù)本發(fā)明的實(shí)施例的使用經(jīng)調(diào)節(jié)的列能量值的圖16-1的原始源視頻幀的拉伸版本的圖。
[0032]圖17是適合于與本發(fā)明的實(shí)施例一起使用的計(jì)算機(jī)系統(tǒng)的框圖。
【具體實(shí)施方式】
[0033]計(jì)算機(jī)連續(xù)統(tǒng)一體使用模型廣泛用于在不同的設(shè)備之間共享信息(例如，圖像和視頻)。所述模型適用于例如，用于無線顯示的本地共享，以及適用于基于云的遠(yuǎn)程共享。圖1示出了計(jì)算連續(xù)統(tǒng)一體的本地場景。便攜式計(jì)算機(jī)10通過無線連接11連接到不同的設(shè)備。目前公共無線連接包括藍(lán)牙和WiFi。然而，可以存在包括WiDi的很多其它專用和標(biāo)準(zhǔn)化顯示連接。如所示出的，便攜式計(jì)算機(jī)可以連接到智能電話12、平板計(jì)算機(jī)、電子閱讀器、或媒體播放器16、電視機(jī)14和可以是便攜式的或固定的其它計(jì)算機(jī)18、桌面計(jì)算機(jī)、工作站或終端設(shè)備。
[0034]使用模型和視頻分布不限于所示設(shè)備，并可以包括攝像機(jī)、媒體服務(wù)器、有線或無線接收器、媒體播放器和其它設(shè)備。這些連接中的任一個(gè)或多個(gè)可以利用有線連接(例如，以太網(wǎng)、HDMI (高清多媒體接口 )、USB (通用串行總線)或Thunderbolt)來代替。便攜式計(jì)算機(jī)將視頻傳送到任一個(gè)或多個(gè)設(shè)備，其中每個(gè)設(shè)備可以具有不同的屏幕分辨率和高寬比。目前，智能電話和便攜式手持媒體播放器以很多不同的屏幕分辨率和高寬比出現(xiàn)。平板計(jì)算機(jī)類似地以很多不同的屏幕分辨率和高寬比出現(xiàn)。電視機(jī)看起來集中在16:9高寬比上，但被考慮提供720p、1080p和4K與8K電視機(jī)。計(jì)算機(jī)看起來目前集中在三個(gè)不同的高寬比上，但在那三個(gè)高寬比內(nèi)存在從1024x768到2560x1440的很多不同的分辨率。然而，在2880x1800下引入較高的像素密度監(jiān)視器，其可以改變計(jì)算機(jī)屏幕在未來如何被配置。雖然便攜式計(jì)算機(jī)被示為將視頻發(fā)送到其它設(shè)備，但是其它設(shè)備中的任一個(gè)可以將視頻傳送到其它設(shè)備中的任一個(gè)或多個(gè)。
[0035]圖2示出了類似的場景，其中在設(shè)備之間的連接通過云。服務(wù)器20將視頻發(fā)送到智能電話22、平板計(jì)算機(jī)、電子閱讀器、或媒體播放器26、桌面計(jì)算機(jī)24和便攜式計(jì)算機(jī)28。如在圖1中的，可以使用更多或更少的設(shè)備，并且可以使用更多或不同類型的設(shè)備，包括電視機(jī)和互聯(lián)網(wǎng)媒體接收器或流式傳送器。然而，在這個(gè)云連接使用模型中，雖然箭頭21表示視頻的分發(fā)，但是數(shù)據(jù)不是直接地而是通過云23被發(fā)送。服務(wù)器20表示遠(yuǎn)程服務(wù)器，例如，托管內(nèi)容的網(wǎng)站、在公司內(nèi)聯(lián)網(wǎng)內(nèi)的服務(wù)器、或設(shè)備可以連接到其以獲得內(nèi)容的任何其它類型的遠(yuǎn)程服務(wù)器。
[0036]目前，較少考慮調(diào)整計(jì)算機(jī)連續(xù)統(tǒng)一體使用模型的尺寸。雖然調(diào)整尺寸可以提供更好的用戶體驗(yàn)，但是在大部分情況下，源圖片和幀被傳輸?shù)竭h(yuǎn)程設(shè)備，而不考慮目標(biāo)設(shè)備的分辨率和屏幕高寬比。目標(biāo)設(shè)備可以調(diào)整視頻的尺寸或簡單地在柱框或字母框內(nèi)顯示視頻以補(bǔ)償差異。
[0037]當(dāng)發(fā)送設(shè)備不適應(yīng)目標(biāo)設(shè)備中的屏幕高寬比差異時(shí)，線性插值一般用于執(zhí)行實(shí)時(shí)圖像或視頻尺寸調(diào)整。線性插值是常用的，因?yàn)樗菀讓?shí)現(xiàn)。在其它實(shí)現(xiàn)中，使用seam曲線方法，然而這需要相當(dāng)多的處理資源并產(chǎn)生其它偽像。如果在目標(biāo)設(shè)備上的顯示器的寬度與高度的比率與內(nèi)容的原始高寬比不同(例如，從4:3到16:9)，則在每個(gè)視頻幀中的內(nèi)容被拉伸，使得用戶可以使用全屏模式來播放內(nèi)容。類似地，對于在標(biāo)準(zhǔn)寬度設(shè)備上的寬屏視頻，視頻的寬度可以通過線性插值來縮短。然而，通過使用線性插值算法來拉伸在每個(gè)幀中的所有內(nèi)容，內(nèi)容將失真。這可以引起終端用戶的差的用戶體驗(yàn)。
[0038]在圖3-1和3-2中示出了線性插值的失真的示例。在圖3-1中，原始源視頻具有4:3高寬比。在圖3-2中，使用線性插值將視頻拉伸到16:9高寬比。在這個(gè)示例中，這個(gè)視頻幀的最重要的內(nèi)容是歌手31。終端用戶可以容易地檢測通過簡單地使用線性插值拉伸視頻而引起的圖像失真。作為調(diào)整尺寸后的幀的結(jié)果，歌手的臉32明顯比它應(yīng)該有的更寬。這消極地影響用戶體驗(yàn)。類似地，如果視頻被壓縮用于更窄的顯示，則歌手的臉將太窄。
[0039]在本發(fā)明的實(shí)施例中，拉伸的圖像更好，因?yàn)樵趫D像中的最重要的內(nèi)容的高寬比被維持為接近自然高寬比。這減小了在圖像的重要部分中的失真，并提供了更好的用戶體驗(yàn)。
[0040]圖4-1示出了如在圖3-1中的原始視頻，而圖4-2示出了使用更好的方法拉伸的視頻的拉伸版本。如可以看到的，歌手的頭44在拉伸的視頻中不比在原始視頻42中更寬，但背景圖像被拉伸。例如，在原始視頻中的左邊被圈住的星星46在拉伸視頻中不再是圓的48，并且在右邊的文本“Talent” 38在拉伸視頻中也更寬40。雖然歌手的右肩膀49在圖4-2中被拉伸，但是這一般不令人分心，只要歌手的頭和臉出現(xiàn)為正常的。
[0041]在本發(fā)明的實(shí)施例中，可以實(shí)時(shí)地調(diào)整視頻內(nèi)容的尺寸。調(diào)整尺寸可以在計(jì)算連續(xù)統(tǒng)一體和云連續(xù)統(tǒng)一體中以及在其它使用模型中實(shí)現(xiàn)。作為結(jié)果，當(dāng)共享內(nèi)容、針對計(jì)算機(jī)連續(xù)統(tǒng)一體創(chuàng)建新使用模型時(shí)，提高了用戶體驗(yàn)。
[0042]如圖1所示的，當(dāng)前的計(jì)算機(jī)連續(xù)統(tǒng)一體使用模型將原始原封不動(dòng)的源幀直接發(fā)送11到接收器12、14、16、18，而沒有對目標(biāo)設(shè)備的分辨率和屏幕比進(jìn)行適應(yīng)。這可以在目標(biāo)設(shè)備處導(dǎo)致失真、字母加框、柱加框和其它負(fù)面效應(yīng)。
[0043]圖5的增強(qiáng)使用模型允許內(nèi)容發(fā)送器首先從接收設(shè)備接收57屏幕分辨率、屏幕高寬比信息和其它相關(guān)信息。其次，發(fā)送器根據(jù)目標(biāo)設(shè)備的配置例如通過實(shí)時(shí)感知內(nèi)容調(diào)整尺寸來相應(yīng)地使視頻適應(yīng)55。第三，調(diào)整尺寸后的幀使用更適當(dāng)?shù)囊曨l幀被發(fā)送51到