視頻數(shù)據(jù)提供的制作方法
【專利說明】視頻數(shù)據(jù)提供
[0001]本發(fā)明涉及通過通信介質(zhì)提供視頻數(shù)據(jù)。具體涉及捕獲和提供用于編輯成短視頻序列的已錄制或現(xiàn)場直播節(jié)目的視頻提取物或視頻“集錦”。這些集錦的提供是很多電視業(yè)務(wù)尤其是體育領(lǐng)域的重要部分。
[0002]通常使用直接或參考片段內(nèi)的關(guān)鍵事件定義每個視頻剪輯的開始點和結(jié)束點的標(biāo)準(zhǔn)數(shù)字視頻編輯工具來從較長的視頻序列中創(chuàng)建編輯“集錦”剪輯序列所需的提取物。通常將每個剪輯保存為獨立文件，隨后可以將該獨立文件提供給觀眾。通常，向請求“集錦”序列的觀眾提供從中檢索構(gòu)成所需序列的剪輯的一個地址或者一組地址。
[0003]已知的是，例如，國際專利說明書W02004/025508提供了一種用于識別視頻序列中的“集錦”以便向觀眾提供導(dǎo)航幫助或者簡化和降低視頻制作和編輯的成本的自動化過程。現(xiàn)有技術(shù)通常通過分析視頻序列中的視頻或音頻水平的變化自動識別視頻剪輯。更具體地，通常使用各種超直方圖、幀簽名、剪切檢測方法、隱藏字幕信息、音頻信息等等通過分析視頻信號的視頻、音頻和轉(zhuǎn)錄本部分來識別“集錦”視頻片段的邊界。例如，基于記錄的響應(yīng)于運動員的表現(xiàn)的觀眾歡呼聲的音量(US7831112)，或者基于對描述比分的圖像的區(qū)域的分析來檢測變化(US7983442)。另外已知的是，例如，歐洲專利申請EP142178為觀眾提供了手動標(biāo)記“集錦”以便以后訪問。
[0004]這些方法通過為每個視頻剪輯的開始和結(jié)束指定具體時間碼來定義每個視頻剪輯。用于定義集錦剪輯的該方法本來是不可變更的，這是因為它只定義了剪輯的長度，沒有關(guān)于該剪輯中的關(guān)鍵事件的進(jìn)一步的信息(諸如，足球比賽中的進(jìn)球)。類似地，通過開始點和結(jié)束點定義的剪輯必然確定了每個剪輯的長度和所得到的集錦序列的長度，該得到的集錦序列指示了傳送和觀看整個序列所需要的時間。
[0005]標(biāo)準(zhǔn)視頻傳送機(jī)制按片段下載視頻序列，按從每個剪輯的開頭到結(jié)束的序列進(jìn)行傳送。例如，當(dāng)因為連接丟失時可能會發(fā)生一些狀況，僅可以部分地下載視頻剪輯，結(jié)果呈現(xiàn)的所下載的視頻剪輯不包括實際進(jìn)球(或救球)、賽點(贏或者救球)、接球(沒接到球或者反之)，擊球(入洞或者沒入洞)等的關(guān)鍵時刻。
[0006]這種中斷也可能導(dǎo)致不能一起傳送序列中的后續(xù)剪輯。特別的問題是如果后來的剪輯丟失，觀眾將錯過體育比賽的高潮和最終結(jié)果。
[0007]不同的觀眾可能也希望通過變化序列中的各個剪輯的數(shù)量和/或長度來觀看不同時期的“集錦”序列。
[0008]當(dāng)剪輯是集錦顯示或播放列表中的將被順序播放的剪輯序列中的一個時，剪輯中的關(guān)鍵事件的信息缺失也阻礙智能傳送和回放。
[0009]本發(fā)明使用一種用于識別和規(guī)定視頻序列中的“集錦”的新方法，該新方法可以用于改進(jìn)視頻集錦剪輯的傳送并且向用戶提供增強的視頻回放工具。
[0010]本發(fā)明提供了一種從根據(jù)需要傳送和回放的視頻數(shù)據(jù)序列中產(chǎn)生視頻剪輯的方法，其中，該序列由視頻數(shù)據(jù)的離散元素組成，其中，由事件標(biāo)簽和前/后事件比率標(biāo)識每個剪輯，該事件標(biāo)簽定義了序列中的離散元素中的一個，并且前/后事件比率確定了該剪輯在由事件標(biāo)簽定義的元素之前的持續(xù)時間與該剪輯在由事件標(biāo)簽定義的元素之后的持續(xù)時間的相對比例，并且其中，響應(yīng)于對通過參考事件標(biāo)簽標(biāo)識的視頻剪輯數(shù)據(jù)的請求，組成每個剪輯的視頻數(shù)據(jù)的離散元素被分配給以與事件標(biāo)簽有關(guān)的元素開始并且接下來按照由如/后時間比率確定的順序的序列。
[0011]本發(fā)明還提供了一種用于從根據(jù)需要傳送和回放的視頻數(shù)據(jù)的序列中產(chǎn)生視頻剪輯的視頻服務(wù)平臺，該視頻服務(wù)平臺包括:
[0012]視頻存儲器，其用于以視頻數(shù)據(jù)的一系列離散元素的形式存儲視頻序列；
[0013]檢索系統(tǒng)，其用于檢索視頻數(shù)據(jù)的離散元素；
[0014]客戶端界面，其用于接收對一個或更多個視頻剪輯的序列的請求，由標(biāo)識視頻數(shù)據(jù)的元素的事件標(biāo)簽定義每個請求的剪輯；
[0015]事件比率確定處理器，其用于識別與每個請求的剪輯相關(guān)的前/后事件比率，該前/后事件比率確定剪輯在由事件標(biāo)簽定義的元素之前的持續(xù)時間與剪輯在由事件標(biāo)簽定義的元素之后的持續(xù)時間的相對比例，
[0016]其中，檢索處理器被布置成檢索視頻數(shù)據(jù)的離散元素，由事件標(biāo)簽和與所請求的數(shù)據(jù)相關(guān)的前-后事件比率確定這些離散元素被檢索的順序，使得將組成每個剪輯的離散元素分配給以與事件標(biāo)簽有關(guān)的元素開始并且接下來按照由前/后事件比率確定的順序的序列。
[0017]作為對視頻服務(wù)平臺的補充，本發(fā)明還提供了一種用于從根據(jù)需要傳送和回放的視頻數(shù)據(jù)的序列產(chǎn)生視頻剪輯的視頻服務(wù)平臺，該視頻服務(wù)平臺包括:
[0018]視頻存儲器，其用于以視頻數(shù)據(jù)的一系列離散元素的形式存儲視頻序列；
[0019]檢索系統(tǒng)，其用于檢索視頻數(shù)據(jù)的離散元素；
[0020]客戶端界面，其用于接收對一個或更多個視頻剪輯的序列的請求，由識別視頻數(shù)據(jù)的元素的事件標(biāo)簽定義每個請求的剪輯；
[0021]事件比率確定處理器，其用于識別與每個請求的剪輯相關(guān)的前/后事件比率，該前/后事件比率確定該剪輯在由事件標(biāo)簽定義的元素之前和該剪輯在由事件標(biāo)簽定義的元素之后的相對持續(xù)時間，
[0022]其中，檢索處理器被布置成檢索視頻數(shù)據(jù)的離散元素，由事件標(biāo)簽和與所請求的數(shù)據(jù)相關(guān)的前-后事件比率確定這些離散元素被檢索的順序，使得將組成每個剪輯的離散元素分配給以與事件標(biāo)簽有關(guān)的元素開始并且接下來按照由前/后時間比率確定的順序的序列。
[0023]在優(yōu)選的布置中，由事件標(biāo)簽定義前-后事件比率。這允許以不同的方式傳送不同的事件類型。
[0024]本發(fā)明可以用于通過以序列的相反順序丟棄來自剪輯的離散元素來限制剪輯或一組剪輯的總持續(xù)時間。本發(fā)明還可以用于根據(jù)離散元素在序列中的位置傳送這些離散元素，從而確保在通信連接丟失的情況下，在這種中斷之前已經(jīng)被傳送的片段對于創(chuàng)建簡短的集錦序列而言是最重要的。
[0025]可以產(chǎn)生多個剪輯，將形成這些剪輯的元素形成為由它們各自的事件標(biāo)簽和前-后事件比率確定的單個序列。
[0026]為了降低正以與元素回放的順序不同的順序傳送的元素所導(dǎo)致的傳送的延遲，可以按照比形成后續(xù)剪輯的元素更高的壓縮比傳送早先以剪輯將被播放的順序形成一個或更多個剪輯的元素。
[0027]在向客戶端設(shè)備傳送視頻元素期間，可以將附加的剪輯和事件標(biāo)簽添加到數(shù)據(jù)庫，根據(jù)附加的剪輯和形成原始序列的那些剪輯的相對優(yōu)先順序，將與該附加的剪輯相關(guān)的數(shù)據(jù)元素插入到傳送序列中，從而允許在傳送期間更新“追趕(catch up)”服務(wù)。
[0028]可以根據(jù)傳送視頻元素所花費的時間來定義預(yù)定的最大剪輯或序列長度，從而定義了最大下載時間，這防止了傳送系統(tǒng)在低帶寬下過載。反而可以根據(jù)由視頻元素表示的序列的持續(xù)時間來定義該預(yù)定的最大值，從而定義了觀看所得到的視頻序列所花費的時間。無論在哪種情況下，如果與請求設(shè)備的連接丟失，則可以終止該傳送處理，但是因為元素與事件標(biāo)簽一起首先被傳送，所以存在由事件標(biāo)簽定義的關(guān)鍵時刻。
[0029]可以傳送多個剪輯，形成剪輯的元素將被傳送的順序由它們各自的事件標(biāo)簽和前-后事件比率確定。因此，可以為按與由其各自的事件標(biāo)簽標(biāo)識的事件的重要性和與其各自的事件標(biāo)簽相對的接近度二者相對應(yīng)的順序的傳送設(shè)置形成剪輯的序列的元素的優(yōu)先次序。
[0030]本發(fā)明利用了基于視頻塊(元素)與事件的關(guān)系允許視頻塊(元素)的優(yōu)先次序的機(jī)制，以便關(guān)于帶寬和可用時間的限制將視頻靈活地傳送和呈現(xiàn)給客戶端設(shè)備。
[0031]本發(fā)明使用事件時間碼和事件的知識以根據(jù)與視頻序列中的關(guān)鍵事件有關(guān)的單一的事件時間碼和比率來定義視頻剪輯。該比率確定了由時間碼識別的瞬間之前和之后的剪輯的相對持續(xù)時間。如我們的具有申請人參考A32513的共同未決申請所述，可以通過使用用戶概況和與由其他觀眾提供的多個“事件標(biāo)簽”的比較和聚集進(jìn)一步提煉事件時間碼。在優(yōu)選的方法中，接收客戶端設(shè)備定義了剪輯的持續(xù)時間，但是在另選的實施方式中，剪輯的定義和提供可以由基于網(wǎng)絡(luò)的服務(wù)器基于對終端客戶端、網(wǎng)絡(luò)連接和用戶的知識(例如，通過提供定制化的清單文件)來執(zhí)行。因此，用戶設(shè)備可以從服務(wù)器請求剪輯并且根據(jù)所需要的剪輯的持續(xù)時間將剪輯組成視頻序列。
[0032]本發(fā)明根據(jù)單個“書簽”定義了視頻剪輯，使用與書簽相關(guān)的元數(shù)據(jù)，這使得在帶寬和時間受限的情況下實現(xiàn)對體育視頻“集錦”剪輯的優(yōu)化的傳送和動態(tài)編輯。本發(fā)明還向觀眾提供了為體育電視節(jié)目的最喜歡的部分作書簽的能力，使得觀眾可以導(dǎo)航到節(jié)目中的具體事件并且分享視頻剪輯。
[0033]本發(fā)明使用觀眾定義的“臨時書簽”使得觀眾能夠識別出視頻序列(諸如，足球比賽中的進(jìn)球)中的多個關(guān)鍵事件。這些書簽作為時間碼與識別作為屬于某一類型的事件的時間碼的相關(guān)元數(shù)據(jù)一起被存儲。這種技術(shù)的關(guān)鍵的好處是只需要一個“事件標(biāo)簽”來創(chuàng)建集錦剪輯，其中，通?！斑M(jìn)”和“出”標(biāo)簽將需要被識別，以指定剪輯的開始點和結(jié)束點。具體地，因為單個“事件標(biāo)簽”與用于識別在所標(biāo)記的點之前和之后提供的