本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域,特別是涉及一種視頻文件索引信息的生成方法和設(shè)備。
背景技術(shù):
視頻數(shù)據(jù)是互聯(lián)網(wǎng)上所占比例最大的數(shù)據(jù),視頻數(shù)據(jù)中包含了極其豐富的內(nèi)容信息,可以說(shuō)是一個(gè)“數(shù)據(jù)金礦”。每天產(chǎn)生的視頻數(shù)據(jù)的數(shù)量級(jí)巨大,但這些數(shù)據(jù)保存到存儲(chǔ)系統(tǒng)后很大一部分未做進(jìn)一步的分析利用,只是到期刪除或者存儲(chǔ)歸檔,典型的比如視頻監(jiān)控的數(shù)據(jù)在經(jīng)過(guò)很短的時(shí)間后就會(huì)被刪除。
針對(duì)上述問(wèn)題,在現(xiàn)有技術(shù)中通過(guò)視頻采集設(shè)備將視頻碼流推送到存儲(chǔ)服務(wù)器后對(duì)視頻數(shù)據(jù)進(jìn)行分析,視頻分析服務(wù)器對(duì)視頻進(jìn)行分析,輸出分析結(jié)果。
在實(shí)現(xiàn)本申請(qǐng)的過(guò)程中,申請(qǐng)人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下問(wèn)題:
在對(duì)視頻數(shù)據(jù)進(jìn)行分析時(shí)無(wú)結(jié)構(gòu)化的描述,不能更好的利用這些視頻數(shù)據(jù),并且由于視頻數(shù)據(jù)存儲(chǔ)量非常大,無(wú)法準(zhǔn)確找到需要的視頻信息。
技術(shù)實(shí)現(xiàn)要素:
本申請(qǐng)的目的在于提供一種視頻文件索引信息的生成方法和設(shè)備,通過(guò)對(duì)關(guān)鍵幀中前景目標(biāo)的分析得到的前景目標(biāo)的行為信息生成所述視頻文件的索引信息,服務(wù)器在生成的關(guān)鍵幀中前景目標(biāo)的行為信息對(duì)視頻文件進(jìn)行了結(jié)構(gòu)化的描述,以使服務(wù)器可以更好的利用這些視頻文件,并且所述服務(wù)器根據(jù)具有結(jié)構(gòu)化描述的索引信息可以盡快找到目標(biāo)視頻文件。
本申請(qǐng)的技術(shù)方案如下:
一種視頻文件索引信息的生成方法,所述方法包括:
服務(wù)器根據(jù)對(duì)視頻文件解碼后生成的編碼序列獲取所述視頻文件的前景目標(biāo);
所述服務(wù)器獲取在同一關(guān)鍵幀下的所有視頻幀的所述前景目標(biāo)的特征信息;
所述服務(wù)器根據(jù)所述特征信息對(duì)在同一關(guān)鍵幀下兩兩相鄰的視頻幀中的所述前景目標(biāo)進(jìn)行匹配生成所述關(guān)鍵幀下所述前景目標(biāo)的行為信息;
所述服務(wù)器根據(jù)所述關(guān)鍵幀下所述前景目標(biāo)的行為信息生成所述視頻文件的索引信息。
所述服務(wù)器根據(jù)對(duì)所述視頻文件解碼后生成的編碼序列獲取所述視頻文件的前景目標(biāo),具體為:
所述服務(wù)器確定所述視頻文件中包含的所有關(guān)鍵幀;
所述服務(wù)器根據(jù)所述視頻文件中包含的所有關(guān)鍵幀將所述視頻文件拆分為不同的子視頻文件;
所述服務(wù)器中具有解碼功能的多個(gè)子模塊按照負(fù)載均衡的方式對(duì)不同的子視頻文件進(jìn)行解碼,根據(jù)對(duì)不同子視頻文件解碼后生成的編碼序列獲取所述視頻文件的前景目標(biāo)。
所述索引信息還包括:
視頻文件的名稱(chēng)、關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置、相鄰關(guān)鍵幀之間的間隔幀數(shù);
其中,所述視頻文件的名稱(chēng)是所述服務(wù)器根據(jù)采集視頻文件的視頻采集設(shè)備的設(shè)備編號(hào)和視頻文件的采集時(shí)間生成的;
所述關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)是根據(jù)所述服務(wù)器對(duì)視頻文件進(jìn)行分析獲取的;
所述關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)的具體獲取方式包括以下步驟:
所述服務(wù)器中具有視頻分析功能的多個(gè)子模塊按照負(fù)載均衡的分配方式對(duì)不同的子視頻文件進(jìn)行分析,以使所述服務(wù)器獲取所述視頻文件中關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)。
所述特征信息包括:物理特征、紋理特征、結(jié)構(gòu)特征和數(shù)學(xué)特征。
所述服務(wù)器根據(jù)所述特征信息對(duì)在同一關(guān)鍵幀下兩兩相鄰的視頻幀中的所述前景目標(biāo)進(jìn)行匹配生成所述關(guān)鍵幀下所述前景目標(biāo)的行為信息,具體為:
所述服務(wù)器根據(jù)所述物理特征、紋理特征、結(jié)構(gòu)特征判斷同一關(guān)鍵幀下所有視頻幀中的同一前景目標(biāo);
所述服務(wù)器根據(jù)所述數(shù)學(xué)特征對(duì)同一關(guān)鍵幀下兩兩相鄰的視頻幀中同一個(gè)前景目標(biāo)進(jìn)行匹配生成所述前景目標(biāo)的行為信息。
一種服務(wù)器,所述服務(wù)器包括:
第一獲取模塊,用于根據(jù)對(duì)所述視頻文件解碼后生成的編碼序列獲取所述視頻文件的前景目標(biāo);
第二獲取模塊,用于獲取在同一關(guān)鍵幀下的所有視頻幀的所述前景目標(biāo)的特征信息;
第一生成模塊,用于根據(jù)所述特征信息對(duì)在同一關(guān)鍵幀下兩兩相鄰的視頻幀中的所述前景目標(biāo)進(jìn)行匹配生成所述關(guān)鍵幀下所述前景目標(biāo)的行為信息;
第二生成模塊,用于根據(jù)所述關(guān)鍵幀下所述前景目標(biāo)的行為信息生成所述視頻文件的索引信息。
所述第一獲取模塊,具體用于:
確定所述視頻文件中包含的所有關(guān)鍵幀;
根據(jù)所述視頻文件中包含的所有關(guān)鍵幀將所述視頻文件拆分為不同的子視頻文件;
所述第一獲取模塊中具有解碼功能的多個(gè)子模塊按照負(fù)載均衡的方式對(duì)不同的子視頻文件進(jìn)行解碼,根據(jù)對(duì)不同子視頻文件解碼后生成的編碼序列獲取所述視頻文件的前景目標(biāo)。
所述索引信息還包括:
視頻文件的名稱(chēng)、關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置、相鄰關(guān)鍵幀之間的間隔幀數(shù);
其中,所述視頻文件的名稱(chēng)是所述服務(wù)器根據(jù)采集視頻文件的視頻采集 設(shè)備的設(shè)備編號(hào)和視頻文件的采集時(shí)間生成的;
所述關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)是根據(jù)所述服務(wù)器中的分析模塊對(duì)視頻文件進(jìn)行分析獲取的;
所述分析模塊,具體用于:
所述分析模塊中具有視頻分析功能的多個(gè)子模塊按照負(fù)載均衡的分配方式對(duì)不同的子視頻文件進(jìn)行分析,以使所述服務(wù)器獲取所述視頻文件中關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)。
所述特征信息包括:物理特征、紋理特征、結(jié)構(gòu)特征和數(shù)學(xué)特征。
所述第一生成模塊,具體用于:
根據(jù)所述物理特征、紋理特征、結(jié)構(gòu)特征判斷同一關(guān)鍵幀下所有視頻幀中的同一前景目標(biāo);
根據(jù)所述數(shù)學(xué)特征對(duì)同一關(guān)鍵幀下兩兩相鄰的視頻幀中同一個(gè)前景目標(biāo)進(jìn)行匹配生成所述前景目標(biāo)的行為信息。
本申請(qǐng)通過(guò)對(duì)關(guān)鍵幀中前景目標(biāo)的分析得到的前景目標(biāo)的行為信息生成所述視頻文件的索引信息,服務(wù)器在生成的關(guān)鍵幀中前景目標(biāo)的行為信息對(duì)視頻文件進(jìn)行了結(jié)構(gòu)化的描述,以使服務(wù)器可以更好的利用這些視頻文件,并且所述服務(wù)器根據(jù)具有結(jié)構(gòu)化描述的索引信息可以盡快找到目標(biāo)視頻文件。
附圖說(shuō)明
為了更清楚地說(shuō)明本申請(qǐng)或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)本申請(qǐng)或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單的介紹,顯而易見(jiàn)地,下面描述中的附圖僅僅是本申請(qǐng)的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本申請(qǐng)實(shí)施例中的一種視頻文件索引信息的生成方法流程圖;
圖2為本申請(qǐng)實(shí)施例中的一種服務(wù)器的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面將結(jié)合本申請(qǐng)中的附圖,對(duì)本申請(qǐng)中的技術(shù)方案進(jìn)行清楚、完整的描述,顯然,所描述的實(shí)施例是本申請(qǐng)的一部分實(shí)施例,而不是全部的實(shí)施例?;诒旧暾?qǐng)中的實(shí)施例,本領(lǐng)域普通技術(shù)人員獲得的其他實(shí)施例,都屬于本申請(qǐng)保護(hù)的范圍。
一種視頻文件索引信息的生成方法,如圖1所示,所述方法包括以下步驟:
步驟101,服務(wù)器根據(jù)對(duì)視頻文件解碼后生成的編碼序列獲取所述視頻文件的前景目標(biāo)。
所述服務(wù)器根據(jù)對(duì)所述視頻文件解碼后生成的編碼序列獲取所述視頻文件的前景目標(biāo),具體為:
所述服務(wù)器確定所述視頻文件中包含的所有關(guān)鍵幀;
所述服務(wù)器根據(jù)所述視頻文件中包含的所有關(guān)鍵幀將所述視頻文件拆分為不同的子視頻文件;
所述服務(wù)器中具有解碼功能的多個(gè)子模塊按照負(fù)載均衡的方式對(duì)不同的子視頻文件進(jìn)行解碼,根據(jù)對(duì)不同子視頻文件解碼后生成的編碼序列獲取所述視頻文件的前景目標(biāo)。
具體的,為了達(dá)到快速處理視頻文件的目的,需要將所述視頻文件拆分成多個(gè)子視頻文件,所述服務(wù)器可以對(duì)多個(gè)子視頻文件同時(shí)處理。由于視頻文件是由視頻幀組成的,其中視頻幀中包含多個(gè)關(guān)鍵幀,關(guān)鍵幀下有多個(gè)子幀(非關(guān)鍵幀),其中,關(guān)鍵幀是角色或者物體運(yùn)動(dòng)或變化中的關(guān)鍵動(dòng)作所處的那一幀,在確定關(guān)鍵幀時(shí)是根據(jù)視頻幀的幀頭進(jìn)行確定,視頻幀的幀頭有一個(gè)標(biāo)識(shí)數(shù)值,可以根據(jù)所述標(biāo)識(shí)數(shù)值判斷視頻幀是否為關(guān)鍵幀,而一個(gè)關(guān)鍵幀下的子幀是對(duì)所述關(guān)鍵幀內(nèi)容的延續(xù),用于控制所述關(guān)鍵幀的延續(xù)時(shí)間,即子幀越多延續(xù)時(shí)間越長(zhǎng)。一個(gè)視頻中不同的關(guān)鍵幀表現(xiàn)的內(nèi)容可能是不同的,即一個(gè)視頻由多個(gè)部分組成,可以根據(jù)關(guān)鍵幀區(qū)分一個(gè)視頻文件中不同部分的內(nèi)容,進(jìn)而達(dá)到快速查找一個(gè)視頻文件中具體子視頻文件的目的,所 述服務(wù)器在確定出視頻文件中的關(guān)鍵幀之后對(duì)所述視頻文件進(jìn)行拆分,具體的拆分方法可以是將一個(gè)視頻文件從第1個(gè)關(guān)鍵幀開(kāi)始,按照GOP(Group of Pictures,畫(huà)面組,一個(gè)GOP就是一組連續(xù)的畫(huà)面)size大小將所述視頻文件拆分成多個(gè)子視頻文件。
所述服務(wù)器中具有解碼功能的多個(gè)子模塊,所述多個(gè)子模塊可以按照負(fù)載均衡的方式對(duì)不同的子視頻文件進(jìn)行解碼,根據(jù)對(duì)不同子視頻文件解碼后生成的編碼序列獲取所述視頻文件的前景目標(biāo),這樣可以達(dá)到快速對(duì)視頻文件處理的目的,對(duì)視頻文件解碼后生成的所述編碼序列是可以在顯示設(shè)備(電視、電腦)可以顯示的,具體的,所述編碼序列可以為YUV(Luma and Chroma,一種顏色編碼方法,用于優(yōu)化彩色視頻信號(hào)的傳輸)格式或RGB(Red Green Blue,一種顏色編碼的方法,用于在顯示設(shè)備上顯示彩色圖形)格式的編碼序列,在對(duì)子視頻文件進(jìn)行解碼后生成編碼序列,通過(guò)背景建模算法提取編碼序列中子視頻文件的背景部分,然后過(guò)濾掉前景目標(biāo)中的干擾部分,其中,所述前景目標(biāo)可以包括:人、車(chē)和其他,即:視頻中重點(diǎn)表現(xiàn)的事物。
步驟102,所述服務(wù)器獲取在同一關(guān)鍵幀下的所有視頻幀的所述前景目標(biāo)的特征信息。
所述特征信息包括:物理特征、紋理特征、結(jié)構(gòu)特征和數(shù)學(xué)特征。
所述物理特征描述的是前景目標(biāo)在畫(huà)面中的大小,所述紋理特征描述的是前景目標(biāo)的色彩,所述結(jié)構(gòu)特征描述的是前景目標(biāo)各個(gè)部分的形狀和構(gòu)造,所述數(shù)學(xué)特征描述的是前景目標(biāo)的移動(dòng)向量,以及物理特征、紋理特征、結(jié)構(gòu)特征的個(gè)數(shù)。
一個(gè)視頻文件中重點(diǎn)表現(xiàn)的是前景目標(biāo),通過(guò)對(duì)前景目標(biāo)的分析就能得到所述視頻文件的具體描述,在對(duì)視頻文件中的前景目標(biāo)進(jìn)行分析是需要獲取在一個(gè)視頻文件的同一關(guān)鍵幀下的子視頻文件中不同視頻幀的同一前景目標(biāo)的特征信息,通過(guò)對(duì)不同視頻幀的同一前景目標(biāo)的特征信息的分析就能完成所述子視頻文件中前景目標(biāo)的分析,具體的特征信息可以為:角點(diǎn)特征信息、sift(Scale-invariant feature transform,尺度不變特征轉(zhuǎn)換)特征信息,以及自定義的其他特征信息。
步驟103,所述服務(wù)器根據(jù)所述特征信息對(duì)在同一關(guān)鍵幀下兩兩相鄰的視頻幀中的所述前景目標(biāo)進(jìn)行匹配生成所述關(guān)鍵幀下所述前景目標(biāo)的行為信息。
所述服務(wù)器根據(jù)所述特征信息對(duì)在同一關(guān)鍵幀下兩兩相鄰的視頻幀中的所述前景目標(biāo)進(jìn)行匹配生成所述關(guān)鍵幀下所述前景目標(biāo)的行為信息,具體為:
所述服務(wù)器根據(jù)所述物理特征、紋理特征、結(jié)構(gòu)特征判斷同一關(guān)鍵幀下所有視頻幀中的同一前景目標(biāo);
所述服務(wù)器根據(jù)所述數(shù)學(xué)特征對(duì)同一關(guān)鍵幀下兩兩相鄰的視頻幀中同一個(gè)前景目標(biāo)進(jìn)行匹配生成所述前景目標(biāo)的行為信息。
具體的,在同一個(gè)關(guān)鍵幀下不同視頻幀中的同一前景目標(biāo)的物理特征、紋理特征和結(jié)構(gòu)特征是相同的,所述服務(wù)器可以根據(jù)前景目標(biāo)的物理特征、紋理特征、結(jié)構(gòu)特征判斷出同一關(guān)鍵幀下不同視頻幀中的同一前景目標(biāo),在判斷出同一前景目標(biāo)后,通過(guò)對(duì)比所述前景目標(biāo)在同一關(guān)鍵幀下的兩兩相鄰的視頻幀中的數(shù)學(xué)特征就能確定出所述前景目標(biāo)的行為信息,所述行為信息具體可以為:前景目標(biāo)的移動(dòng)向量(包括移動(dòng)距離和移動(dòng)方向)、前景目標(biāo)是否消失或前景目標(biāo)是否是新增加的等,所述前景目標(biāo)的行為信息可以當(dāng)成所述視頻文件中關(guān)鍵幀的結(jié)構(gòu)化描述。
步驟104,所述服務(wù)器根據(jù)所述關(guān)鍵幀下所述前景目標(biāo)的行為信息生成所述視頻文件的索引信息。
所述索引信息還包括:
視頻文件的名稱(chēng)、關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置、相鄰關(guān)鍵幀之間的間隔幀數(shù)。
其中,所述視頻文件的名稱(chēng)是所述服務(wù)器根據(jù)采集視頻文件的視頻采集設(shè)備的設(shè)備編號(hào)和視頻文件的采集時(shí)間生成的。
所述關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)是根據(jù)所述服務(wù)器對(duì)視頻文件進(jìn)行分析獲取的。
所述關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)的具體獲取方式包括以下步驟:
在所述服務(wù)器根據(jù)所述視頻文件中包含的所有關(guān)鍵幀將所述視頻文件拆分為不同的子視頻文件之后,所述服務(wù)器中具有視頻分析功能的多個(gè)子模塊按照負(fù)載均衡的分配方式對(duì)所述服務(wù)器不同的子視頻文件進(jìn)行分析,以使所述服務(wù)器獲取所述視頻文件中關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)。
具體的,根據(jù)視頻采集設(shè)備的設(shè)備編號(hào)和視頻文件的采集時(shí)間對(duì)采集的視頻文件命名不僅可以區(qū)分不同的視頻文件,還可以查找具體的視頻采集設(shè)備在具體的時(shí)間采集到的視頻文件,例如:用戶在查看監(jiān)控視頻時(shí)往往需要查找具體監(jiān)控設(shè)備在具體的時(shí)間采集到的視頻文件,用戶可以根據(jù)視頻文件的名稱(chēng)就可以找到自己需要的視頻文件。在獲取子視頻文件的關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)時(shí)是采用多個(gè)具有視頻分析功能的多個(gè)子模塊共同處理多個(gè)子視頻文件的方法,這樣可以減少獲取整個(gè)視頻文件中關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)的時(shí)間。
所述索引信息中包含了所述視頻文件中各個(gè)關(guān)鍵幀的結(jié)詳細(xì)描述,即所述視頻文件各個(gè)部分的詳細(xì)描述,根據(jù)索引信息中的視頻文件的名稱(chēng)可以找到具體的視頻文件,根據(jù)關(guān)鍵幀中前景目標(biāo)的行為信息可以確定不同關(guān)鍵幀重點(diǎn)表現(xiàn)內(nèi)容,根據(jù)關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置、相鄰關(guān)鍵幀之間的間隔幀數(shù)可以找到一個(gè)視頻文件中需要查找的目標(biāo)關(guān)鍵幀對(duì)應(yīng)的子視頻文件,例如:用戶想要查找某一監(jiān)控在某一時(shí)間產(chǎn)生的視頻中某個(gè)前景目標(biāo)消失的視頻文件,所述服務(wù)器根據(jù)所述監(jiān)控的編號(hào)和視頻產(chǎn)生的時(shí)間找到具體的視頻文件,再根據(jù)前景目標(biāo)的行為信息確定對(duì)應(yīng)的關(guān)鍵幀,在根據(jù)所述關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置、相鄰關(guān)鍵幀之間的間隔幀數(shù)就能確定出用戶需要查找的具體的內(nèi)容,即可以根據(jù)所述索引信息確定出所述視頻文件的具體部分的表現(xiàn)內(nèi)容,從而避免了在查找到具體的視頻文件后一點(diǎn)一點(diǎn)查找自己想要查找的內(nèi)容。
在確定出視頻文件的索引信息后,將所述索引信息生成表單結(jié)構(gòu),以使所述服務(wù)器為大數(shù)據(jù)查詢和分析做數(shù)據(jù)準(zhǔn)備,當(dāng)所述服務(wù)器在為用戶提供檢 索服務(wù)時(shí),將所述服務(wù)器收到檢索指令時(shí),按照用戶指令查找表單內(nèi)容進(jìn)行查找,若此時(shí)沒(méi)有查找到需要的視頻文件,所述服務(wù)器使用機(jī)器學(xué)習(xí)算法,利用前景目標(biāo)保存的特征信息進(jìn)行分類(lèi)識(shí)別,若有對(duì)應(yīng)的視頻文件則輸出指定的視頻文件,否則檢索服務(wù)失敗;當(dāng)所述服務(wù)器提供統(tǒng)計(jì)服務(wù)時(shí),所述服務(wù)器先調(diào)用檢索服務(wù),查找要統(tǒng)計(jì)的視頻文件,若無(wú)對(duì)應(yīng)的視頻文件,則通過(guò)聚類(lèi)算法進(jìn)行某類(lèi)視頻文件的聚類(lèi),若聚類(lèi)出視頻文件則輸出指定的視頻文件。否則統(tǒng)計(jì)服務(wù)失??;當(dāng)所述服務(wù)器提供預(yù)測(cè)服務(wù)時(shí),先調(diào)用檢索服務(wù)和統(tǒng)計(jì)服務(wù),根據(jù)歷史視頻文件做趨勢(shì)算法分析,提供預(yù)測(cè)結(jié)果。
在確定出所述索引信息后,所述方法還包括:
所述服務(wù)器獲取所述視頻文件的視頻編碼類(lèi)型;
所述服務(wù)器將所述視頻編碼類(lèi)型存儲(chǔ)在所述視頻文件的索引信息中,以使所述服務(wù)器在查找到目標(biāo)視頻所在的具體位置后根據(jù)所述視頻編碼類(lèi)型選擇對(duì)應(yīng)的播放器。
本申請(qǐng)通過(guò)對(duì)關(guān)鍵幀中前景目標(biāo)的分析得到的前景目標(biāo)的行為信息生成對(duì)應(yīng)關(guān)鍵幀的索引信息,服務(wù)器在生成關(guān)鍵幀中前景目標(biāo)的行為信息對(duì)視頻文件進(jìn)行了結(jié)構(gòu)化的描述,以使服務(wù)器可以真正利用這些視頻文件,并且所述服務(wù)器根據(jù)具有結(jié)構(gòu)化描述的關(guān)鍵幀的索引信息可以盡快找到目標(biāo)視頻文件。
下面結(jié)合具體的應(yīng)用場(chǎng)景的本申請(qǐng)實(shí)施例提供的技術(shù)方案的設(shè)計(jì)方式進(jìn)行詳細(xì)描述。在本申請(qǐng)實(shí)施例中,應(yīng)用于云計(jì)算的場(chǎng)景下,所述服務(wù)器包括云計(jì)算中的存儲(chǔ)集群和計(jì)算集群,具體如下:
所述存儲(chǔ)集群在接收到視頻文件后根據(jù)視頻采集設(shè)備的設(shè)備編號(hào)和所述視頻文件的采集時(shí)間對(duì)視頻文件進(jìn)行命名,同時(shí)按照采集設(shè)備的不同存儲(chǔ)在不同的目錄下,即同一采集設(shè)備采集的視頻文件存儲(chǔ)在同一目錄下。
所述存儲(chǔ)集群對(duì)保存的視頻文件進(jìn)行視頻編碼類(lèi)型分析,獲取所述視頻文件的視頻編碼類(lèi)型,所述視頻編碼類(lèi)型用于為所述視頻文件確定相應(yīng)的播放器。
所述存儲(chǔ)集群從所述視頻文件第1個(gè)關(guān)鍵幀開(kāi)始,按照GOP size將所述 視頻文件分割成多個(gè)小的子視頻文件,即從第一個(gè)關(guān)鍵幀開(kāi)始,根據(jù)所述視頻文件中的關(guān)鍵幀將所述視頻文件分割成多個(gè)子視頻文件,每個(gè)子視頻文件中包含多個(gè)視頻幀。
所述存儲(chǔ)集群將分割后的自視頻文件按照負(fù)載均衡的方法推送給計(jì)算集群中的不同計(jì)算設(shè)備上,以使計(jì)算集群中的不同計(jì)算設(shè)備對(duì)子視頻文件進(jìn)行視頻幀分析和解碼。
所述計(jì)算集群中的不同計(jì)算設(shè)備對(duì)子視頻文件進(jìn)行視頻幀類(lèi)型分析,獲取所述視頻文件中關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)。
所述計(jì)算集群中的不同計(jì)算設(shè)備對(duì)解碼后的子視頻文件進(jìn)行前背景分離,具體的,通過(guò)背景建模算法分離出視頻畫(huà)面的背景,并過(guò)濾掉前景目標(biāo)中的干擾部分。
如果所述視頻文件中有3個(gè)關(guān)鍵幀,分別為關(guān)鍵幀1、關(guān)鍵幀2和關(guān)鍵幀3,分別對(duì)應(yīng)子視頻文件1、子視頻文件2和子視頻文件3,所述計(jì)算集群中的計(jì)算設(shè)備1處理子視頻文件1,所述計(jì)算集群中的計(jì)算設(shè)備2處理子視頻文件2,所述計(jì)算集群中的計(jì)算設(shè)備3處理子視頻文件3。
所述計(jì)算集群中的計(jì)算設(shè)備1獲取子視頻文件1中所有視頻幀前景目標(biāo)的特征信息,并根據(jù)所述特征信息中的物理特征、紋理特征和結(jié)構(gòu)特征確定出子視頻文件1中所有視頻幀中的同一前景目標(biāo),然后再根據(jù)所述特征信息中的數(shù)學(xué)特征確定出所有前景目標(biāo)的行為信息,例如:第N個(gè)視頻幀有3個(gè)前景目標(biāo),第N+1個(gè)視頻幀中有4個(gè)前景目標(biāo),根據(jù)前景目標(biāo)的特征信息將第N個(gè)視頻幀中的前景目標(biāo)與第N+1個(gè)視頻幀中的前景目標(biāo)對(duì)應(yīng)起來(lái),其中有一個(gè)前景目標(biāo)的行為信息為新增的,并且還可以確定出其他3個(gè)前景目標(biāo)的行為信息,并將各個(gè)前景目標(biāo)的所述行為信息發(fā)送給所述存儲(chǔ)集群,其中,每個(gè)目標(biāo)前景的行為信息的特征描述不少于5個(gè),每個(gè)特征描述的特征向量不少于128維。子視頻文件2和3同樣根據(jù)上述方法確定出前景目標(biāo)的行為信息。
所述存儲(chǔ)集群根據(jù)所述視頻文件的名稱(chēng)、視頻編碼類(lèi)型、視頻文件中關(guān) 鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)和前景目標(biāo)的行為信息生成所述視頻文件的索引信息,具體的,所述索引信息中不僅包含所述視頻文件的名稱(chēng),還包括子視頻文件1、2、3對(duì)應(yīng)的關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù),以及所述子視頻文件1、2、3中所有前景目標(biāo)的行為信息和所述視頻文件的編碼信息,所述存儲(chǔ)集群不僅可以根據(jù)所述索引信息查找用戶指定內(nèi)容的目標(biāo)視頻文件,還可以查找到用戶指定內(nèi)容在目標(biāo)視頻文件中的具體位置。
其中,所述索引信息中不僅記錄了所述視頻文件中所有前景目標(biāo),還記錄了所有前景目標(biāo)的位置、在視頻畫(huà)面中的絕對(duì)大小和運(yùn)動(dòng)方向。
所述云計(jì)算還包括:數(shù)據(jù)導(dǎo)入與轉(zhuǎn)化模塊用于將保存在存儲(chǔ)集群的視頻文件索引信息格式化導(dǎo)入到大數(shù)據(jù)分析集群,轉(zhuǎn)化成表單結(jié)構(gòu),方便大數(shù)據(jù)查詢和分析。
機(jī)器學(xué)習(xí)模塊:對(duì)視頻數(shù)據(jù)進(jìn)行學(xué)習(xí)、分析和挖掘,主要用于提供有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)等算法,為對(duì)外服務(wù)模塊提供分析引擎。
對(duì)外服務(wù)模塊:對(duì)外接口,用于對(duì)用戶提供視頻文件數(shù)據(jù)的檢索、視頻文件內(nèi)容統(tǒng)計(jì)以及基于視頻文件內(nèi)容的趨勢(shì)分析等服務(wù)。
具體的,在確定出視頻文件的索引信息后,將所述索引信息生成表單結(jié)構(gòu),以使云計(jì)算為大數(shù)據(jù)查詢和分析做數(shù)據(jù)準(zhǔn)備,當(dāng)所述云計(jì)算在為用戶提供檢索服務(wù)時(shí),將所述云計(jì)算收到檢索指令時(shí),按照用戶指令查找表單內(nèi)容進(jìn)行查找,若此時(shí)沒(méi)有查找到需要的視頻文件,所述云計(jì)算使用機(jī)器學(xué)習(xí)算法,利用前景目標(biāo)保存的特征信息進(jìn)行分類(lèi)識(shí)別,若有對(duì)應(yīng)的視頻文件則輸出指定的視頻文件,否則檢索服務(wù)失??;當(dāng)所述云計(jì)算提供統(tǒng)計(jì)服務(wù)時(shí),所述云計(jì)算先調(diào)用檢索服務(wù),查找要統(tǒng)計(jì)的視頻文件,若無(wú)對(duì)應(yīng)的視頻文件,則通過(guò)聚類(lèi)算法進(jìn)行某類(lèi)視頻文件的聚類(lèi),若聚類(lèi)出視頻文件則輸出指定的視頻文件。否則統(tǒng)計(jì)服務(wù)失??;當(dāng)所述云計(jì)算提供預(yù)測(cè)服務(wù)時(shí),先調(diào)用檢索服務(wù)和統(tǒng)計(jì)服務(wù),根據(jù)歷史視頻文件做趨勢(shì)算法分析,提供預(yù)測(cè)結(jié)果。
基于與上述方法同樣的申請(qǐng)構(gòu)思,本申請(qǐng)還提出了一種服務(wù)器,如圖2 所述,所述服務(wù)器包括:
第一獲取模塊21,用于根據(jù)對(duì)視頻文件解碼后生成的編碼序列獲取所述視頻文件的前景目標(biāo);
第二獲取模塊22,用于獲取在同一關(guān)鍵幀下的所有視頻幀的所述前景目標(biāo)的特征信息;
第一生成模塊23,用于根據(jù)所述特征信息對(duì)在同一關(guān)鍵幀下兩兩相鄰的視頻幀中的所述前景目標(biāo)進(jìn)行匹配生成所述關(guān)鍵幀下所述前景目標(biāo)的行為信息;
第二生成模塊24,用于根據(jù)所述關(guān)鍵幀下所述前景目標(biāo)的行為信息生成所述視頻文件的索引信息;
所述第一獲取模塊,具體用于:
確定所述視頻文件中包含的所有關(guān)鍵幀;
根據(jù)所述視頻文件中包含的所有關(guān)鍵幀將所述視頻文件拆分為不同的子視頻文件;
所述第一獲取模塊中具有解碼功能的多個(gè)子模塊按照負(fù)載均衡的方式對(duì)不同的子視頻文件進(jìn)行解碼,根據(jù)對(duì)不同子視頻文件解碼后生成的編碼序列獲取所述視頻文件的前景目標(biāo)。
所述索引信息還包括:
視頻文件的名稱(chēng)、關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置、相鄰關(guān)鍵幀之間的間隔幀數(shù);
其中,所述視頻文件的名稱(chēng)是所述服務(wù)器根據(jù)采集視頻文件的視頻采集設(shè)備的設(shè)備編號(hào)和視頻文件的采集時(shí)間生成的;
所述關(guān)鍵幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)是根據(jù)所述服務(wù)器中的分析模塊對(duì)視頻文件進(jìn)行分析獲取的;
所述分析模塊,具體用于:
所述分析模塊中具有視頻分析功能的多個(gè)子模塊按照負(fù)載均衡的分配方式對(duì)不同的子視頻文件進(jìn)行分析,以使所述服務(wù)器獲取所述視頻文件中關(guān)鍵 幀的產(chǎn)生時(shí)間、關(guān)鍵幀在視頻文件中的存儲(chǔ)位置和相鄰關(guān)鍵幀之間的間隔幀數(shù)。
所述特征信息包括:物理特征、紋理特征、結(jié)構(gòu)特征和數(shù)學(xué)特征。
所述第一生成模塊,具體用于:
根據(jù)所述物理特征、紋理特征、結(jié)構(gòu)特征判斷同一關(guān)鍵幀下所有視頻幀中的同一前景目標(biāo);
根據(jù)所述數(shù)學(xué)特征對(duì)同一關(guān)鍵幀下兩兩相鄰的視頻幀中同一個(gè)前景目標(biāo)進(jìn)行匹配生成所述前景目標(biāo)的行為信息。
本申請(qǐng)通過(guò)對(duì)關(guān)鍵幀中前景目標(biāo)的分析得到的前景目標(biāo)的行為信息生成對(duì)應(yīng)關(guān)鍵幀的索引信息,服務(wù)器在生成關(guān)鍵幀中前景目標(biāo)的行為信息對(duì)視頻文件進(jìn)行了結(jié)構(gòu)化的描述,以使服務(wù)器可以真正利用這些視頻文件,并且所述服務(wù)器根據(jù)具有結(jié)構(gòu)化描述的關(guān)鍵幀的索引信息可以盡快找到目標(biāo)視頻文件。
通過(guò)以上的實(shí)施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到本申請(qǐng)可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn),當(dāng)然也可以通過(guò)硬件,但很多情況下前者是更佳的實(shí)施方式?;谶@樣的理解,本申請(qǐng)的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái),該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)終端設(shè)備(可以是手機(jī),個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請(qǐng)各個(gè)實(shí)施例所述的方法。
以上所述僅是本申請(qǐng)的優(yōu)選實(shí)施方式,應(yīng)當(dāng)指出,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō),在不脫離本申請(qǐng)?jiān)淼那疤嵯拢€可以做出若干改進(jìn)和潤(rùn)飾,這些改進(jìn)和潤(rùn)飾也應(yīng)視本申請(qǐng)的保護(hù)范圍。
本領(lǐng)域技術(shù)人員可以理解實(shí)施例中的裝置中的模塊可以按照實(shí)施例描述進(jìn)行分布于實(shí)施例的裝置中,也可以進(jìn)行相應(yīng)變化位于不同于本實(shí)施例的一個(gè)或多個(gè)裝置中。上述實(shí)施例的模塊可以集成于一體,也可以分離部署;可以合并為一個(gè)模塊,也可以進(jìn)一步拆分成多個(gè)子模塊。上述本申請(qǐng)實(shí)施例序號(hào)僅僅為了描述,不代表實(shí)施例的優(yōu)劣。
以上公開(kāi)的僅為本申請(qǐng)的幾個(gè)具體實(shí)施例,但是,本申請(qǐng)并非局限于此,任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本申請(qǐng)的保護(hù)范圍。