本發(fā)明涉及圖像檢測，尤其涉及一種基于bi-lstm的視頻丟幀卡幀異常檢測方法及系統(tǒng)

背景技術(shù)：

1、在播放設(shè)備播放視頻時(shí)，有時(shí)會(huì)出現(xiàn)丟幀或卡幀的情況，對此，需要對丟幀或卡幀位置進(jìn)行定位，以確認(rèn)上述故障發(fā)生的具體原因。而目前視頻丟幀卡幀的檢測方法，有以下問題：第一種、使用人力實(shí)時(shí)觀看視頻進(jìn)行檢測，由于眼睛無法完整的捕獲每一幀的像素點(diǎn)變化，從而無法快速判斷每一幀的數(shù)據(jù)是否異常。第二種、使用視頻剪輯工具，對視頻的每一幀進(jìn)行分析，而且需要觀看大量的視頻幀，這種方式費(fèi)時(shí)費(fèi)力且操作繁瑣。

2、因此，目前需要一種能夠自動(dòng)對卡幀丟幀進(jìn)行檢測的方法。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述問題，本發(fā)明提供了一種基于bi-lstm的視頻丟幀卡幀異常檢測方法與系統(tǒng)，通過訓(xùn)練bi-lstm學(xué)習(xí)視頻內(nèi)容的邏輯性，從而在播放設(shè)備播放視頻時(shí)檢測其是否丟幀或卡幀，解決了現(xiàn)有檢測方法費(fèi)時(shí)費(fèi)力且操作繁瑣的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供以下技術(shù)方案：

3、一種基于bi-lstm的視頻丟幀卡幀異常檢測方法，包括以下步驟：

4、s1.獲取視頻數(shù)據(jù)集，所述視頻數(shù)據(jù)集包括若干個(gè)帶有標(biāo)簽的視頻，所述視頻數(shù)據(jù)集中包括若干個(gè)標(biāo)定視頻，所述每個(gè)標(biāo)定視頻中幀與幀之間的內(nèi)容具有邏輯性；

5、s2.對視頻數(shù)據(jù)集進(jìn)行預(yù)處理，構(gòu)建視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型，所述視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型包括bi-lstm層，向所述視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型輸入視頻數(shù)據(jù)集，對視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型，所述視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型用于檢測標(biāo)定視頻幀與幀之間內(nèi)容是否具有邏輯性；

6、s3.將標(biāo)定視頻載入待檢測場景，利用視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型對載有標(biāo)定視頻的待檢測場景進(jìn)行檢測，記錄標(biāo)定視頻幀與幀之間內(nèi)容具有邏輯性的位置，所述位置即為丟幀或卡幀位置。

7、進(jìn)一步地，在步驟s2中，所述視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型包括卷積操作層、激活函數(shù)層、池化層、bi-lstm層以及全連接層。

8、進(jìn)一步地，在步驟s2中，所述視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型中的卷積操作層的卷積操作為二維卷積操作，所述卷積操作層包括若干個(gè)卷積層，所述卷積層的參數(shù)包括卷積核、步長和像素填充；所述視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型中的激活函數(shù)層的激活函數(shù)為relu函數(shù)；所述池化層中的池化操作為最大池化操作；所述bi-lstm層包括雙向長短期記憶網(wǎng)絡(luò)；所述全連接層為尺寸為1×1的卷積層。

9、進(jìn)一步地，在步驟s2中，所述對視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，其具體實(shí)現(xiàn)方式包括：將視頻數(shù)據(jù)集中的標(biāo)定視頻依次輸入至視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型，利用ctc損失函數(shù)計(jì)算視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型輸出結(jié)果與視頻的標(biāo)簽之間的損失，根據(jù)損失進(jìn)行反向傳播調(diào)整參數(shù)，直至訓(xùn)練次數(shù)達(dá)到預(yù)設(shè)次數(shù)或是計(jì)算得到的損失小于預(yù)設(shè)閾值，結(jié)束訓(xùn)練，得到訓(xùn)練好的視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型。

10、進(jìn)一步地，在步驟s2中，所述對視頻數(shù)據(jù)集進(jìn)行預(yù)處理，其具體實(shí)現(xiàn)方式包括：將視頻數(shù)據(jù)集中的標(biāo)定視頻進(jìn)行裁剪，將標(biāo)定視頻每幀圖像進(jìn)行灰度化，所述灰度化的公式為gray＝r*0.299+g*0.587+b*0.114，其中，r、g、b分別表示紅綠藍(lán)三個(gè)通道對應(yīng)的像素值，gray表示計(jì)算得到的灰度值；

11、對標(biāo)定視頻添加高斯噪聲，所述添加高斯噪聲的公式為

12、

13、其中，i(x,y)為坐標(biāo)(x,y)處的灰度值，i'(x,y)為添加高斯噪聲后的灰度值；

14、對標(biāo)定視頻添加椒鹽噪聲，所述添加椒鹽噪聲的公式為

15、

16、其中，i(x,y)為坐標(biāo)(x,y)處的灰度值，ppepper表示像素變?yōu)楹谏母怕剩琾salt表示像素變?yōu)榘咨母怕省?/p>

17、進(jìn)一步地，在步驟s1的具體實(shí)現(xiàn)方式包括：構(gòu)建若干個(gè)每幀內(nèi)容只包括數(shù)字的標(biāo)定視頻，一個(gè)標(biāo)定視頻中幀與幀之間的數(shù)字連續(xù)或具有相同規(guī)律，對于每個(gè)視頻有一個(gè)對應(yīng)標(biāo)簽數(shù)組，所述標(biāo)簽數(shù)組內(nèi)容為按順序排列的對應(yīng)視頻中的數(shù)字。

18、進(jìn)一步地，在步驟s3中，所述將標(biāo)定視頻載入待檢測場景，利用視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型對載有標(biāo)定視頻的待檢測場景進(jìn)行檢測，其具體實(shí)現(xiàn)方式包括：所述待檢測場景包括待檢測設(shè)備，利用待檢測設(shè)備播放標(biāo)定視頻，獲取待檢測設(shè)備播放標(biāo)定視頻時(shí)的圖像，利用視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型待檢測設(shè)備播放標(biāo)定視頻時(shí)的圖像進(jìn)行檢測。

19、進(jìn)一步地，在步驟s3中，所述記錄標(biāo)定視頻幀與幀之間內(nèi)容具有邏輯性的位置，其具體實(shí)現(xiàn)方式包括：視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型由第一幀開始，逐幀識(shí)別并記錄待檢測設(shè)備播放內(nèi)容，將每幀顯示的數(shù)字與上一幀顯示的數(shù)字進(jìn)行對比，當(dāng)兩幀顯示的數(shù)字相同時(shí)，記錄為卡幀，當(dāng)兩幀顯示的數(shù)字不連續(xù)或不符合相同規(guī)律時(shí)，記錄為丟幀。

20、進(jìn)一步地，所述視頻數(shù)據(jù)集還可以為帶有水印的視頻，每個(gè)視頻中幀與幀之間的水印內(nèi)容具有邏輯性。

21、通過上述技術(shù)方案，本發(fā)明具有以下有益效果：通過訓(xùn)練bi-lstm模型，對視頻內(nèi)容進(jìn)行學(xué)習(xí)，提取視頻畫面的邏輯性特征，并根據(jù)視頻畫面的邏輯性特征判斷是否存在丟幀或卡幀的情況，節(jié)省人力成本以及時(shí)間成本，捅死bi-lstm能夠?qū)W習(xí)數(shù)據(jù)的前后文的邏輯性，能夠保證識(shí)別的準(zhǔn)確性。

技術(shù)特征：

1.一種基于bi-lstm的視頻丟幀卡幀異常檢測方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于bi-lstm的視頻丟幀卡幀異常檢測方法，其特征在于，在步驟s2中，所述視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型包括卷積操作層、激活函數(shù)層、池化層、bi-lstm層以及全連接層。

3.根據(jù)權(quán)利要求2所述的一種基于bi-lstm的視頻丟幀卡幀異常檢測方法，其特征在于，在步驟s2中，所述視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型中的卷積操作層的卷積操作為二維卷積操作，所述卷積操作層包括若干個(gè)卷積層，所述卷積層的參數(shù)包括卷積核、步長和像素填充；所述視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型中的激活函數(shù)層的激活函數(shù)為relu函數(shù)；所述池化層中的池化操作為最大池化操作；所述bi-lstm層包括雙向長短期記憶網(wǎng)絡(luò)；所述全連接層為尺寸為1×1的卷積層。

4.根據(jù)權(quán)利要求1所述的一種基于bi-lstm的視頻丟幀卡幀異常檢測方法，其特征在于，在步驟s2中，所述對視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，其具體實(shí)現(xiàn)方式包括：將視頻數(shù)據(jù)集中的標(biāo)定視頻依次輸入至視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型，利用ctc損失函數(shù)計(jì)算視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型輸出結(jié)果與視頻的標(biāo)簽之間的損失，根據(jù)損失進(jìn)行反向傳播調(diào)整參數(shù)，直至訓(xùn)練次數(shù)達(dá)到預(yù)設(shè)次數(shù)或是計(jì)算得到的損失小于預(yù)設(shè)閾值，結(jié)束訓(xùn)練，得到訓(xùn)練好的視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型。

5.根據(jù)權(quán)利要求1所述的一種基于bi-lstm的視頻丟幀卡幀異常檢測方法，其特征在于，在步驟s2中，所述對視頻數(shù)據(jù)集進(jìn)行預(yù)處理，其具體實(shí)現(xiàn)方式包括：將視頻數(shù)據(jù)集中的標(biāo)定視頻進(jìn)行裁剪，將標(biāo)定視頻每幀圖像進(jìn)行灰度化，所述灰度化的公式為gray＝r*0.299+g*0.587+b*0.114，其中，r、g、b分別表示紅綠藍(lán)三個(gè)通道對應(yīng)的像素值，gray表示計(jì)算得到的灰度值；

6.根據(jù)權(quán)利要求1所述的一種基于bi-lstm的視頻丟幀卡幀異常檢測方法，其特征在于，在步驟s1的具體實(shí)現(xiàn)方式包括：構(gòu)建若干個(gè)每幀內(nèi)容只包括數(shù)字的標(biāo)定視頻，一個(gè)標(biāo)定視頻中幀與幀之間的數(shù)字連續(xù)或具有相同規(guī)律，對于每個(gè)視頻有一個(gè)對應(yīng)標(biāo)簽數(shù)組，所述標(biāo)簽數(shù)組內(nèi)容為按順序排列的對應(yīng)視頻中的數(shù)字。

7.根據(jù)權(quán)利要求6所述的一種基于bi-lstm的視頻丟幀卡幀異常檢測方法，其特征在于，在步驟s3中，所述將標(biāo)定視頻載入待檢測場景，利用視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型對載有標(biāo)定視頻的待檢測場景進(jìn)行檢測，其具體實(shí)現(xiàn)方式包括：所述待檢測場景包括待檢測設(shè)備，利用待檢測設(shè)備播放標(biāo)定視頻，獲取待檢測設(shè)備播放標(biāo)定視頻時(shí)的圖像，利用視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型待檢測設(shè)備播放標(biāo)定視頻時(shí)的圖像進(jìn)行檢測。

8.根據(jù)權(quán)利要求7所述的一種基于bi-lstm的視頻丟幀卡幀異常檢測方法，其特征在于，在步驟s3中，所述記錄標(biāo)定視頻幀與幀之間內(nèi)容具有邏輯性的位置，其具體實(shí)現(xiàn)方式包括：視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型由第一幀開始，逐幀識(shí)別并記錄待檢測設(shè)備播放內(nèi)容，將每幀顯示的數(shù)字與上一幀顯示的數(shù)字進(jìn)行對比，當(dāng)兩幀顯示的數(shù)字相同時(shí)，記錄為卡幀，當(dāng)兩幀顯示的數(shù)字不連續(xù)或不符合相同規(guī)律時(shí)，記錄為丟幀。

9.根據(jù)權(quán)利要求1所述的一種基于bi-lstm的視頻丟幀卡幀異常檢測方法，其特征在于，所述視頻數(shù)據(jù)集還可以為帶有水印的視頻，每個(gè)視頻中幀與幀之間的水印內(nèi)容具有邏輯性。

10.一種基于bi-lstm的視頻丟幀卡幀異常檢測系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開了一種基于Bi?LSTM的視頻丟幀卡幀異常檢測方法及系統(tǒng)，包括：獲取視頻數(shù)據(jù)集，所述視頻數(shù)據(jù)集中包括若干個(gè)標(biāo)定視頻，所述每個(gè)標(biāo)定視頻中幀與幀之間的內(nèi)容具有邏輯性；構(gòu)建視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型，所述視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型包括Bi?LSTM層，向所述視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型輸入視頻數(shù)據(jù)集，得到訓(xùn)練好的視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型；將標(biāo)定視頻載入待檢測場景，利用視頻識(shí)別神經(jīng)網(wǎng)絡(luò)模型對載有標(biāo)定視頻的待檢測場景進(jìn)行檢測，記錄標(biāo)定視頻幀與幀之間內(nèi)容具有邏輯性的位置，所述位置即為丟幀或卡幀位置。本發(fā)明通過訓(xùn)練Bi?LSTM學(xué)習(xí)視頻內(nèi)容的邏輯性，從而在播放設(shè)備播放視頻時(shí)檢測其是否丟幀或卡幀，解決了現(xiàn)有檢測方法費(fèi)時(shí)費(fèi)力且操作繁瑣的問題。

技術(shù)研發(fā)人員：吳才朋,李昌綠,阮勝林,張常華
受保護(hù)的技術(shù)使用者：廣東保倫電子股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/5