本申請涉及圖像處理領(lǐng)域,且更具體地,涉及一種安防監(jiān)控方法、裝置、電子設(shè)備、計算機程序產(chǎn)品和計算機可讀存儲介質(zhì)。
背景技術(shù):
傳統(tǒng)上,在基于攝像頭的安防場景中,往往只是支持遠程觀看和視頻回放,這樣的一個后果是沒有辦法準確地把握入侵者真實入侵的時間。
隨著人工智能技術(shù)的發(fā)展,越來越多的安防設(shè)備開始使用特征部位(諸如,人臉/人體)檢測的方式來判斷正在監(jiān)控的場景中是否具有入侵等情況發(fā)生。如果能夠準確地確定外界的人員在什么時候進入,對于這種監(jiān)控會是一個極大的體驗提升。
目前的判斷策略一般都僅僅采用檢測人臉/人體的手段,一旦檢測到這些部位,就立刻發(fā)送報警信息。然而,由于監(jiān)控場景可能非常復(fù)雜,例如其中可能放置有用戶的照片、畫像等,所以這種簡單直接的檢測手段容易導(dǎo)致虛警、誤報的出現(xiàn),這會對用戶體驗造成比較大的影響,導(dǎo)致安防監(jiān)控的準確率降低。
技術(shù)實現(xiàn)要素:
為了解決上述技術(shù)問題,提出了本申請。本申請的實施例提供了一種安防監(jiān)控方法、裝置、電子設(shè)備、計算機程序產(chǎn)品和計算機可讀存儲介質(zhì),其可以有效降低安防監(jiān)控中虛警的發(fā)生。
根據(jù)本申請的一個方面,提供了一種安防監(jiān)控方法,包括:在所采集的監(jiān)控場景的圖像序列中檢測目標(biāo)物體;響應(yīng)于在所述圖像序列之中的特定圖像幀中檢測到目標(biāo)物體,確定所述目標(biāo)物體在所述特定圖像幀中的像素位置;根據(jù)所述像素位置來確定所述目標(biāo)物體所處的特定位置區(qū)域的區(qū)域類型;以及根據(jù)所述特定位置區(qū)域的區(qū)域類型來執(zhí)行預(yù)定操作。
根據(jù)本申請的另一方面,提供了一種安防監(jiān)控裝置,包括:目標(biāo)物體檢測單元,用于在所采集的監(jiān)控場景的圖像序列中檢測目標(biāo)物體;像素位置確定單元,用于響應(yīng)于在所述圖像序列之中的特定圖像幀中檢測到目標(biāo)物體,確定所述目標(biāo)物體在所述特定圖像幀中的像素位置;區(qū)域類型確定單元,用于根據(jù)所述像素位置來確定所述目標(biāo)物體所處的特定位置區(qū)域的區(qū)域類型;以及預(yù)定操作執(zhí)行單元,用于根據(jù)所述特定位置區(qū)域的區(qū)域類型來執(zhí)行預(yù)定操作。
根據(jù)本申請的另一方面,提供了一種電子設(shè)備,包括:處理器;存儲器;以及存儲在所述存儲器中的計算機程序指令,所述計算機程序指令在被所述處理器運行時使得所述處理器執(zhí)行上述的安防監(jiān)控方法。
根據(jù)本申請的另一方面,提供了一種計算機程序產(chǎn)品,包括計算機程序指令,所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行上述的安防監(jiān)控方法。
根據(jù)本申請的另一方面,提供了一種計算機可讀存儲介質(zhì),其上存儲有計算機程序指令,所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行上述的安防監(jiān)控方法。
與現(xiàn)有技術(shù)相比,采用根據(jù)本申請實施例的安防監(jiān)控方法、裝置、電子設(shè)備、計算機程序產(chǎn)品和計算機可讀存儲介質(zhì),可以在所采集的監(jiān)控場景的圖像序列中檢測目標(biāo)物體;響應(yīng)于在所述圖像序列之中的特定圖像幀中檢測到目標(biāo)物體,確定所述目標(biāo)物體在所述特定圖像幀中的像素位置;根據(jù)所述像素位置來確定所述目標(biāo)物體所處的特定位置區(qū)域的區(qū)域類型;以及根據(jù)所述特定位置區(qū)域的區(qū)域類型來執(zhí)行預(yù)定操作。因此,可以實現(xiàn)更加高效且準確的安防監(jiān)控。因此,可以實現(xiàn)更加高效且準確的安防監(jiān)控。
附圖說明
通過結(jié)合附圖對本申請實施例進行更詳細的描述,本申請的上述以及其他目的、特征和優(yōu)勢將變得更加明顯。附圖用來提供對本申請實施例的進一步理解,并且構(gòu)成說明書的一部分,與本申請實施例一起用于解釋本申請,并不構(gòu)成對本申請的限制。在附圖中,相同的參考標(biāo)號通常代表相同部件或步驟。
圖1圖示了根據(jù)本申請實施例的安防監(jiān)控操作的應(yīng)用場景的示意圖。
圖2圖示了根據(jù)本申請實施例的安防監(jiān)控方法的流程圖。
圖3圖示了根據(jù)本申請實施例的目標(biāo)物體檢測步驟的流程圖。
圖4圖示了根據(jù)本申請實施例的像素位置確定步驟的流程圖。
圖5圖示了根據(jù)本申請實施例的區(qū)域類型確定步驟的流程圖。
圖6圖示了根據(jù)本申請實施例的一個具體示例的監(jiān)控場景的示意圖。
圖7圖示了根據(jù)本申請實施例的區(qū)域類型劃分步驟的流程圖。
圖8圖示了根據(jù)本申請實施例的安防監(jiān)控裝置的框圖。
圖9圖示了根據(jù)本申請實施例的電子設(shè)備的框圖。
具體實施方式
下面,將參考附圖詳細地描述根據(jù)本申請的示例實施例。顯然,所描述的實施例僅僅是本申請的一部分實施例,而不是本申請的全部實施例,應(yīng)理解,本申請不受這里描述的示例實施例的限制。
申請概述
如上所述,目前市面上的安防監(jiān)控算法只使用特征部位(諸如,人臉/人體)檢測,由于誤報等問題的影響,會降低整體的用戶體驗。
通過進一步分析發(fā)現(xiàn),現(xiàn)有的基于特征部位檢測的安防監(jiān)控方案沒有區(qū)分監(jiān)控場景中不同位置區(qū)域可能具有不同的入侵概率,而僅僅對于算法中特征部位識別的結(jié)果非常敏感,從而產(chǎn)生高誤報的檢測結(jié)果,降低了用戶的體驗。
針對該技術(shù)問題,本申請的基本構(gòu)思是提出一種安防監(jiān)控方法、裝置、電子設(shè)備、計算機程序產(chǎn)品和計算機可讀存儲介質(zhì),其可以通過分析監(jiān)控場景中不同位置區(qū)域的報警優(yōu)先級,并且對應(yīng)不同的報警策略,從而能夠有效地降低虛警率,提升用戶體驗。具體地,在分析不同位置區(qū)域的時候,可以使用比較復(fù)雜的模型,分析監(jiān)控場景的環(huán)境特性,并且生成不同的位置區(qū)域重要度信息,在具有不同重要度的位置區(qū)域內(nèi),使用不同的策略進行報警。因此,可以實現(xiàn)更加高效且準確的安防監(jiān)控。
需要說明的是,本申請的上述基本構(gòu)思不但可以應(yīng)用于入侵檢測的應(yīng)用情景,還可以應(yīng)用于諸如家居護理、交通監(jiān)測等各種應(yīng)用情景。
在介紹了本申請的基本原理之后,下面將參考附圖來具體介紹本申請的各種非限制性實施例。
示例性系統(tǒng)
圖1圖示了根據(jù)本申請實施例的安防監(jiān)控操作的應(yīng)用場景的示意圖。
如圖1所示,用于安防監(jiān)控操作的應(yīng)用場景包括安防監(jiān)控設(shè)備100和目標(biāo)物體200。
該目標(biāo)物體200可以是監(jiān)控場景中可能關(guān)注其是否出現(xiàn)的任何類型的物體,其可以包括特征部位,該特征部位具有一定的特征信息,例如,顏色、紋理、形狀、布局等,因而,能夠在圖像中通過特定算法被識別出來。例如,在家庭監(jiān)控的場景下,該目標(biāo)物體200可以是人,其可以作為入侵檢測、家居護理等的對象,相應(yīng)地,該特征部位可以是用戶的臉部、形體、軀干、手部、頭部、腳部等各個身體部位。又如,在交通監(jiān)控的場景下,該目標(biāo)物體200也可以是諸如機動車、自行車、行人等的交通實體,其可以作為車流量檢測、交通違法監(jiān)察等的對象,相應(yīng)地,該特征部位可以是各個交通實體的整體特征(例如,形狀)、局部特征(例如,號牌)等。替換地,在其他場景下,該目標(biāo)物體200也可以是任何其他物體,例如機器人、無人機等。
該安防監(jiān)控設(shè)備100可以用于對目標(biāo)物體進行檢測和跟蹤、位置確定、區(qū)域類型識別等操作。例如,該安防監(jiān)控設(shè)備100可以包括攝像頭110、和安防監(jiān)控模塊120。
例如,該攝像頭(成像器件)110可以用于捕捉監(jiān)控場景的圖像數(shù)據(jù),其可以包括一個或多個攝像頭。例如,攝像頭110所采集到的圖像數(shù)據(jù)可以是連續(xù)圖像幀序列(即,視頻流)或離散圖像幀序列(即,在預(yù)定采樣時間點采樣到的圖像數(shù)據(jù)組)等。例如,該攝像頭110可以是如單目相機、雙目相機、多目相機等,另外,其可以用于捕捉灰度圖,也可以捕捉帶有顏色信息的彩色圖。當(dāng)然,本領(lǐng)域中已知的以及將來可能出現(xiàn)的任何其他類型的相機都可以應(yīng)用于本申請,本申請對其捕捉圖像的方式?jīng)]有特別限制,只要能夠獲得輸入圖像的灰度或顏色信息即可。為了減小后續(xù)操作中的計算量,在一個實施例中,可以在進行分析和處理之前,將彩色圖進行灰度化處理。當(dāng)然,為了保留更大的信息量,在另一實施例中,也可以直接對彩色圖進行分析和處理。
該安防監(jiān)控模塊120可以用于在所采集的監(jiān)控場景的圖像序列中檢測目標(biāo)物體;響應(yīng)于在所述圖像序列之中的特定圖像幀中檢測到目標(biāo)物體,確定所述目標(biāo)物體在所述特定圖像幀中的像素位置;根據(jù)所述像素位置來確定所述目標(biāo)物體所處的特定位置區(qū)域的區(qū)域類型;以及根據(jù)所述特定位置區(qū)域的區(qū)域類型來執(zhí)行預(yù)定操作。因此,可以實現(xiàn)更加高效且準確的安防監(jiān)控。
需要注意的是,上述應(yīng)用場景僅是為了便于理解本申請的精神和原理而示出,本申請的實施例不限于此。相反,本申請的實施例可以應(yīng)用于可能適用的任何場景。例如,該目標(biāo)物體200可以是一個或多個,類似地,該安防監(jiān)控設(shè)備100也可以為一個或多個。
示例性方法
下面結(jié)合圖1的應(yīng)用場景來描述根據(jù)本申請實施例的安防監(jiān)控方法。
圖2圖示了根據(jù)本申請實施例的安防監(jiān)控方法的流程圖。
如圖2所示,根據(jù)本申請實施例的安防監(jiān)控方法可以包括:
在步驟s120中,在所采集的監(jiān)控場景的圖像序列中檢測目標(biāo)物體。
例如,可以通過攝像頭不斷獲取監(jiān)控場景的圖像數(shù)據(jù),以生成圖像序列,該圖像序列為按照時間順序所生成的一系列的連續(xù)的或離散的圖像幀。然后,可以在各幀圖像中不斷地檢測目標(biāo)物體。
圖3圖示了根據(jù)本申請實施例的目標(biāo)物體檢測步驟的流程圖。
如圖3所示,該步驟s120可以包括:
在子步驟s121中,在所述圖像序列的每個圖像幀中檢測目標(biāo)物體的特征部位;以及
在子步驟s122中,響應(yīng)于檢測到所述特征部位,確定出檢測到目標(biāo)物體。
為了描述方便,下面,將在入侵檢測的應(yīng)用情景下進行詳細說明。
例如,可以預(yù)先將攝像頭布置在要監(jiān)控的空間(例如,居室)的特定位置處,以實現(xiàn)安防監(jiān)控的目的??梢院侠淼卦O(shè)置該攝像頭的成像角度,以使得其盡可能完整地拍攝到整個居室,因而當(dāng)入侵者侵入到該居室時,能夠立刻被攝像頭捕捉到。
然后,可以對從攝像頭獲取得到的圖像數(shù)據(jù),進行特征識別,檢測諸如人臉/人體的特征信息。
這里,在入侵檢測的應(yīng)用情景下,作為被檢測的對象為入侵者,其例如可以是人、動物、機器人等,后面以人為例繼續(xù)說明。因而,例如,可以在每個圖像幀中檢測人的人臉/人體等特征部位。
例如,這種特征檢測可以采用簡單的特征比對(例如,檢測人臉上五官的形狀和布局等)的方式,也可以采用基于機器學(xué)習(xí)(例如,深度神經(jīng)網(wǎng)絡(luò))的方式來實現(xiàn)。
一旦在圖像序列中的某個特定圖像幀中檢測到潛在的人臉/人體等特征部位,則認為在該特定圖像幀中檢測到了作為目標(biāo)物體的人。
在步驟s140中,響應(yīng)于在所述圖像序列之中的特定圖像幀中檢測到目標(biāo)物體,確定所述目標(biāo)物體在所述特定圖像幀中的像素位置。
一旦在特定圖像幀中檢測到目標(biāo)物體,可以確定該目標(biāo)物體的像素位置。
圖4圖示了根據(jù)本申請實施例的像素位置確定步驟的流程圖。
如圖4所示,該步驟s140可以包括:
在子步驟s141中,確定所述特征部位在所述特定圖像幀中的像素位置;以及
在子步驟s142中,根據(jù)所述像素位置來確定所述目標(biāo)物體的像素位置。
例如,可以確定人臉/人體等特征部位在圖像幀中的像素位置,即判斷該人臉/人體處于圖像幀中的橫坐標(biāo)和縱坐標(biāo)。
由于在進行人臉/人體檢測時,會在圖像幀中對它們進行標(biāo)注(例如,框選),所以這里可以直接使用標(biāo)注框的框選區(qū)域作為特征部位的像素位置。例如,在矩形標(biāo)注框的情況下,可以選擇該標(biāo)注框的左上角和右下角的坐標(biāo),作為特征部位的位置坐標(biāo)。
接下來,可以簡單地將該特征部位的像素位置直接確定為目標(biāo)物體的像素位置。例如,當(dāng)檢測到的特征部位是人體特征時,可以將該人體特征的像素位置直接作為目標(biāo)物體的像素位置。
替換地,也可以根據(jù)所確定出的特征部位的像素位置來進一步框選整個目標(biāo)物體,并確定其像素位置。例如,當(dāng)檢測到的特征部位是人臉特征時,可以根據(jù)人臉特征的位置進一步估計人體的位置,并且將估計出的人體位置作為目標(biāo)物體的像素位置。
在步驟s160中,根據(jù)所述像素位置來確定所述目標(biāo)物體所處的特定位置區(qū)域的區(qū)域類型。
在步驟s180中,根據(jù)所述特定位置區(qū)域的區(qū)域類型來執(zhí)行預(yù)定操作。
一旦得到目標(biāo)物體的像素位置,在上述兩個步驟中,就可以確定該目標(biāo)物體處于監(jiān)控場景中的哪個位置區(qū)域并且確定該位置區(qū)域的區(qū)域類型。然后,可以根據(jù)區(qū)域類型來執(zhí)行后續(xù)的操作,例如,選擇報警、不報警或其他可能的操作。
例如,該位置區(qū)域的區(qū)域類型可以是結(jié)合穩(wěn)定圖像分析而事先劃分的、具有不同報警優(yōu)先級的位置區(qū)域。例如,各個位置區(qū)域可以包括:一檢測到目標(biāo)物體就報警的敏感位置區(qū)域、檢測到目標(biāo)物體并要滿足預(yù)定條件才報警的非敏感位置區(qū)域、即使檢測到目標(biāo)物體也不報警的誤報位置區(qū)域等。例如,該預(yù)定條件可以是檢測到目標(biāo)物體穩(wěn)定不動且持續(xù)的情況、檢測到目標(biāo)物體整體運動的情況、檢測到目標(biāo)物體并延遲一段時間的情況等。具體的位置區(qū)域劃分步驟將在后面的步驟s110中詳細描述。
例如,可以獲取各個的預(yù)定義位置區(qū)域的像素位置范圍,并且將目標(biāo)物體的像素位置與上述像素位置范圍進行比對,以確定目標(biāo)物體所處的特定位置區(qū)域,并確定其區(qū)域類型。
確定了區(qū)域類型以后,可以根據(jù)與該位置區(qū)域相關(guān)聯(lián)的報警優(yōu)先級來執(zhí)行后續(xù)操作。
圖5圖示了根據(jù)本申請實施例的區(qū)域類型確定步驟的流程圖。
如圖5所示,該步驟s160可以包括:
在子步驟s161中,判斷所述像素位置是否處于易誤報像素區(qū)域;以及
在子步驟s162中,響應(yīng)于所述像素位置處于所述易誤報像素區(qū)域,確定所述特定位置區(qū)域的區(qū)域類型屬于易誤報位置區(qū)域,所述易誤報位置區(qū)域是其中可能產(chǎn)生誤報的概率大于或等于第一閾值的位置區(qū)域。
相應(yīng)地,該步驟s180可以包括:響應(yīng)于所述特定位置區(qū)域的區(qū)域類型屬于所述易誤報位置區(qū)域,不執(zhí)行報警操作。
例如,在確定出入侵者的像素位置之后,可以根據(jù)該像素位置和預(yù)定義的各個位置區(qū)域的坐標(biāo)范圍,判斷該入侵者是否位于圖像中的易誤報像素區(qū)域,從而確定該入侵者是否出現(xiàn)在了監(jiān)控場景中的易誤報位置區(qū)域。例如,該易誤報位置區(qū)域可以是誤報概率較高(例如,大于等于70%)的位置區(qū)域。
圖6圖示了根據(jù)本申請實施例的一個具體示例的監(jiān)控場景的示意圖。
如圖6所示,在監(jiān)控場景中可以事先劃分有多個位置區(qū)域。例如,這種位置區(qū)域的劃分可以是基于該監(jiān)控場景的穩(wěn)定圖像來預(yù)先完成的。監(jiān)控場景中不同的像素區(qū)域?qū)?yīng)于具有不同報警優(yōu)先級的位置區(qū)域。
例如,該監(jiān)控場景中可能包括易誤報位置區(qū)域(區(qū)域1)。例如,在家庭監(jiān)控的情況下,該易誤報區(qū)域可以是電視機、投影屏幕、數(shù)碼相框等其中可能會連續(xù)或偶爾出現(xiàn)人臉/人體顯示的區(qū)域。由于該區(qū)域的上述特性,可以預(yù)先將它設(shè)定為容易觸發(fā)虛警的區(qū)域,并將相應(yīng)的報警策略設(shè)置為:如果在區(qū)域1中檢測到人臉/人體,則不報警。
繼續(xù)參考圖5,該步驟s160還可以包括:
在子步驟s163中,響應(yīng)于所述像素位置不是處于所述易誤報像素區(qū)域、而是處于可能誤報像素區(qū)域,在所述特定圖像幀的后續(xù)圖像幀中跟蹤所述目標(biāo)物體;
在子步驟s164中,響應(yīng)于跟蹤到所述目標(biāo)物體,確定所述目標(biāo)物體是否出現(xiàn)位置移動;以及
在子步驟s165中,響應(yīng)于所述目標(biāo)物體并未出現(xiàn)位置移動,確定所述特定位置區(qū)域的區(qū)域類型屬于可能誤報位置區(qū)域,所述可能誤報位置區(qū)域是其中可能產(chǎn)生誤報的概率小于所述第一閾值、但是大于或等于第二閾值的位置區(qū)域。
相應(yīng)地,該步驟s180可以包括:響應(yīng)于所述特定位置區(qū)域的區(qū)域類型屬于所述可能誤報位置區(qū)域,不執(zhí)行報警操作。
例如,如果入侵者并非位于圖像中的易誤報像素區(qū)域,則進一步判斷該入侵者是否位于圖像中的可能誤報像素區(qū)域,從而確定該入侵者是否出現(xiàn)在了監(jiān)控場景中的可能誤報位置區(qū)域。例如,該可能誤報位置區(qū)域可以是誤報概率中等(例如,小于70%、但大于等于40%)的位置區(qū)域。
如圖6所示,該監(jiān)控場景中還可能包括可能誤報位置區(qū)域(區(qū)域2)。例如,在家庭監(jiān)控的情況下,該可能誤報區(qū)域可以是沙發(fā)、茶幾、相框等其中包括可能被算法誤識別為人臉/人體的一些圖案或紋理、但是入侵者往往不會位于其處的區(qū)域(例如,基于常識來說,入侵者在侵入居室之后通常不會長時間坐在沙發(fā)上、站在茶幾附近、或依靠在墻面上,保持不動)。由于該區(qū)域的上述特性,可以預(yù)先將它設(shè)定為可能觸發(fā)虛警的區(qū)域,并將相應(yīng)的報警策略設(shè)置為:如果在區(qū)域2中檢測到人臉/人體,則需要繼續(xù)跟蹤檢測到的人,并且如果其在后續(xù)的多幀內(nèi)一直沒有出現(xiàn)運動(motion),則不報警。
繼續(xù)參考圖5,該步驟s160還可以包括:
在子步驟s166中,響應(yīng)于所述目標(biāo)物體出現(xiàn)位置移動,確定所述特征部位的像素尺寸;
在子步驟s167中,比較所述特征部位的像素尺寸與預(yù)定像素尺寸;以及
在子步驟s168中,響應(yīng)于所述特征部位的像素尺寸等于所述預(yù)定像素尺寸,確定所述特定位置區(qū)域的區(qū)域類型屬于所述可能誤報位置區(qū)域。
相應(yīng)地,該步驟s180可以包括:響應(yīng)于所述特定位置區(qū)域的區(qū)域類型屬于所述可能誤報位置區(qū)域,不執(zhí)行報警操作。
如圖6所示,除了區(qū)域2之外,該監(jiān)控場景還可能包括其他的可能誤報區(qū)域(區(qū)域3)。例如,在家庭監(jiān)控的情況下,該可能誤報區(qū)域還可以是沙發(fā)上主人可能位于其處、但是入侵者往往不會位于其處的區(qū)域(例如,基于常識來說,入侵者在侵入居室之后通常不會長時間在沙發(fā)上活動)。由于該區(qū)域的上述特性,可以預(yù)先將它設(shè)定為可能觸發(fā)虛警的區(qū)域,并將相應(yīng)的報警策略設(shè)置為:如果在區(qū)域3檢測到人臉/人體,則需要繼續(xù)跟蹤檢測到的人,并且如果其在后續(xù)的多幀內(nèi)出現(xiàn)運動,則進一步判斷人臉/人體的尺寸,如果人臉/人體的尺寸與人員坐在該沙發(fā)上的人臉/人體尺寸相同,則說明該人員可能是房間的主人,不是入侵者,則不報警。
繼續(xù)參考圖5,該步驟s160還可以包括:
在子步驟s169中,響應(yīng)于所述特定位置區(qū)域不屬于所述易誤報位置區(qū)域或所述可能誤報位置區(qū)域,確定所述特定位置區(qū)域的區(qū)域類型屬于報警敏感位置區(qū)域,所述報警敏感位置區(qū)域是其中可能產(chǎn)生誤報的概率小于所述第二閾值的位置區(qū)域。
相應(yīng)地,該步驟s180可以包括:響應(yīng)于所述特定位置區(qū)域的區(qū)域類型屬于所述報警敏感位置區(qū)域,立即執(zhí)行報警操作。
例如,如果入侵者也并非位于圖像中的易誤報像素區(qū)域,則認為該入侵者位于圖像中的報警敏感像素區(qū)域,從而確定該入侵者出現(xiàn)在了監(jiān)控場景中的報警敏感位置區(qū)域。例如,該報警敏感位置區(qū)域可以是誤報概率較低(例如,小于40%)的位置區(qū)域。
如圖6所示,該監(jiān)控場景還可能包括除了區(qū)域1-3之外的區(qū)域,即報警敏感區(qū)域。因此,可以將相應(yīng)的報警策略設(shè)置為:如果在這個位置檢測到人臉/人體,則立即報警。例如,如果在區(qū)域3檢測到人臉/人體,則需要繼續(xù)跟蹤檢測到的人,并且如果其在后續(xù)的多幀內(nèi)出現(xiàn)運動,則進一步判斷人臉/人體的尺寸,如果該特征部位的尺寸大于或小于人員坐在該沙發(fā)上的人臉/人體尺寸相同,則說明該人員實際上可能站立在沙發(fā)前(即,沙發(fā)與鏡頭之間)或沙發(fā)后面,那么,其可能是入侵者,則立刻報警。例如,該報警敏感區(qū)域還可以是大門、走廊、重要財務(wù)存放地(例如,保險柜)等。
例如,當(dāng)然,在上述步驟之中在執(zhí)行報警操作之前,或者說在檢測到人臉/人體的特征信息之后,也可以先判斷它是否是特征庫中已經(jīng)預(yù)先設(shè)置的主人特征信息,以防止將家里的主人誤認為入侵者,而產(chǎn)生虛警。
例如,上述的報警操作可以通過諸如聲音、光照、振動、向用戶的手機推送即時消息、撥打報警電話等各種方式中的一個或多個來實現(xiàn),以達到警告入侵者、報告執(zhí)法人員、提醒用戶主人的目的。
在一個實施例中,更進一步地,為了實現(xiàn)監(jiān)控場景中各個位置區(qū)域的區(qū)域類型劃分,如圖1所示,在步驟s120之前,根據(jù)本申請實施例的安防監(jiān)控方法還可以包括:
在步驟s110中,對所述監(jiān)控場景的各個位置區(qū)域進行區(qū)域類型劃分。
如上所述,在執(zhí)行上述的步驟s120到s180之前,可以對監(jiān)控場景的穩(wěn)定圖像進行分析,以事先劃分出具有不同報警優(yōu)先級的位置區(qū)域。當(dāng)然,本申請不限于此,例如,該區(qū)域類型劃分結(jié)果也可以是系統(tǒng)根據(jù)固有的監(jiān)控場景而預(yù)置的。
例如,這種區(qū)域類型劃分操作可以在本地端執(zhí)行,但是為了獲得減小本地端的計算成本、并提高算法精度,該劃分操作也可以在服務(wù)器端(云端)實現(xiàn)。
圖7圖示了根據(jù)本申請實施例的區(qū)域類型劃分步驟的流程圖。
如圖7所示,該步驟s110可以包括:
在子步驟s111中,獲取所述監(jiān)控場景的穩(wěn)定圖像幀,所述穩(wěn)定圖像幀是其間存在的移動目標(biāo)物體的數(shù)目小于預(yù)定閾值的圖像幀;
在子步驟s112中,根據(jù)所述穩(wěn)定圖像幀來對所述監(jiān)控場景進行模式分析,以確定其中可能出現(xiàn)誤報的位置區(qū)域及其出現(xiàn)誤報的概率;以及
在子步驟s113中,根據(jù)所述模式分析的結(jié)果來對所述監(jiān)控場景進行位置區(qū)域劃分并確定各個位置區(qū)域的區(qū)域類型。
例如,在正式啟用該安防監(jiān)控設(shè)備100之前,首先需要對它進行初始化。
為此,可以使用攝像頭200拍攝監(jiān)控場景的圖像,并且針對新加入的圖像區(qū)域分析部分獲取穩(wěn)定圖像。
獲取穩(wěn)定圖像并不是每個時間都運行的,而是在攝像頭上,剛開啟的時候進行一系列的判斷,間隔時間比較長進行的模式分析;如果在這段時間目標(biāo)位置移動目標(biāo)很少,即圖像的變化很小,則可以理解為基本上是家庭穩(wěn)定的環(huán)境,可以將圖像上傳到云端并開始進行圖像解析,以確定各種級別的誤報敏感區(qū)域(例如,包括誤報率非常高的電視區(qū)域,誤報率比較高的墻面、紋理復(fù)雜、沙發(fā)區(qū)域,以及其他區(qū)域)。
例如,可以解析圖像場景,獲取具體每個部分的屬性。例如,拿到圖像之后,可以分析得出如下的類型區(qū)域:可以將諸如大門、走廊、重要財務(wù)存放地(例如,保險柜)等區(qū)域設(shè)置為敏感區(qū)域,如果檢測到入侵則需要比較快的報警;可以將電視機等影像顯示區(qū)域設(shè)置為容易觸發(fā)報警的區(qū)域,如果在這個位置檢測到信息則不報警;可以將沙發(fā)、茶幾、墻面等區(qū)域設(shè)置為需要判斷運動等信息才會報警的區(qū)域。例如,這部分的功能可以在云端和/或本地使用機器學(xué)習(xí)(例如,深度神經(jīng)網(wǎng)絡(luò))進行識別。
此外,除了上述區(qū)域分析之后,還可以在圖像分析中,進一步添加人員分析,以同時獲取多個部分的人員信息進行每一部分報警方式的確認。
例如,結(jié)合用戶的具體信息,可以統(tǒng)計如圖6中區(qū)域3這樣的實際上為用戶經(jīng)?;顒拥膮^(qū)域,但是一般并不是入侵的人常出現(xiàn)的位置,結(jié)合這部分的分析,可以獲取到具體的位置,并在云端和/或本地進行運算,從而更新整體各個區(qū)域需要敏感的人臉/人體以及對應(yīng)的攝像頭顯示的大小的統(tǒng)計信息,以更新對應(yīng)的報警策略。
上面,采用云端處理的方式,結(jié)合位置和區(qū)域的信息進行信息的擴展,可以使得各個用戶的這種習(xí)慣數(shù)據(jù)能夠在云端統(tǒng)一起來,還可以很好地減小安防監(jiān)控設(shè)備100的本地運算量和存儲量。
由此可見,采用根據(jù)本申請實施例的安防監(jiān)控方法,可以在所采集的監(jiān)控場景的圖像序列中檢測目標(biāo)物體;響應(yīng)于在所述圖像序列之中的特定圖像幀中檢測到目標(biāo)物體,確定所述目標(biāo)物體在所述特定圖像幀中的像素位置;根據(jù)所述像素位置來確定所述目標(biāo)物體所處的特定位置區(qū)域的區(qū)域類型;以及根據(jù)所述特定位置區(qū)域的區(qū)域類型來執(zhí)行預(yù)定操作。因此,可以實現(xiàn)更加高效且準確的安防監(jiān)控。因此,可以實現(xiàn)更加高效且準確的安防監(jiān)控。
更具體地,采用了根據(jù)本申請實施例的安防監(jiān)控方法之后的優(yōu)勢是:
1、通過檢測/解析(parsing)的方法,獲取監(jiān)控場景中各個位置區(qū)域的報警等級,從而維護一套不同報警邏輯的報警權(quán)重分布圖;
2、由于采用了更精細的場景分析,從而能夠有效的降低虛警的發(fā)生,提升用戶體驗;
3、由于采用基于運動的特征部位(例如,人臉/人體)姿態(tài)分析,理論上能夠避免誤報的產(chǎn)生,代價只是引入了少量的運算處理。
示例性裝置
下面,參考圖8來描述根據(jù)本申請實施例的安防監(jiān)控裝置。
圖8圖示了根據(jù)本申請實施例的安防監(jiān)控裝置的框圖。
如圖8所示,根據(jù)本申請實施例的安防監(jiān)控裝置300可以包括:目標(biāo)物體檢測單元320,用于在所采集的監(jiān)控場景的圖像序列中檢測目標(biāo)物體;像素位置確定單元340,用于響應(yīng)于在所述圖像序列之中的特定圖像幀中檢測到目標(biāo)物體,確定所述目標(biāo)物體在所述特定圖像幀中的像素位置;區(qū)域類型確定單元360,用于根據(jù)所述像素位置來確定所述目標(biāo)物體所處的特定位置區(qū)域的區(qū)域類型;以及預(yù)定操作執(zhí)行單元380,用于根據(jù)所述特定位置區(qū)域的區(qū)域類型來執(zhí)行預(yù)定操作。
在一個示例中,所述目標(biāo)物體檢測單元320可以在所述圖像序列的每個圖像幀中檢測目標(biāo)物體的特征部位;并且響應(yīng)于檢測到所述特征部位,確定出檢測到目標(biāo)物體。
在一個示例中,所述像素位置確定單元340可以確定所述特征部位在所述特定圖像幀中的像素位置;并且根據(jù)所述像素位置來確定所述目標(biāo)物體的像素位置。
在一個示例中,所述區(qū)域類型確定單元360可以判斷所述像素位置是否處于易誤報像素區(qū)域;并且響應(yīng)于所述像素位置處于所述易誤報像素區(qū)域,確定所述特定位置區(qū)域的區(qū)域類型屬于易誤報位置區(qū)域,所述易誤報位置區(qū)域是其中可能產(chǎn)生誤報的概率大于或等于第一閾值的位置區(qū)域。
在一個示例中,所述預(yù)定操作執(zhí)行單元380可以響應(yīng)于所述特定位置區(qū)域的區(qū)域類型屬于所述易誤報位置區(qū)域,不執(zhí)行報警操作。
在一個示例中,所述區(qū)域類型確定單元360還可以響應(yīng)于所述像素位置不是處于所述易誤報像素區(qū)域、而是處于可能誤報像素區(qū)域,在所述特定圖像幀的后續(xù)圖像幀中跟蹤所述目標(biāo)物體;響應(yīng)于跟蹤到所述目標(biāo)物體,確定所述目標(biāo)物體是否出現(xiàn)位置移動;并且響應(yīng)于所述目標(biāo)物體并未出現(xiàn)位置移動,確定所述特定位置區(qū)域的區(qū)域類型屬于可能誤報位置區(qū)域,所述可能誤報位置區(qū)域是其中可能產(chǎn)生誤報的概率小于所述第一閾值、但是大于或等于第二閾值的位置區(qū)域。
在一個示例中,所述預(yù)定操作執(zhí)行單元380可以響應(yīng)于所述特定位置區(qū)域的區(qū)域類型屬于所述可能誤報位置區(qū)域,不執(zhí)行報警操作。
在一個示例中,所述區(qū)域類型確定單元360還可以響應(yīng)于所述目標(biāo)物體出現(xiàn)位置移動,確定所述特征部位的像素尺寸;比較所述特征部位的像素尺寸與預(yù)定像素尺寸;并且響應(yīng)于所述特征部位的像素尺寸等于所述預(yù)定像素尺寸,確定所述特定位置區(qū)域的區(qū)域類型屬于所述可能誤報位置區(qū)域。
在一個示例中,所述預(yù)定操作執(zhí)行單元380可以響應(yīng)于所述特定位置區(qū)域的區(qū)域類型屬于所述可能誤報位置區(qū)域,不執(zhí)行報警操作。
在一個示例中,所述區(qū)域類型確定單元360還可以響應(yīng)于所述特定位置區(qū)域不屬于所述易誤報位置區(qū)域或所述可能誤報位置區(qū)域,確定所述特定位置區(qū)域的區(qū)域類型屬于報警敏感位置區(qū)域,所述報警敏感位置區(qū)域是其中可能產(chǎn)生誤報的概率小于所述第二閾值的位置區(qū)域。
在一個示例中,所述預(yù)定操作執(zhí)行單元380可以響應(yīng)于所述特定位置區(qū)域的區(qū)域類型屬于所述報警敏感位置區(qū)域,立即執(zhí)行報警操作。
在一個示例中,所述安防監(jiān)控裝置300還可以包括:區(qū)域類型劃分單元310,用于對所述監(jiān)控場景的各個位置區(qū)域進行區(qū)域類型劃分。
在一個示例中,所述區(qū)域類型劃分單元310可以獲取所述監(jiān)控場景的穩(wěn)定圖像幀,所述穩(wěn)定圖像幀是其間存在的移動目標(biāo)物體的數(shù)目小于預(yù)定閾值的圖像幀;根據(jù)所述穩(wěn)定圖像幀來對所述監(jiān)控場景進行模式分析,以確定其中可能出現(xiàn)誤報的位置區(qū)域及其出現(xiàn)誤報的概率;并且根據(jù)所述模式分析的結(jié)果來對所述監(jiān)控場景進行位置區(qū)域劃分并確定各個位置區(qū)域的區(qū)域類型。
上述安防監(jiān)控裝置300中的各個單元和模塊的具體功能和操作已經(jīng)在上面參考圖1到圖7描述的安防監(jiān)控方法中詳細介紹,并因此,將省略其重復(fù)描述。
如上所述,根據(jù)本申請實施例的安防監(jiān)控裝置300可以應(yīng)用于如圖1所示的安防監(jiān)控設(shè)備100中,以用于對目標(biāo)物體進行檢測和跟蹤、位置確定、區(qū)域類型識別等操作。
在一個示例中,根據(jù)本申請實施例的安防監(jiān)控裝置300可以作為一個軟件模塊和/或硬件模塊而集成到圖1中的該安防監(jiān)控設(shè)備100中。例如,該安防監(jiān)控裝置300可以被實現(xiàn)為設(shè)備100中的安防監(jiān)控模塊120。例如,該安防監(jiān)控裝置300可以是該安防監(jiān)控設(shè)備100的操作系統(tǒng)中的一個軟件模塊,或者可以是針對于該安防監(jiān)控設(shè)備100所開發(fā)的一個應(yīng)用程序;當(dāng)然,該安防監(jiān)控裝置300同樣可以是該安防監(jiān)控設(shè)備100的眾多硬件模塊之一。
替換地,在另一示例中,該安防監(jiān)控裝置300與該安防監(jiān)控設(shè)備100也可以是分立的設(shè)備,并且該安防監(jiān)控裝置300可以通過有線和/或無線網(wǎng)絡(luò)連接到該安防監(jiān)控設(shè)備100,并且按照約定的數(shù)據(jù)格式來傳輸交互信息。
示例性電子設(shè)備
下面,參考圖9來描述根據(jù)本申請實施例的電子設(shè)備。該電子設(shè)備可以是計算機或服務(wù)器或其他設(shè)備。例如,在一個示例中,根據(jù)本申請實施例的目標(biāo)物體的電子設(shè)備可以對應(yīng)于圖1中的安防監(jiān)控設(shè)備100。
圖9圖示了根據(jù)本申請實施例的電子設(shè)備的框圖。
如圖9所示,電子設(shè)備10包括一個或多個處理器11和存儲器12。
處理器11可以是中央處理單元(cpu)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其他形式的處理單元,并且可以控制電子設(shè)備10中的其他組件以執(zhí)行期望的功能。
存儲器12可以包括一個或多個計算機程序產(chǎn)品,所述計算機程序產(chǎn)品可以包括各種形式的計算機可讀存儲介質(zhì),例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器例如可以包括隨機存取存儲器(ram)和/或高速緩沖存儲器(cache)等。所述非易失性存儲器例如可以包括只讀存儲器(rom)、硬盤、閃存等。在所述計算機可讀存儲介質(zhì)上可以存儲一個或多個計算機程序指令,處理器11可以運行所述程序指令,以實現(xiàn)上文所述的本申請的各個實施例的安防監(jiān)控方法以及/或者其他期望的功能。在所述計算機可讀存儲介質(zhì)中還可以存儲諸如目標(biāo)物體的像素位置、目標(biāo)物體所處的特定位置區(qū)域的區(qū)域類型等各種內(nèi)容。
在一個示例中,電子設(shè)備10還可以包括:輸入裝置13和輸出裝置14,這些組件通過總線系統(tǒng)和/或其他形式的連接機構(gòu)(未示出)互連。
例如,該輸入裝置13可以是上述的攝像頭110,用于捕捉監(jiān)控場景的圖像序列。此外,該輸入設(shè)備13還可以包括例如鍵盤、鼠標(biāo)、以及通信網(wǎng)絡(luò)及其所連接的遠程輸入設(shè)備等等。
該輸出裝置14可以向外部(例如,用戶或機器學(xué)習(xí)模型)輸出各種信息,包括目標(biāo)物體的像素位置、目標(biāo)物體所處的特定位置區(qū)域的區(qū)域類型、報警信息等。該輸出設(shè)備14可以包括例如顯示器、揚聲器、打印機、以及通信網(wǎng)絡(luò)及其所連接的遠程輸出設(shè)備等等。
當(dāng)然,為了簡化,圖9中僅示出了該電子設(shè)備10中與本申請有關(guān)的組件中的一些,省略了諸如總線、輸入/輸出接口等等的組件。除此之外,根據(jù)具體應(yīng)用情況,電子設(shè)備10還可以包括任何其他適當(dāng)?shù)慕M件。
示例性計算機程序產(chǎn)品和計算機可讀存儲介質(zhì)
除了上述方法和設(shè)備以外,本申請的實施例還可以是計算機程序產(chǎn)品,其包括計算機程序指令,所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本申請各種實施例的安防監(jiān)控方法中的步驟。
所述計算機程序產(chǎn)品可以以一種或多種程序設(shè)計語言的任意組合來編寫用于執(zhí)行本申請實施例操作的程序代碼,所述程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言,諸如java、c++等,還包括常規(guī)的過程式程序設(shè)計語言,諸如“c”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算設(shè)備上部分在遠程計算設(shè)備上執(zhí)行、或者完全在遠程計算設(shè)備或服務(wù)器上執(zhí)行。
此外,本申請的實施例還可以是計算機可讀存儲介質(zhì),其上存儲有計算機程序指令,所述計算機程序指令在被處理器運行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本申請各種實施例的安防監(jiān)控方法中的步驟。
所述計算機可讀存儲介質(zhì)可以采用一個或多個可讀介質(zhì)的任意組合??勺x介質(zhì)可以是可讀信號介質(zhì)或者可讀存儲介質(zhì)??勺x存儲介質(zhì)例如可以包括但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件,或者任意以上的組合??勺x存儲介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個或多個導(dǎo)線的電連接、便攜式盤、硬盤、隨機存取存儲器(ram)、只讀存儲器(rom)、可擦式可編程只讀存儲器(eprom或閃存)、光纖、便攜式緊湊盤只讀存儲器(cd-rom)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。
以上結(jié)合具體實施例描述了本申請的基本原理,但是,需要指出的是,在本申請中提及的優(yōu)點、優(yōu)勢、效果等僅是示例而非限制,不能認為這些優(yōu)點、優(yōu)勢、效果等是本申請的各個實施例必須具備的。另外,上述公開的具體細節(jié)僅是為了示例的作用和便于理解的作用,而非限制,上述細節(jié)并不限制本申請為必須采用上述具體的細節(jié)來實現(xiàn)。
本申請中涉及的器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認識到的,可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語是開放性詞匯,指“包括但不限于”,且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”,且可與其互換使用,除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”,且可與其互換使用。
還需要指出的是,在本申請的裝置、設(shè)備和方法中,各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本申請的等效方案。
提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本申請。對這些方面的各種修改對于本領(lǐng)域技術(shù)人員而言是非常顯而易見的,并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本申請的范圍。因此,本申請不意圖被限制到在此示出的方面,而是按照與在此公開的原理和新穎的特征一致的最寬范圍。
為了例示和描述的目的已經(jīng)給出了以上描述。此外,此描述不意圖將本申請的實施例限制到在此公開的形式。盡管以上已經(jīng)討論了多個示例方面和實施例,但是本領(lǐng)域技術(shù)人員將認識到其某些變型、修改、改變、添加和子組合。