專利名稱：基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)以及集中監(jiān)視方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過多個監(jiān)視照相機(jī)進(jìn)行廣域監(jiān)視的集中監(jiān)視系統(tǒng)以及集中監(jiān)視方法。
背景技術(shù)：
在中心的管理室中對多個監(jiān)視照相機(jī)影像進(jìn)行集中管理時，將多個監(jiān)視照相機(jī)影 像排列在一個畫面中而進(jìn)行監(jiān)控。此時，同時監(jiān)控多個監(jiān)視照相機(jī)影像對于監(jiān)視員而言是 非常無聊的作業(yè)，在同時監(jiān)控25臺監(jiān)視照相機(jī)影像的情況下，經(jīng)過20分鐘后就難以集中注 意力了。而且，在對監(jiān)視區(qū)域如自動扶梯、移動的通道那樣背景始終變化的場景進(jìn)行監(jiān)控的 情況下，多個畫面都始終在變化，而監(jiān)視員僅觀看這些就感到疲勞了。在這樣的狀況下在多 個影像中發(fā)生了事故的情況下，看漏該事態(tài)的可能性變高。以往，為了防止看漏這樣的異常事態(tài)，例如作為以往技術(shù)，在監(jiān)視照相機(jī)影像中發(fā) 生了異常時，通過改變顯示的大小、顯示時間，而使得容易在視覺上觀察異常發(fā)生。專利文獻(xiàn)1日本特開平第10-187230號公報專利文獻(xiàn)2日本特開昭第62-86990號公報

發(fā)明內(nèi)容
(發(fā)明要解決的問題)以往提出了在基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)中對異常事態(tài)進(jìn)行檢測并進(jìn) 行強(qiáng)調(diào)顯示或彈出顯示的功能。在背景是靜態(tài)的狀態(tài)下，雖然視覺上的負(fù)擔(dān)不大，但在自動 扶梯臺階、移動的通道、步行街的人群等背景動態(tài)變化的場景中，需要對始終運(yùn)動的多個 畫面進(jìn)行監(jiān)控，視覺上的負(fù)擔(dān)變大。另外，在對基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)的異常事態(tài)進(jìn)行檢測并進(jìn)行強(qiáng)調(diào) 顯示或彈出顯示的功能中，在同時發(fā)生了多個異常事態(tài)的情況下，如果不清楚異常事態(tài)的 程度，則按照發(fā)生順序進(jìn)行異常事態(tài)的強(qiáng)調(diào)顯示，存在后面發(fā)生的重大事態(tài)的發(fā)現(xiàn)延遲的 危險性。另外，在監(jiān)視照相機(jī)之間的邊界區(qū)域發(fā)生了異常事態(tài)的情況下，在多個監(jiān)視照相 機(jī)影像中伴隨時間延遲而連續(xù)或者斷續(xù)地發(fā)生異常事態(tài)。因此，當(dāng)發(fā)生了異常事態(tài)的監(jiān)視 照相機(jī)影像在集中監(jiān)視畫面上配置于分離的位置的情況下，視點的移動增加，監(jiān)視員的視 覺負(fù)擔(dān)增加。本發(fā)明的目的在于提供一種集中監(jiān)視系統(tǒng)，一邊排列顯示多個監(jiān)視照相機(jī)的影像 一邊進(jìn)行集中監(jiān)視，可以減少監(jiān)視者的負(fù)擔(dān)，并且降低看漏異常的發(fā)生的可能性。(解決問題的方案)本發(fā)明的一個方面是，一邊排列顯示多個監(jiān)視照相機(jī)的影像一邊進(jìn)行集中監(jiān)視的 監(jiān)視系統(tǒng)，其特征在于，針對每個照相機(jī)通過圖像處理計算出多個監(jiān)視照相機(jī)的影像中的 人物動作的異常度，該異常度越高，使來自該監(jiān)視照相機(jī)的影像的顯示幀率越高。
具體而言，根據(jù)各監(jiān)視照相機(jī)影像進(jìn)行人物動作解析，定量地計算出人物動作是 異常還是正常，根據(jù)其異常度來改變監(jiān)視照相機(jī)影像的顯示/重放速度。優(yōu)選地，如果根據(jù)該監(jiān)視照相機(jī)影像的解析結(jié)果，異常度較低，則降低顯示幀率， 例如顯示抽選影像，如果在背景中沒有人物，則停止顯示/重放。相反地，在由于人物動作 而判斷為異常的情況下，按照通常速度(在重放的情況下慢進(jìn)影像)顯示，對異常狀態(tài)進(jìn)行 監(jiān)控，而進(jìn)行適當(dāng)?shù)奶幹?。另外，在本發(fā)明的優(yōu)選的實施方式中，在多個監(jiān)視照相機(jī)影像中發(fā)生了異常事態(tài) 的情況下，根據(jù)所述異常度來變更監(jiān)視器上的多個監(jiān)視照相機(jī)影像的配置。例如通過將異 常度較大的監(jiān)視照相機(jī)影像始終配置到左上的區(qū)域、或者彈出到特定畫面位置，減少監(jiān)視 員的視線移動，而降低監(jiān)控的負(fù)擔(dān)。另外，在本發(fā)明的其他優(yōu)選的實施方式中，在多個監(jiān)視照相機(jī)影像中發(fā)生一個人 物動作的異常事態(tài)的情況下，將這些鄰接監(jiān)視照相機(jī)影像重新配置在監(jiān)視畫面上的接近的 位置。進(jìn)而，此時以使鄰接監(jiān)視照相機(jī)的視場連接的方式編輯，使得容易觀察多個監(jiān)視照相 機(jī)的影像。(發(fā)明效果)根據(jù)本發(fā)明的優(yōu)選的實施方式，提供的監(jiān)視系統(tǒng)中，一邊排列顯示多個監(jiān)視照相 機(jī)的影像，一邊進(jìn)行集中監(jiān)視，可以減少監(jiān)視者的負(fù)擔(dān)，并且降低看漏異常的發(fā)生的可能 性。作為本發(fā)明的優(yōu)選的應(yīng)用例，例如在自動扶梯中的異常事態(tài)監(jiān)控中，通過使正常 時的臺階的動作、人的流動的顯示等停止而設(shè)為靜止圖像顯示等、將幀率減小至極限，從而 降低監(jiān)視員的監(jiān)控負(fù)擔(dān)。如果檢測到異常，則使畫面動作，所以對于監(jiān)視員而言，以此為觸 發(fā)，可以立即認(rèn)知異常事態(tài)的發(fā)生、和在哪個監(jiān)視照相機(jī)的影像上發(fā)生了異常。因此，可以 大幅降低看漏異常事態(tài)的概率，可以迅速進(jìn)行異常事態(tài)的應(yīng)對。即，通過使在線監(jiān)視時的顯 示幀率可根據(jù)經(jīng)過圖像處理而認(rèn)知的異常度而變化，可以降低監(jiān)視員的負(fù)擔(dān)。另外，通過根據(jù)人物動作的異常度，來變更監(jiān)視畫面上的多個監(jiān)視照相機(jī)影像的 配置，可以減少監(jiān)視員的視線移動，進(jìn)一步降低監(jiān)控的負(fù)擔(dān)。由此，可以增加一次可監(jiān)視的 監(jiān)視照相機(jī)臺數(shù)，提高監(jiān)視效率提高。一次計算出的人物異常度還可以用作用于圖像檢索的元數(shù)據(jù)。即，通過使異常度 較低的場景快進(jìn)、并使異常度較高的場景緩慢重放，可以詳細(xì)地解析異常事態(tài)。由此，可以 半自動地選擇需要詳細(xì)解析的場景，例如，可以大幅降低從大量影像數(shù)據(jù)中取出與犯罪搜 查支援相關(guān)的場景的作業(yè)的負(fù)擔(dān)。在該情況下，假定通過人的目視確認(rèn)來進(jìn)行解析，即使在 異常度計算中存在錯誤，盡管是異常事態(tài)但異常度變得較低的情況下，通過由人進(jìn)行確認(rèn)， 也可以降低由于異常度的計算錯誤引起的看漏。即，在離線監(jiān)視時，通過使顯示速度可根 據(jù)動作異常度而變化，可以提高離線監(jiān)視的效率。


圖1是作為本發(fā)明的優(yōu)選的實施例的具備帶監(jiān)視照相機(jī)的保護(hù)板的自動扶梯集 中監(jiān)視系統(tǒng)的整體結(jié)構(gòu)圖。圖2同樣地是具備帶監(jiān)視照相機(jī)的保護(hù)板的自動扶梯圖像監(jiān)視裝置的結(jié)構(gòu)圖。
圖3是將本發(fā)明的實施例的多個監(jiān)視照相機(jī)影像在一個畫面上進(jìn)行集中監(jiān)控的 顯示畫面例圖。圖4是本發(fā)明的實施例的用于根據(jù)人物動作的異常度對多個監(jiān)視照相機(jī)影像進(jìn) 行顯示變更的控制處理流程圖。圖5是本發(fā)明的實施例的根據(jù)人物動作的異常度來調(diào)整幀率而顯示多個監(jiān)視照 相機(jī)影像的動作說明6是說明本發(fā)明的實施例的根據(jù)人物動作的異常度對多個監(jiān)視照相機(jī)影像進(jìn) 行顯示變更時的變形的圖之一。圖7是說明本發(fā)明的實施例的根據(jù)人物動作的異常度對多個監(jiān)視照相機(jī)影像進(jìn) 行顯示變更時的變形的圖之二。圖8是說明本發(fā)明的實施例的在發(fā)生異常事態(tài)時將多個監(jiān)視照相機(jī)影像連接而 顯示的功能之一圖。圖9是說明本發(fā)明的實施例的在發(fā)生異常事態(tài)時將多個監(jiān)視照相機(jī)影像連接而 顯示的功能之二的圖。(符號說明)101 帶監(jiān)視照相機(jī)的可動式保護(hù)板；102 自動扶梯的扶手；103 帶監(jiān)視照相機(jī)的 可動式保護(hù)板；104 帶監(jiān)視照相機(jī)的可動式保護(hù)板；105 模擬同軸電纜或者以太網(wǎng)電纜； 106 集中監(jiān)視中心；107 硬盤記錄器；108 圖像處理裝置；109 顯示用監(jiān)視器；110 調(diào)整 用PC ；111 接點輸出；112 警告燈或者揚(yáng)聲器；201 自動扶梯的臺階；202 :自動扶梯的扶 手；203 監(jiān)視照相機(jī)；204 揚(yáng)聲器；206 碰撞防止保護(hù)板；207 圖像識別裝置部；208 影 像錄像裝置部；209 乘客；210 天花板；301 監(jiān)視畫面；302、303 顯示形態(tài)變更用⑶I ； 304 監(jiān)視照相機(jī)影像；601 彈出監(jiān)視照相機(jī)影像；602 提高了重放速度的監(jiān)視照相機(jī)影 像；603 降低了重放速度的監(jiān)視照相機(jī)影像；604 提高了幀率的監(jiān)視照相機(jī)影像；605 降 低了幀率的監(jiān)視照相機(jī)影像；606 與照相機(jī)圖像重疊地對異常度的時間遷移進(jìn)行了折線 圖顯示的畫面；701、702、801 高異常度監(jiān)視照相機(jī)的高亮度影像；703、802 與高異常度 監(jiān)視照相機(jī)鄰接的監(jiān)視照相機(jī)的高亮度影像；803、901 高異常度監(jiān)視照相機(jī)影像；804 與 高異常度監(jiān)視照相機(jī)鄰接的監(jiān)視照相機(jī)的影像；805、806 圖像間連接線；902 來自與高異 常度監(jiān)視照相機(jī)鄰接的監(jiān)視照相機(jī)的反轉(zhuǎn)/變形了的圖像；903 連接圖像的彈出顯示。
具體實施例方式以下，對本發(fā)明的實施方式進(jìn)行說明。使用辦公大樓或者百貨大樓中的自動扶梯上安裝的具備監(jiān)視照相機(jī)的集中監(jiān)視 系統(tǒng)的圖對本發(fā)明的實施方式進(jìn)行說明。圖1是在自動扶梯的窄角部中安裝的具備帶監(jiān)視照相機(jī)的保護(hù)板的自動扶梯中 應(yīng)用的本發(fā)明的實施例的集中監(jiān)視系統(tǒng)的整體結(jié)構(gòu)圖。在圖1中，101是帶監(jiān)視照相機(jī)的可 動式保護(hù)板，102是自動扶梯的扶手。在辦公大樓、百貨大樓中，需要在各樓層中安裝監(jiān)視照 相機(jī)(103、104)。這些監(jiān)視照相機(jī)通過同軸電纜、或者以太網(wǎng)(注冊商標(biāo))電纜105連接到 硬盤記錄器107。根據(jù)所使用的監(jiān)視照相機(jī)是模擬照相機(jī)還是數(shù)字IP照相機(jī)來改變用同 軸電纜來連接還是用以太網(wǎng)電纜來連接。電纜105既可以直接連接到硬盤記錄器107，也6可以經(jīng)由路由器連接到記錄器107。另外，在監(jiān)視照相機(jī)使用數(shù)字IP照相機(jī)的情況下，可 以代替電纜105而使用無線LAN。圖像處理裝置108對由硬盤記錄器107記錄的影像進(jìn)行 圖像處理，而對影像中的人物的動作進(jìn)行解析。例如，如果使用日本特愿第2008-2^102號 記載的基于時間空間信息的例外行動檢測裝置，則可以檢測如自動扶梯那樣臺階始終動作 的動態(tài)的背景場景中的人物的跌倒事態(tài)。此時，通過圖像處理裝置108計算出人物動作的 異常度，異常動作的檢測結(jié)果和異常度的時間變化的圖表顯示在監(jiān)視器109中。在監(jiān)視器 109中，同時顯示多個監(jiān)視照相機(jī)影像。圖像處理裝置108由PC或者嵌入機(jī)器構(gòu)成。PCllO 是用于變更圖像處理裝置108的參數(shù)、或保存來自圖像處理裝置108的輸出結(jié)果的保守用 PC。來自圖像處理裝置108的檢測結(jié)果通過接點輸出111被送到警告燈、揚(yáng)聲器等外部機(jī) 器112，進(jìn)行與人物動作的異常度對應(yīng)的警告。硬盤記錄器107至外部機(jī)器112均設(shè)置在集 中監(jiān)視中心106中，監(jiān)視員通過一臺監(jiān)視器109來監(jiān)控多個監(jiān)視照相機(jī)的影像。圖2是日本特愿第2008-238260號記載的聚焦于使用了帶監(jiān)視照相機(jī)的可動式保 護(hù)板的局部的監(jiān)視照相機(jī)構(gòu)成部的自動扶梯的立體圖。在圖2中，201是自動扶梯的臺階， 202是自動扶梯的扶手。203是影像監(jiān)視用的照相機(jī)，對臺階上的乘客的搭乘狀態(tài)進(jìn)行監(jiān) 視。204是廣播注意提醒用的揚(yáng)聲器，在乘客處于異常搭乘或者危險搭乘的情況下進(jìn)行注 意提醒，使乘客認(rèn)知危險。205是可動式保護(hù)板的安裝器具，206是乘客的碰撞防止用的可 動式保護(hù)板，具有如果乘客碰撞則發(fā)生搖晃的構(gòu)造。207是圖像識別裝置，對由監(jiān)視照相機(jī) 203拍攝的圖像進(jìn)行處理，而檢測異常搭乘或危險搭乘。208是影像錄像裝置，進(jìn)行長時間 錄像、或者以由圖像識別裝置207檢測到的異常事態(tài)為觸發(fā)信號而僅在異常事態(tài)前后對影 像進(jìn)行錄像。從圖像識別裝置207輸出的觸發(fā)信號與自動扶梯控制裝置(未圖示)連接， 在異常事態(tài)發(fā)生時可以使自動扶梯停止或者緩慢停止。另外，從圖像識別裝置207輸出的 觸發(fā)信號作為警告信號經(jīng)由有線或者無線的網(wǎng)絡(luò)105輸出到集中監(jiān)視中心106(圖1)，用 于提高監(jiān)視員的監(jiān)視效率。另外，可以具備將這樣的異常度或者基于異常度的觸發(fā)信號、警 告信號作為元數(shù)據(jù)而直接存儲在運(yùn)動圖像文件的頭區(qū)域或者動態(tài)圖像數(shù)據(jù)中的元數(shù)據(jù)儲 存部。通過這樣埋入到影像數(shù)據(jù)中、或者對影像數(shù)據(jù)作為元數(shù)據(jù)按照不同的文件進(jìn)行附加， 可以用于為了事故驗證而離線地在事后檢索影像的情況。另外，209是異常搭乘中的乘客， 210是上層的地面或者天花板。接下來，使用圖3，對在顯示監(jiān)視器109中顯示的多個監(jiān)視照相機(jī)影像的一并顯示 進(jìn)行說明。在圖3中，301是監(jiān)視器畫面。302、303是具有對多個畫面的顯示形態(tài)進(jìn)行變更 的參數(shù)按鈕的⑶I (GraphicalUser hterface，圖形用戶接口)。304是來自局部地分散配 置的多個監(jiān)視照相機(jī)的影像。圖1的硬盤記錄器107可以同時對多通道的影像進(jìn)行顯示/錄像，圖像處理裝置 108可以同時對這些多通道影像進(jìn)行圖像處理。監(jiān)視器109可以顯示多通道影像以及對它 們同時進(jìn)行圖像處理而得到的結(jié)果。雖然該圖是針對多個自動扶梯全部從同一方向、同一角度觀察的影像，但如此配 置所有監(jiān)視照相機(jī)是困難的。因此，在該實施例中，圖像處理裝置108具備校正部，該校正 部通過圖像處理對監(jiān)視照相機(jī)的影像進(jìn)行校正，以使在背景中具備同一形狀的其他物體的 多個監(jiān)視照相機(jī)的影像看起來是在大致相同的位置、以大致相同的角度設(shè)置的監(jiān)視照相機(jī) 的影像。該校正部可通過軟件或者圖像處理電路來實現(xiàn)。
圖4是本發(fā)明的實施例的用于根據(jù)人物動作的異常度對多個監(jiān)視照相機(jī)影像進(jìn) 行顯示變更的控制處理流程圖。使用圖4，對根據(jù)圖像處理裝置108輸出的人物的動作異 常度來變更顯示監(jiān)視器109的顯示形態(tài)的流程進(jìn)行說明。在步驟401中，向圖像處理裝置 108輸入影像。在步驟402中，計算出乘客的乘車的異常度。計算出例如根據(jù)日本特愿第 2008-226102號記載的時間空間信息計算的連續(xù)排序增量值。連續(xù)排序增量是指，評價某 區(qū)域內(nèi)的動作的正常/非正常性的值，在該值較小時表示區(qū)域內(nèi)的動作相關(guān)，動作的復(fù)雜 度較小。例如，沒有乘客的狀態(tài)的自動扶梯臺階的動作。相反地，如果連續(xù)排序增量的值較 大，則表示區(qū)域內(nèi)的動作復(fù)雜，例如在自動扶梯臺階上的人物跌倒、或者往上跑的情況下連 續(xù)排序增量的值變大。然后，在步驟403中，判斷異常度的值是否大于閾值。如果異常度(連續(xù)排序增量 的值)小于閾值，則在步驟404中，不變更畫面的顯示形態(tài)，如果在前面的幀中改變了顯示 形態(tài)，則將顯示形態(tài)恢復(fù)成原樣，再次返回到異常度的計算步驟402。如果異常度大于閾值， 則在步驟405中，根據(jù)該異常度來變更監(jiān)視器109的畫面顯示形態(tài)。在異常畫面的顯示形態(tài)的變更方法中有多種手法，在后面使用圖5-9對這些手法 進(jìn)行說明。在變更了異常畫面的顯示形態(tài)之后，在步驟406中，確認(rèn)鄰接監(jiān)視照相機(jī)影像的 連接顯示標(biāo)志的狀態(tài)。如果連接標(biāo)志成為0N，則在步驟407中，將至少2臺以上的監(jiān)視照相 機(jī)影像連接而顯示。使用圖8-9在后面對其進(jìn)行詳細(xì)說明。在進(jìn)行了步驟405的異常顯示形態(tài)的變更、和步驟407的鄰接監(jiān)視照相機(jī)影像的 連接之后，在步驟408中，將在步驟402中計算出的異常度作為元數(shù)據(jù)而保存在外部記錄介 質(zhì)中。其目的在于，在離線地重放錄像到硬盤記錄器107中的影像時，對于步驟401至407 的處理，不進(jìn)行圖像處理而高效地進(jìn)行影像重放。例如，在從長時間錄像了的影像數(shù)據(jù)中切 出可能用于犯罪搜查支援的場景時，使用人物的動作特征的異常度來進(jìn)行影像重放。即，可 以設(shè)為對于異常度較小的場景，由于人物的動作不復(fù)雜，且沒有發(fā)生異常，而提高重放速 度來短時間地調(diào)查；相反地，對于異常度較大的場景，由于人物動作復(fù)雜，且發(fā)生了某種異 常，而延遲重放速度來詳細(xì)地調(diào)查。圖5是本發(fā)明的一個實施例的集中監(jiān)視系統(tǒng)中的顯示速度(幀率)變更的說明 圖。可以根據(jù)通過圖像處理從監(jiān)視照相機(jī)的影像計算出的異常度，變更畫面顯示的速 度(幀率)。其中有兩種情況，一種是如圖5的左側(cè)所示的在線顯示攝影影像的情況，另一 種是如圖5的右側(cè)所示的從后面開始離線地重放顯示所錄制的影像的情況。首先，在圖5的左側(cè)所示的在線顯示的情況下，在通常時(在沒有發(fā)生異常的情況 下)，如圖5的左下段所示，降低所顯示的影像的幀率。在該情況下，使影像僅間歇地變化的 狀態(tài)是充分的，在極端的情況下，在影像中不存在人物，在畫面完全沒有變化的情況下還可 以將幀率設(shè)為0，即停止顯示。另一方面，在發(fā)生了異常的情況下，如圖5的左上段所示，根據(jù)通過圖像處理計算 出的異常度，使顯示幀率連續(xù)提高、或者使顯示幀率逐次提高一定速率幅度。此時，按照最 大30fps、即通常的幀率來顯示。即，在一邊排列顯示多個監(jiān)視照相機(jī)的影像一邊進(jìn)行集中監(jiān)視的監(jiān)視系統(tǒng)中，具備異常度計算部，針對每個監(jiān)視照相機(jī)通過圖像處理計算出多個監(jiān)視照相機(jī)的影像中的 人物動作的異常度；以及幀率調(diào)整部，該異常度越高，使來自該監(jiān)視照相機(jī)的影像的顯示幀 率越高。異常度計算部以及幀率調(diào)整部設(shè)置在圖像處理裝置108中，可通過軟件或者圖像 處理電路來實現(xiàn)。另外，也可以將異常度計算部設(shè)置在圖像識別裝置207中，與影像一起輸 入到圖像處理裝置108。接下來，在圖5的右側(cè)所示的離線顯示的情況下，在通常時，如圖5的右下段所示， 進(jìn)行“快進(jìn)”重放。在極端的情況下，如果在畫面中完全沒有變化的情況下，還可以使重放 跳轉(zhuǎn)至下一個發(fā)生了異常的幀。在發(fā)生了圖5的右上段所示的異常的場景中，根據(jù)通過圖像處理計算出的異常 度，使“慢進(jìn)重放”的速度連續(xù)降低或者逐次降低一定速度幅度。此時，降低至通常的重放 速度(等倍速1.0倍)。但是，在希望更詳細(xì)地觀察該場景的情況下，也可以進(jìn)一步降低重 放速度(小于1.0倍)。S卩，在對多個監(jiān)視照相機(jī)的影像進(jìn)行錄像，一邊排列這些多個監(jiān)視照相機(jī)的影像 而同時重放一邊進(jìn)行集中監(jiān)視的監(jiān)視系統(tǒng)中，具備異常度計算部，針對每個監(jiān)視照相機(jī)通 過圖像處理計算出多個監(jiān)視照相機(jī)的影像中的人物動作的異常度；以及重放速度調(diào)整部， 該異常度越低，使通過該監(jiān)視照相機(jī)得到的錄制影像的重放速度越高。異常度計算部以及 重放速度調(diào)整部設(shè)置在圖像處理裝置108中，可通過軟件或者圖像處理電路來實現(xiàn)。作為 異常度計算部得到異常度的方法，也可以利用直接存儲到運(yùn)動圖像文件的頭區(qū)域或者動態(tài) 圖像數(shù)據(jù)中的元數(shù)據(jù)?；蛘撸部梢跃邆湓獢?shù)據(jù)儲存部，該元數(shù)據(jù)儲存部為了下次重放時， 而將異常度作為元數(shù)據(jù)直接存儲到運(yùn)動圖像文件的頭區(qū)域或者動態(tài)圖像數(shù)據(jù)中。對于元數(shù) 據(jù)儲存部，也可以通過軟件或者圖像處理電路來實現(xiàn)。接下來，對本發(fā)明的實施例的具體的監(jiān)視器畫面的顯示例進(jìn)行說明。圖6是通過幀率調(diào)整、彈出顯示、以及異常度的遷移顯示進(jìn)行的監(jiān)視支援畫面的 說明圖。在圖6(a)中，將發(fā)生了異常的監(jiān)視照相機(jī)影像臨時保存在存儲器緩沖器中，使該 監(jiān)視照相機(jī)影像在監(jiān)視畫面上彈出顯示。該例子表示對來自監(jiān)視照相機(jī)7的影像進(jìn)行圖像 處理而得到的異常度超過了閾值的情況、且使來自監(jiān)視照相機(jī)7的影像在畫面中央進(jìn)行彈 出顯示601的樣子。對于此時的彈出顯示601的影像，如果是在線監(jiān)視中則按照較高的幀 率顯示，在離線地重放監(jiān)視的情況下，慢進(jìn)重放。這樣，在顯示畫面的中央放大顯示異常度 超過了規(guī)定值的監(jiān)視照相機(jī)的影像的放大顯示部設(shè)置于圖像處理裝置108中，可通過軟件 或者圖像處理電路來實現(xiàn)。圖6(b)的顯示形態(tài)是如圖3說明的那樣，對所有16臺監(jiān)視照相機(jī)的影像進(jìn)行一 并顯示的監(jiān)視器畫面的例子。該例子可以應(yīng)用于在線影像監(jiān)視、或者離線錄像后的重放監(jiān) 視中的任意一種，在圖6(b)中，圖示為離線重放時的重放速度的調(diào)整例，在圖6(c)中，圖示 為在線監(jiān)視時的幀率的調(diào)整例。在圖6(b)中，當(dāng)根據(jù)在步驟402(圖4)中計算出的異常度的大小來改變各監(jiān)視照 相機(jī)影像的運(yùn)動圖像的離線重放速度的情況下，連續(xù)排序增量的值取0至1之間的值，所以 可以通過下式來實現(xiàn)期望的功能?！靶Ｕ胤潘俣取?“標(biāo)準(zhǔn)重放速度” X α X (1. 0_ “連續(xù)排序增量值”)此處，α是大于1的正的常數(shù)。當(dāng)監(jiān)視區(qū)域內(nèi)的人物的動作正常、或者在監(jiān)視區(qū)域中不存在人物的情況下，例如即使在自動扶梯的臺階動作的狀態(tài)下，連續(xù)排序增量的值 也取較低的值。因此，如果使用上式，則在沒有乘客的情況、或者即使有乘客但動作不復(fù)雜 的情況下，提高顯示的重放速度，例如，如602所示，以2. 0倍速重放來自監(jiān)視照相機(jī)11的 錄制影像。由于這樣一邊跳過沒有變化的場景一邊重放，所以離線地進(jìn)行影像調(diào)查時的監(jiān) 視員的視覺上的疲勞減少。相反地，在連續(xù)排序增量的值較大的情況下，表示乘客的動作復(fù)雜，在該情況下， 需要詳細(xì)地觀察。因此，例如如603所示，按照0. 2倍速緩慢重放來自監(jiān)視照相機(jī)12的錄 制影像，不會錯過重放時的場面而可以詳細(xì)地觀察異常事態(tài)。這樣的顯示可通過所述幀率 調(diào)整部來實現(xiàn)。圖6(c)是當(dāng)在線集中監(jiān)視時使用連續(xù)排序增量使顯示幀率可變的監(jiān)視畫面的 例子。即，在使連續(xù)排序增量取0至1之間的值時，將顯示幀率設(shè)為對標(biāo)準(zhǔn)的顯示幀率即 30[fps]加上連續(xù)排序增量值而得到的值。如果在連續(xù)排序增量的值接近1. 0的情況下，顯 示幀率變高，例如如用604表示的來自照相機(jī)11的影像所示，可以在接近沒有丟失場面的 幀率30[fps]的狀態(tài)下，觀察異常動作狀態(tài)。相反地，在連續(xù)排序增量接近0的情況下，使顯示幀率降低。例如，如605所示的 來自照相機(jī)1的影像所示，顯示幀率的值接近0，可以降低連續(xù)觀察正常狀態(tài)的影像時的監(jiān) 視員的視覺上的疲勞。在這樣的顯示幀率的調(diào)整中，還可以期待其他效果。即，顯示幀率較低的影像是根 據(jù)連續(xù)排序增量的定義而異常度較小的影像。另一方面，如果異常度變高，則顯示幀率提 高，視覺上強(qiáng)調(diào)優(yōu)選觀察哪個監(jiān)視照相機(jī)影像。因此，可以期待可盡快得知異常事態(tài)、可減 少異常事態(tài)的看漏。這樣的顯示可通過所述重放速度調(diào)整部來實現(xiàn)。在圖6(d)中，針對上述那樣的監(jiān)視照相機(jī)影像的幀率的調(diào)整，將曲線、圖表與各 監(jiān)視照相機(jī)影像重疊而顯示異常度其本身的時間遷移。例如，作為606，與來自照相機(jī)4的 圖像重疊地對異常度的時間遷移進(jìn)行折線圖顯示。由此，可以視覺上觀察并非自動扶梯臺 階上的跌倒那樣的瞬間的異常，而在一定程度的長時間變化的異常例如人的流動的混雜 度。這樣，針對各監(jiān)視照相機(jī)的每個影像，將表示異常度的時間遷移的曲線圖或者示意圖與 各監(jiān)視照相機(jī)的影像重疊地顯示的放大顯示部設(shè)置在圖像處理裝置108中，可通過軟件或 者圖像處理電路來實現(xiàn)。接下來，使用圖7，對異常畫面的顯示形態(tài)其他變更例的變形進(jìn)行說明。圖7 (a)示 出在任意監(jiān)視照相機(jī)影像中都沒有發(fā)生異常的正常狀態(tài)。此時，監(jiān)視照相機(jī)配置是按照設(shè) 置順序從左上朝向右下排列的。圖7(b)是根據(jù)人物動作異常度的大小來改變了影像的亮 度值的顯示例。由于所述連續(xù)排序增量取0至1之間的值，所以可僅通過對可以在畫面上顯 示的最高亮度值乘上連續(xù)排序增量值來實現(xiàn)期望的功能。在圖7(b)中，如用701表示的來 自照相機(jī)6、7以及10的影像所示那樣，明亮地顯示異常度較大的監(jiān)視照相機(jī)影像。另一方 面，正常狀態(tài)的監(jiān)視照相機(jī)影像變暗。在圖示的例子中，由于照相機(jī)1-5以及13-16的異常 度最小，所以最暗，照相機(jī)8、9、11以及12的異常度是中間程度，所以較暗地顯示。S卩，具備 根據(jù)異常度將多個監(jiān)視照相機(jī)的影像分成多個等級的亮度水平來顯示的亮度調(diào)整顯示部。 亮度調(diào)整顯示部設(shè)置在圖像處理裝置108中，可通過軟件或者圖像處理電路來實現(xiàn)。通過 該功能，監(jiān)視員可以視覺上掌握優(yōu)先觀察的監(jiān)視器，所以與按照相同的權(quán)重觀察所有監(jiān)視10照相機(jī)的情況相比，可以降低由于監(jiān)視弓丨起的疲勞。在圖7(c)中，使檢測到異常的監(jiān)視照相機(jī)的影像比其他監(jiān)視照相機(jī)的影像更暗 地顯示。對于將哪一個相對較亮地顯示，可以適宜選擇。此處，除了檢測到異常的監(jiān)視照 相機(jī)的影像702以外，設(shè)置在該監(jiān)視照相機(jī)的附近的監(jiān)視照相機(jī)、或者視場重復(fù)、或者視場 較近的監(jiān)視照相機(jī)映像703也同樣地進(jìn)行亮度校正，在該例子中，是看起來較暗的顯示例。 即，具備將異常度較大的第1監(jiān)視照相機(jī)的影像、和具有與該第1監(jiān)視照相機(jī)的影像關(guān)聯(lián)的 影像的第2監(jiān)視照相機(jī)的影像，與其他監(jiān)視照相機(jī)的影像區(qū)分顯示的關(guān)聯(lián)影像顯示部。關(guān) 聯(lián)影像顯示部設(shè)置在圖像處理裝置108中，可通過軟件或者圖像處理電路來實現(xiàn)。其原因為，在所發(fā)生的異常事態(tài)是發(fā)生在監(jiān)視照相機(jī)之間的邊界區(qū)域中的情況 下，異常事態(tài)在多個監(jiān)視照相機(jī)影像中一邊伴隨時間延遲一邊連續(xù)或者斷續(xù)地發(fā)生。在集 中監(jiān)視畫面上在分離的位置配置了發(fā)生了異常事態(tài)的監(jiān)視照相機(jī)影像的情況下，視點的移 動增加，監(jiān)視員的視覺負(fù)擔(dān)增加。通過本實施例的功能，除了發(fā)生了異常事態(tài)的監(jiān)視照相機(jī)影像以外，還可以視覺 上掌握接近該監(jiān)視照相機(jī)或者視場較近等具有關(guān)聯(lián)的監(jiān)視照相機(jī)影像的畫面上的場所，所 以監(jiān)視員的視線的移動量減少，結(jié)果疲勞降低。圖7(d)示出將圖7(b)的功能擴(kuò)展而進(jìn)一步減少了視線的移動量的顯示例。在圖 7(d)中，根據(jù)異常度的大小，動態(tài)地改變監(jiān)視照相機(jī)影像的配置。在該顯示例中，由于將異 常度較大的監(jiān)視照相機(jī)影像配置在左上，所以監(jiān)視員可以對左上的監(jiān)視照相機(jī)影像加權(quán)而 集中地監(jiān)控。這樣，針對排列在一個畫面內(nèi)的多個監(jiān)視照相機(jī)的影像根據(jù)異常度進(jìn)行重排 的重排顯示部設(shè)置于圖像處理裝置108中，可通過軟件或者圖像處理電路來實現(xiàn)。以上，是與畫面顯示的亮度和監(jiān)視照相機(jī)配置的變更相關(guān)的監(jiān)視支援功能，但即 使在該實施例中，如果針對每個監(jiān)視照相機(jī)，并用與異常度對應(yīng)的顯示幀率或者重放速度 的調(diào)整，則效果更大。接下來，使用圖8以及圖9，對異常狀態(tài)影像的連接顯示功能進(jìn)行說明。在監(jiān)視辦 公大樓、百貨大樓的自動扶梯的情況下，針對每個自動扶梯設(shè)置監(jiān)視照相機(jī)。在這樣的情況 下，由于自動扶梯始終動作，所以在自動扶梯臺階上的乘客跌倒了的情況下，伴隨自動扶梯 臺階的移動，在其他監(jiān)視照相機(jī)中也能觀察到在某監(jiān)視照相機(jī)視場中發(fā)生的跌倒事態(tài)。圖8 (a)是與圖7(c)相同的顯示畫面(其中702、703分別成為801、802)，為了易 于視覺上觀察這樣的事態(tài)，除了發(fā)生了異常的監(jiān)視照相機(jī)影像以外，還強(qiáng)調(diào)顯示與該監(jiān)視 照相機(jī)鄰接的監(jiān)視照相機(jī)的影像。在圖8(b)中，將該功能進(jìn)一步擴(kuò)展，而在發(fā)生了異常事態(tài)時，用線805和806來 連接鄰接監(jiān)視照相機(jī)影像彼此803 (對應(yīng)于照相機(jī)6)與804 (對應(yīng)于照相機(jī)16)，或者在圖 9(a)中，通過視頻圖像鑲嵌，將鄰接監(jiān)視照相機(jī)影像彼此901(對應(yīng)于照相機(jī)6)與902(對 應(yīng)于照相機(jī)16)直接連接而顯示。具體而言，首先，在圖8(a)中，分別根據(jù)異常度計算步驟402(圖4)的結(jié)果來強(qiáng) 調(diào)顯示發(fā)生了異常的監(jiān)視照相機(jī)影像801 (對應(yīng)于照相機(jī)6)和其鄰接監(jiān)視照相機(jī)的影像 802(對應(yīng)于照相機(jī)16)。接下來，如圖8(b)或者圖9(a)所示，用線來連接鄰接監(jiān)視照相機(jī) 影像或者進(jìn)行圖像鑲嵌。在圖8 (b)中，如果以使臺階的移動方向一致的方式，通過線顯示805、806來連接，可視覺上得知人物在圖像之間從哪里移動到哪里。由此，可以引導(dǎo)監(jiān)視員的視線移動，可以 降低與監(jiān)視相伴的疲勞。S卩，具備連系顯示部，該連系顯示部在監(jiān)視畫面上用連系線來連接異常度超過了 規(guī)定值的監(jiān)視照相機(jī)的影像、和與該監(jiān)視照相機(jī)在空間上鄰接的其他監(jiān)視照相機(jī)或者與該 監(jiān)視照相機(jī)具有共通的視場的其他監(jiān)視照相機(jī)的影像。連系顯示部設(shè)置在圖像處理裝置 108中，可通過軟件或者圖像處理電路來實現(xiàn)。在圖9(a)中，將該功能進(jìn)一步擴(kuò)展。在圖9(a)中，如臺階的移動目的地連續(xù)地連 接那樣，相對監(jiān)視照相機(jī)6的影像901，使監(jiān)視照相機(jī)16的影像902的上下方向反轉(zhuǎn)而貼 合。這樣實現(xiàn)了可以對監(jiān)視照相機(jī)影像進(jìn)行視頻圖像鑲嵌、使監(jiān)視照相機(jī)之間的視線移動 成為最小的監(jiān)視。S卩，具備貼合顯示部，該貼合顯示部針對異常度超過了規(guī)定值的監(jiān)視照相機(jī)的影 像、和與該監(jiān)視照相機(jī)在空間上鄰接的其他監(jiān)視照相機(jī)或者與該監(jiān)視照相機(jī)具有共通的視 場的其他監(jiān)視照相機(jī)的影像，以使影像彼此具有連接的方式，在監(jiān)視畫面上使這些監(jiān)視照 相機(jī)影像貼合而顯示?；蛘?，具備連續(xù)影像顯示部，該連續(xù)影像顯示部對所述多個影像進(jìn)行 圖像處理并顯示，以使其看起來是連續(xù)的影像。貼合顯示部或者連續(xù)影像顯示部設(shè)置在圖 像處理裝置108中，可通過軟件或者圖像處理電路來實現(xiàn)。圖8(b)或者圖9 (a)的擴(kuò)展處理結(jié)果如圖9 (b)所示，在監(jiān)視畫面上彈出而顯示為 連結(jié)影像903。以上為來自多個監(jiān)視照相機(jī)的異常狀態(tài)影像的連結(jié)顯示功能，但即使在該實施例 中，如果針對每個監(jiān)視照相機(jī)兼用與異常度對應(yīng)的顯示幀率或者重放速度的調(diào)整，則效果 更大。S卩，只要不相互矛盾，則也可以組合應(yīng)用圖5 圖9中說明的顯示的變形。
權(quán)利要求
1.一種基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)，一邊排列顯示多個監(jiān)視照相機(jī)的影像一 邊進(jìn)行集中監(jiān)視，其特征在于，該集中監(jiān)視系統(tǒng)包括異常度計算部，針對每個監(jiān)視照相機(jī)通過圖像處理計算出多個監(jiān)視照相機(jī)的影像中的 人物動作的異常度；以及幀率調(diào)整部，所述異常度越高，使來自該監(jiān)視照相機(jī)的影像的顯示幀率越高。
2.根據(jù)權(quán)利要求1所述的基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)，其特征在于，該集中 監(jiān)視系統(tǒng)包括放大顯示部，該放大顯示部將所述異常度超過了規(guī)定值的監(jiān)視照相機(jī)的影像 放大顯示在顯示畫面的中央。
3.根據(jù)權(quán)利要求1所述的基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)，其特征在于，該集中 監(jiān)視系統(tǒng)包括重排顯示部，該重排顯示部根據(jù)所述異常度對在一個畫面內(nèi)排列的多個監(jiān)視 照相機(jī)的影像進(jìn)行重排。
4.根據(jù)權(quán)利要求1所述的基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)，其特征在于，該集中 監(jiān)視系統(tǒng)包括異常度遷移顯示部，該異常度遷移顯示部針對各監(jiān)視照相機(jī)的每個影像，將 表示所述異常度的時間遷移的曲線圖或者示意圖與各監(jiān)視照相機(jī)的影像重疊地顯示。
5.根據(jù)權(quán)利要求1所述的基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)，其特征在于，該集中 監(jiān)視系統(tǒng)包括連系顯示部，該連系顯示部在監(jiān)視畫面上用連系線來連接所述異常度超過了 規(guī)定值的監(jiān)視照相機(jī)的影像、和與該監(jiān)視照相機(jī)在空間上鄰接的其他監(jiān)視照相機(jī)或者與該 監(jiān)視照相機(jī)具有共通的視場的其他監(jiān)視照相機(jī)的影像。
6.根據(jù)權(quán)利要求1所述的基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)，其特征在于，該集中 監(jiān)視系統(tǒng)包括貼合顯示部，該貼合顯示部針對所述異常度超過了規(guī)定值的監(jiān)視照相機(jī)的影 像、和與該監(jiān)視照相機(jī)在空間上鄰接的其他監(jiān)視照相機(jī)或者與該監(jiān)視照相機(jī)具有共通的視 場的其他監(jiān)視照相機(jī)的影像，以使影像彼此具有連接的方式，在監(jiān)視畫面上使這些監(jiān)視照 相機(jī)影像貼合而顯示。
7.根據(jù)權(quán)利要求1所述的基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)，其特征在于，該集中 監(jiān)視系統(tǒng)包括連續(xù)影像顯示部，該連續(xù)影像顯示部針對所述異常度超過了規(guī)定值的監(jiān)視照 相機(jī)的影像、和與該監(jiān)視照相機(jī)在空間上鄰接的其他監(jiān)視照相機(jī)或者與該監(jiān)視照相機(jī)具有 共通的視場的其他監(jiān)視照相機(jī)的影像，進(jìn)行圖像處理而顯示，以使其看起來是連續(xù)的影像。
8.根據(jù)權(quán)利要求1所述的基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)，其特征在于，該集中 監(jiān)視系統(tǒng)包括校正部，該校正部通過圖像處理來校正在背景中具有同一形狀的其他物體的 多個監(jiān)視照相機(jī)的影像，以使其看起來是設(shè)置在大致相同的位置且大致相同的角度的監(jiān)視 照相機(jī)的影像。
9.根據(jù)權(quán)利要求1所述的基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)，其特征在于，該集中 監(jiān)視系統(tǒng)包括亮度調(diào)整顯示部，該亮度調(diào)整顯示部根據(jù)所述異常度將多個監(jiān)視照相機(jī)的影 像分成多個等級的亮度水平來顯示。
10.根據(jù)權(quán)利要求1所述的基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)，其特征在于，該集中 監(jiān)視系統(tǒng)包括關(guān)聯(lián)影像顯示部，該關(guān)聯(lián)影像顯示部將所述異常度大的第1監(jiān)視照相機(jī)的影 像、和具有與該第1監(jiān)視照相機(jī)的影像關(guān)聯(lián)的影像的第2監(jiān)視照相機(jī)的影像，與其他監(jiān)視照 相機(jī)的影像區(qū)別地顯示。
11.一種基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)，對多個監(jiān)視照相機(jī)的影像進(jìn)行錄像，一邊排列并同時重放所述多個監(jiān)視照相機(jī)的影像一邊進(jìn)行集中監(jiān)視，其特征在于，該集中監(jiān) 視系統(tǒng)包括異常度計算部，針對每個監(jiān)視照相機(jī)通過圖像處理計算出所述多個監(jiān)視照相機(jī)的影像 中的人物動作的異常度；以及重放速度調(diào)整部，所述異常度越低，使通過該監(jiān)視照相機(jī)得到的錄制影像的重放速度 越高。
12.根據(jù)權(quán)利要求11所述的基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)，其特征在于，該集 中監(jiān)視系統(tǒng)包括元數(shù)據(jù)儲存部，該元數(shù)據(jù)儲存部將所述異常度作為元數(shù)據(jù)而直接存儲到運(yùn) 動圖像文件的頭區(qū)域或者動態(tài)圖像數(shù)據(jù)中。
13.一種基于多個監(jiān)視照相機(jī)的集中監(jiān)視方法，一邊排列并顯示多個監(jiān)視照相機(jī)的影 像一邊進(jìn)行集中監(jiān)視，其特征在于，該集中監(jiān)視方法包括異常度計算步驟，針對每個監(jiān)視照相機(jī)通過圖像處理計算出所述多個監(jiān)視照相機(jī)的影 像中的人物動作的異常度；以及幀率調(diào)整步驟，所述異常度越高，使來自該監(jiān)視照相機(jī)的影像的顯示幀率越高。
14.一種基于多個監(jiān)視照相機(jī)的集中監(jiān)視方法，對多個監(jiān)視照相機(jī)的影像進(jìn)行錄像，一 邊排列并同時重放所述多個監(jiān)視照相機(jī)的影像一邊進(jìn)行集中監(jiān)視，其特征在于，該集中監(jiān) 視方法包括異常度計算步驟，針對每個監(jiān)視照相機(jī)通過圖像處理計算出所述多個監(jiān)視照相機(jī)的影 像中的人物動作的異常度；以及重放速度調(diào)整步驟，所述異常度越低，使通過該監(jiān)視照相機(jī)得到的錄制影像的重放速 度越高。
全文摘要
本發(fā)明提供一種基于多個監(jiān)視照相機(jī)的集中監(jiān)視系統(tǒng)以及集中監(jiān)視方法，對來自多個監(jiān)視照相機(jī)的影像一并進(jìn)行集中監(jiān)視，可降低監(jiān)視員的監(jiān)控負(fù)擔(dān)，并且減少異常事態(tài)的看漏。通過對多個監(jiān)視照相機(jī)各自的影像數(shù)據(jù)進(jìn)行圖像處理，針對每個照相機(jī)計算出人物的動作異常度，根據(jù)該異常度，調(diào)整顯示幀率?？梢詢?yōu)先看見來自異常度較大的監(jiān)視照相機(jī)的影像，可以降低監(jiān)視員的監(jiān)控上的負(fù)擔(dān)，可以迅速地實現(xiàn)異常事態(tài)的早期發(fā)現(xiàn)和針對異常事態(tài)的應(yīng)對。另外，通過對與發(fā)生了異常事態(tài)的監(jiān)視照相機(jī)鄰接的監(jiān)視照相機(jī)的影像也進(jìn)行強(qiáng)調(diào)顯示或者圖像彼此的拼接，來提高監(jiān)視效率。
文檔編號G08B13/194GK102055959SQ201010524898
公開日2011年5月11日 申請日期2010年10月29日 優(yōu)先權(quán)日2009年10月29日
發(fā)明者三好雅則, 主稅雅裕, 數(shù)井誠人 申請人:株式會社日立制作所, 株式會社日立建筑系統(tǒng)