專利名稱：用于計數(shù)目標的方法和使用多個傳感器的裝置的制作方法
技術領域：
本發(fā)明涉及用于計數(shù)目標的方法和裝置，尤其是，涉及使用多個傳感器計數(shù)目標數(shù)目的方法和裝置。
背景技術：
近來，與照相機裝置交互工作的監(jiān)控系統(tǒng)不僅提供展示或者記錄有關感興趣區(qū)的圖像信息的基本功能，而且提供基于該圖像信息跟蹤或者計數(shù)目標，諸如穿過該感興趣區(qū)的人員的功能。

發(fā)明內(nèi)容
技術問題因此，本發(fā)明的一個目的是提供一種不僅使用基于圖像信息由用于計數(shù)目標的系統(tǒng)所獲取的前景圖像，而且使用與圖像信息有關的其它信息，來計數(shù)目標的方法。本發(fā)明的另一個目的是提供一種在用于計數(shù)目標的系統(tǒng)中確定用于計數(shù)感興趣目標的照相機裝置是否已經(jīng)適當?shù)匕惭b在感興趣區(qū)上的方法。技術方案為了實現(xiàn)這些目的和其他的優(yōu)點，和按照本發(fā)明的目的，如在此處實施和廣泛地描述的，提供了一種使用圖像傳感器和深度傳感器計數(shù)感興趣目標的方法。該方法包括由圖`像傳感器獲取圖像，并且從深度傳感器獲取深度圖，該深度圖指示與圖像中對象有關的深度信息；獲取圖像中的感興趣目標的邊緣信息；通過將邊緣信息應用于深度圖來產(chǎn)生校正的深度圖；從校正的深度圖中識別感興趣目標的深度圖案；和計數(shù)識別的感興趣目標。在識別感興趣目標的深度圖案的步驟中，存儲在深度圖案數(shù)據(jù)庫中的基準目標的深度圖案可以與校正的深度圖的深度圖案相比較。該方法可以進一步包括跟蹤識別的感興趣目標的深度圖案的移動。為了實現(xiàn)這些目的和其他的優(yōu)點，和按照本發(fā)明的目的，如在此處實施和廣泛地描述的，還提供了一種照相機裝置，包括圖像傳感器，配置為產(chǎn)生相對于感興趣目標捕捉的圖像；深度傳感器，配置為產(chǎn)生深度圖，該深度圖指示與圖像中的對象有關的深度信息；和控制器，配置為獲取與該圖像中的感興趣目標有關的邊緣信息，配置為通過將邊緣信息應用于深度圖來產(chǎn)生校正的深度圖，配置為從校正的深度圖中識別感興趣目標的深度圖案，和配置為計數(shù)識別的感興趣目標。該照相機裝置可以進一步包括存儲器，配置為在其中存儲深度圖案數(shù)據(jù)庫，該深度圖案數(shù)據(jù)庫用于存儲不同角度的基準目標的深度圖案，和該控制器可以使用不同角度的基準目標的深度圖案，從校正的深度圖中識別感興趣目標的深度圖案。為了實現(xiàn)這些目的和其他的優(yōu)點，和按照本發(fā)明的目的，如在此處實施和廣泛地描述的，還提供了一種用于計數(shù)目標的裝置，包括收發(fā)信機，配置為接收相對于感興趣目標捕捉的圖像以及深度圖，該深度圖指示與圖像中的對象有關的深度信息；和控制器，配置為獲取與該圖像中的感興趣目標有關的邊緣信息，配置為通過將邊緣信息應用于深度圖來產(chǎn)生校正的深度圖，配置為從校正的深度圖中識別感興趣目標的深度圖案，和配置為計數(shù)識別的感興趣目標。該裝置可以進一步包括存儲器，配置為在其中存儲深度圖案數(shù)據(jù)庫，該深度圖案數(shù)據(jù)庫用于存儲不同角度的基準目標的深度圖案，和該控制器可以使用不同角度的基準目標的深度圖案，從校正的深度圖中識別感興趣目標的深度圖案。為了實現(xiàn)這些目的和其他的優(yōu)點，和按照本發(fā)明的目的，如在此處實施和廣泛地描述的，還提供了一種用于顯示具有圖像傳感器和深度傳感器的照相機裝置的安裝狀態(tài)的方法。該方法包括由圖像傳感器獲取相對于感興趣目標捕捉的圖像，并且從深度傳感器獲取深度圖，該深度圖指示與圖像中的對象有關的深度信息；基于深度信息計算照相機裝置的安裝高度，并且確定安裝高度是否適當；基于深度圖和深度圖案數(shù)據(jù)庫計算圖像傳感器和深度傳感器的安裝角度，并且確定安裝角度是否適當，其中深度圖案數(shù)據(jù)庫在其中存儲不同角度的基準目標的深度圖案，和其中通過將從深度圖中提取的感興趣目標的深度圖案與在深度圖案數(shù)據(jù)庫中包括的不同角度的基準目標的深度圖案相比較，來計算圖像傳感器和深度傳感器的安裝角度；和顯示有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果?？梢酝ㄟ^將與從圖像獲取的感興趣目標有關的邊緣信息應用于深度圖來產(chǎn)生校正的深度圖，以及然后通過從校正的深度圖中識別感興趣目標的深度圖案，來提取該感興趣目標的深度圖案。有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果可以被顯示在附接到照相機裝置的顯示器上，或者顯示在連接到照相機裝置的遠程裝置的顯示器上。該顯示器可以實現(xiàn)為至少一個燈。并且，基于有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果，照相機裝 置可以控制所述至少一個燈的開關狀態(tài)、閃爍間隔、顏色或者照明度。為了實現(xiàn)這些目的和其他的優(yōu)點，和按照本發(fā)明的目的，如在此處實施和廣泛地描述的，還提供了一種用于由連接到照相機裝置的遠程裝置檢測具有圖像傳感器和深度傳感器的照相機裝置的安裝狀態(tài)的方法。該方法包括從照相機裝置接收相對于感興趣目標捕捉的圖像以及深度圖，該深度圖指示與圖像中的對象有關的深度信息；基于深度信息計算照相機裝置的安裝高度，并且確定安裝高度是否適當；基于深度圖和深度圖案數(shù)據(jù)庫計算圖像傳感器和深度傳感器的安裝角度，并且確定安裝角度是否適當，其中深度圖案數(shù)據(jù)庫在其中存儲不同角度的基準目標的深度圖案，和其中通過將從深度圖中提取的感興趣目標的深度圖案與在深度圖案數(shù)據(jù)庫中包括的不同角度的基準目標的深度圖案相比較，來計算圖像傳感器和深度傳感器的安裝角度；和顯示有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果。該方法可以進一步包括將有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果發(fā)送給照相機裝置。為了實現(xiàn)這些目的和其他的優(yōu)點，和按照本發(fā)明的目的，如在此處實施和廣泛地描述的，還提供了一種照相機裝置，包括圖像傳感器，配置為產(chǎn)生相對于感興趣目標捕捉的圖像；深度傳感器，配置為產(chǎn)生深度圖，該深度圖指示與圖像中的對象有關的深度信息；存儲器，配置為在其中存儲深度圖案數(shù)據(jù)庫，該深度圖案數(shù)據(jù)庫用于存儲不同角度的基準目標的深度圖案；控制器，配置為基于深度信息計算照相機裝置的安裝高度，配置為基于深度圖和深度圖案數(shù)據(jù)庫計算圖像傳感器和深度傳感器的安裝角度，和配置為確定安裝高度和安裝角度是否適當，其中通過將從深度圖中提取的感興趣目標的深度圖案與在深度圖案數(shù)據(jù)庫中包括的不同角度的基準目標的深度圖案相比較，來計算圖像傳感器和深度傳感器的安裝角度；和顯示器，配置為顯示有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果?？梢酝ㄟ^將與從圖像獲取的感興趣目標有關的邊緣信息應用于深度圖來產(chǎn)生校正的深度圖，以及然后通過從校正的深度圖中識別感興趣目標的深度圖案，來提取該感興趣目標的深度圖案。該顯示器 可以實現(xiàn)為至少一個燈。并且，基于有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果，該控制器可以控制所述至少一個燈的開關狀態(tài)、閃爍間隔、顏色或者照明度。為了實現(xiàn)這些目的和其他的優(yōu)點，和按照本發(fā)明的目的，如在此處實施和廣泛地描述的，還提供了一種用于計數(shù)目標的裝置，包括收發(fā)信機，配置為從照相機裝置接收相對于感興趣目標捕捉的圖像以及深度圖，該深度圖指示與圖像中的對象有關的深度信息；存儲器，配置為在其中存儲深度圖案數(shù)據(jù)庫，該深度圖案數(shù)據(jù)庫用于存儲不同角度的基準目標的深度圖案；控制器，配置為基于深度信息計算該裝置的安裝高度，配置為基于深度圖和深度圖案數(shù)據(jù)庫計算圖像傳感器和深度傳感器的安裝角度，和配置為確定安裝高度和安裝角度是否適當，其中通過將從深度圖中提取的感興趣目標的深度圖案與在深度圖案數(shù)據(jù)庫中包括的不同角度的基準目標的深度圖案相比較，來計算圖像傳感器和深度傳感器的安裝角度；和顯示器，配置為顯示有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果。可以通過將與從圖像獲取的感興趣目標有關的邊緣信息應用于深度圖來產(chǎn)生校正的深度圖，以及然后通過從校正的深度圖中識別感興趣目標的深度圖案，來提取該感興趣目標的深度圖案。該顯示器可以實現(xiàn)為至少一個燈。并且，基于有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果，該控制器可以控制所述至少一個燈的開關狀態(tài)、閃爍間隔、顏色或者照明度。有益效果本發(fā)明可以具有以下的效果。在按照本發(fā)明用于計數(shù)感興趣目標的裝置中，通過減小從圖像信息中檢測感興趣目標的時候所出現(xiàn)的誤差，可以以相對較低的差錯率計算穿過感興趣區(qū)的目標數(shù)目。在按照本發(fā)明用于計數(shù)感興趣目標的裝置中，提供了確定照相機裝置是否已經(jīng)適當?shù)匕惭b的功能，以便獲取適于檢測感興趣目標的信息。


圖1是按照本發(fā)明用于計數(shù)目標的系統(tǒng)的示范示圖；圖2是在用于計數(shù)目標的系統(tǒng)中處理的圖像信息的示范示圖；圖3是示出按照本發(fā)明在用于計數(shù)目標的系統(tǒng)中計數(shù)感興趣目標的方法的流程圖；圖4是按照本發(fā)明在用于計數(shù)目標的系統(tǒng)中為計數(shù)感興趣目標而處理的圖像信息的示范示圖；圖5是解釋用于識別圖3的感興趣目標的深度圖案(depth pattern)的圖；圖6是示出在按照本發(fā)明用于計數(shù)目標的系統(tǒng)中，用于顯示與是否已經(jīng)適當?shù)匕惭b了照相機裝置有關的確定結(jié)果的方法的流程圖；和圖7是示出在按照本發(fā)明用于計數(shù)目標的系統(tǒng)中，用于確定圖像傳感器和深度傳感器的安裝角度是否適當?shù)纳疃葓D案數(shù)據(jù)庫的原理的圖。
具體實施例方式現(xiàn)在將詳細地介紹本發(fā)明的優(yōu)選實施例，其例子在伴隨的附圖中舉例說明。對于本領域技術人員來說也顯而易見的是，不脫離本發(fā)明的精神或者范圍可以在本發(fā)明中進行各種改進或者變化。因此，想要的是本發(fā)明覆蓋落在所附權(quán)利要求及其等效物的范圍內(nèi)的本發(fā)明的改進和變化。圖1是按照本發(fā)明用于計數(shù)目標的系統(tǒng)示范示圖。如圖1所示，按照本發(fā)明用于計數(shù)目標的系統(tǒng)包括安裝在感興趣區(qū)30上的照相機裝置10、連接到照相機裝置10的遠程裝置20等等。該照相機裝置10被提供有用于獲取有關感興趣區(qū)30的圖像信息的圖像傳感器12，和用于獲取深度圖的深度傳感器14，該深度圖指示有關包括在該圖像信息中的目標的深度信息。用于計數(shù)目標的系統(tǒng)被配置去基于從照相機裝置10獲取的圖像信息和深度圖，計數(shù)在感興趣區(qū)30中穿過基準線32的目標。圖2是在用于計數(shù)目標的系統(tǒng)中處理的圖像信息的示范示圖。

用于計數(shù)目標的系統(tǒng)可以通過附接在照相機裝置上的圖像傳感器，獲取在圖2A中示出的感興趣區(qū)的原始圖像110。用于計數(shù)目標的系統(tǒng)使用安裝在其中的目標檢測引擎，從原始圖像110中提取圖2B的前景圖像120，并且計數(shù)包括在該前景圖像120中的目標，從而計數(shù)穿過該感興趣區(qū)的目標。但是，使用前景圖像的這種常規(guī)方法不能精確地計數(shù)目標，除非其利用附加信息用于目標檢測。例如，在前景圖像中顯示的多個目標相互接近的情形下，該多個目標可以被識別為單個目標(其稱作“目標分組”)。參考圖2A，用于計數(shù)目標的系統(tǒng)被配置去計數(shù)感興趣人物目標。由用于計數(shù)目標的系統(tǒng)獲取的原始圖像110是通過在包括感興趣目標112、114和116的感興趣區(qū)中捕捉目標作為對象來實現(xiàn)的。用于計數(shù)目標的系統(tǒng)可以使用常規(guī)目標檢測引擎從原始圖像110中獲取圖2B的前景圖像120。在前景圖像120中，目標112和114相互不同，即使它們相互接近，目標112和114可以作為單個目標122顯示。因此，如果系統(tǒng)僅僅基于前景圖像120計數(shù)感興趣目標，則可能出現(xiàn)誤差。為了解決這種目標分組，可以通過大小信息，諸如目標的寬度來劃分在前景圖像中目標相互重疊的部分。但是，在這種情況下，可能在精確地計數(shù)目標方面仍然會出現(xiàn)誤差，因為并非所有相互重疊的目標都是感興趣目標。僅僅使用前景圖像計數(shù)目標的方法可能具有與前面提到的“目標分組”相反的另一個問題，即，“過分割(over segmentation)”,其中在前景圖像中的單個目標由于包括反光的各種原因而被識別為多個目標。僅僅使用前景圖像計數(shù)目標的方法在檢測感興趣目標方面具有困難，因為在原始圖像中具有與鄰近目標類似顏色的目標無法被很好地識別，并且因為很難精確地檢查目標的輪廓。此外，在從原始圖像提取前景圖像的過程中，原始圖像的一部分，而不是感興趣目標，諸如背景圖像(例如，由于照明出現(xiàn)的陰影等等)可以被識別為感興趣目標。將參考圖3至5解釋按照本發(fā)明用于計數(shù)目標的方法。如稍后參考圖3解釋的，在按照本發(fā)明用于計數(shù)目標的方法中，穿過感興趣區(qū)的感興趣目標的數(shù)目是基于包括以下內(nèi)容的信息計算的從圖像傳感器獲取的有關感興趣區(qū)的原始圖像、從深度傳感器獲取的深度圖，和感興趣目標的深度圖案。當與前面提到的僅僅使用前景圖像計數(shù)目標的方法相比較的時候，按照本發(fā)明計數(shù)目標的方法具有以下的優(yōu)點。首先，通過深度信息除去背景圖像。此外，可以降低由于鄰近目標具有與感興趣目標類似的顏色，和由于感興趣目標的陰影而出現(xiàn)的誤差。圖3是示出按照本發(fā)明在用于計數(shù)目標的系統(tǒng)中計數(shù)感興趣目標的方法的流程圖。首先，用于計數(shù)目標的系統(tǒng)從照相機裝置的圖像傳感器獲取感興趣區(qū)的原始圖像，并且從照相機裝置的深度傳感器獲取感興趣區(qū)的深度圖(SllO)。該深度圖是指示對象的每個部分距照相機裝置的距離的數(shù)據(jù)(或者深度信息)，由具有附接于其的深度傳感器的照相機裝置來捕捉該對象，諸如深度圖中的目標。實現(xiàn)該深度圖以便給從用于計數(shù)目標的原始信息中所提取的信息提供附加信息。最好是，該深度圖和原始圖像包括相同的感興趣區(qū)。接下來，用于計數(shù)目標的系統(tǒng)從原始圖像中提取邊緣信息(邊界信息)(S120)，并且使用提取的邊緣信息補償深度圖(S130)。該邊緣信息是有關原始圖像中的目標的提取信息。隨著該邊緣信息被應用于從深度傳感器獲取的深度圖，產(chǎn)生校正的深度圖。接下來，用于計數(shù)目標的系統(tǒng)從校正的深度圖識別感興趣目標的深度圖案(S140)。感興趣目標的深度圖案是通過相對于感興趣目標的目標模型化(objectmodeling)而獲得的，稍后將參考圖5解釋它。用于計數(shù)目標的系統(tǒng)可以識別感興趣目標的深度圖案。例如，當通過將包括在校正的深度圖中的目標的深度圖案與感興趣目標的深度圖案相比較而獲得的結(jié)果值大`于規(guī)定閾值的時候，該系統(tǒng)確定捕捉的目標為感興趣目標。接下來，該系統(tǒng)計數(shù)識別的感興趣目標(S150)。在計數(shù)識別的感興趣目標時，該系統(tǒng)可以以簡單方式計數(shù)識別的感興趣目標。作為另一個方法，該系統(tǒng)可以通過使用按照時間流逝由照相機裝置連續(xù)獲取的深度圖和原始圖像重復地執(zhí)行前面提到的步驟，經(jīng)由跟蹤識別的感興趣目標的移動，來更加精確地計數(shù)識別的感興趣目標。在經(jīng)由跟蹤計數(shù)感興趣目標的方法中，通過使用感興趣目標的類似顏色(其可以從連續(xù)獲取的原始圖像中提取)，可以更加精確地計算感興趣目標的數(shù)目。在經(jīng)由跟蹤計數(shù)感興趣目標的方法中，通過使用卡爾曼濾波器(Kalman filter)預測從連續(xù)獲取的原始圖像和深度圖中獲得的下一位置，可以更加精確地計算感興趣目標的數(shù)目。在按照本發(fā)明用于計數(shù)目標的系統(tǒng)中，通過使用跟蹤方法，移動出感興趣區(qū)30的基準線32之外的感興趣目標，和朝著基準線32移動的感興趣目標可以相互區(qū)別。在下文中，將解釋按照本發(fā)明用于計數(shù)目標的方法的改進例子。在按照本發(fā)明計數(shù)目標的方法中，圖3的各個步驟SllO S150可以由系統(tǒng)的照相機裝置10執(zhí)行。在按照本發(fā)明的改進例子的計數(shù)目標的方法中，有關由系統(tǒng)的照相機裝置10獲取的原始圖像和深度圖的信息可以被發(fā)送給連接到照相機裝置10的遠程控制器20，并且圖3的各個步驟S120 S150可以由遠程控制器20執(zhí)行。在下文中，將參考圖4解釋由按照本發(fā)明用于計數(shù)目標的系統(tǒng)處理的信息。圖4是按照本發(fā)明在用于計數(shù)目標的系統(tǒng)中為計數(shù)感興趣目標而處理的圖像信息的示范示圖。參考圖4A，用于計數(shù)目標的系統(tǒng)被配置去計數(shù)感興趣人物目標。通過在包括感興趣目標212、214和216的感興趣區(qū)中捕捉目標作為對象，來實現(xiàn)由用于計數(shù)目標的系統(tǒng)獲取的原始圖像210。該原始圖像210進一步包括具有區(qū)別顏色的背景區(qū)218，而不是感興趣目標 212、214 和 216。參考圖4B，用于計數(shù)目標的系統(tǒng)可以從原始圖像210中提取邊緣信息220。目標212和214相互不同，即使在圖4A的原始圖像210中它們相互接近，目標212和214可以作為單個目標顯示在邊緣信息220上。此外，該邊緣信息220可以包括有關背景區(qū)218的邊緣信息，該背景區(qū)218具有區(qū)別顏色并包括在原始圖像210中。因此，指示感興趣區(qū)的深度信息的深度圖以及邊緣信息220可以被如稍后解釋地使用。參考圖4C，用于計數(shù)目標的系統(tǒng)可以從照相機裝置的深度傳感器獲取深度圖230。該深度圖是指示對象的每個部分距照相機裝置的距離的數(shù)據(jù)(或者深度信息)，該對象，諸如在深度圖中的目標，由具有附接于其的深度傳感器的照相機裝置捕捉。不能從原始圖像210中獲取的距離信息可以基于深度圖中的深度信息獲取。實現(xiàn)深度圖以便給從用于計數(shù)目標的原始信息提取的信息提供附加信息。最好是，深度圖和原始圖像包括相同的感興趣區(qū)。在圖4C的深度圖230中，為了立體感(cubic effect)，按照與感興趣區(qū)中每個區(qū)有關的深度信息的大小以不同的顏色顯示感興趣目標。深度圖中的深度信息可以與圖4C不同地顯示。參考圖4D，通過將邊緣信息220應用于深度圖230，用于計數(shù)目標的系統(tǒng)產(chǎn)生校正的深度圖240。在基于校正 的深度圖240識別感興趣目標的情況下，用于計數(shù)目標的系統(tǒng)可以減少僅僅基于原始圖像210識別感興趣目標的時候所出現(xiàn)的誤差。例如，用于計數(shù)目標的系統(tǒng)可以不考慮顏色來識別感興趣目標，并且可以除去誤差，諸如由于照明出現(xiàn)的陰影。此外，用于計數(shù)目標的系統(tǒng)可以獲得清楚的目標輪廓，并且可以無需額外的努力而直接識別目標以降低這樣的誤差。圖5是解釋用于識別圖3的感興趣目標的深度圖案的示圖。參考圖5，將解釋按照本發(fā)明由用于計數(shù)目標的系統(tǒng)使用深度圖案來識別感興趣目標的方法。圖5A示意地示出在感興趣目標410是人體的假設之下，提取感興趣目標410的深度圖案的方法。通常，按照本發(fā)明用于計數(shù)目標的系統(tǒng)的照相機裝置被安裝在感興趣區(qū)上。因此，在相對于感興趣目標執(zhí)行目標模型化時，可以朝著感興趣目標410的下側(cè)基于與穿越感興趣目標410的虛擬平面412a、414a和416a相對應的信息來提取深度圖案。也就是說，如圖5B所示，對應于虛擬平面412a、414a和416a的多個信息412b、414b和416b指示在各個平面上感興趣目標的形狀。因此，在多個信息412b、414b和416b相互累積的情形下，可以如圖5C所示獲得感興趣目標的目標模型，S卩，深度圖案420。感興趣目標的深度圖案420具有可以與圖4D的校正的深度圖240中的各個目標的深度圖案相比較的信息。在用于識別感興趣目標的深度圖案的圖3的S140中，用于計數(shù)目標的系統(tǒng)將校正的深度圖中的目標的深度圖案與感興趣目標的深度圖案420比較。在S140中，包括感興趣目標的要素，諸如高度和面積的候選區(qū)可以被用于深度圖案的比較。確定包括在校正的深度圖中的目標是否具有多于規(guī)定閾值的結(jié)果值，該結(jié)果值是通過比較校正的深度圖中的目標的深度圖案與深度圖案420而獲得的。如果結(jié)果值多于規(guī)定閾值，則用于計數(shù)目標的系統(tǒng)可以將校正的深度圖中的目標識別為感興趣目標。參考圖6和7，將解釋確定按照本發(fā)明用于計數(shù)目標的系統(tǒng)的照相機裝置是否已經(jīng)適當?shù)匕惭b的方法。在這里，照相機裝置的適當安裝指示照相機裝置的位置，該照相機裝置被配置為獲取用于計數(shù)目標的基本信息，被相對于感興趣目標將穿過的感興趣區(qū)以適當?shù)慕嵌群瓦m當?shù)母叨劝惭b。因此，確定照相機裝置是否已經(jīng)適當?shù)匕惭b指的是確定照相機裝置的安裝高度是否在容許范圍之內(nèi)，以及照相機裝置的圖像傳感器和深度傳感器的安裝角度是否在誤差的發(fā)生可以被最小化的容許范圍之內(nèi)。為此，按照本發(fā)明用于計數(shù)目標的系統(tǒng)基于深度圖計算照相機裝置的安裝高度，并且基于稍后解釋的深度圖案數(shù)據(jù)庫計算圖像傳感器和深度傳感器的安裝角度。圖6是示出在按照本發(fā)明用于計數(shù)目標的系統(tǒng)中，顯示有關是否已經(jīng)適當?shù)匕惭b了照相機裝置的確定結(jié)果的方法的流程圖。圖7是示出在按照本發(fā)明用于計數(shù)目標的系統(tǒng)中，用于確定圖像傳感器和深度傳感器的安裝角度是否適當?shù)纳疃葓D案數(shù)據(jù)庫的原理的圖。參考圖6，感興趣區(qū)的原始圖像是從用于計數(shù)目標的系統(tǒng)的照相機裝置的圖像傳感器12獲取的，并且相對于感興趣區(qū)的深度圖是從照相機裝置的深度傳感器14獲取的(S210)。該原始圖像可以包括至少一個感興趣目標。用于計數(shù)目標的系統(tǒng)使用有關基準目標的深度圖案數(shù)據(jù)庫，該基準目標具有與感興趣目標相同的類型。例如，在目標是人體的假設之下計算目標的情況下，用于計數(shù)目標的系統(tǒng)使用與人體相關的深度圖案數(shù)據(jù)庫。接下來，用于計數(shù)目標的系統(tǒng)基于深度圖中的獲取的深度信息，計算照相機裝置的安裝高度(S220)。然后，用于計數(shù)目標的系統(tǒng)確定照相機裝置的安裝高度是否適當(S230)。由于深度 圖中的深度信息是距離信息，所以照相機裝置的安裝高度可以是深度圖中的深度信息中的一個。接下來，用于計數(shù)目標的系統(tǒng)基于深度圖和深度圖案數(shù)據(jù)庫來計算圖像傳感器和深度傳感器的安裝角度(S240)，并且用于計數(shù)目標的系統(tǒng)確定安裝角度是否適當(S250)。深度圖案數(shù)據(jù)庫用于計算安裝角度，在其中存儲不同角度的基準目標的深度圖案。在基準目標是人體的情形下，相對于基準目標執(zhí)行目標模型化，以便提取在圖5中示出的基準目標的深度圖案420。當以多種角度觀看的時候，該基準目標的深度圖案在不同的角度上具有不同的形狀。因此，深度圖案數(shù)據(jù)庫可以展示與多種角度相關聯(lián)的基準目標的深度圖案。參考圖7，按照本發(fā)明用于計數(shù)目標的系統(tǒng)包括有關基準目標的深度圖案數(shù)據(jù)庫430，從上側(cè)觀看并且按照多種角度徑向地顯示深度圖案數(shù)據(jù)庫430。因此，可以通過將感興趣目標的深度圖案與存儲在深度圖案數(shù)據(jù)庫中的基準目標的深度圖案相比較，然后通過選擇與基準目標的深度圖案類似的目標的深度圖案所相對應的角度，來獲取圖像傳感器和深度傳感器的安裝角度?？梢酝ㄟ^分別確定所計算的安裝高度和安裝角度是否在容許范圍之內(nèi)來執(zhí)行有關安裝高度和安裝角度是否適當?shù)拇_定。
接下來，用于計數(shù)目標的系統(tǒng)顯示有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果(S260)。有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果可以顯示在附接到照相機裝置的顯示器上，或者顯示在連接到照相機裝置的遠程裝置的顯示器上。用于顯示有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果的顯示器可以被實現(xiàn)為至少一個燈。并且，基于有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果，該照相機裝置可以控制所述至少一個燈的開關狀態(tài)、閃爍間隔、顏色或者照明度。在照相機裝置控制開關狀態(tài)的情形下，如果安裝狀態(tài)是好的，則至少一個燈可以被開啟。在照相機裝置控制閃爍間隔的情形下，如果安裝狀態(tài)是差的，則至少一個燈可以具有長的閃爍間隔，但是如果安裝狀態(tài)差不多是好的，則可以具有縮短的閃爍間隔。在這種情況下，如果安裝狀態(tài)是好的，則所述至少一個燈可以被持續(xù)地開啟。用于顯示有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果的顯示器可以是具有額外的監(jiān)視器的裝置。在下文中，將解釋用于確定按照本發(fā)明用于計數(shù)目標的系統(tǒng)的照相機裝置是否已經(jīng)被適當?shù)匕惭b的方法的改進。在顯示器被 包括在照相機裝置中的假設之下通過由照相機裝置10執(zhí)行圖6的前述步驟(S110 S150)來實現(xiàn)按照本發(fā)明一個優(yōu)選實施例的用于確定系統(tǒng)的照相機裝置是否已經(jīng)被適當?shù)匕惭b的方法。可以通過將與系統(tǒng)的照相機裝置10所獲取的原始圖像和深度圖有關的信息發(fā)送給連接到照相機裝置10的遠程控制器20，和通過由遠程控制器20執(zhí)行圖3的各個步驟S120 S150，來實現(xiàn)按照本發(fā)明的修改實施例的用于確定系統(tǒng)的照相機裝置是否已經(jīng)適當?shù)匕惭b的方法。
權(quán)利要求
1.一種使用圖像傳感器和深度傳感器計數(shù)目標的方法，該方法包括 由圖像傳感器獲取圖像，并且從深度傳感器獲取深度圖，該深度圖指示與該圖像中的對象有關的深度信息； 獲取該圖像中的感興趣目標的邊緣信息； 通過將該邊緣信息應用于該深度圖來產(chǎn)生校正的深度圖； 從校正的深度圖中識別感興趣目標的深度圖案；和 計數(shù)識別的感興趣目標。
2.根據(jù)權(quán)利要求1的方法，其中在識別感興趣目標的深度圖案的步驟中，將存儲在深度圖案數(shù)據(jù)庫中的基準目標的深度圖案與校正的深度圖的深度圖案相比較。
3.根據(jù)權(quán)利要求1的方法，進一步包括 跟蹤識別的感興趣目標的深度圖案的移動。
4.一種照相機裝置，包括 圖像傳感器，配置為產(chǎn)生相對于感興趣目標捕捉的圖像； 深度傳感器，配置為產(chǎn)生深度圖，該深度圖指示與該圖像中的對象有關的深度信息；和控制器，配置為獲取該圖像中的感興趣目標的邊緣信息，配置為通過將該邊緣信息應用于該深度圖來產(chǎn)生校正的深度圖，配置為從校正的深度圖中識別感興趣目標的深度圖案，和配置為計數(shù)感興趣目標。
5.根據(jù)權(quán)利要求4的照相機裝置，進一步包括 存儲器，配置為在其中存儲深度圖案數(shù)據(jù)庫，該深度圖案數(shù)據(jù)庫用于存儲不同角度的基準目標的深度圖案， 其中該控制器使用不同角度的基準目標的深度圖案，從校正的深度圖中識別感興趣目標的深度圖案。
6.一種用于計數(shù)目標的裝置，包括 收發(fā)信機，配置為接收相對于感興趣目標捕捉的圖像以及深度圖，該深度圖指示與該圖像中的對象有關的深度彳目息；和 控制器，配置為獲取圖像中的感興趣目標的邊緣信息，配置為通過將該邊緣信息應用于該深度圖來產(chǎn)生校正的深度圖，配置為從校正的深度圖中識別感興趣目標的深度圖案，和配置為計數(shù)識別的感興趣目標。
7.根據(jù)權(quán)利要求6的裝置，進一步包括 存儲器，配置為在其中存儲深度圖案數(shù)據(jù)庫，該深度圖案數(shù)據(jù)庫用于存儲不同角度的基準目標的深度圖案， 其中該控制器使用不同角度的基準目標的深度圖案，從校正的深度圖中識別感興趣目標的深度圖案。
8.一種用于顯示具有圖像傳感器和深度傳感器的照相機裝置的安裝狀態(tài)的方法，該方法包括 由圖像傳感器獲取相對于感興趣目標捕捉的圖像，并且從深度傳感器獲取深度圖，該深度圖指示與圖像中的對象有關的深度信息；基于該深度信息計算該照相機裝置的安裝高度，并且確定安裝高度是否適當； 基于深度圖和深度圖案數(shù)據(jù)庫計算該圖像傳感器和該深度傳感器的安裝角度，并且確定安裝角度是否適當， 其中該深度圖案數(shù)據(jù)庫在其中存儲不同角度的基準目標的深度圖案，和其中通過將從深度圖中提取的感興趣目標的深度圖案與在深度圖案數(shù)據(jù)庫中包括的不同角度的基準目標的深度圖案相比較，來計算該圖像傳感器和該深度傳感器的安裝角度；和 顯示有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果。
9.根據(jù)權(quán)利要求8的方法，其中通過將從圖像獲取的感興趣目標的邊緣信息應用于深度圖來產(chǎn)生校正的深度圖，以及然后通過從校正的深度圖中識別感興趣目標的深度圖案，來提取感興趣目標的深度圖案。
10.根據(jù)權(quán)利要求8的方法，其中有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果被顯示在附接到該照相機裝置的顯示器上，或者顯示在連接到該照相機裝置的遠程裝置的顯示器上。
11.根據(jù)權(quán)利要求10的方法，其中該顯示器被實現(xiàn)為至少一個燈，并且 其中基于有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果，該照相機裝置控制所述至少一個燈的開關狀態(tài)、閃爍間隔、顏色或者照明度。
12.一種由連接到照相機裝置的遠程裝置檢測具有圖像傳感器和深度傳感器的照相機裝置的安裝狀態(tài)的方法，該方法包括 從照相機裝置接收相對于感興趣目標捕捉的圖像以及深度圖，該深度圖指示與圖像中的對象有關的深度信息； 基于該深度信息計算該照相機裝置的安裝高度，并且確定安裝高度是否適當； 基于深度圖和深度圖案數(shù)據(jù)庫計算該圖像傳感器和該深度傳感器的安裝角度，并且確定安裝角度是否適當， 其中該深度圖案數(shù)據(jù)庫在其中存儲不同角度的基準目標的深度圖案，和其中通過將從深度圖中提取的感興趣目標的深度圖案與在深度圖案數(shù)據(jù)庫中包括的不同角度的基準目標的深度圖案相比較，來計算該圖像傳感器和該深度傳感器的安裝角度；和 顯示有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果。
13.根據(jù)權(quán)利要求12的方法，進一步包括將有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果發(fā)送給該照相機裝置。
14.一種照相機裝置，包括 圖像傳感器，配置為產(chǎn)生相對于感興趣目標捕捉的圖像； 深度傳感器，配置為產(chǎn)生深度圖，該深度圖指示與圖像中的對象有關的深度信息；存儲器，配置為在其中存儲深度圖案數(shù)據(jù)庫，該深度圖案數(shù)據(jù)庫用于存儲不同角度的基準目標的深度圖案； 控制器，配置為基于深度信息計算照相機裝置的安裝高度，配置為基于深度圖和深度圖案數(shù)據(jù)庫計算該圖像傳感器和該深度傳感器的安裝角度，和配置為確定安裝高度和安裝角度是否適當， 其中通過將從深度圖中提取的感興趣目標的深度圖案與在深度圖案數(shù)據(jù)庫中包括的不同角度的基準目標的深度圖案相比較，來計算該圖像傳感器和該深度傳感器的安裝角度；和 顯示器，配置為顯示有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果。
15.根據(jù)權(quán)利要求14的照相機裝置，其中通過將從該圖像獲取的感興趣目標的邊緣信息應用于深度圖來產(chǎn)生校正的深度圖，以及然后通過從校正的深度圖中識別感興趣目標的深度圖案，來提取感興趣目標的深度圖案。
16.根據(jù)權(quán)利要求14的照相機裝置，其中該顯示器被實現(xiàn)為至少一個燈，和 其中基于有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果，該控制器控制所述至少一個燈的開關狀態(tài)、閃爍間隔、顏色或者照明度。
17.一種使用多個傳感器計數(shù)目標的裝置，包括 收發(fā)信機，配置為從照相機裝置接收相對于感興趣目標捕捉的圖像以及深度圖，該深度圖指示與圖像中的對象有關的深度信息； 存儲器，配置為在其中存儲深度圖案數(shù)據(jù)庫，該深度圖案數(shù)據(jù)庫用于存儲不同角度的基準目標的深度圖案； 控制器，配置為基于深度信息計算該裝置的安裝高度，配置為基于深度圖和深度圖案數(shù)據(jù)庫計算圖像傳感器和深度傳感器的安裝角度，和配置為確定安裝高度和安裝角度是否適當， 其中通過將從深度圖中提取的感興趣目標的深度圖案與在深度圖案數(shù)據(jù)庫中包括的不同角度的基準目標的深度圖案相比較，來計算該圖像傳感器和該深度傳感器的安裝角度；和 顯示器，配置為顯示有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果。
18.根據(jù)權(quán)利要求17的裝置，其中通過將從該圖像獲取的感興趣目標的邊緣信息應用于深度圖來產(chǎn)生校正的深度圖，以及然后通過從校正的深度圖中識別感興趣目標的深度圖案，來提取感興趣目標的深度圖案。
19.根據(jù)權(quán)利要求17的裝置，其中該顯示器被實現(xiàn)為至少一個燈，和 其中基于有關安裝高度和安裝角度是否適當?shù)拇_定結(jié)果，該控制器控制所述至少一個燈的開關狀態(tài)、閃爍間隔、顏色或者照明度。
全文摘要
按照本發(fā)明的一個實施例，一種用于計數(shù)目標的方法涉及使用圖像傳感器和深度傳感器，并且包括步驟∶從圖像傳感器獲取圖像，并且從深度傳感器獲取深度圖，該深度圖指示與該圖像中的對象有關的深度信息；獲取與該圖像中的目標有關的邊界信息；將邊界信息應用于深度圖以產(chǎn)生校正的深度圖；從校正的深度圖中識別目標的深度圖案；和計數(shù)識別的目標。
文檔編號H04N7/18GK103069796SQ201080068622
公開日2013年4月24日 申請日期2010年8月17日 優(yōu)先權(quán)日2010年8月17日
發(fā)明者柳在信, 金圣珍 申請人:Lg電子株式會社