信息處理裝置、信息處理方法和程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及信息處理裝置、信息處理方法和程序。
【背景技術(shù)】
[0002] 具有下述技術(shù)：通過從室內(nèi)斜上方向室內(nèi)下方拍攝的圖像的邊界邊，檢測從地面 區(qū)域向床區(qū)域的人體移動(dòng)，判斷就寢情況，通過檢測從床區(qū)域向地面區(qū)域的人體移動(dòng)，判斷 離床情況（專利文獻(xiàn)1)。
[0003] 另外，具有下述技術(shù)：將用于判斷躺在床上的患者進(jìn)行起床行為的監(jiān)護(hù)區(qū)域設(shè)定 為包含在床上就寢的患者的床的正上方的區(qū)域，在表示從床的橫向占包含監(jiān)護(hù)區(qū)域的拍攝 圖像的監(jiān)護(hù)區(qū)域的、被認(rèn)為是患者的圖像區(qū)域的大小的變動(dòng)值，小于表示在患者躺在床上 的狀態(tài)下占從攝像機(jī)得到的拍攝圖像的監(jiān)護(hù)區(qū)域的、被認(rèn)為是患者的圖像區(qū)域的大小的初 始值的情況下，判斷患者進(jìn)行起床行為（專利文獻(xiàn)2)。
[0004] 現(xiàn)有技術(shù)文獻(xiàn)
[0005] 專利文獻(xiàn)
[0006] 專利文獻(xiàn)1 :日本特開2002-230533號公報(bào)
[0007] 專利文獻(xiàn)2 :日本特開2011-005171號公報(bào)

【發(fā)明內(nèi)容】

[0008] 發(fā)明想要解決的技術(shù)問題
[0009] 近年來，存在入院患者、社會福利院入住者、要看護(hù)者等的監(jiān)護(hù)對象從床跌倒、掉 下的事故，以及癡呆癥患者的徘徊導(dǎo)致的事故年年增加的傾向。作為防止這樣的事故的方 法，例如，開發(fā)了在專利文獻(xiàn)1和2中例示那樣的、通過設(shè)置在室內(nèi)的攝像機(jī)拍攝監(jiān)護(hù)對象、 分析所拍攝的圖像，由此來檢測起床、端座位、離床等的監(jiān)護(hù)對象的行動(dòng)的監(jiān)護(hù)系統(tǒng)。在這 樣的監(jiān)護(hù)系統(tǒng)中，基于由攝像機(jī)拍攝的二維圖像的分析結(jié)果，來推測監(jiān)護(hù)對象的行動(dòng)。因 此，存在得到與現(xiàn)實(shí)的空間（以下稱為"真實(shí)空間"）中的監(jiān)護(hù)對象的狀態(tài)不符合的行動(dòng)推 測的結(jié)果的情況。
[0010] 本發(fā)明的一個(gè)方面是考慮這樣的情況而完成的，提供能夠進(jìn)行與真實(shí)空間中的監(jiān) 護(hù)對象的狀態(tài)相符合的行動(dòng)推測的技術(shù)。
[0011] 用于解決技術(shù)問題的技術(shù)方案
[0012] 本發(fā)明為了解決上述的技術(shù)問題，采用以下的結(jié)構(gòu)。即，本發(fā)明的第1方式提供一 種信息處理裝置，其包括：圖像取得部，其取得拍攝行動(dòng)被監(jiān)護(hù)的監(jiān)護(hù)對象和成為該監(jiān)護(hù)對 象的行動(dòng)的基準(zhǔn)的對象物而成的拍攝圖像，上述拍攝圖像包含表示上述拍攝圖像中的按每 個(gè)像素得到的深度的深度信息；前景提取部，其根據(jù)背景圖像與上述拍攝圖像的差提取上 述拍攝圖像的前景區(qū)域，其中，上述背景圖像被設(shè)定成作為上述拍攝圖像的背景包含該背 景的深度；和行動(dòng)推測部，其基于上述深度信息參照上述前景區(qū)域內(nèi)的像素的深度，判斷上 述前景區(qū)域與上述對象物的區(qū)域在真實(shí)空間中的位置關(guān)系是否滿足假定所提取的上述前 景區(qū)域與上述監(jiān)護(hù)對象的行動(dòng)相關(guān)聯(lián)所設(shè)定的條件，由此推測上述監(jiān)護(hù)對象相對于上述對 象物的行動(dòng)。
[0013] 根據(jù)上述構(gòu)成，關(guān)于拍攝監(jiān)護(hù)對象和成為該監(jiān)護(hù)對象的行動(dòng)的基準(zhǔn)的對象物而成 的拍攝圖像的各像素取得深度。該深度表現(xiàn)被拍攝體的深度。因此，通過利用該深度，能夠 推測包含監(jiān)護(hù)對象和對象物的被拍攝體在真實(shí)空間的位置關(guān)系。
[0014] 所以，在上述構(gòu)成中，首先，根據(jù)背景圖像與該拍攝圖像的差提取該拍攝圖像的前 景區(qū)域，上述背景圖像被設(shè)定成作為拍攝圖像的背景包含該背景的深度。基于拍攝圖像與 背景圖像的差提取的前景區(qū)域，是從背景圖像產(chǎn)生變化的區(qū)域。因此，在監(jiān)護(hù)對象產(chǎn)生了動(dòng) 作的情況下，設(shè)定在要提取的前景區(qū)域中至少包含因監(jiān)護(hù)對象產(chǎn)生了動(dòng)作而發(fā)生了變化的 區(qū)域。本發(fā)明的第1方式，利用這樣的前景區(qū)域推測監(jiān)護(hù)對象的行動(dòng)。
[0015] 具體而言，本發(fā)明的第1方式，參照基于拍攝圖像中包含的深度信息提取的前景 區(qū)域中的圖像的深度，判斷該前景區(qū)域和上述對象物的區(qū)域在真實(shí)空間中的位置關(guān)系是 否滿足假定該前景區(qū)域與監(jiān)護(hù)對象的行動(dòng)相關(guān)聯(lián)時(shí)而設(shè)定的條件，由此推測監(jiān)護(hù)對象的行 動(dòng)。此外，監(jiān)護(hù)對象根據(jù)本發(fā)明為行動(dòng)被監(jiān)護(hù)的對象，例如為入院患者、福利機(jī)構(gòu)入住者、要 看護(hù)者等。
[0016] 所以，根據(jù)上述構(gòu)成，使用表示被拍攝體的深度的深度信息，根據(jù)監(jiān)護(hù)對象和對象 物在真實(shí)空間中的位置關(guān)系推測該監(jiān)護(hù)對象的行動(dòng)，因此，能夠進(jìn)行在真實(shí)空間中的與監(jiān) 護(hù)對象的狀態(tài)相符合的行動(dòng)推測。
[0017] 另外，本發(fā)明的第2方式是在第1方式的信息處理裝置中，上述行動(dòng)推測部，基于 所提取的上述前景區(qū)域中的包含在對于上述對象物所設(shè)定的檢測區(qū)域中的部分，判斷上述 前景區(qū)域與上述對象物的區(qū)域的上述位置關(guān)系是否滿足上述條件。根據(jù)該構(gòu)成，能夠通過 檢測區(qū)域限定作為監(jiān)護(hù)對象的行動(dòng)推測的處理對象的前景區(qū)域，因此，能夠調(diào)整進(jìn)行該監(jiān) 護(hù)對象的行動(dòng)推測的真實(shí)空間中的范圍。
[0018] 另外，本發(fā)明的第3方式是在第2方式的信息處理裝置中，檢測區(qū)域設(shè)定部，其接 受在上述拍攝圖像中存在上述對象物的區(qū)域的指定，從上述拍攝圖像取得存在于所指定的 區(qū)域的上述對象物的深度，基于所取得的上述對象物的深度，確定上述對象物在真實(shí)空間 中的位置，根據(jù)所確定的上述對象物在真實(shí)空間中的位置來設(shè)定上述檢測區(qū)域。根據(jù)該構(gòu) 成，能夠由用戶指定對象物的區(qū)域，該對象物的區(qū)域成為設(shè)定作為監(jiān)護(hù)對象的行動(dòng)推測的 對象的區(qū)域的檢測區(qū)域的基準(zhǔn)。因此，根據(jù)該構(gòu)成，能夠提供可以靈活地應(yīng)對攝像機(jī)的朝 向、對象物的配置狀態(tài)等的監(jiān)護(hù)系統(tǒng)。
[0019] 另外，本發(fā)明的第4方式是在第3方式的信息處理裝置中，上述檢測區(qū)域設(shè)定部， 不參照上述拍攝圖像中包含的上述深度信息，而通過將上述拍攝圖像中的上述對象物的長 度與作為規(guī)定的值設(shè)定的上述對象物在真實(shí)空間中的長度相對應(yīng)，來計(jì)算上述對象物的深 度，由此從上述拍攝圖像取得上述對象物的深度。
[0020] 存在深度在被拍攝體的邊界變化較大的情況。因此，在用戶偏離對象物的邊界外 地指定該對象物的范圍的情況下，如果根據(jù)包含于拍攝圖像中的深度信息取得該對象物的 深度，則取得了與本來的對象物的深度的值區(qū)別較大的深度值的情況。根據(jù)該構(gòu)成，由于不 依賴于拍攝圖像中包含的深度信息而取得該對象物的深度，因此能夠避免這樣的情況，能 夠基于該對象物高精度地在真實(shí)空間中設(shè)定檢測區(qū)域。
[0021] 另外，本發(fā)明的第5方式是在第2方式至第4方式中任一項(xiàng)記載的信息處理裝置 中，作為用于推測上述監(jiān)護(hù)對象的行動(dòng)的上述條件，在上述監(jiān)護(hù)對象進(jìn)行了相對于上述對 象物的行動(dòng)的情況下，關(guān)于存在于上述真實(shí)空間上的上述檢測區(qū)域中的上述監(jiān)護(hù)對象的規(guī) 定部位設(shè)定取得上述深度的區(qū)域的面積的范圍，上述行動(dòng)推測部，在包含于上述前景區(qū)域 中的上述檢測區(qū)域中的部分中，推測與上述監(jiān)護(hù)對象的上述規(guī)定部位對應(yīng)的部位區(qū)域，根 據(jù)由上述深度信息表示的上述部位區(qū)域中的每個(gè)像素的深度，計(jì)算該每個(gè)像素在真實(shí)空間 中的面積，判斷上述部位區(qū)域中的按每個(gè)像素計(jì)算出的面積的總和是否包含在作為上述條 件所設(shè)定的上述面積的范圍中，由此推測上述監(jiān)護(hù)對象相對于上述對象物的行動(dòng)。
[0022] 根據(jù)該構(gòu)成，在包含于檢測區(qū)域中的前景區(qū)域的部分中，推測與監(jiān)護(hù)對象的規(guī)定 部位對應(yīng)的部位區(qū)域。并且，根據(jù)該部位區(qū)域的面積，來推測該監(jiān)護(hù)對象的行動(dòng)。此外，在 該監(jiān)護(hù)對象的規(guī)定部位取得深度的區(qū)域，是該規(guī)定部位的成為拍攝對象的表面。因此，該部 位區(qū)域的面積與該規(guī)定部位的成為拍攝對象的表面的面積對應(yīng)。
[0023] 在此，被拍攝體越遠(yuǎn)離拍攝拍攝圖像的機(jī)器，該拍攝圖像中的該被拍攝體的像越 小。因此，當(dāng)將部位區(qū)域內(nèi)的像素?cái)?shù)原樣地對應(yīng)于該部位區(qū)域的面積時(shí)，受到被拍攝體的遠(yuǎn) 近的影響，取得不符合真實(shí)空間的狀態(tài)的部位區(qū)域的面積。為了對應(yīng)該問題點(diǎn)，本發(fā)明的第 5方式中，根據(jù)該部位區(qū)域中的每個(gè)像素的深度計(jì)算該每個(gè)像素在真實(shí)空間的面積，求出在 上述部位區(qū)域中的按每個(gè)像素計(jì)算出的面積的總和作為該部位區(qū)域的面積。由此，不受到 被拍攝體的遠(yuǎn)近的影響，能夠求出作為監(jiān)護(hù)對象的行動(dòng)的推測基準(zhǔn)的部位區(qū)域的面積。因 此，在該構(gòu)成中，能夠不受到被拍攝體的遠(yuǎn)近的影響地，推測上述監(jiān)護(hù)對象的行動(dòng)。
[0024] 另外，本發(fā)明的第6方式是在第5方式的信息處理裝置中，作為用于推測上述監(jiān)護(hù) 對象的行動(dòng)的上述條件，在上述監(jiān)護(hù)對象進(jìn)行了相對于上述對象物的行動(dòng)的情況下，關(guān)于 存在于上述真實(shí)空間上的上述檢測區(qū)域的上述監(jiān)護(hù)對象的規(guī)定部位進(jìn)一步設(shè)定表示取得 上述深度的區(qū)域的擴(kuò)展情況的彌散的范圍，上述行動(dòng)推測部計(jì)算表示被推測的上述部位區(qū) 域在上述真實(shí)空間中的擴(kuò)展情況的彌散，進(jìn)而判斷計(jì)算出的上述彌散是否包含在作為上述 條件所設(shè)定的上述范圍中，由此推測上述監(jiān)護(hù)對象相對于上述對象物的行動(dòng)。
[0025] 僅通過監(jiān)護(hù)對象的規(guī)定部位區(qū)域的面積，有可能誤識別監(jiān)護(hù)對象的部位。例如，在 頭部區(qū)域的面積與臂區(qū)域的面積為相同的狀態(tài)下拍攝監(jiān)護(hù)對象的情況下，有可能將臂誤識 別為頭部。所以，在該構(gòu)成中，著眼于身體的每個(gè)部位在真實(shí)空間中的擴(kuò)展情況的不同，利 用表示該部位區(qū)域在真實(shí)空間的擴(kuò)展情況的彌散（分散），來防止上述的誤識別。
[0026] 另外，本發(fā)明的第7方式是在第6方式的信息處理裝置中，上述對象物為床，上述 檢測區(qū)域以上述監(jiān)護(hù)對象在上述床上行動(dòng)時(shí)至少包括上述監(jiān)護(hù)對象的頭部的方式設(shè)定于 上述床上，作為用于推測上述監(jiān)護(hù)對象的行動(dòng)的上述條件的上述面積的范圍和上述彌散的 范圍分別至少以上述監(jiān)護(hù)對象的頭部為對象來設(shè)定，上述行動(dòng)推測部，在包含在上述前景 區(qū)域中的上述檢測區(qū)域中的部分中，推測與上述監(jiān)護(hù)對象的頭部對應(yīng)的頭部區(qū)域，計(jì)算關(guān) 于所推測的上述頭部區(qū)域的上述面積的總和和上述彌散，判斷所計(jì)算出的關(guān)于上述頭部區(qū) 域的上述面積的總和和上述彌散分別是否包含于設(shè)定為對象的上述范圍中，由此推測上述 監(jiān)護(hù)對象相對于上述床的行動(dòng)。根據(jù)該構(gòu)成，能夠推測監(jiān)護(hù)對象相對于床的行動(dòng)。因此，作 為在醫(yī)院、看護(hù)福利機(jī)構(gòu)等用于監(jiān)護(hù)入院患者、福利機(jī)構(gòu)入住者、要看護(hù)者等的裝置，能夠 利用本發(fā)明。
[0027] 另外，本發(fā)明的第8方式是在第7方式的信息處理裝置中，作為用于推測上述監(jiān)護(hù) 對象的行動(dòng)的上述條件的上述面積的范圍和上述彌散的范圍，分別進(jìn)一步以上述監(jiān)護(hù)對象 的肩部為對象來設(shè)定，上述行動(dòng)推測部，在包含在上述前景區(qū)域中的上述檢測區(qū)域中的部 分中，從與上述頭部區(qū)域相鄰的區(qū)域進(jìn)一步推測與上述監(jiān)護(hù)對象的肩部對應(yīng)的肩部區(qū)域， 計(jì)算關(guān)于所推測的上述肩部區(qū)域的上述面積的總和和上述彌散，判斷所計(jì)算出的關(guān)于上述 肩部區(qū)域的上述面積的總和和上述彌散分別是否包含于設(shè)定為對象的上述范圍中，由此推 測上述監(jiān)護(hù)對象相對于上述床的行動(dòng)。根據(jù)該構(gòu)成，不僅著眼于頭部，也著眼于肩部，因此， 能夠提高推測監(jiān)護(hù)對象的行動(dòng)的精度。
[0028] 另外，本發(fā)明的第9方式是在第8方式的信息處理裝置中，上述行動(dòng)推測部基于上 述頭部區(qū)域和上述肩部區(qū)域與上述床的在上述真實(shí)空間中的位置關(guān)系，推測在上述床上起 來、在上述床上的端座位、身體從上述床探出、從上述床落下和從上述床離開之中的至少任 一種上述監(jiān)護(hù)對象的行動(dòng)。此外，端座位是指監(jiān)護(hù)對象坐在床端的狀態(tài)。根據(jù)該構(gòu)成，能夠 推測監(jiān)護(hù)對象起來、端座位、身體探出（越過護(hù)欄）、落下和離床的至少任一種的行動(dòng)。因 此，能夠提供更適合于在醫(yī)院、看護(hù)福利機(jī)構(gòu)等中用于監(jiān)護(hù)入院患者、福利機(jī)構(gòu)入住者、要 看護(hù)者等的裝置的監(jiān)護(hù)系統(tǒng)。
[0029] 另外，本發(fā)明的第10方式在第9方式的信息處理裝置中，上述行動(dòng)推測部，使用推 測了上述監(jiān)護(hù)對象的在上述床上起來、在上述床上的端座位、身體從上述床探出、從上述床 落下和從上述床離開之中的任一種行動(dòng)后取得的拍攝圖像，推測上述監(jiān)護(hù)對象的行動(dòng)的情 況下，以推測了上述監(jiān)護(hù)對象的上述任一種行動(dòng)時(shí)的上述頭部區(qū)域和上述肩部區(qū)域的位置 為基準(zhǔn)，變更上述檢測區(qū)域的范圍，使其成為推測為存在上述監(jiān)護(hù)對象的頭部和肩部的范 圍的區(qū)域。
[0030] 如上述所述，存在檢測區(qū)域設(shè)定在床上的情況。在該情況下，在監(jiān)護(hù)對象進(jìn)行了端 座位、身體探出、落下和離床中的任一種行動(dòng)之后，該監(jiān)護(hù)對象出到檢測區(qū)域之外的可能性 較高。因此，在該構(gòu)成中，在檢測到監(jiān)護(hù)對象的上述任一種行動(dòng)之后，根據(jù)該監(jiān)護(hù)對象的存 在位置修正該檢測區(qū)域，由此，在監(jiān)護(hù)對象利用之后能夠繼續(xù)進(jìn)行推測該監(jiān)護(hù)對象的行動(dòng)。
[0031] 另外，本發(fā)明的第11方式是在第7方式至第10方式中的任一項(xiàng)記載的信息處理 裝置中，包含在拍攝上述監(jiān)護(hù)對象和上述床而成的上述拍攝圖像中的上述深度信息，是通 過基于紅外線的照射測定深度的深度傳感器取得的。
[0032] 在該構(gòu)成中，進(jìn)行監(jiān)護(hù)對象的監(jiān)護(hù)的場所，是在設(shè)置有監(jiān)護(hù)對象的床的場所，換言 之，是在該監(jiān)護(hù)對象就寢的場所。因此，進(jìn)行監(jiān)護(hù)對象的監(jiān)護(hù)的場所大多是較暗的場所。在 此，測定深度的深度傳感器存在多種機(jī)型時(shí)，在該構(gòu)成中，利用基于紅外線的照射測定深度 的深度傳感器。因此，根據(jù)該構(gòu)成，能夠在不受進(jìn)行監(jiān)護(hù)對象的監(jiān)護(hù)的場所的明亮度的影響 地取得被拍攝體的深度，推測監(jiān)護(hù)對象的行動(dòng)。此外，作為比較廉價(jià)的紅外線深度傳感器， 能夠列舉微軟公司的Kinect、ASUS社的Xtion、PrimeSense公司的CARMINE。
[0033] 另外，本發(fā)明的第12方式是在第1方式至第12方式中的任一項(xiàng)記載的信息處理 裝置中，還包括顯示控制部，其使上述拍攝圖像顯示在顯示裝置中，其中，上述拍攝圖像中 的各像素的灰度值是根據(jù)該各像素的深度確定的，上述顯示控制部將在上述拍攝圖像中作 為特定的區(qū)域被識別的區(qū)域以顏色區(qū)分，使上述拍攝圖像顯示在上述顯示裝置中。根據(jù)該 構(gòu)成，即使在以對應(yīng)于深度的灰度表現(xiàn)的拍攝圖像，特定的區(qū)域也以顏色區(qū)分，因此，用戶 能夠掌握該拍攝圖像中的特定的區(qū)域。
[0034] 本發(fā)明的第13方式是在第1方式至第12方式中的任一項(xiàng)記載的信息處理裝置 中，還包括通知部，其在關(guān)于上述監(jiān)護(hù)對象所推測的行動(dòng)是表示危險(xiǎn)迫近上述監(jiān)護(hù)對象的 預(yù)兆的行動(dòng)的情況下，進(jìn)行用于向監(jiān)護(hù)上述監(jiān)護(hù)對象的監(jiān)護(hù)者告知該預(yù)兆的通知。
[0035] 根據(jù)該構(gòu)成，能夠?qū)ΡO(jiān)護(hù)者通知有危險(xiǎn)迫近監(jiān)護(hù)對象的預(yù)兆。另外，也能夠向監(jiān)護(hù) 對象告知有危險(xiǎn)迫近的預(yù)兆。此外，監(jiān)護(hù)者是監(jiān)護(hù)監(jiān)護(hù)對象的行動(dòng)的人，在監(jiān)護(hù)對象是入院 患者、福利機(jī)構(gòu)入住者、要看護(hù)者等的情況下，例如為護(hù)理人員、福利機(jī)構(gòu)職員、看護(hù)者等。 另外，用于向監(jiān)護(hù)對象告知有危險(xiǎn)迫近的預(yù)兆的通知，可以與設(shè)置在護(hù)士呼叫等的機(jī)構(gòu)的 設(shè)備相協(xié)作地進(jìn)行。
[0036] 此外，作為上述各方式的信息處理裝置的另外的方式，可以為實(shí)現(xiàn)以上的各構(gòu)成 的信息處理系統(tǒng)，也可以為信息處理方法，也可以為程序，也可以為存儲有這樣的程序的能 夠被計(jì)算機(jī)其它