照拍攝圖像3中包含的深度信息,而將拍攝圖像3中的 對(duì)象物的長(zhǎng)度與作為規(guī)定的值設(shè)定的對(duì)象物在真實(shí)空間中的長(zhǎng)度相對(duì)應(yīng)地,計(jì)算出該對(duì)象 物的深度,由此可以從該拍攝圖像3取得對(duì)象物的深度。
[0089] 另外,用于推測(cè)監(jiān)護(hù)對(duì)象的行動(dòng)的條件可以根據(jù)實(shí)施方式適當(dāng)設(shè)定。例如,作為用 于推測(cè)監(jiān)護(hù)對(duì)象的行動(dòng)的條件,在監(jiān)護(hù)對(duì)象進(jìn)行了相對(duì)于對(duì)象物的行動(dòng)的情況下,關(guān)于存 在于真實(shí)空間上的檢測(cè)區(qū)域的監(jiān)護(hù)對(duì)象的規(guī)定部位設(shè)定能夠得到深度的區(qū)域的面積的范 圍。如上所述,相對(duì)于該被拍攝體的表面取得被拍攝體的深度。因此,用于推測(cè)監(jiān)護(hù)對(duì)象的 行動(dòng)的上述條件,相對(duì)于關(guān)于監(jiān)護(hù)對(duì)象的規(guī)定部位能夠取得深度的區(qū)域的面積被設(shè)定。
[0090] 在該情況下,行動(dòng)推測(cè)部23在前景區(qū)域中的包含在檢測(cè)區(qū)域中的部分中,推測(cè)與 監(jiān)護(hù)對(duì)象的規(guī)定部位對(duì)應(yīng)的部位區(qū)域,根據(jù)由深度信息表示的該部位區(qū)域內(nèi)的每個(gè)像素的 深度,計(jì)算出該每個(gè)像素在真實(shí)空間中的面積,判斷該部位區(qū)域內(nèi)的按每個(gè)像素計(jì)算出的 面積的總和是否包含在作為上述條件所設(shè)定的面積的范圍中,由此推測(cè)監(jiān)護(hù)對(duì)象的相對(duì)于 對(duì)象物的行動(dòng)。
[0091] 此外,利用關(guān)于監(jiān)護(hù)對(duì)象的規(guī)定部位能夠取得深度的區(qū)域的面積,設(shè)定用于推測(cè) 監(jiān)護(hù)對(duì)象的行動(dòng)的條件的情況下,該規(guī)定部位為與推測(cè)對(duì)象的行動(dòng)相關(guān)的監(jiān)護(hù)對(duì)象的身體 部位。即,在該情況下,行動(dòng)推測(cè)部23基于與推測(cè)對(duì)象的行動(dòng)相關(guān)的監(jiān)護(hù)對(duì)象的身體部位 存在于檢測(cè)區(qū)域中,進(jìn)行監(jiān)護(hù)對(duì)象的行動(dòng)推測(cè)。
[0092] 但是,存在與推測(cè)對(duì)象的行動(dòng)相關(guān)的規(guī)定部位以外的部位以具有與該規(guī)定部位相 同的面積的方式拍攝于拍攝圖像3中的情況。在該情況下,存在行動(dòng)推測(cè)部23將以與該 規(guī)定部位相同的面積拍攝的另外的部位誤識(shí)別為該規(guī)定部位,誤識(shí)別監(jiān)護(hù)對(duì)象的行動(dòng)的可 能。所以,在本實(shí)施方式的信息處理裝置1中,著眼于按身體的每個(gè)部位在真實(shí)空間中的擴(kuò) 展情況不同,可以進(jìn)一步設(shè)定能夠防止該誤識(shí)別那樣的條件。
[0093] 例如,作為用于推測(cè)監(jiān)護(hù)對(duì)象的行動(dòng)的條件,在監(jiān)護(hù)對(duì)象進(jìn)行了相對(duì)于對(duì)象物的 行動(dòng)的情況下,關(guān)于存在于真實(shí)空間上的檢測(cè)區(qū)域的監(jiān)護(hù)對(duì)象的規(guī)定部位進(jìn)一步設(shè)定表示 能夠取得深度的區(qū)域的擴(kuò)展情況的彌散(分散)的范圍。在該情況下,行動(dòng)推測(cè)部23計(jì)算 表示被推測(cè)的部位區(qū)域的在真實(shí)空間中的擴(kuò)展情況的彌散,進(jìn)一步判斷所計(jì)算出的彌散是 否包含在作為上述條件設(shè)定的范圍中,來推測(cè)監(jiān)護(hù)對(duì)象的相對(duì)于對(duì)象物的行動(dòng)。
[0094] 在本實(shí)施方式中,成為監(jiān)護(hù)對(duì)象的行動(dòng)的基準(zhǔn)的對(duì)象物是床。所以,檢測(cè)區(qū)域可以 以該監(jiān)護(hù)對(duì)象在床上行動(dòng)時(shí)至少包含該監(jiān)護(hù)對(duì)象的頭部的方式設(shè)定于該床上。而且,成為 用于推測(cè)監(jiān)護(hù)對(duì)象的行動(dòng)的條件的上述面積的范圍和上述彌散的范圍可以分別至少將監(jiān) 護(hù)對(duì)象的頭部設(shè)定為對(duì)象。
[0095] 在該情況下,行動(dòng)推測(cè)部23在包含于前景區(qū)域之中的檢測(cè)區(qū)域中的部分中,推測(cè) 與監(jiān)護(hù)對(duì)象的頭部對(duì)應(yīng)的頭部區(qū)域,計(jì)算關(guān)于所推測(cè)的頭部區(qū)域的上述面積的總和和上述 彌散。而且,行動(dòng)推測(cè)部23通過判斷所計(jì)算出的關(guān)于頭部區(qū)域的上述面積的總和和上述彌 散分別是否包含于被設(shè)定為對(duì)象的上述范圍中,由此推測(cè)該監(jiān)護(hù)對(duì)象相對(duì)于床的行動(dòng)。
[0096] 在此,推測(cè)相對(duì)于床的監(jiān)護(hù)對(duì)象的行動(dòng)時(shí)如果僅利用頭部區(qū)域,行動(dòng)推測(cè)部23有 可能將具有與頭部相同的表面形狀的被拍攝體誤識(shí)別為頭部,而誤識(shí)別了監(jiān)護(hù)對(duì)象的行 動(dòng)。所以,為了提高監(jiān)護(hù)對(duì)象的行動(dòng)的推測(cè)精度,作為用于推測(cè)監(jiān)護(hù)對(duì)象的行動(dòng)的條件的上 述面積的范圍和上述彌散的范圍可以分別進(jìn)一步將監(jiān)護(hù)對(duì)象的肩部設(shè)定為對(duì)象。
[0097] 而且,行動(dòng)推測(cè)部23,可以在包含于前景區(qū)域之中的檢測(cè)區(qū)域中的部分中,從與頭 部區(qū)域相鄰的區(qū)域,進(jìn)一步推測(cè)與監(jiān)護(hù)對(duì)象的肩部對(duì)應(yīng)的肩部區(qū)域,計(jì)算關(guān)于所推測(cè)的該 肩部區(qū)域的上述面積的總和和上述彌散,判斷所計(jì)算出的關(guān)于該肩部區(qū)域的上述面積的總 和和上述彌散分別是否包含于被設(shè)定為對(duì)象的上述范圍中,由此來推測(cè)監(jiān)護(hù)對(duì)象的起來。 肩部區(qū)域是具有從頭部區(qū)域連續(xù)的、比頭部區(qū)域變寬的區(qū)域的區(qū)域。因此,通過考慮這樣的 頭部區(qū)域和肩部區(qū)域的關(guān)系,行動(dòng)推測(cè)部23能夠提高頭部區(qū)域的推測(cè)精度。
[0098] 另外,行動(dòng)推測(cè)部23可以利用該頭部區(qū)域和肩部區(qū)域,來推測(cè)監(jiān)護(hù)對(duì)象的起來等 的行動(dòng)。例如,行動(dòng)推測(cè)部23可以基于頭部區(qū)域和肩部區(qū)域與床在真實(shí)空間中的位置關(guān) 系,來推測(cè)在床上的起來、床上的端座位、身體從床的探出、從床落下和從床離開之中的至 少任一種監(jiān)護(hù)對(duì)象的行動(dòng)。
[0099] 如上所述,存在檢測(cè)區(qū)域以當(dāng)監(jiān)護(hù)對(duì)象在床上行動(dòng)時(shí)至少包含該監(jiān)護(hù)對(duì)象的頭部 的方式設(shè)定于該床上的情況。在該情況下,監(jiān)護(hù)對(duì)象進(jìn)行了在床上的端座位、身體從床探 出、從床落下和從床離開的任一種之后,該監(jiān)護(hù)對(duì)象出到檢測(cè)區(qū)域之外的可能性較高。為了 應(yīng)對(duì)該情況,行動(dòng)推測(cè)部23使用在推測(cè)了監(jiān)護(hù)對(duì)象的上述任一種行動(dòng)后取得的拍攝圖像3 推測(cè)該監(jiān)護(hù)對(duì)象的行動(dòng)的情況下,以推測(cè)了該監(jiān)護(hù)對(duì)象的上述任一種行動(dòng)時(shí)的頭部區(qū)域和 肩部區(qū)域的位置為基準(zhǔn),變更上述檢測(cè)區(qū)域的范圍,使其成為推測(cè)為上述監(jiān)護(hù)對(duì)象的頭部 和肩部存在的范圍的區(qū)域。
[0100] 此外,取得用于監(jiān)護(hù)對(duì)象的行動(dòng)推測(cè)的深度信息的深度傳感器或者攝像機(jī)的種類 和測(cè)定方式可以根據(jù)實(shí)施方式適當(dāng)選擇。但是,如本實(shí)施方式所示,在監(jiān)護(hù)對(duì)象就寢的場(chǎng)所 進(jìn)行監(jiān)護(hù)時(shí),存在要取得深度的拍攝范圍不明亮的情況。所以,在本實(shí)施方式中,攝像機(jī)2 可以包括基于紅外線的照射測(cè)定深度的深度傳感器,使得能夠不收進(jìn)行監(jiān)護(hù)對(duì)象的監(jiān)護(hù)的 場(chǎng)所的明亮度的影響地取得被拍攝體的深度。而且,也可以通過基于該紅外線的照射測(cè)定 深度的深度傳感器取得深度信息。
[0101] 另外,本實(shí)施方式的信息處理裝置1也可以對(duì)與該信息處理裝置1連接的顯示器 等的顯示裝置輸出拍攝圖像3。在該情況下,信息處理裝置1可以具有顯示控制部26,使拍 攝圖像3中的各像素的灰度值根據(jù)該各像素的深度被確定的拍攝圖像3顯示。但是,如圖2 中所例示,各像素的灰度值根據(jù)該各像素的深度被確定的拍攝圖像3是用戶難以識(shí)別拍攝 圖像3中的被拍攝體的圖像。所以,顯示控制部26對(duì)拍攝圖像3中作為特定的區(qū)域識(shí)別的 區(qū)域進(jìn)行顏色區(qū)分,使顯示裝置顯示該拍攝圖像3,由此用戶容易掌握拍攝圖像3中的特定 的區(qū)域。
[0102] 另外,本實(shí)施方式的信息處理裝置1包括通知部24,其在關(guān)于監(jiān)護(hù)對(duì)象所推測(cè)的 行動(dòng)為表示危險(xiǎn)迫近監(jiān)護(hù)對(duì)象的預(yù)兆的行動(dòng)的情況下,進(jìn)行用于向監(jiān)護(hù)該監(jiān)護(hù)對(duì)象的監(jiān)護(hù) 者告知該預(yù)兆的通知。在此,監(jiān)護(hù)者是監(jiān)護(hù)監(jiān)護(hù)對(duì)象的行動(dòng)的人,在監(jiān)護(hù)對(duì)象是入院患者、 福利機(jī)構(gòu)入住者、要看護(hù)者等的情況下,例如是護(hù)理師、福利機(jī)構(gòu)職員、監(jiān)護(hù)者等。另外,用 于告知有危險(xiǎn)迫近監(jiān)護(hù)對(duì)象的預(yù)兆的通知,可以與設(shè)置在護(hù)士呼叫等的福利機(jī)構(gòu)的設(shè)備協(xié) 作進(jìn)行。
[0103] 此外,在本實(shí)施方式中,說明這些功能均通過通用的CPU來實(shí)現(xiàn)的例子。但是,這 些功能的一部分或者全部也可以由一個(gè)或者多個(gè)專用的處理器實(shí)現(xiàn)。例如,在不實(shí)施用于 告知有危險(xiǎn)迫近監(jiān)護(hù)對(duì)象的預(yù)兆的通知的情況下,通知部24可以省略。
[0104] §3動(dòng)作例
[0105] 圖6表示本實(shí)施方式的信息處理裝置1的動(dòng)作例。此外,以下說明的動(dòng)作例的處 理順序不過是一個(gè)例子,各處理只要可能就可以被調(diào)換。另外,以下說明的動(dòng)作例的處理順 序能夠根據(jù)實(shí)施方式適當(dāng)進(jìn)行處理的省略、置換和追加。例如,在不實(shí)施用于告知有危險(xiǎn)迫 近監(jiān)護(hù)對(duì)象的預(yù)兆的通知的情況下,步驟S104和S105可以省略。
[0106] 在步驟SlOl中,控制部11作為圖像取得部21發(fā)揮作用,取得拍攝了行動(dòng)被監(jiān)護(hù) 的監(jiān)護(hù)對(duì)象和成為該監(jiān)護(hù)對(duì)象的行動(dòng)的基準(zhǔn)的對(duì)象物的拍攝圖像3、并且是包含表示該拍 攝圖像中的按每個(gè)像素取得的深度的深度信息的拍攝圖像3。在本實(shí)施方式中,控制部11 從攝像機(jī)2取得拍攝了入院患者或者福利機(jī)構(gòu)入住者和床的拍攝圖像3。
[0107] 在此,使用圖7對(duì)控制部11取得的拍攝圖像3進(jìn)行說明。圖7例示控制部11取 得的拍攝圖像3。在圖7中例示的拍攝圖像3的各像素的灰度值與圖2同樣根據(jù)該各像素 的深度確定。即,各像素的灰度值(像素值)對(duì)應(yīng)拍攝于該各像素的部分的深度。如上所 述,拍攝圖像3中包含的深度信息可以表現(xiàn)為各像素的灰度值(像素值)。
[0108] 如上所述,包含以灰度值表現(xiàn)深度的情況,表示按每個(gè)像素取得的深度的深度信 息包含于拍攝圖像3中,因此,控制部11能夠基于該深度信息,確定拍攝于各像素的部分在 真實(shí)空間中的位置。即,控制部11能夠根據(jù)拍攝圖像3中的各像素的位置(二維信息)和 該各像素的深度,確定拍攝于該各像素內(nèi)的被拍攝體的在三維空間(真實(shí)空間)中的位置。 該真實(shí)空間的狀態(tài)在接下來的圖8中例示。
[0109] 圖8例示基于拍攝圖像3中包含的深度信息確定的拍攝范圍內(nèi)的被拍攝體的位置 的三維分布。通過按拍攝圖像3中的位置和深度在三維空間內(nèi)描繪各像素,能夠作成圖8 中例示那樣的三維分布??刂撇?1可以利用拍攝圖像3中的深度信息,作成圖8中例示的 三維分布的數(shù)據(jù),來識(shí)別監(jiān)護(hù)對(duì)象和對(duì)象物(床)的在真實(shí)空間的位置關(guān)系。另外,控制部 11可以不作成圖8中例示那樣的三維分布的數(shù)據(jù),根據(jù)要求參照拍攝圖像3中的深度信息, 以圖8中例示那樣的狀態(tài),識(shí)別監(jiān)護(hù)對(duì)象和對(duì)象物(床)的在真實(shí)空間的位置關(guān)系。即,控 制部11可以不使用以三維分布表現(xiàn)的數(shù)據(jù),來識(shí)別監(jiān)護(hù)對(duì)象和對(duì)象物(床)的在真實(shí)空間 的位置關(guān)系。
[0110] 此外,在圖8中,監(jiān)護(hù)對(duì)象和床分別存在于以虛線表示的區(qū)域中。如上所述,被拍 攝體的深度相對(duì)于該被拍攝體的表面取得。因此,描繪各像素的位置具體而言是在拍攝圖 像3中拍攝的監(jiān)護(hù)對(duì)象和床的面的位置??刂撇?1以這樣的面的位置識(shí)別監(jiān)護(hù)對(duì)象和床 的在真實(shí)空間的位置關(guān)系。
[0111] 在此,本實(shí)施方式的信息處理裝置1在醫(yī)療機(jī)構(gòu)或者監(jiān)護(hù)機(jī)構(gòu)中,用于監(jiān)護(hù)入院 患者或者福利機(jī)構(gòu)入住者。在該情況下,控制部11可以與對(duì)攝像機(jī)2的視頻信號(hào)同步地取 得圖像。然后,控制部11可以對(duì)所取得的圖像立即執(zhí)行至后述的步驟S102~S105的處 理。信息處理裝置1通過連續(xù)不間斷地執(zhí)行該動(dòng)作,能夠?qū)崿F(xiàn)實(shí)時(shí)圖像處理,實(shí)時(shí)地監(jiān)護(hù)入 院患者或者福利機(jī)構(gòu)入住者的行動(dòng)。
[0112] 返回圖6,在步驟S102中,控制部11作為前景提取部22發(fā)揮作用,根據(jù)背景圖像 與拍攝圖像3的差提取該拍攝圖像3的前景區(qū)域,上述背景圖像是在步驟SlOl中所取得的 被設(shè)定成作為拍攝圖像3的背景包含該背景的深度。在此,背景圖像是為了提取該前景區(qū) 域而利用的數(shù)據(jù),例如,通過取得在信息處理裝置1開始動(dòng)作時(shí)(開始監(jiān)護(hù)對(duì)象的監(jiān)護(hù)時(shí)) 得到的數(shù)幀的拍攝圖像的平均而作成。此時(shí),背景圖像也包含深度信息地被作成。
[0113] 圖9例示從圖8中所例示的被拍攝體之中從拍攝圖像3提取的前景區(qū)域的三維分 布。更詳細(xì)來說,圖9例示監(jiān)護(hù)對(duì)象在床上起來時(shí)被提取的前景區(qū)域的三維分布。利用上 述那樣的背景圖像提取的前景區(qū)域出現(xiàn)于從在背景圖像中表示的真實(shí)空間中的狀態(tài)發(fā)生 了變化的位置。因此,在監(jiān)護(hù)對(duì)象在床上進(jìn)行了動(dòng)作的情況下,該監(jiān)護(hù)對(duì)象進(jìn)行了動(dòng)作的區(qū) 域從背景圖像發(fā)生變化,作為前景區(qū)域被提取。例如,在圖9的例子中,當(dāng)監(jiān)護(hù)對(duì)象在床上 進(jìn)行了起來的動(dòng)作時(shí)進(jìn)行了動(dòng)作的上半身的區(qū)域被作為前景區(qū)域提取??刂撇?1使用這 樣的前景區(qū)域掌握監(jiān)護(hù)對(duì)象的動(dòng)作。
[0114] 此外,本步驟S102中,可以使用背景差分法(background subtraction、背景減除 法)將背景和前景分離。作為背景差分法,例如,能夠列舉根據(jù)上述那樣的背景圖像和輸入 圖像(拍攝圖像3)的差分離背景和前景的方法、使用不同的3個(gè)圖像分離背景和前景的方 法和應(yīng)用統(tǒng)計(jì)的模型將背景和前景分離的方法。提取前景區(qū)域的方法無特別限定,可以根 據(jù)實(shí)施方式適當(dāng)選擇。
[0115] 返回圖6,在步驟S103中,控制部11作為行動(dòng)推測(cè)部23發(fā)揮作用,參照在步驟 S102中所提取的前景區(qū)域內(nèi)的像素的深度,判斷該前景區(qū)域和對(duì)象物的區(qū)域的在真實(shí)空間 中的位置關(guān)系是否滿足假定為所提取的前景區(qū)域與監(jiān)護(hù)對(duì)象的行動(dòng)相關(guān)聯(lián)而設(shè)定了的條 件,推測(cè)該監(jiān)護(hù)對(duì)象的相對(duì)于對(duì)象物的行動(dòng)。
[0116] 如上所述,在監(jiān)護(hù)對(duì)象進(jìn)行了動(dòng)作的情況下,在上述步驟S102的處理中,該監(jiān)護(hù) 對(duì)象進(jìn)行了動(dòng)作的區(qū)域被作為前景區(qū)域提取。所以,用于推測(cè)監(jiān)護(hù)對(duì)象的行動(dòng)的條件,假定 為在步驟S102中被提取的前景區(qū)域與監(jiān)護(hù)對(duì)象的行動(dòng)相關(guān)聯(lián)而被設(shè)定。在此,用于推測(cè)監(jiān) 護(hù)對(duì)象的行動(dòng)的該條件可以根據(jù)成為推測(cè)對(duì)象的行動(dòng)適當(dāng)設(shè)定。
[0117] 此外,在本實(shí)施方式中,信息處理裝置1作為監(jiān)護(hù)入院患者或者福利機(jī)構(gòu)入住者 的行動(dòng)的裝置(監(jiān)護(hù)系統(tǒng))被有效利用。因此,在本實(shí)施方式中,控制部11推測(cè)在床上起 來、在床上的端座位、越過床的欄桿(身體的探出)、從床落下和從床離開之中的至少任一 種行動(dòng)作為監(jiān)護(hù)對(duì)象的行動(dòng)。
[0118] ⑴推測(cè)條件的第一例
[0119] 例如,作為用于推測(cè)監(jiān)護(hù)對(duì)象的相對(duì)于對(duì)象物的行動(dòng)的條件,可以設(shè)定評(píng)價(jià)相對(duì) 于對(duì)象物存在的區(qū)域處于規(guī)定的位置關(guān)系的區(qū)域中是否出現(xiàn)閾值以上的像素?cái)?shù)量的前景 區(qū)域的條件。以監(jiān)護(hù)對(duì)象在床上的行動(dòng)為例對(duì)該條件進(jìn)行說明。
[0120] (a)起來
[0121] 在監(jiān)護(hù)對(duì)象在床上起來(坐起)了的情況下,如圖9中所例示,設(shè)定在床的長(zhǎng)邊方 向的上半部分的區(qū)域并且在該床的上方出現(xiàn)前景區(qū)域。所以,當(dāng)在床的長(zhǎng)邊方向的上半部 分的區(qū)域并且該床的上方出現(xiàn)閾值以上的像素?cái)?shù)量的前景區(qū)域的情況下,控制部11可以 推測(cè)出監(jiān)護(hù)對(duì)象在床上起來。
[0122] (b)端座位
[0123] 在監(jiān)護(hù)對(duì)象在床上進(jìn)行了端座位的情況下,設(shè)定在床的側(cè)框架周邊的區(qū)域并且在 從床的上方到下方出現(xiàn)前景區(qū)域。所以,當(dāng)在床的側(cè)框架周邊的區(qū)域并且在從床的上方到 下方出現(xiàn)了閾值以上的像素?cái)?shù)量的前景區(qū)域的情況下,控制部11可以推測(cè)出監(jiān)護(hù)對(duì)象在 床上的端座位。
[0124] (C)越過欄桿(身體的探出)
[0125] 在監(jiān)護(hù)對(duì)象從床探出身體的(越過欄桿)情況下,設(shè)定在床的側(cè)框架周邊的區(qū)域、 并且在從比床靠上方到比評(píng)價(jià)上述端座位的位置靠下方出現(xiàn)前景區(qū)域。所以,在床的側(cè)框 架周邊的區(qū)域、并且在從比床靠上方到比評(píng)價(jià)端座位的位置靠下方出現(xiàn)了閾值以上的像素 數(shù)量的前景區(qū)域的情況下,控制部11可以推測(cè)出監(jiān)護(hù)對(duì)象的從床越過欄桿。
[0126] (d)落下
[0127] 在監(jiān)護(hù)對(duì)象從床落下的情況下,設(shè)定在床的側(cè)框架周邊的區(qū)域、并且