本公開涉及一種信息處理設(shè)備、信息處理方法與程序。

背景技術(shù)：

近年來，廣泛使用基于互聯(lián)網(wǎng)的社交網(wǎng)絡(luò)服務(wù)(SNS)等，作為記錄個(gè)人的自身行動(dòng)或者向特定或不特定的多數(shù)人公開個(gè)人的自身行動(dòng)的工具。

在此處，通過創(chuàng)作由用戶自己要投稿的文章(article，記事)，根據(jù)需要將圖像數(shù)據(jù)等添附到該文章，并且隨后將數(shù)據(jù)發(fā)送給負(fù)責(zé)管理社交網(wǎng)絡(luò)服務(wù)的管理服務(wù)器，進(jìn)行個(gè)人的自身行動(dòng)到社交網(wǎng)絡(luò)服務(wù)的記錄。相應(yīng)地，用戶可能沉浸在它當(dāng)前從事的行動(dòng)中，忘記了創(chuàng)作要投稿的文章。

為了緩解這種情況，例如，下面描述的專利文獻(xiàn)1公開了以下一種方法，該方法自動(dòng)識(shí)別用戶的行動(dòng)并且基于所獲取的識(shí)別結(jié)果，自動(dòng)生成有趣的語句。

引用列表

專利文獻(xiàn)

專利文獻(xiàn)：JP 2008-3655A

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問題

使用在專利文獻(xiàn)1中描述的方法，允許獲取行動(dòng)模式，例如，“悠閑地步行”或“不安的動(dòng)作”，作為按時(shí)間順序排列的數(shù)據(jù)。然而，由上述方法獲得的行動(dòng)模式主要表示在較短時(shí)間內(nèi)的用戶的動(dòng)作或狀態(tài)。因此，難以從行動(dòng)模式的歷史中估計(jì)如“昨天在酒店餐廳吃飯”或“今天在百貨商店購物”的行動(dòng)的具體內(nèi)容。此外，形成由在專利文獻(xiàn)1中描述的方法獲取的行動(dòng)模式的各個(gè)行動(dòng)本身不由用戶刻意執(zhí)行，因此，向社交網(wǎng)絡(luò)服務(wù)投稿基于獲取的行動(dòng)模式所生成的語句會(huì)有助于使得語句在稍后的間言語時(shí)似乎有趣，這是不可能的。

另一方面，向社交網(wǎng)絡(luò)服務(wù)投稿(post，發(fā)布)的并且依然似乎有趣的文章，是與從用戶的各個(gè)行動(dòng)的復(fù)雜方式的混亂狀態(tài)產(chǎn)生的圍繞用戶的各種狀況相關(guān)的文章。因此，為了進(jìn)一步提高相對于向社交網(wǎng)絡(luò)服務(wù)投稿的用戶的方便性，可取地的是實(shí)現(xiàn)以下一種技術(shù)，該技術(shù)允許識(shí)別圍繞用戶的狀況并且基于狀況識(shí)別的結(jié)果自動(dòng)生成表示圍繞用戶的狀況的信息。

因此，本公開提出了能夠自動(dòng)生成表示圍繞用戶的狀況的信息的一種信息處理設(shè)備、信息處理方法與程序。

解決技術(shù)問題的技術(shù)方案

根據(jù)本公開，提供了一種信息處理設(shè)備，包括：識(shí)別處理單元，其被配置成基于包括表示用戶所在的位置的位置信息、與包圍用戶的環(huán)境相關(guān)的圖像信息以及與環(huán)境相關(guān)的音頻信息中的至少任一個(gè)的用戶環(huán)境信息，通過預(yù)定的時(shí)間間隔對包含在用戶環(huán)境信息內(nèi)的位置信息、圖像信息以及音頻信息中的至少任一個(gè)執(zhí)行分析處理，并且使用所獲取的與所述用戶環(huán)境相關(guān)的分析結(jié)果，識(shí)別用戶周圍的狀況；以及狀況候選信息生成單元，其被配置成使用由所述識(shí)別處理單元執(zhí)行的狀況識(shí)別結(jié)果，生成表示用戶周圍的狀況(context)的候選的狀況候選信息，所述狀況候選信息至少包括表示用戶周圍的狀況的信息以及表示在所述狀況中的用戶的感情的信息。

根據(jù)本公開，提供了一種信息處理方法，包括：基于包括表示用戶所在的位置的位置信息、與用戶周圍的環(huán)境相關(guān)的圖像信息以及與環(huán)境相關(guān)的音頻信息中的至少任一個(gè)的用戶環(huán)境信息，通過預(yù)定的時(shí)間間隔對包含在用戶環(huán)境信息內(nèi)的所述位置信息、圖像信息以及音頻信息中的至少任一個(gè)執(zhí)行分析處理，并且使用所獲取的與所述用戶環(huán)境相關(guān)的分析結(jié)果，識(shí)別用戶周圍的狀況；以及使用由所述識(shí)別處理單元執(zhí)行的狀況識(shí)別結(jié)果，生成表示用戶周圍的狀況的候選的狀況候選信息，所述狀況候選信息至少包括表示用戶周圍的狀況的信息以及表示在所述狀況中的用戶的感情的信息。

根據(jù)本公開，提供了一種程序，用于促使計(jì)算機(jī)實(shí)現(xiàn)：識(shí)別處理功能，用于基于包括表示用戶所在的位置的位置信息、與用戶周圍的環(huán)境相關(guān)的圖像信息以及與環(huán)境相關(guān)的音頻信息中的至少任一個(gè)的用戶環(huán)境信息，通過預(yù)定的時(shí)間間隔對包含在用戶環(huán)境信息內(nèi)的所述位置信息、圖像信息以及音頻信息中的至少任一個(gè)執(zhí)行分析處理，并且使用所獲取的與所述用戶環(huán)境相關(guān)的分析結(jié)果，識(shí)別用戶周圍的狀況；以及狀況候選信息生成功能，用于使用由所述識(shí)別處理單元執(zhí)行的狀況識(shí)別結(jié)果，生成表示用戶周圍的狀況的候選的狀況候選信息，所述狀況候選信息至少包括表示用戶周圍的狀況的信息以及表示在所述狀況中的用戶的感情的信息。

根據(jù)本公開，使用對相對于用戶環(huán)境的用戶環(huán)境信息執(zhí)行的分析結(jié)果，識(shí)別用戶周圍的狀況，并且使用獲取的狀況識(shí)別結(jié)果，生成表示用戶周圍的狀況的候選的狀況候選信息，所述狀況候選信息至少包括表示用戶周圍的狀況的信息以及表示在所述狀況中的用戶的感情的信息。

本發(fā)明的有益效果

如上所述，根據(jù)本公開，可以自動(dòng)生成表示用戶周圍的狀況的信息。

注意，上面描述的效果不必具有限制性。在具有以上效果或者以上效果出現(xiàn)的地方，也可以實(shí)現(xiàn)在本說明書中描述的任一個(gè)效果或者可以從本說明書中理解的其他效果。

附圖說明

圖1是示出根據(jù)本公開的實(shí)施方式的信息處理系統(tǒng)的說明圖。

圖2是示出根據(jù)實(shí)施方式的信息處理設(shè)備的示例性配置的方框圖。

圖3是示出根據(jù)實(shí)施方式的包含在信息處理設(shè)備內(nèi)的識(shí)別處理單元的示例性配置的方框圖。

圖4是示出根據(jù)實(shí)施方式的包含在識(shí)別處理單元內(nèi)的圖像分析單元的示例性配置的方框圖。

圖5是示出根據(jù)實(shí)施方式的包含在識(shí)別處理單元內(nèi)的音頻分析單元的示例性配置的方框圖。

圖6是示出根據(jù)實(shí)施方式的包含在識(shí)別處理單元內(nèi)的地點(diǎn)/行動(dòng)分析單元的示例性配置的方框圖。

圖7是示出根據(jù)實(shí)施方式的由識(shí)別處理單元執(zhí)行的地點(diǎn)/行動(dòng)分析處理的說明圖。

圖8是示出根據(jù)實(shí)施方式的由識(shí)別處理單元執(zhí)行的地點(diǎn)/行動(dòng)分析處理的說明圖。

圖9是示出根據(jù)實(shí)施方式的由識(shí)別處理單元執(zhí)行的地點(diǎn)/行動(dòng)分析處理的說明圖。

圖10是示出根據(jù)實(shí)施方式的由識(shí)別處理單元執(zhí)行的狀況識(shí)別處理的說明圖。

圖11是示出根據(jù)實(shí)施方式的由識(shí)別處理單元執(zhí)行的狀況識(shí)別處理的說明圖。

圖12A是示出根據(jù)實(shí)施方式的識(shí)別處理單元的識(shí)別結(jié)果的說明圖。

圖12B是示出根據(jù)實(shí)施方式的識(shí)別處理單元的識(shí)別結(jié)果的說明圖。

圖13是示出根據(jù)實(shí)施方式的包含在信息處理設(shè)備內(nèi)的狀況候選信息生成單元執(zhí)行的狀況候選信息生成處理的說明圖。

圖14A是示出根據(jù)實(shí)施方式的狀況候選信息生成單元執(zhí)行的狀況候選信息生成處理的說明圖。

圖14B是示出根據(jù)實(shí)施方式的狀況候選信息生成單元執(zhí)行的狀況候選信息生成處理的說明圖。

圖15是示出根據(jù)實(shí)施方式的狀況候選信息生成單元執(zhí)行的狀況候選信息生成處理的說明圖。

圖16是示出根據(jù)實(shí)施方式的狀況候選信息生成單元執(zhí)行的狀況候選信息生成處理的說明圖。

圖17是示出根據(jù)實(shí)施方式的包含在信息處理設(shè)備內(nèi)的信息更新單元的示例性配置的方框圖。

圖18是示出根據(jù)實(shí)施方式的包含在信息處理設(shè)備內(nèi)的外部裝置配合單元的示例性配置的方框圖。

圖19是示出根據(jù)實(shí)施方式的外部裝置配合單元執(zhí)行的外部裝置配合處理的說明圖。

圖20A是示出根據(jù)實(shí)施方式的信息處理設(shè)備的示例性變形例的說明圖。

圖20B是示出根據(jù)實(shí)施方式的信息處理設(shè)備的示例性變形例的說明圖。

圖21是示出根據(jù)實(shí)施方式的信息處理設(shè)備的示例性顯示屏的說明圖。

圖22A是示出根據(jù)實(shí)施方式的在信息處理設(shè)備內(nèi)的狀況候選信息生成處理的示例性流程的說明圖。

圖22B是示出根據(jù)實(shí)施方式的在信息處理設(shè)備內(nèi)的狀況候選信息生成處理的示例性流程的說明圖。

圖23是示出根據(jù)實(shí)施方式的信息處理方法的示例性流程的流程圖。

圖24是示出根據(jù)本公開的實(shí)施方式的信息處理設(shè)備的示例性硬件配置的方框圖。

具體實(shí)施方式

在后文中，將參照附圖詳細(xì)描述本公開的一個(gè)或多個(gè)優(yōu)選實(shí)施方式。在本說明書和附圖中，使用相同的附圖標(biāo)記表示具有大體上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略這些結(jié)構(gòu)元件的重復(fù)說明。

注意，按照以下順序提供描述。

1、第一實(shí)施方式

1.1、信息處理系統(tǒng)

1.2、信息處理設(shè)備

1.3、信息處理設(shè)備的示例性變形例

1.4、示例性顯示屏

1.5、狀況候選信息生成處理的示例性流程

1.6、信息處理方法

2、信息處理設(shè)備的硬件配置

(第一實(shí)施方式)

<信息處理系統(tǒng)>

首先，將參考圖1，簡單描述根據(jù)本公開的第一實(shí)施方式的包括信息處理設(shè)備的信息處理系統(tǒng)。圖1是示意性示出根據(jù)本實(shí)施方式的信息處理系統(tǒng)的總體配置的說明圖。

根據(jù)本實(shí)施方式的信息處理系統(tǒng)包括連接至各種類型的網(wǎng)絡(luò)1，例如，互聯(lián)網(wǎng)、無線通信網(wǎng)絡(luò)以及移動(dòng)通信網(wǎng)絡(luò)的一個(gè)或多個(gè)信息處理設(shè)備10。在圖1示出的信息處理系統(tǒng)中，網(wǎng)絡(luò)1具有與其連接的N個(gè)信息處理設(shè)備10A到10N(在下面也被統(tǒng)稱為“信息處理設(shè)備10”)。在文中，不特別限制連接至網(wǎng)絡(luò)1的信息處理設(shè)備10的數(shù)量。

根據(jù)本實(shí)施方式的信息處理系統(tǒng)具有通過網(wǎng)絡(luò)1與其連接的信息發(fā)布服務(wù)器3，其管理社交網(wǎng)絡(luò)系統(tǒng)等的各種信息發(fā)布服務(wù)。此外，網(wǎng)絡(luò)1具有與其連接的各種類型的服務(wù)提供服務(wù)器5，例如，能夠獲取與位置相關(guān)的信息的服務(wù)器或者能夠獲取與天氣相關(guān)的信息的服務(wù)器。例如，具有GPS(全球定位系統(tǒng))服務(wù)器、管理無線通信網(wǎng)絡(luò)的服務(wù)器、管理移動(dòng)通信網(wǎng)絡(luò)的服務(wù)器，作為能夠獲取與位置相關(guān)的信息的服務(wù)器的實(shí)例。

根據(jù)本實(shí)施方式的信息處理設(shè)備10能夠通過網(wǎng)絡(luò)1將各種信息發(fā)送給信息發(fā)布服務(wù)器3、服務(wù)提供服務(wù)器5等并且從中接收各種信息。

在此處，不在類型方面特別限制根據(jù)本實(shí)施方式的信息處理設(shè)備10，并且可以使用已知的裝置實(shí)現(xiàn)該信息處理設(shè)備10。例如，信息處理設(shè)備10可以是用戶可以隨身攜帶的個(gè)人數(shù)字助理，例如，移動(dòng)電話、智能電話、平板型終端、網(wǎng)絡(luò)PC等。此外，信息處理設(shè)備10可以是各種相機(jī)，例如，數(shù)碼相機(jī)、便攜式攝像機(jī)等。此外，信息處理設(shè)備10可以是可穿戴式終端，例如，眼鏡、腕表或者各種附件。

此外，根據(jù)本實(shí)施方式的信息處理設(shè)備10也能夠與信息處理服務(wù)器20(例如，各種計(jì)算機(jī)或服務(wù)器)配合執(zhí)行下面描述的處理。

因此，參考圖1，上面簡單描述了根據(jù)本實(shí)施方式的信息處理系統(tǒng)的配置。

<信息處理設(shè)備>

接下來，參考圖2到圖19，詳細(xì)描述根據(jù)本實(shí)施方式的信息處理設(shè)備10。

首先，將參考圖2，描述根據(jù)本實(shí)施方式的信息處理設(shè)備10的配置。圖2是示意性示出根據(jù)實(shí)施方式的信息處理設(shè)備10的示例性配置的方框圖。

如圖2所示，根據(jù)本實(shí)施方式的信息處理設(shè)備10主要包括信息獲取單元101、識(shí)別處理單元103、狀況候選信息生成單元105、顯示控制單元107、狀況信息發(fā)送單元109、信息更新單元111、外部裝置配合單元113以及儲(chǔ)存單元115。

-信息獲取單元101

信息獲取單元101例如由CPU(中央處理器)、ROM(只讀存儲(chǔ)器)、RAM(隨機(jī)存取存儲(chǔ)器)、輸入裝置、通信裝置、傳感器等實(shí)現(xiàn)。信息獲取單元101獲取用戶環(huán)境信息，用戶環(huán)境信息包括以下中的至少任一個(gè)：表示攜帶信息處理設(shè)備10的用戶的位置的位置信息；與用戶周圍的環(huán)境相關(guān)的圖像信息；與用戶周圍的環(huán)境相關(guān)的音頻信息等。

信息獲取單元101通過預(yù)定的時(shí)間間隔獲取各種位置信息、各種圖像信息(例如，靜止圖像或視頻圖像)、或者獲取音頻信息。例如，信息獲取單元101可以使用GPS服務(wù)器、Wi-Fi、小區(qū)ID等獲取關(guān)于用戶所在的位置的信息。此外，信息獲取單元101可以使用信息處理設(shè)備10中設(shè)有各種相機(jī)獲取圖像信息，例如，靜止圖像或視頻圖像。此外，信息獲取單元101可以使用信息處理設(shè)備10中設(shè)有的各種麥克風(fēng)獲取音頻信息。

此外，信息獲取單元101可以使用信息處理設(shè)備10中設(shè)有的各種生物傳感器，獲取用戶發(fā)汗的有無、用戶的體溫和心搏、用戶的體表或體內(nèi)存在的生源物質(zhì)等，作為用戶固有的生物信息。

注意，信息獲取單元101可以通過將數(shù)據(jù)發(fā)送給網(wǎng)絡(luò)1上存在的各種服務(wù)提供服務(wù)器5以及從中接收數(shù)據(jù)來獲取各種用戶環(huán)境信息。

必要時(shí)，將各種用戶環(huán)境信息(例如，信息獲取單元101獲取的那些信息)輸出給下面描述的識(shí)別處理單元103，并且用于識(shí)別處理單元103執(zhí)行的各種識(shí)別處理。此外，在根據(jù)下面描述的識(shí)別處理單元103執(zhí)行的識(shí)別處理表征用戶周圍的環(huán)境的特征量滿足預(yù)定的條件時(shí)，信息獲取單元101在儲(chǔ)存單元115等內(nèi)儲(chǔ)存例如所獲取的位置信息、圖像信息或音頻信息，作為用于生成下面描述的狀況候選信息的添附數(shù)據(jù)。

此外，除了下面描述的識(shí)別處理單元103和儲(chǔ)存單元115以外，信息獲取單元101所獲取的各種用戶環(huán)境信息也輸出給并且視情況而用于狀況候選信息生成單元105、顯示控制單元107、狀況信息發(fā)送單元109、信息更新單元111、外部裝置配合單元113等。

-識(shí)別處理單元103

識(shí)別處理單元103例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。識(shí)別處理單元103基于信息獲取單元101獲取的用戶環(huán)境信息，通過預(yù)定的時(shí)間間隔對包含在用戶環(huán)境信息內(nèi)的位置信息、圖像信息以及音頻信息中的至少任一個(gè)執(zhí)行分析處理。此外，識(shí)別處理單元103使用與所獲取的用戶環(huán)境相關(guān)的分析結(jié)果，執(zhí)行識(shí)別用戶周圍的狀況的狀況識(shí)別處理。

如在圖3示意性所示，例如，識(shí)別處理單元103具有圖像分析單元121、音頻分析單元123、地點(diǎn)/行動(dòng)分析單元125以及狀況識(shí)別單元127。

圖像分析單元121例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。圖像分析單元121分析由信息獲取單元101獲取的圖像信息(即，圖像數(shù)據(jù))，以識(shí)別對應(yīng)于圖像數(shù)據(jù)的圖像內(nèi)存在的臉(面目)、風(fēng)景、菜肴以及各種物體，或者將圖像場景分類。

如圖4所示，圖像分析單元121具有臉分析單元131、圖像場景分類單元133、風(fēng)景識(shí)別單元135、菜肴識(shí)別單元137以及物體識(shí)別單元139等。

臉分析單元131例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。臉分析單元131是識(shí)別在對應(yīng)于圖像數(shù)據(jù)的圖像內(nèi)是否包括人臉的處理單元。必要時(shí)，由臉分析單元131通過分析圖像數(shù)據(jù)來計(jì)算表征在圖像內(nèi)是否存在臉的臉檢出特征量。此外，在圖像內(nèi)存在臉時(shí)，臉分析單元131識(shí)別對應(yīng)于臉的區(qū)域，或者識(shí)別例如對應(yīng)于所識(shí)別的臉的人是誰。在由臉分析單元131計(jì)算的臉檢出特征量等于或大于預(yù)定閾值時(shí)，識(shí)別的圖像數(shù)據(jù)儲(chǔ)存在儲(chǔ)存單元115等內(nèi)。除了以上以外，臉分析單元131還識(shí)別臉的數(shù)量、坐標(biāo)、角度，或者可以計(jì)算各種屬性，例如，臉檢出分?jǐn)?shù)、臉部位置、笑臉的有無、生物、年齡、人種等，作為臉檢出特征量。

圖像場景分類單元133例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。圖像場景分類單元133是分類出對應(yīng)于圖像數(shù)據(jù)的圖像是哪種類型的場景的處理單元。必要時(shí)由圖像場景分類單元133分析圖像數(shù)據(jù)，允許計(jì)算表示該圖像要分成哪種類型的場景的場景分類特征量。此外，必要時(shí)由圖像場景分類單元133分析圖像數(shù)據(jù)，允許識(shí)別用戶所在的場所(例如，工作場所、餐廳等)或狀況(駕車、看電視等)。在圖像場景分類單元133計(jì)算的場景分類特征量等于或大于預(yù)定閾值時(shí)，識(shí)別的圖像數(shù)據(jù)儲(chǔ)存在儲(chǔ)存單元115等內(nèi)。

風(fēng)景識(shí)別單元135例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。風(fēng)景識(shí)別單元135是識(shí)別對應(yīng)于圖像數(shù)據(jù)的圖像是否是捕捉的風(fēng)景圖像的處理單元。必要時(shí)，由風(fēng)景識(shí)別單元135分析圖像數(shù)據(jù)，允許計(jì)算表征在圖像內(nèi)是否存在風(fēng)景的風(fēng)景檢出特征量。此外，在圖像內(nèi)存在風(fēng)景時(shí)，風(fēng)景識(shí)別單元135識(shí)別對應(yīng)于風(fēng)景的區(qū)域，或者識(shí)別對應(yīng)于所識(shí)別的風(fēng)景的地點(diǎn)。在由風(fēng)景識(shí)別單元135計(jì)算的風(fēng)景檢出特征量等于或大于預(yù)定閾值時(shí)，識(shí)別的圖像數(shù)據(jù)儲(chǔ)存在儲(chǔ)存單元115等內(nèi)。此外，風(fēng)景識(shí)別單元135還可以計(jì)算表示作為美麗風(fēng)景的程度的分?jǐn)?shù)，作為風(fēng)景檢出特征量。

菜肴識(shí)別單元137例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。菜肴識(shí)別單元137是識(shí)別在對應(yīng)于圖像數(shù)據(jù)的圖像內(nèi)是否包括對應(yīng)于菜肴的部分的處理單元。必要時(shí)，使用菜肴識(shí)別單元137分析圖像數(shù)據(jù)，允許計(jì)算表征在圖像內(nèi)是否存在菜肴的菜肴檢出特征量。此外，在圖像內(nèi)存在菜肴時(shí)，菜肴識(shí)別單元137識(shí)別對應(yīng)于菜肴的區(qū)域，或者識(shí)別所述識(shí)別的菜肴的種類(例如，米飯、醬湯、咖哩飯、意大利面、蛋糕等)。在菜肴識(shí)別單元137計(jì)算的菜肴檢出特征量等于或大于預(yù)定閾值時(shí)，識(shí)別的圖像數(shù)據(jù)儲(chǔ)存在儲(chǔ)存單元115等內(nèi)。

物體識(shí)別單元139例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。物體識(shí)別單元139是識(shí)別在對應(yīng)于圖像數(shù)據(jù)的圖像內(nèi)存在的各種物體的處理單元。必要時(shí)，使用物體識(shí)別單元139分析圖像數(shù)據(jù)，允許計(jì)算表征在圖像內(nèi)是否存在各種物體的物體檢出特征量。此外，在圖像內(nèi)存在物體時(shí)，物體識(shí)別單元139識(shí)別對應(yīng)于物體的區(qū)域，或者識(shí)別所述識(shí)別的物體的類型。在物體識(shí)別單元139計(jì)算的物體檢出特征量等于或大于預(yù)定閾值時(shí)，識(shí)別的圖像數(shù)據(jù)儲(chǔ)存在儲(chǔ)存單元115等內(nèi)。

必要時(shí)，將上面描述的各處理單元執(zhí)行的處理結(jié)果輸出給信息獲取單元101、音頻分析單元123、地點(diǎn)/行動(dòng)分析單元125以及狀況識(shí)別單元127。

注意，不特別限制由上面描述的各處理單元執(zhí)行的各種分析/識(shí)別處理的詳細(xì)方法，并且可以使用已知方法，例如，在JP 2010-191934A中公開的方法。此外，圖像分析單元121可以使用通過網(wǎng)絡(luò)1連接的并且被配置成提供圖像識(shí)別服務(wù)的服務(wù)提供服務(wù)器5執(zhí)行上述圖像識(shí)別處理。

再次返回圖3，將描述根據(jù)實(shí)施方式的包含在識(shí)別處理單元103內(nèi)的音頻分析單元123。

音頻分析單元123例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。音頻分析單元123分析由信息獲取單元101獲取的音頻信息(即，音頻數(shù)據(jù))，以將音頻數(shù)據(jù)分類，或者識(shí)別音頻數(shù)據(jù)的內(nèi)容。

如圖5所示，音頻分析單元123進(jìn)一步包括音頻分類單元141、音頻識(shí)別單元143等。

音頻分類單元141例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。音頻分類單元141分析由信息獲取單元101獲取的音頻數(shù)據(jù)并且計(jì)算與音頻數(shù)據(jù)相關(guān)的特征量。更具體而言，音頻分類單元141執(zhí)行音頻數(shù)據(jù)是否是會(huì)話、笑聲、歡呼聲、爆破音(擬聲)，音頻數(shù)據(jù)是否是表達(dá)稱贊的音頻(例如，鼓掌、)、音樂等的分類處理。例如，通過參考預(yù)先儲(chǔ)存在儲(chǔ)存單元115等內(nèi)的音頻分析用的數(shù)據(jù)庫，或者執(zhí)行用于音頻分析等的程序，可以執(zhí)行這種音頻數(shù)據(jù)的分類處理。

此外，例如，音頻分類單元141還可以分析音頻數(shù)據(jù)的音量，并且通過量化的方式輸出該音量。此外，在音頻數(shù)據(jù)是源自人類的例如會(huì)話或笑聲的音頻數(shù)據(jù)的情況下，音頻分類單元141可以分析發(fā)起音頻的人是男性、女性還是兒童。例如，通過參考表示音頻的波譜，分析對應(yīng)的波形的振幅、音頻數(shù)據(jù)的頻率等，可以進(jìn)行該分析。

注意，在與音頻分類單元141計(jì)算的音頻數(shù)據(jù)相關(guān)的各種特征量(會(huì)話檢出特征量、笑聲檢出特征量、歡呼聲檢出特征量、擬聲檢出特征量、音樂檢出特征量)達(dá)到或者超過預(yù)定閾值時(shí)，所識(shí)別的音頻數(shù)據(jù)儲(chǔ)存在儲(chǔ)存單元115等內(nèi)。

音頻識(shí)別單元143例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。音頻識(shí)別單元143通過已知的音頻識(shí)別處理和已知的語音識(shí)別處理分析音頻數(shù)據(jù)，將音頻數(shù)據(jù)的內(nèi)容轉(zhuǎn)換成文本數(shù)據(jù)，或者識(shí)別其音頻數(shù)據(jù)本身的內(nèi)容。因此，可以識(shí)別音頻數(shù)據(jù)的內(nèi)容和包含在音頻數(shù)據(jù)內(nèi)的各種字詞。

必要時(shí)，將上面描述的各處理單元執(zhí)行的處理結(jié)果輸出給信息獲取單元101、圖像分析單元121、地點(diǎn)/行動(dòng)分析單元125以及狀況識(shí)別單元127。

注意，不特別限制由上面描述的各處理單元執(zhí)行的各種分析/識(shí)別處理的詳細(xì)方法，并且可以使用已知方法，例如，在JP 2010-191934A中公開的方法。此外，音頻分析單元123可以使用通過網(wǎng)絡(luò)1連接的并且被配置成提供音頻識(shí)別服務(wù)的服務(wù)提供服務(wù)器5執(zhí)行上述音頻識(shí)別處理。

再次返回圖3，將描述根據(jù)實(shí)施方式的包含在識(shí)別處理單元103內(nèi)的地點(diǎn)/行動(dòng)分析單元125。

地點(diǎn)/行動(dòng)分析單元125例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。地點(diǎn)/行動(dòng)分析單元125分析信息獲取單元101所獲取的位置信息或者從加速度傳感器等中輸出的信息，以識(shí)別用戶所在的位置或者由用戶執(zhí)行的行動(dòng)的內(nèi)容。

如圖6所示，地點(diǎn)/行動(dòng)分析單元125進(jìn)一步包括行動(dòng)識(shí)別單元151、地點(diǎn)信息獲取單元153、天氣信息獲取單元155等。

行動(dòng)識(shí)別單元151例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。行動(dòng)識(shí)別單元151分析由信息獲取單元101所獲取的位置信息或者從加速度傳感器等中輸出的信息，以計(jì)算表征用戶的行動(dòng)的特征量。此外，行動(dòng)識(shí)別單元151進(jìn)一步使用所計(jì)算的特征量來識(shí)別由用戶執(zhí)行的行動(dòng)的內(nèi)容。因此，行動(dòng)識(shí)別單元151可以確定用戶是逗留還是移動(dòng)，或確定用戶四處走動(dòng)所使用的移動(dòng)手段。結(jié)果，行動(dòng)識(shí)別單元151可以把握用戶的狀態(tài)，例如，用戶是否在步行、跑、休息、跳、乘坐電梯移動(dòng)或者乘自動(dòng)車、火車或騎自行車移動(dòng)。

參考圖7，簡單描述行動(dòng)識(shí)別單元151執(zhí)行的示例性行動(dòng)識(shí)別處理。圖7是示意性示出示例性行動(dòng)分析處理的說明圖。

行動(dòng)識(shí)別單元151首先使用運(yùn)動(dòng)傳感器數(shù)據(jù)(例如，加速度/陀螺儀)，通過對這種傳感器數(shù)據(jù)執(zhí)行已知的信號處理，例如計(jì)算平均值、方差、濾波器頻率響應(yīng)，來從傳感器數(shù)據(jù)中提取特征量。此外，行動(dòng)識(shí)別單元151可以使用已知的機(jī)器學(xué)習(xí)/模式識(shí)別技術(shù)，例如，提升方法、神經(jīng)網(wǎng)絡(luò)、隱馬爾可夫模型(HMM)，識(shí)別個(gè)人的移動(dòng)、姿勢、車輛等。

此外，如圖7所示，行動(dòng)識(shí)別單元151可以使用圖像數(shù)據(jù)和音頻數(shù)據(jù)(或圖像分析單元121或音頻分析單元123的分析結(jié)果)，以便進(jìn)一步提高識(shí)別精度。

不特別限制由上面描述的行動(dòng)識(shí)別單元151執(zhí)行的上述行動(dòng)識(shí)別處理的細(xì)節(jié)，并且可以使用已知方法，例如，在JP 2010-198595A中公開的方法。此外，行動(dòng)識(shí)別單元151可以使用通過網(wǎng)絡(luò)1連接的并且被配置成提供行動(dòng)識(shí)別服務(wù)的服務(wù)提供服務(wù)器5執(zhí)行上述行動(dòng)識(shí)別處理。

地點(diǎn)信息獲取單元153例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。地點(diǎn)信息獲取單元153分析信息獲取單元101所獲取的位置信息或者從氣壓傳感器等中輸出的信息，以獲取表示用戶所在的位置的位置信息，根據(jù)需要使用提供位置獲取服務(wù)的服務(wù)提供服務(wù)器5等。在下面，參考圖8和圖9，將具體描述地點(diǎn)信息獲取單元153執(zhí)行的地點(diǎn)信息獲取處理。圖8和圖9是示出地點(diǎn)信息獲取處理的說明圖。

地點(diǎn)信息獲取單元153基于由信息獲取單元101所獲取的位置信息之中的表示維度和經(jīng)度的信息，搜索儲(chǔ)存在儲(chǔ)存單元115等(或者存在于網(wǎng)絡(luò)1上的各種服務(wù)器)內(nèi)的位置數(shù)據(jù)庫。優(yōu)選地，如圖8所示，在位置數(shù)據(jù)庫中，存在儲(chǔ)存私人地點(diǎn)(例如，住宅、工作場所和學(xué)校等)的私人地點(diǎn)數(shù)據(jù)庫(在下面縮寫為“DB”)以及儲(chǔ)存公共地點(diǎn)(例如，餐廳、咖啡廳、車站、商店以及公園等)的公共地點(diǎn)DB。

接下來，地點(diǎn)信息獲取單元153參考私人地點(diǎn)DB和公共地點(diǎn)DB，在根據(jù)維度或經(jīng)度誤差的范圍(當(dāng)前位置的維度和經(jīng)度+幾米到幾十米的半徑)內(nèi)生成在圖8示出的地點(diǎn)候選列表。如圖8所示，表示各個(gè)位置的數(shù)據(jù)具有彼此相關(guān)聯(lián)的位置的名稱和類別。

在生成這種地點(diǎn)候選列表時(shí)，地點(diǎn)信息獲取單元153可以使用氣壓傳感器等的輸出，確定高度(更具體而言，建筑物等的樓層)，以縮小地點(diǎn)候選列表。

通過上述方式生成的地點(diǎn)候選列表通常在城市地區(qū)不能得到唯一地確定，并且可以包括幾個(gè)或幾十個(gè)地點(diǎn)候選，如圖8所示。

接下來，如圖9所示，地點(diǎn)信息獲取單元153使用圖像數(shù)據(jù)和音頻數(shù)據(jù)(或者圖像分析單元121和音頻分析單元123的分析結(jié)果)，以便識(shí)別和限定位置。

例如，地點(diǎn)信息獲取單元153使用將圖像數(shù)據(jù)的場景分類(例如，使用機(jī)器學(xué)習(xí)從預(yù)先大量收集的圖像數(shù)據(jù)中生成判別器)的技術(shù)，將餐廳、咖啡廳、車站、商店、公園、住宅、工作場所、學(xué)校等的場景分類，并且計(jì)算各場景的分?jǐn)?shù)。在這種情況下，除了顏色/亮度以外，圖像場景分類還可以將深度信息用作特征量。此外，地點(diǎn)信息獲取單元153使用將音頻分類(例如，通過機(jī)器學(xué)習(xí)預(yù)先收集樣本并且生成判別器)的技術(shù)，將音頻場景(例如，會(huì)話、笑聲以及音樂)分類。

接下來，地點(diǎn)信息獲取單元153將圖像場景分類分?jǐn)?shù)和音頻場景分類分?jǐn)?shù)輸入位置類別判別器中。例如，在“餐廳”的圖像場景分類分?jǐn)?shù)和“會(huì)話”的音頻分類分?jǐn)?shù)都高時(shí)，這種位置類別判別器基于預(yù)先統(tǒng)計(jì)學(xué)習(xí)的結(jié)果判別位置類別為“餐廳”。

注意，地點(diǎn)信息獲取單元153可以與執(zhí)行類似處理的圖像分析單元121和音頻分析單元123配合，以視情況使用圖像分析單元121和音頻分析單元123的分析結(jié)果，而不執(zhí)行如上所述使用判別器的處理。

使用如上所述獲取的位置類別的判別結(jié)果，地點(diǎn)信息獲取單元153將生成的地點(diǎn)候選列表排序。在圖9示出的實(shí)例中，位置的判別結(jié)果從“工作場所”變成“XX咖啡廳”。

執(zhí)行上述處理，允許地點(diǎn)信息獲取單元153獲取表示用戶所在的位置的位置信息。

再次返回圖6，簡單描述天氣信息獲取單元155。

天氣信息獲取單元155例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。天氣信息獲取單元155使用提供天氣信息獲取服務(wù)的服務(wù)提供服務(wù)器5(例如，天氣預(yù)報(bào)提供服務(wù)器)等，獲取各種天氣信息(氣象信息)，例如，天氣、最高溫、最低溫、降水概率、風(fēng)速、濕度、用戶所在的地點(diǎn)的大氣壓。使用通過這種方式獲取的天氣信息，地點(diǎn)/行動(dòng)分析單元125可以提高要執(zhí)行的分析處理的精度。

必要時(shí)，將上面描述的各處理單元執(zhí)行的處理結(jié)果輸出給信息獲取單元101、圖像分析單元121、音頻分析單元123以及狀況識(shí)別單元127。

再次返回圖3，將描述根據(jù)實(shí)施方式的包含在識(shí)別處理單元103內(nèi)的狀況識(shí)別單元127。

狀況識(shí)別單元127例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。狀況識(shí)別單元127使用由圖像分析單元121、音頻分析單元123、地點(diǎn)/行動(dòng)分析單元125等獲取的與用戶環(huán)境相關(guān)的各種分析結(jié)果來識(shí)別用戶周圍的狀況。

在此處，“用戶周圍的狀況”是指在“時(shí)間”、“地點(diǎn)”和“行動(dòng)”以混合的方式組合的情況下，通過基于與“時(shí)間”、“地點(diǎn)”和“行動(dòng)”相關(guān)的分析結(jié)果執(zhí)行進(jìn)一步識(shí)別處理所估計(jì)的用戶的生活層面的行動(dòng)。作為這種狀況的實(shí)例，可以提及吃飯、購物、工作、接待人、旅行、游戲、體育、移動(dòng)、家務(wù)、藝術(shù)鑒賞、休息、睡眠等。

具體而言，如圖10示意性所示，狀況識(shí)別單元127使用圖像分析、音頻分析、時(shí)間分析、地點(diǎn)分析以及行動(dòng)分析的結(jié)果，并且應(yīng)用諸如基于規(guī)則的處理、時(shí)序模式識(shí)別處理等方法，來識(shí)別用戶周圍的狀況。此外，每當(dāng)用戶周圍的狀況改變時(shí)，狀況識(shí)別單元127將表示狀況識(shí)別的結(jié)果的信息輸出給下面描述的狀況候選信息生成單元105。

在此處，在圖10示出的時(shí)間分析結(jié)果之中的與時(shí)間相關(guān)的信息，可以通過參考信息處理設(shè)備10保持的時(shí)間信息來獲取。此外，狀況識(shí)別單元127可以使用這種時(shí)間信息和一般的先驗(yàn)知識(shí)來確定當(dāng)前時(shí)間的狀況是什么樣的。例如，當(dāng)感興趣的日子是周一到周五時(shí)，可以將感興趣的日子識(shí)別為工作日，或者在感興趣的日子是周六或周日時(shí)，可以將感興趣的日子識(shí)別為周末。此外，例如，在討論中的一天的時(shí)間介于6到11點(diǎn)之間時(shí)，確定是早上，在討論中的一天的時(shí)間介于12到15點(diǎn)之間時(shí)，確定是下午，在討論中的一天的時(shí)間介于16到18點(diǎn)之間時(shí)，確定是傍晚，并且在討論中的一天的時(shí)間介于19到第二天的5點(diǎn)之間時(shí)，確定是深夜。

而且，狀況識(shí)別單元127還可以基于用戶的行動(dòng)歷史識(shí)別用戶的慣常行動(dòng)模式，并且確定一天的該時(shí)間的特定于用戶的狀況。例如，可以基于慣常行動(dòng)模式，確定周一到周五的8點(diǎn)到9點(diǎn)的時(shí)間區(qū)間是通勤時(shí)間，周一到周五的9點(diǎn)到18點(diǎn)的時(shí)間區(qū)間是工作時(shí)間，并且周六的20點(diǎn)到21點(diǎn)的時(shí)間區(qū)間是晚餐時(shí)間。

此外，在圖10示出的圖像分析的結(jié)果可以使用圖像分析單元121執(zhí)行的分析結(jié)果，并且在圖10示出的音頻分析的結(jié)果可以使用音頻分析單元123執(zhí)行的分析結(jié)果。此外，在圖10示出的地點(diǎn)分析和行動(dòng)分析的結(jié)果可以使用地點(diǎn)/行動(dòng)分析單元125執(zhí)行的分析結(jié)果。

在此處，在由狀況識(shí)別單元127執(zhí)行的狀況識(shí)別處理之中的基于規(guī)則的處理，是將IF-THEN規(guī)則應(yīng)用于與“時(shí)間”、“地點(diǎn)”和“行動(dòng)”相關(guān)的各分析結(jié)果中，并且確定與滿足條件的規(guī)則對應(yīng)的狀況是用戶周圍的狀況的處理。例如，可以確定出，根據(jù)基于規(guī)則的處理，“當(dāng)用戶在工作時(shí)間中位于用戶的工作場所并且就座時(shí)，用戶在‘工作中’”、“當(dāng)用戶在中午時(shí)分左右在餐廳并且在圖像數(shù)據(jù)中存在菜肴時(shí)，用戶在‘吃飯’”、“當(dāng)用戶在回家路上的超市中四處走動(dòng)時(shí)，用戶在‘購物’”、“當(dāng)用戶在遠(yuǎn)離其工作場所的地點(diǎn)時(shí)，用戶在‘旅行’”。

此外，在由狀況識(shí)別單元127執(zhí)行的狀況識(shí)別處理之中的時(shí)序模式識(shí)別處理是一種機(jī)器學(xué)習(xí)技術(shù)，例如，隱馬爾可夫模型方法，該技術(shù)是適合于時(shí)間模式的建模的技術(shù)。該處理是以下一種方法，該方法通過使用大量學(xué)習(xí)數(shù)據(jù)預(yù)先訓(xùn)練表征每個(gè)狀況的隨機(jī)模型并且將狀況識(shí)別單元127的輸入數(shù)據(jù)代入預(yù)先構(gòu)造的隨機(jī)模型，來識(shí)別用戶周圍的狀況。

使用上述方法，例如，如圖11所示，在圖像場景分類的結(jié)果按照“餐廳→菜肴→臉”的順序過渡并且行動(dòng)識(shí)別的結(jié)果按照“靜止→靜止→靜止”的順序過渡時(shí)，狀況識(shí)別單元127基于隨機(jī)模型確定用戶在“吃飯”。此外，在圖像場景分類的結(jié)果按照“商店→書→商店”的順序過渡并且行動(dòng)識(shí)別的結(jié)果按照“步行→靜止→步行”的順序過渡時(shí)，狀況識(shí)別單元127基于隨機(jī)模型確定用戶在“購物”。

在圖12A和圖12B中示出通過上述方法獲取的示例性狀況識(shí)別結(jié)果。如圖12A和圖12B所示，由識(shí)別處理單元103獲取的各種識(shí)別結(jié)果包括由圖像分析單元121、音頻分析單元123以及地點(diǎn)/行動(dòng)分析單元125執(zhí)行的各個(gè)分析處理的結(jié)果以及通過組合分析處理的結(jié)果所獲取的狀況識(shí)別的結(jié)果(即，高層次狀況)。

必要時(shí)，將表示在圖12A和圖12B中示出的狀況識(shí)別的結(jié)果的信息從狀況識(shí)別單元127中輸出給狀況候選信息生成單元105。

-狀況候選信息生成單元105

再次返回圖2，詳細(xì)描述根據(jù)本實(shí)施方式的狀況候選信息生成單元105。

狀況候選信息生成單元105使用由識(shí)別處理單元103執(zhí)行的狀況識(shí)別的結(jié)果來生成表示用戶周圍的狀況的候選的狀況候選信息，至少包括表示用戶周圍的狀況的信息以及表示在該狀況中用戶的感情的信息。在下面，參考圖13到圖16，具體描述由狀況候選信息生成單元105執(zhí)行的狀況候選信息生成處理。

由狀況候選信息生成單元105生成的狀況候選信息至少包括由表示狀況的文本數(shù)據(jù)形成的文本數(shù)據(jù)以及表示感情的文本數(shù)據(jù)，也如圖13所示。根據(jù)本實(shí)施方式的狀況候選信息生成單元105通過增加表示感情的表達(dá)能夠生成表達(dá)自然的語句。

此外，狀況候選信息還可以包括用于分析的圖像數(shù)據(jù)和音頻數(shù)據(jù)，也如圖13所示。此外，除了文本數(shù)據(jù)、圖像數(shù)據(jù)以及音頻數(shù)據(jù)以外，還可以添附表示用戶周圍的狀況的各種數(shù)據(jù)。

在此處，由狀況候選信息生成單元105自動(dòng)生成的用于表示狀況的文本數(shù)據(jù)由語句構(gòu)成，例如，“與‘誰’‘在什么時(shí)候’‘在什么地點(diǎn)’以及‘如何’‘做’‘什么’”，如圖14A所示。在此處，從時(shí)間識(shí)別的結(jié)果中獲取的信息應(yīng)用于表示狀況的文本數(shù)據(jù)中表示“在什么時(shí)候”的部分中，并且將從地點(diǎn)識(shí)別的結(jié)果中獲取的信息應(yīng)用于表示“在什么地點(diǎn)”的部分中。此外，從臉識(shí)別的結(jié)果中獲取的信息應(yīng)用于表示狀況的文本數(shù)據(jù)中表示“誰”的部分中，并且將從圖像分析的結(jié)果中獲取的信息應(yīng)用于表示“什么”的部分中。而且，不僅從行動(dòng)識(shí)別的結(jié)果中獲取的信息，而且從隨后通過混合的方式執(zhí)行的狀況識(shí)別的結(jié)果中獲取的信息應(yīng)用于表示狀況的文本數(shù)據(jù)中表示“如何”的部分中。

注意，在生成旨在發(fā)布到信息發(fā)布服務(wù)器3中的語句時(shí)，對應(yīng)于“在什么時(shí)候”的時(shí)間識(shí)別的結(jié)果通常不是很重要。因此，可以酌情確定在語句中是否應(yīng)用對應(yīng)于“在什么時(shí)候”的時(shí)間識(shí)別的結(jié)果。然而，可以具有以下情況：聚焦時(shí)間識(shí)別的結(jié)果，允許掌握識(shí)別出的時(shí)間是在某個(gè)行動(dòng)之前、中間還是之后。在這種情況下，狀況候選信息生成單元105可以使用時(shí)間識(shí)別的結(jié)果，以便適當(dāng)?shù)剡x擇要自動(dòng)生成的語句的時(shí)態(tài)(即，現(xiàn)在、過去、未來、完成等)。

還可以出現(xiàn)以下情況：在分析結(jié)果以及從信息處理單元103中輸出的用戶環(huán)境的狀況識(shí)別中，不存在對應(yīng)于所謂的5W1H(即，“在什么時(shí)候”、“什么地方”、“誰”、“什么”以及“如何”)的分析結(jié)果。因此，在如圖14B所示，未獲取一部分分析結(jié)果的情況下，狀況候選信息生成單元105足以酌情校正要自動(dòng)生成的語句，以便生成表現(xiàn)自然的語句。

另一方面，通過將用戶感覺到的感情簡化表達(dá)成N種類型并且根據(jù)狀況切換語句候選，來生成根據(jù)本實(shí)施方式的表示感情的信息。因此，狀況候選信息生成單元105使用在圖15示出的感情表達(dá)表，生成表示感情的文本數(shù)據(jù)。在圖15示出的感情表達(dá)表中，表格的列方向?qū)?yīng)于簡化成N種類型(在圖15中，3種類型)的感情，并且表格的行方向?qū)?yīng)于狀況識(shí)別的結(jié)果。

例如，不特別限制簡化感情的程度，并且可以酌情設(shè)置，如圖16所示。圖16示出感情程度分成N種類型并且感情類型分成N種類型的情況。

如圖16所示，將感情簡化成N種類型，允許例如基于最小的用戶輸入(例如，用戶選擇N種類型的按鈕)或者使用生物傳感器(例如，排汗、心搏或溫度傳感器)感測的感情，適當(dāng)?shù)厣煞磻?yīng)用戶當(dāng)時(shí)的感情的語句。

此外，根據(jù)狀況切換表示感情的語句候選，允許選擇適合于狀況的最佳表達(dá)，使其能夠生成自然語句。而且，如圖15所示，將多個(gè)語句候選分配給單個(gè)狀況，允許增加語句的變化。增加的語句變化還允許生成期望防止用戶厭煩的語句。

這種感情表達(dá)表可以由已知的方法預(yù)先制備。此外，可以使用用戶發(fā)布到社交網(wǎng)絡(luò)服務(wù)中的語句或者用戶的言語將感情表達(dá)表個(gè)性化。

使用上述方法，每當(dāng)用戶周圍的狀況改變時(shí)，狀況候選信息生成單元105基于狀況識(shí)別的結(jié)果和感情表達(dá)表生成狀況候選信息。隨后，狀況候選信息生成單元105將生成的狀況候選信息輸出給顯示控制單元107，用于向用戶顯示。

-顯示控制單元107

再次返回圖2，詳細(xì)描述根據(jù)本實(shí)施方式的包含在信息處理設(shè)備10內(nèi)的顯示控制單元107。

顯示控制單元107例如由CPU、ROM、RAM、輸出裝置、通信單元等實(shí)現(xiàn)。當(dāng)在包含在信息處理設(shè)備10內(nèi)的輸出裝置(例如，顯示器)或在信息處理設(shè)備10外面提供的輸出裝置等上顯示包括從狀況候選信息生成單元105中輸出的狀況候選信息的各種處理結(jié)果時(shí)，顯示控制單元107執(zhí)行顯示控制。因此，在經(jīng)受顯示控制單元107的顯示控制的顯示屏的預(yù)定區(qū)域上，顯示由識(shí)別處理單元103執(zhí)行的識(shí)別結(jié)果以及由狀況候選信息生成單元105生成的狀況候選信息。信息處理設(shè)備10的用戶可以當(dāng)場把握各種處理結(jié)果，例如，由信息處理設(shè)備10自動(dòng)生成的狀況候選信息。

-狀況信息發(fā)送單元109

狀況信息發(fā)送單元109例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。狀況信息發(fā)送單元109將用戶從由狀況候選信息生成單元105生成的狀況候選信息中選擇的信息發(fā)送給提供社交網(wǎng)絡(luò)服務(wù)的信息發(fā)布服務(wù)器3，作為表示用戶周圍的狀況的狀況信息。因此，用戶期望發(fā)布的狀況信息僅僅發(fā)布到各種社交網(wǎng)絡(luò)服務(wù)中。結(jié)果，發(fā)布對用戶來說變得更容易，無需自己來準(zhǔn)備與用戶周圍的狀況相關(guān)的信息。

-信息更新單元111

信息更新單元111例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。信息更新單元111至少使用以下中的任一個(gè)來更新表示包含在感情表達(dá)表內(nèi)的用戶的感情的表達(dá)：識(shí)別處理單元103的與用戶環(huán)境相關(guān)的分析結(jié)果；用戶提供的言語或語句表達(dá)；以及信息處理設(shè)備10中設(shè)置的傳感器的輸出。在下面，參考圖17，簡單描述根據(jù)本實(shí)施方式的信息更新單元111的示例性配置。圖17是示出根據(jù)實(shí)施方式的包含在信息處理設(shè)備內(nèi)的信息更新單元的示例性配置的方框圖。

根據(jù)實(shí)施方式的信息處理設(shè)備10至少使用用戶的言語的內(nèi)容，將由狀況候選信息生成單元105用于生成表示感情的文本數(shù)據(jù)的感情表達(dá)表定制成為對各個(gè)用戶個(gè)性化的感情表達(dá)表。因此，由狀況候選信息生成單元105自動(dòng)生成的狀況候選信息的內(nèi)容具有真實(shí)性，猶如用戶自己創(chuàng)建的一樣。

上述信息更新單元111至少具有習(xí)慣提取單元161和感情表達(dá)個(gè)性化單元167，并且更優(yōu)選地，狀況確定/狀況識(shí)別單元163或感情確定/感情識(shí)別單元165中的至少任一個(gè)，如圖17所示。

習(xí)慣提取單元161例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。習(xí)慣提取單元161根據(jù)用戶提供的言語或語句表達(dá)(即，用戶的聲音或從用戶的聲音中轉(zhuǎn)換的文本、或由用戶創(chuàng)作的語句)，從用戶的每日言語中提取用戶的習(xí)慣，例如，常用的詞、常用的短語、方言、疊詞等。

在此處，通過在信息處理設(shè)備10中設(shè)置的麥克風(fēng)獲取的音頻數(shù)據(jù)或打電話進(jìn)行的會(huì)話可以用作用戶的聲音，以用于習(xí)慣提取。此外，用戶創(chuàng)建的電子郵件、發(fā)布到社交網(wǎng)絡(luò)服務(wù)的內(nèi)容等可以用作用戶提供的語句表達(dá)。

不特別限制從上述數(shù)據(jù)中提取用戶的習(xí)慣的方法，并且足以酌情使用統(tǒng)計(jì)處理、機(jī)器學(xué)習(xí)技術(shù)、模式識(shí)別技術(shù)等。

將與由習(xí)慣提取單元161提取的用戶的習(xí)慣相關(guān)的信息輸出給感情表達(dá)個(gè)性化單元167。

狀況確定/狀況識(shí)別單元163例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。狀況確定/狀況識(shí)別單元163使用用戶提供的言語或語句表達(dá)，參考出現(xiàn)各預(yù)先登記的狀況的辭書來確定狀況，或者使用識(shí)別處理單元103執(zhí)行的與用戶環(huán)境相關(guān)的分析結(jié)果來識(shí)別狀況。因此，狀況確定/狀況識(shí)別單元163可以識(shí)別其中用戶提供了感興趣的言語或語句表達(dá)的狀況的類型(例如，吃飯、工作等)。狀況確定/狀況識(shí)別單元163將與獲取的狀況相關(guān)的信息輸出給感情表達(dá)個(gè)性化單元167。因此，除了由習(xí)慣提取單元161提取的用戶的習(xí)慣外，下面描述的感情表達(dá)個(gè)性化單元167還可以根據(jù)狀況確定/狀況識(shí)別單元163獲取的狀況將感情個(gè)性化。

注意，不特別限制確定或識(shí)別狀況的方法，并且可以使用任何已知的方法，或者可以通過與連接至網(wǎng)絡(luò)1的服務(wù)提供服務(wù)器5配合地執(zhí)行這種確定/識(shí)別處理。此外，可以通過與識(shí)別處理單元103配合，實(shí)現(xiàn)狀況確定/狀況識(shí)別單元163的功能。

感情確定/感情識(shí)別單元165例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。感情確定/感情識(shí)別單元165使用用戶提供的言語或語句表達(dá)，參考出現(xiàn)各預(yù)先登記的感情的辭書來確定感情，或者使用在信息處理設(shè)備10中提供的傳感器的輸出(例如，與排汗、溫度、心搏等相關(guān)的生物傳感器的輸出)來識(shí)別感情。因此，在提供感興趣的言語或語句表達(dá)時(shí)，感情確定/感情識(shí)別單元165可以識(shí)別感情的類型(例如，快樂、疲倦等)。感情確定/感情識(shí)別單元165將與獲取的感情相關(guān)的信息輸出給感情表達(dá)個(gè)性化單元167。因此，除了由習(xí)慣提取單元161提取的用戶的習(xí)慣外，下面描述的感情表達(dá)個(gè)性化單元167還可以根據(jù)感情確定/感情識(shí)別單元165獲取的感情將感情個(gè)性化。

注意，不特別限制確定或識(shí)別感情的方法，并且可以使用任何已知的方法，或者通過與連接至網(wǎng)絡(luò)1的服務(wù)提供服務(wù)器5配合，可以執(zhí)行這種確定/識(shí)別處理。

感情表達(dá)個(gè)性化單元167例如由CPU、ROM、RAM等實(shí)現(xiàn)。感情表達(dá)個(gè)性化單元167進(jìn)一步使用與從習(xí)慣提取單元161中輸出的用戶習(xí)慣相關(guān)的信息，優(yōu)選地與狀況和感情相關(guān)的信息，來定制儲(chǔ)存在與感情表達(dá)表相關(guān)的數(shù)據(jù)庫內(nèi)的感情表達(dá)表。因此，在僅僅使用與從習(xí)慣提取單元161中輸出的用戶的習(xí)慣相關(guān)的信息時(shí)，例如，可以基于“用戶具有在短語的尾部放置措辭‘你知道’的習(xí)慣”這一知識(shí)，定制在整個(gè)感情表達(dá)表中的短語。可替換地，在還使用與狀況和感情相關(guān)的信息時(shí)，例如，可以基于“用戶在吃得高興時(shí)常使用‘reeeally yummy’這一表達(dá)”這一知識(shí)，定制在整個(gè)感情表達(dá)表中的短語。

-外部裝置配合單元113

再次返回圖2，詳細(xì)描述根據(jù)本實(shí)施方式的包含在信息處理設(shè)備10內(nèi)的外部裝置配合單元113。

外部裝置配合單元113例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。外部裝置配合單元113與能夠與其進(jìn)行相互通信的另一個(gè)信息處理設(shè)備10配合，以便提高由狀況候選信息生成單元105執(zhí)行的狀況候選信息的生成結(jié)果的精度或者共享所述生成結(jié)果。在下面，參考圖18和圖19，簡單描述根據(jù)本實(shí)施方式的外部裝置配合單元113的示例性配置。圖18是示出根據(jù)本實(shí)施方式的包含在信息處理設(shè)備內(nèi)的外部裝置配合單元的示例性配置的方框圖，并且圖19是示出根據(jù)本實(shí)施方式的外部裝置配合單元執(zhí)行的外部裝置配合處理的說明圖。

外部裝置配合單元113具有分組單元171和配合處理單元173，如圖18所示。

分組單元171例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。分組單元171使用由識(shí)別處理單元103執(zhí)行的臉識(shí)別的結(jié)果以及在其內(nèi)描述了與儲(chǔ)存在信息處理設(shè)備10的儲(chǔ)存單元115內(nèi)的用戶的熟人和朋友相關(guān)的各種信息的通訊簿等，來將在信息處理設(shè)備10所在的地點(diǎn)共存的其他信息處理設(shè)備10分組。攜帶共享該地點(diǎn)的信息處理設(shè)備10的多個(gè)用戶非?？赡芄餐瑓⑴c相同的事件(例如，參與聚餐)，因此，將信息處理設(shè)備10分組，允許有效地提高由信息處理設(shè)備10生成的狀況候選信息的生成結(jié)果的精度或者共享所述生成結(jié)果。

配合處理單元173例如由CPU、ROM、RAM、通信單元等實(shí)現(xiàn)。配合處理單元173在由分組單元171分成組的多個(gè)信息處理設(shè)備10之間提高狀況候選信息的精度或者共享所述狀況候選信息。

例如，假設(shè)四個(gè)用戶正在吃飯的狀況。在這種情況下，假設(shè)四個(gè)用戶攜帶的信息處理設(shè)備10從各方向捕捉相同菜肴內(nèi)容的圖像，因此，通過在分成組的信息處理設(shè)備10之間交換信息，能夠分享或提高信息的精度。

假設(shè)如圖19所示，例如，A和B這兩人攜帶的裝置生成了他們在“吃烏冬面”的狀況識(shí)別結(jié)果，并且C攜帶的裝置生成了它在“吃‘拉面’”的狀況識(shí)別結(jié)果，而D攜帶的裝置由于某種原因未執(zhí)行狀況識(shí)別。在這種情況下，各信息處理設(shè)備10的外部裝置配合單元113彼此配合，允許基于少數(shù)服從多數(shù)原則的原理，提高C人的裝置執(zhí)行的識(shí)別結(jié)果的精度，例如，“在吃烏冬面”，或者給D人的裝置提供狀況識(shí)別的多數(shù)結(jié)果。

在這種情況下，配合處理單元173可以不僅共享表達(dá)狀況的文本，而且可以共享圖像數(shù)據(jù)、其他各種元數(shù)據(jù)等。

-儲(chǔ)存單元115

再次返回圖2，詳細(xì)描述根據(jù)本實(shí)施方式的包含在信息處理設(shè)備10內(nèi)的儲(chǔ)存單元115。

儲(chǔ)存單元115例如由包含在根據(jù)本實(shí)施方式的信息處理設(shè)備10內(nèi)的RAM、儲(chǔ)存裝置等實(shí)現(xiàn)。儲(chǔ)存單元115儲(chǔ)存由信息處理設(shè)備10生成的各種內(nèi)容數(shù)據(jù)，例如，圖像數(shù)據(jù)、音頻數(shù)據(jù)等。此外，在儲(chǔ)存單元115內(nèi)儲(chǔ)存了待要在顯示屏上顯示的各種對象數(shù)據(jù)。在此處提及的對象數(shù)據(jù)包括例如形成圖形用戶界面(GUI)的任何類型的部分，例如，圖標(biāo)、按鈕、縮略圖等。

此外，儲(chǔ)存單元115根據(jù)需要儲(chǔ)存了在根據(jù)本實(shí)施方式的信息處理設(shè)備10執(zhí)行某個(gè)處理或者各種數(shù)據(jù)庫和程序等時(shí)所必需儲(chǔ)存的各處理的各種參數(shù)或中間結(jié)果?？梢宰杂稍L問儲(chǔ)存單元115，用于信息獲取單元101、識(shí)別處理單元103、狀況候選信息生成單元105、顯示控制單元107、狀況信息發(fā)送單元109、信息更新單元111、外部裝置配合單元113等讀取和寫入數(shù)據(jù)。

上面描述了根據(jù)本實(shí)施方式的信息處理設(shè)備10的示例性功能。每個(gè)上述元件可以使用通用部件或電路配置，或者由每個(gè)元件的功能特定的硬件配置。此外，各個(gè)元件的所有功能可由CPU等執(zhí)行。因此，在實(shí)現(xiàn)本實(shí)施方式時(shí)，根據(jù)技術(shù)水平，要使用的配置可以酌情改變。

注意，可以創(chuàng)建并且在個(gè)人電腦等上載入計(jì)算機(jī)程序，用于實(shí)現(xiàn)上述根據(jù)本實(shí)施方式的信息處理設(shè)備的各功能。此外，可以提供儲(chǔ)存這種計(jì)算機(jī)程序的計(jì)算機(jī)可讀儲(chǔ)存介質(zhì)。儲(chǔ)存介質(zhì)可以是例如磁盤、光盤、磁光盤、閃速存儲(chǔ)器等。此外，例如，可以通過網(wǎng)絡(luò)分布上述計(jì)算機(jī)程序，而不使用儲(chǔ)存介質(zhì)。

<1.3、信息處理設(shè)備的示例性變形例>

接下來，參考圖20A和圖20B，簡單描述根據(jù)本實(shí)施方式的信息處理設(shè)備10的示例性變形例。圖20A和圖20B是示出根據(jù)實(shí)施方式的信息處理設(shè)備的示例性變形例的說明圖。注意，圖20A和圖20B僅僅示出了在圖2示出的包含在信息處理設(shè)備10內(nèi)的各處理單元的重要部分。

雖然提供了以上描述，用于在單個(gè)外殼內(nèi)實(shí)現(xiàn)根據(jù)本實(shí)施方式的信息處理設(shè)備10的情況，但是根據(jù)本實(shí)施方式的信息處理設(shè)備10的各處理單元可以跨多個(gè)裝置分布。在這種情況下，通過包括各個(gè)處理單元的多個(gè)裝置的相互配合來作為整個(gè)系統(tǒng)實(shí)現(xiàn)信息處理設(shè)備10的功能。

在圖20A示出的實(shí)例中，例如，僅僅在信息處理設(shè)備10中實(shí)現(xiàn)信息獲取單元101，而在連接至網(wǎng)絡(luò)1的信息處理服務(wù)器20中，實(shí)現(xiàn)識(shí)別處理單元103和狀況候選信息生成單元105。在圖20A示出的實(shí)例中，通過網(wǎng)絡(luò)1將由信息處理設(shè)備10的信息獲取單元101獲取的各種信息傳輸給信息處理服務(wù)器20，并且識(shí)別處理單元103和狀況候選信息生成單元105的處理由信息處理服務(wù)器20來執(zhí)行。

此外，在圖20B示出的實(shí)例中，在信息處理設(shè)備10內(nèi)實(shí)現(xiàn)了信息獲取單元101以及作為識(shí)別處理單元103的用于分析用戶環(huán)境的各處理單元的圖像分析單元121、音頻分析單元123以及地點(diǎn)/行動(dòng)分析單元125。此外，在連接至網(wǎng)絡(luò)1的信息處理服務(wù)器20內(nèi)實(shí)現(xiàn)了識(shí)別處理單元103的狀況識(shí)別單元127和狀況候選信息生成單元105。在圖20B示出的實(shí)例中，信息處理設(shè)備10的信息獲取單元101獲取各種信息，并且圖像分析單元121、音頻分析單元123以及地點(diǎn)/行動(dòng)分析單元125分析獲取的各種信息，以生成表示用戶環(huán)境的分析結(jié)果的信息。將表示用戶環(huán)境的分析結(jié)果的信息傳輸給信息處理服務(wù)器20的狀況識(shí)別單元127，并且在經(jīng)受狀況識(shí)別處理之后，由狀況候選信息生成單元105生成狀況候選信息。

<示例性顯示屏>

接下來，參考圖21，具體描述經(jīng)受根據(jù)實(shí)施方式的信息處理設(shè)備10的顯示控制單元107的顯示控制的示例性顯示屏。圖21是示出根據(jù)實(shí)施方式的信息處理設(shè)備的示例性顯示屏的說明圖。

必要時(shí)，顯示控制單元107控制的顯示屏顯示由包含在信息處理設(shè)備10內(nèi)的相機(jī)等捕捉的圖像。此外，在一部分顯示屏上設(shè)置在由顯示控制單元107控制的用于顯示作為識(shí)別處理單元103的執(zhí)行結(jié)果而生成的與用戶環(huán)境相關(guān)的特征量分?jǐn)?shù)的區(qū)域(特征量分?jǐn)?shù)顯示區(qū)域)以及用于顯示狀況識(shí)別的結(jié)果的區(qū)域(識(shí)別結(jié)果顯示區(qū)域)。此外，在顯示屏上投射的圖像內(nèi)存在臉時(shí)，在對應(yīng)于臉的部分上顯示臉檢出框，或者在具有菜肴或物體時(shí)，顯示菜肴/物體檢出框。而且，在由狀況候選信息生成單元105基于識(shí)別處理單元103生成的識(shí)別結(jié)果生成狀況候選信息時(shí)，必要時(shí)，在狀況候選信息顯示區(qū)域上顯示所生成的狀況候選信息。

每當(dāng)用戶周圍的狀況改變時(shí)，生成狀況候選信息，因此，在狀況候選信息顯示區(qū)域上顯示多個(gè)生成的狀況候選信息。可取地，顯示控制單元107將狀況候選信息顯示區(qū)域劃分成層或者顯示對應(yīng)于滾動(dòng)條的物體，如圖21所示，以便向用戶指示具有多條生成的狀況候選信息。

此外，顯示控制單元107可以防止用戶察覺到特征量分?jǐn)?shù)顯示區(qū)域和識(shí)別結(jié)果顯示區(qū)域。

<狀況候選信息生成處理的示例性流程>

接下來，參考圖22A和圖22B，簡單描述根據(jù)本實(shí)施方式的信息處理設(shè)備10執(zhí)行的狀況候選信息生成處理的示例性流程。圖22A和圖22B是示出根據(jù)實(shí)施方式的信息處理設(shè)備內(nèi)的狀況候選信息生成處理的示例性流程的說明圖。

在激活提供根據(jù)本實(shí)施方式的信息處理設(shè)備10內(nèi)的上述功能的應(yīng)用程序時(shí)，顯示在圖22A的(a)中示出的顯示屏，以確認(rèn)用戶旨在將信息發(fā)布到哪個(gè)社交網(wǎng)絡(luò)服務(wù)。在用戶選擇要使用的賬戶時(shí)，基于選擇結(jié)果進(jìn)行與提供對應(yīng)的社交網(wǎng)絡(luò)服務(wù)的信息發(fā)布服務(wù)器3建立連接的準(zhǔn)備。

假設(shè)根據(jù)本實(shí)施方式的信息處理設(shè)備10是例如用戶佩戴的眼鏡型或按鈕型配件型穿戴式終端。在用戶四處走動(dòng)時(shí)，信息處理設(shè)備10保持獲取各種圖像數(shù)據(jù)和音頻數(shù)據(jù)。在此處，假設(shè)如圖22A的(b)中所示，來自信息處理設(shè)備10的位置獲取傳感器的位置信息透露“用戶所在的位置是XX車站”。在這種情況下，在顯示屏的狀況候選信息顯示區(qū)域內(nèi)顯示表示“現(xiàn)在在XX車站”的狀況候選信息，并且還顯示發(fā)布圖標(biāo)，用于開始到信息發(fā)布服務(wù)器3的發(fā)布過程。在用戶選擇發(fā)布圖標(biāo)時(shí)，由狀況信息發(fā)送單元109將顯示的狀況候選信息發(fā)送給信息發(fā)布服務(wù)器3，作為狀況信息。

假設(shè)如圖22A的(c)中所示，在下一個(gè)時(shí)刻，相機(jī)捕捉某個(gè)人。在這種情況下，識(shí)別處理單元103基于所獲取的圖像信息開始識(shí)別處理，并且在識(shí)別到人的時(shí)間點(diǎn)，顯示臉檢出框和識(shí)別結(jié)果，如在圖中所示。按照順序，在狀況識(shí)別單元127完成狀況識(shí)別結(jié)果時(shí)，生成狀況候選信息，使文本“現(xiàn)在與A先生在XX車站”與拍攝的人A的圖像數(shù)據(jù)相關(guān)聯(lián)，如圖22A的(d)中所示。

此外，在人A從相機(jī)的視野中消失時(shí)，在狀況候選信息顯示區(qū)域內(nèi)生成狀況候選信息“現(xiàn)在在XX車站”，如圖22B的(e)中所示。

假設(shè)隨后用戶進(jìn)入某個(gè)咖啡廳，并且訂購蛋糕。在遞送訂購的蛋糕并且從而在相機(jī)的視野中存在蛋糕時(shí)，顯示狀況候選信息“現(xiàn)在在XX車站吃蛋糕”，并且還顯示發(fā)布圖標(biāo)，用于發(fā)起到信息發(fā)布服務(wù)器3的發(fā)布過程，如圖22B的(f)中所示。同時(shí)，在顯示屏上顯示感情選擇圖標(biāo)，通過該圖標(biāo)，用戶選擇其當(dāng)前感情。

在用戶操作感情選擇圖標(biāo)時(shí)，增加作為表達(dá)感情的文本的表達(dá)“非常美味！”，如圖22B的(g)中所示。此外，在咖啡廳的名稱由識(shí)別處理單元103識(shí)別時(shí)，先前表示位置“XX車站”的描述改變成更細(xì)粒度的“XX蛋糕店”。而且，蛋糕的圖像數(shù)據(jù)與文本數(shù)據(jù)“現(xiàn)在在XX蛋糕店吃蛋糕，非常美味！”相關(guān)聯(lián)。必要時(shí)，狀況候選信息自動(dòng)生成并且累積在這種流內(nèi)。

此外，顯示控制單元107可以在顯示屏上顯示圖形鍵盤，用于改變識(shí)別結(jié)果(例如，名稱“XX蛋糕店”或者識(shí)別物體“蛋糕”的結(jié)果)，允許改變識(shí)別結(jié)果。

<信息處理方法>

接下來，參考圖23，簡單描述根據(jù)本實(shí)施方式的信息處理方法的示例性流程。圖23是示出根據(jù)實(shí)施方式的信息處理方法的示例性流程的流程圖。

在激活提供在根據(jù)本實(shí)施方式的信息處理設(shè)備10內(nèi)的上述功能的應(yīng)用程序時(shí)(步驟S101)，必要時(shí)，由信息獲取單元101獲取用戶環(huán)境信息(例如，位置信息、圖像信息、音頻信息等)并且將其輸出給識(shí)別處理單元103。

識(shí)別處理單元103分析必要時(shí)獲取的位置信息、圖像信息、音頻信息等(步驟S103)，并且基于獲取的用戶環(huán)境的分析結(jié)果，執(zhí)行狀況識(shí)別處理(步驟S105)。由狀況識(shí)別單元127生成的狀況識(shí)別的結(jié)果輸出給狀況候選信息生成單元105。

狀況候選信息生成單元105至少使用獲取的狀況識(shí)別結(jié)果，生成狀況候選信息(步驟S107)。必要時(shí)，顯示控制單元107在顯示屏上顯示生成的狀況候選信息(步驟S109)。

在此處，信息處理設(shè)備10確定用戶是否執(zhí)行發(fā)布操作(步驟S111)。在用戶不執(zhí)行發(fā)布操作時(shí)，信息處理設(shè)備10返回步驟S103，并且繼續(xù)分析必要時(shí)獲取的用戶環(huán)境信息。另一方面，在用戶執(zhí)行發(fā)布操作時(shí)，通過將用戶選擇的狀況候選信息作為狀況信息發(fā)送給信息發(fā)布服務(wù)器3，狀況信息發(fā)送單元109執(zhí)行發(fā)布過程(步驟S113)。

隨后，信息處理設(shè)備10確定用戶是否執(zhí)行應(yīng)用程序的終止操作(步驟S115)。在用戶不執(zhí)行終止操作時(shí)，信息處理設(shè)備10返回步驟S103，并且繼續(xù)分析必要時(shí)獲取的用戶環(huán)境信息。另一方面，在用戶執(zhí)行終止操作時(shí)，信息處理設(shè)備10終止該過程。

參考圖23，上面簡單描述了根據(jù)本實(shí)施方式的信息處理設(shè)備10執(zhí)行的信息處理方法的流程。

(硬件配置)

接下來，參照圖24，詳細(xì)描述根據(jù)本公開的實(shí)施方式的信息處理設(shè)備10的硬件配置。圖24是示出根據(jù)本公開的實(shí)施方式的信息處理設(shè)備10的硬件配置的方框圖。

信息處理設(shè)備10主要包括CPU 901、ROM 903以及RAM 905。而且，信息處理設(shè)備10還包括主總線907、橋接器909、外部總線911、接口913、傳感器914、輸入裝置915、輸出裝置917、儲(chǔ)存裝置919、驅(qū)動(dòng)器921、連接端口923以及通信裝置925。

CPU 901用作算法處理設(shè)備和控制裝置，并且根據(jù)在ROM 903、RAM905、儲(chǔ)存裝置919或者可移動(dòng)的記錄介質(zhì)927內(nèi)記錄的各種程序，控制信息處理設(shè)備10的總體操作或一部分操作。ROM 903儲(chǔ)存CPU 901使用的程序、運(yùn)行參數(shù)等。RAM 905主要儲(chǔ)存CPU 901使用的程序以及在執(zhí)行程序時(shí)適當(dāng)?shù)馗淖兊膮?shù)等。這些通過由內(nèi)部總線(例如，CPU總線等)配置的主總線907彼此連接。

主總線907通過橋接器909連接至外部總線911(例如，PCI(外部設(shè)備互連/接口))。

傳感器914是檢測裝置，例如，被配置成檢測用戶移動(dòng)的傳感器或被配置成獲取表示當(dāng)前位置的信息的傳感器。作為這種傳感器的實(shí)例，可以提及運(yùn)動(dòng)傳感器，例如，包括加速度傳感器、重力檢測傳感器、降落檢測傳感器等的三軸加速度傳感器；或包括角速度傳感器、搖動(dòng)校正傳感器、地磁傳感器等的三軸陀螺儀傳感器；或GPS傳感器。此外，傳感器914可以是檢測裝置，其被配置成檢測用戶特定的生物信息或用于獲取這種生物信息的各種信息。作為這種檢測裝置的一個(gè)實(shí)例，例如，可以提及用于檢測用戶的排汗的傳感器、用于檢測用戶的體溫和心跳的傳感器、用于檢測存在于用戶體表或體內(nèi)的生源物質(zhì)的傳感器。而且，除了上述以外，傳感器914還可以包括各種測量儀器，例如，溫度計(jì)、光度計(jì)、濕度計(jì)等。

輸入裝置915是用戶操作的操作裝置，例如，鼠標(biāo)、鍵盤、觸控面板、按鈕、開關(guān)以及操縱桿。而且，輸入單元915可以是使用例如紅外光或其他無線電波的遙控裝置(所謂的遙控器)，或者可以是外部連接的設(shè)備929，例如，符合信息處理設(shè)備10的操作的移動(dòng)電話或PDA。而且，輸入單元915基于(例如)用戶使用上述操作裝置輸入的信息而生成輸入信號并且被配置成由輸入控制電路配置成，用于輸出輸入信號給CPU 901。信息處理設(shè)備10的用戶可以給信息處理設(shè)備10輸入各種數(shù)據(jù)，并且可以指示信息處理設(shè)備10通過操作設(shè)備915來執(zhí)行處理。

輸出裝置917由能夠在視覺或聽覺上通知用戶所獲取的信息的裝置配置成。這種裝置的實(shí)例包括顯示裝置(例如，CRT顯示裝置、液晶顯示裝置、等離子顯示裝置、EL顯示裝置以及燈具)、音頻輸出裝置(例如，揚(yáng)聲器和頭戴式耳機(jī))、打印機(jī)、移動(dòng)電話、傳真機(jī)等。例如，輸出裝置917輸出由信息處理設(shè)備10執(zhí)行的各種處理所獲得的結(jié)果。更具體而言，顯示裝置通過文本或圖像等的形式顯示由信息處理設(shè)備10執(zhí)行的各種處理獲得的結(jié)果。另一方面，音頻輸出裝置將音頻信號(例如，再現(xiàn)的音頻數(shù)據(jù)和聲音數(shù)據(jù))轉(zhuǎn)換成模擬信號，并且輸出模擬信號。

儲(chǔ)存裝置919是用于儲(chǔ)存數(shù)據(jù)的裝置，其配置為信息處理設(shè)備10的儲(chǔ)存單元的一個(gè)實(shí)例，并且用于儲(chǔ)存數(shù)據(jù)。例如，儲(chǔ)存裝置919由磁儲(chǔ)存裝置(例如，HDD(硬盤驅(qū)動(dòng)器))、半導(dǎo)體儲(chǔ)存裝置、光學(xué)儲(chǔ)存裝置、或磁光儲(chǔ)存裝置配置。該儲(chǔ)存裝置919儲(chǔ)存由CPU 901執(zhí)行的程序、各種數(shù)據(jù)、以及從外面獲取的各種數(shù)據(jù)。

驅(qū)動(dòng)器921是用于記錄介質(zhì)并且嵌入信息處理設(shè)備10內(nèi)或者外部連接至信息處理設(shè)備10的讀取器/寫入器。驅(qū)動(dòng)器921讀取在連接的可移動(dòng)的記錄介質(zhì)927(例如，磁盤、光盤、磁光盤以及半導(dǎo)體存儲(chǔ)器)內(nèi)記錄的信息并且將讀取信息輸出給RAM 905。而且，驅(qū)動(dòng)器921可以在連接的可移動(dòng)的記錄介質(zhì)927(例如，磁盤、光盤、磁光盤以及半導(dǎo)體存儲(chǔ)器)內(nèi)寫入各種信息。例如，可移動(dòng)的記錄介質(zhì)927是DVD介質(zhì)、HD DVD介質(zhì)、或藍(lán)光介質(zhì)等?？梢苿?dòng)的記錄介質(zhì)927可以是壓縮閃存(CF；注冊商標(biāo))、閃存、SD記憶卡(安全數(shù)字記憶卡)等。可替換地，例如，可移動(dòng)的記錄介質(zhì)927可以是安裝了非接觸式IC芯片的IC卡(集成電路卡)或電子裝置。

連接端口923是用于允許裝置直接連接至信息處理設(shè)備10的端口。連接端口923的實(shí)例包括USB(通用串行總線)端口、IEEE 1394端口、SCSI(小型計(jì)算機(jī)系統(tǒng)接口)端口等。連接端口923的其他實(shí)例包括RS-232C端口、光學(xué)音頻終端、HDMI(高清晰度多媒體接口)端口等。通過連接外部連接的設(shè)備929至該連接端口923，信息處理設(shè)備10可以直接從外部連接的設(shè)備929中獲取各種信息，并且給外部連接的設(shè)備929提供各種信息。

通信裝置925是由連接至(例如)通信網(wǎng)絡(luò)931的通信裝置配置的通信接口。通信裝置925是例如有線或無線LAN(局域網(wǎng))、藍(lán)牙(注冊商標(biāo))、用于WUSB(無線USB)的通信卡等?？商鎿Q地，通信裝置925可以是用于光學(xué)通信的路由器、用于ADSL(非對稱數(shù)字用戶線路)的路由器、用于各種通信的調(diào)制解調(diào)器等。例如，該通信裝置925可以通過互聯(lián)網(wǎng)且與其他通信裝置根據(jù)預(yù)定的協(xié)議(例如，TCP/IP)傳輸和接收信號等。連接至通信裝置925的通信網(wǎng)絡(luò)931由通過有線或無線連接的網(wǎng)絡(luò)等配置，并且可以是(例如)互聯(lián)網(wǎng)、家庭LAN、紅外線通信、無線電波通信、衛(wèi)星通信等。

迄今，示出了能夠?qū)崿F(xiàn)根據(jù)本公開的實(shí)施方式的信息處理設(shè)備10的功能的硬件配置的實(shí)例。上述每個(gè)結(jié)構(gòu)部件可以使用通用材料配置，或者可以由專用于每個(gè)結(jié)構(gòu)部件的功能的硬件配置。因此，在執(zhí)行本實(shí)施方式時(shí)，要使用的硬件配置可以根據(jù)技術(shù)水平酌情改變。

參照附圖，上面詳細(xì)描述了本公開的一個(gè)或多個(gè)優(yōu)選實(shí)施方式，然而，本公開不限于以上實(shí)例。本領(lǐng)域的技術(shù)人員可以發(fā)現(xiàn)在所附權(quán)利要求的范圍內(nèi)的各種變更和修改，并且應(yīng)理解的是，這些變更和修改自然落在本公開的技術(shù)范圍內(nèi)。

進(jìn)一步，在本說明書中描述的效果僅僅是說明性或例證的效果，而非限制性。即，在具有以上效果或者以上效果的地方，對于本領(lǐng)域的技術(shù)人員顯而易見的是，基于本說明書的描述，根據(jù)本公開的技術(shù)可以實(shí)現(xiàn)其他效果。

此外，本技術(shù)還可以如下配置。

(1)一種信息處理設(shè)備，包括：

識(shí)別處理單元，其被配置成基于包括表示用戶所在的位置的位置信息、與用戶周圍的環(huán)境相關(guān)的圖像信息以及與環(huán)境相關(guān)的音頻信息中的至少任一個(gè)的用戶環(huán)境信息，通過預(yù)定的時(shí)間間隔對包含在用戶環(huán)境信息內(nèi)的所述位置信息、圖像信息以及音頻信息中的至少任一個(gè)執(zhí)行分析處理，并且使用所獲取的與所述用戶環(huán)境相關(guān)的分析結(jié)果，識(shí)別用戶周圍的狀況；以及

狀況候選信息生成單元，其被配置成使用由所述識(shí)別處理單元執(zhí)行的狀況識(shí)別結(jié)果，生成表示用戶周圍的狀況的候選的狀況候選信息，所述狀況候選信息至少包括表示用戶周圍的狀況的信息以及表示在所述狀況中的用戶的感情的信息。

(2)根據(jù)(1)所述的信息處理設(shè)備，

其中，每當(dāng)用戶周圍的狀況改變時(shí)，所述識(shí)別處理單元將表示狀況識(shí)別結(jié)果的信息輸出給所述狀況候選信息生成單元。

(3)根據(jù)(1)或(2)所述的信息處理設(shè)備，

其中，使用針對各個(gè)識(shí)別的狀況預(yù)先設(shè)置的感情表達(dá)表，生成表示用戶的感情的信息。

(4)根據(jù)(1)到(3)中任一項(xiàng)所述的信息處理設(shè)備，

其中，所述狀況候選信息生成單元在所述狀況候選信息內(nèi)包括與用戶周圍的狀況相關(guān)的圖像信息或音頻信息中的至少任一個(gè)。

(5)根據(jù)(1)到(4)中任一項(xiàng)所述的信息處理設(shè)備，進(jìn)一步包括：

顯示控制單元，其被配置成在預(yù)定顯示屏的預(yù)定區(qū)域內(nèi)顯示由所述識(shí)別處理單元執(zhí)行的識(shí)別結(jié)果以及由所述狀況候選信息生成單元生成的狀況候選信息。

(6)根據(jù)(1)到(5)中任一項(xiàng)所述的信息處理設(shè)備，

其中，所述識(shí)別處理單元使用與所述用戶環(huán)境相關(guān)的分析結(jié)果，通過基于所述分析結(jié)果的時(shí)間過程的時(shí)序模式識(shí)別處理或者基于預(yù)定條件處理的基于規(guī)則的處理，來識(shí)別狀況。

(7)根據(jù)(1)到(6)中任一項(xiàng)所述的信息處理設(shè)備，進(jìn)一步包括：

信息更新單元，其被配置成使用與由所述識(shí)別處理單元執(zhí)行的用戶環(huán)境相關(guān)的分析結(jié)果、由用戶提供的言語或語句表達(dá)、以及來自設(shè)置在所述信息處理設(shè)備中的傳感器的輸出中的至少任一個(gè)，更新表示包含在針對各個(gè)識(shí)別的狀況而預(yù)先設(shè)置的感情表達(dá)表內(nèi)的用戶感情的表達(dá)。

(8)根據(jù)(1)到(7)中任一項(xiàng)所述的信息處理設(shè)備，進(jìn)一步包括：

外部裝置配合單元，其被配置成能夠與其進(jìn)行相互通信的另一信息處理設(shè)備配合，并且提高由所述狀況候選信息生成單元執(zhí)行的狀況候選信息的生成結(jié)果的精度或者共享所述生成結(jié)果。

(9)根據(jù)(1)到(8)中任一項(xiàng)所述的信息處理設(shè)備，進(jìn)一步包括：

狀況信息發(fā)送單元，其被配置成將用戶從由所述狀況候選信息生成單元生成的狀況候選信息中選擇的信息發(fā)送給提供社交網(wǎng)絡(luò)服務(wù)的信息發(fā)布服務(wù)器，作為表示用戶周圍的狀況的狀況信息。

(10)根據(jù)(1)到(9)中任一項(xiàng)所述的信息處理設(shè)備，

其中，所述信息處理設(shè)備是用戶攜帶的個(gè)人數(shù)字助理或用戶佩戴的可穿戴式終端。

(11)一種信息處理方法，包括：

基于包括表示用戶所在的位置的位置信息、與用戶周圍的環(huán)境相關(guān)的圖像信息以及與環(huán)境相關(guān)的音頻信息中的至少任一個(gè)的用戶環(huán)境信息，通過預(yù)定的時(shí)間間隔對包含在用戶環(huán)境信息內(nèi)的位置信息、圖像信息以及音頻信息中的至少任一個(gè)執(zhí)行分析處理，并且使用所獲取的與所述用戶環(huán)境相關(guān)的分析結(jié)果，識(shí)別用戶周圍的狀況；以及

使用由所述識(shí)別處理單元執(zhí)行的狀況識(shí)別結(jié)果，生成表示用戶周圍的狀況的候選的狀況候選信息，所述狀況候選信息至少包括表示用戶周圍的狀況的信息以及表示在所述狀況中的用戶的感情的信息。

(12)一種程序，用于促使計(jì)算機(jī)實(shí)現(xiàn)：

識(shí)別處理功能，用于基于包括表示用戶所在的位置的位置信息、與用戶周圍的環(huán)境相關(guān)的圖像信息以及與環(huán)境相關(guān)的音頻信息中的至少任一個(gè)的用戶環(huán)境信息，通過預(yù)定的時(shí)間間隔對包含在用戶環(huán)境信息內(nèi)的所述位置信息、圖像信息以及音頻信息中的至少任一個(gè)執(zhí)行分析處理，并且使用所獲取的與所述用戶環(huán)境相關(guān)的分析結(jié)果，識(shí)別用戶周圍的狀況；以及

狀況候選信息生成功能，用于使用由所述識(shí)別處理單元執(zhí)行的狀況識(shí)別結(jié)果，生成表示用戶周圍的狀況的候選的狀況候選信息，所述狀況候選信息至少包括表示用戶周圍的狀況的信息以及表示在所述狀況中的用戶的感情的信息。

附圖標(biāo)記列表

1：網(wǎng)絡(luò)

3：信息發(fā)布服務(wù)器

5：服務(wù)提供服務(wù)器

10：信息處理設(shè)備

20：信息處理服務(wù)器

101：信息獲取單元

103：識(shí)別處理單元

105：狀況候選信息生成單元

107：顯示控制單元

109：狀況信息發(fā)送單元

111：信息更新單元

113：外部裝置配合單元

115：儲(chǔ)存單元