本發(fā)明涉及一種可提供有關(guān)餐飲店的信息的信息處理裝置、信息處理方法及存儲(chǔ)程序的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

存在通過(guò)在現(xiàn)實(shí)空間疊加顯示虛擬空間的內(nèi)容來(lái)增強(qiáng)現(xiàn)實(shí)的感覺(jué)的增強(qiáng)現(xiàn)實(shí)（ar）技術(shù)。對(duì)于該ar技術(shù)，例如在智能手機(jī)或諸如頭戴式顯示器（hmd）和或透視眼鏡型的佩戴式設(shè)備中已得到實(shí)現(xiàn)。

例如，在日本特開2011-242816號(hào)公報(bào)中，記載有如下系統(tǒng)：在該系統(tǒng)中，服務(wù)器確定通過(guò)用戶的便攜式終端捕獲的現(xiàn)實(shí)空間中所包含的對(duì)象（諸如建筑物），從數(shù)據(jù)庫(kù)中選擇并讀取與該對(duì)象對(duì)應(yīng)的虛擬顯示，并將該虛擬顯示發(fā)送至用戶的便攜式終端，并且在該用戶的便攜式終端上，在所捕獲的現(xiàn)實(shí)空間中疊加顯示虛擬顯示信息。

技術(shù)實(shí)現(xiàn)要素：

然而，在日本特開2011-242816號(hào)公報(bào)中記載的技術(shù)中，雖然能夠在建筑物的捕獲圖像上疊加與其對(duì)應(yīng)的虛擬顯示信息，但是在具有多個(gè)層并在各層存在不同的店鋪的建筑物中，無(wú)法允許用戶容易地確定該虛擬顯示信息為存在于該建筑物的哪一層的店鋪的信息。

本發(fā)明提供一種可在具有多個(gè)層的建筑物的捕獲圖像上ar顯示店鋪信息時(shí)，允許用戶容易地確定所疊加顯示的店鋪信息與哪一層對(duì)應(yīng)的信息處理裝置、信息處理方法及存儲(chǔ)程序的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

本發(fā)明的第一方面涉及一種信息處理裝置。該信息處理裝置具有存儲(chǔ)單元、通信單元及控制單元。上述存儲(chǔ)單元被配置成存儲(chǔ)店鋪信息，該店鋪信息包括：店鋪的識(shí)別信息；指示該店鋪位置的店鋪位置信息；及層信息，該層信息指示在該店鋪所在的具有多個(gè)層的建筑物中該店鋪所在的層。上述通信單元被配置為從用戶終端接收由該用戶終端所捕獲的捕獲圖像、指示成像的方位的方位信息及指示該用戶終端位置的終端位置信息。上述控制單元被配置為基于上述所接收的終端位置信息和方位信息及上述所存儲(chǔ)的店鋪位置信息，識(shí)別存在于上述所接收的捕獲圖像中所包含的建筑物中的至少一個(gè)店鋪，基于上述層信息識(shí)別上述捕獲圖像中的該被識(shí)別的店鋪所在的層的位置，并生成用于將上述被識(shí)別的店鋪的上述識(shí)別信息疊加顯示于上述捕獲圖像的上述被識(shí)別的層的位置的識(shí)別信息。上述控制單元被配置成執(zhí)行控制使得上述通信單元將上述所生成的顯示信息發(fā)送至上述用戶終端。

根據(jù)上述方面的信息處理裝置，在將店鋪?zhàn)R別信息作為ar疊加顯示于具有多個(gè)層的建筑物的捕獲圖像時(shí)，能夠允許用戶容易地確定所疊加顯示的店鋪?zhàn)R別信息與建筑物的哪一層對(duì)應(yīng)。店鋪的識(shí)別信息包括用于識(shí)別店鋪的所有信息，例如，店鋪的店鋪名、類型、表示外觀的圖像、廣告牌、代表性菜單等，但不限于此。

上述方式中，所述通信單元可以從所述用戶終端接收所述用戶的身高信息或所述終端位置信息中所包含的標(biāo)高信息?？梢岳盟錾砀咝畔⒒蛩鰳?biāo)高信息算出在所述捕獲圖像中映攝有被確定的所述建筑物的范圍的實(shí)際高度。

上述方式中，在所述捕獲圖像中沒(méi)有映攝出所述建筑物的整體時(shí)，所述控制單元可以以所述建筑物的地上層部分或頂層部分中的任一層為基準(zhǔn)算出映攝有所述建筑物的范圍的實(shí)際高度。

上述方式中，層信息可以包括地上層信息及地下層信息?？刂茊卧梢砸耘c用于顯示根據(jù)上述地上層信息確定為存在于地上層的店鋪的上述識(shí)別信息的顯示信息不同的顯示形態(tài)生成用于顯示根據(jù)上述地下層信息確定為存在于地下層的店鋪的上述識(shí)別信息的顯示信息。

通過(guò)上述方式，信息處理裝置能夠?qū)⒋嬖谟诘叵碌牡赇伵c存在于地面的店鋪清楚地區(qū)分并使用戶可視地掌握。

在上述方式中，控制單元可以使上述顯示信息包含表示上述店鋪的位置或?qū)拥男畔ⅰ?/p>

通過(guò)上述方式，無(wú)論用戶的捕獲范圍如何，信息處理裝置都能夠使用戶容易地掌握用戶所關(guān)注的店鋪的位置或?qū)印?/p>

上述方式中，存儲(chǔ)單元可以存儲(chǔ)上述建筑物的各層中的與分區(qū)相關(guān)的建筑物分區(qū)信息。控制單元可以根據(jù)上述所存儲(chǔ)的建筑物分區(qū)信息，生成分區(qū)位置信息而作為上述顯示信息，所述分區(qū)位置信息將上述被確定的店鋪所在的上述層中的該店鋪所在的分區(qū)的位置與其他分區(qū)的位置區(qū)分顯示。

通過(guò)上述方式，信息處理裝置能夠使用戶容易地掌握店鋪所在的層中的該店鋪的分區(qū)的位置。在此，該分區(qū)顯示信息例如可以作為俯視圖而生成。

上述方式中，所述控制單元可以使在所述被確定的店鋪所在的層中存在多個(gè)店鋪時(shí)的所述店鋪的所述識(shí)別信息的顯示形態(tài)與在所述被確定的店鋪所在的層中存在1個(gè)店鋪時(shí)的所述店鋪的所述識(shí)別信息的顯示形態(tài)不同。

上述方式中，店鋪信息可以包括表示上述店鋪的類型的類型信息。該情況下，上述控制單元可以以與上述被確定的店鋪的類型對(duì)應(yīng)的顏色生成上述顯示信息。

通過(guò)上述方式，信息處理裝置能夠通過(guò)顯示信息的顏色來(lái)容易地掌握用戶的店鋪的類型。例如，可以以日式餐廳的識(shí)別信息為藍(lán)色、意大利式餐廳的識(shí)別信息為紅色等顏色生成為顯示信息。

上述方式中，所述控制單元可以根據(jù)來(lái)自所述用戶終端的要求生成包括所述店鋪的類型以外的店鋪信息的顯示信息。

上述方式中，在所述被確定的店鋪所存在層中存在多個(gè)店鋪時(shí)，所述控制單元可以生成包括所有與所述多個(gè)店鋪的類型的每一個(gè)對(duì)應(yīng)的顏色的所述顯示信息。

上述方式中，店鋪信息可以存儲(chǔ)表示上述店鋪的營(yíng)業(yè)時(shí)間的營(yíng)業(yè)時(shí)間信息?？刂茊卧梢愿鶕?jù)上述營(yíng)業(yè)時(shí)間信息，判斷確定上述店鋪的時(shí)刻是否為該被確定的店鋪的非營(yíng)業(yè)時(shí)間，以免在判斷為上述時(shí)刻為非營(yíng)業(yè)時(shí)間時(shí)生成用于該店鋪的識(shí)別信息的上述顯示信息。

通過(guò)上述方式，信息處理裝置能夠防止與非營(yíng)業(yè)時(shí)間的店鋪相關(guān)的顯示信息被用戶瀏覽到而導(dǎo)致用戶誤妨店鋪。

上述方式中，通信單元可以從上述店鋪接收顯示該店鋪的擁擠狀況擁擠信息?？刂茊卧梢砸耘c上述被確定的店鋪的上述所接收的擁擠狀況對(duì)應(yīng)的顯示形態(tài)生成上述顯示信息。

通過(guò)上述形態(tài)，信息處理裝置能夠使用戶一目了然地掌握建筑物內(nèi)的店鋪的擁擠狀況。在此，所謂顯示形態(tài)為例如顏色、亮度、某種標(biāo)記等的數(shù)量等，但并不限于這些。

本發(fā)明的第二方面涉及一種終端裝置。終端裝置為用戶可佩帶的終端裝置，并且具有：成像單元；方位傳感器，被配置為獲取指示上述成像單元的成像方向的方位信息；位置獲取單元，被配置為獲取指示該終端裝置的位置的終端位置信息；通信單元，被配置為執(zhí)行與服務(wù)器裝置的通信；顯示單元及控制單元。上述控制單元被配置成執(zhí)行控制，使得通信單元將通過(guò)上述成像單元捕獲的捕獲圖像、通過(guò)上述方位傳感器獲取的方位信息及通過(guò)上述位置獲取單元獲取的終端位置信息發(fā)送至上述服務(wù)器裝置?？刂茊卧慌渲脼閳?zhí)行控制，使得通信單元基于上述捕獲圖像、上述方位信息及上述終端位置信息從上述服務(wù)器裝置接收顯示信息，所述顯示信息用于將識(shí)別為存在于上述捕獲圖像中所包含的建筑物中的特定層中的店鋪的識(shí)別信息疊加顯示于上述捕獲圖像的上述特定層的位置?？刂茊卧慌渲脼閳?zhí)行控制，使得顯示單元將上述所接收的顯示信息疊加顯示于上述捕獲圖像。

本發(fā)明的第三方面涉及一種信息處理方法。所述信息處理方法包括如下步驟：

存儲(chǔ)店鋪信息，所述店鋪信息包括店鋪的識(shí)別信息、指示該店鋪的位置的店鋪位置信息及指示該店鋪所在的具有多個(gè)層的建筑物中該店鋪所在的層的層信息；

從用戶終端接收由該用戶終端所捕獲的捕獲圖像、指示成像的方位的方位信息及指示該用戶終端的位置的終端位置信息；

基于上述所接收的終端位置信息及方位信息與上述所存儲(chǔ)的店鋪位置信息，識(shí)別存在于上述所接收的捕獲圖像中所包含的建筑物中的至少一個(gè)店鋪；

基于上述層信息識(shí)別上述捕獲圖像中的該被識(shí)別的店鋪所在的層的位置；

生成顯示信息，該顯示信息用于將上述被識(shí)別的店鋪的上述識(shí)別信息疊加顯示于上述捕獲圖像的上述被識(shí)別的層的位置；

以及將上述所生成的顯示信息發(fā)送至上述用戶終端。

本發(fā)明的第四方面涉及一種存儲(chǔ)程序的非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。程序使信息處理裝置執(zhí)行如下步驟：

存儲(chǔ)店鋪信息，該店鋪信息包括店鋪的識(shí)別信息、指示該店鋪的位置的店鋪位置信息及指示該店鋪所在的具有多個(gè)層的建筑物中該店鋪所在的層的層信息；

從用戶終端接收由該用戶終端所捕獲的捕獲圖像、指示成像的方位的方位信息及指示該用戶終端的位置的終端位置信息；

基于上述所接收的終端位置信息及方位信息與上述所存儲(chǔ)的店鋪位置信息，識(shí)別存在于上述所接收的捕獲圖像中所包含的建筑物中的至少一個(gè)店鋪；

基于上述層信息識(shí)別上述捕獲圖像中的該被識(shí)別的店鋪所在的層的位置；

生成顯示信息，該顯示信息用于將上述被識(shí)別的店鋪的上述識(shí)別信息疊加顯示于上述捕獲圖像的上述被識(shí)別的層的位置；

以及將上述所生成的顯示信息發(fā)送至上述用戶終端。

根據(jù)上述各方面，在具有多個(gè)層的建筑物的捕獲圖像上ar顯示店鋪信息時(shí)，能夠允許用戶容易地確定以疊加顯示的店鋪信息與哪一層對(duì)應(yīng)。然而，該效果不旨在限制本發(fā)明。

附圖說(shuō)明

圖1是示出根據(jù)本發(fā)明的實(shí)施例的餐飲店信息提供系統(tǒng)的配置的圖。

圖2是示出根據(jù)本發(fā)明的實(shí)施例的餐飲店信息提供服務(wù)器的硬件配置的圖。

圖3是示出根據(jù)本發(fā)明的實(shí)施例的用戶終端的硬件配置的圖。

圖4是示出根據(jù)本發(fā)明的實(shí)施例的餐飲店信息提供服務(wù)器中的數(shù)據(jù)庫(kù)的配置的圖。

圖5是示出根據(jù)本發(fā)明的實(shí)施例的由餐飲店信息提供服務(wù)器進(jìn)行的餐飲店信息提供處理的流程的流程圖。

圖6是示出根據(jù)本發(fā)明的實(shí)施例的由用戶終端進(jìn)行的餐飲店信息顯示處理的流程的流程圖。

圖7是示出在本發(fā)明的實(shí)施例中顯示于用戶終端的餐飲店信息的例子的圖。

圖8是示出在本發(fā)明的實(shí)施例中顯示于用戶終端的餐飲店詳細(xì)信息的例子的圖。

具體實(shí)施方式

以下，將參考附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行描述。

[系統(tǒng)的配置]

圖1是示出根據(jù)本實(shí)施例的餐飲店信息提供系統(tǒng)的配置的圖。

如圖1所示，該系統(tǒng)包括互聯(lián)網(wǎng)50上的餐飲店信息提供服務(wù)器100和多個(gè)用戶終端200。

餐飲店信息提供服務(wù)器100為運(yùn)營(yíng)提供有關(guān)餐飲店的信息的門戶網(wǎng)站的web服務(wù)器。餐飲店信息提供服務(wù)器100通過(guò)互聯(lián)網(wǎng)50與多個(gè)用戶終端200連接。

餐飲店信息提供服務(wù)器100在上述門戶網(wǎng)站中向每個(gè)用戶終端200的用戶提供餐飲店信息的搜索系統(tǒng)。具體而言，餐飲店信息提供服務(wù)器100基于來(lái)自用戶終端200的搜索要求搜索符合搜索條件的餐飲店信息，且生成提供了搜索結(jié)果的網(wǎng)頁(yè)并將該網(wǎng)頁(yè)發(fā)送至用戶終端200。

在本實(shí)施例中，餐飲店信息提供服務(wù)器100能夠從用戶終端200接收捕獲圖像、方位及終端位置信息，能夠根據(jù)這些種類的信息識(shí)別捕獲圖像中所包含的餐飲店，能夠生成用于將有關(guān)該餐飲店的信息在用戶終端200上疊加顯示于捕獲圖像的ar信息，并能夠?qū)⒃揳r信息發(fā)送至用戶終端200。

尤其，在本實(shí)施例中，在上述餐飲店存在于捕獲圖像中的具有多個(gè)層的建筑物中的一層的情況下，餐飲店信息提供服務(wù)器100能夠生成用于可視地確定該層的ar信息。

每個(gè)用戶終端200（200a、200b、200c等）是由用戶使用的終端，例如便攜式設(shè)備（諸如智能手機(jī)、平板電腦（pc）），或佩戴式終端（頭戴式顯示器、智能手表等）。每個(gè)用戶終端200訪問(wèn)餐飲店信息提供服務(wù)器100，接收上述網(wǎng)頁(yè)并通過(guò)瀏覽器等將該網(wǎng)頁(yè)顯示于畫面。

每個(gè)用戶終端200能夠從餐飲店信息提供服務(wù)器100接收由該用戶終端200進(jìn)行捕獲的捕獲圖像中所包含的餐飲店相關(guān)的信息，并能夠顯示將該餐飲店信息疊加于捕獲圖像的ar信息。

[餐飲店信息提供服務(wù)器的硬件配置]

圖2是示出上述餐飲店信息提供服務(wù)器100的硬件配置的圖。如圖2所示，餐飲店信息提供服務(wù)器100包括中央處理單元（cpu）11、只讀存儲(chǔ)器（rom）12、隨機(jī)存取存儲(chǔ)器（ram）13、輸入/輸出接口15及將這些相互連接的總線14。

cpu11根據(jù)需要適當(dāng)訪問(wèn)ram13等，并且在執(zhí)行各種運(yùn)算處理同時(shí)集中控制餐飲店信息提供服務(wù)器100的所有塊。rom12為非易失性存儲(chǔ)器，其固定存儲(chǔ)固件（諸如在cpu11上執(zhí)行的os和程序）和各種參數(shù)。ram13用作cpu11的工作用區(qū)域等，并暫時(shí)存儲(chǔ)os、執(zhí)行中的各種應(yīng)用程序、以及處理中的各種數(shù)據(jù)。cpu11對(duì)應(yīng)于本發(fā)明的控制單元。

輸入/輸出接口15連接有顯示單元16、操作接收單元17、存儲(chǔ)單元18、通信單元19等。

顯示單元16為例如使用液晶顯示器（lcd）、有機(jī)電致發(fā)光顯示器（oeld）、陰極射線管（crt）等的顯示設(shè)備。

操作接收單元17為例如指示設(shè)備諸如鼠標(biāo)、鍵盤、觸控面板或其他輸入設(shè)備。在操作接收單元17為觸控面板的情況下，該觸控面板可與顯示單元16集成。

存儲(chǔ)單元18為例如非易失性存儲(chǔ)器諸如硬盤驅(qū)動(dòng)器（hdd）、閃速存儲(chǔ)器（固態(tài)驅(qū)動(dòng)器（ssd）或其他固態(tài)存儲(chǔ)器。該存儲(chǔ)單元18存儲(chǔ)有上述os、各種應(yīng)用程序以及各種數(shù)據(jù)。

在本實(shí)施例中，存儲(chǔ)單元18具有餐飲店信息數(shù)據(jù)庫(kù)、地圖信息數(shù)據(jù)庫(kù)及建筑物信息數(shù)據(jù)庫(kù)。詳細(xì)內(nèi)容將在后面描述。

通信單元19為例如ethernet（注冊(cè)商標(biāo)）的網(wǎng)絡(luò)接口卡（nic）或無(wú)線通信的各種模塊諸如無(wú)線lan，并執(zhí)行與上述用戶終端200的通信處理。

[用戶終端的硬件配置]

圖3是示出上述用戶終端200的硬件配置的圖。如圖3所示，用戶終端200包括cpu21、rom22、ram23、輸入/輸出接口25及將這些相互連接的總線24。

cpu21根據(jù)需要適當(dāng)訪問(wèn)ram13等，并且在執(zhí)行各種運(yùn)算處理同時(shí)集中控制用戶終端200的所有塊。rom22為非易失性存儲(chǔ)器，其固定存儲(chǔ)固件（諸如在cpu21上執(zhí)行的os和程序）和各種參數(shù)。ram23用作cpu21的工作用區(qū)域等，并暫時(shí)存儲(chǔ)os、執(zhí)行中的各種應(yīng)用程序、以及處理中的各種數(shù)據(jù)。

輸入/輸出接口25連接有顯示單元26、操作接收單元27、存儲(chǔ)單元28、通信單元29、相機(jī)30、方位信息獲取單元31、位置信息獲取單元32等。

顯示單元26為例如使用液晶顯示器（lcd）、有機(jī)電致發(fā)光顯示器（oeld）、陰極射線管（crt）等的顯示設(shè)備。

操作接收單元27典型地被構(gòu)造為與顯示單元26集成的觸控面板，但也可以是諸如其他按鈕或鍵的輸入設(shè)備。

存儲(chǔ)單元28為例如非易失性存儲(chǔ)器諸如閃速存儲(chǔ)器或其他固態(tài)存儲(chǔ)器。該存儲(chǔ)單元28中存儲(chǔ)有上述os、各種應(yīng)用程序以及各種數(shù)據(jù)。尤其，在本實(shí)施例中，存儲(chǔ)單元28存儲(chǔ)有用于將從餐飲店信息提供服務(wù)器100接收的ar信息疊加顯示于由相機(jī)30所捕獲的捕獲圖像上的應(yīng)用程序及執(zhí)行該應(yīng)用程序時(shí)所需的數(shù)據(jù)。

通信單元29為例如無(wú)線通信模塊，該無(wú)線通信模塊與移動(dòng)通信標(biāo)準(zhǔn)（諸如第三代（3g）或長(zhǎng)期演進(jìn)（lte））或通信標(biāo)準(zhǔn)（諸如包括無(wú)線保真（wifi）的無(wú)線局域網(wǎng)（lan））相對(duì)應(yīng)，并執(zhí)行與上述餐飲店信息提供服務(wù)器100或其他用戶終端的通信處理。

相機(jī)30例如通過(guò)諸如互補(bǔ)金屬氧化物半導(dǎo)體（cmos）或電荷耦合裝置（ccd）傳感器的成像元件來(lái)對(duì)靜態(tài)圖像（照片）及動(dòng)態(tài)圖像進(jìn)行捕獲。

方位信息獲取單元31具有例如磁傳感器和加速度傳感器。磁傳感器能夠檢測(cè)出從用戶終端200觀察時(shí)的磁北方向。加速度傳感器能夠檢測(cè)出垂直（重力）方向。根據(jù)檢測(cè)出的磁北方向及垂直方向，計(jì)算用戶終端200的方位（相機(jī)30的角度）。

位置信息獲取單元32例如被構(gòu)造為gps傳感器，捕獲來(lái)自3個(gè)以上衛(wèi)星的無(wú)線電波，基于到每個(gè)衛(wèi)星的距離，計(jì)算在地球坐標(biāo)系中描述的用戶終端200所在的位置的坐標(biāo)，并將該坐標(biāo)應(yīng)用于地球橢球體上，從而檢測(cè)用戶終端200的位置信息（緯度/經(jīng)度/標(biāo)高信息）。

[餐飲店信息提供服務(wù)器的數(shù)據(jù)庫(kù)配置]

圖4是示出上述餐飲店信息提供服務(wù)器100中提供的每個(gè)數(shù)據(jù)庫(kù)的配置的圖。

如圖4所示，餐飲店信息提供服務(wù)器100具有存儲(chǔ)單元18中的餐飲店信息數(shù)據(jù)庫(kù)41、地圖信息數(shù)據(jù)庫(kù)42及建筑物信息數(shù)據(jù)庫(kù)43。

對(duì)于每個(gè)餐飲店，餐飲店信息數(shù)據(jù)庫(kù)41除存儲(chǔ)該餐飲店的店名以及位置信息（緯度/經(jīng)度信息或地址信息信息、層信息）以及用于識(shí)別該餐飲店的id（店鋪id）之外，還存儲(chǔ)該餐飲店的營(yíng)業(yè)狀況/服務(wù)類型（類別）信息以及用于介紹該餐飲店的內(nèi)容，即指示店鋪特征的信息諸如店鋪的pr廣告、有關(guān)餐飲店的事件的事件信息、有關(guān)餐飲店坐落的區(qū)域的區(qū)域信息、餐飲店的地址和電話號(hào)碼、有關(guān)餐飲店的（介紹餐飲店）圖像數(shù)據(jù)、與餐飲店的菜單相關(guān)的菜單信息、營(yíng)業(yè)時(shí)間、有關(guān)網(wǎng)站url的信息。發(fā)送至用戶終端200的ar信息是通過(guò)這些種類的信息中的至少一部分而生成的。

地圖信息數(shù)據(jù)庫(kù)42存儲(chǔ)包括諸如餐飲店所在的建筑物的建筑物的位置（緯度/經(jīng)度/標(biāo)高）的地圖信息。

關(guān)于存在于上述地圖信息內(nèi)的每個(gè)建筑物，建筑物信息數(shù)據(jù)庫(kù)43存儲(chǔ)層信息（每個(gè)建筑物的地上層數(shù)和地下層數(shù)）、與每個(gè)建筑物距地面的高度相關(guān)的信息、與各層距地面的高度相關(guān)的信息以及與各層中的分區(qū)相關(guān)的建筑物分區(qū)信息。在該建筑物分區(qū)信息中，還與各分區(qū)的位置聯(lián)合地存儲(chǔ)有關(guān)位于各分區(qū)的店鋪（餐飲店等）的信息。

后述的由餐飲店信息提供服務(wù)器100進(jìn)行的餐飲店信息提供處理中，根據(jù)需要相互參考并使用這些數(shù)據(jù)庫(kù)。

[餐飲店信息提供服務(wù)器的操作]

接著，將對(duì)如以上那樣配置的餐飲店信息提供服務(wù)器100的操作進(jìn)行描述。餐飲店信息提供服務(wù)器100的操作通過(guò)硬件諸如cpu11及通信單元19以及存儲(chǔ)于存儲(chǔ)單元18的軟件的協(xié)同作用來(lái)執(zhí)行。在以下說(shuō)明中，為了方便起見，將cpu11作為操作主體。

圖5是示出由餐飲店信息提供服務(wù)器100進(jìn)行的餐飲店信息提供處理的流程的流程圖。

如圖5所示，餐飲店信息提供服務(wù)器100的cpu11首先判斷從用戶終端200是否接收到通過(guò)用戶終端200的相機(jī)30進(jìn)行捕獲的捕獲圖像及成像時(shí)在用戶終端200獲取的方位信息和終端位置信息（步驟51）。

在cpu11判斷為接收到上述捕獲圖像、方位信息及終端位置信息的情況下（是），cpu11從捕獲圖像中識(shí)別建筑物（步驟52）。在識(shí)別該建筑物時(shí)，例如，使用諸如邊緣提取、特征點(diǎn)提取以及模式匹配的傳統(tǒng)技術(shù)。

接著，cpu11基于上述方位信息及終端位置信息，識(shí)別存在于從上述捕獲圖像中識(shí)別出的建筑物中的餐飲店（步驟53）。具體而言，cpu11基于上述終端位置信息（緯度/經(jīng)度/標(biāo)高）及方位信息（相對(duì)于磁北的方向及相機(jī)角度），識(shí)別上述識(shí)別的建筑物的位置（緯度/經(jīng)度），從上述餐飲店信息數(shù)據(jù)庫(kù)41中識(shí)別具有符合該位置的（無(wú)需完全符合，并且只要誤差在預(yù)定閾值范圍內(nèi)即可）位置信息的餐飲店。

除此之外或代替此，cpu11可以參考上述地圖信息數(shù)據(jù)庫(kù)42從上述所識(shí)別的建筑物的位置中識(shí)別建筑物名，并且可以從上述餐飲店信息數(shù)據(jù)庫(kù)41識(shí)別將該建筑物名作為一部分地址而具有的餐飲店。

接著，cpu11從上述餐飲店信息數(shù)據(jù)庫(kù)41中的層信息識(shí)別上述識(shí)別的餐飲店的層（步驟54）。

接著，cpu11從上述餐飲店信息數(shù)據(jù)庫(kù)41提取上述識(shí)別的餐飲店的識(shí)別信息（步驟55）。雖然識(shí)別信息典型地為餐飲店的名稱，但除此之外或代替此，店鋪類型、店鋪所在的層等也可以用作識(shí)別信息。識(shí)別信息并不限于這些，并且例如，可以使用任何信息，只要信息（諸如表示店鋪的外觀或廣告牌的圖像（照片）或代表該店鋪的料理的圖像）能夠直接或間接地識(shí)別店鋪。

接著，cpu11生成ar信息，該ar信息用于將上述提取到的識(shí)別信息疊加顯示于上述捕獲圖像內(nèi)的建筑物中的上述被識(shí)別的餐飲店的層的位置（步驟56）。

具體而言，cpu11例如基于上述終端位置信息（緯度/經(jīng)度/標(biāo)高）、上述建筑物的位置信息及上述方位信息中的角度信息，也考慮從上述終端位置捕獲圖像的用戶的平均身高（眼睛的高度），并通過(guò)三角測(cè)量的原理，計(jì)算在該捕獲圖像中映攝有上述被識(shí)別的建筑物的范圍的實(shí)際高度。該情況下，只要用戶終端200的用戶的身高（眼睛的高度）事先注冊(cè)在餐飲店信息提供服務(wù)器100、用戶終端200等，則可以考慮該信息。在捕獲圖像中沒(méi)有映攝出建筑物整體的情況下，cpu11基于建筑物的地上層部分或頂層部分中的任一層計(jì)算高度。并且，該情況下，cpu11也可以考慮上述接收的終端位置信息中所包含的標(biāo)高信息計(jì)算高度。

然后，cpu11基于該計(jì)算的建筑物的捕獲部分的高度、上述建筑物信息數(shù)據(jù)庫(kù)43中的建筑物的高度、上述被識(shí)別的層的高度，識(shí)別捕獲圖像中的建筑物中的上述被識(shí)別的層的位置（高度范圍），并生成ar信息，該ar信息被設(shè)定成使得上述識(shí)別信息被三維地疊加顯示于存在于其位置的建筑物的表面。

該識(shí)別信息例如包含餐飲店的名稱、料理類型等，但并不限于這些。

在判斷為餐飲店的層在地下分區(qū)的情況下，cpu11計(jì)算與上述捕獲圖像中的建筑物的地下的層相對(duì)應(yīng)的位置，并生成ar信息，該ar信息被設(shè)定成使得以上述識(shí)別信息疊加顯示于其位置。該情況下的ar信息可以以諸如虛線或半透明的不同的顯示模式顯示的方式生成，以與地上層的ar信息進(jìn)行區(qū)分。

接著，cpu11將上述所生成的ar信息發(fā)送至用戶終端200（步驟57）。

接著，cpu11判斷從上述用戶終端200是否接收到店鋪詳細(xì)信息的發(fā)送請(qǐng)求（步驟58）。

在cpu11判斷為接收到店鋪詳細(xì)信息的發(fā)送請(qǐng)求的情況下（是），cpu11從上述餐飲店信息數(shù)據(jù)庫(kù)41提取例如菜單信息、所在地信息、推薦信息等詳細(xì)信息，且以將該詳細(xì)信息ar顯示于上述捕獲圖像上的方式設(shè)定并發(fā)送至用戶終端200（步驟59）。

并且，在上述被識(shí)別的餐飲店所在的層被分為多個(gè)分區(qū)的情況下，cpu11參考上述建筑物信息數(shù)據(jù)庫(kù)43，作為上述詳細(xì)信息，將與其他分區(qū)的位置區(qū)分指示該層中的該餐飲店所在的分區(qū)的位置的分區(qū)位置信息生成為ar信息并可以將該分區(qū)位置信息發(fā)送至用戶終端200。在此，分區(qū)位置信息例如作為俯視圖而生成，但并不限于此。

[用戶終端的操作]

接著，將對(duì)用戶終端200的操作進(jìn)行描述。用戶終端200的操作通過(guò)諸如cpu21及通信單元29的硬件與存儲(chǔ)于存儲(chǔ)單元28的軟件的協(xié)同作用來(lái)執(zhí)行。以下說(shuō)明中，為了方便起見，將cpu21作為操作主體。另外，cpu21能夠?qū)?yīng)于本發(fā)明的控制單元。

圖6是示出由用戶終端200進(jìn)行的餐飲店信息顯示處理的流程的流程圖。

如圖6所示，用戶終端200的cpu21首先判斷通過(guò)相機(jī)30是否捕獲到圖像（步驟61）。

在cpu21判斷為捕獲到圖像的情況下，cpu21從上述位置信息獲取單元32及方位信息獲取單元31獲取指示此時(shí)用戶終端200的位置的終端位置信息及用戶終端200的方位信息（相對(duì)于磁北相機(jī)30所朝向的方向及相機(jī)30的角度）（步驟62）。

接著，cpu21將上述捕獲圖像、終端位置信息以及方位信息發(fā)送至餐飲店信息提供服務(wù)器100（步驟63）。

接著，cpu21判斷是否接收到上述圖5中描述的通過(guò)由餐飲店信息提供服務(wù)器100進(jìn)行的處理而發(fā)送的ar信息（步驟64）。

在cpu21判斷為接收到ar信息的情況下（是），cpu21在顯示單元26上將ar信息疊加顯示于捕獲圖像（步驟65）。

接著，cpu21判斷關(guān)于作為上述ar信息顯示的餐飲店信息是否輸入了店鋪詳細(xì)信息的請(qǐng)求操作（步驟66）。該請(qǐng)求操作為例如點(diǎn)擊或長(zhǎng)按顯示單元26上的上述疊加顯示的ar信息的位置的操作，但并不限于此。

在cpu21判斷為輸入了上述店鋪詳細(xì)信息的請(qǐng)求操作的情況下（是），cpu21將該店鋪詳細(xì)信息請(qǐng)求發(fā)送至餐飲店信息提供服務(wù)器100（步驟67）。

接著，cpu21判斷響應(yīng)上述店鋪詳細(xì)信息請(qǐng)求是否接收到從餐飲店信息提供服務(wù)器100發(fā)送的店鋪詳細(xì)信息（步驟68），并且在接收到店鋪詳細(xì)信息的情況下（是），在顯示單元26上將該店鋪詳細(xì)信息疊加顯示于上述捕獲圖像（步驟69）。

圖7是示出通過(guò)上述餐飲店信息提供服務(wù)器100生成并顯示于用戶終端200的顯示單元的捕獲圖像上的ar信息的例子的圖。

如圖7所示，在通過(guò)用戶終端200捕獲的捕獲圖像70中包含建筑物b，并且通過(guò)餐飲店信息提供服務(wù)器100識(shí)別該建筑物b中存在餐飲店。具體而言，設(shè)想例如識(shí)別該建筑物b的7層、9層及地下1層中分別存在餐飲店的情況。

該情況下，關(guān)于存在于地上層的7層及9層的餐飲店，餐飲店信息提供服務(wù)器100生成作為各餐飲店的識(shí)別信息的ar信息71a、71b，以便將其顯示于相對(duì)于建筑物b的各層的位置的表面。

作為識(shí)別信息，可舉出每個(gè)餐飲店的名稱或料理的類型及該餐飲店所在的層等。代替層或除層以外，識(shí)別信息可以包括餐飲店的位置信息（地址）。圖7的例子中，存在于7層的餐飲店以“餐廳xyz”為名且其料理的類型為中式料理，而存在于9層的餐飲店以“餐廳abc”為名且其料理的類型為日式料理。除這些之外或代替這些，例如可以以縮略圖的形式生成例如餐飲店的外觀或廣告牌的圖像（照片）或代表該餐飲店的料理（菜單）的圖像（照片）作為識(shí)別信息。

在此，上述ar信息71可以以其顯示模式（典型地為顏色）按照上述料理的類別等而不同的方式生成。該情況下，也可以配合各顏色與哪一類型的料理對(duì)應(yīng)的信息而提供為ar信息。圖7的例子中，屬于日式料理的餐飲店的ar信息71a以黑色指示，屬于中式料理的餐飲店的ar信息71b以灰色指示。由此，用戶能夠一目了然地確定該餐飲店的類型。

另一方面，關(guān)于存在于地下層的地下1層的餐飲店，餐飲店信息提供服務(wù)器100以在捕獲圖像上對(duì)應(yīng)于該建筑物b的地下1層的位置的表面以虛線或半透明的形式疊加顯示的方式生成作為餐飲店識(shí)別信息的ar信息71c。

該情況下的識(shí)別信息的內(nèi)容與地上層的情況相同。圖7的例子中，存在于地下1層的餐飲店以“餐廳def”為名且其料理的類型為日式料理。

在確定了在捕獲圖像上識(shí)別出的多個(gè)建筑物中存在餐飲店的情況下，同樣地關(guān)于各建筑物的餐飲店生成上述ar信息。

關(guān)于應(yīng)疊加顯示ar信息的平面及其三維形狀，餐飲店信息提供服務(wù)器100也通過(guò)分析捕獲圖像來(lái)進(jìn)行識(shí)別。典型地，以在識(shí)別出的建筑物中在捕獲圖像上具有最大面積的表面上疊加顯示ar信息的方式選擇平面，但并不限于這些。

圖8是示出作為上述店鋪詳細(xì)信息而顯示的分區(qū)位置信息的例子的圖。

如圖8所示，例如上述圖7所示的建筑物b中“餐廳abc”所在的9層被分為多個(gè)分區(qū)（店鋪區(qū)域）c1～c6的情況下，餐飲店信息提供服務(wù)器100例如以俯視圖的方式將9層的多個(gè)分區(qū)c1～c6中示出該“餐廳abc”所在的分區(qū)c4的分區(qū)位置信息作為店鋪詳細(xì)信息而生成并將該分區(qū)位置信息顯示于用戶終端200。

[總結(jié)]

如上說(shuō)明，根據(jù)本實(shí)施例，餐飲店信息提供服務(wù)器100將店鋪?zhàn)R別信息作為ar疊加顯示于具有多個(gè)層的建筑物的捕獲圖像時(shí)，能夠允許用戶容易地確定所疊加顯示的店鋪?zhàn)R別信息與建筑物的哪一層對(duì)應(yīng)。并且，通過(guò)使用層信息而可以將ar信息集中在相同部位，由此能夠降低餐飲店信息提供服務(wù)器100或用戶終端200的負(fù)載。由于用戶從餐飲店信息提供服務(wù)器100只接收存在于捕獲圖像的范圍內(nèi)的餐飲店的店鋪詳細(xì)信息，并且不會(huì)將用戶所在地的周圍所有方向作為搜索對(duì)象，因此也能夠降低餐飲店信息提供服務(wù)器100的負(fù)載。

[變形例]

本發(fā)明不只限定于上述實(shí)施例，只要在不脫離本發(fā)明的主旨的范圍內(nèi)則可進(jìn)行各種變更。

上述的實(shí)施例中，捕獲圖像中的建筑物及餐飲店的識(shí)別處理是通過(guò)餐飲店信息提供服務(wù)器100來(lái)執(zhí)行的，但該處理也可以通過(guò)用戶終端200來(lái)執(zhí)行。該情況下，用戶終端200可以從餐飲店信息提供服務(wù)器100或其他外部設(shè)備事先接收上述諸如餐飲店信息、層信息的上述識(shí)別處理所需的信息。并且，該情況下，用戶終端200也可以是例如諸如hmd的佩戴式終端。在通過(guò)用戶終端200識(shí)別建筑物等的情況下，可以通過(guò)在該處理中使用的立體相機(jī)（典型地具備雙筒佩戴式終端）、紅外激光等的深度傳感器來(lái)確定三維物體的三維形狀。

上述的實(shí)施例中，餐飲店信息提供服務(wù)器100可以從餐飲店信息數(shù)據(jù)庫(kù)41獲取識(shí)別為存在于在捕獲圖像70上識(shí)別出的建筑物的餐飲店的營(yíng)業(yè)時(shí)間信息，并可以判斷該被識(shí)別的時(shí)刻是否為該餐飲店的非營(yíng)業(yè)時(shí)間，并且在判斷為該時(shí)刻為非營(yíng)業(yè)時(shí)間的情況下，可以執(zhí)行控制使得不生成用于該餐飲店的識(shí)別信息的ar信息。由此，能夠防止與非營(yíng)業(yè)時(shí)間的餐飲店相關(guān)的ar信息被用戶所瀏覽而用戶誤訪該餐飲店。

上述的實(shí)施例中，餐飲店信息提供服務(wù)器100可以從上述被識(shí)別的餐飲店的終端接收該餐飲店的指示擁擠狀況的擁擠信息，并以根據(jù)該擁擠狀況的顯示模式生成上述ar信息。在此，所謂顯示模式例如為顏色、亮度或某種標(biāo)記的數(shù)量等，但并不限于這些。由此，用戶能夠一目了然地確定建筑物內(nèi)的餐飲店的擁擠狀況。

上述的實(shí)施例中，已對(duì)建筑物的各層中僅存在1個(gè)餐飲店的情況進(jìn)行了描述。然而，可能有相同層中存在多個(gè)餐飲店的情況。該情況下，餐飲店信息提供服務(wù)器100可以以按每一層顯示存在于各層中的餐飲店的一覽表的方式生成ar信息來(lái)代替如上述圖7所示的ar信息。即，使被識(shí)別的餐飲店所在的層中存在多個(gè)餐飲店的情況下的餐飲店的ar信息與被識(shí)別的餐飲店所在的層中存在1個(gè)餐飲店的情況下的餐飲店的ar信息不同。并且，雖未圖示，但可以將包括多個(gè)餐飲店的各類型的顏色的條紋狀的餐飲店生成為1個(gè)ar信息。該情況下，可以通過(guò)以點(diǎn)擊等操作來(lái)選擇該條紋狀的餐飲店，從而以顯示該條紋狀的餐飲店中所包含的多個(gè)餐飲店各自的信息的方式生成ar信息。由此，用戶可簡(jiǎn)便地識(shí)別綜合設(shè)施。

上述的實(shí)施例中，已描述不在用戶的捕獲圖像上進(jìn)行操作而顯示作為餐飲店的識(shí)別信息的ar信息的例子。然而，在1個(gè)捕獲圖像上的建筑物中存在多個(gè)餐飲店的情況下，有時(shí)若同時(shí)顯示多條ar信息則對(duì)于用戶來(lái)說(shuō)是麻煩的。于是，餐飲店信息提供服務(wù)器100中，作為ar信息，首先不疊加顯示文本信息等，而使只進(jìn)行如下動(dòng)作：例如以預(yù)定的顏色涂滿各建筑物的餐飲店所在的層的表面、或在該位置顯示預(yù)定的圖標(biāo)等標(biāo)記，在用戶執(zhí)行點(diǎn)擊該位置等操作情況下，可以以疊加顯示與該位置對(duì)應(yīng)的餐飲店的識(shí)別信息（文本信息等）的方式生成ar信息。

上述實(shí)施例中，雖然已描述顯示餐飲店信息作為ar信息的例子，但也可以與上述實(shí)施例同樣地生成除餐飲店以外的店鋪（銷售店或服務(wù)提供設(shè)施）的識(shí)別信息來(lái)作為ar信息并顯示。