基于圖像識(shí)別的問答處理方法、裝置及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本申請涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其涉及一種基于圖像識(shí)別的問答處理方法、裝置及系統(tǒng)。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，越來越多的用戶通過互聯(lián)網(wǎng)獲取信息或進(jìn)行相互通訊。網(wǎng)絡(luò)中的問答平臺(tái)是一種利用網(wǎng)絡(luò)通訊工具、網(wǎng)頁或手機(jī)客戶端等獲取信息和進(jìn)行信息交流的平臺(tái)，它集成了自動(dòng)切分詞、智能搜索、自動(dòng)分類等一整套的自然語言處理和信息檢索技術(shù)，為用戶提供了一個(gè)交流平臺(tái)。用戶可以通過網(wǎng)頁在問答平臺(tái)上提交各種問題以獲取解答，也可以通過即時(shí)通訊工具等聯(lián)系相關(guān)客服人員，尋求解決方案。
[0003]例如，如果用戶在使用某個(gè)產(chǎn)品或者服務(wù)時(shí)，遇到操作提示或異常提示，那么，用戶可以通過旺旺，qq等聊天工具與該產(chǎn)品的在線客服人員進(jìn)行咨詢。在聊天過程中，往往會(huì)將提示的頁面，截取圖片發(fā)送給客服人員，幫助確定異常原因。而客服人員往往也需要根據(jù)經(jīng)驗(yàn)，從圖片中尋找問題的原因。這種傳統(tǒng)的服務(wù)方式，需要公司提供在線客服的人工服務(wù)，需要承受相應(yīng)的成本。而且，對于客服人員的業(yè)務(wù)能力有所要求，需要能從截圖中快速識(shí)別問題原因，需要一定的經(jīng)驗(yàn)才能熟練操作業(yè)務(wù)。
[0004]由此可見，現(xiàn)有的問答平臺(tái)的服務(wù)方式，不論是人工熱線，還是人工在線，都需要人的參與，系統(tǒng)均不能直接識(shí)別圖片及相關(guān)問題，也就無法自動(dòng)地獲取相應(yīng)的答案。

【發(fā)明內(nèi)容】

[0005]本申請的目的是，提供一種基于圖像識(shí)別的問答處理方法、裝置及系統(tǒng)，能自動(dòng)快速識(shí)別與用戶發(fā)送的圖片相關(guān)的問題，并能準(zhǔn)確快速地進(jìn)行處理獲取答案，為用戶提供了更加便捷的交互方式，擴(kuò)展了自動(dòng)問答平臺(tái)的服務(wù)范圍。
[0006]本申請?zhí)峁┝艘环N基于圖像識(shí)別的問答處理方法，所述方法包括:
[0007]接收用戶發(fā)送的包含提示信息的圖片；
[0008]對所述圖片進(jìn)行圖像識(shí)別處理，得到所述圖片的提示信息文本；
[0009]對所述提示信息文本進(jìn)行文本語義分析，提取得到所述提示信息文本中的關(guān)鍵詞；
[0010]從用戶信息庫中，查找得到所述用戶的用戶信息；
[0011]根據(jù)所述關(guān)鍵詞和所述用戶信息，從知識(shí)數(shù)據(jù)庫中查詢得到與所述提示信息文本相關(guān)的第一知識(shí)信息；
[0012]利用所述用戶信息和所述第一知識(shí)信息，生成所述提示信息文本的答案并顯示。
[0013]又一方面，本申請還提供了一種基于圖像識(shí)別的問答處理裝置，所述裝置包括:
[0014]接收單元，用于接收所述用戶發(fā)送的包含提示信息的圖片；
[0015]圖像識(shí)別單元，用于對所述接收單元接收的所述圖片進(jìn)行圖像識(shí)別處理，得到所述圖片的提示信息文本；
[0016]語義識(shí)別單元，用于對所述圖像識(shí)別單元得到的所述提示信息文本進(jìn)行文本語義分析，提取得到所述提示信息文本中的關(guān)鍵詞；
[0017]第一查詢單元，用于從用戶信息庫中，查找得到所述用戶的用戶信息；
[0018]第二查詢單元，用于根據(jù)所述語義識(shí)別單元得到的所述關(guān)鍵詞和所述第一查詢單元得到的所述用戶信息，從知識(shí)數(shù)據(jù)庫中查詢得到與所述提示信息文本相關(guān)的第一知識(shí)信息；
[0019]答案生成單元，用于利用所述第一查詢單元得到的所述用戶信息和所述第二查詢單元得到的所述第一知識(shí)信息，生成所述提示信息文本的答案并顯示。
[0020]又一方面，本申請還提供了一種基于圖像識(shí)別的問答系統(tǒng)，所述系統(tǒng)包括:交互平臺(tái)、圖像識(shí)別平臺(tái)、語義識(shí)別平臺(tái)、知識(shí)數(shù)據(jù)庫、用戶信息庫和后臺(tái)服務(wù)器；
[0021 ] 所述交互平臺(tái)，用于與用戶進(jìn)行交互；
[0022]所述圖像識(shí)別平臺(tái)，用于對圖片進(jìn)行圖像識(shí)別處理，得到所述圖片中的文本；
[0023]所述語義識(shí)別平臺(tái)，用于對文本進(jìn)行文本語義分析，提取得到所述文本中的關(guān)鍵詞；
[0024]所述知識(shí)數(shù)據(jù)庫，用于存儲(chǔ)大量的知識(shí)數(shù)據(jù)信息；
[0025]所述用戶信息庫，用于存儲(chǔ)大量的用戶信息；
[0026]所述交互平臺(tái)接收所述用戶發(fā)送的包含提示信息的第一圖片；
[0027]所述圖像識(shí)別平臺(tái)對所述交互平臺(tái)接收的所述第一圖片進(jìn)行圖像識(shí)別處理，得到所述第一圖片的提示信息文本；
[0028]所述后臺(tái)服務(wù)器通過所述語義識(shí)別平臺(tái)對所述圖像識(shí)別平臺(tái)得到的所述提示信息文本進(jìn)行文本語義分析，提取得到所述提示信息文本中的第一關(guān)鍵詞；
[0029]所述后臺(tái)服務(wù)器從所述用戶信息庫中，查找得到所述用戶的用戶信息；
[0030]所述后臺(tái)服務(wù)器根據(jù)所述第一關(guān)鍵詞和所述用戶信息，從所述知識(shí)數(shù)據(jù)庫中查詢得到與所述第一圖片的提示信息文本相關(guān)的第一知識(shí)信息；
[0031]所述后臺(tái)服務(wù)器利用所述用戶信息和所述第一知識(shí)信息，生成所述提示信息文本的答案并通過所述交互平臺(tái)顯示。
[0032]本申請?zhí)峁┑幕趫D像識(shí)別的問答處理方法、裝置及系統(tǒng)，通過圖像識(shí)別和語義分析對問答平臺(tái)中用戶發(fā)送的圖片進(jìn)行識(shí)別，可以自動(dòng)快速識(shí)別與用戶發(fā)送的圖片相關(guān)的問題，并能準(zhǔn)確快速地進(jìn)行處理獲取答案，為用戶提供了更加便捷的交互方式，用戶可以通過在聊天工具中截取并發(fā)送圖片，就能自助得到問題的答案，非常直觀方便，擴(kuò)展了自動(dòng)問答平臺(tái)的服務(wù)范圍。
【附圖說明】
[0033]為了更清楚地說明本申請實(shí)施例中的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0034]圖1a為本申請實(shí)施例提供的瀏覽器中文本形式的問題輸入框的示意圖；
[0035]圖1b為本申請實(shí)施例提供的瀏覽器中圖片形式的輸入框的示意圖；
[0036]圖2為本申請實(shí)施例提供的基于圖像識(shí)別的問答處理方法流程圖；
[0037]圖3a為本申請實(shí)施例提供的包含提示信息的一個(gè)圖片示意圖；
[0038]圖3b為本申請實(shí)施例提供的包含提示信息的又一個(gè)圖片示意圖；
[0039]圖3c為本申請實(shí)施例提供的包含提示信息的又一個(gè)圖片示意圖；
[0040]圖4為本申請實(shí)施例提供的基于圖像識(shí)別的問答處理裝置示意圖；
[0041]圖5為本申請實(shí)施例提供的基于圖像識(shí)別的問答系統(tǒng)的示意圖；
[0042]圖6為本申請實(shí)施例提供的基于圖像識(shí)別的問答系統(tǒng)的處理流程示意圖。
【具體實(shí)施方式】
[0043]為使得本申請的發(fā)明目的、特征、優(yōu)點(diǎn)能夠更加的明顯和易懂，下面將結(jié)合本申請實(shí)施例中的附圖，對本申請實(shí)施例中的技術(shù)方案進(jìn)行描述，顯然，所描述的實(shí)施例僅僅是本申請一部分實(shí)施例，而非全部實(shí)施例?；诒旧暾堉械膶?shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本申請保護(hù)的范圍。
[0044]本申請實(shí)施例提供的基于圖像識(shí)別的問答處理方法、裝置及系統(tǒng)，適用于各種需要為用戶提供答案或解決方案的場景，例如，網(wǎng)絡(luò)中的問答平臺(tái)等，尤其適用于自動(dòng)問答平臺(tái)，例如，網(wǎng)頁中具有即時(shí)通訊功能的智能機(jī)器人等。或者，也適用于網(wǎng)站或商家為用戶提供咨詢等服務(wù)的在線云客服或客戶端等，客戶端可以分為電腦PC客戶端、無線客戶端和瀏覽器三部分。
[0045]PC部分包括安裝于PC上的即時(shí)通訊工具(如阿里旺旺、騰訊qq、微信等等)以及網(wǎng)頁版的即時(shí)通訊工具(例如，webqq、網(wǎng)頁版的旺旺、網(wǎng)頁版的微信)的公共賬號(hào)。用戶通過發(fā)送消息或圖片進(jìn)行咨詢服務(wù)。在接收到用戶發(fā)送的圖片后，根據(jù)本申請?zhí)峁┑膯柎鹛幚矸椒ㄟM(jìn)行處理，再進(jìn)行自動(dòng)解答。
[0046]無線部分包括安裝于無線終端上的即時(shí)通訊軟件(如手機(jī)旺旺、手機(jī)