本發(fā)明涉及計算機領域,尤其涉及一種數據輸入識別方法、裝置、設備及存儲介質。
背景技術:
1、在日常生活或工作中,在很多場合,用戶一般依賴于手寫筆在紙質文檔上進行書寫記錄,但紙質文檔存儲有一定的期限,不利于長期存儲,且在后續(xù)查詢過程中存在很大的不便利。
2、傳統的農批市場erp系統依賴于頻繁的用戶與系統交互來完成進銷存的管理任務,而絕大多數商家習慣使用紙筆記錄農批市場或農業(yè)相關領域的進銷數據,這就產生了矛盾點,傳統的erp無法自動將紙筆數據錄入到系統,以實現對用戶手寫內容的智能識別。
技術實現思路
1、本發(fā)明的主要目的在于解決如何實現對用戶手寫農批市場數據的智能識別的技術問題。
2、本發(fā)明第一方面提供了一種數據輸入識別方法,所述數據輸入識別方法包括:
3、獲取記錄的農批市場數據,所述農批市場數據是通過點陣筆在帶有點陣的紙上記錄并輸入緩存到所述點陣筆中得到的;
4、通過攝像頭及預設計算機視覺算法,獲取所述農批市場數據中表格數據對應的圖像;
5、通過cycle-centernet模型,定位得到所述圖像中單元格內容的行列坐標;
6、通過循環(huán)神經網絡,得到所述圖像中的行列信息,并根據所述行列坐標及所述行列信息,通過transformer模型,識別得到單元格內容;
7、根據所述行列信息,將所述單元格內容格式化并輸出到終端界面上。
8、可選的,在本發(fā)明第一方面的第一種實現方式中,所述通過cycle-centernet模型,定位得到所述圖像中單元格內容的行列坐標包括:
9、通過cycle-centernet模型,定位得到所述圖像中單元格的中心點;
10、根據所述中心點,定位得到所述圖像中單元格內容的行列坐標。
11、可選的,在本發(fā)明第一方面的第二種實現方式中,所述根據所述中心點,定位得到所述圖像中單元格內容的行列坐標包括:
12、根據所述中心點,通過回歸的方式計算出單元格的頂點;
13、根據所述單元格的頂點,生成所述單元格對應的邊界框;
14、根據所述邊界框,定位得到所述圖像中單元格內容的行列坐標。
15、可選的,在本發(fā)明第一方面的第三種實現方式中,所述通過循環(huán)神經網絡,得到所述圖像中的行列信息,并根據所述行列坐標及所述行列信息,通過transformer模型,識別得到單元格內容包括:
16、通過循環(huán)神經網絡,得到所述圖像中的行列信息;
17、根據所述行列坐標,對所述圖像中的單元格進行剪裁;
18、根據剪裁后的單元格及所述行列信息,通過transformer模型,識別得到單元格內容。
19、可選的,在本發(fā)明第一方面的第四種實現方式中,所述根據剪裁后的單元格及所述行列信息,通過transformer模型,識別得到單元格內容包括:
20、根據剪裁后的單元格及所述行列信息,通過transformer模型,得到查詢矩陣、鍵矩陣及值矩陣,所述查詢矩陣用于指定關注的詞,所述鍵矩陣用來衡量模型輸入的單元格內容特征與所述查詢矩陣的相似度,所述值矩陣用于根據所述相似度計算出模型最終的輸出結果;
21、計算所述查詢矩陣與所述鍵矩陣之間的相似度;
22、根據所述查詢矩陣與所述鍵矩陣之間的相似度,以及所述值矩陣,識別得到單元格內容。
23、可選的,在本發(fā)明第一方面的第五種實現方式中,所述根據所述查詢矩陣與所述鍵矩陣之間的相似度,以及所述值矩陣,識別得到單元格內容包括:
24、通過softmax函數將所述相似度進行歸一化,得到注意力權重;
25、根據所述注意力權重及所述值矩陣,計算得到注意力機制的輸出;
26、根據所述注意力機制的輸出,識別得到單元格內容。
27、可選的,在本發(fā)明第一方面的第六種實現方式中,所述根據所述行列信息,將所述單元格內容格式化并輸出到終端界面上包括:
28、根據所述行列信息,得到剪裁后的單元格之間的關聯信息;
29、根據關聯信息,得到單元格結構信息,并根據所述單元格結構信息,將所述單元格內容格式化并輸出到終端界面上;
30、通過終端界面,判斷所述單元格內容是否正確,若否,則獲取修改后的單元格內容。
31、本發(fā)明第二方面提供了一種數據輸入識別設備,包括:存儲器和至少一個處理器,所述存儲器中存儲有指令,所述存儲器和所述至少一個處理器通過線路互連;所述至少一個處理器調用所述存儲器中的所述指令,以使得所述數據輸入識別設備執(zhí)行上述的數據輸入識別方法。
32、本發(fā)明的第三方面提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質中存儲有指令,當其在計算機上運行時,使得計算機執(zhí)行上述的數據輸入識別方法。
33、在本發(fā)明實施例中,獲取記錄的農批市場數據,所述農批市場數據是通過點陣筆在帶有點陣的紙上記錄并輸入緩存到所述點陣筆中得到的;通過攝像頭及預設計算機視覺算法,獲取所述農批市場數據中表格數據對應的圖像;通過cycle-centernet模型,定位得到所述圖像中單元格內容的行列坐標;通過循環(huán)神經網絡,得到所述圖像中的行列信息,并根據所述行列坐標及所述行列信息,通過transformer模型,識別得到單元格內容;根據所述行列信息,將所述單元格內容格式化并輸出到終端界面上。本發(fā)明中,利用點陣和transformer自然語言處理模型,實現了對用戶手寫內容的智能識別,這不僅大幅提高了操作效率,減少了人工輸入的錯誤,還提升了用戶體驗,使得進銷存管理變得更加直觀和便捷。
1.一種數據輸入識別方法,其特征在于,所述數據輸入識別方法包括:
2.根據權利要求1所述的數據輸入識別方法,其特征在于,所述通過cycle-centernet模型,定位得到所述圖像中單元格內容的行列坐標包括:
3.根據權利要求2所述的數據輸入識別方法,其特征在于,所述根據所述中心點,定位得到所述圖像中單元格內容的行列坐標包括:
4.根據權利要求1所述的數據輸入識別方法,其特征在于,所述通過循環(huán)神經網絡,得到所述圖像中的行列信息,并根據所述行列坐標及所述行列信息,通過transformer模型,識別得到單元格內容包括:
5.根據權利要求4所述的數據輸入識別方法,其特征在于,所述根據剪裁后的單元格及所述行列信息,通過transformer模型,識別得到單元格內容包括:
6.根據權利要求5所述的數據輸入識別方法,其特征在于,所述根據所述查詢矩陣與所述鍵矩陣之間的相似度,以及所述值矩陣,識別得到單元格內容包括:
7.根據權利要求1所述的數據輸入識別方法,其特征在于,所述根據所述行列信息,將所述單元格內容格式化并輸出到終端界面上包括:
8.一種數據輸入識別裝置,其特征在于,所述數據輸入識別裝置包括:
9.一種數據輸入識別設備,其特征在于,所述數據輸入識別設備包括:存儲器和至少一個處理器,所述存儲器中存儲有指令,所述存儲器和所述至少一個處理器通過線路互連;
10.一種計算機可讀存儲介質,所述計算機可讀存儲介質上存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現如權利要求1-7中任一項所述的數據輸入識別方法。