本申請涉及數(shù)據(jù)處理，具體涉及一種文本的詞根確定方法、裝置、計算機設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、隨著大數(shù)據(jù)管理技術(shù)的不斷發(fā)展，來自不同數(shù)據(jù)源的數(shù)據(jù)通過數(shù)據(jù)表的形式整合存儲至數(shù)據(jù)倉庫中，方便海量數(shù)據(jù)的管理和查詢，數(shù)倉模型表設(shè)計是數(shù)據(jù)倉庫開發(fā)階段的重要環(huán)節(jié)。

2、設(shè)計數(shù)倉模型表時會引用大量現(xiàn)有的數(shù)據(jù)表，由于不同數(shù)據(jù)表的字段設(shè)計規(guī)范不統(tǒng)一，難以為業(yè)務(wù)需求的文本確定準確且統(tǒng)一的詞根，導致數(shù)倉模型表的數(shù)據(jù)易出錯、易混亂。

技術(shù)實現(xiàn)思路

1、針對上述技術(shù)問題，本申請實施例提供一種文本的詞根確定方法、裝置、計算機設(shè)備和存儲介質(zhì)。

2、第一方面，本申請實施例提供一種文本的詞根確定方法，包括：

3、從詞根庫中查找文本對應(yīng)的候選詞根；

4、根據(jù)所述候選詞根的詞頻逆文檔頻率、詞性信息、所述候選詞根所在文檔的文檔信息、所述候選詞根在所述文檔中的位置信息，確定所述候選詞根的權(quán)重參數(shù)；

5、根據(jù)所述候選詞根的權(quán)重參數(shù)，從所述候選詞根中確定與所述文本對應(yīng)的目標詞根。

6、第二方面，本申請實施例提供一種文本的詞根確定裝置，包括：

7、候選詞根查找模塊，用于從詞根庫中查找文本對應(yīng)的候選詞根；

8、權(quán)重參數(shù)確定模塊，用于根據(jù)所述候選詞根的詞頻逆文檔頻率、詞性信息、所述候選詞根所在文檔的文檔信息、所述候選詞根在所述文檔中的位置信息，確定所述候選詞根的權(quán)重參數(shù)；

9、目標詞根確定模塊，用于根據(jù)所述候選詞根的權(quán)重參數(shù)，從所述候選詞根中確定與所述文本對應(yīng)的目標詞根。

10、第三方面，本申請實施例還提供一種計算機設(shè)備，包括存儲器存儲有多條指令；處理器從存儲器中加載指令，以執(zhí)行本申請實施例所提供的任一種文本的詞根確定方法的步驟。

11、第四方面，本申請實施例還提供一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)存儲有多條指令，指令適于處理器進行加載，以執(zhí)行本申請實施例所提供的任一種文本的詞根確定方法的步驟。

12、第五方面，本申請實施例還提供一種計算機程序產(chǎn)品，包括計算機程序或指令，計算機程序或指令被處理器執(zhí)行時實現(xiàn)本申請實施例所提供的任一種文本的詞根確定方法中的步驟。

13、采用本申請實施例的方案，從詞根庫中查找文本對應(yīng)的候選詞根，根據(jù)候選詞根的詞頻逆文檔頻率、詞性信息、候選詞根所在文檔的文檔信息、候選詞根在文檔中的位置信息，確定候選詞根的權(quán)重參數(shù)，從而能夠?qū)⒚總€候選詞根的自身信息與其所在文檔信息結(jié)合考慮，在詞頻逆文檔頻率的基礎(chǔ)上更全面、更準確地確定每個候選詞根在文本的詞根確定中的合理性權(quán)重，進而能夠提升文本的詞根確定的準確性。最后，根據(jù)候選詞根的權(quán)重參數(shù)，從候選詞根中確定與文本對應(yīng)的目標詞根，如此，能夠為不同文本的詞根確定出一個最準確且不重復(fù)的目標詞根，確保匹配詞根的統(tǒng)一性，從而也能提升生成數(shù)據(jù)表內(nèi)容的準確性和規(guī)范性。

技術(shù)特征：

1.一種文本的詞根確定方法，其特征在于，所述方法包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述候選詞根的詞頻逆文檔頻率、詞性信息、所述候選詞根所在文檔的文檔信息、所述候選詞根在所述文檔中的位置信息，確定所述候選詞根的權(quán)重參數(shù)，包括：

3.如權(quán)利要求2所述的方法，其特征在于，所述根據(jù)每個所述候選詞根所在文檔的文檔長度，確定每個所述文檔的文檔長度權(quán)重，包括：

4.如權(quán)利要求2所述的方法，其特征在于，所述根據(jù)每個所述候選詞根的詞性信息，以及在所述文檔中的位置信息，確定每個所述候選詞根的詞項權(quán)重，包括：

5.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述候選詞根的權(quán)重參數(shù)，從所述候選詞根中確定與所述文本對應(yīng)的目標詞根，包括：

6.如權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

7.如權(quán)利要求1所述的方法，其特征在于，所述方法包括：

8.一種文本的詞根確定裝置，其特征在于，所述裝置包括：

9.一種計算機設(shè)備，其特征在于，包括處理器和存儲器，所述存儲器存儲有多條指令；所述處理器從所述存儲器中加載指令，以執(zhí)行如權(quán)利要求1～7任一項所述的文本的詞根確定方法的步驟。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有多條指令，所述指令適于處理器進行加載，以執(zhí)行如權(quán)利要求1～7任一項所述的文本的詞根確定方法的步驟。

11.一種計算機軟件，其特征在于，所述計算機軟件，包括計算機程序，所述計算機程序被處理器執(zhí)行如權(quán)利要求1～7任一項所述的文本的詞根確定方法的步驟。

技術(shù)總結(jié)
本申請公開了一種文本的詞根確定方法、裝置、計算機設(shè)備和存儲介質(zhì)，本申請中，從詞根庫中查找文本對應(yīng)的候選詞根，然后根據(jù)所述候選詞根的詞頻逆文檔頻率、詞性信息、所述候選詞根所在文檔的文檔信息、所述候選詞根在所述文檔中的位置信息，確定所述候選詞根的權(quán)重參數(shù)，最后根據(jù)所述候選詞根的權(quán)重參數(shù)，從所述候選詞根中確定與所述文本對應(yīng)的目標詞根。本申請能夠提升文本詞根確定的準確性和統(tǒng)一性，并提升數(shù)據(jù)表內(nèi)容的準確性和規(guī)范性。

技術(shù)研發(fā)人員：謝朝勝
受保護的技術(shù)使用者：馬上消費金融股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19