模型的生成方法及裝置、重要度獲取方法及裝置的制造方法
【專利說明】模型的生成方法及裝置、重要度獲取方法及裝置 【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種模型的生成方法及裝置、重要度 獲取方法及裝置。 【【背景技術(shù)】】
[0002] 對(duì)于給定的文本，準(zhǔn)確地計(jì)算出其中每個(gè)詞條的重要度，進(jìn)而可以應(yīng)用于后續(xù)的 搜索或者語義分析等。例如，搜索場(chǎng)景下，用戶輸入查詢文本時(shí)，該查詢文本中包含若干詞 條，其中會(huì)存在冗余詞條，如果用真?zhèn)€查詢文本進(jìn)行搜索，會(huì)影響搜索效率以及降低搜索結(jié) 果的質(zhì)量。因此，需要對(duì)查詢文本中的詞條進(jìn)行重要度計(jì)算，然后利用其中重要度較高的一 些詞條去進(jìn)行搜索，去掉其中的冗余詞條。
[0003] 現(xiàn)有技術(shù)中，有能夠依據(jù)給定的詞條輸出重要度或者重要度排序的模型，這些模 型能夠保證輸出的詞條的重要度的數(shù)值的準(zhǔn)確性，或者能夠保證屬于同一個(gè)文本的兩個(gè)詞 條之間的重要度排序的準(zhǔn)確性。然而，如果既需要獲得詞條的重要度的數(shù)值，同時(shí)還需要詞 條的重要度排序，那么目前的模型都無法滿足，另外，也不能夠獲得詞條的重要度的其他信 息，如詞條的重要度之間的區(qū)分度、重要度的取值范圍等，因此，目前用于獲取詞條的重要 度信息的模型的可靠性比較低。 【
【發(fā)明內(nèi)容】
】
[0004] 有鑒于此，本發(fā)明實(shí)施例提供了一種模型的生成方法及裝置、重要度獲取方法及 裝置，可以解決現(xiàn)有技術(shù)中獲得詞條的重要度信息的模型的可靠性比較低的問題。
[0005] 本發(fā)明實(shí)施例的一方面，提供一種模型的生成方法，包括：
[0006] 依據(jù)獲得的詞條的重要度準(zhǔn)確率、詞條之間的排序準(zhǔn)確率和詞條之間的區(qū)分度準(zhǔn) 確率中至少一個(gè)，構(gòu)建M個(gè)候選模型，M為大于0的整數(shù)；
[0007] 利用所述M個(gè)候選模型，獲得所述詞條的M個(gè)歸一化的候選模型輸出值；
[0008] 利用評(píng)估模型對(duì)所述M個(gè)歸一化的候選模型輸出值進(jìn)行評(píng)估，以獲得目標(biāo)模型輸 出值，將所述目標(biāo)模型輸出值所對(duì)應(yīng)的候選模型作為目標(biāo)模型。
[0009] 如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述依據(jù)獲 得的詞條的重要度準(zhǔn)確率、詞條之間的排序準(zhǔn)確率和詞條之間的區(qū)分度準(zhǔn)確率中至少一 個(gè)，構(gòu)建M個(gè)候選模型之前，所述方法還包括：
[0010] 利用初始模型，獲得所述詞條的初始模型輸出值；
[0011] 依據(jù)所述詞條的初始模型輸出值以及所述詞條所在文本中其他詞條的初始模型 輸出值，獲得所述詞條的歸一化的初始模型輸出值；
[0012] 依據(jù)所述詞條的歸一化的初始模型輸出值，獲得所述詞條的重要度準(zhǔn)確率；和/ 或，依據(jù)所述詞條的歸一化的初始模型輸出值或者所述詞條的初始模型輸出值，獲得所述 詞條之間的排序準(zhǔn)確率；和/或，依據(jù)所述詞條的歸一化的初始模型輸出值，獲得所述詞條 之間的區(qū)分度準(zhǔn)確率。
[0013] 如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述詞條的 重要度準(zhǔn)確率的數(shù)目為N個(gè)，所述詞條之間的排序準(zhǔn)確率的數(shù)目為P個(gè)，詞條之間的區(qū)分度 準(zhǔn)確率的數(shù)目為Q個(gè)，N、P和Q均為正整數(shù)，且不同時(shí)為0,且N、P和Q中至少一個(gè)大于或 者等于2,所述依據(jù)獲得的詞條的重要度準(zhǔn)確率、詞條之間的排序準(zhǔn)確率和詞條之間的區(qū)分 度準(zhǔn)確率中至少一個(gè)，構(gòu)建M個(gè)候選模型，包括：
[0014] 依據(jù)所述詞條的重要度準(zhǔn)確率、所述詞條之間的排序準(zhǔn)確率和所述詞條之間的區(qū) 分度準(zhǔn)確率中至少一個(gè)，獲得K個(gè)目標(biāo)準(zhǔn)確率，K為大于1且小于或等于的整數(shù)；
[0015] 依據(jù)所述K個(gè)目標(biāo)準(zhǔn)確率，對(duì)初始模型的第一模型參數(shù)進(jìn)行調(diào)整，以獲得M個(gè)第二 模型參數(shù)；
[0016] 依據(jù)所述M個(gè)第二模型參數(shù)，構(gòu)建所述M個(gè)候選模型。
[0017] 如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述依據(jù)所 述K個(gè)目標(biāo)準(zhǔn)確率，對(duì)初始模型的第一模型參數(shù)進(jìn)行調(diào)整，以獲得M個(gè)第二模型參數(shù)，包 括：
[0018] 依據(jù)所述K個(gè)目標(biāo)準(zhǔn)確率以及預(yù)設(shè)的準(zhǔn)確率閾值，獲得大于或者等于所述準(zhǔn)確率 閾值的M個(gè)目標(biāo)準(zhǔn)確率；
[0019] 對(duì)所述M個(gè)目標(biāo)準(zhǔn)確率中的每個(gè)所述目標(biāo)準(zhǔn)確率分別進(jìn)行求導(dǎo)運(yùn)算，以獲得M個(gè) 梯度值；
[0020] 依據(jù)所述M個(gè)梯度值中每個(gè)所述梯度值，分別對(duì)所述初始模型的第一模型參數(shù)進(jìn) 行調(diào)整，以獲得M個(gè)第二模型參數(shù)。
[0021] 如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述利用所 述M個(gè)候選模型，獲得所述詞條的M個(gè)歸一化的候選模型輸出值，包括：
[0022] 利用所述M個(gè)候選模型，獲得所述詞條的M個(gè)候選模型輸出值；
[0023] 依據(jù)所述詞條的每個(gè)候選模型輸出值、所述詞條所在文本中其他詞條的候選模型 輸出值，獲得所述詞條的M個(gè)歸一化的候選模型輸出值。
[0024] 如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述評(píng)估模 型包括所述詞條所在文本中所有詞條的標(biāo)準(zhǔn)輸出值，所述利用評(píng)估模型對(duì)所述M個(gè)歸一化 的候選模型輸出值進(jìn)行評(píng)估，以獲得目標(biāo)模型輸出值，包括：
[0025] 針對(duì)每個(gè)所述候選模型，確定所述文本中歸一化的候選模型輸出值最高的K個(gè)詞 條；
[0026] 確定所述文本中所述標(biāo)準(zhǔn)輸出值最高的R個(gè)詞條，R為大于K的整數(shù)；
[0027] 依據(jù)所述文本中歸一化的候選模型輸出值最高的K個(gè)詞條、所述文本中所述標(biāo)準(zhǔn) 輸出值最高的R個(gè)詞條，獲得每個(gè)所述歸一化的候選模型輸出值的評(píng)估結(jié)果；
[0028] 依據(jù)所述評(píng)估結(jié)果，從所述M個(gè)歸一化的候選模型輸出值中選出一個(gè)歸一化的候 選模型輸出值，以作為所述目標(biāo)模型輸出值。
[0029] 本發(fā)明實(shí)施例的一方面，提供一種重要度獲取方法，包括：
[0030] 獲得待處理文本；
[0031] 對(duì)所述待處理文本進(jìn)行切詞處理，以獲得至少一個(gè)詞條；
[0032] 利用目標(biāo)模型，獲得所述至少一個(gè)詞條中每個(gè)所述詞條的目標(biāo)模型輸出值，以作 為每個(gè)所述詞條的重要度；
[0033] 其中，所述目標(biāo)模型為利用權(quán)利要求1至6中任一權(quán)利要求所述的模型的生成方 法生成的。
[0034] 本發(fā)明實(shí)施例的一方面，提供一種模型的生成裝置，包括：
[0035] 構(gòu)建單元，用于依據(jù)獲得的詞條的重要度準(zhǔn)確率、詞條之間的排序準(zhǔn)確率和詞條 之間的區(qū)分度準(zhǔn)確率中至少一個(gè)，構(gòu)建M個(gè)候選模型，M為大于0的整數(shù)；
[0036] 第一獲取單元，用于利用所述M個(gè)候選模型，獲得所述詞條的M個(gè)歸一化的候選模 型輸出值；
[0037] 評(píng)估單元，用于利用評(píng)估模型對(duì)所述M個(gè)歸一化的候選模型輸出值進(jìn)行評(píng)估，以 獲得目標(biāo)模型輸出值，將所述目標(biāo)模型輸出值所對(duì)應(yīng)的候選模型作為目標(biāo)模型。
[0038] 如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述裝置還 包括：
[0039] 第二獲取單元，用于利用初始模型，獲得所述詞條的初始模型輸出值；以及，用于 依據(jù)所述詞條的初始模型輸出值以及所述詞條所在文本中其他詞條的初始模型輸出值，獲 得所述詞條的歸一化的初始模型輸出值；以及，用于依據(jù)所述詞條的歸一化的初始模型輸 出值，獲得所述詞條的重要度準(zhǔn)確率；和/或，依據(jù)所述詞條的歸一化的初始模型輸出值或 者所述詞條的初始模型輸出值，獲得所述詞條之間的排序準(zhǔn)確率；和/或，依據(jù)所述詞條的 歸一化的初始模型輸出值，獲得所述詞條之間的區(qū)分度準(zhǔn)確率。
[0040] 如上所述的方面和任一可能的實(shí)現(xiàn)方式，進(jìn)一步提供一種實(shí)現(xiàn)方式，所述詞條的 重要度準(zhǔn)確率的數(shù)目為N個(gè)，所述詞條之間的排序準(zhǔn)確率的數(shù)目為P個(gè)，詞條之間的區(qū)分度 準(zhǔn)確率的數(shù)目為Q個(gè)，N、P和Q均為正整數(shù)，且不同時(shí)為0,且N、P和Q中至少一個(gè)大于或 者等于2,所述構(gòu)建單元，具體用于：
[0041] 依據(jù)所述詞條的重要度準(zhǔn)確率、所述詞條之間的排序準(zhǔn)確率和所述詞條之間的區(qū) 分度準(zhǔn)確率中至少一個(gè)，獲得K個(gè)目標(biāo)準(zhǔn)確率，K為大于1且小于或等于的整數(shù)；