基于gpu與鄰近海量數(shù)據(jù)快速分析的套餐優(yōu)化系統(tǒng)與方法
【專利摘要】本發(fā)明公開了基于GPU與鄰近海量數(shù)據(jù)快速分析的套餐優(yōu)化系統(tǒng)與方法，所述系統(tǒng)包括參數(shù)輸入模塊，所述參數(shù)輸入模塊將參數(shù)信息分別傳輸給數(shù)據(jù)生成模塊和套餐優(yōu)化模塊，所述數(shù)據(jù)生成模塊將數(shù)據(jù)傳輸給套餐優(yōu)化模塊，所述參數(shù)輸入模塊和數(shù)據(jù)生成模塊均從客戶信息數(shù)據(jù)庫提取信息；所述套餐優(yōu)化模塊包括彼此通信的進(jìn)化算法模塊和GPU加速模塊，所述GPU加速模塊包括若干個套餐適應(yīng)值評估模塊，每個套餐適應(yīng)值評估模塊均包括相似度計算模塊；本發(fā)明能夠?qū)崿F(xiàn)對海量電信數(shù)據(jù)的自動化高速處理，得到與目標(biāo)用戶群體需求高度匹配的套餐方案，避免采用復(fù)雜模型進(jìn)行建模帶來的高時間復(fù)雜度問題，并提高優(yōu)化結(jié)果的可靠性。
【專利說明】基于GPU與鄰近海量數(shù)據(jù)快速分析的套餐優(yōu)化系統(tǒng)與方法
【技術(shù)領(lǐng)域】
[0001]本項目主要涉及電信技術(shù)、高性能計算、以及數(shù)據(jù)挖掘領(lǐng)域，具體的講，涉及基于GPU與鄰近海量數(shù)據(jù)快速分析的套餐優(yōu)化系統(tǒng)與方法。
【背景技術(shù)】
[0002]電信行業(yè)在國民經(jīng)濟中占有重要地位，并且滲透到人們生活的方方面面。一方面，電信運營商在推出新業(yè)務(wù)套餐時，不同的用戶群體具有不同的需求，導(dǎo)致用戶需求的多樣性和復(fù)雜性。另一方面，由于電信運營商的高滲透率以及信息交換與采集的高頻繁度，其擁有的數(shù)據(jù)量極為龐大。電信運營商擁有海量的用戶數(shù)據(jù)、信令數(shù)據(jù)、日志數(shù)據(jù)、流量數(shù)據(jù)、位置數(shù)據(jù)等。因此，急需一種自動化的優(yōu)化設(shè)計技術(shù)，使得可以根據(jù)已有的海量數(shù)據(jù)，針對目標(biāo)用戶群生成具有針對性的可靠的套餐組合。
[0003]然而，由于電信數(shù)據(jù)的數(shù)據(jù)量龐大、數(shù)據(jù)關(guān)系復(fù)雜、數(shù)據(jù)屬性多樣化，數(shù)據(jù)之間的隱含關(guān)系難以通過常規(guī)技術(shù)發(fā)現(xiàn)。此外，海量數(shù)據(jù)帶來的嚴(yán)重弊端是，其建模與仿真的時間復(fù)雜度較高，運算時間很長，在有限的時間內(nèi)難以得到令人滿意的結(jié)果。目前基于復(fù)雜算法的建模方法因其高時間復(fù)雜度，難以被直接應(yīng)用到套餐優(yōu)化；而人工分析法、基于線性回歸法與指數(shù)平滑法等簡單模型得到的結(jié)果則與用戶群體需求的匹配度不高。
[0004]因此，需要解決的問題是如何對海量電信數(shù)據(jù)進(jìn)行快速分析處理，才能最短的時間內(nèi)實現(xiàn)套餐的優(yōu)化設(shè)計，并得到與目標(biāo)用戶群體需求高度匹配的可靠的套餐方案。

【發(fā)明內(nèi)容】

[0005]為了解決上述技術(shù)問題，本發(fā)明提供了一種基于GPU與鄰近海量數(shù)據(jù)快速分析的套餐優(yōu)化系統(tǒng)與方法，能夠?qū)崿F(xiàn)對海量電信數(shù)據(jù)的自動化高速處理，得到與目標(biāo)用戶群體需求高度匹配的套餐方案，避免因采用復(fù)雜模型來建模海量數(shù)據(jù)所引起的高時間復(fù)雜度難題，并提高優(yōu)化結(jié)果的可靠性。
[0006]為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案:
[0007]基于GPU與鄰近海量數(shù)據(jù)快速分析的套餐優(yōu)化系統(tǒng)，包括
[0008]參數(shù)輸入模塊，所述參數(shù)輸入模塊將參數(shù)信息分別傳輸給數(shù)據(jù)生成模塊和套餐優(yōu)化模塊，所述數(shù)據(jù)生成模塊將數(shù)據(jù)傳輸給套餐優(yōu)化模塊，所述參數(shù)輸入模塊和數(shù)據(jù)生成模塊均從數(shù)據(jù)庫中提取數(shù)據(jù)；
[0009]所述數(shù)據(jù)庫中存儲有用戶數(shù)據(jù)信息、套餐數(shù)據(jù)信息。
[0010]所述參數(shù)輸入模塊用于接收、存儲及傳輸使用者輸入的參數(shù)；
[0011]所述數(shù)據(jù)生成模塊用于生成進(jìn)行套餐優(yōu)化所必需的參考?xì)v史數(shù)據(jù)和目標(biāo)歷史數(shù)據(jù)；
[0012]所述套餐優(yōu)化模塊用于根據(jù)參考?xì)v史數(shù)據(jù)、目標(biāo)歷史數(shù)據(jù)以及參數(shù)設(shè)置進(jìn)行套餐優(yōu)化；
[0013]所述套餐優(yōu)化模塊包括彼此通信的進(jìn)化算法模塊和GPU加速模塊，所述GPU加速模塊包括若干個套餐適應(yīng)值評估模塊，每個套餐適應(yīng)值評估模塊均包括相似度計算模塊；
[0014]所述進(jìn)化算法模塊用于根據(jù)適應(yīng)值不斷產(chǎn)生新的可行套餐并對套餐進(jìn)行優(yōu)化；
[0015]所述GPU加速模塊用于對套餐優(yōu)化過程進(jìn)行加速，從而提高優(yōu)化速度；
[0016]所述套餐適應(yīng)值評估模塊用于評價每一款可行套餐的好壞；
[0017]所述相似度計算模塊用于度量兩個向量之間的向量相似度。
[0018]所述參數(shù)輸入模塊包括目標(biāo)用戶選擇模塊、數(shù)據(jù)參數(shù)輸入模塊和算法參數(shù)輸入模塊；
[0019]所述目標(biāo)用戶選擇模塊用于接收、存儲及傳輸系統(tǒng)使用者從數(shù)據(jù)庫中選擇的代表性目標(biāo)用戶；
[0020]所述數(shù)據(jù)參數(shù)輸入模塊，用于接受、存儲及傳輸系統(tǒng)使用者設(shè)置的時間長度及數(shù)據(jù)大?。?br> [0021]所述算法參數(shù)輸入模塊，用于接受、存儲及傳輸系統(tǒng)使用者設(shè)置的進(jìn)化算法參數(shù)及套餐搜索范圍。
[0022]所述數(shù)據(jù)生成模塊包括參考?xì)v史數(shù)據(jù)生成模塊、目標(biāo)歷史數(shù)據(jù)生成模塊和特征向量提取模塊；
[0023]所述參考?xì)v史數(shù)據(jù)生成模塊用于接收參數(shù)輸入模塊傳輸來的參數(shù)，生成并傳輸參考?xì)v史數(shù)據(jù)；
[0024]所述目標(biāo)歷史數(shù)據(jù)生成模塊用于接收參數(shù)輸入模塊傳輸來的參數(shù)，生成并傳輸目標(biāo)歷史數(shù)據(jù)；
[0025]所述特征向量提取模塊，接收參考?xì)v史數(shù)據(jù)生成模塊和目標(biāo)歷史數(shù)據(jù)生成模塊的數(shù)據(jù)，用于從數(shù)據(jù)庫中提取特征向量。
[0026]所述參數(shù)輸入模塊允許是計算機、手機、平板電腦和掌上上網(wǎng)設(shè)備。
[0027]基于GPU與鄰近海量數(shù)據(jù)快速分析的套餐優(yōu)化系統(tǒng)的工作方法，包括如下步驟:
[0028]步驟(I):通過輸入設(shè)備輸入數(shù)據(jù)參數(shù)和算法參數(shù)，根據(jù)目標(biāo)用戶群體選定代表性目標(biāo)用戶、設(shè)定套餐的搜索范圍、設(shè)定時間長度、設(shè)定參考數(shù)據(jù)大小、設(shè)定進(jìn)化算法的計算參數(shù)，所述輸入設(shè)備包括計算機、手機、平板電腦和掌上上網(wǎng)設(shè)備；
[0029]步驟(2):根據(jù)步驟(I)中選定的代表性目標(biāo)用戶，計算機以應(yīng)用時間點之前設(shè)定時間長度內(nèi)的用戶數(shù)據(jù)及其對應(yīng)的套餐數(shù)據(jù)形成原始目標(biāo)數(shù)據(jù)；計算機進(jìn)一步針對原始目標(biāo)數(shù)據(jù)，提取每個用戶特征向量，形成目標(biāo)歷史數(shù)據(jù)；
[0030]步驟(3):根據(jù)步驟(I)中設(shè)定的參考數(shù)據(jù)大小，計算機隨機地從整個數(shù)據(jù)庫范圍內(nèi)提取距離應(yīng)用時間點之前設(shè)定時間長度內(nèi)的用戶數(shù)據(jù)及其對應(yīng)的套餐數(shù)據(jù)作為參考，形成原始參考數(shù)據(jù)；計算機進(jìn)一步針對原始參考數(shù)據(jù)，提取每個用戶特征向量，形成參考?xì)v史數(shù)據(jù)；
[0031]步驟(4):第一步，計算機首先將參考?xì)v史數(shù)據(jù)與目標(biāo)歷史數(shù)據(jù)傳輸?shù)紾PU的全局存儲器中；第二步，對進(jìn)化算法的種群進(jìn)行初始化；第三步，在GPU平臺上對當(dāng)前種群中的所有個體并行執(zhí)行適應(yīng)值評估來評價每一款可行套餐的好壞，其中采用相似度測量發(fā)現(xiàn)鄰近數(shù)據(jù)來預(yù)測用戶接收可行套餐的概率并據(jù)此進(jìn)一步計算可行套餐的適應(yīng)值；第四步，基于得到的適應(yīng)值，根據(jù)進(jìn)化算法中的種群更新策略對種群進(jìn)行更新；第五步，返回第三步繼續(xù)執(zhí)行，直到尋找到一款使得適應(yīng)值針對目標(biāo)用戶群體達(dá)到的最大值的套餐方案。[0032]所述步驟(1)所提及的套餐搜索范圍包括套餐配置中各個項的期望范圍及套餐資費的期望范圍；
[0033]所述步驟(2)和步驟(3)的各特征向量在提取時需進(jìn)行標(biāo)準(zhǔn)化。
[0034]所述步驟(1)和步驟(4)的進(jìn)化算法包括進(jìn)化算法家族的各種優(yōu)化算法:遺傳算法、粒子群算法、分布式估計算法等。
[0035]所述步驟(2)和步驟(3)所提及的用戶特征向量由用戶月度通信習(xí)慣、用戶月度消費、用戶所用套餐配置、用戶所用套餐資費組成；
[0036]所述用戶月度通信習(xí)慣包括用戶按月統(tǒng)計的特征，包括用戶月均通話時長、用戶月均短信數(shù)目、用戶月均上網(wǎng)流量；
[0037]所述用戶所用套餐配置特征為套餐中包含的各個項的配置情況，包括月通話時長、月短信數(shù)目、月上網(wǎng)流量。
[0038]所述步驟(4)包括如下步驟:
[0039]步驟Al:初始化GPU參數(shù)，包括線程塊數(shù)與每個塊的線程數(shù)；
[0040]步驟A2:將參考?xì)v史數(shù)據(jù)和目標(biāo)歷史數(shù)據(jù)傳遞到GPU的全局存儲器；
[0041 ] 步驟A3:隨機初始化進(jìn)化算法的種群，種群中每一個體對應(yīng)一個可行套餐；
[0042]步驟A4:為每一個可行套餐分配一個線程塊，啟動各線程塊并行執(zhí)行；各線程塊并行計算每個線程塊對應(yīng)的可行套餐的適應(yīng)值；
[0043]步驟A5:根據(jù)當(dāng)前采用的進(jìn)化算法中的種群更新策略重新生成新的可行套餐種群;
[0044]步驟A6:若滿足進(jìn)化算法的結(jié)束條件則輸出得到的最佳套餐方案；否則返回步驟A4 ；
[0045]所述步驟A6中所提及的結(jié)束條件包括進(jìn)化算法的各種結(jié)束條件，如達(dá)到最大迭代次數(shù)、若干代最佳套餐未發(fā)生變化。
[0046]所述步驟A4包括如下步驟:
[0047]步驟B1:將目標(biāo)歷史數(shù)據(jù)按當(dāng)前線程塊的線程數(shù)進(jìn)行等量等間隔拆分，設(shè)線程數(shù)
為TN，目標(biāo)歷史數(shù)據(jù)的記錄數(shù)為TDN，則前TN-1個線程分得的記錄數(shù)為
【權(quán)利要求】
1.基于GPU與鄰近海量數(shù)據(jù)快速分析的套餐優(yōu)化系統(tǒng)，其特征是，包括 參數(shù)輸入模塊，所述參數(shù)輸入模塊將參數(shù)信息分別傳輸給數(shù)據(jù)生成模塊和套餐優(yōu)化模塊，所述數(shù)據(jù)生成模塊將數(shù)據(jù)傳輸給套餐優(yōu)化模塊，所述參數(shù)輸入模塊和數(shù)據(jù)生成模塊均從數(shù)據(jù)庫中提取數(shù)據(jù)； 所述數(shù)據(jù)庫中存儲有用戶數(shù)據(jù)信息、套餐數(shù)據(jù)信息； 所述參數(shù)輸入模塊用于接收、存儲及傳輸使用者輸入的參數(shù)； 所述數(shù)據(jù)生成模塊用于生成進(jìn)行套餐優(yōu)化所必需的參考?xì)v史數(shù)據(jù)和目標(biāo)歷史數(shù)據(jù)； 所述套餐優(yōu)化模塊用于根據(jù)參考?xì)v史數(shù)據(jù)、目標(biāo)歷史數(shù)據(jù)以及參數(shù)設(shè)置進(jìn)行套餐優(yōu)化； 所述套餐優(yōu)化模塊包括彼此通信的進(jìn)化算法模塊和GPU加速模塊，所述GPU加速模塊包括若干個套餐適應(yīng)值評估模塊，每個套餐適應(yīng)值評估模塊均包括相似度計算模塊； 所述進(jìn)化算法模塊用于根據(jù)適應(yīng)值不斷產(chǎn)生新的可行套餐并對套餐進(jìn)行優(yōu)化； 所述GPU加速模塊用于對套餐優(yōu)化過程進(jìn)行加速，提高優(yōu)化速度； 所述套餐適應(yīng)值評估模塊用于評價每一款可行套餐的好壞； 所述相似度計算模塊用于度量兩個向量之間的向量相似度。
2.如權(quán)利要求1所述的基于GPU與鄰近海量數(shù)據(jù)快速分析的套餐優(yōu)化系統(tǒng)，其特征是， 所述參數(shù)輸入模塊包括目標(biāo)用戶選擇模塊、數(shù)據(jù)參數(shù)輸入模塊和算法參數(shù)輸入模塊； 所述目標(biāo)用戶選擇模塊用于接收、存儲及傳輸系統(tǒng)使用者從數(shù)據(jù)庫中選擇的代表性目標(biāo)用戶； 所述數(shù)據(jù)參數(shù)輸入模塊，用于接受、存儲及傳輸系統(tǒng)使用者設(shè)置的時間長度及數(shù)據(jù)大小; 所述算法參數(shù)輸入模塊，用于接受、存儲及傳輸系統(tǒng)使用者設(shè)置的進(jìn)化算法參數(shù)及套餐搜索范圍。
3.如權(quán)利要求1所述的基于GPU與鄰近海量數(shù)據(jù)快速分析的套餐優(yōu)化系統(tǒng)，其特征是， 所述數(shù)據(jù)生成模塊包括參考?xì)v史數(shù)據(jù)生成模塊、目標(biāo)歷史數(shù)據(jù)生成模塊和特征向量提取豐吳塊； 所述參考?xì)v史數(shù)據(jù)生成模塊用于接收參數(shù)輸入模塊傳輸來的參數(shù)，生成并傳輸參考?xì)v史數(shù)據(jù)； 所述目標(biāo)歷史數(shù)據(jù)生成模塊用于接收參數(shù)輸入模塊傳輸來的參數(shù)，生成并傳輸目標(biāo)歷史數(shù)據(jù)； 所述特征向量提取模塊，接收參考?xì)v史數(shù)據(jù)生成模塊和目標(biāo)歷史數(shù)據(jù)生成模塊的數(shù)據(jù)，用于從數(shù)據(jù)庫中提取特征向量。
4.如權(quán)利要求1所述的基于GPU與鄰近海量數(shù)據(jù)快速分析的套餐優(yōu)化系統(tǒng)，其特征是， 所述參數(shù)輸入模塊允許是計算機、手機、平板電腦和掌上上網(wǎng)設(shè)備。
5.如上述任一權(quán)利要求所述的基于GPU與鄰近海量數(shù)據(jù)快速分析的套餐優(yōu)化系統(tǒng)的工作方法，其特征是，包括如下步驟: 步驟(1):通過 輸入設(shè)備輸入數(shù)據(jù)參數(shù)和算法參數(shù)，根據(jù)目標(biāo)用戶群體選定代表性目標(biāo)用戶、設(shè)定套餐的搜索范圍、設(shè)定時間長度、設(shè)定參考數(shù)據(jù)大小、設(shè)定進(jìn)化算法的計算參數(shù)，所述輸入設(shè)備包括計算機、手機、平板電腦和掌上上網(wǎng)設(shè)備；步驟(2):根據(jù)步驟(1)中選定的代表性目標(biāo)用戶，計算機以應(yīng)用時間點之前設(shè)定時間長度內(nèi)的用戶數(shù)據(jù)及其對應(yīng)的套餐數(shù)據(jù)形成原始目標(biāo)數(shù)據(jù)；計算機進(jìn)一步針對原始目標(biāo)數(shù)據(jù)，提取每個用戶特征向量，形成目標(biāo)歷史數(shù)據(jù)； 步驟(3):根據(jù)步驟(1)中設(shè)定的參考數(shù)據(jù)大小，計算機隨機地從整個數(shù)據(jù)庫范圍內(nèi)提取距離應(yīng)用時間點之前設(shè)定時間長度內(nèi)的用戶數(shù)據(jù)及其對應(yīng)的套餐數(shù)據(jù)作為參考，形成原始參考數(shù)據(jù)；計算機進(jìn)一步針對原始參考數(shù)據(jù)，提取每個用戶特征向量，形成參考?xì)v史數(shù)據(jù)； 步驟(4): 第一步，計算機首先將參考?xì)v史數(shù)據(jù)與目標(biāo)歷史數(shù)據(jù)傳輸?shù)紾PU的全局存儲器中； 第二步，對進(jìn)化算法的種群進(jìn)行初始化； 第三步，在GPU平臺上對當(dāng)前種群中的所有個體并行執(zhí)行適應(yīng)值評估來評價每一款可行套餐的好壞，其中采用相似度測量發(fā)現(xiàn)鄰近數(shù)據(jù)來預(yù)測用戶接收可行套餐的概率并據(jù)此進(jìn)一步計算可行套餐的適應(yīng)值； 第四步，基于得到的適應(yīng)值，根據(jù)進(jìn)化算法中的種群更新策略對種群進(jìn)行更新； 第五步，返回第三步繼續(xù)執(zhí)行，直到尋找到一款使得適應(yīng)值針對目標(biāo)用戶群體達(dá)到的最大值的套餐方案。
6.如權(quán)利要求5所述的方法，其特征是， 所述步驟(1)所提及的套餐搜索范圍包括套餐配置中各個項的期望范圍及套餐資費的期望范圍； 所述步驟(2)和步驟(3)的各特征向量在提取時需進(jìn)行標(biāo)準(zhǔn)化； 所述步驟(1)和步驟(4)的進(jìn)化算法包括進(jìn)化算法家族的各種優(yōu)化算法。
7.如權(quán)利要求5所述的方法，其特征是， 所述步驟(2)和步驟(3)所提及的用戶特征向量由用戶月度通信習(xí)慣、用戶月度消費、用戶所用套餐配置、用戶所用套餐資費組成； 所述用戶月度通信習(xí)慣包括用戶按月統(tǒng)計的特征，包括用戶月均通話時長、用戶月均短信數(shù)目、用戶月均上網(wǎng)流量； 所述用戶所用套餐配置特征為套餐中包含的各個項的配置情況，包括月通話時長、月短信數(shù)目、月上網(wǎng)流量。
8.如權(quán)利要求5所述的方法，其特征是， 所述步驟(4)包括如下步驟: 步驟Al:初始化GPU參數(shù)，包括線程塊數(shù)與每個塊的線程數(shù)； 步驟A2:將參考?xì)v史數(shù)據(jù)和目標(biāo)歷史數(shù)據(jù)傳遞到GPU的全局存儲器； 步驟A3:隨機初 始化進(jìn)化算法的種群，種群中每一個體對應(yīng)一個可行套餐； 步驟A4:為每一個可行套餐分配一個線程塊，啟動各線程塊并行執(zhí)行；各線程塊并行計算每個線程塊對應(yīng)的可行套餐的適應(yīng)值； 步驟A5:根據(jù)當(dāng)前采用的進(jìn)化算法中的種群更新策略重新生成新的可行套餐種群；步驟A6:若滿足進(jìn)化算法的結(jié)束條件則輸出得到的最佳套餐方案；否則返回步驟A4 ；所述步驟A6中所提及的結(jié)束條件包括進(jìn)化算法的各種結(jié)束條件，如達(dá)到最大迭代次數(shù)、若干代最佳套餐未發(fā)生變化。
9.如權(quán)利要求8所述的方法，其特征是， 所述步驟A4包括如下步驟: 步驟B1:將目標(biāo)歷史數(shù)據(jù)按當(dāng)前線程塊的線程數(shù)進(jìn)行等量等間隔拆分，設(shè)線程數(shù)為TN，目標(biāo)歷史數(shù)據(jù)的記錄數(shù)為TDN，則前TN-1個線程分得的記錄數(shù)為
10.如權(quán)利要求9所述的方法，其特征是，所述步驟B3的具體步驟為: 步驟B3.1:計算參考數(shù)據(jù)中通信習(xí)慣、月度消費形成的向量和該目標(biāo)用戶的通信習(xí)慣、月度消費形成的向量之間的向量相似度；篩選出相似度優(yōu)于一定閾值的參考用戶記錄，并記錄下相似參考用戶的記錄數(shù)M ； 步驟B3.2:計算篩選后數(shù)據(jù)中所有所用套餐配置、所用套餐資費形成的向量和當(dāng)前待估的可行套餐的套餐配置、套餐資費形成的向量之間的向量相似度；從篩選后數(shù)據(jù)中篩選出相似度優(yōu)于一定閾值的參考用戶記錄，記錄篩選后的記錄數(shù)N ; 步驟B3.3:計算N/M作為該目標(biāo)用戶使用該可行套餐的概率P ； 所述步驟B3.1和B3.2中所提及的向量相似度包括各種向量相似度的測量方法。
【文檔編號】G06N3/12GK103793764SQ201410046395
【公開日】2014年5月14日 申請日期:2014年2月10日 優(yōu)先權(quán)日:2014年2月10日
【發(fā)明者】王琳, 楊波 申請人:濟南大學(xué)