本發(fā)明涉及到網(wǎng)絡(luò)技術(shù)中數(shù)據(jù)挖掘和數(shù)據(jù)分析等技術(shù)。

技術(shù)背景

隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)信息呈爆炸式增長,使我們?cè)诿鎸?duì)海量信息時(shí)無法準(zhǔn)確獲取真正需要的信息，這導(dǎo)致了信息的使用率降低，信息超載問題隨即而來。隨著網(wǎng)絡(luò)信息的增長，這種信息超載問題也會(huì)日益嚴(yán)重，解決信息超載問題的方法有多種，這些方法中最有潛力的方法是推薦系統(tǒng)。推薦系統(tǒng)可以根據(jù)用戶個(gè)性化的需求，將用戶所感興趣的產(chǎn)品或信息展現(xiàn)給用戶。推薦系統(tǒng)首先考慮用戶的興趣愛好，根據(jù)用戶的興趣愛好做個(gè)性化的計(jì)算，最后系統(tǒng)可以挖掘出每一位用戶的興趣愛好，從而可以根據(jù)用戶的興趣愛好向用戶進(jìn)行信息的推薦。

推薦系統(tǒng)很早就有人開始研究，因?yàn)槠淞己玫膶?shí)用性和極具潛力的商業(yè)價(jià)值，一直受到科研工作者和商務(wù)人士的追捧，因而其發(fā)展的腳步從未停下，從大眾化推薦到個(gè)性化推薦都被廣泛應(yīng)用。期間產(chǎn)生了種類繁多的推薦技術(shù)，這些技術(shù)各有特點(diǎn)，效果不一，每種技術(shù)都會(huì)有各自的優(yōu)勢和劣勢。但是到目前為止尚沒有一種推薦算法適合所有的應(yīng)用場景，對(duì)于不同的實(shí)際應(yīng)用通常要選擇合適的推薦技術(shù)，通過一種或者幾種技術(shù)的結(jié)合，來使得推薦效果盡可能達(dá)到最佳。

目前個(gè)性化推薦的發(fā)展，最為廣泛，也最受人們歡迎。在互聯(lián)網(wǎng)里，個(gè)性化推薦幾乎被應(yīng)用在各個(gè)領(lǐng)域里，不同行業(yè)都在通過個(gè)性化推薦推廣自己的產(chǎn)品或服務(wù)。個(gè)性化推薦的應(yīng)用除了能給用戶帶來更好的體驗(yàn)外，也為行業(yè)帶去了豐厚的利潤。個(gè)性化推薦技術(shù)的廣泛使用使人們的生活變得更加方便，從某種程度講，它正在影響人們的生活習(xí)慣。

隨著互聯(lián)網(wǎng)的快速發(fā)展，推薦系統(tǒng)也面臨著大數(shù)據(jù)問題。如何能在短時(shí)間內(nèi)將海量信息推薦給數(shù)以千萬計(jì)的用戶成為推薦系統(tǒng)所面臨的嚴(yán)峻挑戰(zhàn)。同時(shí)，大數(shù)據(jù)的來臨也帶來了機(jī)遇，充分利用產(chǎn)生的原始的海量旅游數(shù)據(jù)，快速、準(zhǔn)確地對(duì)海量旅行數(shù)據(jù)進(jìn)行挖掘，為游客提供更加個(gè)性化的旅游服務(wù)推薦，是推薦系統(tǒng)一個(gè)重要研究方向。Spark平臺(tái)是目前最流行的大數(shù)據(jù)處理平臺(tái)，將Spark平臺(tái)與推薦系統(tǒng)進(jìn)行結(jié)合，可以顯著提升推薦系統(tǒng)的性能。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提出一種基于Spark平臺(tái)的個(gè)性化推薦系統(tǒng)，是將推薦算法和大數(shù)據(jù)處理平臺(tái)Spark進(jìn)行結(jié)合，提高推薦系統(tǒng)的效率和精準(zhǔn)率。

本系統(tǒng)分為二個(gè)兩個(gè)步驟，第一步是選擇相應(yīng)的推薦算法。第二步是在Spark平臺(tái)上并行化實(shí)現(xiàn)推薦算法。最后整合系統(tǒng)為用戶推薦個(gè)性化和精準(zhǔn)化的信息。

附圖說明

圖1為推薦算法執(zhí)行流程

圖2為基于Spark平臺(tái)推薦算法并行化實(shí)現(xiàn)的框架設(shè)計(jì)

圖3為基于Spark推薦算法并行化執(zhí)行設(shè)計(jì)

具體實(shí)施方法

首先獲取用戶歷史行為信息，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，將處理后的信息存入數(shù)據(jù)庫中，方便之后的信息處理模塊對(duì)其進(jìn)行分析處理。其次設(shè)計(jì)推薦算法在Spark平臺(tái)上的并行化框架，提高推薦的效率。最后整合系統(tǒng)，為用戶推薦個(gè)性化和精準(zhǔn)化的信息。