一種基于大數(shù)據(jù)雙向推薦的深度學(xué)習(xí)方法及雙向推薦裝置的制造方法
【專利摘要】本發(fā)明涉及一種基于大數(shù)據(jù)雙向推薦的深度學(xué)習(xí)方法及雙向推薦裝置，屬于人工智能和機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域；其在大數(shù)據(jù)平臺(tái)環(huán)境下，解決了社會(huì)化網(wǎng)絡(luò)體系之中互為主體和客體的人與人之間穿越信息墻的問題。作為主客體雙向信息反饋的個(gè)性化推薦方法，其將主體與客體都作為評(píng)價(jià)對(duì)象，從兩個(gè)方向建立用戶評(píng)價(jià)矩陣和項(xiàng)目評(píng)價(jià)矩陣，利用消息反饋機(jī)制建立了主客體雙向推薦模式，并利用匹配技術(shù)對(duì)雙向的相似度矩陣進(jìn)行二次匹配融合。本發(fā)明徹底改變了單向推薦模式中主體或客體一方獲取推薦的方法，而是用機(jī)器學(xué)習(xí)方法建立了主體與客體相互關(guān)聯(lián)的推薦模式，開創(chuàng)了利用深度學(xué)習(xí)對(duì)大數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析的新領(lǐng)域。
【專利說明】
一種基于大數(shù)據(jù)雙向推薦的深度學(xué)習(xí)方法及雙向推薦裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種基于大數(shù)據(jù)雙向推薦的深度學(xué)習(xí)方法及雙向推薦裝置，屬于人工 智能和機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 隨著大數(shù)據(jù)時(shí)代的到來，人們逐漸從信息匱乏的時(shí)代走入了信息過載的時(shí)代。結(jié) 構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)量的爆發(fā)性增長在信息的消費(fèi)者和生產(chǎn)者之間豎起了一道龐大 的信息墻。人腦在面對(duì)海量的數(shù)據(jù)時(shí)，難以找到自己感興趣的信息。信息的生產(chǎn)者也很難讓 自己的信息準(zhǔn)確的傳遞到有需要的人面前。為了解決信息過載的問題，在搜索引擎之后，推 薦系統(tǒng)誕生并作為一種幫助用戶快速發(fā)現(xiàn)有用信息的工具?，F(xiàn)有的推薦系統(tǒng)是通過分析用 戶的歷史行為和需求，進(jìn)行用戶畫像，從而向用戶主動(dòng)推薦他們所感興趣的信息。協(xié)同過濾 方法是推薦系統(tǒng)中最具代表性的方法。協(xié)同過濾算法根據(jù)信息消費(fèi)者已瀏覽或關(guān)心的信 息，通過大數(shù)據(jù)分析來推導(dǎo)出消費(fèi)者還可能感興趣的信息。雖然這個(gè)方法通過信息的過濾 以及智能篩選解決了信息消費(fèi)者在選擇時(shí)的迷茫，但是，它仍然是一種單向的信息到人的 傳遞過程。其主要是利用計(jì)算項(xiàng)目的相似度和用戶對(duì)項(xiàng)目的評(píng)價(jià)數(shù)據(jù)來向用戶推薦信息， 它忽略了項(xiàng)目也可以作為評(píng)價(jià)主體，也需要從海量信息中獲得感興趣的用戶信息。例如，如 果商家作為項(xiàng)目，那么除了商家向用戶推薦商品外，機(jī)器學(xué)習(xí)還應(yīng)當(dāng)具備將潛在用戶推薦 給商家的能力。所以，這里需要明確的是，人工智能與機(jī)器學(xué)習(xí)的初衷并不僅僅是實(shí)現(xiàn)一種 信息的有效過濾和傳遞，而是在實(shí)現(xiàn)機(jī)器智能的基礎(chǔ)上，更好的為人與人服務(wù)，為整個(gè)社會(huì) 化網(wǎng)絡(luò)服務(wù)。這也是信息傳遞的根本任務(wù)，即更高效的建立人與人之間的聯(lián)系。所以，現(xiàn)有 的推薦方法只是實(shí)現(xiàn)了信息生產(chǎn)者提交的信息更有效的傳遞到信息消費(fèi)者，但是，并沒有 考慮到信息消費(fèi)者也在生產(chǎn)信息，只有這些信息也有效的傳遞到所需要的人的時(shí)候，在海 量信息墻兩端的人們才會(huì)建立起個(gè)性化的聯(lián)系。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是為了克服已有技術(shù)的缺陷，為了解決人與人跨越信息墻并建立有 機(jī)聯(lián)系的問題，提出一種基于大數(shù)據(jù)雙向推薦的深度學(xué)習(xí)方法及雙向推薦裝置;其在大數(shù) 據(jù)平臺(tái)環(huán)境下，解決了社會(huì)化網(wǎng)絡(luò)體系之中互為主體和客體的人與人之間穿越信息墻的問 題;作為主客體雙向信息反饋的個(gè)性化推薦方法，其將主體與客體都作為評(píng)價(jià)對(duì)象，從兩個(gè) 方向建立用戶評(píng)價(jià)矩陣和項(xiàng)目評(píng)價(jià)矩陣，利用消息反饋機(jī)制建立了主客體雙向推薦模式， 并利用匹配技術(shù)對(duì)雙向的相似度矩陣進(jìn)行二次匹配融合。
[0004] 本發(fā)明的目的是通過下述技術(shù)方案實(shí)現(xiàn)的：
[0005] -種基于大數(shù)據(jù)雙向推薦的深度學(xué)習(xí)方法，其基本實(shí)施過程如下：
[0006] 1)確定主體與客體的關(guān)系，定義協(xié)同過濾的方向和流程；
[0007] 在這個(gè)方法中，用戶與項(xiàng)目互為信息傳遞的主體和客體。其機(jī)器學(xué)習(xí)的過程，不僅 僅要收集用戶對(duì)項(xiàng)目的評(píng)價(jià)數(shù)據(jù)，還需要收集項(xiàng)目對(duì)用戶的評(píng)價(jià)數(shù)據(jù)。這里，將向用戶推薦 信息的過程稱為"正向過程"，將向項(xiàng)目推薦信息的過程稱為"逆向過程"。正向過程和逆向 過程同時(shí)進(jìn)行，并進(jìn)行匹配運(yùn)算。
[0008] 2)提取用戶評(píng)價(jià)數(shù)據(jù)，即用戶對(duì)項(xiàng)目的興趣度評(píng)分值，構(gòu)造用戶評(píng)價(jià)矩陣；
[0009] 例如，利用深度學(xué)習(xí)的推薦方法執(zhí)行葡萄酒的購買和銷售過程，那么用戶是購買 葡萄酒的人，項(xiàng)目是葡萄酒，用戶評(píng)價(jià)數(shù)據(jù)就是買家對(duì)不同類型葡萄酒的評(píng)分，評(píng)估酒的味 道，價(jià)格和質(zhì)量等。用戶評(píng)價(jià)矩陣由用戶對(duì)項(xiàng)目的評(píng)分構(gòu)成。每一個(gè)行向量由某個(gè)用戶對(duì)各 個(gè)項(xiàng)目的評(píng)分值組成。
[0010] 3)在用戶評(píng)價(jià)數(shù)據(jù)中提取每個(gè)項(xiàng)目被所有用戶的評(píng)價(jià)數(shù)據(jù)，構(gòu)成項(xiàng)目特征行向 量，由所有項(xiàng)目的特征行向量構(gòu)成項(xiàng)目特征矩陣;利用相似度算法，計(jì)算各個(gè)項(xiàng)目之間的相 似度，構(gòu)造項(xiàng)目相似度矩陣；
[0011] 4)提取項(xiàng)目評(píng)價(jià)數(shù)據(jù)，項(xiàng)目評(píng)分并不是項(xiàng)目對(duì)用戶的直接評(píng)分，而是項(xiàng)目的執(zhí)行 人對(duì)用戶的評(píng)分；
[0012] 例如，利用深度學(xué)習(xí)的推薦方法執(zhí)行葡萄酒的購買和銷售過程，那么用戶是購買 葡萄酒的人，項(xiàng)目是葡萄酒，項(xiàng)目評(píng)價(jià)數(shù)據(jù)就是葡萄酒商家對(duì)用戶的評(píng)分，評(píng)估用戶的口 味，購買力和購買偏好等。用項(xiàng)目評(píng)價(jià)數(shù)據(jù)來構(gòu)造項(xiàng)目評(píng)價(jià)矩陣。每一個(gè)行向量由某個(gè)項(xiàng)目 對(duì)各個(gè)用戶的評(píng)分值組成。
[0013] 5)在項(xiàng)目評(píng)價(jià)數(shù)據(jù)中提取每個(gè)用戶被所有項(xiàng)目的評(píng)價(jià)數(shù)據(jù)，構(gòu)成用戶特征行向 量，由所有用戶的特征行向量構(gòu)成用戶特征矩陣;利用相似度算法，計(jì)算各個(gè)用戶之間的相 似度，構(gòu)造用戶相似度矩陣。
[0014] 6)利用用戶評(píng)價(jià)矩陣和項(xiàng)目相似度矩陣進(jìn)行運(yùn)算，利用用戶評(píng)價(jià)值高的項(xiàng)目，在 項(xiàng)目相似度矩陣?yán)镎业狡渌麧撛陧?xiàng)目，在以用戶為行，項(xiàng)目為列的矩陣中，將潛在項(xiàng)目的評(píng) 分值標(biāo)為1，其他值為零;這樣就構(gòu)造了用戶推薦矩陣；
[0015] 7)利用項(xiàng)目評(píng)價(jià)矩陣和用戶相似度矩陣進(jìn)行運(yùn)算，利用項(xiàng)目評(píng)價(jià)值高的項(xiàng)目，在 用戶相似度矩陣?yán)镎业狡渌麧撛谟脩簦谝皂?xiàng)目為行，用戶為列的矩陣中，將潛在用戶的評(píng) 分值標(biāo)為1，其他值為零;這樣就構(gòu)造了項(xiàng)目推薦矩陣；
[0016] 8)將用戶推薦矩陣和項(xiàng)目推薦矩陣之一轉(zhuǎn)置后進(jìn)行矩陣與運(yùn)算，得到用戶與項(xiàng)目 的匹配推薦矩陣;此矩陣中的非零值標(biāo)志著無論從正向還是逆向推薦的角度考慮，都能達(dá) 到潛在推薦效果的用戶-項(xiàng)目匹配對(duì)；
[0017] 9)對(duì)匹配推薦矩陣?yán)庙?xiàng)目評(píng)價(jià)矩陣和用戶評(píng)價(jià)矩陣一起進(jìn)行匹配驗(yàn)證運(yùn)算，將 匹配推薦矩陣中推薦的用戶或項(xiàng)目中評(píng)分較低的項(xiàng)目或用戶去除即得到匹配推薦矩陣。
[0018] -種基于大數(shù)據(jù)的雙向推薦裝置，包括用戶評(píng)價(jià)與推薦模塊，項(xiàng)目評(píng)價(jià)與推薦模 塊，匹配推薦模塊;用戶評(píng)價(jià)與推薦模塊和項(xiàng)目評(píng)價(jià)與推薦模塊分別與匹配推薦模塊相連；
[0019] 用戶評(píng)價(jià)與推薦模塊作為用戶評(píng)價(jià)數(shù)據(jù)的輸入端，獲得用戶針對(duì)項(xiàng)目的評(píng)價(jià)數(shù) 據(jù)，并以其構(gòu)建用戶評(píng)價(jià)矩陣，然后對(duì)其進(jìn)行特征提取及項(xiàng)目相似度運(yùn)算，接下來基于相似 度運(yùn)算結(jié)果結(jié)合用戶評(píng)價(jià)矩陣進(jìn)行用戶推薦以得到用戶推薦矩陣；
[0020] 項(xiàng)目評(píng)價(jià)與推薦模塊將項(xiàng)目作為評(píng)價(jià)主體，輸入端為項(xiàng)目對(duì)用戶的評(píng)價(jià)數(shù)據(jù)，以 該數(shù)據(jù)構(gòu)建項(xiàng)目評(píng)價(jià)矩陣，并對(duì)其進(jìn)行特征提取及用戶相似度運(yùn)算，然后基于相似度運(yùn)算 結(jié)果結(jié)合項(xiàng)目評(píng)價(jià)矩陣進(jìn)行項(xiàng)目推薦以得到項(xiàng)目推薦矩陣；
[0021] 匹配推薦模塊用于綜合用戶推薦結(jié)果和項(xiàng)目推薦結(jié)果得到匹配推薦矩陣，然后對(duì) 該矩陣再次利用初始用戶評(píng)價(jià)數(shù)據(jù)和項(xiàng)目評(píng)價(jià)數(shù)據(jù)進(jìn)行驗(yàn)證，獲得最終的配對(duì)推薦矩陣。
[0022] 有益效果
[0023] 本發(fā)明方法，對(duì)比已有的個(gè)性化推薦技術(shù)，改單向信息推薦為雙向配對(duì)型推薦，進(jìn) 一步提升了推薦的信息可靠性，能夠更有效的解決在大數(shù)據(jù)時(shí)代，社會(huì)化網(wǎng)絡(luò)體系之中的 人與人之間穿越信息墻的問題，開創(chuàng)了利用深度學(xué)習(xí)對(duì)大數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析的新領(lǐng)域。 同時(shí)，進(jìn)一步轉(zhuǎn)變和明確了人工智能的思路，人工智能的最終目的，不僅僅是建立純粹獨(dú)立 的機(jī)器智能應(yīng)用，還要利用深度學(xué)習(xí)方法，更好的建立人與人之間的聯(lián)系，最終為人類服 務(wù)。
【附圖說明】
[0024] 圖1為本發(fā)明實(shí)施例一種基于大數(shù)據(jù)的雙向推薦裝置結(jié)構(gòu)示意圖；
[0025] 圖2為本發(fā)明實(shí)施例一種基于大數(shù)據(jù)雙向推薦的深度學(xué)習(xí)方法的流程示意圖；
[0026] 圖3為本發(fā)明實(shí)施例用戶評(píng)價(jià)矩陣內(nèi)容示意圖；
[0027] 圖4為本發(fā)明實(shí)施例項(xiàng)目評(píng)價(jià)矩陣內(nèi)容示意圖；
[0028] 圖5為本發(fā)明實(shí)施例項(xiàng)目特征矩陣內(nèi)容示意圖；
[0029] 圖6為本發(fā)明實(shí)施例用戶特征矩陣內(nèi)容示意圖；
[0030] 圖7為本發(fā)明實(shí)施例用戶相似度矩陣內(nèi)容示意圖；
[0031] 圖8為本發(fā)明實(shí)施例項(xiàng)目相似度矩陣內(nèi)容示意圖；
[0032] 圖9為本發(fā)明實(shí)施例用戶推薦矩陣內(nèi)容示意圖；
[0033] 圖10為本發(fā)明實(shí)施例項(xiàng)目推薦矩陣內(nèi)容示意圖；
[0034] 圖11為本發(fā)明實(shí)施例匹配推薦矩陣內(nèi)容示意圖；
[0035] 圖12為本發(fā)明實(shí)施例配對(duì)推薦矩陣內(nèi)容示意圖。
【具體實(shí)施方式】
[0036] 下面結(jié)合附圖對(duì)本發(fā)明方法的實(shí)施方式做詳細(xì)說明。
[0037] 如圖2所示為一種基于大數(shù)據(jù)雙向推薦的深度學(xué)習(xí)方法的流程示意圖，下面以人 才招聘為例說明該方法的實(shí)施過程，具體包括以下步驟：
[0038] 步驟一、確定主體與客體的關(guān)系，定義協(xié)同過濾的方向和流程；
[0039] 在本實(shí)例中，確定用戶、項(xiàng)目和項(xiàng)目主體分別如下：
[0040] 用戶為求職者，其提供個(gè)人簡歷信息，并對(duì)獲得的職位信息進(jìn)行評(píng)價(jià)；
[0041] 項(xiàng)目為職位信息；
[0042] 項(xiàng)目主體為企業(yè)，企業(yè)除了發(fā)布職位信息吸引求職者外，還對(duì)獲得的求職者信息 進(jìn)行評(píng)價(jià)。
[0043]這樣，就可以在雙向評(píng)價(jià)的基礎(chǔ)上來實(shí)現(xiàn)雙向推薦的機(jī)器學(xué)習(xí)過程。
[0044] 步驟二、提取用戶評(píng)價(jià)數(shù)據(jù)和項(xiàng)目評(píng)價(jià)數(shù)據(jù)，以用戶為行，項(xiàng)目為列來構(gòu)造用戶評(píng) 價(jià)矩陣，以項(xiàng)目為行，用戶為列來構(gòu)造項(xiàng)目評(píng)價(jià)矩陣。
[0045] 收集評(píng)價(jià)數(shù)據(jù)，其包括用戶對(duì)項(xiàng)目（職位)的評(píng)價(jià)信息和項(xiàng)目主體(企業(yè))對(duì)用戶的 評(píng)價(jià)信息，將兩部分?jǐn)?shù)據(jù)分別進(jìn)行處理，得到用戶評(píng)價(jià)矩陣和項(xiàng)目評(píng)價(jià)矩陣。如圖3所示，在 用戶評(píng)價(jià)矩陣中，是把每個(gè)用戶評(píng)價(jià)過的項(xiàng)目進(jìn)行整合，沒有評(píng)價(jià)過的設(shè)置為〇。那么對(duì)于 用戶1來說，其評(píng)價(jià)行向量為[2.5,3.0,5.0,2.3,2.6，1.9,0,0,0]。如圖4所示，在項(xiàng)目評(píng)價(jià) 矩陣中，是把每個(gè)項(xiàng)目主體評(píng)價(jià)過的用戶進(jìn)行整合，沒有評(píng)價(jià)過的設(shè)置為〇。那么對(duì)于項(xiàng)目 主體來說，其第一條評(píng)價(jià)行向量為[3.1，3.9,2.6,5.0,0,0]。在本實(shí)例中，評(píng)分的取值范圍 是[0，5]。
[0046] 為了提高效率，兩個(gè)評(píng)價(jià)矩陣的構(gòu)造，可以利用分布式并行方法進(jìn)行矩陣化的數(shù) 據(jù)處理。在本例中，使用Hadoop平臺(tái)，利用兩個(gè)Job任務(wù)進(jìn)行矩陣化的數(shù)據(jù)處理，建立用戶評(píng) 價(jià)矩陣E u和項(xiàng)目評(píng)價(jià)矩陣EP。
[0047] 步驟三、分別將用戶評(píng)價(jià)矩陣Eu和項(xiàng)目評(píng)價(jià)矩陣匕轉(zhuǎn)置得到項(xiàng)目特征矩陣!^和用 戶特征矩陣Tu，同前，本例中，這兩個(gè)特征矩陣的構(gòu)造也分別用兩個(gè)Job任務(wù)來完成，構(gòu)造后 的矩陣如圖5和圖6所示。
[0048] 步驟四、在項(xiàng)目特征矩陣TjP用戶特征矩陣Tu中，依次計(jì)算各個(gè)行向量之間的曼哈 頓距離，分別得到各個(gè)行向量之間的相似度，構(gòu)成項(xiàng)目相似度矩陣叫和用戶相似度矩陣D u。 則相似度矩陣的構(gòu)造過程如下：
[0049] DP(Pi,Pj) = ( |E(Ui/Pi)-E(Ui/Pj) | + |E(U2/Pi)-E(U2/Pj) | + . . . + |E(Un/Pi)-E(Un/Pj) )/δη
[0050] Du(Ui,Uj) = ( |E(Pi/Ui)-E(Pi/Uj) | + |E(P2/Ui)-E(P2/Uj) | + . . . + |E(Pm/Ui)-E(Pm/Uj) )/δπι
[0051] 其中，Pi代表項(xiàng)目特征矩陣中第i個(gè)項(xiàng)目的用戶評(píng)價(jià)向量，E^i/Pj)代表第一個(gè)用 戶對(duì)第j個(gè)項(xiàng)目的評(píng)價(jià)值，EOJk/PO代表第k個(gè)用戶(ke[l， n])對(duì)第i個(gè)項(xiàng)目的評(píng)價(jià)值，n表示 總的用戶數(shù)目。
[0052] Ui代表用戶特征矩陣中第i個(gè)用戶的項(xiàng)目評(píng)價(jià)向量，E(Pi/Ui)代表第一個(gè)項(xiàng)目對(duì)第 i個(gè)用戶的評(píng)價(jià)值，E(Pk/Ui)代表第k個(gè)項(xiàng)目（ke [1，m])對(duì)第i個(gè)用戶的評(píng)價(jià)值，m表示總的項(xiàng) 目數(shù)目。
[0053]由于本實(shí)施例中，評(píng)分的取值范圍是[0,5]，因此δ = 5,得到的用戶相似度矩陣Du 和項(xiàng)目相似度矩陣DP如圖7、圖8所示。
[0054]當(dāng)然，相似度矩陣的構(gòu)造算法不限于本實(shí)施例中的曼哈頓距離，任何能夠表征出 兩個(gè)向量相似度的算法都適用，只要根據(jù)不同的算法調(diào)整后續(xù)步驟相應(yīng)的取值適于本發(fā)明 的思想即可。
[0055] 步驟五，根據(jù)項(xiàng)目相似度矩陣叫和用戶評(píng)價(jià)矩陣Eu來計(jì)算用戶推薦矩陣U-P，并根 據(jù)用戶相似度矩陣D u和項(xiàng)目評(píng)價(jià)矩陣匕來計(jì)算項(xiàng)目推薦矩陣P-U。
[0056] 首先，基于用戶評(píng)價(jià)值最高的項(xiàng)目，根據(jù)項(xiàng)目相似度，設(shè)定相似度的閾值δ。此閾值 的取值范圍一般在0.3到0.6之間，需要根據(jù)實(shí)際項(xiàng)目的情況自行指定。在項(xiàng)目相似度矩陣 里進(jìn)行遍歷運(yùn)算，找到所有低于此閾值S的項(xiàng)目。本實(shí)施例中4 = 0.34。由于本實(shí)施例中采 用曼哈頓距離作為相似度的度量，因此，其距離越小，相似度越高。此處亦可采用其它方法 計(jì)算相似度。接下來構(gòu)造以用戶為行，項(xiàng)目為列的矩陣，將類似項(xiàng)目的評(píng)分值標(biāo)為1，其他值 為零;這樣就構(gòu)造了由值〇和1構(gòu)成的用戶推薦矩陣U-P，如圖9所示。
[0057] 其次，基于項(xiàng)目評(píng)價(jià)值最高的用戶，根據(jù)用戶相似度，設(shè)定相似度的閾值μ。在用戶 相似度矩陣?yán)镞M(jìn)行遍歷運(yùn)算，找到所有低于此閾值μ的用戶。本實(shí)施例中，μ = 〇.36。并構(gòu)造 以項(xiàng)目為行，用戶為列的矩陣，將類似用戶的評(píng)分值標(biāo)為1，其他值為零;構(gòu)造完成由值〇和1 構(gòu)成的項(xiàng)目推薦矩陣Ρ-υ，如圖10所示。
[0058] 步驟六，將項(xiàng)目推薦矩陣P-U和用戶推薦矩陣U-P作為輸入，將用戶推薦矩陣U- P進(jìn)行轉(zhuǎn)置，并將轉(zhuǎn)置后的矩陣與項(xiàng)目推薦矩陣P-U進(jìn)行矩陣的與運(yùn)算，得到經(jīng)過匹配后的 推薦矩陣Rup，如圖11所示。其作為雙向推薦過程的初始結(jié)果，用作計(jì)算配對(duì)推薦矩陣時(shí)的輸 入數(shù)據(jù)。
[0059] 步驟七，分別提取匹配后的推薦矩陣RUP中的用戶推薦結(jié)果和項(xiàng)目推薦結(jié)果，并將 結(jié)果按照如下方式與用戶評(píng)價(jià)矩陣和項(xiàng)目評(píng)價(jià)矩陣進(jìn)行比較驗(yàn)證:首先定義一個(gè)驗(yàn)證閾 值r，本實(shí)施例中r = 3.0,然后找到用戶推薦結(jié)果的值在用戶評(píng)價(jià)矩陣中對(duì)應(yīng)的值F，如果值 F小于閾值r，則將推薦矩陣RDUP中對(duì)應(yīng)的元素改置為0;同理，根據(jù)項(xiàng)目推薦結(jié)果的值找到項(xiàng) 目評(píng)價(jià)矩陣中對(duì)應(yīng)的值，將小于閾值的元素改置為0。驗(yàn)證完成之后，即得到配對(duì)推薦矩陣 RDUP，如圖12所示。這樣，就進(jìn)一步提高了推薦數(shù)據(jù)的精準(zhǔn)度，使得用戶和項(xiàng)目雙方都可獲得 高質(zhì)量的推薦數(shù)據(jù)。
[0060] 自此，就實(shí)現(xiàn)了一種雙向的機(jī)器學(xué)習(xí)推薦方法，解決了社會(huì)化網(wǎng)絡(luò)體系之中互為 主體和客體的人與人之間穿越信息墻的問題，開創(chuàng)了利用深度學(xué)習(xí)對(duì)大數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分 析的新領(lǐng)域。
[0061] 基于上述一種基于大數(shù)據(jù)雙向推薦的深度學(xué)習(xí)方法，本發(fā)明還實(shí)現(xiàn)了一套基于大 數(shù)據(jù)的雙向推薦裝置，其結(jié)構(gòu)示意圖如圖1所示，從圖中可以看出，該裝置包括用戶評(píng)價(jià)與 推薦模塊，項(xiàng)目評(píng)價(jià)與推薦模塊，匹配推薦模塊;用戶評(píng)價(jià)與推薦模塊和項(xiàng)目評(píng)價(jià)與推薦模 塊分別與匹配推薦模塊相連;其中用戶評(píng)價(jià)與推薦模塊作為用戶評(píng)價(jià)數(shù)據(jù)的輸入端，獲得 用戶針對(duì)項(xiàng)目的評(píng)價(jià)數(shù)據(jù)，并以其構(gòu)建用戶評(píng)價(jià)矩陣，然后對(duì)其進(jìn)行特征提取及項(xiàng)目相似 度運(yùn)算，接下來基于相似度運(yùn)算結(jié)果結(jié)合用戶評(píng)價(jià)矩陣進(jìn)行用戶推薦以得到用戶推薦矩 陣;項(xiàng)目評(píng)價(jià)與推薦模塊將項(xiàng)目作為評(píng)價(jià)主體，輸入端為項(xiàng)目對(duì)用戶的評(píng)價(jià)數(shù)據(jù)，以該數(shù)據(jù) 構(gòu)建項(xiàng)目評(píng)價(jià)矩陣，并對(duì)其進(jìn)行特征提取及用戶相似度運(yùn)算，然后基于相似度運(yùn)算結(jié)果結(jié) 合項(xiàng)目評(píng)價(jià)矩陣進(jìn)行項(xiàng)目推薦以得到項(xiàng)目推薦矩陣;匹配推薦模塊用于綜合用戶推薦結(jié)果 和項(xiàng)目推薦結(jié)果得到匹配推薦矩陣，然后對(duì)該矩陣再次利用初始用戶評(píng)價(jià)數(shù)據(jù)和項(xiàng)目評(píng)價(jià) 數(shù)據(jù)進(jìn)行驗(yàn)證，獲得最終的配對(duì)推薦矩陣。
[0062] 進(jìn)一步的，為完成所述用戶評(píng)價(jià)與推薦模塊的功能，其由依次連接的用戶評(píng)價(jià)矩 陣構(gòu)建單元、項(xiàng)目特征提取及矩陣化單元、項(xiàng)目相似度計(jì)算單元以及用戶推薦單元組成； 其中用戶評(píng)價(jià)矩陣構(gòu)建單元還與用戶推薦單元連接；
[0063] 所述用戶評(píng)價(jià)矩陣構(gòu)建單元用于接受用戶對(duì)項(xiàng)目的評(píng)價(jià)數(shù)據(jù)，并基于該數(shù)據(jù)構(gòu)建 用戶評(píng)價(jià)矩陣；
[0064] 所述項(xiàng)目特征提取及矩陣化單元用于基于用戶評(píng)價(jià)矩陣提取項(xiàng)目特征并以其構(gòu) 建項(xiàng)目特征矩陣；
[0065] 所述項(xiàng)目相似度計(jì)算單元用于基于項(xiàng)目特征矩陣計(jì)算項(xiàng)目間的相似度，并以相似 度計(jì)算結(jié)果構(gòu)建項(xiàng)目相似度矩陣；
[0066] 所述用戶推薦單元用于基于用戶評(píng)價(jià)矩陣以及項(xiàng)目相似度矩陣按照預(yù)設(shè)閾值篩 選相似項(xiàng)目從而進(jìn)行用戶推薦獲得用戶推薦矩陣。
[0067] 進(jìn)一步的，為完成所述項(xiàng)目評(píng)價(jià)與推薦模塊的功能，其由依次連接的項(xiàng)目評(píng)價(jià)矩 陣構(gòu)建單元、用戶特征提取及用戶特征矩陣化單元、用戶相似度計(jì)算單元以及項(xiàng)目推薦單 元組成;其中項(xiàng)目評(píng)價(jià)矩陣構(gòu)建單元還與項(xiàng)目推薦單元連接；
[0068] 所述項(xiàng)目評(píng)價(jià)矩陣構(gòu)建單元用于接受項(xiàng)目對(duì)用戶的評(píng)價(jià)數(shù)據(jù)，并基于該數(shù)據(jù)構(gòu)建 項(xiàng)目評(píng)價(jià)矩陣；
[0069] 所述用戶特征提取及用戶特征矩陣化單元用于基于項(xiàng)目評(píng)價(jià)矩陣提取用戶特征 并以其構(gòu)建用戶特征矩陣；
[0070] 所述用戶相似度計(jì)算單元用于基于用戶特征矩陣計(jì)算用戶間的相似度，并以相似 度計(jì)算結(jié)果構(gòu)建用戶相似度矩陣；
[0071 ]所述項(xiàng)目推薦單元用于基于項(xiàng)目評(píng)價(jià)矩陣以及用戶相似度矩陣按照預(yù)設(shè)閾值篩 選相似用戶從而進(jìn)行項(xiàng)目推薦獲得項(xiàng)目推薦矩陣。
[0072] 進(jìn)一步的，為完成所述匹配推薦模塊的功能，其由依次連接的計(jì)算匹配矩陣單元 和匹配驗(yàn)證單元組成；
[0073] 所述計(jì)算匹配矩陣單元用于基于用戶推薦矩陣和項(xiàng)目推薦矩陣，將二者之一轉(zhuǎn) 置后進(jìn)行與運(yùn)算獲得匹配推薦矩陣；
[0074]所述匹配驗(yàn)證單元用于對(duì)匹配推薦矩陣基于預(yù)設(shè)閾值重新審視用戶評(píng)價(jià)矩陣和 項(xiàng)目評(píng)價(jià)矩陣，將低于預(yù)設(shè)閾值的推薦去除從而得到配對(duì)推薦矩陣并輸出。
[0075]從用戶的視角，將矩陣中值為1的項(xiàng)目提取并輸出即得到向用戶推薦的項(xiàng)目；從項(xiàng) 目的視角，將矩陣中值為1的用戶提取并輸出即得到向項(xiàng)目推薦的用戶。
[0076]實(shí)驗(yàn)結(jié)果
[0077]實(shí)驗(yàn)介紹和實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備：
[0078]通過建立基于語義挖掘的大數(shù)據(jù)平臺(tái)，對(duì)北京市范圍的所有高校就業(yè)信息網(wǎng)的數(shù) 據(jù)進(jìn)行了分布式實(shí)時(shí)抓取，并利用自然語言理解技術(shù)對(duì)數(shù)據(jù)進(jìn)行了多維度的語義分析，將 數(shù)據(jù)以多維標(biāo)簽的形式表示。每一條招聘信息對(duì)應(yīng)的維度元素為:來源，行業(yè)，工作性質(zhì)，戶 口取向，工作地點(diǎn)取向，收入，工作壓力，工作內(nèi)容取向。這樣，在以招聘數(shù)據(jù)為模型的大數(shù) 據(jù)平臺(tái)上，用戶取向與企業(yè)需求的匹配根據(jù)取向維度相關(guān)聯(lián)。在系統(tǒng)初始化過程中，利用程 序創(chuàng)建了默認(rèn)的20萬個(gè)機(jī)器人用戶，并對(duì)每個(gè)用戶指派了取向維度。其中，每條取向維度的 生成都由數(shù)據(jù)庫中的存儲(chǔ)過程執(zhí)行，保證了取向維度在機(jī)器人用戶中的平均分布。在抓取 的10萬條數(shù)據(jù)中，按照取向維度的取值，對(duì)20萬個(gè)機(jī)器人用戶進(jìn)行了可選性的數(shù)據(jù)隨機(jī)分 發(fā)，使得這些用戶具備了第一批的數(shù)據(jù)。然后，創(chuàng)建隨機(jī)評(píng)價(jià)腳本，通過隨機(jī)評(píng)價(jià)過程，獲得 了所有用戶對(duì)第一批數(shù)據(jù)的私有評(píng)價(jià)。這樣，推薦系統(tǒng)所需要的用戶數(shù)據(jù)，項(xiàng)目數(shù)據(jù)，評(píng)價(jià) 數(shù)據(jù)三個(gè)方面都已具備。
[0079]實(shí)驗(yàn)設(shè)置：
[0080]在實(shí)驗(yàn)部分，本發(fā)明使用5倍交叉驗(yàn)證的方法來進(jìn)行評(píng)價(jià)，即：選取80%的數(shù)據(jù)作 為訓(xùn)練數(shù)據(jù)，剩余的20%數(shù)據(jù)作為測試數(shù)據(jù)，進(jìn)行試驗(yàn)。并使用準(zhǔn)確率和召回率作為評(píng)價(jià)方 法，其定義為：
[0083]其中：P是推薦數(shù)據(jù)的準(zhǔn)確率，TP是測試數(shù)據(jù)中被系統(tǒng)正確判定的樣本數(shù)量，F(xiàn)P是 測試數(shù)據(jù)中被系統(tǒng)錯(cuò)誤判定的樣本數(shù)量;R是推薦數(shù)據(jù)的召回率，F(xiàn)N是測試數(shù)據(jù)中有推薦的 樣本數(shù)量。
[0084] 實(shí)驗(yàn)結(jié)果：
[0085] 為了驗(yàn)證本發(fā)明方法的效果，實(shí)驗(yàn)分別和傳統(tǒng)的單向基于用戶的協(xié)同過濾方法 (UBCF)以及單向基于物品的協(xié)同過濾方法（IBCF)進(jìn)行比較，結(jié)果如下表所示：
[0087]在上表中，我們可以看出相對(duì)于傳統(tǒng)的UBCF和IBCF方法，本發(fā)明方法可以有效地 提高推薦模型的準(zhǔn)確率和召回率，其中準(zhǔn)確率分別提高了 4.27 %和7.8 %，召回率分別提高 了 3.19%和4.79%。因此，實(shí)驗(yàn)結(jié)果清晰表明本發(fā)明方法比傳統(tǒng)的單向方法效果要好，這些 提高則是因?yàn)槭褂昧穗p向推薦模型。
[0088]以上所述的具體描述，對(duì)發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)益處都進(jìn)行了進(jìn)一步的詳 細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限定本發(fā)明的保 護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本 發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于大數(shù)據(jù)雙向推薦的深度學(xué)習(xí)方法，其特征在于:包括以下步驟： 1) 確定主體與客體的關(guān)系，定義協(xié)同過濾的方向和流程； 2) 提取用戶評(píng)價(jià)數(shù)據(jù)，即用戶對(duì)項(xiàng)目的興趣度評(píng)分值，構(gòu)造用戶評(píng)價(jià)矩陣； 3) 在用戶評(píng)價(jià)數(shù)據(jù)中提取每個(gè)項(xiàng)目被所有用戶的評(píng)價(jià)數(shù)據(jù)，構(gòu)成項(xiàng)目特征行向量，由 所有項(xiàng)目的特征行向量構(gòu)成項(xiàng)目特征矩陣;利用相似度算法，計(jì)算各個(gè)項(xiàng)目之間的相似度， 構(gòu)造項(xiàng)目相似度矩陣； 4) 提取項(xiàng)目評(píng)價(jià)數(shù)據(jù)，項(xiàng)目評(píng)分并不是項(xiàng)目對(duì)用戶的直接評(píng)分，而是項(xiàng)目的執(zhí)行人對(duì) 用戶的評(píng)分； 5) 在項(xiàng)目評(píng)價(jià)數(shù)據(jù)中提取每個(gè)用戶被所有項(xiàng)目的評(píng)價(jià)數(shù)據(jù)，構(gòu)成用戶特征行向量，由 所有用戶的特征行向量構(gòu)成用戶特征矩陣;利用相似度算法，計(jì)算各個(gè)用戶之間的相似度， 構(gòu)造用戶相似度矩陣。 6) 利用用戶評(píng)價(jià)矩陣和項(xiàng)目相似度矩陣進(jìn)行運(yùn)算，利用用戶評(píng)價(jià)值高的項(xiàng)目，在項(xiàng)目 相似度矩陣?yán)镎业狡渌麧撛陧?xiàng)目，在以用戶為行，項(xiàng)目為列的矩陣中，將潛在項(xiàng)目的評(píng)分值 標(biāo)為1，其他值為零;這樣就構(gòu)造了用戶推薦矩陣； 7) 利用項(xiàng)目評(píng)價(jià)矩陣和用戶相似度矩陣進(jìn)行運(yùn)算，利用項(xiàng)目評(píng)價(jià)值高的項(xiàng)目，在用戶 相似度矩陣?yán)镎业狡渌麧撛谟脩?，在以?xiàng)目為行，用戶為列的矩陣中，將潛在用戶的評(píng)分值 標(biāo)為1，其他值為零;這樣就構(gòu)造了項(xiàng)目推薦矩陣； 8) 將用戶推薦矩陣和項(xiàng)目推薦矩陣之一轉(zhuǎn)置后進(jìn)行矩陣與運(yùn)算，得到用戶與項(xiàng)目的匹 配推薦矩陣;此矩陣中的非零值標(biāo)志著無論從正向還是逆向推薦的角度考慮，都能達(dá)到潛 在推薦效果的用戶-項(xiàng)目匹配對(duì)； 9) 對(duì)匹配推薦矩陣?yán)庙?xiàng)目評(píng)價(jià)矩陣和用戶評(píng)價(jià)矩陣一起進(jìn)行匹配驗(yàn)證運(yùn)算，將匹配 推薦矩陣中推薦的用戶或項(xiàng)目中評(píng)分較低的項(xiàng)目或用戶去除即得到匹配推薦矩陣，該矩陣 中值為1的項(xiàng)目或用戶即為推薦項(xiàng)目或用戶。2. 根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)雙向推薦的深度學(xué)習(xí)方法，其特征在于:所述 相似度算法為曼哈頓距離。3. -種基于大數(shù)據(jù)的雙向推薦裝置，其特征在于:包括用戶評(píng)價(jià)與推薦模塊，項(xiàng)目評(píng)價(jià) 與推薦模塊，匹配推薦模塊；用戶評(píng)價(jià)與推薦模塊和項(xiàng)目評(píng)價(jià)與推薦模塊分別與匹配推薦 豐吳塊相連； 用戶評(píng)價(jià)與推薦模塊作為用戶評(píng)價(jià)數(shù)據(jù)的輸入端，獲得用戶針對(duì)項(xiàng)目的評(píng)價(jià)數(shù)據(jù)，并 以其構(gòu)建用戶評(píng)價(jià)矩陣，然后對(duì)其進(jìn)行特征提取及項(xiàng)目相似度運(yùn)算，接下來基于相似度運(yùn) 算結(jié)果結(jié)合用戶評(píng)價(jià)矩陣進(jìn)行用戶推薦以得到用戶推薦矩陣； 項(xiàng)目評(píng)價(jià)與推薦模塊將項(xiàng)目作為評(píng)價(jià)主體，輸入端為項(xiàng)目對(duì)用戶的評(píng)價(jià)數(shù)據(jù)，以該數(shù) 據(jù)構(gòu)建項(xiàng)目評(píng)價(jià)矩陣，并對(duì)其進(jìn)行特征提取及用戶相似度運(yùn)算，然后基于相似度運(yùn)算結(jié)果 結(jié)合項(xiàng)目評(píng)價(jià)矩陣進(jìn)行項(xiàng)目推薦以得到項(xiàng)目推薦矩陣； 匹配推薦模塊用于綜合用戶推薦結(jié)果和項(xiàng)目推薦結(jié)果得到匹配推薦矩陣，然后對(duì)該矩 陣再次利用初始用戶評(píng)價(jià)數(shù)據(jù)和項(xiàng)目評(píng)價(jià)數(shù)據(jù)進(jìn)行驗(yàn)證，獲得最終的配對(duì)推薦矩陣。4. 根據(jù)權(quán)利要求3所述的一種基于大數(shù)據(jù)的雙向推薦裝置，其特征在于:所述用戶評(píng)價(jià) 與推薦模塊由依次連接的用戶評(píng)價(jià)矩陣構(gòu)建單元、項(xiàng)目特征提取及矩陣化單元、項(xiàng)目相似 度計(jì)算單元以及用戶推薦單元組成;其中用戶評(píng)價(jià)矩陣構(gòu)建單元還與用戶推薦單元連接； 所述用戶評(píng)價(jià)矩陣構(gòu)建單元用于接受用戶對(duì)項(xiàng)目的評(píng)價(jià)數(shù)據(jù)，并基于該數(shù)據(jù)構(gòu)建用戶 評(píng)價(jià)矩陣； 所述項(xiàng)目特征提取及矩陣化單元用于基于用戶評(píng)價(jià)矩陣提取項(xiàng)目特征并以其構(gòu)建項(xiàng) 目特征矩陣； 所述項(xiàng)目相似度計(jì)算單元用于基于項(xiàng)目特征矩陣計(jì)算項(xiàng)目間的相似度，并以相似度計(jì) 算結(jié)果構(gòu)建項(xiàng)目相似度矩陣； 所述用戶推薦單元用于基于用戶評(píng)價(jià)矩陣以及項(xiàng)目相似度矩陣按照預(yù)設(shè)閾值篩選相 似項(xiàng)目從而進(jìn)行用戶推薦獲得用戶推薦矩陣。5. 根據(jù)權(quán)利要求3所述的一種基于大數(shù)據(jù)的雙向推薦裝置，其特征在于:所述項(xiàng)目評(píng)價(jià) 與推薦模塊由依次連接的項(xiàng)目評(píng)價(jià)矩陣構(gòu)建單元、用戶特征提取及用戶特征矩陣化單元、 用戶相似度計(jì)算單元以及項(xiàng)目推薦單元組成;其中項(xiàng)目評(píng)價(jià)矩陣構(gòu)建單元還與項(xiàng)目推薦單 元連接； 所述項(xiàng)目評(píng)價(jià)矩陣構(gòu)建單元用于接受項(xiàng)目對(duì)用戶的評(píng)價(jià)數(shù)據(jù)，并基于該數(shù)據(jù)構(gòu)建項(xiàng)目 評(píng)價(jià)矩陣； 所述用戶特征提取及用戶特征矩陣化單元用于基于項(xiàng)目評(píng)價(jià)矩陣提取用戶特征并以 其構(gòu)建用戶特征矩陣； 所述用戶相似度計(jì)算單元用于基于用戶特征矩陣計(jì)算用戶間的相似度，并以相似度計(jì) 算結(jié)果構(gòu)建用戶相似度矩陣； 所述項(xiàng)目推薦單元用于基于項(xiàng)目評(píng)價(jià)矩陣以及用戶相似度矩陣按照預(yù)設(shè)閾值篩選相 似用戶從而進(jìn)行項(xiàng)目推薦獲得項(xiàng)目推薦矩陣。6. 根據(jù)權(quán)利要求3-5任一所述的一種基于大數(shù)據(jù)的雙向推薦裝置，其特征在于:所述匹 配推薦模塊由依次連接的計(jì)算匹配矩陣單元和匹配驗(yàn)證單元組成； 所述計(jì)算匹配矩陣單元用于基于用戶推薦矩陣和項(xiàng)目推薦矩陣，將二者之一轉(zhuǎn)置后進(jìn) 行與運(yùn)算獲得匹配推薦矩陣； 所述匹配驗(yàn)證單元用于對(duì)匹配推薦矩陣基于預(yù)設(shè)閾值重新審視用戶評(píng)價(jià)矩陣和項(xiàng)目 評(píng)價(jià)矩陣，將低于預(yù)設(shè)閾值的推薦去除從而得到配對(duì)推薦矩陣并輸出。
【文檔編號(hào)】G06F17/30GK106096015SQ201610471259
【公開日】2016年11月9日
【申請(qǐng)日】2016年6月24日
【發(fā)明人】毛煜, 蘇巖, 牛科, 左琦, 劉軍
【申請(qǐng)人】北京理工大學(xué)