去重?cái)?shù)據(jù)統(tǒng)計(jì)方法及設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，特別涉及一種去重?cái)?shù)據(jù)統(tǒng)計(jì)方法及設(shè)備。
【背景技術(shù)】
[0002] 隨著業(yè)務(wù)的快速發(fā)展，基于業(yè)務(wù)產(chǎn)生的用戶行為數(shù)據(jù)也出現(xiàn)了爆發(fā)式增長(zhǎng)，而為 了及時(shí)發(fā)現(xiàn)業(yè)務(wù)中存在的問(wèn)題，往往需要對(duì)某段時(shí)間內(nèi)新增的用戶行為數(shù)據(jù)個(gè)數(shù)進(jìn)行確 定，而在確定該段時(shí)間內(nèi)新增的用戶行為數(shù)據(jù)個(gè)數(shù)時(shí)，可以對(duì)該段時(shí)間內(nèi)產(chǎn)生的用戶行為 數(shù)據(jù)進(jìn)行去重?cái)?shù)據(jù)統(tǒng)計(jì)，以獲取該段時(shí)間內(nèi)的數(shù)據(jù)去重個(gè)數(shù)，該數(shù)據(jù)去重個(gè)數(shù)即為該段時(shí) 間內(nèi)新增的用戶行為數(shù)據(jù)個(gè)數(shù)。
[0003] 目前，在對(duì)某段時(shí)間內(nèi)產(chǎn)生的大量的用戶行為數(shù)據(jù)進(jìn)行去重?cái)?shù)據(jù)統(tǒng)計(jì)時(shí)，一般是 將產(chǎn)生的大量的用戶行為數(shù)據(jù)實(shí)時(shí)存儲(chǔ)后，再將該段時(shí)間內(nèi)產(chǎn)生的用戶行為數(shù)據(jù)與在該段 時(shí)間之前存儲(chǔ)的用戶行為數(shù)據(jù)一一進(jìn)行比較，以確定該段時(shí)間內(nèi)新增的用戶行為數(shù)據(jù)，進(jìn) 而確定該段時(shí)間內(nèi)新增的用戶行為數(shù)據(jù)個(gè)數(shù)。
[0004] 由于產(chǎn)生的用戶行為數(shù)據(jù)數(shù)量較大，因此，在將該段時(shí)間內(nèi)的用戶行為數(shù)據(jù)與在 該段時(shí)間之前存儲(chǔ)的用戶行為數(shù)據(jù)一一進(jìn)行比較時(shí)，計(jì)算量較大，比較過(guò)程較為繁瑣，從而 導(dǎo)致去重?cái)?shù)據(jù)統(tǒng)計(jì)效率較低。

【發(fā)明內(nèi)容】

[0005] 為了解決現(xiàn)有技術(shù)的問(wèn)題，本發(fā)明實(shí)施例提供了一種去重?cái)?shù)據(jù)統(tǒng)計(jì)方法及設(shè)備。 所述技術(shù)方案如下：
[0006] 第一方面，提供了一種去重?cái)?shù)據(jù)統(tǒng)計(jì)方法，所述方法包括：
[0007] 獲取指定時(shí)間段內(nèi)統(tǒng)計(jì)的多個(gè)用戶行為數(shù)據(jù)，以及獲取所述多個(gè)用戶行為數(shù)據(jù)所 屬的目標(biāo)數(shù)據(jù)集合標(biāo)識(shí)和目標(biāo)數(shù)據(jù)分片標(biāo)識(shí)；
[0008] 基于所述多個(gè)用戶行為數(shù)據(jù)、所述目標(biāo)數(shù)據(jù)集合標(biāo)識(shí)和所述目標(biāo)數(shù)據(jù)分片標(biāo)識(shí)， 確定所述多個(gè)用戶行為數(shù)據(jù)的存儲(chǔ)狀態(tài)，所述存儲(chǔ)狀態(tài)包括已存儲(chǔ)狀態(tài)或者未存儲(chǔ)狀態(tài)；
[0009] 從所述多個(gè)用戶行為數(shù)據(jù)中，統(tǒng)計(jì)處于未存儲(chǔ)狀態(tài)的用戶行為數(shù)據(jù)的數(shù)據(jù)個(gè)數(shù)；
[0010] 將所述數(shù)據(jù)個(gè)數(shù)確定為所述指定時(shí)間段內(nèi)的數(shù)據(jù)去重個(gè)數(shù)。
[0011] 可選地，所述基于所述多個(gè)用戶行為數(shù)據(jù)、所述目標(biāo)數(shù)據(jù)集合標(biāo)識(shí)和所述目標(biāo)數(shù) 據(jù)分片標(biāo)識(shí)，確定所述多個(gè)用戶行為數(shù)據(jù)的存儲(chǔ)狀態(tài)，包括：
[0012] 對(duì)于所述多個(gè)用戶行為數(shù)據(jù)中每個(gè)用戶行為數(shù)據(jù)，通過(guò)第一隨機(jī)產(chǎn)生器，確定所 述用戶行為數(shù)據(jù)所屬的目標(biāo)數(shù)據(jù)分區(qū)標(biāo)識(shí)；
[0013] 基于所述目標(biāo)數(shù)據(jù)分區(qū)標(biāo)識(shí)，確定多個(gè)不同的第二隨機(jī)產(chǎn)生器，以及確定第三隨 機(jī)產(chǎn)生器和目標(biāo)數(shù)據(jù)位圖；
[0014] 基于所述用戶行為數(shù)據(jù)，通過(guò)所述多個(gè)不同的第二隨機(jī)產(chǎn)生器，以及通過(guò)所述第 三隨機(jī)產(chǎn)生器，從所述目標(biāo)數(shù)據(jù)位圖中，確定對(duì)應(yīng)的多個(gè)數(shù)據(jù)位置；
[0015] 基于所述目標(biāo)數(shù)據(jù)集合標(biāo)識(shí)、所述目標(biāo)數(shù)據(jù)分片標(biāo)識(shí)、所述目標(biāo)數(shù)據(jù)分區(qū)標(biāo)識(shí)和 所述多個(gè)數(shù)據(jù)位置，確定所述用戶行為數(shù)據(jù)的存儲(chǔ)狀態(tài)。
[0016] 可選地，所述基于所述目標(biāo)數(shù)據(jù)集合標(biāo)識(shí)、所述目標(biāo)數(shù)據(jù)分片標(biāo)識(shí)、所述目標(biāo)數(shù)據(jù) 分區(qū)標(biāo)識(shí)和所述多個(gè)數(shù)據(jù)位置，確定所述用戶行為數(shù)據(jù)的存儲(chǔ)狀態(tài)，包括：
[0017] 基于所述目標(biāo)數(shù)據(jù)集合標(biāo)識(shí)、所述目標(biāo)數(shù)據(jù)分片標(biāo)識(shí)和所述目標(biāo)數(shù)據(jù)分區(qū)標(biāo)識(shí)， 確定所述用戶行為數(shù)據(jù)所在的目標(biāo)數(shù)據(jù)分區(qū)；
[0018] 基于所述多個(gè)數(shù)據(jù)位置和所述目標(biāo)數(shù)據(jù)分區(qū)，確定所述用戶行為數(shù)據(jù)的存儲(chǔ)狀 ??τ 〇
[0019] 可選地，所述基于所述多個(gè)數(shù)據(jù)位置和所述目標(biāo)數(shù)據(jù)分區(qū)，確定所述用戶行為數(shù) 據(jù)的存儲(chǔ)狀態(tài)，包括：
[0020] 對(duì)于所述目標(biāo)數(shù)據(jù)分區(qū)包括的多個(gè)數(shù)據(jù)分段中每個(gè)數(shù)據(jù)分段，獲取所述數(shù)據(jù)分段 的數(shù)據(jù)位圖中所述多個(gè)數(shù)據(jù)位置上存儲(chǔ)的多個(gè)數(shù)值；
[0021] 如果所述多個(gè)數(shù)值均為指定數(shù)值，則確定所述用戶行為數(shù)據(jù)的存儲(chǔ)狀態(tài)為已存儲(chǔ) 狀態(tài)；
[0022]如果所述多個(gè)數(shù)值不均為指定數(shù)值，則確定所述用戶行為數(shù)據(jù)未存儲(chǔ)在所述數(shù)據(jù) 分段中；
[0023]如果所述用戶行為數(shù)據(jù)均未存儲(chǔ)在所述多個(gè)數(shù)據(jù)分段中，則確定所述用戶行為數(shù) 據(jù)的存儲(chǔ)狀態(tài)為未存儲(chǔ)狀態(tài)。
[0024] 可選地，所述確定所述用戶行為數(shù)據(jù)的存儲(chǔ)狀態(tài)為未存儲(chǔ)狀態(tài)之后，還包括：
[0025] 從所述多個(gè)數(shù)據(jù)分段中，獲取目標(biāo)數(shù)據(jù)分段，所述目標(biāo)數(shù)據(jù)分段為未存儲(chǔ)滿的數(shù) 據(jù)分段；
[0026] 獲取所述目標(biāo)數(shù)據(jù)分段的數(shù)據(jù)位圖中所述多個(gè)數(shù)據(jù)位置上存儲(chǔ)的多個(gè)目標(biāo)數(shù)值；
[0027] 將所述多個(gè)目標(biāo)數(shù)值設(shè)置為指定數(shù)值，以存儲(chǔ)所述用戶行為數(shù)據(jù)。
[0028] 第二方面，提供了一種去重?cái)?shù)據(jù)統(tǒng)計(jì)設(shè)備，所述設(shè)備包括：
[0029]獲取模塊，用于獲取指定時(shí)間段內(nèi)統(tǒng)計(jì)的多個(gè)用戶行為數(shù)據(jù)，以及獲取所述多個(gè) 用戶行為數(shù)據(jù)所屬的目標(biāo)數(shù)據(jù)集合標(biāo)識(shí)和目標(biāo)數(shù)據(jù)分片標(biāo)識(shí)；
[0030] 第一確定模塊，用于基于所述多個(gè)用戶行為數(shù)據(jù)、所述目標(biāo)數(shù)據(jù)集合標(biāo)識(shí)和所述 目標(biāo)數(shù)據(jù)分片標(biāo)識(shí)，確定所述多個(gè)用戶行為數(shù)據(jù)的存儲(chǔ)狀態(tài)，所述存儲(chǔ)狀態(tài)包括已存儲(chǔ)狀 態(tài)或者未存儲(chǔ)狀態(tài)；
[0031] 統(tǒng)計(jì)模塊，用于從所述多個(gè)用戶行為數(shù)據(jù)中，統(tǒng)計(jì)處于未存儲(chǔ)狀態(tài)的用戶行為數(shù) 據(jù)的數(shù)據(jù)個(gè)數(shù)；
[0032] 第二確定模塊，用于將所述數(shù)據(jù)個(gè)數(shù)確定為所述指定時(shí)間段內(nèi)的數(shù)據(jù)去重個(gè)數(shù)。 [0033]可選地，所述第一確定模塊包括：
[0034] 第一確定單元，用于對(duì)于所述多個(gè)用戶行為數(shù)據(jù)中每個(gè)用戶行為數(shù)據(jù)，通過(guò)第一 隨機(jī)產(chǎn)生器，確定所述用戶行為數(shù)據(jù)所屬的目標(biāo)數(shù)據(jù)分區(qū)標(biāo)識(shí)；
[0035] 第二確定單元，用于基于所述目標(biāo)數(shù)據(jù)分區(qū)標(biāo)識(shí)，確定多個(gè)不同的第二隨機(jī)產(chǎn)生 器，以及確定第三隨機(jī)產(chǎn)生器和目標(biāo)數(shù)據(jù)位圖；
[0036] 第三確定單元，用于基于所述用戶行為數(shù)據(jù)，通過(guò)所述多個(gè)不同的第二隨機(jī)產(chǎn)生 器，以及通過(guò)所述第三隨機(jī)產(chǎn)生器，從所述目標(biāo)數(shù)據(jù)位圖中，確定對(duì)應(yīng)的多個(gè)數(shù)據(jù)位置；
[0037] 第四確定單元，用于基于所述目標(biāo)數(shù)據(jù)集合標(biāo)識(shí)、所述目標(biāo)數(shù)據(jù)分片標(biāo)識(shí)、所述目 標(biāo)數(shù)據(jù)分區(qū)標(biāo)識(shí)和所述多個(gè)數(shù)據(jù)位置，確定所述用戶行為數(shù)據(jù)的存儲(chǔ)狀態(tài)。
[0038] 可選地，所述第四確定單元包括：
[0039] 第一確定子單元，用于基于所述目標(biāo)數(shù)據(jù)集合標(biāo)識(shí)、所述目標(biāo)數(shù)據(jù)分片標(biāo)識(shí)和所 述目標(biāo)數(shù)據(jù)分區(qū)標(biāo)識(shí)，確定所述用戶行為數(shù)據(jù)所在的目標(biāo)數(shù)據(jù)分區(qū)；
[0040] 第二確定子單元，用于基于所述多個(gè)數(shù)據(jù)位置和所述目標(biāo)數(shù)據(jù)分區(qū)，確定所述用 戶行為數(shù)據(jù)的存儲(chǔ)狀態(tài)。
[0041 ]可選地，所述第二確定子單元用于：
[0042]對(duì)于所述目標(biāo)數(shù)據(jù)分區(qū)包括的多個(gè)數(shù)據(jù)分段中每個(gè)數(shù)據(jù)分段，獲取所述數(shù)據(jù)分段 的數(shù)據(jù)位圖中所述多個(gè)數(shù)據(jù)位置上存儲(chǔ)的多個(gè)數(shù)值；
[0043]如果所述多個(gè)數(shù)值均為指定數(shù)值，則確定所述用戶行為數(shù)據(jù)的存儲(chǔ)狀態(tài)為已存儲(chǔ) 狀態(tài)；
[0044] 如果所述多個(gè)數(shù)值不均為指定數(shù)值，則確定所述用戶行為數(shù)據(jù)未存儲(chǔ)在所述數(shù)據(jù) 分段中；
[0045] 如果所述用戶行為數(shù)據(jù)均未存儲(chǔ)在所述多個(gè)數(shù)據(jù)分段中，則確定所述用戶行為數(shù) 據(jù)的存儲(chǔ)狀態(tài)為未存儲(chǔ)狀態(tài)。
[0046] 可選地，所述第二確定子單元還用于：
[0047] 從所述多個(gè)數(shù)據(jù)分段中，獲取目標(biāo)數(shù)據(jù)分段，所述目標(biāo)數(shù)據(jù)分段為未存儲(chǔ)滿的數(shù) 據(jù)分段；
[0048]獲取所述目標(biāo)數(shù)據(jù)分段的數(shù)據(jù)位圖中所述多個(gè)數(shù)據(jù)位置上存儲(chǔ)的多個(gè)目標(biāo)數(shù)值； [0049]將所述多個(gè)目標(biāo)數(shù)值設(shè)置為指定數(shù)值，以存儲(chǔ)所述用戶行為數(shù)據(jù)。
[0050]在本發(fā)明實(shí)施例中，服務(wù)器獲取指定時(shí)間段內(nèi)統(tǒng)計(jì)的多個(gè)用戶行為數(shù)據(jù)，以及獲 取該多個(gè)用戶行為數(shù)據(jù)所屬的目標(biāo)數(shù)據(jù)集合標(biāo)識(shí)和目標(biāo)數(shù)據(jù)分片標(biāo)識(shí)，并基于該多個(gè)用戶 行為數(shù)據(jù)、目標(biāo)數(shù)據(jù)集合標(biāo)識(shí)和目標(biāo)數(shù)據(jù)分片標(biāo)識(shí)，可以快速確定該多個(gè)用戶行為數(shù)據(jù)的 存儲(chǔ)狀態(tài)，也即是可以快速確定該多個(gè)用戶行為數(shù)據(jù)中新增的用戶行為數(shù)據(jù)，計(jì)算量較小， 確定過(guò)程較為簡(jiǎn)單，可以較大程度地節(jié)省服務(wù)器的處理資源，且服務(wù)器在確定該多個(gè)用戶 行為數(shù)據(jù)的存儲(chǔ)狀態(tài)后，還可以統(tǒng)計(jì)處于未存儲(chǔ)狀態(tài)的用戶行為數(shù)據(jù)的數(shù)據(jù)個(gè)數(shù)，并將該 數(shù)據(jù)個(gè)數(shù)確定為指定時(shí)間段內(nèi)的數(shù)據(jù)去重個(gè)數(shù)，從而可以快速確定指定時(shí)間段內(nèi)新增的用 戶行為數(shù)據(jù)的個(gè)數(shù)，提高去重?cái)?shù)據(jù)統(tǒng)計(jì)效率。
[0051]應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不 能限制本發(fā)明。
【附圖說(shuō)明】
[0052]為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使 用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于 本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他 的附圖。
[0053] 圖1是本發(fā)明實(shí)施例提供的一種去重?cái)?shù)據(jù)統(tǒng)計(jì)方法所涉及的實(shí)施環(huán)境的示意圖；
[0054] 圖2是本發(fā)明實(shí)施例提供的一種去重?cái)?shù)據(jù)統(tǒng)計(jì)方法的流程圖；
[0055] 圖3是本發(fā)明實(shí)施例提供的另一種去重?cái)?shù)據(jù)統(tǒng)計(jì)方法的流程圖；
[0056]圖4是本發(fā)明實(shí)施例提供的一種確定多個(gè)數(shù)據(jù)位置的示意圖；
[0057]圖5是本發(fā)明實(shí)施例提供的又一種去重?cái)?shù)據(jù)統(tǒng)計(jì)方法的流程圖；
[0058] 圖6是本發(fā)明實(shí)施例提供的一種去重?cái)?shù)據(jù)統(tǒng)計(jì)設(shè)備的結(jié)構(gòu)示意圖；
[0059] 圖7是本發(fā)明實(shí)施例提供的一種第一確定模塊的結(jié)構(gòu)示意圖；
[0060] 圖8是本發(fā)明實(shí)施例提供的一種第四確定單元的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0061] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)