樣本數(shù)據(jù)收集系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種樣本數(shù)據(jù)收集系統(tǒng)。該系統(tǒng)包括：數(shù)據(jù)庫接口，用于提供訪問數(shù)據(jù)庫的接口；數(shù)據(jù)庫，連接于數(shù)據(jù)庫接口，用于通過數(shù)據(jù)庫接口存儲接收到的樣本數(shù)據(jù)，并根據(jù)用戶的請求發(fā)送相應的樣本數(shù)據(jù)；特征抽取模塊，連接于數(shù)據(jù)庫接口，用于通過數(shù)據(jù)庫接口獲取數(shù)據(jù)庫中的樣本數(shù)據(jù)，根據(jù)預先設置的邏輯將樣本數(shù)據(jù)抽取為特征數(shù)據(jù)，并進行存儲，根據(jù)用戶的請求發(fā)送相應的特征數(shù)據(jù)。借助于本發(fā)明的技術方案，能夠減少獲取樣本數(shù)據(jù)的成本，節(jié)省開發(fā)的時間，并進一步提高了樣本數(shù)據(jù)的準確性和實效性。
【專利說明】樣本數(shù)據(jù)收集系統(tǒng)

【技術領域】
[0001] 本發(fā)明涉及計算機【技術領域】，特別是涉及一種樣本數(shù)據(jù)收集系統(tǒng)。

【背景技術】
[0002] 目前，分類信息網(wǎng)站在識別低質信息時可以通過很多不同的系統(tǒng)進行識別，每個 系統(tǒng)的使用的方法不同，并且是由不同的人員開發(fā)的。但不管如何識別信息，找到識別方法 的唯一途徑就是分析具體的樣本，但是在實際工作中發(fā)現(xiàn)，如何找到具有代表性的樣本同 時能夠保證樣本的新鮮程度是一件非常困難的事情。
[0003] 通過樣本數(shù)據(jù)收集能夠提供具有代表性的樣本，并且保證樣本數(shù)量的充足，新鮮 和準確，給后續(xù)的識別工作減少了很大的工作量?，F(xiàn)有技術中的樣本收集手段，是根據(jù)各種 需要識別的問題分別收集相應的樣本。這些樣本可能來自于數(shù)據(jù)庫、歷史日志、挖掘出來的 一些信息或者是用戶的申訴。而且每次在做開發(fā)或者分析的時候，由于需要新鮮的樣本，需 要每次將數(shù)據(jù)庫，歷史日志，挖掘出來的一些信息或者是用戶的申訴重新導出。
[0004] 如上所述，現(xiàn)有技術中的樣本數(shù)據(jù)收集存在以下問題：1、由于現(xiàn)有收集手段為非 系統(tǒng)化的收集，因此樣本數(shù)據(jù)準確率得不到保障；2、且利用現(xiàn)有收集手段所獲得的樣本時 效性較差，多不能實時得到最新的樣本；3、由于現(xiàn)有的樣本收集手段是為需要識別的問題 而收集相應的樣本，因此針對每個技術和產品可能都需要花時間整理和開發(fā)抽取樣本的代 碼；4、樣本的分類體系不完善。


【發(fā)明內容】

[0005] 鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上 述問題的樣本數(shù)據(jù)收集系統(tǒng)。
[0006] 本發(fā)明提供一種樣本數(shù)據(jù)收集系統(tǒng)，包括：數(shù)據(jù)庫接口，用于提供訪問數(shù)據(jù)庫的接 口；數(shù)據(jù)庫，連接于數(shù)據(jù)庫接口，用于通過數(shù)據(jù)庫接口存儲接收到的樣本數(shù)據(jù)，并根據(jù)用戶 的請求發(fā)送相應的樣本數(shù)據(jù)；特征抽取模塊，連接于數(shù)據(jù)庫接口，用于通過數(shù)據(jù)庫接口獲取 數(shù)據(jù)庫中的樣本數(shù)據(jù)，根據(jù)預先設置的邏輯將樣本數(shù)據(jù)抽取為特征數(shù)據(jù)，并進行存儲，根據(jù) 用戶的請求發(fā)送相應的特征數(shù)據(jù)。
[0007] 優(yōu)選地，上述系統(tǒng)進一步包括：輔助模塊，連接于數(shù)據(jù)庫，用于對數(shù)據(jù)庫中存儲的 樣本數(shù)據(jù)進行統(tǒng)計和管理。
[0008] 優(yōu)選地，上述輔助模塊具體包括：修正子模塊，用于自動對數(shù)據(jù)庫中不準確的樣本 數(shù)據(jù)進行修正；超時數(shù)據(jù)刪除子模塊，用于自動對數(shù)據(jù)庫中存儲超過預定時間的樣本數(shù)據(jù) 進行刪除；老數(shù)據(jù)刪除子模塊，用于自動對數(shù)據(jù)庫中已經(jīng)抽取為特征數(shù)據(jù)的樣本數(shù)據(jù)進行 刪除；統(tǒng)計子模塊，用于在動對數(shù)據(jù)庫中不同類別的樣本數(shù)據(jù)進行定期統(tǒng)計，并在樣本數(shù)據(jù) 量低于預先設置的閾值時，自動向用戶發(fā)送樣本數(shù)據(jù)量不足的提醒。
[0009] 優(yōu)選地，上述老數(shù)據(jù)刪除子模塊具體用于：將特征數(shù)據(jù)的記錄時間與數(shù)據(jù)庫中存 儲的相應樣本數(shù)據(jù)的記錄時間進行比較；如果特征數(shù)據(jù)的記錄時間早于樣本數(shù)據(jù)的記錄時 間，則確定保留樣本數(shù)據(jù)，如果特征數(shù)據(jù)的記錄時間晚于樣本數(shù)據(jù)的記錄時間，則進一步判 斷能否針對該樣本數(shù)據(jù)補充新的特征數(shù)據(jù)，如果能補充則保留樣本數(shù)據(jù)，否則刪除樣本數(shù) 據(jù)。
[0010] 優(yōu)選地，上述系統(tǒng)進一步包括：后臺管理模塊，連接于數(shù)據(jù)庫接口，用于通過數(shù)據(jù) 庫接口對數(shù)據(jù)庫中的樣本數(shù)據(jù)進行分類，和/或創(chuàng)建新的樣本數(shù)據(jù)類別。
[0011] 優(yōu)選地，上述后臺管理模塊進一步用于：根據(jù)用戶的操作對樣本數(shù)據(jù)進行校對，并 修正不準確的樣本數(shù)據(jù)。
[0012] 優(yōu)選地，上述特征抽取模塊具體用于：根據(jù)預先設置的邏輯，收集、和/或提取樣 本數(shù)據(jù)的一個或多個特征數(shù)據(jù)，并對樣本數(shù)據(jù)對應的特征數(shù)據(jù)進行歸納存儲。
[0013] 優(yōu)選地，上述樣本數(shù)據(jù)包括：樣本標識ID、以及樣本分類。
[0014] 優(yōu)選地，上述特征數(shù)據(jù)包括：對某類行為的描述、以及對該類行為取樣的周期。
[0015] 優(yōu)選地，上述樣本數(shù)據(jù)收集系統(tǒng)用于為分類信息網(wǎng)站的信息識別提供樣本數(shù)據(jù)和 特征數(shù)據(jù)。
[0016] 本發(fā)明有益效果如下：
[0017] 借助于本發(fā)明實施例的樣本數(shù)據(jù)收集系統(tǒng)，能夠減少獲取樣本數(shù)據(jù)的成本，節(jié)省 開發(fā)的時間，并進一步提高了樣本數(shù)據(jù)的準確性和實效性，對樣本的數(shù)量也有了保證，為后 面產品和技術在分析和開發(fā)中提供大量的幫助。
[0018] 上述說明僅是本發(fā)明技術方案的概述，為了能夠更清楚了解本發(fā)明的技術手段， 而可依照說明書的內容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠 更明顯易懂，以下特舉本發(fā)明的【具體實施方式】。

【專利附圖】

【附圖說明】
[0019] 通過閱讀下文優(yōu)選實施方式的詳細描述，各種其他的優(yōu)點和益處對于本領域普通 技術人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認為是對本發(fā)明 的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：
[0020] 圖1是本發(fā)明實施例的樣本數(shù)據(jù)收集系統(tǒng)的結構示意圖；
[0021] 圖2是本發(fā)明實施例的樣本數(shù)據(jù)收集系統(tǒng)的優(yōu)選結構示意圖。

【具體實施方式】
[0022] 下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開 的示例性實施例，然而應當理解，可以以各種形式實現(xiàn)本公開而不應被這里闡述的實施例 所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠將本公開的范圍 完整的傳達給本領域的技術人員。
[0023] 為了解決現(xiàn)有技術中的樣本數(shù)據(jù)收集手段為非系統(tǒng)化的收集而導致的樣本數(shù)據(jù) 準確率低、利用現(xiàn)有收集手段所獲得的樣本時效性較差、以及針對每個技術和產品可能都 需要花時間整理和開發(fā)抽取樣本的代碼的問題，本發(fā)明提供了一種樣本數(shù)據(jù)收集系統(tǒng)，以 下結合附圖以及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施 例僅僅用以解釋本發(fā)明，并不限定本發(fā)明。
[0024] 根據(jù)本發(fā)明的實施例，提供了一種樣本數(shù)據(jù)收集系統(tǒng)，本發(fā)明實施例的樣本數(shù)據(jù) 收集系統(tǒng)可以用于為分類信息網(wǎng)站的信息識別提供樣本數(shù)據(jù)和特征數(shù)據(jù)。圖1是本發(fā)明實 施例的樣本數(shù)據(jù)收集系統(tǒng)的結構示意圖，如圖1所示，根據(jù)本發(fā)明實施例的樣本數(shù)據(jù)收集 系統(tǒng)包括：數(shù)據(jù)庫接口 10、數(shù)據(jù)庫12、以及特征抽取模塊14,以下對本發(fā)明實施例的各個模 塊進行詳細的說明。
[0025] 數(shù)據(jù)庫接口 10,用于提供訪問數(shù)據(jù)庫12的接口；
[0026] 數(shù)據(jù)庫12,連接于數(shù)據(jù)庫接口 10,用于通過數(shù)據(jù)庫接口 10存儲接收到的樣本數(shù) 據(jù)，并根據(jù)用戶的請求發(fā)送相應的樣本數(shù)據(jù)；其中，樣本數(shù)據(jù)包括：樣本標識ID、以及樣本 分類。
[0027] 特征抽取模塊14,連接于數(shù)據(jù)庫接口 10,用于通過數(shù)據(jù)庫接口 10獲取數(shù)據(jù)庫12 中的樣本數(shù)據(jù)，根據(jù)預先設置的邏輯將樣本數(shù)據(jù)抽取為特征數(shù)據(jù)，并進行存儲，根據(jù)用戶的 請求發(fā)送相應的特征數(shù)據(jù)。其中，特征數(shù)據(jù)包括：對某類行為的描述、以及對該類行為取樣 的周期。
[0028] 具體地，特征抽取模塊14具體用于：根據(jù)預先設置的邏輯，收集、和/或提取樣本 數(shù)據(jù)的一個或多個特征數(shù)據(jù)，并對樣本數(shù)據(jù)對應的特征數(shù)據(jù)進行歸納存儲。
[0029] 為了更好地對樣本數(shù)據(jù)進行管理，本發(fā)明實施例的系統(tǒng)還包括輔助模塊和后臺管 理模塊，具體地：
[0030] 輔助模塊，連接于數(shù)據(jù)庫12,用于對數(shù)據(jù)庫12中存儲的樣本數(shù)據(jù)進行統(tǒng)計和管 理。
[0031] 后臺管理模塊，連接于數(shù)據(jù)庫接口 10,用于通過數(shù)據(jù)庫接口 10對數(shù)據(jù)庫12中的樣 本數(shù)據(jù)進行分類，和/或創(chuàng)建新的樣本數(shù)據(jù)類別。
[0032] 其中，后臺管理模塊進一步用于：根據(jù)用戶的操作對樣本數(shù)據(jù)進行校對，并修正不 準確的樣本數(shù)據(jù)。
[0033] 上述輔助模塊具體包括：
[0034] 修正子模塊，用于自動對數(shù)據(jù)庫12中不準確的樣本數(shù)據(jù)進行修正；
[0035] 超時數(shù)據(jù)刪除子模塊，用于自動對數(shù)據(jù)庫12中存儲超過預定時間的樣本數(shù)據(jù)進 行刪除；
[0036] 老數(shù)據(jù)刪除子模塊，用于自動對數(shù)據(jù)庫12中已經(jīng)抽取為特征數(shù)據(jù)的樣本數(shù)據(jù)進 行刪除；其中，老數(shù)據(jù)刪除子模塊具體用于：
[0037] 將特征數(shù)據(jù)的記錄時間與數(shù)據(jù)庫12中存儲的相應樣本數(shù)據(jù)的記錄時間進行比 較；如果特征數(shù)據(jù)的記錄時間早于樣本數(shù)據(jù)的記錄時間，則確定保留樣本數(shù)據(jù)，如果特征數(shù) 據(jù)的記錄時間晚于樣本數(shù)據(jù)的記錄時間，則進一步判斷能否針對該樣本數(shù)據(jù)補充新的特征 數(shù)據(jù)，如果能補充則保留樣本數(shù)據(jù)，否則刪除樣本數(shù)據(jù)。
[0038] 統(tǒng)計子模塊，用于自動對數(shù)據(jù)庫12中不同類別的樣本數(shù)據(jù)進行定期統(tǒng)計，并在樣 本數(shù)據(jù)量低于預先設置的閾值時，自動向用戶發(fā)送樣本數(shù)據(jù)量不足的提醒。
[0039] 以下結合附圖，對本發(fā)明實施例的技術方案進行詳細的說明。
[0040] 圖2是本發(fā)明實施例的樣本數(shù)據(jù)收集系統(tǒng)的優(yōu)選結構示意圖，如圖2所示，在本發(fā) 明實施例中，本系統(tǒng)由5個模塊組成，分別是：數(shù)據(jù)庫、數(shù)據(jù)庫接口、特征抽取模塊、輔助模 塊、后臺管理模塊。
[0041] 數(shù)據(jù)庫與數(shù)據(jù)庫接口以及輔助模塊連接，用于存儲樣本信息，例如樣本id、樣本分 類等。
[0042] 數(shù)據(jù)庫接口與特征抽取模塊、后臺管理模塊以及數(shù)據(jù)庫連接，用于提供訪問數(shù)據(jù) 庫的接口，對數(shù)據(jù)庫進行添、刪、改、查等操作，例如，通過數(shù)據(jù)庫接口將樣本信息寫入數(shù)據(jù) 庫、需求方通過數(shù)據(jù)庫接口獲取存儲于數(shù)據(jù)庫的樣本信息。
[0043] 特征抽取模塊，與數(shù)據(jù)庫接口連接，通過數(shù)據(jù)庫接口獲取存儲于數(shù)據(jù)庫中的樣本 信息。特征抽取模塊根據(jù)預設的邏輯將一個具體的樣本的信息，轉化、歸納或者提取為特征 (該特征可以是一個或多個），比如提取為特征A。其中某一種特征代表某一類的行為、以及 對該類行為取樣的周期等等。特征抽取模塊可將轉化、歸納或者提取得到的特征存儲于其 內部的存儲空間內。需求方可獲取存儲于特征抽取模塊的特征。
[0044] 例如，當一條樣本信息寫入樣本庫的時候，其僅為一條信息，通過特征抽取模塊， 收集到該樣本的不同的特征，并轉化、歸納或者提取得到這些特征，將這些特征存儲，使得 后續(xù)對樣本進行分析時候可以盡快的做出判斷。
[0045] 輔助模塊，與數(shù)據(jù)庫連接，用于對數(shù)據(jù)庫中存儲的樣本信息進行統(tǒng)計與清洗。具體 的：
[0046] 1、輔助模塊可以修正不準確的樣本數(shù)據(jù)。例如樣本信息1被寫入數(shù)據(jù)庫中，但經(jīng) 過識別認為該樣本信息不應被寫入數(shù)據(jù)庫中，則輔助模塊接收到刪除指令（刪除指令中包 含該樣本信息，例如樣本id、樣本分類等）將該樣本信息1從數(shù)據(jù)庫中刪除；
[0047] 2、輔助模塊可以淘汰老數(shù)據(jù)。例如，樣本信息1在數(shù)據(jù)庫中已存儲超過30日，則輔 助模塊會將該樣本信息1刪除。其中在寫入樣本的信息時會記錄該樣本信息寫入的時間。 在本發(fā)明實施例中，可以以時間標識標注該樣本信息。
[0048] 3、當特征抽取模塊通過轉化、歸納或提取等方式獲得新特征，有些老數(shù)據(jù)失去了 意義，則輔助模塊將會淘汰老數(shù)據(jù)。在實際應用中，可以通過以下操作淘汰老數(shù)據(jù)，具體地： 輔助模塊將比較特征的記錄時間與數(shù)據(jù)庫中存儲的樣本信息的記錄時間。如特征的記錄時 間早于樣本信息的記錄時間，則認為該樣本信息可以保留，如特征的記錄時間晚于樣本信 息的記錄時間，則需判斷能否針對該特征將相關信息（例如，基于所述樣本數(shù)據(jù)的新的特 征信息）補齊，如能補齊則保留該樣本信息，否則刪除該樣本信息。其中補齊的方法包括： 向特征抽取模塊寫入相關信息。
[0049] 4、輔助模塊對樣本數(shù)據(jù)進行統(tǒng)計。針對不同的樣本類別定期對樣本的數(shù)據(jù)量進行 統(tǒng)計，并根據(jù)需求將統(tǒng)計結果發(fā)送至各需求方，也可向需求方發(fā)送數(shù)據(jù)量不足的提醒。
[0050] 后臺管理模塊，與數(shù)據(jù)庫接口連接，用于管理樣本的分類及對樣本的信息進行校 對，對不準確的數(shù)據(jù)進行修正。具體地：例如創(chuàng)設新的樣本類別。該后臺管理模塊為人工對 數(shù)據(jù)庫進行操作提供了接口，通過后臺管理模塊可以人工管理樣本的分類及對樣本的信息 進行校對，對不準確的數(shù)據(jù)進行修正。
[0051] 綜上所述，借助于本發(fā)明實施例的技術方案，能夠減少獲取樣本數(shù)據(jù)的成本，節(jié)省 開發(fā)的時間，并進一步提高了樣本數(shù)據(jù)的準確性和實效性，對樣本的數(shù)量也有了保證，為后 面產品和技術在分析和開發(fā)中提供大量的幫助。
[0052] 顯然，本領域的技術人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精 神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權利要求及其等同技術的范圍 之內，則本發(fā)明也意圖包含這些改動和變型在內。
【權利要求】
1. 一種樣本數(shù)據(jù)收集系統(tǒng)，其特征在于，包括： 數(shù)據(jù)庫接口，用于提供訪問數(shù)據(jù)庫的接口； 數(shù)據(jù)庫，連接于所述數(shù)據(jù)庫接口，用于通過所述數(shù)據(jù)庫接口存儲接收到的樣本數(shù)據(jù)，并 根據(jù)用戶的請求發(fā)送相應的樣本數(shù)據(jù)； 特征抽取模塊，連接于所述數(shù)據(jù)庫接口，用于通過所述數(shù)據(jù)庫接口獲取所述數(shù)據(jù)庫中 的所述樣本數(shù)據(jù)，根據(jù)預先設置的邏輯將所述樣本數(shù)據(jù)抽取為特征數(shù)據(jù)，并進行存儲，根據(jù) 用戶的請求發(fā)送相應的特征數(shù)據(jù)。
2. 如權利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)進一步包括： 輔助模塊，連接于所述數(shù)據(jù)庫，用于對所述數(shù)據(jù)庫中存儲的所述樣本數(shù)據(jù)進行統(tǒng)計和 管理。
3. 如權利要求2所述的系統(tǒng)，其特征在于，所述輔助模塊具體包括： 修正子模塊，用于自動對所述數(shù)據(jù)庫中不準確的樣本數(shù)據(jù)進行修正； 超時數(shù)據(jù)刪除子模塊，用于自動對所述數(shù)據(jù)庫中存儲超過預定時間的樣本數(shù)據(jù)進行刪 除； 老數(shù)據(jù)刪除子模塊，用于自動對所述數(shù)據(jù)庫中已經(jīng)抽取為特征數(shù)據(jù)的樣本數(shù)據(jù)進行刪 除； 統(tǒng)計子模塊，用于自動對所述數(shù)據(jù)庫中不同類別的樣本數(shù)據(jù)進行定期統(tǒng)計，并在樣本 數(shù)據(jù)量低于預先設置的閾值時，自動向用戶發(fā)送樣本數(shù)據(jù)量不足的提醒。
4. 如權利要求3所述的系統(tǒng)，其特征在于，所述老數(shù)據(jù)刪除子模塊具體用于： 將特征數(shù)據(jù)的記錄時間與所述數(shù)據(jù)庫中存儲的相應樣本數(shù)據(jù)的記錄時間進行比較；如 果所述特征數(shù)據(jù)的記錄時間早于所述樣本數(shù)據(jù)的記錄時間，則確定保留所述樣本數(shù)據(jù)，如 果所述特征數(shù)據(jù)的記錄時間晚于所述樣本數(shù)據(jù)的記錄時間，則進一步判斷能否針對該樣本 數(shù)據(jù)補充新的特征數(shù)據(jù)，如果能補充則保留所述樣本數(shù)據(jù)，否則刪除所述樣本數(shù)據(jù)。
5. 如權利要求1所述的系統(tǒng)，其特征在于，所述系統(tǒng)進一步包括： 后臺管理模塊，連接于所述數(shù)據(jù)庫接口，用于通過所述數(shù)據(jù)庫接口對所述數(shù)據(jù)庫中的 所述樣本數(shù)據(jù)進行分類，和/或創(chuàng)建新的樣本數(shù)據(jù)類別。
6. 如權利要求5所述的系統(tǒng)，其特征在于，后臺管理模塊進一步用于：根據(jù)用戶的操作 對所述樣本數(shù)據(jù)進行校對，并修正不準確的樣本數(shù)據(jù)。
7. 如權利要求1至6中任一項所述的系統(tǒng)，其特征在于，特征抽取模塊具體用于：根據(jù) 預先設置的邏輯，收集、和/或提取所述樣本數(shù)據(jù)的一個或多個特征數(shù)據(jù)，并對所述樣本數(shù) 據(jù)對應的特征數(shù)據(jù)進行歸納存儲。
8. 如權利要求1至6中任一項所述的系統(tǒng)，其特征在于，所述樣本數(shù)據(jù)包括：樣本標識 ID、以及樣本分類。
9. 如權利要求1至6中任一項所述的系統(tǒng)，其特征在于，所述特征數(shù)據(jù)包括：對某類行 為的描述、以及對該類行為取樣的周期。
10. 如權利要求1至6中任一項所述的系統(tǒng)，其特征在于，所述樣本數(shù)據(jù)收集系統(tǒng)用于 為分類信息網(wǎng)站的信息識別提供所述樣本數(shù)據(jù)和所述特征數(shù)據(jù)。
【文檔編號】G06F17/30GK104063474SQ201410307397
【公開日】2014年9月24日 申請日期:2014年6月30日 優(yōu)先權日:2014年6月30日
【發(fā)明者】張鵬, 張美琦, 張愛華, 張朝陽 申請人:五八同城信息技術有限公司