一種數(shù)據(jù)處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)處理技術(shù)，尤其涉及一種數(shù)據(jù)處理方法及裝置。
【背景技術(shù)】
[0002] 目前的數(shù)據(jù)查詢系統(tǒng)的架構(gòu)為客戶端/服務(wù)器（C/S，Client/Server)架構(gòu)或者瀏 覽器/服務(wù)器（B/S，Browser/Server)架構(gòu)，其中，服務(wù)器處理數(shù)據(jù)一般有兩種實(shí)現(xiàn)形式：
[0003] 第一種實(shí)現(xiàn)形式為單一數(shù)據(jù)庫形式，即服務(wù)器對應(yīng)的數(shù)據(jù)庫為單一類型，例如，甲 骨文數(shù)據(jù)庫（oracle)、關(guān)系型數(shù)據(jù)庫管理系統(tǒng)（mysql)等，服務(wù)器針對客戶端或者瀏覽器 的各種查詢請求都統(tǒng)一在單一的數(shù)據(jù)庫中進(jìn)行處理；
[0004] 第二種實(shí)現(xiàn)形式為混搭數(shù)據(jù)庫形式，即服務(wù)器對應(yīng)的數(shù)據(jù)庫為混合類型，服務(wù)器 根據(jù)客戶端或者瀏覽器的查詢請求，在不同的數(shù)據(jù)庫進(jìn)行相應(yīng)的處理；例如，關(guān)系型數(shù)據(jù)庫 執(zhí)行結(jié)構(gòu)化數(shù)據(jù)計(jì)算，分布式系統(tǒng)基礎(chǔ)架構(gòu)（hadoop)處理非結(jié)構(gòu)化數(shù)據(jù)計(jì)算。
[0005] 為了提高服務(wù)器對查詢請求的處理能力，需要對服務(wù)器的硬件設(shè)備進(jìn)行擴(kuò)容，然 而，該方式不僅耗費(fèi)大量的資源，且線性擴(kuò)容一般只能帶來處理能力的線性增長，服務(wù)器的 利用率較低，用戶查詢所需的時(shí)間仍舊很長，影響用戶的體驗(yàn)。

【發(fā)明內(nèi)容】

[0006] 有鑒于此，本發(fā)明的主要目的在于提供一種數(shù)據(jù)處理方法及裝置，能夠提高服務(wù) 器的查詢處理能力，有效提高服務(wù)器的利用率，提升用戶的查詢體驗(yàn)。
[0007] 為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：
[0008] -種數(shù)據(jù)處理方法，該方法應(yīng)用于服務(wù)器中，所述服務(wù)器包括兩個(gè)以上計(jì)算單元； 所述方法包括：
[0009] 接收客戶端發(fā)送的第一消息；
[0010] 對所述第一消息進(jìn)行解析，得到所述第一消息對應(yīng)的實(shí)體對象；
[0011] 獲取所述實(shí)體對象的相關(guān)參數(shù)；
[0012] 基于預(yù)先訓(xùn)練的成本模型以及所述相關(guān)參數(shù)，計(jì)算所述實(shí)體對象的處理成本；
[0013] 根據(jù)預(yù)設(shè)的成本策略解析所述處理成本，并為所述處理成本選擇對應(yīng)的計(jì)算單 元；
[0014] 通過所述處理成本對應(yīng)的計(jì)算單元對所述實(shí)體對象進(jìn)行處理。
[0015] 優(yōu)選地，所述兩個(gè)以上計(jì)算單元至少包括：高性能計(jì)算單元、中性能計(jì)算單元；所 述處理成本至少包括：通過所述高性能計(jì)算單元處理的第一處理成本、通過所述中性能計(jì) 算單元處理的第二處理成本；相應(yīng)地，
[0016] 所述根據(jù)預(yù)設(shè)的成本策略解析所述處理成本，并為所述處理成本選擇對應(yīng)的計(jì)算 單元；通過所述處理成本對應(yīng)的計(jì)算單元對所述實(shí)體對象進(jìn)行處理；包括：
[0017] 比較所述第一處理成本與所述第二處理成本，當(dāng)所述第一處理成本大于或等于所 述第二處理成本時(shí)，通過所述中性能計(jì)算單元處理所述實(shí)體對象；
[0018] 當(dāng)所述第一處理成本與第二處理成本滿足以下公式時(shí)，通過所述高性能計(jì)算單元 處理所述實(shí)體對象；所述公式為：
[0019] Wl ^ τ XW2
[0020] 其中，Wl為第一處理成本；W2為第二處理成本；1彡τ彡1. 5。
[0021] 優(yōu)選地，所述基于預(yù)先訓(xùn)練的成本模型以及所述相關(guān)參數(shù)，計(jì)算所述實(shí)體對象的 處理成本，包括：
[0022] 將所述相關(guān)參數(shù)帶入至所述高性能計(jì)算單元對應(yīng)的所述成本模型中，計(jì)算得到所 述實(shí)體對象的處理成本，并作為第一處理成本；
[0023] 將所述相關(guān)參數(shù)帶入至所述中性能計(jì)算單元對應(yīng)的所述成本模型中，計(jì)算得到所 述實(shí)體對象的處理成本，并作為第二處理成本。
[0024] 優(yōu)選地，所述方法還包括：將所述相關(guān)參數(shù)帶入至所述高性能計(jì)算單元對應(yīng)的所 述成本模型中，計(jì)算得到所述實(shí)體對象的處理成本，并作為第一成本；
[0025] 將所述相關(guān)參數(shù)帶入至所述中性能計(jì)算單元對應(yīng)的所述成本模型中，計(jì)算得到所 述實(shí)體對象的處理成本，并作為第二成本；
[0026] 當(dāng)所述實(shí)體對象對應(yīng)的數(shù)據(jù)量位于所述高性能計(jì)算模時(shí)，基于預(yù)先訓(xùn)練的成本模 型以及所述相關(guān)參數(shù)，計(jì)算所述實(shí)體對象對應(yīng)的數(shù)據(jù)量從所述高性能計(jì)算單元傳輸至所述 中性能計(jì)算單元的傳輸成本，并作為第三成本；
[0027] 當(dāng)所述實(shí)體對象對應(yīng)的數(shù)據(jù)量位于所述中性能計(jì)算單元時(shí)，基于預(yù)先訓(xùn)練的成本 模型以及所述相關(guān)參數(shù)，計(jì)算所述實(shí)體對象對應(yīng)的數(shù)據(jù)量從所述中性能計(jì)算單元傳輸至所 述高性能計(jì)算模的傳輸成本，并作為第四成本；
[0028] 基于所述第一成本以及所述第四成本，確定出第一處理成本；
[0029] 基于所述第二成本以及所述第三成本，確定出第二處理成本。
[0030] 優(yōu)選地，所述方法還包括：針對處理場景、處理數(shù)據(jù)量以及所述計(jì)算單元配置一個(gè) 以上測試實(shí)例；
[0031] 對所述一個(gè)以上測試實(shí)例分別進(jìn)行處理，并獲取所述第一以上測試實(shí)例的處理成 本；
[0032] 采用反向傳播BP神經(jīng)網(wǎng)絡(luò)算法，對所述一個(gè)以上測試實(shí)例的處理成本與相關(guān)參 數(shù)的關(guān)系進(jìn)行訓(xùn)練以及擬合，得到所述成本模型。
[0033] 優(yōu)選地，所述實(shí)體對象的相關(guān)參數(shù)至少包括以下信息的其中之一：存儲位置、數(shù)據(jù) 量、維度字段、計(jì)算字段。
[0034] 一種數(shù)據(jù)處理裝置，所述裝置包括兩個(gè)以上計(jì)算單元；所述系統(tǒng)還包括：接收單 元、解析單元、獲取單元、第一處理單元、選擇單元；其中，
[0035] 所述接收單元，用于接收客戶端發(fā)送的第一消息；
[0036] 所述解析單元，用于對所述第一消息進(jìn)行解析，得到所述第一消息對應(yīng)的實(shí)體對 象；
[0037] 所述獲取單元，用于獲取所述實(shí)體對象的相關(guān)參數(shù)；
[0038] 所述第一處理單元，用于基于預(yù)先訓(xùn)練的成本模型以及所述相關(guān)參數(shù)，計(jì)算所述 實(shí)體對象的處理成本；
[0039] 所述選擇單元，用于根據(jù)預(yù)設(shè)的成本策略解析所述處理成本，并為所述處理成本 選擇對應(yīng)的計(jì)算單元；通知所述處理成本對應(yīng)的計(jì)算單元對所述實(shí)體對象進(jìn)行處理；
[0040] 所述計(jì)算單元，用于收到所述選擇單元的通知后，對所述實(shí)體對象進(jìn)行處理。
[0041] 優(yōu)選地，所述兩個(gè)以上計(jì)算單元至少包括：高性能計(jì)算單元、中性能計(jì)算單元；所 述處理成本至少包括：通過所述高性能計(jì)算單元處理的第一處理成本、通過所述中性能計(jì) 算單元處理的第二處理成本；相應(yīng)地，所述選擇單元包括：第一選擇子單元、第二選擇子單 元；其中，
[0042] 所述第一選擇子單元，用于比較所述第一處理成本與所述第二處理成本，當(dāng)所述 第一處理成本大于或等于所述第二處理成本時(shí)，通過所述中性能計(jì)算單元處理所述實(shí)體對 象；
[0043] 所述第二選擇子單元，用于當(dāng)所述第一處理成本與第二處理成本滿足以下公式 時(shí)，通過所述高性能計(jì)算單元處理所述實(shí)體對象；所述公式為：
[0044] Wl ^ τ XW2
[0045] 其中，Wl為第一處理成本；W2為第二處理成本；1彡τ彡1. 5。
[0046] 優(yōu)選地，所述第一處理單元包括：第一計(jì)算子單元和第二計(jì)算子單元；其中，
[0047] 所述第一計(jì)算子單元，用于將所述相關(guān)參數(shù)帶入至所述高性能計(jì)算單元對應(yīng)的所 述成本模型中，計(jì)算得到所述實(shí)體對象的處理成本，并作為第一處理成本；
[0048] 所述第二計(jì)算子單元，用于將所述相關(guān)參數(shù)帶入至所