国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      一種文件生成方法及裝置的制造方法

      文檔序號:10570557閱讀:171來源:國知局
      一種文件生成方法及裝置的制造方法
      【專利摘要】本發(fā)明涉及數(shù)據(jù)處理技術領域,尤其涉及一種文件生成方法及裝置,用以解決現(xiàn)有技術存在的在海量交易信息的情況下,文件生成性能不高,因而亟需一種可以提升海量交易信息的文件生成性能的方法的技術問題。本發(fā)明實施例中,將第一數(shù)據(jù)集中的記錄信息劃分到多個第二數(shù)據(jù)集中,且每個第二數(shù)據(jù)集中包括一條交易信息的所有內容,然后對每個第二數(shù)據(jù)集,將其中標識相同的記錄信息按設定規(guī)則組成一條交易信息,并生成該第二數(shù)據(jù)集的交易記錄,因而無需將所有第一數(shù)據(jù)集中的內容進行組合,而只需分別對每個第二數(shù)據(jù)集進行交易信息的組裝,從而減少了數(shù)據(jù)量,提高了海量信息組裝成交易信息的性能,提升了文件生成的效率。
      【專利說明】
      一種文件生成方法及裝置
      技術領域
      [0001]本發(fā)明涉及數(shù)據(jù)處理技術領域,尤其涉及一種文件生成方法及裝置。
      【背景技術】
      [0002]為方便管理,在交易信息量比較大時,通常的做法是根據(jù)交易信息各字段,將交易信息分散到多個級聯(lián)表中,例如每條交易信息的各字段分別為名稱、時間、金額,則可用三張級聯(lián)表分別存儲每條交易相應字段的信息,比如第一張表存儲每條交易信息的名稱、第二張表存儲每條交易信息的時間、第三張表存儲每條交易信息的金額。這樣,一條交易記錄分為三條記錄信息分別存儲于三張表中,同時為同屬于同一條交易信息的記錄信息分配相同的主鍵標識,以便于將記錄信息組裝為交易信息。
      [0003]基于上述交易信息的存儲方法,當需要將多張級聯(lián)表的記錄信息組裝成完整的交易信息時,現(xiàn)有技術主要通過基于數(shù)據(jù)庫排序的方法來實現(xiàn):以海量交易信息分別存儲于兩張級聯(lián)表中為例進行說明,兩張級聯(lián)表分別為A表和B表,其中A表存放交易信息的基本信息,B表存放交易信息的附加信息,A表與B表中記錄是一對多的關系,即一條交易信息包含一條基本信息,存放于A表中,以及包含多條附加信息,存放于B表中,并且同屬于同一條交易信息的基本信息和多條附加信息具有相同的主鍵標識,則現(xiàn)有技術基于這兩張表進行交易信息的組裝方法如下:首先,對A表和B表均按照主鍵標識進行升序排序,然后按照主鍵標識讀取A表中的一條基本信息,以及讀取B表中的具有相同主鍵標識的所有附加信息,然后將讀取的基本信息和多條附加信息組裝成一條交易信息,接下來再讀取A表的下一條基本信息,以及讀取B表中與該條基本信息具有相同主鍵標識的所有附加信息,組裝成第二條交易信息,直到讀完A表和B表,將所有的基本信息和附加信息組裝成相應的交易信息為止。
      [0004]上述方法,首先基于數(shù)據(jù)庫對所有的級聯(lián)表進行排序,然后再基于排序后的級聯(lián)表將其中的記錄信息組裝成交易信息,在目前交易信息數(shù)據(jù)量巨大的情況下,對海量的交易信息進行排序對數(shù)據(jù)庫性能要求較高,因而數(shù)據(jù)庫性能成為海量交易信息的文件生成的性能瓶頸;同時,對于交易信息的內容要求越來越詳細,導致級聯(lián)表數(shù)量的增加,進一步惡化了交易信息的文件生成的效率。
      [0005]綜上所述,現(xiàn)有技術存在在海量交易信息的情況下,文件生成性能不高,因而亟需一種可以提升海量交易信息的文件生成性能的方法的技術問題。

      【發(fā)明內容】

      [0006]本發(fā)明提供一種文件生成方法,用以解決現(xiàn)有技術存在的在海量交易信息的情況下,文件生成性能不高,因而亟需一種可以提升海量交易信息的文件生成性能的方法的技術問題。
      [0007]—方面,本發(fā)明實施例提供的一種文件生成方法,包括:
      [0008]根據(jù)記錄信息的標識,將N個第一數(shù)據(jù)集中的記錄信息劃分到M個第二數(shù)據(jù)集中,所述N個第一數(shù)據(jù)集中具有相同標識的記錄信息構成一條交易信息,任意兩個第一數(shù)據(jù)集的記錄信息所對應的交易信息的字段不完全相同,每個第二數(shù)據(jù)集的記錄信息中包括一條交易信息的各字段;其中,N大于1,M大于I ;
      [0009]針對每個第二數(shù)據(jù)集,將該第二數(shù)據(jù)集中標識相同的記錄信息按設定規(guī)則組成一條交易信息,生成該第二數(shù)據(jù)集的交易記錄;
      [0010]根據(jù)M個第二數(shù)據(jù)集的交易記錄,得到所述N個第一數(shù)據(jù)集對應的交易記錄。
      [0011 ] 可選的,所述根據(jù)記錄信息的標識,將N個第一數(shù)據(jù)集中的記錄信息劃分到M個第二數(shù)據(jù)集中,包括:
      [0012]所述第二數(shù)據(jù)集中包括N個子文件,所述N個子文件與所述N個第一數(shù)據(jù)集一一對應;
      [0013]對于所述N個第一數(shù)據(jù)集中的每個記錄信息,執(zhí)行以下操作:
      [0014]根據(jù)預先設定的記錄信息的標識與第二數(shù)據(jù)集的標識的對應關系,確定該記錄信息對應的第二數(shù)據(jù)集;
      [0015]根據(jù)該記錄信息所在的第一數(shù)據(jù)集以及該記錄信息對應的第二數(shù)據(jù)集,確定該記錄信息對應的第二數(shù)據(jù)集中的相應子文件;
      [0016]將該記錄信息寫入該記錄信息對應的第二數(shù)據(jù)集中的相應子文件。
      [0017]可選的,所述將該第二數(shù)據(jù)集中標識相同的記錄信息按設定規(guī)則組成一條交易信息,包括:
      [0018]讀取該第二數(shù)據(jù)集中的N個子文件;
      [0019]將讀取的每個子文件中標識相同的記錄信息按設定的存儲結構寫入內存中,每個存儲結構對應的記錄信息構成一條交易信息。
      [0020]可選的,根據(jù)以下方式確定第二數(shù)據(jù)集的個數(shù)M:
      [0021]根據(jù)當前處理系統(tǒng)的系統(tǒng)環(huán)境和所述一條交易信息的數(shù)據(jù)量,獲取第二數(shù)據(jù)集的個數(shù)與交易信息總量的對應關系;
      [0022]根據(jù)所述N個第一數(shù)據(jù)集中的交易信息總量,確定所述N個第一數(shù)據(jù)集對應的第二數(shù)據(jù)集的個數(shù)M。
      [0023]可選的,根據(jù)所述當前處理系統(tǒng)的系統(tǒng)環(huán)境和所述一條交易信息的數(shù)據(jù)量,確定進程的個數(shù)為P,P為正整數(shù);
      [0024]根據(jù)所述第二數(shù)據(jù)集的個數(shù)M及所述進程的個數(shù)P,確定每個進程需要處理的第二數(shù)據(jù)集,包括:
      [0025]若M小于等于P,則將所述M個第二數(shù)據(jù)集隨機分配給所述P個進程中的M個;
      [0026]若M大于等于P,則將所述M個第二數(shù)據(jù)集依次分配給所述P個進程。
      [0027]本發(fā)明實施例中,將第一數(shù)據(jù)集中的記錄信息劃分到多個第二數(shù)據(jù)集中,且每個第二數(shù)據(jù)集中包括一條交易信息的所有內容,然后對每個第二數(shù)據(jù)集,將其中標識相同的記錄信息按設定規(guī)則組成一條交易信息,并生成該第二數(shù)據(jù)集的交易記錄,因而無需將所有第一數(shù)據(jù)集中的內容進行組合,而只需分別對每個第二數(shù)據(jù)集進行交易信息的組裝,從而減少了數(shù)據(jù)量,提高了海量信息組裝成交易信息的性能,提升了文件生成的效率。
      [0028]另一方面,本發(fā)明實施例提供的一種文件生成裝置,包括:
      [0029]劃分單元,用于根據(jù)記錄信息的標識,將N個第一數(shù)據(jù)集中的記錄信息劃分到M個第二數(shù)據(jù)集中,所述N個第一數(shù)據(jù)集中具有相同標識的記錄信息構成一條交易信息,任意兩個第一數(shù)據(jù)集的記錄信息所對應的交易信息的字段不完全相同,每個第二數(shù)據(jù)集的記錄信息中包括一條交易信息的各字段;其中,N為大于I的整數(shù),M為大于I的整數(shù);
      [0030]第一生成單元,用于針對每個第二數(shù)據(jù)集,將該第二數(shù)據(jù)集中標識相同的記錄信息按設定規(guī)則組成一條交易信息,生成該第二數(shù)據(jù)集的交易記錄;
      [0031]第二生成單元,用于根據(jù)M個第二數(shù)據(jù)集的交易記錄,得到所述N個第一數(shù)據(jù)集對應的交易記錄。
      [0032]可選的,所述第二數(shù)據(jù)集中包括N個子文件,所述N個子文件與所述N個第一數(shù)據(jù)集一一對應;所述劃分單元,具體用于:
      [0033]對于所述N個第一數(shù)據(jù)集中的每個記錄信息,執(zhí)行以下操作:
      [0034]根據(jù)預先設定的記錄信息的標識與第二數(shù)據(jù)集的標識的對應關系,確定該記錄信息對應的第二數(shù)據(jù)集;
      [0035]根據(jù)該記錄信息所在的第一數(shù)據(jù)集以及該記錄信息對應的第二數(shù)據(jù)集,確定該記錄信息對應的第二數(shù)據(jù)集中的相應子文件;
      [0036]將該記錄信息寫入該記錄信息對應的第二數(shù)據(jù)集中的相應子文件。
      [0037]可選的,所述將第一生成單元,具體用于:
      [0038]讀取該第二數(shù)據(jù)集中的N個子文件;
      [0039]將讀取的每個子文件中標識相同的記錄信息按設定的存儲結構寫入內存中,每個存儲結構對應的記錄信息構成一條交易信息。
      [0040]可選的,所述劃分單元,還用于:
      [0041]根據(jù)當前處理系統(tǒng)的系統(tǒng)環(huán)境和所述一條交易信息的數(shù)據(jù)量,獲取第二數(shù)據(jù)集的個數(shù)與交易信息總量的對應關系;
      [0042]根據(jù)所述N個第一數(shù)據(jù)集中的交易信息總量,確定所述N個第一數(shù)據(jù)集對應的第二數(shù)據(jù)集的個數(shù)M。
      [0043]可選的,所述劃分單元,還用于:
      [0044]根據(jù)所述當前處理系統(tǒng)的系統(tǒng)環(huán)境和所述一條交易信息的數(shù)據(jù)量,確定進程的個數(shù)為P,P為正整數(shù);
      [0045]若M小于等于P,則將所述M個第二數(shù)據(jù)集隨機分配給所述P個進程中的M個;
      [0046]若M大于等于P,則將所述M個第二數(shù)據(jù)集依次分配給所述P個進程。
      【附圖說明】
      [0047]為了更清楚地說明本發(fā)明實施例中的技術方案,下面將對實施例描述中所需要使用的附圖作簡要介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領域的普通技術人員來講,在不付出創(chuàng)造性勞動性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
      [0048]圖1為本發(fā)明實施例提供的文件生成方法流程圖;
      [0049]圖2為CPU數(shù)量為4個、內存20G、內存使用率為60 %、單筆交易為4K條件下,交易信息數(shù)量與第二數(shù)據(jù)集取值之間的曲線擬合函數(shù)示意圖;
      [0050]圖3為CPU數(shù)量為4個、內存20G、內存使用率為60%、單筆交易為4K條件下,交易信息數(shù)量與并發(fā)進程取值之間的曲線擬合函數(shù)示意圖;
      [0051]圖4為本發(fā)明實施例提供的文件生成方法詳細流程圖;
      [0052]圖5為本發(fā)明實施例中將第一數(shù)據(jù)集的記錄信息分配到第二數(shù)據(jù)集的方法流程圖;
      [0053]圖6為本發(fā)明實施例提供的文件生成裝置示意圖。
      【具體實施方式】
      [0054]為了使本發(fā)明的目的、技術方案和優(yōu)點更加清楚,下面將結合附圖對本發(fā)明作進一步地詳細描述,顯然,所描述的實施例僅僅是本發(fā)明一部份實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例,都屬于本發(fā)明保護的范圍。
      [0055]下面結合說明書附圖對本發(fā)明實施例作進一步詳細描述。
      [0056]如圖1所示,為本發(fā)明實施例文件生成方法,包括:
      [0057]步驟101、根據(jù)記錄信息的標識,將N個第一數(shù)據(jù)集中的記錄信息劃分到M個第二數(shù)據(jù)集中,所述N個第一數(shù)據(jù)集中具有相同標識的記錄信息構成一條交易信息,任意兩個第一數(shù)據(jù)集的記錄信息所對應的交易信息的字段不完全相同,每個第二數(shù)據(jù)集的記錄信息中包括一條交易信息的各字段;其中,N大于1,M大于I ;
      [0058]步驟102、針對每個第二數(shù)據(jù)集,將該第二數(shù)據(jù)集中標識相同的記錄信息按設定規(guī)則組成一條交易信息,生成該第二數(shù)據(jù)集的交易記錄;
      [0059]步驟103、根據(jù)M個第二數(shù)據(jù)集的交易記錄,得到所述N個第一數(shù)據(jù)集對應的交易記錄。
      [0060]在上述實施例中,第一數(shù)據(jù)集與第二數(shù)據(jù)集存儲的記錄信息所對應的交易信息的字段不同。其中,每個第一數(shù)據(jù)集中存儲的記錄信息為交易信息的不同字段,如交易信息中有4個字段,分別為卡號信息、持卡人信息、交易時間和交易金額,則4個第一數(shù)據(jù)集分別存儲一個字段信息;當然也可以將卡號信息和持卡人信息兩個字段對應的信息作為一條記錄信息存儲第一個第一數(shù)據(jù)集中,交易時間這一個字段對應的信息作為一條記錄信息存儲第二個第一數(shù)據(jù)集中,交易金額這一個字段對應的信息作為一條記錄信息存儲第三個第一數(shù)據(jù)集中;也可以將卡號信息和持卡人信息兩個字段對應的信息作為一條記錄信息存儲第一個第一數(shù)據(jù)集中,將持卡人信息和交易時間兩個字段對應的信息作為一條記錄信息存儲第二個第一數(shù)據(jù)集中,將交易時間和交易金額兩個字段對應的信息作為一條記錄信息存儲第三個第一數(shù)據(jù)集中,等等。本發(fā)明實施例對交易信息字段的劃分不做具體限定,但要求N個第一數(shù)據(jù)集中具有相同標識的記錄信息構成一條交易信息。每個第二數(shù)據(jù)集中存儲的記錄信息包括一條交易信息的各字段的內容。因而在步驟101中,可依次讀取每個第一數(shù)據(jù)集中的每一條記錄信息,根據(jù)記錄信息的標識,將每一條記錄信息劃分到相應的第二數(shù)據(jù)集中,也可以是由多個進程并發(fā)地來讀取多個第一數(shù)據(jù)集中的記錄信息,從而可以更快的將所有第一數(shù)據(jù)集中的記錄信息劃分到相應的第二數(shù)據(jù)集中,例如,有K個進程并發(fā)執(zhí)行,則可以將第一數(shù)據(jù)集的記錄信息劃分到第二數(shù)據(jù)集的速度提高K倍。由于同一條交易的各字段的記錄信息具有相同的標識,因而每個第二數(shù)據(jù)集中包括交易信息的各字段的記錄信息,即一條交易的所有字段的記錄信息被劃分到同一個第二數(shù)據(jù)集。
      [0061]上述步驟102中,在將N個第一數(shù)據(jù)集中的每條記錄信息分別存儲于對應的第二數(shù)據(jù)集之后,接下來針對每個第二數(shù)據(jù)集,將該第二數(shù)據(jù)集中標識相同的記錄信息按設定規(guī)則組成一條交易信息,生成該第二數(shù)據(jù)集的交易記錄。例如,該設定的規(guī)則可以是對第二數(shù)據(jù)集中的所有記錄信息按照主鍵標識進行排序,然后依次該第二數(shù)據(jù)集中的每條記錄信息,然后將主鍵標識相同的記錄信息組裝成一條交易信息;該設定的規(guī)則還可以是不對第二數(shù)據(jù)集中的記錄信息進行排序,而是依次讀取每條記錄信息,然后將記錄信息寫入預先設定的數(shù)組結構中,這樣,讀取完一個第二數(shù)據(jù)集之后,該第二數(shù)據(jù)集中的每條記錄信息都寫入了相應的數(shù)組中,則一個數(shù)組就表示了一個交易信息。
      [0062]上述步驟103中,可以是將每個第二數(shù)據(jù)集中的所有交易信息生成一個交易記錄的文件,然后根據(jù)M個第二數(shù)據(jù)集的交易記錄,再生成一個最終的交易記錄,該最終生成的交易記錄文件中包含了所有交易信息。當然,也可以將M個第二數(shù)據(jù)集的交易記錄輸出作為N個第一數(shù)據(jù)集的交易記錄文件,無需再匯總為一個交易記錄文件。
      [0063]本發(fā)明實施例中,將第一數(shù)據(jù)集中的記錄信息劃分到多個第二數(shù)據(jù)集中,且每個第二數(shù)據(jù)集中包括一條交易信息的所有內容,然后對每個第二數(shù)據(jù)集,將其中標識相同的記錄信息按設定規(guī)則組成一條交易信息,并生成該第二數(shù)據(jù)集的交易記錄,因而無需將所有第一數(shù)據(jù)集中的內容進行組合,而只需分別對每個第二數(shù)據(jù)集進行交易信息的組裝,從而減少了數(shù)據(jù)量,提高了海量信息組裝成交易信息的性能,提升了文件生成的效率。
      [0064]具體的,在步驟101中,根據(jù)記錄信息的標識,將N個第一數(shù)據(jù)集中的記錄信息劃分到M個第二數(shù)據(jù)集的方法,可以是每個第二數(shù)據(jù)集包含有一個文件,該文件用于存儲記錄信息,在確定了 N個第一數(shù)據(jù)集中每條記錄信息所對應第二數(shù)據(jù)集之后,可將該記錄信息寫入對應的第二數(shù)據(jù)集中的文件中,則對應于某個第二數(shù)據(jù)集的所有記錄信息均被寫入該第二數(shù)據(jù)集中的文件。
      [0065]可選的,考慮到交易信息各字段的數(shù)據(jù)屬性不同,可在第二數(shù)據(jù)集中設置N個子文件,N個子文件與N個第一數(shù)據(jù)集--對應;
      [0066]對于N個第一數(shù)據(jù)集中的每個記錄信息,執(zhí)行以下操作:
      [0067]根據(jù)預先設定的記錄信息的標識與第二數(shù)據(jù)集的標識的對應關系,確定該記錄信息對應的第二數(shù)據(jù)集;
      [0068]根據(jù)該記錄信息所在的第一數(shù)據(jù)集以及確定的該記錄信息對應的第二數(shù)據(jù)集,確定所述第二數(shù)據(jù)集中的相應子文件;
      [0069]將該記錄信息寫入所述第二數(shù)據(jù)集中的相應子文件。
      [0070]上述方法中,每個第二數(shù)據(jù)集包含N個子文件,N個子文件與所述N個第一數(shù)據(jù)集一一對應,由于N個第一數(shù)據(jù)集中的記錄信息具有不同的存儲結構,因此分別存儲于第二數(shù)據(jù)集中的相應的子文件中,可方便記錄信息的管理、維護和使用。
      [0071]具體地,在步驟102中,針對每個第二數(shù)據(jù)集中有N個子文件,分別用于存儲來自N個第一數(shù)據(jù)集的記錄信息的情形,也可通過以下方式將第二數(shù)據(jù)集中的標識相同的記錄信息按設定規(guī)則組成一條交易信息:
      [0072]對于每個第二數(shù)據(jù)集,讀取該第二數(shù)據(jù)集中的N個子文件;將讀取的每個子文件中標識相同的記錄信息按設定的存儲結構寫入內存中,每個存儲結構對應的記錄信息構成一條交易信息。
      [0073]上述方法,可以是先根據(jù)交易信息的數(shù)量和第一數(shù)據(jù)集的數(shù)量,在內存中分配好相應數(shù)量和維度的數(shù)組,數(shù)組的數(shù)量對應第一數(shù)據(jù)集中交易信息的總量,數(shù)組的維度對應第一數(shù)據(jù)集的數(shù)量或交易信息的字段的數(shù)量,并且所有的數(shù)組的值初始化為空值,然后依次或者多進程并發(fā)地讀取第二數(shù)據(jù)集中的N個子文件,根據(jù)記錄信息的標識將標識相同的記錄信息分配到一個數(shù)組中,將一條交易信息的各記錄信息分配到相應數(shù)組的分量中,因此最終每個數(shù)組就表示一條交易信息,并且每個數(shù)組中記錄有一條交易信息的所有記錄信息。該方法,簡單易實施,并且由于一條交易信息的所有記錄信息均位于同一第二數(shù)據(jù)集中,因此可很快將一條交易信息組裝完成,在組裝完成輸出到相應文件后,即可回收該部分內存,因此不會過多占用內存,提高了處理能力和處理速度,另外該方法也無需對第一數(shù)據(jù)集或者第二數(shù)據(jù)集進行排序,而是可以直接按照記錄信息的存儲順序從前往后依次讀取每條記錄信息并做相應處理,因此該方法不依賴于數(shù)據(jù)庫的性能,從而減少了限制,提高了應用能力。
      [0074]具體的,對于步驟103,還可以根據(jù)具體應用時的需要,根據(jù)其他方法生成最終的交易記錄文件。例如,在針對每個第二數(shù)據(jù)集組裝交易信息時,每完成一條交易信息的組裝,則將組裝好的交易信息根據(jù)該交易信息的類型寫入到相應的文件中,比如交易信息的類型分別有工行文件,農行文件,招行文件,中行文件和其它文件,若該交易信息的類型為工行文件,則將該交易信息寫入到工行文件中,若該交易信息的類型為農行文件,則將該交易信息寫入到農行文件中等等。因此每當完成一條交易信息的組裝時,即可將該交易信息寫入到相應的交易記錄文件中,當所有的交易信息都完成組裝時,即可完成所有交易信息寫入到相應的交易記錄文件中。
      [0075]具體地,在步驟101之前,首先需要確定第二數(shù)據(jù)集的數(shù)量M。確定M取值的方法有很多,例如一種方式可以是:預先設定每個第二數(shù)據(jù)集可處理X個交易信息,則可根據(jù)N個第一數(shù)據(jù)集中的交易信息的總數(shù)量Y確定出M的取值,即M為Y除以X的取值,比如預先設定每個第二數(shù)據(jù)集可處理100個交易信息,交易信息的總數(shù)量為100000,則需要的第二數(shù)據(jù)集的數(shù)量M為100000除以100,即M為1000 ;也還可以是其它方式確定M的取值,例如交易信息總量在每個區(qū)間范圍對應一個M的取值,比如交易信息總量在O?10000時,M取值100,交易信息總量在10001?20000時,M取值200,以此類推。
      [0076]可選的,還可以根據(jù)以下方式確定第二數(shù)據(jù)集的個數(shù)M:
      [0077]根據(jù)當前處理系統(tǒng)的系統(tǒng)環(huán)境和所述一條交易信息的數(shù)據(jù)量,獲取第二數(shù)據(jù)集的個數(shù)與交易信息總量的對應關系;
      [0078]根據(jù)所述N個第一數(shù)據(jù)集中的交易信息總量,確定所述N個第一數(shù)據(jù)集對應的第二數(shù)據(jù)集的個數(shù)M。
      [0079]上述方法中,在確定第二數(shù)據(jù)集的個數(shù)M之前,可通過曲線擬合的方法,先建立系統(tǒng)環(huán)境、單筆交易信息的大小與交易信息數(shù)量、第二數(shù)據(jù)集的數(shù)量之間的關系庫。其中,系統(tǒng)環(huán)境是指CPU (Central Processing Unit,中央處理器)數(shù)量、內存大小、內存使用率,然后可設定每個第二數(shù)據(jù)集的處理上限,例如為200M,則可擬合在不同的系統(tǒng)環(huán)境及單筆交易信息大小的前提下,交易信息的數(shù)量與第二數(shù)據(jù)集取值之間的函數(shù)關系。如圖2,為CPU數(shù)量為4個、內存20G、內存使用率為60%、單筆交易為4K條件下,交易信息數(shù)量與第二數(shù)據(jù)集M取值之間的曲線擬合函數(shù)示意圖。因此在建立了系統(tǒng)環(huán)境、單筆交易信息的大小與交易信息數(shù)量、第二數(shù)據(jù)集的數(shù)量之間的關系庫之后,只要通過當前處理系統(tǒng)的系統(tǒng)環(huán)境和一條交易信息的大小,即可獲取唯一的一個第二數(shù)據(jù)集的個數(shù)與第一數(shù)據(jù)集中的交易信息量的對應關系,例如,圖2為在CPU數(shù)量為4個、內存20G、內存使用率為60%、單筆交易為4K的條件下,交易信息數(shù)量與第二數(shù)據(jù)集M取值之間的曲線擬合函數(shù)示意圖,如果當前系統(tǒng)環(huán)境為其條件,比如CPU數(shù)量為2個、內存5G、內存使用率為80%、單筆交易為4K,則可以從預先建立的系統(tǒng)環(huán)境、單筆交易信息的大小與交易信息數(shù)量、第二數(shù)據(jù)集的數(shù)量M之間的關系庫中找到一個與該系統(tǒng)環(huán)境相對應的一個交易信息數(shù)量與第二數(shù)據(jù)集M取值之間的曲線擬合函數(shù)。根據(jù)當前處理系統(tǒng)的系統(tǒng)環(huán)境找到對應關系后,如圖2所示,再根據(jù)當前交易信息的數(shù)量,即可確定第二數(shù)據(jù)集的個數(shù)M。該方法可基于實踐中累積的經驗,確定有效的關系庫,后續(xù)使用時根據(jù)當前處理的實際情況,查詢相應的關系庫,從而確定第二數(shù)據(jù)集的個數(shù)M,該方法簡單易實施,具有很好的實用性。
      [0080]另外,對于M個第二數(shù)據(jù)集,可以是依次處理每一個第二數(shù)據(jù)集,也還可以通過并發(fā)處理的方式,即使用多進程并發(fā)的方式來處理M個第二數(shù)據(jù)集。
      [0081]可選的,根據(jù)所述系統(tǒng)環(huán)境和一條交易信息的大小,確定進程的個數(shù)為P,P為正整數(shù);
      [0082]根據(jù)所述第二數(shù)據(jù)集的個數(shù)M及所述進程的個數(shù)P,確定每個進程需要處理的第二數(shù)據(jù)集,包括:
      [0083]若M小于等于P,則將所述M個第二數(shù)據(jù)集隨機分配給所述P個進程中的M個;
      [0084]若M大于等于P,則將所述M個第二數(shù)據(jù)集依次分配給所述P個進程。上述方法,首先確定并發(fā)進程的個數(shù)。其方法類似于確定第二數(shù)據(jù)集的數(shù)量M的方法,在確定并發(fā)進程的個數(shù)之前,可通過曲線擬合的方法,先建立系統(tǒng)環(huán)境、單筆交易信息的大小與交易信息數(shù)量、并發(fā)進程數(shù)量之間的關系庫。其中,系統(tǒng)環(huán)境是指CPU數(shù)量、內存大小、內存使用率;然后可設定每個第二數(shù)據(jù)集的處理上限,例如為200M,并發(fā)進程數(shù)量的上限,例如為35個,然后即可擬合在不同的系統(tǒng)環(huán)境及單筆交易信息大小的前提下,交易信息的數(shù)量與進程數(shù)量的取值之間的函數(shù)關系。如圖3,為CPU數(shù)量為4個、內存20G、內存使用率為60%、單筆交易為4K條件下,交易信息數(shù)量與進程數(shù)量的取值之間的曲線擬合函數(shù)示意圖。因此在建立了系統(tǒng)環(huán)境、單筆交易信息的大小與交易信息數(shù)量、進程數(shù)量的取值之間的關系庫之后,只要通過當前處理系統(tǒng)的系統(tǒng)環(huán)境和一條交易信息的大小,即可獲取出唯一的第二數(shù)據(jù)集的個數(shù)與進程數(shù)量的對應關系,如圖3所示,然后再根據(jù)當前交易信息的數(shù)量,即可確定進程數(shù)量P。
      [0085]若第二數(shù)據(jù)集的個數(shù)M小于等于進程的個數(shù)P,則將M個第二數(shù)據(jù)集隨機分配給P個進程中的M個進行并發(fā)處理;若第二數(shù)據(jù)集的個數(shù)M大于等于進程的個數(shù)P,則將所述M個第二數(shù)據(jù)集依次分配給所述P個進程處理,即進程I處理的第二數(shù)據(jù)集依次為第I個、第P+1個、第2P+1個,以此類推;進程2處理第二數(shù)據(jù)集依次為第2個、第P+2個、第2P+2個,以此類推;進程P處理的第二數(shù)據(jù)集依次為第P個、第2P個、第3P個,以此類推。例如,一共有3個進程,有9個第二數(shù)據(jù)集,則進程I處理1、4、7第二數(shù)據(jù)集,進程2處理2、5、8第二數(shù)據(jù)集,進程3處理3、6、9第二數(shù)據(jù)集。該方法由于使用多個進程并發(fā)處理M個第二數(shù)據(jù)集,因而可最大程度的提高處理速度,可使海量數(shù)據(jù)更快的組裝成交易信息,節(jié)約了系統(tǒng)資源,提高了系統(tǒng)效率。
      [0086]下面對本發(fā)明實施例文件生成方法做詳細描述,參見圖4,為本發(fā)明實施例提供的文件生成方法詳細流程圖。
      [0087]步驟401、根據(jù)當前處理系統(tǒng)的系統(tǒng)環(huán)境、交易信息的數(shù)量、每筆交易信息的大小,確定第二數(shù)據(jù)集的數(shù)量M和并發(fā)進程的數(shù)量P ;
      [0088]步驟402、根據(jù)記錄信息的標識,將N個第一數(shù)據(jù)集中的記錄信息劃分到M個第二數(shù)據(jù)集的相應子文件中;
      [0089]步驟403、將M個第二數(shù)據(jù)集分配給P個進程并發(fā)處理,針對每個第二數(shù)據(jù)集,依次讀取每個子文件,根據(jù)記錄信息的標識,將子文件中的每條記錄信息讀取到內存中相應的數(shù)據(jù)結構中;
      [0090]步驟404、在每條交易信息組裝完成后,根據(jù)該組裝完成的記錄信息的屬性信息,將該組裝完成的記錄信息寫入相應的文件中。
      [0091]在步驟401中,通過當前處理系統(tǒng)的系統(tǒng)環(huán)境、交易信息的數(shù)量、每筆交易信息的大小,到預先建立的系統(tǒng)環(huán)境、單筆交易信息的大小與交易信息數(shù)量、第二數(shù)據(jù)集的數(shù)量之間的關系庫中,查找到與當前處理系統(tǒng)的系統(tǒng)環(huán)境對應的一個交易信息數(shù)量與第二數(shù)據(jù)集取值之間的曲線擬合函數(shù),然后根據(jù)當前交易信息的數(shù)量,即可確定第二數(shù)據(jù)集的個數(shù)M ;同樣的,通過當前處理系統(tǒng)的系統(tǒng)環(huán)境、交易信息的數(shù)量、每筆交易信息的大小,到預先建立的系統(tǒng)環(huán)境、單筆交易信息的大小與交易信息數(shù)量、并發(fā)進程數(shù)量之間的關系庫中查找到與當前處理系統(tǒng)的系統(tǒng)環(huán)境對應的一個交易信息數(shù)量與進程數(shù)量之間的曲線擬合函數(shù),然后根據(jù)當前交易信息的數(shù)量,即可確定進程數(shù)量的個數(shù)P。
      [0092]在步驟402中,針對N個第一數(shù)據(jù)集中的每條記錄信息,首先確定記錄信息對應的第二數(shù)據(jù)集,然后再確定對應的第二數(shù)據(jù)集中的子文件。下面舉例說明,假設第一數(shù)據(jù)集數(shù)量N為2,分別為A表,A’表,分別存儲交易信息的基本信息和附加信息,參考圖5,為將第一數(shù)據(jù)集的記錄信息分配到第二數(shù)據(jù)集的方法流程圖。其中,block_i表示第i個第二數(shù)據(jù)集,block_i_A表示第i個第二數(shù)據(jù)集中存儲來自A表的記錄信息的文件,block_i_A’表示第i個第二數(shù)據(jù)集中存儲來自A’表的記錄信息的文件;block_j表示第j個第二數(shù)據(jù)集,block_j_A表示第j個第二數(shù)據(jù)集中存儲來自A表的記錄信息的文件,block_j_A’表示第j個第二數(shù)據(jù)集中存儲來自A’表的記錄信息的文件,參考圖5,首先讀取A表,將表中的每條記錄信息,根據(jù)該條記錄信息的主鍵標識和第二數(shù)據(jù)集的個數(shù)M,通過哈希(HASH)函數(shù),確定相應的第二數(shù)據(jù)集,然后根據(jù)確定出的第二數(shù)據(jù)集以及A表,可確定該記錄信息要寫入的文件,由于該記錄信息來自于A表,因此該記錄信息寫入確定的第二數(shù)據(jù)集中與A表對應的文件。例如,讀取A表中的一條記錄信息,其主鍵標識為111,且第二數(shù)據(jù)集的數(shù)量M為100,通過哈希函數(shù),HASHdll, 100),若確定該記錄信息對應的第二數(shù)據(jù)集為48,則將該記錄信息寫入到第48個第二數(shù)據(jù)集中與A表對應的文件中,即寫入文件block_48_A中。依照同樣的方法,將A表中所有的記錄信息均寫入與每條記錄信息對應的第二數(shù)據(jù)集中的相應文件,讀完A表之后,依照同樣的方法,再讀取A’表中的每條記錄,將A’表中所有的記錄信息均寫入與每條記錄信息對應的第二數(shù)據(jù)集中的相應文件,由于A表和A’表中使用同一個哈希函數(shù),因此具有相同主鍵標識的記錄信息會被分配到同一個第二數(shù)據(jù)集中。例如,讀取A’表中的一條記錄信息,其主鍵標識為111,通過哈希函數(shù),HASH(111,100),確定該記錄信息對應的第二數(shù)據(jù)集為48,則將該記錄信息寫入到第48個第二數(shù)據(jù)集中與A’表對應的文件中,即寫入文件block_48_A’中。當然,在該方法中,是依次讀取A表和A’表的,當然也可以使用兩個進程并發(fā)地讀取A表和A’表,因而可以提高海量數(shù)據(jù)生成文件的速度,提升系統(tǒng)處理效率。
      [0093]在步驟403中,可以使用P個進程并發(fā)地處理M個第二數(shù)據(jù)集,其中,每個第二數(shù)據(jù)集包含N個子文件,分別與N個第一數(shù)據(jù)集對應,N個子文件分別存儲來自N個第一數(shù)據(jù)集的記錄信息,依次讀取每個子文件中的記錄信息,然后寫入預先分配的數(shù)據(jù)結構,并讀入內存中,然后在內存中進行組裝。例如,第一數(shù)據(jù)集中的交易信息總量為100000,每條交易信息的字段相同,且包含100個字段,則可以預先分配100000個數(shù)組,每個數(shù)組可以存放100個記錄信息。因此,在讀取第二數(shù)據(jù)集中的一條記錄信息時,可根據(jù)主鍵標識,將該條記錄信息寫入相應的數(shù)組的相應位置,并且具有相同主鍵標識的記錄信息寫入同一個數(shù)組中,因此,當讀完一個第二數(shù)據(jù)集之后,具有相同的主鍵標識的記錄信息被寫入了同一個數(shù)組中,并且由于一條交易信息的所有記錄信息存在于同一個第二數(shù)據(jù)集中,因此,一個數(shù)組中包含的就是一條完整的交易信息,該數(shù)組存在與內存中,因此,在將一個第二數(shù)據(jù)集全部讀入內存的相應數(shù)組結構中之后,就可以使用內存進行交易信息的組裝。
      [0094]在步驟404中,可以將一個第二數(shù)據(jù)集的所有記錄信息組裝成交易信息后,生成一個與該第二數(shù)據(jù)集對應的交易記錄文件,然后將M個第二數(shù)據(jù)集對應的M個文件生成一個總的交易記錄文件,當然還可以是根據(jù)需要以其他方式生成文件,例如,針對每個第二數(shù)據(jù)集組裝的一條交易信息,可以根據(jù)該交易信息的類型,將該交易信息寫入相應的文件中,例如交易信息的類型有工行文件,農行文件,中行文件,招行文件以及其它文件,若該交易信息的類型為工行文件,則將該交易信息寫入到工行文件中,若該交易信息的類型為農行文件,則將該交易信息寫入到農行文件中等等。因此每當完成一條交易信息的組裝時,即可將該交易信息寫入到相應的交易記錄文件中,當所有的交易信息都完成組裝時,即可完成所有交易信息寫入到相應的交易記錄文件中。
      [0095]基于相同的技術構思,本發(fā)明實施例還提供一種文件生成設備,該文件生成設備可執(zhí)行上述方法實施例。本發(fā)明實施例提供的文件生成設備如圖6所示。
      [0096]劃分單元601,用于根據(jù)記錄信息的標識,將N個第一數(shù)據(jù)集中的記錄信息劃分到M個第二數(shù)據(jù)集中,所述N個第一數(shù)據(jù)集中具有相同標識的記錄信息構成一條交易信息,任意兩個第一數(shù)據(jù)集的記錄信息所對應的交易信息的字段不完全相同,每個第二數(shù)據(jù)集的記錄信息中包括一條交易信息的各字段;其中,N為大于I的整數(shù),M為大于I的整數(shù);
      [0097]第一生成單元602,用于針對每個第二數(shù)據(jù)集,將該第二數(shù)據(jù)集中標識相同的記錄信息按設定規(guī)則組成一條交易信息,生成該第二數(shù)據(jù)集的交易記錄;
      [0098]第二生成單元603,用于根據(jù)M個第二數(shù)據(jù)集的交易記錄,得到所述N個第一數(shù)據(jù)集對應的交易記錄。
      [0099]可選的,所述第二數(shù)據(jù)集中包括N個子文件,所述N個子文件與所述N個第一數(shù)據(jù)集一一對應;所述劃分單元601,具體用于:
      [0100]對于所述N個第一數(shù)據(jù)集中的每個記錄信息,執(zhí)行以下操作:
      [0101]根據(jù)預先設定的記錄信息的標識與第二數(shù)據(jù)集的標識的對應關系,確定該記錄信息對應的第二數(shù)據(jù)集;
      [0102]根據(jù)該記錄信息所在的第一數(shù)據(jù)集以及該記錄信息對應的第二數(shù)據(jù)集,確定該記錄信息對應的第二數(shù)據(jù)集中的相應子文件;
      [0103]將該記錄信息寫入該記錄信息對應的第二數(shù)據(jù)集中的相應子文件。
      [0104]可選的,所述將第一生成單元602,具體用于:
      [0105]讀取該第二數(shù)據(jù)集中的N個子文件;
      [0106]將讀取的每個子文件中標識相同的記錄信息按設定的存儲結構寫入內存中,每個存儲結構對應的記錄信息構成一條交易信息。
      [0107]可選的,所述劃分單元601,還用于:
      [0108]根據(jù)當前處理系統(tǒng)的系統(tǒng)環(huán)境和所述一條交易信息的數(shù)據(jù)量,獲取第二數(shù)據(jù)集的個數(shù)與交易信息總量的對應關系;
      [0109]根據(jù)所述N個第一數(shù)據(jù)集中的交易信息總量,確定所述N個第一數(shù)據(jù)集對應的第二數(shù)據(jù)集的個數(shù)M。
      [0110]可選的,所述劃分單元601,還用于:
      [0111]根據(jù)所述當前處理系統(tǒng)的系統(tǒng)環(huán)境和所述一條交易信息的數(shù)據(jù)量,確定進程的個數(shù)為P,P為正整數(shù);
      [0112]若M小于等于P,則將所述M個第二數(shù)據(jù)集隨機分配給所述P個進程中的M個;
      [0113]若M大于等于P,則將所述M個第二數(shù)據(jù)集依次分配給所述P個進程。
      [0114]本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設備(系統(tǒng))、和計算機程序產品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產生一個機器,使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
      [0115]這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的制造品,該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
      [0116]這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上,使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產生計算機實現(xiàn)的處理,從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
      [0117]盡管已描述了本發(fā)明的優(yōu)選實施例,但本領域內的技術人員一旦得知了基本創(chuàng)造性概念,則可對這些實施例作出另外的變更和修改。所以,所附權利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。
      [0118]顯然,本領域的技術人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣,倘若本發(fā)明的這些修改和變型屬于本發(fā)明權利要求及其等同技術的范圍之內,則本發(fā)明也意圖包含這些改動和變型在內。
      【主權項】
      1.一種文件生成方法,其特征在于,包括: 根據(jù)記錄信息的標識,將N個第一數(shù)據(jù)集中的記錄信息劃分到M個第二數(shù)據(jù)集中,所述N個第一數(shù)據(jù)集中具有相同標識的記錄信息構成一條交易信息,任意兩個第一數(shù)據(jù)集的記錄信息所對應的交易信息的字段不完全相同,每個第二數(shù)據(jù)集的記錄信息中包括一條交易信息的各字段;其中,N為大于I的整數(shù),M為大于I的整數(shù); 針對每個第二數(shù)據(jù)集,將該第二數(shù)據(jù)集中標識相同的記錄信息按設定規(guī)則組成一條交易信息,生成該第二數(shù)據(jù)集的交易記錄; 根據(jù)M個第二數(shù)據(jù)集的交易記錄,得到所述N個第一數(shù)據(jù)集對應的交易記錄。2.如權利要求1所述的方法,其特征在于,所述根據(jù)記錄信息的標識,將N個第一數(shù)據(jù)集中的記錄信息劃分到M個第二數(shù)據(jù)集中,包括: 所述第二數(shù)據(jù)集中包括N個子文件,所述N個子文件與所述N個第一數(shù)據(jù)集一一對應; 對于所述N個第一數(shù)據(jù)集中的每個記錄信息,執(zhí)行以下操作: 根據(jù)預先設定的記錄信息的標識與第二數(shù)據(jù)集的標識的對應關系,確定該記錄信息對應的第二數(shù)據(jù)集; 根據(jù)該記錄信息所在的第一數(shù)據(jù)集以及該記錄信息對應的第二數(shù)據(jù)集,確定該記錄信息對應的第二數(shù)據(jù)集中的相應子文件; 將該記錄信息寫入該記錄信息對應的第二數(shù)據(jù)集中的相應子文件。3.如權利要求2所述的方法,其特征在于,所述將該第二數(shù)據(jù)集中標識相同的記錄信息按設定規(guī)則組成一條交易信息,包括: 讀取該第二數(shù)據(jù)集中的N個子文件; 將讀取的每個子文件中標識相同的記錄信息按設定的存儲結構寫入內存中,每個存儲結構對應的記錄信息構成一條交易信息。4.如權利要求1至3任一項所述的方法,其特征在于,根據(jù)以下方式確定第二數(shù)據(jù)集的個數(shù)M: 根據(jù)當前處理系統(tǒng)的系統(tǒng)環(huán)境和所述一條交易信息的數(shù)據(jù)量,獲取第二數(shù)據(jù)集的個數(shù)與交易信息總量的對應關系; 根據(jù)所述N個第一數(shù)據(jù)集中的交易信息總量,確定所述N個第一數(shù)據(jù)集對應的第二數(shù)據(jù)集的個數(shù)M。5.如權利要求4所述的方法,其特征在于,根據(jù)所述當前處理系統(tǒng)的系統(tǒng)環(huán)境和所述一條交易信息的數(shù)據(jù)量,確定進程的個數(shù)為P,P為正整數(shù); 根據(jù)所述第二數(shù)據(jù)集的個數(shù)M及所述進程的個數(shù)P,確定每個進程需要處理的第二數(shù)據(jù)集,包括: 若M小于等于P,則將所述M個第二數(shù)據(jù)集隨機分配給所述P個進程中的M個; 若M大于等于P,則將所述M個第二數(shù)據(jù)集依次分配給所述P個進程。6.一種文件生成裝置,其特征在于,包括: 劃分單元,用于根據(jù)記錄信息的標識,將N個第一數(shù)據(jù)集中的記錄信息劃分到M個第二數(shù)據(jù)集中,所述N個第一數(shù)據(jù)集中具有相同標識的記錄信息構成一條交易信息,任意兩個第一數(shù)據(jù)集的記錄信息所對應的交易信息的字段不完全相同,每個第二數(shù)據(jù)集的記錄信息中包括一條交易信息的各字段;其中,N為大于I的整數(shù),M為大于I的整數(shù); 第一生成單元,用于針對每個第二數(shù)據(jù)集,將該第二數(shù)據(jù)集中標識相同的記錄信息按設定規(guī)則組成一條交易信息,生成該第二數(shù)據(jù)集的交易記錄; 第二生成單元,用于根據(jù)M個第二數(shù)據(jù)集的交易記錄,得到所述N個第一數(shù)據(jù)集對應的交易記錄。7.如權利要求6所述的裝置,其特征在于,所述第二數(shù)據(jù)集中包括N個子文件,所述N個子文件與所述N個第一數(shù)據(jù)集一一對應;所述劃分單元,具體用于: 對于所述N個第一數(shù)據(jù)集中的每個記錄信息,執(zhí)行以下操作: 根據(jù)預先設定的記錄信息的標識與第二數(shù)據(jù)集的標識的對應關系,確定該記錄信息對應的第二數(shù)據(jù)集; 根據(jù)該記錄信息所在的第一數(shù)據(jù)集以及該記錄信息對應的第二數(shù)據(jù)集,確定該記錄信息對應的第二數(shù)據(jù)集中的相應子文件; 將該記錄信息寫入該記錄信息對應的第二數(shù)據(jù)集中的相應子文件。8.如權利要求7所述的裝置,其特征在于,所述將第一生成單元,具體用于: 讀取該第二數(shù)據(jù)集中的N個子文件; 將讀取的每個子文件中標識相同的記錄信息按設定的存儲結構寫入內存中,每個存儲結構對應的記錄信息構成一條交易信息。9.如權利要求6至8任一項所述的裝置,其特征在于,所述劃分單元,還用于: 根據(jù)當前處理系統(tǒng)的系統(tǒng)環(huán)境和所述一條交易信息的數(shù)據(jù)量,獲取第二數(shù)據(jù)集的個數(shù)與交易信息總量的對應關系; 根據(jù)所述N個第一數(shù)據(jù)集中的交易信息總量,確定所述N個第一數(shù)據(jù)集對應的第二數(shù)據(jù)集的個數(shù)M。10.如權利要求9所述的裝置,其特征在于,所述劃分單元,還用于: 根據(jù)所述當前處理系統(tǒng)的系統(tǒng)環(huán)境和所述一條交易信息的數(shù)據(jù)量,確定進程的個數(shù)為P,P為正整數(shù); 若M小于等于P,則將所述M個第二數(shù)據(jù)集隨機分配給所述P個進程中的M個; 若M大于等于P,則將所述M個第二數(shù)據(jù)集依次分配給所述P個進程。
      【文檔編號】G06F17/30GK105931091SQ201510670633
      【公開日】2016年9月7日
      【申請日】2015年10月13日
      【發(fā)明人】樊華, 馮哲
      【申請人】中國銀聯(lián)股份有限公司
      網友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點贊!
      1