一種數(shù)據(jù)存儲方法及裝置制造方法
【專利摘要】本發(fā)明適用于高頻數(shù)據(jù)處理領域，提供了一種數(shù)據(jù)存儲方法及裝置。所述方法包括：獲取交易所的行情數(shù)據(jù)；將獲取的行情數(shù)據(jù)按照所述行情數(shù)據(jù)所屬的交易所進行拆分，并保留拆分后行情數(shù)據(jù)中的有效數(shù)值；在每個預設間隔時間內，統(tǒng)計所述有效數(shù)值的交易價格信息，得到一數(shù)據(jù)集合；存儲所述有效數(shù)值中變化后的數(shù)據(jù)，以及存儲所述數(shù)據(jù)集合中變化后的數(shù)據(jù)；壓縮并存儲所述有效數(shù)值中沒有變化的數(shù)據(jù)，以及壓縮并存儲所述數(shù)據(jù)集合中沒有變化的數(shù)據(jù)。本發(fā)明實施例能夠節(jié)約存儲空間。
【專利說明】一種數(shù)據(jù)存儲方法及裝置

【技術領域】
[0001] 本發(fā)明屬于高頻數(shù)據(jù)處理領域，尤其涉及一種數(shù)據(jù)存儲方法及裝置。

【背景技術】
[0002] 高頻數(shù)據(jù)一般指時間間隔較短的證券交易數(shù)據(jù)。伴隨金融投資策略的深入研究， 高頻數(shù)據(jù)已是當前金融理論研究的熱點之一：比如，圍繞高頻數(shù)據(jù)，如何提取市場信息，進 行金融市場微觀結構分析，如何確定交易時機等。但隨著時間的推移，高頻數(shù)據(jù)越積越多， 需要的存儲成本也越來越大。
[0003] 目前，主流的高頻數(shù)據(jù)處理方法為：采用Oracle等關系型數(shù)據(jù)庫進行存儲，針對 不同交易所的數(shù)據(jù)，按數(shù)據(jù)類型存儲，用戶提取數(shù)據(jù)時開發(fā)SQL語句，聯(lián)合多個表檢索需要 的字段，組成數(shù)據(jù)集合應用。但由于采用Oracle數(shù)據(jù)庫存儲時，需要保存所有需要的字段， 存在大量冗余數(shù)據(jù)，因此浪費了存儲空間，導致存儲成本過大。


【發(fā)明內容】

[0004] 本發(fā)明實施例提供了一種數(shù)據(jù)存儲方法及裝置，旨在解決現(xiàn)有方法在存儲高頻數(shù) 據(jù)時浪費存儲空間，從而導致存儲成本過大的問題。
[0005] 本發(fā)明實施例是這樣實現(xiàn)的，一種數(shù)據(jù)存儲方法，所述方法包括下述步驟：
[0006] 獲取交易所的行情數(shù)據(jù)；
[0007] 將獲取的行情數(shù)據(jù)按照行情數(shù)據(jù)所屬的交易所進行拆分，并保留拆分后行情數(shù)據(jù) 中的有效數(shù)值，所述行情數(shù)據(jù)中的有效數(shù)值包括以下分量：股票代碼、交易價格信息、買賣 委托信息以及交易量；
[0008] 在每個預設間隔時間內，統(tǒng)計所述有效數(shù)值的交易價格信息的集合，得到一數(shù)據(jù) 集合；
[0009] 存儲所述有效數(shù)值中變化后的數(shù)據(jù)，以及存儲所述數(shù)據(jù)集合中變化后的數(shù)據(jù)； [0010] 壓縮并存儲所述有效數(shù)值中沒有變化的數(shù)據(jù)，以及壓縮并存儲所述數(shù)據(jù)集合中沒 有變化的數(shù)據(jù)。
[0011] 本發(fā)明實施例的另一目的在于提供一種數(shù)據(jù)存儲裝置，所述裝置包括：
[0012] 數(shù)據(jù)獲取單元，用于獲取交易所的行情數(shù)據(jù)；
[0013] 數(shù)據(jù)清洗單元，用于將獲取的行情數(shù)據(jù)按照行情數(shù)據(jù)所屬的交易所進行拆分，并 保留拆分后行情數(shù)據(jù)中的有效數(shù)值，所述行情數(shù)據(jù)中的有效數(shù)值包括以下分量：股票代碼、 交易價格信息、買賣委托信息以及交易量；
[0014] 數(shù)據(jù)整合單元，用于在每個預設間隔時間內，統(tǒng)計所述有效數(shù)值的交易價格信息 的集合，得到一數(shù)據(jù)集合；
[0015] 數(shù)據(jù)壓縮單元，用于存儲所述有效數(shù)值中變化后的數(shù)據(jù)，存儲所述數(shù)據(jù)集合中變 化后的數(shù)據(jù)；用于壓縮并存儲所述有效數(shù)值中沒有變化的數(shù)據(jù)，以及壓縮并存儲所述數(shù)據(jù) 集合中沒有變化的數(shù)據(jù)。
[0016] 在本發(fā)明實施例中，對獲取的行情數(shù)據(jù)進行清洗，得到行情數(shù)據(jù)的有效數(shù)值，同 時，在預設的間隔時間到來時，對行情數(shù)據(jù)的有效數(shù)值進行統(tǒng)計，得到相應的數(shù)據(jù)集合，再 存儲有效數(shù)值和數(shù)據(jù)集合中變化的數(shù)據(jù)，壓縮并存儲有效數(shù)值和數(shù)據(jù)集合中沒有變化的數(shù) 據(jù)。由于在存儲行情數(shù)據(jù)之前，先對獲取的行情數(shù)據(jù)進行清洗，丟棄無高頻應用的數(shù)據(jù)，且 在存儲數(shù)據(jù)之前只存儲發(fā)生變化的數(shù)據(jù)，因此減少了存儲的數(shù)據(jù)量，減少了存儲空間，從而 降低了存儲成本。

【專利附圖】

【附圖說明】
[0017] 圖1是本發(fā)明第一實施例提供的一種數(shù)據(jù)存儲方法的流程圖；
[0018] 圖2是本發(fā)明第一實施例提供的一種操作系統(tǒng)目錄的結構示意圖；
[0019] 圖3是本發(fā)明第二實施例提供的一種數(shù)據(jù)存儲裝置的結構示意圖。

【具體實施方式】
[0020] 為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對 本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。
[0021] 為了說明本發(fā)明所述的技術方案，下面通過具體實施例來進行說明。
[0022] 實施例一:
[0023] 圖1示出了本發(fā)明第一實施例提供的一種數(shù)據(jù)存儲方法的流程圖，在本實施例 中，對獲取的各個交易所的行情明細數(shù)據(jù)進行清洗、統(tǒng)計、壓縮等處理后再存儲，詳述如 下：
[0024] 步驟S11，獲取交易所的行情數(shù)據(jù)。
[0025] 該步驟中，獲取的行情數(shù)據(jù)可為多個交易所發(fā)出的行情數(shù)據(jù)。具體地，可從整合了 各個交易所行情的行情系統(tǒng)獲取。
[0026] 步驟S12,將獲取的行情數(shù)據(jù)按照行情數(shù)據(jù)所屬的交易所進行拆分，并保留拆分后 行情數(shù)據(jù)中的有效數(shù)值，所述行情數(shù)據(jù)中的有效數(shù)值包括以下分量：股票代碼、交易價格信 息、買賣委托信息以及交易量。
[0027] 該步驟中，由于獲取的行情數(shù)據(jù)可能是多個交易所發(fā)出的，而每個交易所發(fā)出的 行情數(shù)據(jù)的格式可能不同，因此需要將獲取的行情數(shù)據(jù)按照對應的交易所進行拆分。拆分 后的數(shù)據(jù)包括有股票代碼、交易價格信息、買賣委托信息以及交易量等分量，還可能包括有 結算代碼或委托信息等分量，由于后續(xù)分析將經(jīng)常用到股票代碼、交易價格信息、買賣委托 信息以及交易量等分量，這些分量使用頻率較高，因此定義上述分量為有效數(shù)值，而后續(xù)分 析沒用到的分量定義為無效數(shù)值。當然，行情數(shù)據(jù)中的有效數(shù)值還可以包括成交時間、股票 名稱、成交量、成交額等，此處不作限定。
[0028] 步驟S13,在每個預設間隔時間內，統(tǒng)計所述有效數(shù)值的交易價格信息的集合，得 到一數(shù)據(jù)集合。
[0029] 該步驟中，預設間隔時間可以設置為1分鐘，或者5分鐘等，當然，也可以設置為其 他間隔時間，此處不作限定。例如，假設預設間隔時間為1分鐘時，統(tǒng)計每隔1分鐘后行情 數(shù)據(jù)的有效數(shù)值中的交易價格信息的集合，由于該集合是每個1分鐘的數(shù)據(jù)集合，因此該 集合的數(shù)據(jù)也稱分時數(shù)據(jù)，
[0030] 其中，在每個預設間隔時間內，統(tǒng)計所述有效數(shù)值中交易價格信息的集合，得到一 數(shù)據(jù)集合的步驟具體包括：
[0031] 在每個預設間隔時間內，統(tǒng)計同一股票代碼的以下至少一種信息：開始價格、上筆 價格、最高價格、最低價格、最新成交價格；以統(tǒng)計的信息組成一數(shù)據(jù)集合。
[0032] 假設預設間隔時間為1分鐘，則在3分鐘內，統(tǒng)計股票代碼"000750"的開始價格、 上筆價格、最高價格、最低價格、最新成交價格、成交量、成交額組成的分時數(shù)據(jù)如表1所 示：
[0033] 表 1 :
[0034]

【權利要求】
1. 一種數(shù)據(jù)存儲方法，其特征在于，所述方法包括下述步驟： 獲取交易所的行情數(shù)據(jù)； 將獲取的行情數(shù)據(jù)按照行情數(shù)據(jù)所屬的交易所進行拆分，并保留拆分后行情數(shù)據(jù)中的 有效數(shù)值，所述行情數(shù)據(jù)中的有效數(shù)值包括以下分量：股票代碼、交易價格信息、買賣委托 信息以及交易量； 在每個預設間隔時間內，統(tǒng)計所述有效數(shù)值的交易價格信息，得到一數(shù)據(jù)集合； 存儲所述有效數(shù)值中變化后的數(shù)據(jù)，以及存儲所述數(shù)據(jù)集合中變化后的數(shù)據(jù)； 壓縮并存儲所述有效數(shù)值中沒有變化的數(shù)據(jù)，以及壓縮并存儲所述數(shù)據(jù)集合中沒有變 化的數(shù)據(jù)。
2. 如權利要求1所述的方法，其特征在于，所述在每個預設間隔時間內，統(tǒng)計所述有效 數(shù)值的交易價格信息，得到一數(shù)據(jù)集合的步驟具體包括： 在每個預設間隔時間內，統(tǒng)計同一股票代碼的以下至少一種信息：開始價格、上筆價 格、最聞價格、最低價格、最新成受價格； 以統(tǒng)計的信息組成一數(shù)據(jù)集合。
3. 如權利要求1所述的方法，其特征在于，在存儲所述數(shù)據(jù)集合中變化后的數(shù)據(jù)的步 驟時，還包括下述步驟： 判斷下一次統(tǒng)計的數(shù)據(jù)集合的信息的時間間隔與上一次統(tǒng)計的數(shù)據(jù)集合的信息的時 間間隔是否相同，若是，存儲當前統(tǒng)計的數(shù)據(jù)集合的信息，若否，存儲下一次統(tǒng)計的數(shù)據(jù)集 合的信息的開始時間。
4. 如權利要求1所述的方法，其特征在于，在所述存儲所述有效數(shù)值中變化后的數(shù)據(jù)， 以及存儲所述數(shù)據(jù)集合中變化后的數(shù)據(jù)的步驟之后，包括步驟： 將所述有效數(shù)值中變化后的數(shù)據(jù)存入以股票代碼命名的文件中，并存儲所述文件，所 述文件的存儲路徑與操作系統(tǒng)目錄的相應子目錄的存儲路徑相同； 將所述數(shù)據(jù)集合中變化后的數(shù)據(jù)存入以股票代碼命名的文件中，并存儲所述文件，所 述文件的存儲路徑與操作系統(tǒng)目錄的相應子目錄的存儲路徑相同。
5. 如權利要求1所述的方法，其特征在于，在所述壓縮并存儲所述有效數(shù)值中沒有變 化的數(shù)據(jù)，以及壓縮并存儲所述數(shù)據(jù)集合中沒有變化的數(shù)據(jù)的步驟之后，包括步驟： 將所述壓縮后的所述有效數(shù)值中沒有變化的數(shù)據(jù)存入以股票代碼命名的文件中，并存 儲所述文件，所述文件的存儲路徑與操作系統(tǒng)目錄的相應子目錄的存儲路徑相同； 將所述壓縮后的所述數(shù)據(jù)集合中沒有變化的數(shù)據(jù)存入以股票代碼命名的文件中，并存 儲所述文件，所述文件的存儲路徑與操作系統(tǒng)目錄的相應子目錄的存儲路徑相同。
6. 如權利要求5所述的方法，其特征在于，在所述將所述壓縮后的所述數(shù)據(jù)集合中沒 有變化的數(shù)據(jù)存入以股票代碼命名的文件中，并存儲所述文件，所述文件的存儲路徑與操 作系統(tǒng)目錄的相應子目錄的存儲路徑相同的步驟之后，包括下述步驟： 接收數(shù)據(jù)提取指令； 從操作系統(tǒng)目錄的相應子目錄的存儲路徑中提取與所述數(shù)據(jù)提取指令對應的數(shù)據(jù)； 發(fā)送提取的數(shù)據(jù)。
7. -種數(shù)據(jù)存儲裝置，其特征在于，所述裝置包括： 數(shù)據(jù)獲取單元，用于獲取交易所的行情數(shù)據(jù)； 數(shù)據(jù)清洗單元，用于將獲取的行情數(shù)據(jù)按照行情數(shù)據(jù)所屬的交易所進行拆分，并保留 拆分后行情數(shù)據(jù)中的有效數(shù)值，所述行情數(shù)據(jù)中的有效數(shù)值包括以下分量：股票代碼、交易 價格信息、買賣委托信息以及交易量； 數(shù)據(jù)整合單元，用于在每個預設間隔時間內，統(tǒng)計所述有效數(shù)值的交易價格信息的集 合，得到一數(shù)據(jù)集合； 數(shù)據(jù)壓縮單元，用于存儲所述有效數(shù)值中變化后的數(shù)據(jù)，存儲所述數(shù)據(jù)集合中變化后 的數(shù)據(jù)；用于壓縮并存儲所述有效數(shù)值中沒有變化的數(shù)據(jù)，以及壓縮并存儲所述數(shù)據(jù)集合 中沒有變化的數(shù)據(jù)。
8. 如權利要求7所述的裝置，其特征在于，所述數(shù)據(jù)整合單元包括： 預統(tǒng)計模塊，用于在每個預設間隔時間內，統(tǒng)計同一股票代碼的以下至少一種信息：開 始價格、上筆價格、最高價格、最低價格、最新成交價格； 信息組成模塊，用于以統(tǒng)計的信息組成一數(shù)據(jù)集合。
9. 如權利要求7所述的裝置，其特征在于，所述裝置包括： 判斷單元，用于判斷下一次統(tǒng)計的數(shù)據(jù)集合的信息的時間間隔與上一次統(tǒng)計的數(shù)據(jù)集 合的信息的時間間隔是否相同； 信息存儲單元，用于在下一次統(tǒng)計的數(shù)據(jù)集合的信息的時間間隔與上一次統(tǒng)計的數(shù)據(jù) 集合的信息的時間間隔相同時，存儲當前統(tǒng)計的數(shù)據(jù)集合的信息；在下一次統(tǒng)計的數(shù)據(jù)集 合的信息的時間間隔與上一次統(tǒng)計的數(shù)據(jù)集合的信息的時間間隔不同時，存儲下一次統(tǒng)計 的數(shù)據(jù)集合的信息的開始時間。
10. 如權利要求7所述的裝置，其特征在于，所述裝置包括： 提取指令接收單元，用于接收數(shù)據(jù)提取指令； 數(shù)據(jù)提取單元，用于從操作系統(tǒng)目錄的相應子目錄的存儲路徑中提取與所述數(shù)據(jù)提取 指令對應的數(shù)據(jù)； 數(shù)據(jù)發(fā)送單元，用于發(fā)送提取的數(shù)據(jù)。
【文檔編號】G06F17/30GK104112010SQ201410340117
【公開日】2014年10月22日 申請日期:2014年7月16日 優(yōu)先權日:2014年7月16日
【發(fā)明者】陳工孟, 宋朋臻 申請人:深圳市國泰安信息技術有限公司