一種海量數(shù)據(jù)的實(shí)時存儲系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)據(jù)通信和數(shù)據(jù)存儲的技術(shù)領(lǐng)域，具體涉及到一種海量數(shù)據(jù)的實(shí)時存儲系統(tǒng)，以及采用該實(shí)時存儲系統(tǒng)的方法。
【背景技術(shù)】
[0002]傳統(tǒng)的文件系統(tǒng)(windows平臺的FAT32、NTFS，Iinux的EXT2)適用于計(jì)算機(jī)日常數(shù)據(jù)量較小情況下的數(shù)據(jù)存儲、查詢與交換等需求；針對海量數(shù)據(jù)的實(shí)時存儲(數(shù)據(jù)量為lGB/s)，嵌入式解決方案中的ARM/DSP采用傳統(tǒng)文件系統(tǒng)無法滿足海量數(shù)據(jù)的實(shí)時處理要求。
[0003]嵌入式解決方案中海量數(shù)據(jù)實(shí)時存儲有兩點(diǎn)瓶頸:第一，ARM/DSP針對海量數(shù)據(jù)的實(shí)時處理，系統(tǒng)中斷請求已經(jīng)成為限制CPU的短板，目前ARM/DSP沒有intel CPU高主頻特性來響應(yīng)底層設(shè)備的頻繁中斷；第二，傳統(tǒng)文件系統(tǒng)存儲的文件越多，會對文件系統(tǒng)的扇區(qū)管理帶來越大負(fù)擔(dān)，會出現(xiàn)存儲文件越多存儲速度越慢的現(xiàn)象。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的技術(shù)解決問題是:克服現(xiàn)有技術(shù)的不足，提供一種海量數(shù)據(jù)的實(shí)時存儲系統(tǒng)，其存儲速率快、存儲速率穩(wěn)定、文件管理簡單。
[0005]本發(fā)明的技術(shù)解決方案是:這種海量數(shù)據(jù)的實(shí)時存儲系統(tǒng)，其包括基于現(xiàn)場可編程門陣列FPGA、固態(tài)硬盤SSD、系統(tǒng)時間模塊RTC、內(nèi)存顆粒DDR ；FPGA通過對外數(shù)據(jù)接收端口來接收4路低壓差分信號LVDS，通過4路高速串行總線接口 SATA將輸入數(shù)據(jù)存儲至SSD硬盤，F(xiàn)PGA通過DDR接口與DDR連接；系統(tǒng)上電之初獲取磁盤中的文件系統(tǒng)信息，將文件系統(tǒng)信息存儲于DDR中，F(xiàn)PGA進(jìn)行海量數(shù)據(jù)記錄時實(shí)時更新DDR中的文件系統(tǒng)信息鏡像，F(xiàn)PGA通過串行低速通信總線IIC與RTC連接而將DDR中存儲的文件系統(tǒng)信息鏡像刷新到磁盤文件系統(tǒng)信息所在的空間中。
[0006]還提供了采用這種海量數(shù)據(jù)的實(shí)時存儲系統(tǒng)的方法，包括以下步驟:
[0007](I)系統(tǒng)上電；
[0008](2)系統(tǒng)初始化；
[0009](3)獲取磁盤中的文件系統(tǒng)信息；
[0010](4)將文件系統(tǒng)信息存儲于DDR中；
[0011](5)開始存儲數(shù)據(jù)文件；
[0012](6)更新文件系統(tǒng)信息至DDR;
[0013](7)當(dāng)前數(shù)據(jù)文件存儲完成；
[0014](8)判斷文件系統(tǒng)鏡像更新是否完成，如果是則執(zhí)行步驟(10)，如果不是并且鏡像刷新使能開啟則執(zhí)行步驟(9)，如果不是并且鏡像刷新使能關(guān)閉則執(zhí)行步驟(5);
[0015](9)輸入數(shù)據(jù)存儲至DDR ；
[0016](10)更新文件系統(tǒng)信息至SSD ；
[0017](11)判斷存儲使能是否開啟，是則執(zhí)行步驟(5)，否則執(zhí)行步驟(12);
[0018](12)結(jié)束。
[0019]本發(fā)明通過基于FPGA實(shí)現(xiàn)的文件系統(tǒng)和SSD來滿足海量數(shù)據(jù)實(shí)時存儲的需求，避免了文件記錄過程中由于頻繁刷新文件系統(tǒng)信息表導(dǎo)致的SATA2.0通道帶寬下降，避免了由于頻繁刷新文件系統(tǒng)扇區(qū)位置導(dǎo)致磁盤使用壽命的快速耗損，F(xiàn)PGA通過對硬盤扇區(qū)的DMA讀寫操作大幅度提高了硬盤數(shù)據(jù)的讀寫速度，通過提高磁盤文件寫入和讀取速率能夠滿足用戶海量數(shù)據(jù)記錄和導(dǎo)出的需求，本發(fā)明的文件系統(tǒng)與通用文件系統(tǒng)不兼容，能夠?qū)Υ鎯υ谟脖P中的數(shù)據(jù)內(nèi)容起到保護(hù)的作用，數(shù)據(jù)不會被通用操作系統(tǒng)所獲取，從而起到了數(shù)據(jù)保護(hù)的功能，通過文件系統(tǒng)分區(qū)信息雙備份的特性，能夠達(dá)到損壞分區(qū)信息的自動恢復(fù)功能，因此存儲速率快、存儲速率穩(wěn)定、文件管理簡單。
【附圖說明】
[0020]圖1為根據(jù)本發(fā)明的文件系統(tǒng)分區(qū)示意圖；
[0021]圖2為根據(jù)本發(fā)明的海量數(shù)據(jù)的實(shí)時存儲系統(tǒng)的結(jié)構(gòu)示意圖；
[0022]圖3為根據(jù)本發(fā)明的文件系統(tǒng)功能模塊劃分示意圖；
[0023]圖4為根據(jù)本發(fā)明的文件系統(tǒng)模塊邏輯連接示意圖；
[0024]圖5為根據(jù)本發(fā)明的海量數(shù)據(jù)的實(shí)時存儲方法的流程圖。
【具體實(shí)施方式】
[0025]如圖2所示，這種海量數(shù)據(jù)的實(shí)時存儲系統(tǒng)，其包括基于現(xiàn)場可編程門陣列FPGA、固態(tài)硬盤SSD、系統(tǒng)時間模塊RTC、內(nèi)存顆粒DDR ；FPGA通過對外數(shù)據(jù)接收端口來接收4路低壓差分信號LVDS，通過4路高速串行總線接口 SATA將輸入數(shù)據(jù)存儲至SSD硬盤，F(xiàn)PGA通過DDR接口與DDR連接；系統(tǒng)上電之初獲取磁盤中的文件系統(tǒng)信息，將文件系統(tǒng)信息存儲于DDR中，F(xiàn)PGA進(jìn)行海量數(shù)據(jù)記錄時實(shí)時更新DDR中的文件系統(tǒng)信息鏡像，F(xiàn)PGA通過串行低速通信總線Iic與RTC連接而將DDR中存儲的文件系統(tǒng)信息鏡像刷新到磁盤文件系統(tǒng)信息所在的空間中。
[0026]優(yōu)選地，如圖3-4所示，所述文件系統(tǒng)包括文件系統(tǒng)主控模塊、上電文件系統(tǒng)自檢模塊、文件系統(tǒng)初始化模塊、寫文件模塊、讀文件模塊、文件系統(tǒng)定時刷新模塊，文件系統(tǒng)主控模塊分別連接上電文件系統(tǒng)自檢模塊、文件系統(tǒng)初始化模塊、寫文件模塊、讀文件模塊、文件系統(tǒng)定時刷新模塊、寄存器，上電文件系統(tǒng)自檢模塊、文件系統(tǒng)初始化模塊、寫文件模塊、讀文件模塊、文件系統(tǒng)定時刷新模塊分別通過交互矩陣模塊與DDR接口、SATA通信。
[0027]優(yōu)選地，IIC獲取時間的指令延時在10ms級別。
[0028]優(yōu)選地，SATA的帶寬大于200MB/S。
[0029]優(yōu)選地，RTC更新時間長度以分鐘為單位。
[0030]還提供了采用這種海量數(shù)據(jù)的實(shí)時存儲系統(tǒng)的方法，包括以下步驟:
[0031](I)系統(tǒng)上電；
[0032](2)系統(tǒng)初始化；
[0033](3)獲取磁盤中的文件系統(tǒng)信息；
[0034](4)將文件系統(tǒng)信息存儲于DDR中；
[0035](5)開始存儲數(shù)據(jù)文件；
[0036](6)更新文件系統(tǒng)信息至DDR;
[0037](7)當(dāng)前數(shù)據(jù)文件存儲完成；
[0038](8)判斷文件系統(tǒng)鏡像更新是否完成，如果是則執(zhí)行步驟(10)，如果不是并且鏡像刷新使能開啟則執(zhí)行步驟(9)，如果不是并且鏡像刷新使能關(guān)閉則執(zhí)行步驟(5);
[0039](9)輸入數(shù)據(jù)存儲至DDR ；
[0040](10)更新文件系統(tǒng)信息至SSD ；
[0041](11)判斷存儲使能是否開啟，是則執(zhí)行步驟(5)，否則執(zhí)行步驟(12);
[0042](12)結(jié)束。
[0043]本發(fā)明通過基于FPGA實(shí)現(xiàn)的文件系統(tǒng)和SSD來滿足海量數(shù)據(jù)實(shí)時存儲的需求，避免了文件記錄過程中由于頻繁刷新文件系統(tǒng)信息表導(dǎo)致的SATA2.0通道帶寬下降，避免了由于頻繁刷新文件系統(tǒng)扇區(qū)位置導(dǎo)致磁盤使用壽命的快速耗損，F(xiàn)PGA通過對硬盤扇區(qū)的DMA讀寫操作大幅度提高了硬盤數(shù)據(jù)的讀寫速度，通過提高磁盤文件寫入和讀取速率能夠滿足用戶海量數(shù)據(jù)記錄和導(dǎo)出的需求，本發(fā)明的文件系統(tǒng)與通用文件系統(tǒng)不兼容，能夠?qū)Υ鎯υ谟脖P中的數(shù)據(jù)內(nèi)容起到保護(hù)的作用，數(shù)據(jù)不會被通用操作系統(tǒng)所獲取，從而起到了數(shù)據(jù)保護(hù)的功能，通過文件系統(tǒng)分區(qū)信息雙備份的特性，能夠達(dá)到損壞分區(qū)信息的自動恢復(fù)功能，因此存儲速率快、存儲速率穩(wěn)定、文件管理簡單。
[0044]以下結(jié)合附圖和具體的實(shí)施例對本發(fā)明作進(jìn)一步的詳細(xì)說明。
[0045]為簡潔描述本發(fā)明的文件系統(tǒng)，以后用FAST (File Access Speed Table)作為其簡稱，圖1是本發(fā)明文件系統(tǒng)分區(qū)示意圖。
[0046]文件分析表由文件系統(tǒng)版本信息及文件描述符兩部分所組成；文件分區(qū)表采用自定義的格式實(shí)現(xiàn)文件的存儲及查詢工作；
[0047]圖2為海量數(shù)據(jù)記錄設(shè)備系統(tǒng)框圖，系統(tǒng)上電之初需要獲取磁盤中的FAST系統(tǒng)信息，將FAST系統(tǒng)信息存