和貧困戶的詳細信息，分析出主要致貧原因，根據(jù)致貧原因有針對性的推薦合適的扶貧措施，扶貧措施到村到戶以及到個人；所述扶貧措施分析模塊用于對幫扶措施的資金使用情況、措施實施后的受益情況進行整理和分析。上述功能的實現(xiàn)方式為:利用扶貧對象管理子系統(tǒng)和扶貧措施管理子系統(tǒng)的基礎數(shù)據(jù)，建立數(shù)學模型，準確的為每位貧困戶選擇幫扶措施，通過現(xiàn)有的數(shù)據(jù)積累，在出臺政策前，進行計算和仿真演練，預測每項政策能夠覆蓋到的范圍和起到的作用。而所述數(shù)學模型是一種基于數(shù)據(jù)更新時間的拉鏈歷史表存儲方法，用來記錄一個事物從開始，一直到當前狀態(tài)的所有變化的信息，實現(xiàn)查詢某一事物在過去某一時間點的歷史快照及數(shù)據(jù)變更情況，以節(jié)約存儲資源。
[0036]參閱圖5，所述數(shù)據(jù)分析子系統(tǒng)涉及大數(shù)據(jù)的核心技術，包括:分布式采集技術、分布式存儲技術、分布式計算技術、分布式數(shù)據(jù)庫集群技術、ETL自動調度、分布式消息發(fā)布等新型技術，為當前最先進的大數(shù)據(jù)開源技術框架，其本身具有技術先進性。數(shù)據(jù)采集分布式日志采集技術Flume集群，數(shù)據(jù)存儲采用Hadoop集群的分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)倉庫Hive、多維列式數(shù)據(jù)庫Hbase進行存儲，數(shù)據(jù)處理采用了 Map Reduce、Storm、Spark等分布式編程模型，應用作業(yè)任務可以輕松的分配到各個節(jié)點上完成，處理完的數(shù)據(jù)利用開源數(shù)據(jù)庫MySQL集群，可以為可視化展現(xiàn)提供高性能、高可靠性的數(shù)據(jù)存儲支撐?？梢暬宫F(xiàn)服務器依然采用集群模式，根據(jù)系統(tǒng)負載情況，進行彈性擴展。整個架構具有高可靠性、高可擴展性、高可維護性等特點，可根據(jù)系統(tǒng)用戶的增長情況、數(shù)據(jù)量的增長情況、計算量的增長情況彈性進行擴展，輕松完成系統(tǒng)擴容。Hadoop的體系結構主要是通過HDFS來實現(xiàn)對分布式存儲的底層支持，并通過MapReduce來實現(xiàn)對分布式并行任務處理的程序支持。HDFS和MapReduce共同組成Hadoop分布式系統(tǒng)體系結構的核心。HDFS在集群上實現(xiàn)了分布式文件系統(tǒng)，MapReduce在集群上實現(xiàn)了分布式計算和任務處理。HDFS在MapReduce任務處理過程中提供了文件操作和存儲等支持，MapReduce在HDFS的基礎上實現(xiàn)了任務的分發(fā)、跟蹤、執(zhí)行等工作，并收集結果，二者相互作用，完成分布式集群的主要任務。
[0037]通過從關系型數(shù)據(jù)庫，使用Sqoop將源數(shù)據(jù)傳輸?shù)椒植际轿募到y(tǒng)，再通過Oozie組合MapReduce作業(yè)，處理源數(shù)據(jù)并將其轉換為中間數(shù)據(jù)。中間數(shù)據(jù)可供Hadoop實時應用直接訪問，如借助java jdbc鏈接Phoenix直接查詢HBase中的數(shù)據(jù)達到實時直接訪問。例如精準貸款分析，首先在Hadoop集群節(jié)點上運行已編寫好的Sqoop腳本，將業(yè)務系統(tǒng)中的貸款詳情數(shù)據(jù)按需傳輸?shù)椒植际轿募到y(tǒng)，再由已編寫好的HDFS命令將數(shù)據(jù)加載到指定的預存儲分區(qū)，當預存儲分區(qū)有文件上傳，就觸發(fā)Oozie Coordinator，使基于Oozie組合的MapReduce就自動執(zhí)行，根據(jù)不同的執(zhí)行計劃處理貸款信息數(shù)據(jù)，將處理的中間數(shù)據(jù)存儲到HBase非關系性數(shù)據(jù)庫，供Hadoop實時查詢引擎查詢貸款分析結果數(shù)據(jù)，最終將結果數(shù)據(jù)在業(yè)務系統(tǒng)展現(xiàn)。
[0038]參閱圖10，本發(fā)明由于數(shù)據(jù)量非常大，數(shù)據(jù)更新頻率頻繁，在統(tǒng)計分析中經常要查詢過去某一時間點的歷史快照及數(shù)據(jù)變更情況，如果對每次變更的數(shù)據(jù)都全量存儲，對于存儲資源是極大的浪費。鑒于以上問題，本發(fā)明提供了一種基于數(shù)據(jù)更新時間的拉鏈歷史表存儲技術，具體來說，歷史拉鏈表是針對數(shù)據(jù)倉庫設計中表存儲數(shù)據(jù)的方式而定義的，所謂拉鏈，就是記錄歷史。記錄一個事物從開始，一直到當前狀態(tài)的所有變化的信息。主要步驟為:1、采集當日全量數(shù)據(jù)到ND(NewDay)表；2、可從歷史表中取出昨日全量數(shù)據(jù)存儲到OD(OldDay)表；3、(ND-0D)就是當日新增和變化的數(shù)據(jù)，也就是當天的增量，用W_I表示；4、(0D-ND)為狀態(tài)到此結束需要封鏈的數(shù)據(jù)，用W_U表示；5、將W_I表的內容全部插入到歷史表中，這些是新增記錄，start_date為當天，而end_date為max值；6、對歷史表進行W_U部份的更新操作，start_date保持不變，而end_date改為當天，也就是關鏈操作。此項技術可以節(jié)約存儲資源，提高數(shù)據(jù)統(tǒng)計分析能力。
[0039]該系統(tǒng)主要利用大數(shù)據(jù)技術，從多角度、多層面對扶貧對象、扶貧措施分析，用“數(shù)據(jù)”說話，用“數(shù)據(jù)”管理，用“數(shù)據(jù)”創(chuàng)新，通過數(shù)據(jù)比對分析，為各級黨委政府推進特困片區(qū)攻堅與精準扶貧、精準脫貧、精準管理提供決策服務，為各級行業(yè)部門針對性地參與扶貧開發(fā)工作提供參考。針對扶貧對象的分析主要包括:貧困人口偏差、預脫貧人口偏差、預脫貧人口占比、整村推進預脫貧人口占比，貧困人口年齡段、貧困人口勞動力、貧困人口學歷、貧困人口健康狀況、貧困戶致貧原因、貧困戶人均收入、貧困人口返貧、貧困人口脫貧、小康指數(shù)、貧困縣人均純收入、貧困村分布、貧困村脫貧、貧困村對比、貧困縣脫貧、貧困縣人均純收入等各項指標分析。針對扶貧措施的分析主要包括:專項貸款扶貧分析、惠農政策扶貧分析、富民產業(yè)扶貧分析、教育扶貧分析、衛(wèi)生扶貧分析、勞動力培訓扶貧分析、易地搬迀扶貧分析、飲水安全扶貧分析、危房改造扶貧分析等各項指標分析。針對貧困村從教育、衛(wèi)生、交通、動力電、電商、生態(tài)環(huán)境、飲水安全方面進行統(tǒng)計分析，從各個角度和方位重點反應各項扶貧措施對貧困村的影響和結果，為決策者提供強力有利的決策支持。針對貧困戶與扶貧措施的綜合分析，通過對貧困戶健康狀況、勞動力數(shù)量、教育程度、致貧原因等信息分析，為貧困戶預設相應的幫扶措施，同時與貧困戶實際享受的扶貧措施進行綜合對比分析。
[0040]參閱圖6，所述扶貧成效子系統(tǒng)主要分析得出扶貧成效并展示其成果，實現(xiàn)對減貧指標完成情況的跟蹤，逐級驗收到戶的減貧成效，并按照不同的業(yè)務指標項進行分析，為各行業(yè)部門制定新的措施提供依據(jù)；其包括兩增一減功能模塊和減貧指標功能模塊。扶貧總體成效管理通過2個增加、1個減少，即貧困人口收入增加、農村居民收入增加、貧困人口數(shù)減少，通過圖表展示年度貧困人口收入及農村居民收入增長趨勢與年貧困人口減少趨勢，實時展示全省扶貧對象"兩增加一減少"趨勢。通過對貧困戶人均純收入、適齡兒童接受九年義務教育、主要勞動力接受技能培訓、參加新型農村合作醫(yī)療、參加新型農村社會養(yǎng)老保險、有安全穩(wěn)固住房、有安全飲水、有增收門路、有簡易廁所、有通訊設備、因病、因學、因婚借貸、貧困戶人均生活消費支出12項減貧指標落實到每一個戶上，同時從完成指標數(shù)、偏差率、減貧驗收等方面動態(tài)跟蹤監(jiān)控減貧指標。通過行政區(qū)劃樹進行逐級鉆取，查看所選地區(qū)貧困戶減貧指標信息，并支持按照貧困戶屬性，主要致貧原因、姓名、證件號碼等條件進行具體檢索。
[0041]參閱圖7，所述績效考核子系統(tǒng)是通過政策落實情況和目標進行對比，尋找偏差，各級組織部門能夠通過該系統(tǒng)實現(xiàn)對各扶貧部門及相關責任人扶貧工作業(yè)績考核，為后續(xù)的工作改進及干部選撥任用提供依據(jù)；其包括考核指標管理模塊，考核模板管理模塊，考核計劃管理模塊，考核指標采集管理模塊，考核成果管理模塊，考核范圍管理模塊。所述考核指標管理模塊用于考核指標的制定和建立；所述考核模板管理模塊實現(xiàn)基于考核指標，建立相應考核模板，用于考核模板的制定和管理；所述考核計劃管理模塊用于年度考核指標的建立和下達；所述考核指標采集管理模塊用于根據(jù)具體的考核指標，自動抽取或手動填補，并對考核項指標內容進行審核考核；所述成果管理模塊根據(jù)考核指標和考核計劃，實現(xiàn)系統(tǒng)自動生成考核結果報告，并統(tǒng)一管理考核結果，形成扶貧考核基礎庫；所述考核范圍管理模塊用于統(tǒng)一管理考核單位信息，統(tǒng)一管理考核人員信息，實現(xiàn)精準績效考核。根據(jù)具體考核指標自由分配考核指標項，建立精準扶貧大數(shù)據(jù)平臺指標考核項集中配置庫。并將考核指標項與相應的考核指標動態(tài)關聯(lián)，制定考核模板，按年度下達考核指標，提前進行直播考