專利名稱：一種用于分布式文件系統(tǒng)的監(jiān)控方法及分布式文件系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及通信領域，具體涉及一種用于分布式文件系統(tǒng)的監(jiān)控方法及分布式文件系統(tǒng)。
背景技術：
分布式文件系統(tǒng)廣泛的應用于云存儲、IPTV、流媒體服務器等業(yè)務場合。例如用于 IPTV系統(tǒng)存儲IPTV系統(tǒng)的片源，在對TPTV系統(tǒng)進行讀寫時，由于分布式文件系統(tǒng)是多個獨立模塊間的協(xié)作運行，難免會出現(xiàn)讀寫異常情況，而對于存儲IPTV的片源的分布式文件系統(tǒng)，最重要的就是保證讀寫流程正常通暢的進行，讀寫流程的異常將直接影響整個分布式文件系統(tǒng)的正常運作。但目前的分布式文件系統(tǒng)只是提供簡單的讀寫出錯異常的日志，因此會存在以下問題由于讀寫出錯異常日志只有在讀寫出錯異常情況下才提供，且提供的記錄內容非常簡單，并較好的反映讀寫過程，由于分布式系統(tǒng)是多個獨立模塊之間的協(xié)作工作，當其中一個模塊出現(xiàn)異常操作時，根據(jù)簡單的讀寫出錯異常日志排查故障比較難實現(xiàn)，且往往還需要多個模塊之間協(xié)調定位，過程繁雜，排查周期長，還不一定能查找到故障產生的位置， 很難從根本上說明或解決問題。

發(fā)明內容
本發(fā)明要解決的主要技術問題是，提供一種用于分布式文件系統(tǒng)的監(jiān)控方法及分布式文件系統(tǒng)，可實時記錄分布式文件系統(tǒng)中對文件操作的流程，為分布式文件系統(tǒng)提供詳細的記錄，便于故障的及時排查和問題的及時解決。為解決上述技術問題，本發(fā)明提供一種用于分布式文件系統(tǒng)的監(jiān)控方法，包括外部應用進程發(fā)送操作文件請求給文件訪問客戶端，所述操作文件請求包括所請求操作文件的文件信息；實時監(jiān)控模塊獲取所述文件信息；文件訪問客戶端根據(jù)所述操作文件請求向文件定位服務器發(fā)送位置查詢請求，并根據(jù)文件定位服務器反饋的位置信息對所述文件進行操作；實時監(jiān)控模塊獲取所述文件訪問客戶端接收到的所述位置信息。在本發(fā)明的一種實施例中，所述位置信息包括操作設備塊信息，所述操作設備塊信息包括掛載路徑、設備號以及設備塊號。在本發(fā)明的一種實施例中，所述位置信息還包括所述文件的文件節(jié)點信息和操作頁面信息。在本發(fā)明的一種實施例中，所述實時監(jiān)控模塊包括APP日志模塊，所述APP日志模塊獲取所述文件信息的同時，還包括獲取所述操作的偏移量和當前位移。在本發(fā)明的一種實施例中，所述實時監(jiān)控模塊包括FAC日志模塊，所述FAC日志模塊獲取所述文件訪問客戶端接收到的所述位置信息。
在本發(fā)明的一種實施例中，所述操作文件請求包括讀文件請求和寫文件請求。在本發(fā)明的一種實施例中，所述實時監(jiān)控模塊獲取所述文件信息之前，還包括判斷當前文件的讀寫是否正常，如否，開啟實時監(jiān)控模塊，獲取所述文件信息。本發(fā)明還提供了一種分布式文件系統(tǒng)，包括依次連接的文件定位服務器、文件訪問客戶端、以及存儲模塊，還包括與所述文件訪問客戶端連接的實時監(jiān)控模塊；所述文件訪問客戶端用于向外部應用進程提供接口調用；根據(jù)外部應用進程發(fā)送的操作文件請求向文件定位服務器發(fā)送位置查詢請求，所述操作文件請求包括所請求操作文件的文件信息；根據(jù)文件定位服務器反饋的位置信息在所述存儲模塊的相應位置對所述文件進行操作；所述文件定位服務器用于存儲所述分布式文件系統(tǒng)的文件的元數(shù)據(jù)信息；并根據(jù)文件訪問客戶端發(fā)送的位置查詢請求，反饋相應的位置信息給所述文件訪問客戶端；所述實時監(jiān)控模塊用于在所述文件訪問客戶端接收到所述操作文件請求時，獲取所述文件信息；并用于獲取所述文件定位服務器反饋給所述文件訪問客戶端的所述位置信肩、ο在本發(fā)明的一種實施例中，所述實時監(jiān)控模塊包括APP日志模塊，所述APP日志模塊用于在所述文件訪問客戶端接收到所述操作文件請求時，獲取所述文件信息，并獲取所述操作的偏移量和當前位移。在本發(fā)明的一種實施例中，所述實時監(jiān)控模塊包括FAC日志模塊，所述FAC日志模塊用于獲取所述文件定位服務器反饋給所述文件訪問客戶端的所述位置信息。本發(fā)明的有益效果是本發(fā)明提供的用于分布式文件系統(tǒng)的監(jiān)控方法，通過實時監(jiān)控模塊在外部應用進程發(fā)送操作文件請求給文件訪問客戶端時，獲取該請求中包括的所請求操作文件的文件信息；并在文件訪問客戶端接收到文件定位服務器反饋的位置信息后，獲取文件訪問客戶端接收到的位置信息；即本發(fā)明中通過實時監(jiān)控模塊實時的對分布式文件系統(tǒng)中進行的文件操作流程做了詳細的記錄，具體記錄了對文件操作過程中，該文件的文件信息以及與該文件相對應的位置信息，因此方發(fā)生故障時，該記錄可提供更詳細的文件信息以及相關的位置信息，不需要多個模塊之間協(xié)調定位即可直接獲取相應的位置信息，從而排查出故障產生的位置，實現(xiàn)簡單，排查周期短，可提高故障排查以及問題修復的效率。


圖1為本發(fā)明一種實施例的分布式文件系統(tǒng)的系統(tǒng)框圖；圖2為本發(fā)明一種實施例的讀操作流程示意圖；圖3為本發(fā)明一種實施例的寫操作流程示意圖。
具體實施例方式下面通過具體實施方式
結合附圖對本發(fā)明作進一步詳細說明。請參見圖1，本例中的分布式文件系統(tǒng)包括依次連接的文件定位服務器、文件訪問客戶端、以及存儲模塊，還包括與文件訪問客戶端連接的實時監(jiān)控模塊；本例中的連接可為通信連接，其中
文件訪問客戶端用于為外部應用進程提供接口調用服務；接收外部應用進程發(fā)送的操作文件請求，該操作文件請求包括所請求操作文件的文件信息，具體可包括文件名、文件大小等；文件訪問客戶端還根據(jù)外部應用進程發(fā)送的操作文件請求向文件定位服務器發(fā)送位置查詢請求，并根據(jù)文件定位服務器反饋的位置信息在所述存儲模塊的相應位置對所述文件進行操作，具體可包括讀操作和寫操作，例如從存儲模塊的相應位置讀取數(shù)據(jù)并通過相應的接口返回給外部應用程序，或向存儲模塊的相應位置寫入相應的數(shù)據(jù)等；文件定位服務器用于存儲分布式文件系統(tǒng)中所有文件的元數(shù)據(jù)信息，具體可包括文件名、設備塊信息等；并根據(jù)文件訪問客戶端發(fā)送的位置查詢請求，反饋相應的位置信息給所述文件訪問客戶端，即向文件訪問客戶端提供元數(shù)據(jù)寫入和查詢等操作；實時監(jiān)控模塊用于在文件訪問客戶端接收到操作文件請求時，獲取該操作文件請求中包括的文件信息；并用于獲取文件定位服務器反饋給文件訪問客戶端的位置信息。本例中文件定位服務器反饋給文件訪問客戶端的位置信息包括操作設備塊信息，該操作設備塊信息可包括掛載路徑、設備號以及設備塊號，還可包括請求操作文件的文件節(jié)點信息和操作頁面信息。本例中的存儲模塊可為SCIC磁盤或SATA磁盤等存儲介質。本例中，外部應用進程發(fā)送操作文件請求給文件訪問客戶端時，實時監(jiān)控模塊獲取該操作文件請求中包括的文件信息；文件訪問客戶端接收到該操作文件請求后向文件定位服務器發(fā)送位置查詢請求， 并根據(jù)文件定位服務器反饋的位置信息對所請求操作的文件進行相應的操作；實時監(jiān)控模塊獲取文件訪問客戶端接收到的所述位置信息。因此本例中通過實時監(jiān)控模塊實時的對分布式文件系統(tǒng)中進行的文件操作流程做了詳細的記錄，具體記錄請求操作文件的文件信息以及與該文件相對應的位置信息等， 因此方發(fā)生故障時，通過該記錄可提供更詳細的文件信息以及相關的位置信息，不需要多個模塊之間協(xié)調定位即可直接獲取相應的位置信息，從而排查出故障產生的位置，實現(xiàn)簡單，排查周期短，可提高故障排查以及問題修復的效率。本例中的實時監(jiān)控模塊包括APP日志模塊和FAC日志模塊，其中，APP日志模塊獲取請求操作文件的文件信息同時，還包括從文件系統(tǒng)的文件訪問客戶端獲取該操作的偏移量以及當前位移；FAC日志模塊則獲取文件訪問客戶端接收文件定位服務器反饋的上述位
直fe息。本例中，實時監(jiān)控模塊在獲取上述文件信息之前，還包括判斷當前文件的操作流程是否正常的步驟，如不正常，才通知實時監(jiān)控模塊的開關模塊開啟實時監(jiān)控模塊，獲取所述文件信息。當然，本例中還可分別針對APP日志模塊和FAC日志模塊設置對應的開關， 以使實時監(jiān)控模塊根據(jù)實際需要選擇開啟不同的日志模塊記錄相關信息，例如，可設置APP 日志模塊的開關，并默認APP日志模塊的開關在任何情況下都是開啟狀態(tài)；設置FAC日志模塊開關，并設定只有在檢測到操作流程不正常時才開啟。本例中實時監(jiān)控模塊的開關模塊的設置，只在當前操作流程不正常時，才開啟實時監(jiān)控模塊進行監(jiān)控、記錄，可確保系統(tǒng)不被無止境的正確讀寫日志流程干擾而影響整個文件系統(tǒng)的系能，從而保證分布式文件系統(tǒng)的高效性。本例中的操作包括讀操作和寫操作，相應的本例中的操作文件請求包括讀文件請求和寫文件請求；操作設備塊相應的包括讀設備塊和寫設備塊。當外部應用進程發(fā)送給文件訪問客戶端的請求為讀文件請求時，該請求包括請求讀的文件的文件名、文件大小等文件信息，此時文件定位服務器反饋給文件訪問客戶端的位置信息則包括讀設備塊信息，讀設備塊信息具體可包括掛載路徑、設備號以及設備塊號，還可包括請求讀文件的文件節(jié)點信息和讀頁面信息。當外部應用進程發(fā)送給文件訪問客戶端的請求為寫文件請求時，該請求包括請求寫的文件的文件名、文件大小等文件信息，此時文件定位服務器反饋給文件訪問客戶端的位置信息則包括寫設備塊信息，寫設備塊信息具體可包括掛載路徑、設備號以及設備塊號，還可包括請求寫文件的文件節(jié)點信息和寫頁面信息。為了更好的理解本發(fā)明，下面分別以讀操作和寫操作的流程為例對本發(fā)明做進一步說明請參見圖2，外部應用進程發(fā)送讀文件請求給文件訪問客戶端，該讀文件請求中包括請求讀的文件的大小及文件名；例如可通過調用文件訪問客戶端提供的讀文件接口，并傳入需要讀取的文件的文件名以及大小等；實時數(shù)據(jù)控制模塊判斷開關是否開啟，如判斷開關開啟時，啟動APP日志模塊獲取上述讀文件請求中包括的文件名以及大小，并獲取當前讀的偏移量和位移；文件訪問客戶端接收到該讀文件請求后，根據(jù)該讀文件請求向文件定位服務器發(fā)送位置查詢請求，查詢將要讀取文件的相關位置信息；文件定位服務器根據(jù)文件訪問客戶端發(fā)送的位置查詢請求，進行查詢讀設備塊信息、讀頁面信息、以及文件的文件節(jié)點信息等位置信息，并將查詢到的位置信息反饋給文件訪問客戶端；文件客戶端根據(jù)文件定位服務器反饋的位置信息，從存儲模塊上讀取相應的數(shù)據(jù)并通過讀文件接口反饋給外部應用進程；實時數(shù)據(jù)控制模塊啟動FAC日志模塊，獲取文件定位服務器反饋給文件訪問客戶端的位置信息，具體包括獲取記錄讀設備的掛載路徑、設備號、設備塊號、和讀操作的讀頁面信息以及讀的文件的文件節(jié)點信息等；外部應用進程返回讀操作是否成功的操作碼。值得注意的是，本例中，F(xiàn)AC日志模塊獲取、記錄上述位置信息與文件訪問客戶端根據(jù)接收到的位置信息進行讀操作的步驟并無嚴格意義上的時間先后關系。請參見圖3，該圖為寫操作的流程示意圖，具體如下外部應用進程發(fā)送寫文件請求給文件訪問客戶端，該寫文件請求中包括請求寫的文件的大小及文件名；例如可通過調用文件訪問客戶端提供的寫文件接口，并傳入需要寫取的文件的文件名以及大小等；實時數(shù)據(jù)控制模塊判斷開關是否開啟，如判斷開關開啟時，啟動APP日志模塊獲取需要寫的文件的大小以及文件名，并獲取當前寫的偏移量和位移；文件訪問客戶端接收到該寫文件請求后，根據(jù)該寫文件請求向文件定位服務器發(fā)送位置查詢請求，查詢將要寫的文件的相關位置信息；文件定位服務器根據(jù)文件訪問客戶端發(fā)送的位置查詢請求，進行查詢寫設備塊信息、寫頁面信息、以及文件的文件節(jié)點信息等位置信息，并將查詢到的位置信息反饋給文件訪問客戶端；其中，查詢寫設備塊信息具體為文件定位訪問服務器根據(jù)文件系統(tǒng)的分配設備號規(guī)則分配相應的設備號，并按照規(guī)則將分配到的設備號按照未用的設備塊順序分配。文件客戶端根據(jù)文件定位服務器反饋的位置信息，將相應的數(shù)據(jù)寫到存儲模塊的相應位置；實時數(shù)據(jù)控制模塊啟動FAC日志模塊，獲取文件定位服務器反饋給文件訪問客戶端的位置信息，具體包括獲取記錄寫設備的掛載路徑、設備號、設備塊號、和寫操作的寫頁面信息以及寫的文件的文件節(jié)點信息等；外部應用進程返回寫操作是否成功的操作碼。值得注意的是，本例中，F(xiàn)AC日志模塊獲取、記錄上述位置信息與文件訪問客戶端根據(jù)接收到的位置信息進行寫操作的步驟并無嚴格意義上的時間先后關系。由上述過程可知，本例中的實時監(jiān)控模塊記錄了讀或寫操作流程整個過程中的相關數(shù)據(jù)信息，因此在讀或寫過程中出錯時，不需要多個模塊之間協(xié)調定位即可直接獲取相應的位置信息，即可根據(jù)該記錄更有效、快捷的排查故障，進而找出問題的所在，提高處理效率。以上內容是結合具體的實施方式對本發(fā)明所作的進一步詳細說明，不能認定本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術領域的普通技術人員來說，在不脫離本發(fā)明構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬于本發(fā)明的保護范圍。
權利要求
1.一種用于分布式文件系統(tǒng)的監(jiān)控方法，其特征在于包括外部應用進程發(fā)送操作文件請求給文件訪問客戶端，所述操作文件請求包括所請求操作文件的文件信息；實時監(jiān)控模塊獲取所述文件信息；文件訪問客戶端根據(jù)所述操作文件請求向文件定位服務器發(fā)送位置查詢請求，并根據(jù)文件定位服務器反饋的位置信息對所述文件進行操作；實時監(jiān)控模塊獲取所述文件訪問客戶端接收到的所述位置信息。
2.如權利要求1的方法，其特征在于，所述位置信息包括操作設備塊信息，所述操作設備塊信息包括掛載路徑、設備號以及設備塊號。
3.如權利要求2的方法，其特征在于，所述位置信息還包括所述文件的文件節(jié)點信息和操作頁面信息。
4.如權利要求1所述的方法，其特征在于，所述實時監(jiān)控模塊包括APP日志模塊，所述 APP日志模塊獲取所述文件信息的同時，還包括獲取所述操作的偏移量和當前位移。
5.如權利要求1-4任一項的方法，其特征在于，所述實時監(jiān)控模塊包括FAC日志模塊， 所述FAC日志模塊獲取所述文件訪問客戶端接收到的所述位置信息。
6.如權利要求5所述方法，其特征在于，所述操作文件請求包括讀文件請求和寫文件請求。
7.如權利要求1-4任一項所述的方法，其特征在于，所述實時監(jiān)控模塊獲取所述文件信息之前，還包括判斷當前文件的讀寫是否正常，如否，開啟實時監(jiān)控模塊，獲取所述文件 fn息ο
8.一種分布式文件系統(tǒng)，其特征在于包括依次連接的文件定位服務器、文件訪問客戶端、以及存儲模塊，還包括與所述文件訪問客戶端連接的實時監(jiān)控模塊；所述文件訪問客戶端用于向外部應用進程提供接口調用；根據(jù)外部應用進程發(fā)送的操作文件請求向文件定位服務器發(fā)送位置查詢請求，所述操作文件請求包括所請求操作文件的文件信息；根據(jù)文件定位服務器反饋的位置信息在所述存儲模塊的相應位置對所述文件進行操作；所述文件定位服務器用于存儲所述分布式文件系統(tǒng)的文件的元數(shù)據(jù)信息；并根據(jù)文件訪問客戶端發(fā)送的位置查詢請求，反饋相應的位置信息給所述文件訪問客戶端；所述實時監(jiān)控模塊用于在所述文件訪問客戶端接收到所述操作文件請求時，獲取所述文件信息；并用于獲取所述文件定位服務器反饋給所述文件訪問客戶端的所述位置信息。
9.如權利要求8所述的系統(tǒng)，其特征在于，所述實時監(jiān)控模塊包括APP日志模塊，所述 APP日志模塊用于在所述文件訪問客戶端接收到所述操作文件請求時，獲取所述文件信息， 并獲取所述操作的偏移量和當前位移。
10.如權利要求9所述的系統(tǒng)，其特征在于，所述實時監(jiān)控模塊包括FAC日志模塊，所述 FAC日志模塊用于獲取所述文件定位服務器反饋給所述文件訪問客戶端的所述位置信息。
全文摘要
本發(fā)明公開了一種用于分布式文件系統(tǒng)的監(jiān)控方法及分布式文件系統(tǒng)，通過實時監(jiān)控模塊在外部應用進程發(fā)送操作文件請求給文件訪問客戶端時，獲取該請求中包括的所請求操作文件的文件信息；并在文件訪問客戶端接收到文件定位服務器反饋的位置信息后，獲取文件訪問客戶端接收到的位置信息；即本發(fā)明中通過實時監(jiān)控模塊實時的記錄了文件操作過程中，該文件的文件信息以及與該文件相對應的位置信息，因此方發(fā)生故障時，該記錄可提供更詳細的文件信息以及相關的位置信息，不需要多個模塊之間協(xié)調定位即可直接獲取相應的位置信息，從而排查出故障產生的位置，實現(xiàn)簡單，排查周期短，可提高故障排查以及問題修復的效率。
文檔編號H04L29/08GK102387048SQ20111032709
公開日2012年3月21日 申請日期2011年10月25日 優(yōu)先權日2011年10月25日
發(fā)明者嚴耀華, 江凌生, 王沖 申請人:中興通訊股份有限公司