一種插件開發(fā)方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及插件管理領(lǐng)域，更具體地說，涉及一種插件開發(fā)方法及系統(tǒng)。
【背景技術(shù)】
[0002]定向采集系統(tǒng)是網(wǎng)絡(luò)蜘蛛的一種，它是網(wǎng)絡(luò)數(shù)據(jù)獲取系統(tǒng)的核心部分。它通過對互聯(lián)網(wǎng)上已知信息(即網(wǎng)絡(luò)鏈接，URL Universal Resource Locator)的不斷抓取海量網(wǎng)頁內(nèi)容，獲取其中所有主題相關(guān)內(nèi)容。
[0003]對于目前較常見的網(wǎng)頁個性化采集方法，需要根據(jù)配置的抽取規(guī)則，來提取和主題相關(guān)的內(nèi)容。網(wǎng)頁個性化采集需要維護大量的抽取規(guī)則。簡單的網(wǎng)頁，可以通過通用的抽取規(guī)則進行匹配，如正則表達式等，但是對于復(fù)雜網(wǎng)頁，則需要額外的規(guī)則邏輯來處理，而這部分需進行代碼開發(fā)。開發(fā)的代碼以插件的形式存在，通過編譯\打包等，動態(tài)更新到線上的采集系統(tǒng)中去。
[0004]Java是一種最常見的爬蟲插件開發(fā)語言，在基于Java語言開發(fā)的插件維護時需要編譯、打包、重啟Java虛擬機等操作，工作繁瑣，出錯幾率高。另外，插件的版本控制也比較繁瑣，需要記錄每個插件的版本號，在插件維護過程容易出錯。
[0005]綜上所述，現(xiàn)有的插件開發(fā)體系已經(jīng)不能滿足日益發(fā)展的互聯(lián)網(wǎng)采集技術(shù)的需求，需要尋找一種高效、便捷的插件開發(fā)模式。

【發(fā)明內(nèi)容】

[0006]本發(fā)明要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)對插件開發(fā)繁瑣的缺陷，提供一種插件開發(fā)方法及系統(tǒng)。
[0007]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:構(gòu)造一種插件開發(fā)方法，用于在插件開發(fā)平臺中生成定向網(wǎng)頁采集的插件并將該插件上傳至插件管理中心，該方法包括以下步驟:
[0008]S1、在插件開發(fā)平臺中輸入待開發(fā)的URL地址，根據(jù)輸入的URL地址下載網(wǎng)頁，并將網(wǎng)頁解析為DOM樹結(jié)構(gòu)；
[0009]S2、根據(jù)URL地址所下載的網(wǎng)頁，選擇自動生成Java腳本抽取規(guī)則的方法或編輯Java腳本抽取規(guī)則的方法，以得到Java腳本抽取規(guī)則；根據(jù)所述Java腳本抽取規(guī)則生成插件；
[0010]其中，自動生成Java腳本抽取規(guī)則的方法為:根據(jù)在DOM樹結(jié)構(gòu)中框選待提取的內(nèi)容對應(yīng)的頁面元素節(jié)點路徑生成Java腳本抽取規(guī)則；編輯Java腳本抽取規(guī)則的方法為:采用Jsoup語法和正則表達式根據(jù)輸入的URL地址編輯Java腳本抽取規(guī)則；
[0011]S3、對所述插件進行測試；
[0012]S4、若測試通過，轉(zhuǎn)至步驟S5 ;若測試不通過，轉(zhuǎn)至步驟S2 ；
[0013]S5、將所述插件上傳并存儲至插件管理中心。
[0014]在本發(fā)明所述的插件開發(fā)方法中，所述步驟S2還包括以下步驟:
[0015]S21、若根據(jù)所述URL地址得到的網(wǎng)頁需要登錄操作，則錄制登錄網(wǎng)頁的過程，生成登陸腳本；
[0016]S22、根據(jù)所述Java腳本抽取規(guī)則和登陸腳本生成插件。
[0017]在本發(fā)明所述的插件開發(fā)方法中，所述步驟S3包括以下子步驟:
[0018]S31、選擇單元測試或集成測試中的一種測試方式；
[0019]S32、根據(jù)所選擇的測試方式對所述插件進行測試。
[0020]在本發(fā)明所述的插件開發(fā)方法中，所述步驟S5包括以下子步驟:
[0021]S51、在所述插件開發(fā)平臺中向所述插件管理中心發(fā)出上傳請求；
[0022]S52、在所述插件管理中心中，對發(fā)出所述上傳請求的插件開發(fā)平臺進行第一認(rèn)證，若第一認(rèn)證通過，則授權(quán)所述上傳請求，允許所述插件開發(fā)平臺上傳所述插件；若第一認(rèn)證不通過，則所述插件開發(fā)平臺返回第一認(rèn)證不通過的提示信息；
[0023]S53、所述插件上傳至插件管理中心后，對所述插件進行版本控制，將進行版本控制后的插件存儲至插件管理中心。
[0024]在本發(fā)明所述的插件開發(fā)方法中，該方法還包括:
[0025]S6、在所述步驟S5之后，將所述插件下載至客戶端中；
[0026]其中，所述步驟S6包括以下子步驟:
[0027]S61、在客戶端中向插件管理中心發(fā)送所述插件的下載請求；
[0028]S62、在插件管理中心中對發(fā)出所述下載請求的客戶端進行第二認(rèn)證，若第二認(rèn)證通過，則授權(quán)所述下載請求，允許所述客戶端下載所述插件；若第二認(rèn)證不通過，則所述客戶端返回第二認(rèn)證不通過的提示信息；
[0029]S63、將進行版本控制后的插件下載至所述客戶端。
[0030]本發(fā)明的另一方面，提供一種插件開發(fā)系統(tǒng)，該系統(tǒng)包括用于生成定向網(wǎng)頁采集插件的插件開發(fā)平臺和與所述插件開發(fā)平臺連接的插件管理中心，所述插件開發(fā)平臺包括網(wǎng)頁分析模塊、插件配置模塊、插件測試模塊和上傳模塊；
[0031]所述網(wǎng)頁分析模塊用于輸入待開發(fā)的URL地址，根據(jù)輸入的URL地址下載網(wǎng)頁，并將網(wǎng)頁解析為DOM樹結(jié)構(gòu)；；
[0032]所述插件配置模塊用于根據(jù)URL地址所得到的網(wǎng)頁，在自動生成Java腳本抽取規(guī)則的方法和編輯Java腳本抽取規(guī)則的方法中選擇其中的一種，以得到Java腳本抽取規(guī)則；其中，自動生成Java腳本抽取規(guī)則的方法為:根據(jù)在DOM樹結(jié)構(gòu)中框選待提取的內(nèi)容對應(yīng)的頁面元素節(jié)點路徑生成Java腳本抽取規(guī)則；編輯Java腳本抽取規(guī)則的方法為:采用Jsoup語法和正則表達式根據(jù)輸入的URL地址編輯Java腳本抽取規(guī)則；所述插件配置模塊還用于根據(jù)所述Java腳本抽取規(guī)則生成插件；
[0033]所述插件測試模塊用于對所述插件進行測試，并判斷測試是否通過；
[0034]所述上傳模塊用于將測試通過的插件上傳至插件管理中心；
[0035]所述插件管理中心用于接收并存儲所述插件。
[0036]在本發(fā)明所述的插件開發(fā)系統(tǒng)中，所述插件配置模塊還用于若根據(jù)所述URL地址得到的網(wǎng)頁需要登錄操作，則錄制登錄網(wǎng)頁的過程，生成登陸腳本，根據(jù)所述Java腳本抽取規(guī)則和登陸腳本生成插件。
[0037]在本發(fā)明所述的插件開發(fā)系統(tǒng)中，所述插件測試模塊還用于選擇單元測試或集成測試中的一種測試方式，并根據(jù)所選擇的測試方式對所述插件進行測試。
[0038]在本發(fā)明所述的插件開發(fā)系統(tǒng)中，所述上傳模塊還用于向所述插件管理中心發(fā)出上傳請求；
[0039]所述插件管理中心包括插件認(rèn)證模塊、版本控制模塊和存儲模塊；
[0040]所述插件認(rèn)證模塊用于對發(fā)出所述上傳請求的插件開發(fā)平臺進行第一認(rèn)證，若第一認(rèn)證通過，則授權(quán)所述上傳請求，允許所述插件開發(fā)平臺上傳所述插件；若第一認(rèn)證不通過，則所述插件開發(fā)平臺返回第一認(rèn)證不通過的提示信息；
[0041 ] 所述版本控制模塊用于對所述插件進行版本控制；
[0042]所述存儲模塊用于存儲進行版本控制后的插件。
[0043]在本發(fā)明所述的插件開發(fā)系統(tǒng)中，該系統(tǒng)還包括與所述插件管理中心連接的客戶端;
[0044]所述客戶端用于向插件管理中心發(fā)送所述插件的下載請求并下載進行版本控制后的插件；
[0045]所述插件認(rèn)證模塊還用于對發(fā)出所述下載請求的客戶端進行第二認(rèn)證，若第二認(rèn)證通過，則授權(quán)所述下載請求，允許所述客戶端下載所述插件；若第二認(rèn)證不通過，則所述客戶端返回第二認(rèn)證不通過的提示信息。
[0046]實施本發(fā)明的一種插件開發(fā)方法及系統(tǒng)，具有以下有益效果:快速、高效、安全地開發(fā)插件。
【附圖說明】
[0047]下面將結(jié)合附圖及實施例對本發(fā)明作進一步說明，附圖中:
[0048]圖1是本發(fā)明第一方法實施