專利名稱：：用于多路數(shù)據(jù)流相關(guān)的可擴(kuò)縮處理的系統(tǒng)和方法
技術(shù)領(lǐng)域：
：本發(fā)明一般涉及一種改進(jìn)的數(shù)據(jù)處理系統(tǒng)，并且特別地，涉及一種用于處理數(shù)據(jù)流的計(jì)算機(jī)實(shí)現(xiàn)的方法和裝置。更特別地，本發(fā)明涉及一種用于多路數(shù)據(jù)流相關(guān)的可擴(kuò)縮處理的計(jì)算機(jī)實(shí)現(xiàn)的方法、裝置以及計(jì)算機(jī)可用程序代碼。
背景技術(shù)：
：流處理計(jì)算應(yīng)用是滿足關(guān)于數(shù)據(jù)的一些限制的應(yīng)用，在該應(yīng)用中數(shù)據(jù)以信息流的形式進(jìn)入系統(tǒng)。注意到正在處理的數(shù)據(jù)的容量可能太大而無(wú)法存儲(chǔ)；因此，信息流要求對(duì)動(dòng)態(tài)數(shù)據(jù)流進(jìn)行復(fù)雜的實(shí)時(shí)處理，例如傳感器數(shù)據(jù)分析以及網(wǎng)絡(luò)業(yè)務(wù)監(jiān)控。流處理計(jì)算應(yīng)用的例子包括視頻處理、音頻處理、流式數(shù)據(jù)庫(kù)以及傳感器網(wǎng)絡(luò)。在這些應(yīng)用中，來(lái)自外部源的數(shù)據(jù)流流入數(shù)據(jù)流管理系統(tǒng)，其在此由不同的連續(xù)查詢算子處理。為了支持無(wú)界流，流處理系統(tǒng)將滑動(dòng)窗與每個(gè)流相關(guān)聯(lián)。滑動(dòng)窗含有在流上最近到達(dá)的數(shù)據(jù)項(xiàng)。窗口可以是基于時(shí)間的，例如在最后60秒中到達(dá)的視頻幀，或者是基于數(shù)字的，例如最后1000個(gè)視頻幀。最重要的連續(xù)查詢算子之一是在多個(gè)不同的數(shù)據(jù)流上的滑動(dòng)窗連接?；瑒?dòng)窗連接的輸出含有滿足預(yù)先定義的連接判定(joinpredicate)的、并且在其相應(yīng)的窗口中被同時(shí)顯現(xiàn)的相關(guān)元組的所有集合。一些實(shí)例應(yīng)用包括在不同的新聞視頻流中搜索類似的圖像用于熱門話題檢測(cè)，以及在不同的網(wǎng)絡(luò)業(yè)務(wù)流中對(duì)源/目的地址進(jìn)行相關(guān)用于入侵檢測(cè)?；陉P(guān)鍵字的同等連接(equijoin)可能不太有效，因?yàn)楹芏嗔飨嚓P(guān)應(yīng)用要求比關(guān)鍵字比較更復(fù)雜的連接判定。例如，在新聞視頻相關(guān)應(yīng)用中，連接條件是兩個(gè)圖像的40維分類值之間的距離是否低于閾值。因而，不同流的相關(guān)數(shù)據(jù)意味著在不同流上找到滿足一個(gè)或多個(gè)預(yù)先定義的相關(guān)判定的那些數(shù)據(jù)。處理多路流連接的主要挑戰(zhàn)在于在多個(gè)大容量并且時(shí)變的數(shù)據(jù)流上實(shí)時(shí)地進(jìn)行大量的連接比較。給定高流速和大窗口尺寸，加窗的流連接可能會(huì)有大的存儲(chǔ)需求。此外，諸如圖像比較的一些查詢處理還可以是中央處理器密集的。單個(gè)主機(jī)可能由于多路流連接工作負(fù)荷而易于過(guò)載。
發(fā)明內(nèi)容本說(shuō)明性實(shí)施例提供了一種用于處理多路流相關(guān)的計(jì)算機(jī)實(shí)現(xiàn)的方法、裝置以及計(jì)算機(jī)可用程序代碼。接收流數(shù)據(jù)用于相關(guān)。形成用于連續(xù)地將多路流相關(guān)工作負(fù)荷劃分成較小的工作負(fù)荷片的任務(wù)。所述較小的工作負(fù)荷片中的每一個(gè)均可以由單個(gè)主機(jī)來(lái)處理。將所述流數(shù)據(jù)發(fā)送至不同的主機(jī)用于相關(guān)處理。在所附權(quán)利要求中闡述了被認(rèn)為是說(shuō)明性實(shí)施例的特性的新穎的特征。然而，當(dāng)結(jié)合附圖閱讀時(shí)，通過(guò)參照以下對(duì)說(shuō)明性實(shí)施例的具體描述，將最好地理解說(shuō)明性實(shí)施例本身，以及使用的優(yōu)選模式及其更多的目的和優(yōu)勢(shì)，其中圖1是可以在其中實(shí)現(xiàn)說(shuō)明性實(shí)施例的數(shù)據(jù)處理系統(tǒng)的網(wǎng)絡(luò)的圖形表示；圖2是可以在其中實(shí)現(xiàn)說(shuō)明性實(shí)施例的數(shù)據(jù)處理系統(tǒng)的框圖；圖3描述了依照說(shuō)明性實(shí)施例的流處理的例子；圖4是依照說(shuō)明性實(shí)施例的滑動(dòng)窗流連接算子模型的示圖；圖5是依照說(shuō)明性實(shí)施例的分布式多路流連接執(zhí)行模型的示圖；圖6A-6B是依照說(shuō)明性實(shí)施例的相關(guān)感知元組路由方案的示圖；圖7是依照說(shuō)明性實(shí)施例的對(duì)準(zhǔn)元組路由模型的示圖；圖8是依照說(shuō)明性實(shí)施例的約束元組路由模型的示圖；圖9是依照說(shuō)明性實(shí)施例的集中式連接方法的流程圖；圖10是依照說(shuō)明性實(shí)施例的分布式連接方法的流程圖；圖11是依照說(shuō)明性實(shí)施例的對(duì)準(zhǔn)元組路由方法的流程圖；圖12A-12B是依照說(shuō)明性實(shí)施例的約束元組路由方法的流程圖；圖13是依照說(shuō)明性實(shí)施例的多路流連接算法；圖14是依照說(shuō)明性實(shí)施例的對(duì)準(zhǔn)元組路由算法；以及圖15是依照說(shuō)明性實(shí)施例的約束元組路由算法。具體實(shí)施例方式現(xiàn)參照附圖，并且特別參照?qǐng)D1-2，提供了可以在其中實(shí)現(xiàn)說(shuō)明性實(shí)施例的數(shù)據(jù)處理環(huán)境的示例圖。應(yīng)當(dāng)理解圖1-2僅是示例性的，并不旨在主張或暗示對(duì)關(guān)于可以在其中實(shí)現(xiàn)不同實(shí)施例的環(huán)境的任何限制?？梢詫?duì)所描述的環(huán)境進(jìn)行很多修改?，F(xiàn)參照附圖，圖1描述了可以在其中實(shí)現(xiàn)說(shuō)明性實(shí)施例的數(shù)據(jù)處理系統(tǒng)的網(wǎng)絡(luò)的圖形表示。網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)100是可以在其中實(shí)現(xiàn)實(shí)施例的計(jì)算機(jī)網(wǎng)絡(luò)。網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)100含有網(wǎng)絡(luò)102，其是用于在網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)100內(nèi)連在一起的各種設(shè)備和計(jì)算機(jī)之間提供通信鏈路的介質(zhì)。網(wǎng)絡(luò)102可以包括諸如有線、無(wú)線通信鏈路或光纜的連接。在所描述的例子中，服務(wù)器104和服務(wù)器106與存儲(chǔ)單元108一起連接至網(wǎng)絡(luò)102。另外，客戶機(jī)110、112和114連接至網(wǎng)絡(luò)102。這些客戶機(jī)110、112和114可以是，例如個(gè)人計(jì)算機(jī)或網(wǎng)絡(luò)計(jì)算機(jī)。在所描述的例子中，服務(wù)器104向客戶機(jī)110、112和114提供諸如引導(dǎo)文件、操作系統(tǒng)映像以及應(yīng)用的數(shù)據(jù)。在該例中，客戶機(jī)110、112和114是服務(wù)器104的客戶機(jī)。網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)100可以包括附加的服務(wù)器、客戶機(jī)和未示出的其它設(shè)備。在所描述的例子中，網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)100是具有網(wǎng)絡(luò)102的因特網(wǎng)，網(wǎng)絡(luò)102代表使用傳輸控制協(xié)議/網(wǎng)際協(xié)議(TCP/IP)協(xié)議組相互通信的全世界的網(wǎng)絡(luò)和網(wǎng)關(guān)的集合。處于因特網(wǎng)核心的是主節(jié)點(diǎn)或主計(jì)算機(jī)之間的高速數(shù)據(jù)通信線路的主干線，包括路由數(shù)據(jù)和消息的數(shù)千商業(yè)的、政府的、教育的和其它的計(jì)算機(jī)系統(tǒng)。當(dāng)然，網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)100還可以實(shí)現(xiàn)為許多不同類型的網(wǎng)絡(luò)，舉例來(lái)說(shuō)，例如內(nèi)聯(lián)網(wǎng)、局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)。圖1意在舉例，并不作為對(duì)不同實(shí)施例的結(jié)構(gòu)限制。現(xiàn)參照?qǐng)D2，示出了可以在其中實(shí)現(xiàn)說(shuō)明性實(shí)施例的數(shù)據(jù)處理系統(tǒng)的框圖。數(shù)據(jù)處理系統(tǒng)200是諸如圖1中的服務(wù)器104或客戶機(jī)110的計(jì)算機(jī)的例子，可以在其中針對(duì)說(shuō)明性實(shí)施例設(shè)置實(shí)現(xiàn)過(guò)程的計(jì)算機(jī)可用代碼或指令。在所描述的例子中，數(shù)據(jù)處理系統(tǒng)200使用包括北橋和存儲(chǔ)控制器集線器(MCH)202以及南橋和輸入/輸出(I/O)控制器集線器(ICH)204的集線器體系結(jié)構(gòu)。處理器206、主存儲(chǔ)器208以及圖形處理器210耦合于北橋和存儲(chǔ)控制器集線器202。舉例來(lái)說(shuō)，圖形處理器210可以通過(guò)加速圖形端口(AGP)耦合于MCH。在所描述的例子中，局域網(wǎng)(LAN)適配器212耦合于南橋和I/O控制器集線器204，并且音頻適配器216、鍵盤和鼠標(biāo)適配器220、調(diào)制解調(diào)器222、只讀存儲(chǔ)器(ROM)224、通用串行總線(USB)端口和其它通信端口232，以及PCI/PCIe設(shè)備234通過(guò)總線238耦合于南橋和I/O控制器集線器204，并且硬磁盤驅(qū)動(dòng)器(HDD)226和CD-ROM驅(qū)動(dòng)器230通過(guò)總線240耦合于南橋和I/O控制器集線器204。PCI/PCIe設(shè)備可以包括，例如以太網(wǎng)適配器、附加卡(add-incards)以及用于筆記本計(jì)算機(jī)的PC卡。PCI使用卡式總線控制器，而PCIe并不使用。ROM224可以是，例如閃速二進(jìn)制輸入/輸出系統(tǒng)(BIOS)。硬磁盤驅(qū)動(dòng)器226和CD-ROM驅(qū)動(dòng)器230可以使用，例如集成驅(qū)動(dòng)器電子電路(IDE)或串行高級(jí)技術(shù)配件(SATA)接口。超級(jí)I/O(SIO)設(shè)備236可以耦合于南橋和I/O控制器集線器204。操作系統(tǒng)在處理器206上運(yùn)行，并且協(xié)調(diào)和提供圖2中數(shù)據(jù)處理系統(tǒng)200內(nèi)的各種組件的控制。操作系統(tǒng)可以是市場(chǎng)上可獲得的操作系統(tǒng)，例如MicrosoftWindowsXP(Microsoft和Windows是微軟公司在美國(guó)、其它國(guó)家或二者的商標(biāo))。面向?qū)ο蟮木幊滔到y(tǒng)，例如JavaTM編程系統(tǒng)，可以結(jié)合操作系統(tǒng)運(yùn)行，并且從在數(shù)據(jù)處理系統(tǒng)200上執(zhí)行的Java程序或應(yīng)用向操作系統(tǒng)提供調(diào)用(Java和所有基于Java的商標(biāo)是SunMicrosystems公司在美國(guó)、其它國(guó)家或二者的商標(biāo))。用于操作系統(tǒng)的指令、面向?qū)ο蟮木幊滔到y(tǒng)以及應(yīng)用或程序位于諸如硬磁盤驅(qū)動(dòng)器226的存儲(chǔ)設(shè)備，并且可以被加載到主存儲(chǔ)器208給處理器206執(zhí)行。說(shuō)明性實(shí)施例的過(guò)程可以由處理器206使用計(jì)算機(jī)實(shí)現(xiàn)的指令來(lái)實(shí)現(xiàn)，舉例來(lái)說(shuō)，其可以位于諸如主存儲(chǔ)器208、只讀存儲(chǔ)器224的存儲(chǔ)器中，或者位于一個(gè)或多個(gè)外圍設(shè)備中。圖1-2中的硬件可以取決于實(shí)現(xiàn)而變化。除了圖1-2中所描述的硬件之外，或者代替圖1-2中所描述的硬件，可以使用其它的內(nèi)部硬件或外圍設(shè)備，例如閃速存儲(chǔ)器、等效非易失性存儲(chǔ)器或光盤驅(qū)動(dòng)器等。此外，說(shuō)明性實(shí)施例的過(guò)程可以應(yīng)用于多處理器數(shù)據(jù)處理系統(tǒng)。在一些說(shuō)明性的例子中，數(shù)據(jù)處理系統(tǒng)200可以是個(gè)人數(shù)字助理(PDA)，其通常被配置具有閃速存儲(chǔ)器，以提供用于存儲(chǔ)操作系統(tǒng)文件和/或用戶產(chǎn)生的數(shù)據(jù)的非易失性存儲(chǔ)器。總線系統(tǒng)可以包括一個(gè)或多個(gè)總線，例如系統(tǒng)總線、I/O總線和PCI總線。當(dāng)然，可以使用在依附于構(gòu)造或體系結(jié)構(gòu)的不同組件或設(shè)備之間提供數(shù)據(jù)傳輸?shù)娜魏晤愋偷耐ㄐ艠?gòu)造或體系結(jié)構(gòu)來(lái)實(shí)現(xiàn)總線系統(tǒng)。通信單元可以包括用于發(fā)送和接收數(shù)據(jù)的一個(gè)或多個(gè)設(shè)備，例如調(diào)制解調(diào)器或網(wǎng)絡(luò)適配器。舉例來(lái)說(shuō)，存儲(chǔ)器可以是主存儲(chǔ)器208或者諸如可以在北橋和存儲(chǔ)控制器集線器202中找到的高速緩沖存儲(chǔ)器。處理單元可以包括一個(gè)或多個(gè)處理器或CPU。圖1-2中所描述的例子以及上述例子并不意味著暗示結(jié)構(gòu)限制。例如，數(shù)據(jù)處理系統(tǒng)200除了采取PDA的形式之外，還可以是平板計(jì)算機(jī)(tabletcomputer)、膝上型計(jì)算機(jī)或電話設(shè)備。說(shuō)明性實(shí)施例提供了基于對(duì)處理單元、原始流(primalstream)以及用戶對(duì)輸出數(shù)據(jù)的要求的形式描述而自動(dòng)創(chuàng)建工作流的過(guò)程。該過(guò)程能夠快速適應(yīng)新近可用的原始流、處理單元以及其它變化的參數(shù)、環(huán)境或條件，而不過(guò)度使系統(tǒng)資源有所負(fù)擔(dān)，并且沒(méi)有人工交互。此外，可以將工作流轉(zhuǎn)換成可以在Web服務(wù)執(zhí)行環(huán)境中執(zhí)行的格式。圖3描述了依照說(shuō)明性實(shí)施例的流處理的例子。在該例中，當(dāng)特定股票很可能要超過(guò)預(yù)定值的時(shí)候，將相關(guān)結(jié)果350傳遞給已經(jīng)請(qǐng)求被通知的用戶。在一個(gè)例子中，相關(guān)結(jié)果是具有相關(guān)的股票價(jià)格變化的一組股票。在這些說(shuō)明性例子中，原始流或廣播流包括貿(mào)易310、電視新聞320以及無(wú)線電330。在所描述的例子中，應(yīng)用組件包括股票分析312、運(yùn)動(dòng)圖像專家組4(MPEG-4)多路分用器322、圖像分析324、語(yǔ)音到文本(speech-to-text)326、文本分析328、語(yǔ)音到文本332、文本分析334，以及多路流連接340。流處理應(yīng)用可以由使用可用的原始流的現(xiàn)有應(yīng)用組件組成，以便應(yīng)用組件產(chǎn)生滿足用戶需求的結(jié)果。因而，股票分析312接收信息流(貿(mào)易310)并且向多路流連接340輸出結(jié)果。在該例中，MPEG-4多路分用器322接收廣播流(電視新聞320)，并且向圖像分析324、文本分析328和語(yǔ)音到文本326輸出。而語(yǔ)音到文本326向文本分析328輸出。圖像分析324和文本分析328向多路流連接340輸出。語(yǔ)音到文本332接收原始流(無(wú)線電330)，并且向文本分析334輸出。而文本分析334向多路流連接340輸出。多路流連接340以相關(guān)結(jié)果350的形式提供輸出。在一個(gè)實(shí)施例中，可以將流特性編碼為以流對(duì)象參數(shù)化的變數(shù)(fluent)和判定(predicate)。在編程中，判定是評(píng)估表達(dá)并且基于數(shù)據(jù)的條件提供真或假的回答的陳述。這些條件被表示為關(guān)于流特性的邏輯表達(dá)式。變數(shù)是比判定更一般的函數(shù)。變數(shù)可以從不同于判定的布爾域的域取值。在文獻(xiàn)中變數(shù)也被稱為函數(shù)。將組件描述編碼為以輸入和輸出流對(duì)象參數(shù)化的動(dòng)作。動(dòng)作的前提由輸入流上轉(zhuǎn)換的輸入端口要求組成，并且動(dòng)作效應(yīng)利用與輸出端口關(guān)聯(lián)的轉(zhuǎn)換公式計(jì)算輸出流對(duì)象的特性。通過(guò)基于共享對(duì)應(yīng)于端口的例示動(dòng)作參數(shù)之間的流對(duì)象來(lái)標(biāo)識(shí)輸入-輸出端口連接，然后將由規(guī)劃系統(tǒng)產(chǎn)生的作為動(dòng)作序列的計(jì)劃轉(zhuǎn)換成工作流。說(shuō)明性實(shí)施例提供了一種用于處理多路流連接的可擴(kuò)縮的分布式解決方案的計(jì)算機(jī)實(shí)現(xiàn)的方法、裝置和計(jì)算機(jī)可用程序代碼。由于很多流相關(guān)應(yīng)用比關(guān)鍵字比較要求更復(fù)雜的連接判定，因此考慮諸如同等連接和非同等連接的一般流連接。說(shuō)明性實(shí)施例針對(duì)能夠分布式執(zhí)行多路流連接的相關(guān)感知元組路由框架。該分布方案可以觀察滑動(dòng)窗連接語(yǔ)義。滑動(dòng)窗連接的輸出含有滿足預(yù)先定義的連接判定的、并且在其相應(yīng)的窗口中被同時(shí)顯現(xiàn)的相關(guān)元組的所有集合。由于相關(guān)約束，對(duì)于維持滑動(dòng)窗連接語(yǔ)義來(lái)說(shuō)，分布開(kāi)銷是不可避免的。因此，說(shuō)明性實(shí)施例針對(duì)在具有最小分布開(kāi)銷的一組分布式主機(jī)中多路流連接算子的工作負(fù)荷的最優(yōu)分布。分布開(kāi)銷指的是使用或過(guò)度使用系統(tǒng)資源。例如，分布開(kāi)銷可以包括所消耗的處理器時(shí)間、存儲(chǔ)空間以及處理輸入數(shù)據(jù)流所需要的網(wǎng)絡(luò)帶寬。在一個(gè)說(shuō)明性實(shí)施例中，對(duì)準(zhǔn)元組路由(ATR)方法或方案使用流劃分實(shí)現(xiàn)多路流連接的分布式執(zhí)行。對(duì)準(zhǔn)元組路由動(dòng)態(tài)地選擇最快的輸入流作為主流，并且將其它流的元組路由與主流對(duì)準(zhǔn)，以符合相關(guān)約束。對(duì)準(zhǔn)元組路由將輸入流分成被路由至不同主機(jī)用于連接處理的分段。分段是流的一部分或片段。連接處理也被稱為相關(guān)處理。對(duì)準(zhǔn)元組路由可以用于保持連接語(yǔ)義。此外，對(duì)準(zhǔn)元組路由的開(kāi)銷獨(dú)立于主機(jī)的數(shù)目。相反，對(duì)準(zhǔn)元組路由開(kāi)銷僅與滑動(dòng)窗大小以及從流的速率有關(guān)。因此，對(duì)準(zhǔn)元組路由適于從流具有低速率并且滑動(dòng)窗大小不是很大的情況。在另一說(shuō)明性實(shí)施例中，約束元組路由(CTR)方案在相關(guān)約束下分別路由不同流的元組。約束元組路由使用流劃分和算子劃分二者來(lái)分布多路流連接算子。與對(duì)準(zhǔn)元組路由不同，約束元組路由允許將很大的多路連接劃分成由不同主機(jī)執(zhí)行的一組較小的多路連接。約束元組路由方法、過(guò)程和算法針對(duì)的是利用輕負(fù)荷主機(jī)的最小集合覆蓋相關(guān)元組的問(wèn)題。約束元組路由用于保持連接語(yǔ)義，并且具有獨(dú)立于主機(jī)數(shù)目的開(kāi)銷。不同于對(duì)準(zhǔn)元組路由，約束元組路由的開(kāi)銷獨(dú)立于滑動(dòng)窗大小，這使得約束元組路由更適于具有大滑動(dòng)窗規(guī)格的連接算子。為支持連續(xù)流，流處理系統(tǒng)將滑動(dòng)窗與每個(gè)流相關(guān)聯(lián)。窗口含有稱為元組的流上最近到達(dá)的數(shù)據(jù)項(xiàng)。元組是一組值或流數(shù)據(jù)。流中的數(shù)據(jù)也稱為流數(shù)據(jù)，并且其是以比特、字、數(shù)字或形成于一個(gè)或多個(gè)數(shù)據(jù)流的其它流式數(shù)據(jù)的形式所接收的信息。窗口可以是基于時(shí)間的或基于元組的?；跁r(shí)間的窗口可以是，例如，在最后10分鐘內(nèi)到達(dá)的元組，而基于元組的窗口可以是，例如，最后1000個(gè)元組。重要的連續(xù)查詢算子之一是兩個(gè)流(流S1和流S2)之間的滑動(dòng)窗連接。該窗口連接的輸出含有來(lái)自于流S1和流S2的每對(duì)這樣的元組，即其滿足連接判定并且在其相應(yīng)的窗口中被同時(shí)顯現(xiàn)。連接判定是關(guān)于兩個(gè)元組之間的一個(gè)或多個(gè)共同屬性的比較函數(shù)?；具B接判定是兩個(gè)元組s1和s2之間關(guān)于共同屬性A的相等比較，表示為s1·A＝s2·A。然而，可以將說(shuō)明性方案應(yīng)用于任何一般的連接判定。滑動(dòng)窗連接具有很多應(yīng)用。例如，考慮兩個(gè)流，其中一個(gè)流含有電話呼叫記錄，而另一個(gè)流含有股票交易記錄?？梢允褂眠@樣的滑動(dòng)窗連接來(lái)產(chǎn)生交易欺詐警報(bào)，即該滑動(dòng)窗連接運(yùn)作以便在可疑電話呼叫與異常交易記錄之間關(guān)于共同屬性“貿(mào)易標(biāo)識(shí)符”進(jìn)行相關(guān)或連接。圖4是依照說(shuō)明性實(shí)施例的滑動(dòng)窗流連接算子模型的示圖。圖4用于描述滑動(dòng)窗連接的語(yǔ)義，并且給出集中式加窗連接處理過(guò)程。可以在諸如圖1的服務(wù)器104和106或客戶機(jī)110、112和114的服務(wù)器或客戶機(jī)中實(shí)現(xiàn)多路流連接算子400。多路流連接算子400包括表示為Si的各種數(shù)據(jù)流，包括流1402、流2404、流3406和流4408。數(shù)據(jù)流由表示為si∈Si的一連串元組或數(shù)據(jù)項(xiàng)組成。每個(gè)流可以具有可變的數(shù)據(jù)到達(dá)速率。例如，ri表示流Si在當(dāng)前時(shí)間周期的平均到達(dá)速率。在動(dòng)態(tài)流環(huán)境中，平均流速率ri可以隨時(shí)間變化。在該例中，每個(gè)元組si∈Si攜帶時(shí)間戳si·t來(lái)表示元組si到達(dá)流Si的時(shí)間。諸如Si[t1，t2]的語(yǔ)言表示在時(shí)間[t1，t2]期間到達(dá)流Si的所有元組。為了處理無(wú)限數(shù)據(jù)流，將滑動(dòng)窗與每個(gè)流相關(guān)聯(lián)，用于將連接處理的范圍限制在新近到達(dá)的元組。例如，Si[Wi]表示流Si上的滑動(dòng)窗，其中Wi表示單位時(shí)間的窗口長(zhǎng)度。在時(shí)間t，如果si在時(shí)間間隔[t-Wi，t]內(nèi)到達(dá)Si，則si屬于Si[Wi]。因此，可以將Si[Wi]認(rèn)為是Si[t-Wi，t]的縮寫。將n，n≥2個(gè)輸入流中的多路流連接算子400表示為多路流連接算子400的輸出包括所有的元組群(s1，s2，...，sn)，以便在時(shí)間si·t，si∈Si，sk∈Sk[Wk]，1≤k≤n，k≠i，s1，...，sn滿足預(yù)先定義的連接判定θ(s1，...，sn)。連接判定可以是諸如多維空間中的距離函數(shù)的任何一般的函數(shù)。例如，在圖4中，考慮連接結(jié)果，包括在時(shí)間8到達(dá)的流3406的元組s3410，表示為s3<8>410。si<t>表示在時(shí)間t到達(dá)Si的元組。多路流連接算子400將流3406的s3<8>410與在時(shí)間8的包括在滑動(dòng)窗S1[W1]、S2[W2]和S4[W4]中的所有元組進(jìn)行比較。例如，在多路流連接算子400中，元組s3<8>410需要首先與S4[4，7]412中的元組連接。圖5是依照說(shuō)明性實(shí)施例的分布式多路流連接執(zhí)行模型的示圖。多路流連接經(jīng)常是資源密集的。例如，多路流連接可以具有對(duì)緩沖所有滑動(dòng)窗中的元組的大存儲(chǔ)需求，以及對(duì)多個(gè)輸入流中的大量連接探測(cè)的快速處理的需求。單個(gè)主機(jī)可能由于多路流連接查詢處理而易于過(guò)載。用于處理多路流連接的可擴(kuò)縮的分布式流處理系統(tǒng)500針對(duì)這些問(wèn)題?？蓴U(kuò)縮的分布式流處理系統(tǒng)500包括擴(kuò)散算子502OPd、融合算子504OPf，以及通過(guò)高速網(wǎng)絡(luò)508而連接的一群服務(wù)器主機(jī)506V1。該服務(wù)器主機(jī)群集506可以包括服務(wù)器，例如通過(guò)諸如圖1的網(wǎng)絡(luò)102的網(wǎng)絡(luò)而互聯(lián)的服務(wù)器104和106。融合算子504和擴(kuò)散算子502是可以在諸如圖2的數(shù)據(jù)處理系統(tǒng)200的通用計(jì)算機(jī)上實(shí)現(xiàn)的軟件模塊。擴(kuò)散算子502可以將多路流連接的工作負(fù)荷加速到多個(gè)分布式主機(jī)上。融合算子504將分散的連接結(jié)果融為完整的相關(guān)結(jié)果，例如圖3的相關(guān)結(jié)果350。擴(kuò)散算子502將來(lái)自于輸入流512的輸入元組510動(dòng)態(tài)路由至不同的服務(wù)器主機(jī)506用于連接處理，而融合算子504可以將分散的連接結(jié)果508融為完整的查詢應(yīng)答514。與連接算子不同，擴(kuò)散算子502進(jìn)行簡(jiǎn)單的元組路由計(jì)算，并且要求對(duì)輸入流512的小緩沖。擴(kuò)散算子502的處理時(shí)間常常比連接計(jì)算的處理時(shí)間少幾個(gè)以上的數(shù)量級(jí)。因而，擴(kuò)散算子502不是可擴(kuò)縮的分布式流處理系統(tǒng)500的瓶頸。對(duì)分布式連接執(zhí)行的一個(gè)基本要求是保持連接結(jié)果的正確性。元組路由方案不應(yīng)當(dāng)遺漏任何的連接結(jié)果或產(chǎn)生重復(fù)的連接結(jié)果。然而，強(qiáng)制(brute-force)元組路由方案可能違犯多流相關(guān)約束或相關(guān)約束。在先前的例子中，在圖4的多路流連接算子400中，元組s3<8>410需要首先與S4[4，7]412中的元組連接。通過(guò)分布式執(zhí)行方案可以將圖4的S4[4，7]412中的元組分散到諸如服務(wù)器主機(jī)506的不同主機(jī)上。假設(shè)元組s4<4>；s4<5>；s4<6>位于v1506上，并且元組s4<5>；s4<6>；s4<7>位于v2506上。如果將s3<8>發(fā)送至v1506或v2506，則遺漏了一些連接結(jié)果。如果將s3<8>發(fā)送至v1506和v2506二者，則可能產(chǎn)生重復(fù)的連接結(jié)果。為了保持滑動(dòng)窗連接語(yǔ)義，必須仔細(xì)設(shè)計(jì)元組路由方案以滿足相關(guān)約束定義1給定n路連接算子任何(s1，s2，...，sn)，si∈Si，1≤k≤n，其必須一次且僅一次由出現(xiàn)于相同主機(jī)上的Ji相關(guān)。在示出分布式多路連接執(zhí)行需要復(fù)制元組或路由中間連接結(jié)果以符合相關(guān)約束的證明中，令來(lái)自于n個(gè)輸入流的元組表示需要被相關(guān)的輸入流。給定相反的假設(shè)，即既未將元組復(fù)制于多個(gè)主機(jī)上，也未將中間結(jié)果路由經(jīng)過(guò)不同的主機(jī)?？紤]每?jī)蓚€(gè)連續(xù)的元組si<ti>和sj<tj>，0≤tj-ti≤Wi，如果i≠j，那么由于sj<tj>需要相關(guān)si<ti>，因此需要將sj<tj>路由至與si<ti>的相同的主機(jī)上。如果i＝j(luò)，則由于sj<tj>需要和與si<ti>連接的那些元組連接，因此也需要將sj<tj>路由至與si<ti>的相同的主機(jī)上。然后，將n個(gè)輸入流的所有相關(guān)的元組都路由至相同的主機(jī)，這就成為集中式連接執(zhí)行。因而，分布式連接執(zhí)行需要在不同的主機(jī)之間復(fù)制元組或路由中間結(jié)果，這被稱為擴(kuò)散開(kāi)銷。這些開(kāi)銷元組和路由操作可能消耗處理器時(shí)間、存儲(chǔ)空間以及系統(tǒng)中的網(wǎng)絡(luò)帶寬。因此，擴(kuò)散算子的目標(biāo)是在相關(guān)約束下實(shí)現(xiàn)最優(yōu)的分布式連接執(zhí)行。相關(guān)約束在形式上定義如下定義2給定連接算子和m個(gè)主機(jī){v1，...，vm}，將每個(gè)元組最優(yōu)地路由至一個(gè)或多個(gè)主機(jī)，以便(1)滿足相關(guān)約束，(2)最優(yōu)地平衡不同主機(jī)的工作負(fù)荷，以及(3)最小化擴(kuò)散開(kāi)銷。圖6A-6B是依照說(shuō)明性實(shí)施例的相關(guān)感知元組路由方案的示圖。圖6A-6B表示用于多路流連接算子的可擴(kuò)縮處理的一組相關(guān)感知元組路由方案。圖6A-6B的方案允許單個(gè)連接算子利用多個(gè)主機(jī)602的資源，或者允許多個(gè)連接算子以細(xì)粒度共享多個(gè)主機(jī)602的資源。粒度指示工作負(fù)荷劃分的大小。較細(xì)粒度意味著可以將相關(guān)工作負(fù)荷分成可以分布于不同主機(jī)上的較小的片。主機(jī)可以是多個(gè)互聯(lián)的服務(wù)器，例如圖1的服務(wù)器104和106。任務(wù)是計(jì)算機(jī)系統(tǒng)承擔(dān)以實(shí)現(xiàn)預(yù)定目標(biāo)的過(guò)程。多路流相關(guān)工作負(fù)荷是計(jì)算機(jī)資源的總量，例如處理需求、存儲(chǔ)器，以及在多個(gè)輸入流上進(jìn)行相關(guān)處理所需要的帶寬。連續(xù)優(yōu)化過(guò)程是連續(xù)地調(diào)整計(jì)算機(jī)系統(tǒng)的操作，以在動(dòng)態(tài)計(jì)算環(huán)境中實(shí)現(xiàn)最優(yōu)性能，從而解決連續(xù)優(yōu)化問(wèn)題。諸如相關(guān)處理的連接處理包括計(jì)算機(jī)系統(tǒng)需要承擔(dān)以便將一個(gè)流的元組與所有其它流的元組相關(guān)的一組操作。在高級(jí)別，該組相關(guān)感知元組路由方案以二維完成分布式多路流連接執(zhí)行(1)流劃分將輸入流分成被路由至不同主機(jī)602的分段；以及(2)算子劃分將多路連接算子分成利用不同主機(jī)602上處理的相關(guān)來(lái)計(jì)算的分算子。圖6A是單獨(dú)進(jìn)行流劃分的稱為對(duì)準(zhǔn)元組路由(ATR)的簡(jiǎn)單相關(guān)感知元組路由方案。圖6A描述了使用四個(gè)主機(jī)602執(zhí)行三路連接算子的對(duì)準(zhǔn)元組路由方案600的分布快照(distributionsnapshot)。為了符合相關(guān)約束，對(duì)準(zhǔn)元組路由方案600調(diào)整所有輸入流的元組路由，并且復(fù)制流劃分的邊界周圍的元組子集。對(duì)準(zhǔn)元組路由方案600是不經(jīng)過(guò)不同主機(jī)602路由中間結(jié)果的單跳(one-hop)路由過(guò)程。每個(gè)主機(jī)602僅僅只是在所有輸入元組的子集上進(jìn)行整個(gè)連接計(jì)算。例如，在圖6A中，主機(jī)602v1，v2，v3和v4分別在于時(shí)間[t，t+T]、[t+T，t+2T]、[t+2T，t+3T]和[t+3T，t+4T]內(nèi)到達(dá)的元組上執(zhí)行連接計(jì)算。然而，如果多路連接算子將很多輸入流與大的滑動(dòng)窗相關(guān)，則對(duì)準(zhǔn)元組路由的分布粒度可能會(huì)太粗糙，導(dǎo)致低效率的資源利用和大的復(fù)制開(kāi)銷。稱為約束元組路由(CTR)方案604的圖6B的第二元組路由方案探究流劃分和算子劃分二者。不同于對(duì)準(zhǔn)元組路由方案600，約束元組路由方案604通過(guò)允許經(jīng)過(guò)不同的主機(jī)602路由中間連接結(jié)果606，可以分離多個(gè)主機(jī)602中的多路連接計(jì)算的執(zhí)行。因此，約束元組路由方案604可以減少?gòu)?fù)制開(kāi)銷，因?yàn)閷?duì)準(zhǔn)元組路由系統(tǒng)不必保證在第一路由跳轉(zhuǎn)中所有相關(guān)的元組都位于相同的主機(jī)上。例如，在圖6B中，約束元組路由方案604首先連接主機(jī)v1上的元組S1和S2，并且然后將中間結(jié)果路由至主機(jī)v2以連接第三個(gè)流S3。相比于對(duì)準(zhǔn)元組路由方案600，約束元組路由方案604具有路由中間結(jié)果606的額外開(kāi)銷，但卻可以以較細(xì)粒度實(shí)現(xiàn)較好的負(fù)荷分布。在圖6B中，約束元組路由方案604通過(guò)允許將一個(gè)多路連接計(jì)算分成可以在不同主機(jī)上執(zhí)行的多個(gè)兩路連接來(lái)進(jìn)行算子分割。下面在圖11和圖14中進(jìn)一步解釋了對(duì)準(zhǔn)元組路由方案、方法和算法的細(xì)節(jié)。下面在圖12和圖15中進(jìn)一步解釋了約束元組路由方案、方法和算法的細(xì)節(jié)。圖7是依照說(shuō)明性實(shí)施例的對(duì)準(zhǔn)元組路由模型的示圖。圖7給出了諸如圖6A的對(duì)準(zhǔn)元組路由方案600的對(duì)準(zhǔn)元組路由方案的設(shè)計(jì)細(xì)節(jié)。對(duì)準(zhǔn)元組路由模型700同時(shí)相互配合地路由連接算子的輸入流的元組。對(duì)準(zhǔn)元組路由模型700使用流劃分實(shí)現(xiàn)分布式流連接執(zhí)行。對(duì)準(zhǔn)元組路由模型700包括主流702、從流704和從流706。V1指示主機(jī)，W1指示滑動(dòng)窗大小，并且T指示分段長(zhǎng)度。主流702是具有最高數(shù)據(jù)流速率的流。當(dāng)主流702的速率變的慢于從流之一的時(shí)候，對(duì)準(zhǔn)元組路由采用轉(zhuǎn)換階段(transitionphase)來(lái)改變主流702。對(duì)準(zhǔn)元組路由是一種用于解決連續(xù)優(yōu)化問(wèn)題的方案。對(duì)準(zhǔn)元組路由動(dòng)態(tài)地選擇一個(gè)輸入流作為主流，并且根據(jù)時(shí)間戳將所有其它輸入流的元組與主流對(duì)準(zhǔn)。相比之下，為了符合相關(guān)約束，基于對(duì)主流的劃分將其它的流劃分成重疊的分段，其被稱為從流704和706。通常，對(duì)準(zhǔn)元組路由連續(xù)地將所有輸入流分成不同的分段，每個(gè)分段含有在特定時(shí)間周期內(nèi)到達(dá)的元組?；谙嚓P(guān)約束將從流704和706的分段與主流702的分段對(duì)準(zhǔn)。將屬于已對(duì)準(zhǔn)的分段的元組路由至相同的主機(jī)用于產(chǎn)生連接結(jié)果。圖8是依照說(shuō)明性實(shí)施例的約束元組路由模型的示圖。圖8給出了包括諸如圖6B的約束元組路由方案604的約束元組路由方案的設(shè)計(jì)細(xì)節(jié)的約束元組路由(CTR)模型800。約束元組路由模型800是一種獨(dú)立地路由不同流的元組的方案。對(duì)于流1802、流2804和流3806的每個(gè)輸入流來(lái)說(shuō)，約束元組路由模型800基于所有先前的相關(guān)元組的布局進(jìn)行路由判定。約束元組路由是另一種用于解決連續(xù)優(yōu)化問(wèn)題的方案。約束元組路由模型800分別路由不同輸入流的元組，而不是像對(duì)準(zhǔn)元組路由方法那樣同時(shí)路由來(lái)自不同輸入的元組。圖8示出了用于三路流連接算子的約束元組路由方案。對(duì)于具有探測(cè)序列的任何元組si∈Si，1≤i≤n，約束元組路由基于先前的相關(guān)元組的布局為元組si以及所有的中間連接結(jié)果1≤k≤n-1進(jìn)行路由判定。為了避免要求所有的連接算子進(jìn)行路由計(jì)算，將約束元組路由實(shí)現(xiàn)為計(jì)算si的整個(gè)路由路徑從而與其它n-1個(gè)流連接的源路由過(guò)程。每個(gè)元組攜帶其路由路徑以表示其需要訪問(wèn)來(lái)產(chǎn)生連接結(jié)果的主機(jī)的集合。為了減少路由計(jì)算開(kāi)銷，約束元組路由將每個(gè)輸入流上的元組分組成段，并且將每個(gè)分段作為整體路由至不同的主機(jī)。因而，約束元組路由僅需要計(jì)算每個(gè)分段的路由而不是每個(gè)元組的路由。分段長(zhǎng)度表示負(fù)荷平衡粒度與路由開(kāi)銷之間的折衷。約束元組路由還維護(hù)記錄先前所路由的分段的布局的路由表。如果分段不需要基于多路流連接語(yǔ)義而與任何未來(lái)的分段相關(guān)，則從路由表刪除分段信息。圖9是依照說(shuō)明性實(shí)施例的集中式連接方法的流程圖。圖9的方法可以在諸如圖4的多路流連接算子400的多路流連接算子中實(shí)現(xiàn)。通過(guò)接收用于所連接的流的元組開(kāi)始過(guò)程(步驟902)。例如，步驟902的原始數(shù)據(jù)流可以由輸入流緩沖器接收。步驟902的原始流可以是諸如圖4的流1402、流2404、流3406和流4408的流。接下來(lái)，該過(guò)程選擇一個(gè)流以基于時(shí)間戳處理(步驟904)。例如，根據(jù)當(dāng)前所緩沖的元組的時(shí)間戳，該流是下一元組si。接下來(lái)，該過(guò)程根據(jù)所選擇的流的時(shí)間戳標(biāo)記所有其它流中的過(guò)期元組(步驟906)。該過(guò)程接下來(lái)從所有的流移除已被所有其它的流處理并且被標(biāo)記為過(guò)期的過(guò)期元組(步驟908)。步驟906和908用于查找步驟904中所選擇的流的連接順序。接下來(lái)，該過(guò)程基于連接順序產(chǎn)生連接結(jié)果(步驟910)。該過(guò)程然后確定流連接是否是完整的(步驟912)。如果流連接不是完整的，則該過(guò)程接收用于所連接的流的元組(步驟902)。在步驟910中，該過(guò)程還可以更新指針pi以指出步驟904中將要選擇的、在輸入流緩沖器Qi中的下一個(gè)流或元組。如所示，重復(fù)該過(guò)程以繼續(xù)處理所有的流。如果在步驟912的確定中流連接是完整的，則該過(guò)程結(jié)束。圖10是依照說(shuō)明性實(shí)施例的多路流連接方法的流程圖。圖10的方法可以在諸如圖5的可擴(kuò)縮的分布式流處理系統(tǒng)500的多路流連接系統(tǒng)中實(shí)現(xiàn)。通過(guò)接收用于所連接的流的元組開(kāi)始過(guò)程(步驟1002)。該過(guò)程然后在擴(kuò)散算子處為每個(gè)元組計(jì)算路由路徑(步驟1004)。接下來(lái)，該過(guò)程基于由擴(kuò)散算子計(jì)算的路由路徑將元組路由至一個(gè)或多個(gè)主機(jī)(步驟1006)。接下來(lái)，該過(guò)程在不同的主機(jī)并行地進(jìn)行集中式連接(步驟1008)。主機(jī)可以是諸如圖5的服務(wù)器主機(jī)506的服務(wù)器主機(jī)。集中式連接可以包括圖9的方法和步驟。接下來(lái)，該過(guò)程在融合算子處基于連接標(biāo)識(shí)聚集連接結(jié)果(步驟1010)。融合算子可以是諸如圖5的融合算子504的算子。該過(guò)程然后確定流連接是否是完整的(步驟1012)。如果流連接是完整的，則該過(guò)程終止。如果流連接在步驟1012不是完整的，則該過(guò)程接收用于所連接的流的元組(步驟1002)。當(dāng)已經(jīng)處理了所有輸入元組的時(shí)候，就已完全產(chǎn)生了完整的連接結(jié)果。圖11是依照說(shuō)明性實(shí)施例的對(duì)準(zhǔn)元組路由方法的流程圖?？梢允褂弥T如圖7的對(duì)準(zhǔn)元組路由模型700的對(duì)準(zhǔn)元組路由模型實(shí)現(xiàn)圖11中所描述的步驟。連續(xù)地重復(fù)圖11的過(guò)程來(lái)處理輸入元組。通過(guò)接收元組Si開(kāi)始過(guò)程(步驟1102)。接下來(lái)，該過(guò)程確定元組是否屬于主流SA(步驟1104)。步驟1104的確定基于元組的流標(biāo)識(shí)以及主流的標(biāo)識(shí)。如果元組屬于主流，則該過(guò)程確定是否開(kāi)始新的分段(步驟1106)。步驟1106的確定基于元組的時(shí)間戳以及當(dāng)前分段的開(kāi)始/結(jié)束時(shí)間。如果確定開(kāi)始新的分段，則該過(guò)程存儲(chǔ)最后選擇的主機(jī)vblast(步驟1110)。接下來(lái)，該過(guò)程選擇新的主機(jī)Vb(步驟1112)。該過(guò)程然后將Si發(fā)送至新選擇的主機(jī)Vb(步驟1114)。此后，該過(guò)程將更新的分段開(kāi)始時(shí)間更新為t＝t+T(步驟1116)。接下來(lái)，該過(guò)程確定流連接是否是完整的(步驟1109)。返回步驟1106，如果該過(guò)程確定不開(kāi)始新的分段，則該過(guò)程將Si發(fā)送至為當(dāng)前分段選擇的主機(jī)(步驟1108)。接下來(lái)，該過(guò)程確定流連接是否是完整的(步驟1109)。如果該過(guò)程確定流連接是完整的，則該過(guò)程終止。如果在步驟1109中該過(guò)程確定流連接不是完整的，則該過(guò)程接收元組Si(步驟1102)。返回步驟1104，如果在步驟1104中該過(guò)程確定元組并不屬于主流SA，則該過(guò)程確定是否開(kāi)始新的分段(步驟1118)。步驟1118的確定基于元組的時(shí)間戳以及當(dāng)前分段的開(kāi)始/結(jié)束時(shí)間。如果該過(guò)程確定不開(kāi)始新的分段，則該過(guò)程首先將Si發(fā)送至為當(dāng)前分段選擇的主機(jī)Vb(步驟1120)。接下來(lái)，該過(guò)程確定Si是否在t+WA之前到達(dá)(步驟1122)。如果Si確實(shí)是在t+WA之前到達(dá)的，則該過(guò)程將Si發(fā)送至為最后的分段選擇的主機(jī)vblast(步驟1124)。接下來(lái)，該過(guò)程確定流連接是否是完整的(步驟1109)。如果在步驟1122中Si不是在t+WA之前到達(dá)的，則該過(guò)程確定流連接是否是完整的(步驟1109)。如果在步驟1118中該過(guò)程確定開(kāi)始新的分段，則該過(guò)程將Si[t+T-Wi，t+T]沖刷(flush)至Vb(步驟1126)。接下來(lái)，該過(guò)程將Si發(fā)送至Vb和Vblast(步驟1128)。接下來(lái)，該過(guò)程將分段開(kāi)始時(shí)間更新為t＝t+T(步驟1130)。接下來(lái)，該過(guò)程確定流連接是否是完整的(步驟1109)。圖14的偽代碼中進(jìn)一步解釋了圖11的過(guò)程。圖12A-12B是依照說(shuō)明性實(shí)施例的約束元組路由方法的流程圖?？梢允褂弥T如圖8的約束元組路由模型800的約束元組路由模型實(shí)現(xiàn)圖12A-12B。通過(guò)接收元組Si開(kāi)始過(guò)程(步驟1202)。接下來(lái)，該過(guò)程確定是否開(kāi)始新的分段(步驟1204)。如果該過(guò)程確定開(kāi)始新的分段，則該過(guò)程檢索探測(cè)序列(步驟1206)。接下來(lái)，該過(guò)程以v0＝初始化第一路由跳轉(zhuǎn)(步驟1208)。接下來(lái)，該過(guò)程設(shè)置k＝1(步驟1210)。接下來(lái)，該過(guò)程確定是否k＜n(步驟1214)。如果k＞n，則該過(guò)程更新路由表路徑(步驟1216)。接下來(lái)，該過(guò)程將分段開(kāi)始時(shí)間更新為t＝t+T(步驟1218)。接下來(lái)，該過(guò)程將新的分段的位置信息添加到路由表中(步驟1220)。接下來(lái)，該過(guò)程確定流連接是否是完整的(步驟1221)。如果流連接是完整的，則該過(guò)程終止。如果在步驟1221中流連接不是完整的，則該過(guò)程接收元組Si(步驟1202)。如果在步驟1214中k＜n，則該過(guò)程檢索Sik[Wik]中分段的位置(步驟1222)。接下來(lái)，該過(guò)程移除由前一跳Vk-1所覆蓋的那些分段(步驟1224)。接下來(lái)，該過(guò)程為Sik[Wik]計(jì)算最小的集合覆蓋(步驟1226)。接下來(lái)，該過(guò)程為避免重復(fù)而注釋路由路徑(步驟1228)。接下來(lái)，該過(guò)程將Vk附加到路由路徑P(步驟1230)。接下來(lái)，該過(guò)程設(shè)置k＝k+1(步驟1232)。該過(guò)程然后返回確定是否k＜n(步驟1214)。返回步驟1204，如果在步驟1204中該過(guò)程確定不開(kāi)始新的分段，則該過(guò)程檢查路由表以獲得Si的當(dāng)前分段的路由路徑(步驟1234)。接下來(lái)，該過(guò)程以路由路徑注釋Si(步驟1236)。接下來(lái)，該過(guò)程將Si的副本發(fā)送至第一路由跳轉(zhuǎn)中的每個(gè)主機(jī)(步驟1238)。接下來(lái)，該過(guò)程確定流連接是否是完整的(步驟1239)。如果流連接是完整的，則該過(guò)程終止。如果在步驟1239中流連接不是完整的，則該過(guò)程接收元組Si(步驟1202)。圖15的偽代碼中進(jìn)一步解釋了圖12A-12B的過(guò)程。圖13是依照說(shuō)明性實(shí)施例的多路流連接算法。多路流連接算法1300是用于在單個(gè)主機(jī)上處理多路流查詢的集中式算法。多路流連接算法1300可以通過(guò)諸如圖4的多路流連接算子400的算子實(shí)現(xiàn)。在諸如圖9的步驟的過(guò)程中可以實(shí)現(xiàn)多路流連接算子的基本步驟。系統(tǒng)對(duì)每一個(gè)輸入流Si維持一個(gè)隊(duì)列Qi，1≤i≤n，用于緩沖輸入元組。Qi可以是輸入緩沖器。當(dāng)新的元組si∈Si到達(dá)的時(shí)候，如果本地主機(jī)上的存儲(chǔ)空間沒(méi)有滿，則將新的元組插入相應(yīng)的隊(duì)列Qi。否則，系統(tǒng)要么舍棄新近到達(dá)的元組，要么用新近到達(dá)的元組替換緩沖器中舊的元組。以時(shí)間順序處理所有隊(duì)列中的元組。例如，如果si·t＜sj·t，那么首先處理si。每個(gè)隊(duì)列Qi都保持指針指向由連接算子當(dāng)前處理的元組的緩沖器中的元組。如果當(dāng)前正在處理的元組是si，則連接算子將si與所有其它的流Sj[Wj]，1≤j≤n，j≠i進(jìn)行比較，以產(chǎn)生包括si的所有的連接結(jié)果。第j個(gè)流的滑動(dòng)窗Sj[Wj]包括在時(shí)間si·t-Wk與si·t之間到達(dá)Sj的所有元組sj。兩個(gè)元組之間的每個(gè)連接判定評(píng)估稱為一個(gè)連接探測(cè)?；诓煌牧髦g的連接選擇性動(dòng)態(tài)地判定si∈Si的連接順序[11，1，10]。對(duì)si的連接處理從其自身開(kāi)始，并且選擇與Si具有最小選擇性的流Sj作為下一跳。然后，利用與Sj具有最少連接選擇性的下一個(gè)所選擇的流Sk連接所有的中間結(jié)果例如，在圖4中，當(dāng)前正在處理的元組是在時(shí)間8到達(dá)流S3的s3<8>410。S3的探測(cè)序列是S3→S4[W4]→S1[W1]→S2[W2]。因而，基于S3與S4之間的連接判定θ3，4首先將s2與S4[W4]進(jìn)行比較。將中間結(jié)果與S1[W1]進(jìn)行比較。最后，將與S2[W2]進(jìn)行比較。圖14是依照說(shuō)明性實(shí)施例的對(duì)準(zhǔn)元組路由算法。對(duì)準(zhǔn)元組路由算法1400有差別地處理連接算子的輸入流，并且根據(jù)一個(gè)選擇的主流來(lái)對(duì)準(zhǔn)所有流的元組路由操作。對(duì)準(zhǔn)元組路由算法1400可以在諸如圖7的其中S1是主流的、用于三路流連接算子的對(duì)準(zhǔn)元組路由模型700的路由模型中實(shí)現(xiàn)。對(duì)準(zhǔn)元組路由算法的基本步驟可以在諸如圖11的步驟的過(guò)程中實(shí)現(xiàn)。對(duì)準(zhǔn)元組路由算法1400動(dòng)態(tài)地選擇一個(gè)輸入流作為主流，表示為SA，并且根據(jù)時(shí)間戳將所有其它輸入流的元組與主流對(duì)準(zhǔn)。擴(kuò)散算子將主流SA切成或劃分成不相交的分段。不相交的分段是彼此不具有共同元組的分段。將一個(gè)分段中所有的元組路由至相同的主機(jī)，而基于諸如最小負(fù)荷最先(LLF)的特定的調(diào)度策略將不同的分段路由至不同的主機(jī)。相比之下，為了符合相關(guān)約束，將其它n-1個(gè)流基于對(duì)主流的劃分而劃分成重疊的分段，其被稱為從流。重疊的分段是彼此具有至少一個(gè)共同元組的分段。通常，對(duì)準(zhǔn)元組路由連續(xù)地將所有輸入流分成不同的分段，每個(gè)分段含有在特定的時(shí)間周期內(nèi)到達(dá)的元組。Si[t，t+T]表示包括在時(shí)間[t，t+T]內(nèi)到達(dá)Si的所有元組的Si的分段，其中t稱為分段的開(kāi)始時(shí)間，并且T稱為分段長(zhǎng)度?；谙嚓P(guān)約束將從流的分段與主流的分段對(duì)準(zhǔn)。將屬于已對(duì)準(zhǔn)的分段的元組路由至相同的主機(jī)用于產(chǎn)生連接結(jié)果。例如，圖7示出了用于主流S1和兩個(gè)從流S2、S3的對(duì)準(zhǔn)元組路由算法的路由結(jié)果。為了便于說(shuō)明，假定ri＝1元組/秒，i＝1，2，3，并且分段長(zhǎng)度T＝5，并且三個(gè)滑動(dòng)窗的大小W1＝2，W2＝2和W3＝3。擴(kuò)散算子將主流S1分成被分別路由至主機(jī)v1、v2和v3的不相交的分段。將從流S2劃分成重疊的分段S2[1，7]到v1、S2[4，12]到v2，以及S2[9，17]到v3。將從流S3也劃分成重疊的分段S3[1，7]到v1、S3[3，14]到v2，以及S3[8，17]到v3。圖14描述了用于擴(kuò)散連接算子的負(fù)荷的具體的對(duì)準(zhǔn)元組路由算法1400步驟。圖14示出了用于使用m個(gè)主機(jī){v1，...，vm}處理J的對(duì)準(zhǔn)元組路由算法1400的偽代碼。區(qū)段1402描述了用于主流SA的路由步驟。當(dāng)擴(kuò)散算子接收到來(lái)自于SA的元組sA的時(shí)候，其首先根據(jù)sA的時(shí)間戳sA·t檢查sA是否屬于當(dāng)前分段SA[t，t+T]。如果t≤sA·t＜t+T，則sA屬于當(dāng)前分段，并且將其路由至在分段的開(kāi)始時(shí)間t所選擇的主機(jī)vi。如果sA·t≥t+T，則對(duì)準(zhǔn)元組路由開(kāi)始新的分段，并且選擇新的主機(jī)作為該新的分段的路由目的地。對(duì)準(zhǔn)元組路由遵循最小負(fù)荷最先(LLF)策略來(lái)為每個(gè)分段選擇主機(jī)。因?yàn)樵诜植际竭B接處理系統(tǒng)中考慮了諸如處理器、存儲(chǔ)器和網(wǎng)絡(luò)帶寬的不同資源，所以組合度量wi表示主機(jī)vi的負(fù)荷條件。對(duì)于每種資源類型Ri，對(duì)準(zhǔn)元組路由算法1400定義負(fù)荷指示器ΦRi=URiCRi,]]>其中URi和CRi分別表示主機(jī)vi上的資源Ri的使用和容量。將負(fù)荷值wi定義如下wi＝ω1Φcpu+ω2·Φmemory+ω3·Φbandwith其中Σi=13ωi=1,]]>0≤ωi≤1表示可以由系統(tǒng)動(dòng)態(tài)配置的不同資源類型的重要性?；趯?duì)主流的劃分，對(duì)準(zhǔn)元組路由將所有的從流分成重疊的分段用于保持相關(guān)約束。對(duì)于從流Si，i≠A，如果對(duì)準(zhǔn)元組路由將分段SA[t，t+T]路由至主機(jī)vk，則對(duì)準(zhǔn)元組路由將分段Si[t-Wi，t+T+WA]路由至相同的主機(jī)vk，以便符合相關(guān)約束。類似地，如果對(duì)準(zhǔn)元組路由將主流的下一分段SA[t+T，t+2T]發(fā)送至主機(jī)vj，則對(duì)準(zhǔn)元組路由需要將從流的分段Si[t+T-Wi，t+2T+WA]，1≤i≤n，i≠A發(fā)送至相同的主機(jī)vj。因而，將在時(shí)間周期[t+T-Wi，t+T+WA]之間到達(dá)Si的元組發(fā)送至vi和vj二者。重復(fù)元組的數(shù)目是ri·(WA+Wi)。對(duì)準(zhǔn)元組路由算法1400假設(shè)擴(kuò)散算子具有緩沖容量以高速緩沖Si[t-Wi，t]，1≤i≤n，i≠A中的元組。如果該假設(shè)不成立，則將對(duì)每個(gè)分段SA[t，t+T]的主機(jī)選擇移位至較早的時(shí)間t-Wj，其中Wj表示所有從流中最大的滑動(dòng)窗。例如，在圖7中，在時(shí)間t＝3選擇對(duì)第二分段的布局。然后，對(duì)準(zhǔn)元組路由將S2[4，7]和S3[3，7]中的元組路由至主機(jī)v1和v2二者。通過(guò)示出對(duì)準(zhǔn)元組路由與原始連接算子產(chǎn)生相同的連接結(jié)果集合證明了對(duì)準(zhǔn)元組路由算法1400的正確性。C(J)和C′(J)分別表示由原始連接算子以及使用對(duì)準(zhǔn)元組路由算法的分布式處理方案所產(chǎn)生的連接結(jié)果的集合。通過(guò)示出C(J)＝C′(J)證明了對(duì)準(zhǔn)元組路由算法的正確性。定理A給定多路流連接算子令C(J)和C′(J)分別表示由原始連接算子以及由使用對(duì)準(zhǔn)元組路由算法的分布式處理方案所產(chǎn)生的連接結(jié)果的集合。由此，C(J)＝C′(J)。證明概略通過(guò)示出si，1≤i≤n證明C(J)C′(J)，如果那么這是通過(guò)示出如果對(duì)準(zhǔn)元組路由將si發(fā)送至服務(wù)器vi，則對(duì)準(zhǔn)元組路由也將sik∈Sik[Wik]，1≤k≤n-1發(fā)送至vi來(lái)證明的。首先考慮si屬于主流的情況。假設(shè)將si∈Si[t，t+T]發(fā)送至主機(jī)vi。對(duì)準(zhǔn)元組路由算法也將Sik[t-Wik，t+T+Wi]發(fā)送至vi。另一方面，滑動(dòng)窗Sik[Wik]包括Sik[si·t-Wik，si·t]中所有的元組。因?yàn)閟i·t∈[t，t+T]，所以Sik[si·t-Wik，Sik[si·t-Wik，si·t]Sik[t-Wik，t+T+Wi]也是正確的。因而，對(duì)準(zhǔn)元組路由也將Sik[Wik]，1≤k≤n-1中所有的元組發(fā)送至主機(jī)vi。當(dāng)考慮si屬于從流的時(shí)候，證明sA∈SA[WA]，其中SA表示主流，對(duì)準(zhǔn)元組路由在sA被發(fā)送的機(jī)器上發(fā)送si的副本。假設(shè)sA屬于分段SA[t，t+T]，并且被發(fā)送至vi。對(duì)準(zhǔn)元組路由也將分段Si[t-Wi，t+T+WA]發(fā)送至vi。通過(guò)證明si∈Si[t-Wi，t+T+WA]，則因?yàn)閟A屬于分段SA[t，t+T]，所以得到t≤sA·t＜t+T。因而，結(jié)果是si·t≥sA·t≥t以及si·t＜sA·t+WA＜t+T+WA。因而，結(jié)果是t≤si·t＜t+T+WA。從而si屬于分段Si[t-Wi，t+T+WA]，其也被發(fā)送至vi。通過(guò)證明sj∈Sj[Wj]，其中Sj表示從流，對(duì)準(zhǔn)元組路由將si的副本和si發(fā)送至相同的主機(jī)。假設(shè)si屬于與被路由至vi的主流分段SA[t，t+T]對(duì)準(zhǔn)的分段Si[t，t+T]。因而，對(duì)準(zhǔn)元組路由也將Sj[t-Wj，t+T+WA]發(fā)送至vi。接下來(lái)，通過(guò)證明Sj[Wj]＝Sj[si·t-Wj，si·t]Sj[t-Wj，t+T+WA]，則因?yàn)閠≤si·t＜t+T，得出t-Wj≤si·t-Wj以及si·t＜t+T+WA。因而，Sj[Wj]Sj[t-Wj，t+T+WA]也被發(fā)送至vi。得出結(jié)論，即si，si和Sik[Wik]，1≤k≤n-1出現(xiàn)在相同的主機(jī)上。因而，C(J)C′(J)。接下來(lái)證明C′(J)C(J)。首先，由擴(kuò)散連接算子所產(chǎn)生的C′(J)中的任何連接結(jié)果都遵循多路流連接語(yǔ)義，這也應(yīng)當(dāng)出現(xiàn)在C(J)中。其次，由于主流上的任何元組sA∈SA不會(huì)出現(xiàn)在兩個(gè)不同的主機(jī)上，所以對(duì)準(zhǔn)元組路由并不產(chǎn)生重復(fù)的連接結(jié)果。因而，C′(J)C(J)。結(jié)合C(J)C′(J)和C′(J)C(J)，得到結(jié)果C(J)＝C′(J)。□還可以分析對(duì)準(zhǔn)元組路由算法的開(kāi)銷。相比于原始輸入流，由于從流的部分重復(fù)，對(duì)準(zhǔn)元組路由將更多的元組推入了系統(tǒng)中。將對(duì)準(zhǔn)元組路由算法的開(kāi)銷定義為每單位時(shí)間由對(duì)準(zhǔn)元組路由產(chǎn)生的額外元組的數(shù)目。分布式流處理系統(tǒng)需要消耗一部分網(wǎng)絡(luò)帶寬、CPU時(shí)間以及存儲(chǔ)空間，用于傳輸、處理以及緩沖那些開(kāi)銷數(shù)據(jù)。定理B給定多路流連接算子令SA表示當(dāng)前的主流。令T表示分段長(zhǎng)度。令ri，1≤i≤n表示流Si的平均速率。令OATR表示對(duì)準(zhǔn)元組路由算法的平均開(kāi)銷。由此，OATR=Σi=1,i≠AnWi+WT.]]>證明概略對(duì)于在時(shí)間周期T上的每個(gè)分段SA[t，t+T]，以及每個(gè)從流Si，1≤i≤n，i≠A，對(duì)準(zhǔn)元組路由引入比原始從流Si更多的元組ri·(Wi+WA)。因而，對(duì)于每個(gè)分段長(zhǎng)度T，由對(duì)準(zhǔn)元組路由算法產(chǎn)生的額外元組的總數(shù)是。因而，每單位時(shí)間由對(duì)準(zhǔn)元組路由算法產(chǎn)生的額外元組的平均數(shù)目是以上分析揭示了對(duì)準(zhǔn)元組路由算法的有趣的特性。對(duì)準(zhǔn)元組路由算法的開(kāi)銷獨(dú)立于用于處理連接算子的主機(jī)數(shù)。該特性使得對(duì)準(zhǔn)元組路由特別適合于大規(guī)模流處理群集，其中可以從大量主機(jī)搜集可用資源而沒(méi)有過(guò)多的負(fù)荷擴(kuò)散開(kāi)銷。各種自適應(yīng)方案可以用于優(yōu)化動(dòng)態(tài)流環(huán)境中對(duì)準(zhǔn)元組路由算法的性能。根據(jù)定理B，觀察到對(duì)準(zhǔn)元組路由算法的開(kāi)銷與分段長(zhǎng)度成反比。由于在較長(zhǎng)的時(shí)間周期上分?jǐn)偭酥丿B分段的成本，因此較大的分段長(zhǎng)度引入較少的負(fù)荷擴(kuò)散開(kāi)銷。然而，由于大分段中的大量元組被強(qiáng)制到相同的主機(jī)，因此大的分段長(zhǎng)度限制了負(fù)荷平衡粒度。因此，對(duì)準(zhǔn)元組路由自適應(yīng)地調(diào)整或觸發(fā)分段長(zhǎng)度T的分段自適應(yīng)，以便在動(dòng)態(tài)流環(huán)境中維持最優(yōu)的性能。對(duì)準(zhǔn)元組路由采用基于采樣的仿形(profiling)過(guò)程來(lái)找到當(dāng)系統(tǒng)條件改變時(shí)的最優(yōu)分段長(zhǎng)度。令T表示當(dāng)前的分段長(zhǎng)度，并且ΔT表示自適應(yīng)步長(zhǎng)值。自適應(yīng)過(guò)程測(cè)試T+ΔT和T-ΔT二者。如果T+ΔT的性能較好，則最優(yōu)分段長(zhǎng)度應(yīng)當(dāng)大于當(dāng)前的分段長(zhǎng)度。系統(tǒng)逐漸增加分段長(zhǎng)度，直到所測(cè)量的系統(tǒng)性能達(dá)到其峰值。否則，如果T-ΔT產(chǎn)生較好的性能，則系統(tǒng)逐漸降低分段長(zhǎng)度以搜索最優(yōu)值。對(duì)準(zhǔn)元組路由總是在一個(gè)分段的末尾改變分段長(zhǎng)度，以保證自適應(yīng)不違犯相關(guān)約束。對(duì)準(zhǔn)元組路由的開(kāi)銷僅與從流的速率有關(guān)，而獨(dú)立于主流的速率。在動(dòng)態(tài)流環(huán)境中，每個(gè)輸入流的速率可以隨時(shí)間動(dòng)態(tài)地改變。因此，對(duì)準(zhǔn)元組路由根據(jù)定理B動(dòng)態(tài)地選擇具有最小負(fù)荷擴(kuò)散開(kāi)銷的主流。主流應(yīng)當(dāng)總是具有最高速率的流。當(dāng)主流的速率變得慢于從流之一的時(shí)候，對(duì)準(zhǔn)元組路由采用轉(zhuǎn)換階段來(lái)改變主流。類似于分段自適應(yīng)，總是在一個(gè)分段的末尾觸發(fā)流角色交換以符合相關(guān)約束。圖15是依照說(shuō)明性實(shí)施例的約束元組路由算法。約束元組路由算法1500可以在諸如圖8的約束元組路由模型800的路由模型中實(shí)現(xiàn)。約束元組路由算法1500的基本步驟可以在諸如圖12A-B的步驟的過(guò)程中實(shí)現(xiàn)。約束元組路由1500在區(qū)段1502中為具有探測(cè)序列的任何元組si∈Si，1≤i≤n進(jìn)行路由判定，基于先前的相關(guān)元組的布局，約束元組路由為元組si以及所有的中間連接結(jié)果1≤k≤n-1進(jìn)行路由判定。為了避免要求所有的連接算子進(jìn)行路由計(jì)算，將約束元組路由作為計(jì)算si的整個(gè)路由路徑以便與其它n-1個(gè)流連接的源路由算法來(lái)實(shí)現(xiàn)。每個(gè)元組攜帶其路由路徑以表示其需要訪問(wèn)來(lái)產(chǎn)生連接結(jié)果的主機(jī)的集合。為了減少路由計(jì)算開(kāi)銷，約束元組路由將每個(gè)輸入流上的元組分組成段，并且將每個(gè)分段作為整體路由至不同的主機(jī)。因而，約束元組路由僅需要計(jì)算每個(gè)分段的路由而不是每個(gè)元組的路由。分段長(zhǎng)度表示負(fù)荷平衡粒度與路由開(kāi)銷之間的折衷。約束元組路由還維護(hù)記錄先前所路由的分段的布局的路由表。如果分段不需要基于多路流連接語(yǔ)義與任何未來(lái)的分段相關(guān)，則從路由表刪除該分段的信息。在區(qū)段1504中，約束元組路由為需要與滑動(dòng)窗Si1[Wi1]中的元組連接的分段ηi＝Si[t，t+T]進(jìn)行路由判定。約束元組路由首先得到Si1[Wi1]＝Si1[t-Wi1，t+T]中所有元組的位置。為最小化開(kāi)銷，約束元組路由選擇可以覆蓋所有的相關(guān)元組的最小主機(jī)集合V1{v1，...，vm}。將以上問(wèn)題用公式表達(dá)為將詳細(xì)描述的加權(quán)最小集合覆蓋問(wèn)題。在約束元組路由期間，連接順序用于將多路相關(guān)處理分成多個(gè)較小的算子。具體地，將n路連接算子劃分成(n-1)個(gè)2路連接算子每個(gè)2路連接算子都可以在不同的主機(jī)上執(zhí)行。在每跳查找相關(guān)分段的位置。在每跳計(jì)算覆蓋所有相關(guān)分段的最小主機(jī)集合。約束元組路由然后將ηi的第一路由跳轉(zhuǎn)設(shè)置為V1中的所有主機(jī)?？梢詫⒎侄桅莍＝Si[t，t+T]保存在V1中每個(gè)主機(jī)上的存儲(chǔ)緩沖器Qi中，直到根據(jù)連接語(yǔ)義不再需要其元組。約束元組路由還更新路由表以記錄分段ηi＝Si[t，t+T]位于V1中的一組主機(jī)上。例如，在圖8中，約束元組路由計(jì)算S1[9，10]的路由，其探測(cè)序列是s1→S2[W2]→S3[W3]。約束元組路由得到S2[W2]中所有相關(guān)元組的布局S2[1，2]在v1、v2上；S2[3，4]在v2、v3上；S3[5，6]在v1、v4上，等等。約束元組路由然后選擇可以覆蓋S2[W2]中所有元組的最小主機(jī)集合V1＝{v2，v4}。因此，約束元組路由將S1[9，10]的路由路徑上的第一跳設(shè)置為V1＝{v2，v4}。約束元組路由還在路由表中添加條目，指定將分段S1[9，10]置于主機(jī)V1＝{v2，v4}。接下來(lái)，約束元組路由需要將中間結(jié)果路由至覆蓋Si2[Wi2]中所有元組的主機(jī)。類似于第一步，約束元組路由首先獲取Si2[Wi2]中所有相關(guān)元組的位置。然而，為了最小化經(jīng)過(guò)不同主機(jī)傳輸中間結(jié)果的開(kāi)銷，對(duì)的路由判定應(yīng)當(dāng)考慮的當(dāng)前位置。給定第一路由跳轉(zhuǎn)V1＝{v1，...，vk}，約束元組路由首先消除Si2[Wi2]中已經(jīng)被V1中的主機(jī)覆蓋的那些元組。合理性在于當(dāng)前位于V1中的主機(jī)上的任何中間結(jié)果應(yīng)當(dāng)與Si2[Wi2]中局部可用的元組連接。然后，約束元組路由計(jì)算最小主機(jī)集合V2以覆蓋Si2[Wi2]中那些剩余的元組。然而，與原始元組不同，并不將中間結(jié)果緩沖于存儲(chǔ)隊(duì)列用于與其它元組連接。因而，約束元組路由并不需要將中間結(jié)果的布局記錄在路由表中。例如，在圖8中，第二路由跳轉(zhuǎn)是為當(dāng)前位于主機(jī)v2、v4的中間結(jié)果選擇一組主機(jī)。然后，由于S3[3，4]和S3[7，8]已經(jīng)被主機(jī)v2覆蓋，因此約束元組路由將其移除。接下來(lái)，基于剩余元組的位置，例如在{v3，v5}上的S3[1，2]、在{v5，v6}上的S3[5，6]、在{v6，v7}上的S3[9，10]，約束元組路由計(jì)算最小主機(jī)集合V2＝{v5，v6}作為分段S1[9，10]的第二路由跳轉(zhuǎn)。重復(fù)以上計(jì)算直到約束元組路由計(jì)算出中所有n-1個(gè)探測(cè)步驟的主機(jī)集合V1，...，Vn-1。然后，約束元組路由通過(guò)為分段ηi插入條目來(lái)更新路由表，其中分段ηi的位置是由V1所指定的主機(jī)集合。在區(qū)段1504中，約束元組路由算法1500以路由路徑V1→V2...→Vn-1注釋每個(gè)元組si∈Si[t，t+T]。圖14示出了用于使用m個(gè)主機(jī){v1，...，vm}處理連接算子的約束元組路由算法的偽代碼。另一算法可以用于諸如圖12A-B的過(guò)程的最優(yōu)主機(jī)集合選擇。最優(yōu)主機(jī)選擇算法的目的是為每個(gè)路由跳轉(zhuǎn)Vk，1≤k≤n-1選擇最佳主機(jī)集合。第k個(gè)路由跳轉(zhuǎn)的目標(biāo)是在χo＝si與Sik[Wik]中所有的元組之間產(chǎn)生所有的連接結(jié)果。假設(shè)滑動(dòng)窗Sik[Wik]包括表示為E＝{η1，..，ηe}的一組分段。從路由表檢索每個(gè)分段的布局信息。每個(gè)分段ηz，1≤z≤e分布在主機(jī)集合Uz{v1，...，vm}上。約束元組路由然后將分段布局信息轉(zhuǎn)換成主機(jī)覆蓋信息。例如，假設(shè)ηz分布在主機(jī)集合Uz上，Uz中的每個(gè)主機(jī)覆蓋分段ηz。讓我們表示為Y=Yz=1mUz.]]>對(duì)于每個(gè)主機(jī)vi∈Y，其覆蓋形成E的子集的一組分段，表示為AiE。因?yàn)槟繕?biāo)是實(shí)現(xiàn)平衡的負(fù)荷分布，所以將Xk-1分布于可以覆蓋Sik[Wik]中所有相關(guān)元組的最小數(shù)目的最少負(fù)荷主機(jī)。因而，權(quán)值wi與每個(gè)子集Ai相關(guān)聯(lián)。權(quán)值wj是主機(jī)vi的負(fù)荷值wi，其由負(fù)荷值的方程來(lái)定義。因此，將最優(yōu)主機(jī)選擇問(wèn)題用公式表達(dá)為加權(quán)最小集合覆蓋問(wèn)題定義給定基本集合(groundset)E＝{η1，...，ηe}，子集A1，...，AkE，以及每個(gè)子集Ai的成本wi，目標(biāo)是找到最小集合覆蓋I{1，...，K}，以便∪j∈IAj＝E以及最小。根據(jù)I導(dǎo)出主機(jī)集合Vk。例如，如果集合覆蓋I＝{1，2}，那么Vk＝{v1，v2}。最小集合覆蓋問(wèn)題是眾所周知的NP難解問(wèn)題(NP-hardproblem)。因此，約束元組路由使用貪婪啟發(fā)式(greedyheuristic)算法來(lái)找到最小集合覆蓋?；舅枷胧沁x擇具有argminj，Aj≠0wj|Aj|]]>的最小值的子集Aj，其中|Aj|表示集合Aj的基數(shù)。將Aj添加到集合覆蓋I中，并且通過(guò)移除包括在Aj中的那些元素來(lái)更新每個(gè)剩余的子集。重復(fù)將Aj添加到集合的過(guò)程，直到所選擇的集合覆蓋I包括E＝{η1，...，ηe}中所有的分段。然而，以上方案可能進(jìn)行多余的連接計(jì)算。假設(shè)當(dāng)前所選擇的主機(jī)集合是Vk。對(duì)于任何分段ηz∈Sik[Wik]，其被置于主機(jī)集合Uz＝{vz1，...，vz1}上。如果集合Vk和Uz含有多于一個(gè)的共同主機(jī)(即，|Vk∩Uz|＞1)，則在含于|Vk∩Uz|中的不同主機(jī)處多余地計(jì)算了Xk-1與ηz之間的連接探測(cè)。這樣的多余計(jì)算可能會(huì)導(dǎo)致多余的連接結(jié)果。為了解決該問(wèn)題，注釋由Xk-1的不同副本所攜帶的路由路徑，以保證僅由一個(gè)主機(jī)執(zhí)行每個(gè)連接探測(cè)。為了與Sik[Wik]中所有的元組相關(guān)，將Xk-1的副本發(fā)送至Vk中的所有主機(jī)。對(duì)于位于Vz中的主機(jī)上的ηz∈{η1，...，ηe}，如果|Vk∩Uz|＞1，則選擇來(lái)自于Vk∩Uz的最小負(fù)荷主機(jī)Vj執(zhí)行Xi與ηz之間的連接探測(cè)。對(duì)于任何其它的主機(jī)vj∈Vk∩Uz，以標(biāo)志(vj/ηz)注釋路由路徑，其意味著的任何中間結(jié)果元組并未與主機(jī)vj上的ηz連接。通過(guò)證明約束元組路由與原始連接算子產(chǎn)生相同的連接結(jié)果的集合，示出了約束元組路由算法的正確性。C(J)和C′(J)分別表示由原始連接算子以及由使用約束元組路由算法的分布式處理方案所產(chǎn)生的連接結(jié)果的集合。通過(guò)示出C(J)＝C′(J)，證明了約束元組路由算法的正確性。定理C給定多路流連接算子令C(J)和C′(J)分別表示由原始連接算子以及由使用約束元組路由算法的分布式處理方案所產(chǎn)生的連接結(jié)果的集合。由此，C(J)＝C′(J)。證明概略通過(guò)示出如果si，1≤i≤n，那么首先證明了C(J)C′(J)。這是通過(guò)證明更強(qiáng)的命題來(lái)證明的k，1≤k≤n-1，是由約束元組路由產(chǎn)生的。使用數(shù)學(xué)歸納法(1)證明當(dāng)k＝1時(shí)命題成立。由于約束元組路由將si發(fā)送至覆蓋Si1[Wi1]中所有元組的主機(jī)集合V1，因此約束元組路由產(chǎn)生(2)假設(shè)該命題對(duì)于某個(gè)k，1≤k≤n-2是成立的，證明該命題對(duì)于k+1是成立的。根據(jù)該假設(shè)，約束元組路由產(chǎn)生由于Sik+1[Wik+1]中所有的元組要么與Xk共置(co-located)，要么由第k+1個(gè)路由跳轉(zhuǎn)Vk+1中的主機(jī)所覆蓋，因此中所有的結(jié)果元組都是由約束元組路由產(chǎn)生的。因此，C(J)C′(J)。接下來(lái)，證明C′(J)C(J)。首先，由擴(kuò)散連接算子所產(chǎn)生的C′(J)中的任何連接結(jié)果都遵循多路流連接語(yǔ)義，這也應(yīng)當(dāng)出現(xiàn)在C(J)中。其次，證明約束元組路由并不產(chǎn)生任何重復(fù)的結(jié)果。由于約束元組路由實(shí)現(xiàn)重復(fù)避免，因此任何結(jié)果元組1≤k≤n-1都僅由單個(gè)主機(jī)產(chǎn)生一次。因而，C′(J)C(J)。結(jié)合C(J)C′(J)和C′(J)C(J)，得到結(jié)果C(J)＝C′(J)?！鯇⒓s束元組路由算法1500的開(kāi)銷定義為每單位時(shí)間由約束元組路由所產(chǎn)生的額外數(shù)據(jù)元組的數(shù)目。不同于進(jìn)行單跳路由的對(duì)準(zhǔn)元組路由，約束元組路由進(jìn)行多跳路由，其不僅需要在多個(gè)主機(jī)上復(fù)制原始輸入流的元組，而且需要經(jīng)過(guò)不同主機(jī)傳輸中間結(jié)果。因而，約束元組路由的開(kāi)銷由兩部分組成(1)通過(guò)將分段si[t，t+T]發(fā)送至由第一路由跳轉(zhuǎn)V1所指定的多個(gè)主機(jī)來(lái)復(fù)制原始輸入流；(2)將中間結(jié)果傳輸至由Vk所指定的多個(gè)主機(jī)。對(duì)于開(kāi)銷的第一部分，系統(tǒng)需要花費(fèi)額外的處理、存儲(chǔ)器以及網(wǎng)絡(luò)帶寬，用于那些開(kāi)銷數(shù)據(jù)。然而，由于并未將中間結(jié)果存儲(chǔ)在存儲(chǔ)緩沖器中，因此中間結(jié)果的開(kāi)銷僅引起CPU和帶寬花費(fèi)。定理D給定多路流連接算子令ri，1≤i≤n表示流Si的平均速率。令T表示分段長(zhǎng)度。Si的探測(cè)序列表示為Si1，...，Sin-1。令σi，j定義Si與Sj之間的連接選擇性。將Si，1≤i≤n中元組的復(fù)制品的平均數(shù)目表示為Mi。將中間結(jié)果的復(fù)制品的平均數(shù)目表示為Mik。令OCTR表示原始數(shù)據(jù)流的平均復(fù)制開(kāi)銷。令O*CTR表示中間結(jié)果的平均開(kāi)銷。由此，OCTR*=Σi=1nΣk=2n-2Mik(σij·Πj=1k-1σij,ij+1)(ri·Πj=1k-1rijWij).]]>證明概略對(duì)于每個(gè)分段Si[t，t+T]，1≤i≤n，在T的時(shí)間周期內(nèi)，約束元組路由相比于原始輸入流發(fā)送(Mi-1)·ri·T個(gè)額外元組。因而，每單位時(shí)間由約束元組路由算法所產(chǎn)生的額外元組的平均數(shù)目是對(duì)于每個(gè)分段Si[t，t+T]，1≤i≤n，其需要與Si1[Wi1]，...，Sin-1[Win-1]連接。從產(chǎn)生的中間結(jié)果的數(shù)目是σi，i1(ri·T)·(ri1·Wi1)。將每個(gè)中間結(jié)果發(fā)送至Mi2以連接Si2[Wi2]。用于的中間結(jié)果的開(kāi)銷是Mik·σi，i1(ri·T)·(ri1·Wi1)·σi1，i2·(ri2·Wi2)...σik-1，ik(rik·Wik)。因而，用于計(jì)算的中間結(jié)果的總數(shù)是對(duì)于所有的n個(gè)輸入流，每單位時(shí)間由約束元組路由算法產(chǎn)生的中間結(jié)果的總數(shù)是類似于對(duì)準(zhǔn)元組路由方案，約束元組路由的開(kāi)銷也獨(dú)立于用于執(zhí)行多路流連接算子的主機(jī){v1，...，vm}的總數(shù)。因而，約束元組路由允許連接算子利用分布式流處理系統(tǒng)中所有可用的主機(jī)而沒(méi)有過(guò)多的開(kāi)銷。約束元組路由的開(kāi)銷取決于兩個(gè)新的參數(shù)Mi和Mik，其定義了用于路由原始元組和中間結(jié)果元組的主機(jī)集合的平均數(shù)目。由于我們的最優(yōu)主機(jī)集合選擇算法總是選擇最小的主機(jī)集合來(lái)符合相關(guān)約束。Mi或Mik的值常常遠(yuǎn)小于總的主機(jī)數(shù)。不同于對(duì)準(zhǔn)元組路由的復(fù)制開(kāi)銷OATR，原始流的復(fù)制開(kāi)銷OCTR獨(dú)立于滑動(dòng)窗大小。因此，當(dāng)連接算子采用大的滑動(dòng)窗的時(shí)候，約束元組路由可以具有比對(duì)準(zhǔn)元組路由少的開(kāi)銷。盡管相比于對(duì)準(zhǔn)元組路由，約束元組路由具有額外的中間結(jié)果開(kāi)銷，然而由于在實(shí)際應(yīng)用中連接選擇性常常很小，因此中間結(jié)果開(kāi)銷O*CTR并不顯著。對(duì)準(zhǔn)元組路由與約束元組路由之間的其它的不同在于對(duì)準(zhǔn)元組路由有差別地處理n個(gè)輸入流，而約束元組路由平等地處理所有的輸入流。因而，對(duì)準(zhǔn)元組路由更適于在具有小滑動(dòng)窗的一個(gè)快流和一組慢流中連接的情況，而約束元組路由則在所有的輸入流都具有類似的速率并且連接算子采用大的滑動(dòng)窗的時(shí)候效果最好。此外，約束元組路由需要維護(hù)路由表，該路由表記錄新近所路由的分段的位置。盡管分段長(zhǎng)度不影響約束元組路由的復(fù)制開(kāi)銷，然而分段長(zhǎng)度決定路由表的大小以及路由計(jì)算開(kāi)銷。因而，說(shuō)明性實(shí)施例提供了一種用于在流處理環(huán)境中自動(dòng)規(guī)劃的方法。當(dāng)應(yīng)用于流處理規(guī)劃問(wèn)題的時(shí)候，所描述的搜索方法實(shí)現(xiàn)了相比于其它規(guī)劃方法顯著改善的可擴(kuò)縮性。通過(guò)實(shí)現(xiàn)對(duì)復(fù)雜多路流連接的精確處理，改善了可擴(kuò)縮性。通過(guò)使用并行處理加速了處理。另外，說(shuō)明性實(shí)施例適應(yīng)數(shù)據(jù)流波動(dòng)。本發(fā)明可以采取全硬件實(shí)施例、全軟件實(shí)施例或者既含有硬件元素又含有軟件元素的實(shí)施例的形式。在優(yōu)選的實(shí)施例中，以軟件實(shí)現(xiàn)本發(fā)明，其包括但不限于固件、常駐軟件、微碼等。此外，本發(fā)明可以采取可訪問(wèn)于計(jì)算機(jī)可用或計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可用或計(jì)算機(jī)可讀介質(zhì)提供由計(jì)算機(jī)或任何指令執(zhí)行系統(tǒng)使用的或者與計(jì)算機(jī)或任何指令執(zhí)行系統(tǒng)相連的程序代碼。對(duì)于該描述來(lái)說(shuō)，計(jì)算機(jī)可用或計(jì)算機(jī)可讀介質(zhì)可以是可以容納、存儲(chǔ)、通信、傳播或傳送由指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用的或者與指令執(zhí)行系統(tǒng)、裝置或設(shè)備相連的程序的任何實(shí)體裝置。介質(zhì)可以是電子、磁性、光學(xué)、電磁、紅外或半導(dǎo)體系統(tǒng)(或裝置或設(shè)備)或者傳播介質(zhì)。計(jì)算機(jī)可讀介質(zhì)的例子包括半導(dǎo)體或固態(tài)存儲(chǔ)器、磁帶、可移動(dòng)計(jì)算機(jī)磁盤、隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、硬磁盤和光盤。光盤的當(dāng)前的例子包括壓縮磁盤-只讀存儲(chǔ)器(CD-ROM)、壓縮磁盤-讀/寫(CD-R/W)和DVD。適于存儲(chǔ)和/或執(zhí)行程序代碼的數(shù)據(jù)處理系統(tǒng)將包括通過(guò)系統(tǒng)總線直接或間接耦合于存儲(chǔ)元件的至少一個(gè)處理器。存儲(chǔ)元件可以包括在程序代碼的實(shí)際執(zhí)行期間所使用的局部存儲(chǔ)器、大容量存儲(chǔ)器，以及為了減少在執(zhí)行期間必須從大容量存儲(chǔ)器檢索代碼的次數(shù)而提供至少一些程序代碼的臨時(shí)存儲(chǔ)的高速緩沖存儲(chǔ)器。輸入/輸出或I/O設(shè)備(包括但不限于鍵盤、顯示器、指點(diǎn)設(shè)備等)可以直接地或者通過(guò)插入I/O控制器耦合于系統(tǒng)。還可以將網(wǎng)絡(luò)適配器耦合于系統(tǒng)，從而使得數(shù)據(jù)處理系統(tǒng)能夠適于通過(guò)介入專用或公用網(wǎng)絡(luò)耦合于其它的數(shù)據(jù)處理系統(tǒng)或遠(yuǎn)程打印機(jī)或存儲(chǔ)設(shè)備。調(diào)制解調(diào)器、電纜調(diào)制解調(diào)器和以太網(wǎng)卡僅僅是幾種當(dāng)前可用類型的網(wǎng)絡(luò)適配器。已經(jīng)出于說(shuō)明和描述的目的給出了對(duì)說(shuō)明性實(shí)施列的描述，但并不旨在以所公開(kāi)的形式窮舉或限制本發(fā)明。對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，很多修改和變形是顯而易見(jiàn)的。所選擇和描述的實(shí)施例是為了最好地解釋本發(fā)明的原理、實(shí)際應(yīng)用，以及使本領(lǐng)域的普通技術(shù)人員能夠針對(duì)各種實(shí)施例以及適于預(yù)期的特定用途的各種修改理解本發(fā)明。權(quán)利要求1.一種用于處理多路流相關(guān)的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述計(jì)算機(jī)實(shí)現(xiàn)的方法包括接收流數(shù)據(jù)用于相關(guān)；形成用于連續(xù)地將多路流相關(guān)工作負(fù)荷劃分成較小的工作負(fù)荷片的任務(wù)，其中所述較小的工作負(fù)荷片中的每一個(gè)均可以由單個(gè)主機(jī)處理；以及將所述流數(shù)據(jù)發(fā)送至不同的主機(jī)用于相關(guān)處理。2.根據(jù)權(quán)利要求1的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述形成步驟用于進(jìn)行流劃分，并且其進(jìn)一步包括將輸入流分成分段；以及將所述分段分布到所述不同的主機(jī)上用于相關(guān)處理。3.根據(jù)權(quán)利要求1的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述形成步驟用于進(jìn)行算子劃分，并且其進(jìn)一步包括將多路相關(guān)算子分成多個(gè)較小的算子；以及在不同的分布式主機(jī)上執(zhí)行不同的較小的算子。4.根據(jù)權(quán)利要求1的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中通過(guò)多個(gè)輸入流上的滑動(dòng)窗連接實(shí)現(xiàn)所述多路流相關(guān)。5.根據(jù)權(quán)利要求1的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述形成步驟用于形成連續(xù)優(yōu)化問(wèn)題，并且其包括標(biāo)識(shí)相關(guān)約束；計(jì)算每個(gè)流數(shù)據(jù)的路由路徑，用于確保滿足所述相關(guān)約束、平衡所述不同主機(jī)的工作負(fù)荷，以及最小化所述流數(shù)據(jù)的復(fù)制開(kāi)銷。6.根據(jù)權(quán)利要求2的計(jì)算機(jī)實(shí)現(xiàn)的方法，其進(jìn)一步包括選擇具有最高速率的輸入流作為主流，并且將其它的流指示為從流；將所述主流劃分成不相交的分段；以及將所述從流劃分成重疊的分段以符合相關(guān)約束。7.根據(jù)權(quán)利要求6的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述選擇步驟在運(yùn)行時(shí)是動(dòng)態(tài)改變的。8.根據(jù)權(quán)利要求7的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述選擇步驟進(jìn)一步包括響應(yīng)于所述主流慢于所述其它流中的任何一個(gè)，觸發(fā)流角色交換，用于選擇所述具有最高速率的輸入流作為所述主流，并且將所述其它的流指示為從流；以及根據(jù)所述相關(guān)約束采用轉(zhuǎn)換階段來(lái)實(shí)現(xiàn)所述流角色交換。9.根據(jù)權(quán)利要求6的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述將所述主流劃分成不相交的分段的步驟用于調(diào)整所述不相交的分段的分段長(zhǎng)度，并且其進(jìn)一步包括當(dāng)系統(tǒng)條件改變時(shí)觸發(fā)分段自適應(yīng)；進(jìn)行基于采樣的仿形過(guò)程，以便搜索新的分段長(zhǎng)度。10.根據(jù)權(quán)利要求3的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述算子劃分進(jìn)一步包括確定連接順序，以便將所述多路相關(guān)處理分成多跳；在每跳查找相關(guān)分段的位置；以及在每跳計(jì)算覆蓋所有所述相關(guān)分段的最小主機(jī)集合。11.根據(jù)權(quán)利要求10的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中由在不同流之間所觀察到的連接選擇性來(lái)確定所述連接順序。12.根據(jù)權(quán)利要求10的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中使用路由表進(jìn)行所述查找步驟，其中所述路由表包括不同輸入流的滑動(dòng)窗中相關(guān)分段的布局信息。13.根據(jù)權(quán)利要求10的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述計(jì)算步驟進(jìn)一步包括考慮前一跳的主機(jī)集合選擇；以及重新使用由所述前一跳選擇的主機(jī)，用于最小化中間結(jié)果傳輸。14.一種系統(tǒng)，其包括數(shù)據(jù)處理系統(tǒng)，所述數(shù)據(jù)處理系統(tǒng)用于接收來(lái)自于輸入流的流數(shù)據(jù)進(jìn)行相關(guān)，以及用于連續(xù)地將多路流相關(guān)工作負(fù)荷劃分成較小的工作負(fù)荷片的任務(wù)形成，其中所述較小的工作負(fù)荷片中的每一個(gè)均可以由單個(gè)主機(jī)處理，其中所述任務(wù)用于進(jìn)行算子劃分，以便將多路相關(guān)算子分成多個(gè)較小的算子、在分布式主機(jī)上執(zhí)行不同的較小的算子，以及用于進(jìn)行流劃分，以便將輸入流分成分段，并且將所述分段分布到主機(jī)上進(jìn)行相關(guān)處理；以及多個(gè)主機(jī)，所述多個(gè)主機(jī)可操作連接至所述數(shù)據(jù)處理系統(tǒng)；其中所述數(shù)據(jù)處理系統(tǒng)將所述流數(shù)據(jù)發(fā)送至所述多個(gè)主機(jī)，用于所述相關(guān)處理。15.根據(jù)權(quán)利要求14的系統(tǒng)，其中所述數(shù)據(jù)處理系統(tǒng)選擇具有最高速率的輸入流作為主流，并且將其它的流指示為從流，將所述主流劃分成不相交的分段，并且將所述從流劃分成重疊的分段以符合相關(guān)約束。16.一種用于處理多路流相關(guān)的計(jì)算機(jī)系統(tǒng)，所述計(jì)算機(jī)系統(tǒng)包括接收裝置，所述接收裝置用于接收流數(shù)據(jù)用于相關(guān)；形成裝置，所述形成裝置用于形成連續(xù)地將多路流相關(guān)工作負(fù)荷劃分成較小的工作負(fù)荷片的任務(wù)，其中所述較小的工作負(fù)荷片中的每一個(gè)均可以由單個(gè)主機(jī)處理；以及發(fā)送裝置，所述發(fā)送裝置用于將所述流數(shù)據(jù)發(fā)送至不同的主機(jī)用于相關(guān)處理。全文摘要一種用于處理多路流相關(guān)的計(jì)算機(jī)實(shí)現(xiàn)的方法、裝置以及計(jì)算機(jī)可用程序代碼。接收流數(shù)據(jù)用于相關(guān)。形成用于連續(xù)地將多路流相關(guān)工作負(fù)荷劃分成較小的工作負(fù)荷片的任務(wù)。所述較小的工作負(fù)荷片中的每一個(gè)均可以由單個(gè)主機(jī)處理。將所述流數(shù)據(jù)發(fā)送至不同的主機(jī)用于相關(guān)處理。文檔編號(hào)H04N7/26GK101067792SQ200710084738公開(kāi)日2007年11月7日申請(qǐng)日期2007年2月28日優(yōu)先權(quán)日2006年5月4日發(fā)明者顧曉暉,王海勛,P·S-L·渝申請(qǐng)人:國(guó)際商業(yè)機(jī)器公司