一種計(jì)算機(jī)實(shí)施的眾包系統(tǒng)通過將任務(wù)實(shí)例分發(fā)至人類工作者的群體并且隨后收集工作者針對(duì)該任務(wù)的響應(yīng)而進(jìn)行操作。在一些情況下，該眾包系統(tǒng)可以針對(duì)工作者的個(gè)別貢獻(xiàn)而代表贊助或“擁有”該任務(wù)的實(shí)體對(duì)他或她進(jìn)行回饋。例如，該眾包系統(tǒng)可以針對(duì)每個(gè)工作者所完成的每項(xiàng)任務(wù)而為他或她給予少量金錢。

眾包系統(tǒng)并不對(duì)其工作者所執(zhí)行的工作提供直接監(jiān)管。眾包系統(tǒng)還可以不對(duì)被允許關(guān)于任務(wù)進(jìn)行工作的工作者施加限制(或施加最小程度的限制)。作為結(jié)果，不同工作者所執(zhí)行工作的質(zhì)量可能有所變化。一些工作者是勤奮的并且執(zhí)行高質(zhì)量的響應(yīng)。其他工作者不同程度上提供較低質(zhì)量的工作。實(shí)際上，在質(zhì)量范圍的一端，一些工作者可能對(duì)應(yīng)于為了財(cái)政收益和/或?yàn)閷?shí)現(xiàn)其他惡意目的而快速執(zhí)行大量低質(zhì)量工作的垃圾代理(spam agent)。例如，在一些情況下，這些垃圾代理可以表示針對(duì)任務(wù)提交無意義響應(yīng)的自動(dòng)軟件程序。

除了其他缺陷之外，低質(zhì)量工作的存在可以使得任務(wù)擁有者所分配的財(cái)政資源快速耗盡，但是卻沒有為任務(wù)擁有者提供任意好處。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)一個(gè)說明性實(shí)施方式，這里描述了一種眾包環(huán)境，其使用多階段方法來評(píng)估由工作者關(guān)于所識(shí)別任務(wù)所執(zhí)行的工作的質(zhì)量。在第一階段，評(píng)估系統(tǒng)確定工作者是否對(duì)應(yīng)于垃圾代理。該評(píng)估系統(tǒng)在確定工作者為良性或“誠實(shí)”實(shí)體而非垃圾代理時(shí)調(diào)用第二階段。在第二階段，該評(píng)估系統(tǒng)確定工作者在未來執(zhí)行期望工作的傾向性。期望性可以以不同方式進(jìn)行評(píng)定；在一種情況下，執(zhí)行期望工作的工作者對(duì)應(yīng)于針對(duì)所識(shí)別任務(wù)可靠地提供準(zhǔn)確響應(yīng)的某個(gè)工作者。在另一個(gè)說明性實(shí)施方式中，該評(píng)估系統(tǒng)可以在單個(gè)集成的處理階段執(zhí)行垃圾分析和質(zhì)量分析。

根據(jù)一個(gè)說明性方面，該評(píng)估系統(tǒng)可以基于涉及到當(dāng)前所考慮的工作者關(guān)于所識(shí)別任務(wù)而執(zhí)行的工作的特征的集合來進(jìn)行操作。更具體地，該特征可以包括關(guān)注工作者的特征、關(guān)注任務(wù)的特征和關(guān)注系統(tǒng)的特征等。

每個(gè)關(guān)注工作者的特征對(duì)該眾包環(huán)境中的至少一個(gè)工作者所執(zhí)行的工作進(jìn)行表征。例如，一個(gè)關(guān)注工作者的特征可以對(duì)工作者所執(zhí)行的工作量進(jìn)行表征。另一個(gè)關(guān)注工作者的特征可以對(duì)工作者在過去所執(zhí)行工作的準(zhǔn)確性進(jìn)行表征等。

每個(gè)關(guān)注任務(wù)的特征對(duì)該眾包環(huán)境中所執(zhí)行的至少一項(xiàng)任務(wù)進(jìn)行表征。例如，一個(gè)關(guān)注任務(wù)的特征可以對(duì)所識(shí)別任務(wù)針對(duì)垃圾相關(guān)活動(dòng)的敏感性進(jìn)行表征。另一個(gè)關(guān)注任務(wù)的特征可以對(duì)所識(shí)別任務(wù)的評(píng)定的難度水平進(jìn)行表征等。

每個(gè)關(guān)注系統(tǒng)的特征對(duì)該眾包環(huán)境的整體配置的一個(gè)方面進(jìn)行表征。例如，一個(gè)關(guān)注系統(tǒng)的特征可以對(duì)眾包環(huán)境的激勵(lì)結(jié)構(gòu)進(jìn)行描述。另一個(gè)關(guān)注系統(tǒng)的特征可以識(shí)別眾包環(huán)境為了減少垃圾相關(guān)活動(dòng)和低質(zhì)量工作的出現(xiàn)所采用的功能(如果存在)。

總體上，上文所描述的特征中的至少一些可以對(duì)應(yīng)于元級(jí)別特征，元級(jí)別特征中的每一個(gè)對(duì)工作者在其中執(zhí)行工作的上下文進(jìn)行描述，而并不對(duì)工作者所執(zhí)行的工作進(jìn)行具體參考。例如，一種關(guān)注任務(wù)的特征可以對(duì)應(yīng)于元級(jí)別特征，因?yàn)槠涿枋隽怂R(shí)別任務(wù)本身，而并未對(duì)工作者所執(zhí)行的工作進(jìn)行參考。

另外，至少一些特征可以描述該眾包環(huán)境的實(shí)際方面，例如對(duì)應(yīng)于組件、事件、狀況等。其他特征可以對(duì)應(yīng)于關(guān)注信念的特征，關(guān)注信念的特征中的每一個(gè)涉及到工作者對(duì)于該眾包環(huán)境的實(shí)際方面的感知。例如，至少一個(gè)關(guān)注信念的特征描述了工作者對(duì)所識(shí)別任務(wù)對(duì)于垃圾相關(guān)活動(dòng)的敏感性和/或該眾包環(huán)境檢測(cè)垃圾相關(guān)活動(dòng)的能力的感知。

根據(jù)另一個(gè)說明性方面，至少該質(zhì)量分析使用一個(gè)或多個(gè)模型進(jìn)行操作。訓(xùn)練系統(tǒng)可以使用任意類型的監(jiān)管機(jī)器學(xué)習(xí)技術(shù)產(chǎn)生(多個(gè))模型。在一個(gè)實(shí)施方式中，該質(zhì)量分析可以使用多個(gè)特定于任務(wù)的模型，每一個(gè)用于分析關(guān)于特定任務(wù)或任務(wù)類型所執(zhí)行的工作。在另一個(gè)實(shí)施方式中，該質(zhì)量分析可以連同元級(jí)別特征一起使用至少一個(gè)任務(wù)無關(guān)的模型用于分析關(guān)于多個(gè)不同任務(wù)和任務(wù)類型所執(zhí)行的工作。

上文的方法可以以各種類型的系統(tǒng)、設(shè)備、組件、方法、計(jì)算機(jī)可讀存儲(chǔ)或媒體、數(shù)據(jù)結(jié)構(gòu)、圖形用戶界面呈現(xiàn)形式、制造品等來表明。

提供本發(fā)明內(nèi)容以簡化形式對(duì)構(gòu)思的選擇進(jìn)行介紹；這些構(gòu)思將在下文中在具體實(shí)施方式中進(jìn)一步進(jìn)行描述。本發(fā)明內(nèi)容并非意標(biāo)識(shí)所請(qǐng)求保護(hù)主題的關(guān)鍵特征或必要特征，也并非意在被用來對(duì)所請(qǐng)求保護(hù)主題的范圍進(jìn)行限制。

附圖說明

圖1示出了使用單階段或多階段方法對(duì)工作者所執(zhí)行的工作進(jìn)行評(píng)估的說明性眾包環(huán)境。

圖2示出了可以用來實(shí)施圖1的眾包環(huán)境的計(jì)算機(jī)實(shí)施的設(shè)備。

圖3示出了作為圖1的眾包環(huán)境的組件的工作者評(píng)估系統(tǒng)的一個(gè)實(shí)施方式。

圖4示出了圖形模型，其表示了表達(dá)圖1的眾包環(huán)境中的變量間的關(guān)系的一個(gè)方式。

圖5示出了與圖1的眾包環(huán)境相關(guān)聯(lián)的說明性特性，其包括關(guān)注工作者的特性、關(guān)注任務(wù)的特性和關(guān)注系統(tǒng)的特性。

圖6-8示出了作為圖3的工作者評(píng)估系統(tǒng)的組件的聲譽(yù)評(píng)估模塊的三個(gè)相應(yīng)實(shí)施方式。

圖9是示出圖3的工作者評(píng)估系統(tǒng)的一個(gè)說明性操作方式的流程圖。

圖10是示出作為圖1的眾包環(huán)境的組件的特征提取系統(tǒng)的一個(gè)操作方式的流程圖。

圖11是示出作為圖1的眾包環(huán)境的另一個(gè)組件的訓(xùn)練系統(tǒng)的一個(gè)操作方式的流程圖。

圖12示出了可以被用來實(shí)施之前附圖中所示特征的任意方面的說明性計(jì)算功能。

相同的數(shù)字貫穿本公開和附圖被用來指代同樣的組件和特征。系列100的數(shù)字指代原本出現(xiàn)在圖1中的特征，系列200的數(shù)字指代原本出現(xiàn)在圖2中的特征，系列300的數(shù)字指代原本出現(xiàn)在圖3中的特征等。

具體實(shí)施方式

本公開如下進(jìn)行組織。部分A描述了用于對(duì)眾包環(huán)境中工作者所執(zhí)行工作的質(zhì)量進(jìn)行評(píng)估的說明性功能，其反映了工作者在未來執(zhí)行相同質(zhì)量的工作的傾向性。部分B闡述了對(duì)部分A的功能的操作進(jìn)行解釋的說明性方法。部分C闡述了可以被用來描述該眾包環(huán)境的代表性特征的采樣。部分D描述了可以被用來實(shí)施部分A-C中所描述特征的任意方面的說明性計(jì)算功能。

作為初步事項(xiàng)，附圖中的一些在一個(gè)或多個(gè)結(jié)構(gòu)化組件的上下文中對(duì)構(gòu)思進(jìn)行了描述，結(jié)構(gòu)化組件以各種方式被稱為功能、模塊、特征、要素等。圖中所示出的各種組件可以通過任意物理和有形機(jī)制以任意方式來實(shí)施，例如通過在計(jì)算機(jī)設(shè)備上運(yùn)行的軟件、硬件(例如，芯片實(shí)施的邏輯功能)等和/或它們的任意組合來實(shí)施。在一種情況下，所圖示的圖中的各種組件被劃分為不同單元可以反映出實(shí)際實(shí)施方式中對(duì)相對(duì)應(yīng)的不同物理和有形組件的使用。備選地或此外，圖中所圖示的任意單一組件可以由多個(gè)實(shí)際的物理組件來實(shí)施。備選地或此外，圖中對(duì)任意兩個(gè)或更多單獨(dú)組件的描繪可以反映出單個(gè)實(shí)際的物理組件所執(zhí)行的不同功能。進(jìn)而有待描述的圖12提供了有關(guān)附圖中所示功能的一個(gè)說明性物理實(shí)施方式的另外的細(xì)節(jié)。

其他附圖以流程圖的形式對(duì)構(gòu)思進(jìn)行描述。以這種形式，某些操作被描述為構(gòu)成以某種順序執(zhí)行的不同塊。這樣的實(shí)施方式是說明性而非限制性的。這里所描述的某些塊可以被分組在一起并且以單個(gè)操作來執(zhí)行，某些塊可以被劃分為多個(gè)組件塊，并且某些塊可以以不同于這里所圖示的順序來執(zhí)行(包括執(zhí)行塊的并行方式)。流程圖中所示出的塊可以由物理和有形機(jī)制以任意方式來實(shí)施，例如通過在計(jì)算機(jī)設(shè)備上運(yùn)行的軟件、硬件(例如，芯片實(shí)施的邏輯功能)等和/或它們的任意組合來實(shí)施。

就術(shù)語而言，短語“被配置為”涵蓋了任意種類的物理和有形功能可以被構(gòu)建以執(zhí)行所識(shí)別操作的任意方式。功能可以被配置為例如使用在計(jì)算機(jī)設(shè)備上運(yùn)行的軟件、硬件(例如，芯片實(shí)施的邏輯功能)等和/或它們的任意組合來執(zhí)行操作。

術(shù)語“邏輯”涵蓋了用于執(zhí)行任務(wù)的任意物理和有形功能。例如，流程圖中所圖示的每項(xiàng)操作對(duì)應(yīng)于用于執(zhí)行該操作的邏輯組件。操作例如可以使用在計(jì)算機(jī)設(shè)備上運(yùn)行的軟件、硬件(例如，芯片實(shí)施的邏輯功能)等和/或它們的任意組合來來執(zhí)行。當(dāng)由計(jì)算設(shè)備所實(shí)施時(shí)，邏輯組件表示作為計(jì)算系統(tǒng)的物理部分的電氣組件，而與如何實(shí)施無關(guān)。

以下解釋可以將一個(gè)或多個(gè)特征標(biāo)識(shí)為是“可選的”。這種聲明并不應(yīng)當(dāng)被解讀為是可以被認(rèn)為是可選的特征的窮盡指示；也就是說，雖然并未在文中明確標(biāo)識(shí)，但是其他特征可以被認(rèn)為是可選的。另外，對(duì)于單個(gè)實(shí)體的任意描述都并非意在排除使用多個(gè)這樣的實(shí)體；類似地，多個(gè)實(shí)體的描述并非意在排除使用單個(gè)實(shí)體。最后，術(shù)語“示例性”或“說明性”是指可能的許多實(shí)施方式中的一個(gè)實(shí)施方式。

A.說明性眾包環(huán)境

圖1示出了眾包環(huán)境102的邏輯視圖。該眾包環(huán)境包括或者可以被概念化為包括執(zhí)行不同的相應(yīng)功能的一個(gè)或多個(gè)模塊。如下文將要參考圖2所描述的，不同的物理實(shí)施方式可以使用不同的計(jì)算機(jī)實(shí)施的系統(tǒng)來執(zhí)行功能。

首先，數(shù)據(jù)收集系統(tǒng)104向這里被稱為工作者16的多個(gè)參與者提供任務(wù)。更具體地，在一種情況下，數(shù)據(jù)收集系統(tǒng)104可以使用計(jì)算機(jī)網(wǎng)絡(luò)來向與相應(yīng)工作者106相關(guān)聯(lián)的用戶計(jì)算機(jī)設(shè)備(未示出)傳遞任務(wù)。數(shù)據(jù)收集系統(tǒng)104可以使用基于拉取的策略、基于推送的策略或者二者的組合來分發(fā)任務(wù)。在基于拉取的策略中，每個(gè)個(gè)體工作者與數(shù)據(jù)收集系統(tǒng)104進(jìn)行交互以請(qǐng)求任務(wù)；作為響應(yīng)，數(shù)據(jù)收集系統(tǒng)104將任務(wù)轉(zhuǎn)發(fā)給工作者。在基于推送的策略中，數(shù)據(jù)收集系統(tǒng)104基于一些之前的部署而獨(dú)立地將任務(wù)轉(zhuǎn)發(fā)至工作者106，而并不接收工作者106的個(gè)體獨(dú)立請(qǐng)求。

作為這里所使用的術(shù)語，“任務(wù)”可以對(duì)應(yīng)于被分派給工作者的所指定工作單元。例如，在一個(gè)說明性任務(wù)中，工作者可以被呈現(xiàn)以兩個(gè)數(shù)據(jù)項(xiàng)，并且被要求基于任意所指定的(多個(gè))選擇因素來選擇哪個(gè)數(shù)據(jù)項(xiàng)較好。在另一個(gè)說明性任務(wù)中，工作者可以被呈現(xiàn)以多選問題，并且被要求在指定選項(xiàng)中選擇正確回答。在另一個(gè)說明性任務(wù)中，用戶可以被要求以開放性方式提供針對(duì)提問或問題的響應(yīng)，也就是說，以并不局限于所指定回答集合的方式。在另一個(gè)說明性任務(wù)中，工作者可以被要求對(duì)存在歧義的數(shù)據(jù)項(xiàng)進(jìn)行解釋等。以上示例作為示例而非限制而被引用。

“任務(wù)類型”更一般地涉及到具有一個(gè)或多個(gè)共同特性的一般活動(dòng)類別。換句話說，任務(wù)類型可以是指可以被用來產(chǎn)生特定種類的任務(wù)的不同實(shí)例化的任務(wù)模板。例如，任務(wù)類型可以對(duì)應(yīng)于基于所識(shí)別的(多個(gè))選擇因素而判斷兩個(gè)圖像中哪一個(gè)較好的一般活動(dòng)。該任務(wù)類型中對(duì)應(yīng)于相應(yīng)的個(gè)體任務(wù)的不同實(shí)例化可以關(guān)于不同圖像配對(duì)來執(zhí)行。

贊助任務(wù)的實(shí)體被稱為任務(wù)擁有者。在一些情況下，數(shù)據(jù)收集系統(tǒng)104可以為一個(gè)擁有者服務(wù)，擁有者是例如管理整個(gè)眾包環(huán)境102的實(shí)體。在其他情況下，數(shù)據(jù)收集系統(tǒng)104可以表示可以被多個(gè)任務(wù)擁有者所訪問的一般平臺(tái)。也就是說，任務(wù)擁有者(未示出)可以將任務(wù)提交至數(shù)據(jù)收集系統(tǒng)104。數(shù)據(jù)收集系統(tǒng)104隨后可以與工作者106進(jìn)行交互以收集針對(duì)任務(wù)的響應(yīng)。

工作者可以以任意特定于環(huán)境的方式和特定于任務(wù)的方式來執(zhí)行任務(wù)。例如，在許多情況下，工作者可以使用他或她的用戶計(jì)算設(shè)備來接收任務(wù)，對(duì)所請(qǐng)求的工作進(jìn)行解釋，執(zhí)行工作并且隨后將他或她的響應(yīng)發(fā)送回?cái)?shù)據(jù)收集系統(tǒng)104。僅引用一個(gè)說明性示例，假設(shè)任務(wù)要求用戶選擇關(guān)于所指定查詢而被判斷為最為相關(guān)的搜索結(jié)果項(xiàng)。工作者可以點(diǎn)擊或者以其他方式選擇搜索結(jié)果項(xiàng)，并且隨后將該選擇以電子方式傳送至數(shù)據(jù)收集系統(tǒng)104。數(shù)據(jù)收集系統(tǒng)104可選地可以基于任意特定于環(huán)境的業(yè)務(wù)部署而響應(yīng)于執(zhí)行任務(wù)向工作者提供任意類型的回饋。在一些情況下，該回饋可以對(duì)應(yīng)于金錢回饋。

在以上所引用的示例中，工作者106本身對(duì)應(yīng)于人類參與者。該人類參與者可以是一般公眾的成員和/或基于任意一個(gè)或多個(gè)因素所選擇的用戶群體。此外或備選地，工作者106中的至少一些可以構(gòu)成執(zhí)行工作的自動(dòng)代理，例如對(duì)應(yīng)于被配置為執(zhí)行具體任務(wù)的軟件程序。例如，假設(shè)一種任務(wù)要求用戶將英語的短語翻譯為德語的相對(duì)應(yīng)短語。第一工作者可以對(duì)應(yīng)于人類參與者，而第二工作者可以對(duì)應(yīng)于自動(dòng)翻譯引擎。通常，眾包系統(tǒng)102可以使用不同業(yè)務(wù)范例以初始地確定哪些工作者106被允許對(duì)任務(wù)進(jìn)行工作；在一種情況下，在沒有新的工作者具有惡意企圖的預(yù)先知識(shí)的情況下，眾包系統(tǒng)102對(duì)于參與眾包活動(dòng)的該新的工作者并不施加限制。

實(shí)際上，大量工作者106可以被證明是嘗試認(rèn)真地執(zhí)行給予他們的任務(wù)的良性或誠實(shí)的實(shí)體。然而，就如同在任意工作場(chǎng)所中一樣，一些工作者可能與其他工作者相比以更加令人滿意的方式執(zhí)行工作。這里，工作者的響應(yīng)的期望性可以基于任意量度或量度組合進(jìn)行判定。在許多情況下，工作者主要基于他或她的響應(yīng)的準(zhǔn)確性進(jìn)行判斷。也就是說，高質(zhì)量的工作者具有提供高百分比的準(zhǔn)確響應(yīng)的傾向性，而低質(zhì)量的工作者具有提供低百分比的準(zhǔn)確響應(yīng)的傾向性。

但是，除準(zhǔn)確性之外或者替代準(zhǔn)確性的其他因素也可以被用來判斷工作者的期望性。例如，在一種情形中，向工作者所提出的問題可能并沒有規(guī)范的正確回答。在該情況下，期望的響應(yīng)可以被定義為誠實(shí)或真實(shí)的響應(yīng)，意味著匹配用戶對(duì)于該問題的實(shí)際主觀評(píng)估的響應(yīng)。例如，假設(shè)用戶從圖像集合中選擇了一個(gè)圖像，要求該圖像對(duì)于他或她最具吸引力；該用戶在所選擇的圖像從用戶觀點(diǎn)來看實(shí)際上是對(duì)于他或她最具吸引力的圖像時(shí)真實(shí)地回答。

然而，工作者106的子類可以對(duì)應(yīng)于垃圾代理。垃圾代理是指關(guān)于所考慮的任務(wù)出于惡意的目的執(zhí)行低質(zhì)量工作的任意實(shí)體。例如，垃圾代理可以僅出于從眾包環(huán)境102生成欺詐性收入的目的而針對(duì)至少一些任務(wù)快速生成大量無意義的回答。在其他(較不常見的)情況下，垃圾代理可以主要出于使得經(jīng)由眾包環(huán)境102所收集的響應(yīng)執(zhí)行的任意分析出現(xiàn)偏差的目的而提交無意義的工作。在圖1中，工作者108和110以符號(hào)表示兩個(gè)代表性的垃圾代理。在一些情況下，一個(gè)實(shí)體可能關(guān)于所考慮的一些任務(wù)充當(dāng)垃圾代理，而關(guān)于其他任務(wù)則不是。實(shí)體關(guān)于特定任務(wù)的選擇性可以取決于任務(wù)本身的性質(zhì)和/或與任務(wù)存在于其中的上下文相關(guān)聯(lián)的一個(gè)或多個(gè)因素。在其他情況下，實(shí)體可能在所有情況下針對(duì)所有任務(wù)都充當(dāng)垃圾代理。

在一些情況下，垃圾代理可以表示以人工地盡可能快地執(zhí)行非期望工作的人類參與者。在其他情況下，垃圾代理可以表示征用任意類型的軟件工具來執(zhí)行非期望工作的人類參與者。在其他情況下，垃圾代理可以對(duì)應(yīng)于執(zhí)行非期望工作的全自動(dòng)程序。例如，垃圾代理可以表示偽裝成實(shí)際人類參與者的機(jī)器人(bot)計(jì)算機(jī)程序。在一些情況下，機(jī)器人計(jì)算機(jī)程序可以作為計(jì)算機(jī)病毒已經(jīng)感染用戶計(jì)算設(shè)備的結(jié)果而存在于該設(shè)備上。

無論其身份和來源如何，垃圾代理都是眾包環(huán)境102中的非期望行動(dòng)者。在許多情況下，垃圾代理可以浪費(fèi)任務(wù)擁有者所分配的眾包預(yù)算，而并未對(duì)任務(wù)擁有者提供任意好處。更直接地來講，垃圾代理從任務(wù)擁有者有效地竊取金錢。此外或備選地，垃圾代理在經(jīng)由眾包環(huán)境102所收集的響應(yīng)中產(chǎn)生了噪聲，這可以使得任務(wù)擁有者尋求基于該響應(yīng)所執(zhí)行的任意分析都失真。實(shí)際上，在一些情況下，多個(gè)垃圾代理可以通過故意勾結(jié)或偶然事件而一起工作以錯(cuò)誤地使得針對(duì)任務(wù)的一致性的確定偏差。

數(shù)據(jù)收集系統(tǒng)104可以將工作者106的響應(yīng)存儲(chǔ)或在數(shù)據(jù)存儲(chǔ)112中。(如這里所使用的，單數(shù)術(shù)語“數(shù)據(jù)存儲(chǔ)”是指在一個(gè)地點(diǎn)提供或在多個(gè)地點(diǎn)分布的一個(gè)或多個(gè)底層物理存儲(chǔ)機(jī)制)。該響應(yīng)構(gòu)成原始收集數(shù)據(jù)，在該數(shù)據(jù)還沒有被分析的程度上。例如，原始數(shù)據(jù)可以包括工作者針對(duì)多選問題的回答。原始數(shù)據(jù)還可以指定工作者106已經(jīng)為回答該問題所花費(fèi)的時(shí)間量等。

分析引擎114基于該工作者的先前行為以及其他因素來確定每個(gè)工作者提供期望工作的傾向性。同樣，工作的期望性可以以任意方式進(jìn)行判定；例如，在一種情況下，工作者在他或她針對(duì)任務(wù)提供高百分比的準(zhǔn)確和/或真實(shí)響應(yīng)時(shí)提供期望工作。

在一種情況下，分析引擎114對(duì)之前對(duì)眾包環(huán)境102作出過貢獻(xiàn)的所有工作者執(zhí)行分析?；蛘撸治鲆?14可以針對(duì)那些工作者的子集執(zhí)行分析，諸如具有高于所規(guī)定閾值的活動(dòng)水平的那些工作者，和/或最近(例如在所識(shí)別的時(shí)間窗口內(nèi))對(duì)眾包環(huán)境作出過貢獻(xiàn)的那些工作者。分析引擎114也可以關(guān)于所有任務(wù)(或任務(wù)類型)或者僅關(guān)于在任意基礎(chǔ)上所選擇的任務(wù)(或任務(wù)類型)的子集執(zhí)行其分析。至于定時(shí)，分析引擎114可以在任意基礎(chǔ)上執(zhí)行其分析，基礎(chǔ)是諸如周期性基礎(chǔ)、事件驅(qū)動(dòng)的基礎(chǔ)或者它們的任意組合。例如，在一種事件驅(qū)動(dòng)的情況下，分析引擎114可以實(shí)時(shí)地執(zhí)行其分析，例如在每個(gè)工作者已經(jīng)對(duì)任務(wù)或者甚至任務(wù)的一部分提交了響應(yīng)之后。

分析引擎114可以包括與工作者評(píng)估系統(tǒng)118相結(jié)合的特征提取系統(tǒng)116。特征提取系統(tǒng)116識(shí)別特征，該特征連同關(guān)于每項(xiàng)特定任務(wù)每個(gè)特定工作者所執(zhí)行的工作在其中被執(zhí)行的上下文一起對(duì)該工作進(jìn)行描述。如下文將要給出的，特征提取系統(tǒng)116可以產(chǎn)生關(guān)注于眾包環(huán)境102的不同部分或方面的不同特征類型，例如至少包括關(guān)注工作者的特征、關(guān)注任務(wù)的特征和關(guān)注系統(tǒng)的特征等。每個(gè)關(guān)注工作者的特征對(duì)至少一個(gè)工作者在眾包環(huán)境102中所執(zhí)行的工作進(jìn)行表征。每個(gè)關(guān)注任務(wù)的特征對(duì)眾包環(huán)境102中所執(zhí)行的至少一項(xiàng)任務(wù)進(jìn)行表征。每個(gè)關(guān)注系統(tǒng)的特征對(duì)眾包環(huán)境102的整體配置的一個(gè)方面進(jìn)行表征。以下解釋將提供每種類型的特征示例的示例?？傮w上，上文所描述的特征中的至少一些還可以對(duì)應(yīng)于元級(jí)別特征，元級(jí)別特征對(duì)工作者在其中被評(píng)估的上下文進(jìn)行描述而并不明確涉及到該工作者所執(zhí)行的工作。例如，至少一些元級(jí)別特征可以對(duì)任務(wù)(或任務(wù)類型)本身的特性進(jìn)行描述。特征提取系統(tǒng)116可以將所提取的特征存儲(chǔ)在數(shù)據(jù)存儲(chǔ)120中。

上文所描述的特征涉及到眾包環(huán)境102的實(shí)際方面。例如，關(guān)注系統(tǒng)的特征可以描述一項(xiàng)任務(wù)的特定響應(yīng)簡檔(profile)，例如，指示大多數(shù)工作者在對(duì)該任務(wù)進(jìn)行響應(yīng)時(shí)選擇了選項(xiàng)A而不是選項(xiàng)B。其他特征可以涉及到工作者對(duì)于眾包環(huán)境102的一個(gè)方面的主觀感知。這些特征在這里被稱為關(guān)注信念的特征。例如，特定的關(guān)注信念的特征可以描述用戶對(duì)于一項(xiàng)任務(wù)的響應(yīng)簡檔的知識(shí)或者針對(duì)該響應(yīng)簡檔的主觀反應(yīng)。

工作者評(píng)估系統(tǒng)118基于特征而生成聲譽(yù)得分。該聲譽(yù)得分反映了工作者在未來執(zhí)行期望工作的傾向性。在一種情況下，工作者評(píng)估系統(tǒng)118使用兩個(gè)或多個(gè)階段來生成聲譽(yù)得分。更具體地，在一個(gè)實(shí)施方式中，在垃圾分析的第一階段中，工作者評(píng)估系統(tǒng)118可以針對(duì)工作者確定指示該所考慮的工作者是否構(gòu)成垃圾代理的垃圾得分。工作者評(píng)估系統(tǒng)118可以在工作者被確定為是誠實(shí)(非垃圾)工作者時(shí)執(zhí)行第二階段。在第二階段的質(zhì)量分析中，工作者評(píng)估系統(tǒng)118可以針對(duì)工作者確定聲譽(yù)得分。在另一個(gè)實(shí)施方式中，評(píng)估系統(tǒng)118可以在單個(gè)處理階段中執(zhí)行其垃圾分析和質(zhì)量分析。

更具體地，在一種情況下，評(píng)估系統(tǒng)118可以針對(duì)所考慮的每項(xiàng)任務(wù)(或每種任務(wù)類型)而為每個(gè)工作者生成垃圾得分。此外或備選地，評(píng)估系統(tǒng)118可以針對(duì)所有任務(wù)而為工作者計(jì)算整體垃圾得分，例如通過針對(duì)不同的相應(yīng)任務(wù)(或任務(wù)類型)而將針對(duì)該工作者的個(gè)體聲譽(yù)得分進(jìn)行平均，或者取最低的聲譽(yù)得分作為該工作者的代表性垃圾得分。類似地，評(píng)估系統(tǒng)118可以針對(duì)所考慮的每個(gè)工作者和每項(xiàng)任務(wù)計(jì)算聲譽(yù)得分，和/或針對(duì)所有任務(wù)為工作者計(jì)算整體聲譽(yù)得分。數(shù)據(jù)存儲(chǔ)122可以存儲(chǔ)評(píng)估系統(tǒng)118所產(chǎn)生的得分，包括垃圾得分和聲譽(yù)得分。

評(píng)估系統(tǒng)118可以基于一個(gè)或多個(gè)模型124來執(zhí)行以上操作。(多個(gè))模型124針對(duì)所考慮的工作者和任務(wù)將輸入特征轉(zhuǎn)換為輸出特征(例如，垃圾得分和聲譽(yù)得分)。在一種情況下，訓(xùn)練系統(tǒng)126可以通過基于數(shù)據(jù)存儲(chǔ)128中所標(biāo)記的訓(xùn)練數(shù)據(jù)而應(yīng)用監(jiān)管機(jī)器學(xué)習(xí)處理來產(chǎn)生(多個(gè))模型。更具體地，訓(xùn)練系統(tǒng)126產(chǎn)生任意一個(gè)或多個(gè)類型的模型，包括但并不局限于：計(jì)算特征的加權(quán)和的線性模型、決策樹模型、隨機(jī)森林模型、神經(jīng)網(wǎng)絡(luò)、基于聚類的模型、概率圖形模型(諸如貝葉斯分層模型)等。此外，可以使用任意的增強(qiáng)技術(shù)來產(chǎn)生模型。增強(qiáng)技術(shù)通過連續(xù)學(xué)習(xí)弱學(xué)習(xí)者的集合而操作，并且隨后產(chǎn)生將個(gè)體弱學(xué)習(xí)者的貢獻(xiàn)進(jìn)行組合的最終模型。該增強(qiáng)技術(shù)對(duì)在每次迭代應(yīng)用于訓(xùn)練數(shù)據(jù)的權(quán)重進(jìn)行調(diào)節(jié)，由此將關(guān)注點(diǎn)放在在該技術(shù)的先前迭代中被不正確分類的示例上。

評(píng)估后動(dòng)作系統(tǒng)130(為了簡明稱為“動(dòng)作系統(tǒng)”)基于評(píng)估系統(tǒng)118所生成的垃圾和/或聲譽(yù)得分而執(zhí)行一些動(dòng)作。在一種情況下，動(dòng)作系統(tǒng)130可以基于工作者的(多個(gè))得分而防止他或她接收到另外的任務(wù)，例如基于工作者構(gòu)成垃圾代理的假設(shè)或者確信工作者構(gòu)成具有執(zhí)行所識(shí)別任務(wù)的低能力的誠實(shí)實(shí)體。更具體地，動(dòng)作系統(tǒng)130可以始終都完全阻擋工作者；或者動(dòng)作系統(tǒng)130可以針對(duì)所定義的超時(shí)時(shí)段將工作者掛起。備選地或此外，動(dòng)作系統(tǒng)130可以基于工作者的(多個(gè))得分而對(duì)他或她被允許執(zhí)行的工作量進(jìn)行節(jié)制，而并不完全阻止該工作者執(zhí)行工作。備選地或此外，動(dòng)作系統(tǒng)130可以基于工作者的(多個(gè))得分而將他或她置于提高的未來審查之下。備選地或此外，動(dòng)作系統(tǒng)130可以基于工作者的(多個(gè))得分而前攝性地將他或她針對(duì)其具有最大已證明熟練度的任務(wù)路由給他或她。

備選地或此外，動(dòng)作系統(tǒng)130可以向工作者通知關(guān)于所識(shí)別任務(wù)或所有任務(wù)他或她的(多個(gè))得分。備選地或此外，動(dòng)作系統(tǒng)130可以根據(jù)工作者的(多個(gè))得分向他或她發(fā)送警告消息，和/或向適當(dāng)機(jī)構(gòu)通知工作者的可能惡意行為。備選地或此外，動(dòng)作系統(tǒng)130可以將工作者的(多個(gè))得分用作在基于高質(zhì)量工作者與低質(zhì)量工作者相比值得更大的回饋(例如，獎(jiǎng)金)的前提而計(jì)算向該工作者給予的回饋中的一個(gè)因素。備選地或此外，動(dòng)作系統(tǒng)130可以基于工作者的(多個(gè))得分而向他或她提供某種類型的非金錢獎(jiǎng)勵(lì)，諸如通過將該工作者指定為“月度工作者”，和/或在計(jì)算機(jī)可訪問的排行榜等上公開該工作者的成就等。

備選地或此外，動(dòng)作系統(tǒng)130可以使用工作者的(多個(gè))得分來確定與該工作者針對(duì)任務(wù)的響應(yīng)相關(guān)聯(lián)的置信度水平。動(dòng)作系統(tǒng)130進(jìn)而可以在計(jì)算各種聚合工作測(cè)量時(shí)，諸如在形成一致性測(cè)量等時(shí)，使用該置信度水平來對(duì)工作者的響應(yīng)進(jìn)行加權(quán)。以這樣的方法，具有高聲譽(yù)得分的工作者所進(jìn)行的響應(yīng)將在一致性中施加與具有較低聲譽(yù)得分的工作者所進(jìn)行的響應(yīng)相比更大的影響。

上文所提到的評(píng)估后操作是作為示例而非限制進(jìn)行描述；動(dòng)作系統(tǒng)130還可以執(zhí)行上文所未提到的另外的操作。

圖2示出了可以被用來實(shí)施圖1的眾包環(huán)境102的計(jì)算機(jī)實(shí)施的設(shè)備。該設(shè)備包括用于實(shí)施數(shù)據(jù)收集系統(tǒng)104、特征提取系統(tǒng)116、評(píng)估系統(tǒng)118、訓(xùn)練系統(tǒng)126和動(dòng)作系統(tǒng)130的工作處理架構(gòu)202。該系統(tǒng)(104,116,118,126,130)中的每一個(gè)可以對(duì)應(yīng)于與一個(gè)或多個(gè)存儲(chǔ)機(jī)制和/或其他數(shù)據(jù)處理設(shè)備(諸如路由器、負(fù)載平衡器等)相結(jié)合的一個(gè)或多個(gè)服務(wù)器計(jì)算設(shè)備。

在一種情況下，單個(gè)實(shí)體在單個(gè)地點(diǎn)或者以分布式的方式在多個(gè)地點(diǎn)實(shí)施工作處理架構(gòu)202的所有系統(tǒng)(104,116,118,126,130)。在另一種情況下，兩個(gè)或更多個(gè)實(shí)體可以實(shí)施工作處理架構(gòu)202的相應(yīng)部分。例如，第一實(shí)體可以實(shí)施數(shù)據(jù)收集系統(tǒng)104。第二實(shí)體可以實(shí)施工作處理架構(gòu)202的其余組件。也就是說，第二實(shí)體可以利用數(shù)據(jù)收集系統(tǒng)104的單獨(dú)服務(wù)來收集來自工作者106的響應(yīng)。第二實(shí)體可以利用工作處理架構(gòu)202的其余組件對(duì)該響應(yīng)進(jìn)行處理，例如通過基于該響應(yīng)生成一個(gè)或多個(gè)模型，并且隨后將那些模型應(yīng)用于實(shí)時(shí)操作階段。

每個(gè)工作者可以經(jīng)由任意類型的相應(yīng)用戶計(jì)算設(shè)備與數(shù)據(jù)收集系統(tǒng)104進(jìn)行交互。例如，第一工作者使用第一本地計(jì)算設(shè)備204，第二工作者使用第二計(jì)算設(shè)備等。用戶設(shè)備的說明性類型可以包括但并不局限于：臺(tái)式計(jì)算設(shè)備、膝上計(jì)算設(shè)備、游戲機(jī)設(shè)備、機(jī)頂盒設(shè)備、平板類型的計(jì)算設(shè)備、智能電話、媒體消費(fèi)設(shè)備、可穿戴計(jì)算設(shè)備等。另外，在一些實(shí)施方式中，動(dòng)作系統(tǒng)140可以經(jīng)由工作者的相應(yīng)用戶計(jì)算設(shè)備與他們進(jìn)行交互。例如，動(dòng)作系統(tǒng)130可以經(jīng)由工作者的設(shè)備向他們通知他們的聲譽(yù)得分。

至少一個(gè)計(jì)算機(jī)網(wǎng)絡(luò)208可以將工作者的用戶計(jì)算設(shè)備與工作處理架構(gòu)202的組件進(jìn)行耦合。在一些實(shí)施方式中，工作處理架構(gòu)202的組件也可以經(jīng)由計(jì)算機(jī)網(wǎng)絡(luò)208互相進(jìn)行交互。計(jì)算機(jī)網(wǎng)絡(luò)208可以對(duì)應(yīng)于局域網(wǎng)、廣域網(wǎng)(例如，互聯(lián)網(wǎng))、點(diǎn)對(duì)點(diǎn)鏈接，或者它們的組合。

在一些實(shí)施方式中，工作處理架構(gòu)202完全由集中部署的計(jì)算和存儲(chǔ)資源來實(shí)施，計(jì)算和存儲(chǔ)資源在關(guān)于每個(gè)工作者的位置處于遠(yuǎn)程的一個(gè)或多個(gè)位置處被提供。例如，工作處理架構(gòu)202可以由至少一個(gè)數(shù)據(jù)中心來提供，并且工作者可以對(duì)應(yīng)于在地理上分散于廣闊區(qū)域的公眾的成員。在另一種情況下，工作處理架構(gòu)202可以由公司的企業(yè)系統(tǒng)的一個(gè)或多個(gè)服務(wù)器所提供，并且工作者可以對(duì)應(yīng)于該公司的雇員。具有不同的相應(yīng)范圍的其他集中部署的實(shí)施方式也是可能的。在其他實(shí)施方式中，一個(gè)或多個(gè)本地計(jì)算設(shè)備可以執(zhí)行工作處理架構(gòu)202的一個(gè)或多個(gè)方面。例如，一個(gè)或多個(gè)本地計(jì)算設(shè)備可以計(jì)算特征中的至少一些，并且隨后將那些特征轉(zhuǎn)發(fā)至工作處理架構(gòu)202的位于遠(yuǎn)程的組件。(多個(gè))本地計(jì)算設(shè)備可以對(duì)應(yīng)于工作者所使用的用戶(客戶端)計(jì)算設(shè)備(例如，設(shè)備204、206)，和/或在相應(yīng)工作者的附近所提供的任意其他計(jì)算設(shè)備(諸如監(jiān)視工作者所執(zhí)行的工作的單獨(dú)監(jiān)視設(shè)備)。

圖3示出了評(píng)估系統(tǒng)118的一個(gè)實(shí)施方式。在這里所說明的上下文中，評(píng)估系統(tǒng)118關(guān)于所識(shí)別任務(wù)(或任務(wù)類型)而為所考慮的特定工作者生成聲譽(yù)得分。

在一個(gè)實(shí)施方式中，評(píng)估系統(tǒng)118包括垃圾評(píng)估模塊302和聲譽(yù)評(píng)估模塊304。垃圾評(píng)估模塊302生成垃圾得分，其反應(yīng)了工作者關(guān)于所識(shí)別任務(wù)(或任務(wù)類型)對(duì)應(yīng)于垃圾代理的可能性。垃圾評(píng)估模塊302可以使用至少一個(gè)垃圾評(píng)估模型306來執(zhí)行其操作。垃圾評(píng)估模型306通過基于(下文所描述的)多個(gè)輸入特征生成垃圾得分而進(jìn)行操作。

聲譽(yù)評(píng)估模塊304生成聲譽(yù)得分，其反應(yīng)了工作者針對(duì)所考慮的任務(wù)(或任務(wù)類型)執(zhí)行期望(例如，準(zhǔn)確)工作的傾向性。聲譽(yù)評(píng)估模塊304可以使用至少一個(gè)聲譽(yù)評(píng)估模型308來執(zhí)行該操作。聲譽(yù)評(píng)估模型308通過基于(下文所描述的)多個(gè)輸入特征生成聲譽(yù)得分而進(jìn)行操作。垃圾評(píng)估模塊302所生成的垃圾得分可以對(duì)應(yīng)于聲譽(yù)評(píng)估模型308所接收到的一個(gè)輸入特征。

垃圾評(píng)估模型306可以對(duì)應(yīng)于在離線監(jiān)管機(jī)器學(xué)習(xí)處理中或者基于某種其他模型生成技術(shù)所產(chǎn)生的至少一個(gè)模型。同樣，聲譽(yù)評(píng)估模型308可以對(duì)應(yīng)于在離線監(jiān)管機(jī)器學(xué)習(xí)處理中或者基于某種其他模型生成技術(shù)所產(chǎn)生的至少一個(gè)模型。部分B提供了有關(guān)可以被用來產(chǎn)生模型(306、308)的訓(xùn)練操作的另外的細(xì)節(jié)。

圖3中所描繪的評(píng)估系統(tǒng)118構(gòu)成了多階段系統(tǒng)，其中垃圾評(píng)估模塊302首先進(jìn)行操作，隨后是聲譽(yù)評(píng)估模塊304(假設(shè)垃圾評(píng)估模塊302指示工作者并不是垃圾代理)。在另一個(gè)實(shí)施方式中，評(píng)估系統(tǒng)118使用集成模塊來針對(duì)所考慮的工作者和任務(wù)生成垃圾得分和聲譽(yù)得分。該單個(gè)模塊可以使用在監(jiān)管機(jī)器學(xué)習(xí)處理中離線產(chǎn)生和/或通過其他技術(shù)所產(chǎn)生的一個(gè)或多個(gè)模型。

更一般地，在以下解釋中，評(píng)估系統(tǒng)118被稱為對(duì)個(gè)體任務(wù)或任務(wù)類型執(zhí)行其分析；然而，為了簡化解釋，括號(hào)中的短語“(或任務(wù)類型)”將并不在每種情況下都明確指出。換句話說，在一些實(shí)施方式中，評(píng)估系統(tǒng)118可以通過對(duì)任務(wù)所屬的任務(wù)類型執(zhí)行分析而對(duì)該任務(wù)執(zhí)行其分析，雖然這并非始終都被明確指出。

現(xiàn)在來到圖4和5，這些示圖描述了特征提取系統(tǒng)116可以通過其使用特征的集合對(duì)眾包環(huán)境102進(jìn)行表征的一種方式。如上文所提到的，評(píng)估系統(tǒng)118接受這些特征作為輸入信號(hào)。注意到，下文所描述的特征是作為示例而非限制被闡述；其他實(shí)施方式可以使用在任意方面都與下文所描述的特征不同的特征的集合。

以圖4開始，該示圖示出了描述眾包環(huán)境102中的不同變量可以如何對(duì)工作者的垃圾得分和聲譽(yù)得分的計(jì)算進(jìn)行影響的概率圖形模型402。在一個(gè)實(shí)施方式中，評(píng)估系統(tǒng)118使用圖形模型402本身來生成得分。在另一種情況下，評(píng)估系統(tǒng)118基于某種其他模型來生成得分；然而，即使在這種情況下，圖形模型402也用作用于對(duì)可以被饋送至評(píng)估系統(tǒng)118的不同特征進(jìn)行解釋的有用工具。

更具體地，圖4包括表示眾包環(huán)境102的不同方面的多個(gè)節(jié)點(diǎn)。例如，以實(shí)線繪制的節(jié)點(diǎn)反映了眾包環(huán)境102中的實(shí)際組件、事件、狀況等。這些節(jié)點(diǎn)在這里被稱為實(shí)際方面節(jié)點(diǎn)。將實(shí)際方面節(jié)點(diǎn)連接在一起的箭頭表示實(shí)際方面變量間的可能依賴性。這些關(guān)系要被理解為表示一種特定環(huán)境，其涉及到系統(tǒng)組件、工作者和任務(wù)的特定集合。其他環(huán)境設(shè)置可以表現(xiàn)出實(shí)際方面節(jié)點(diǎn)間的其他依賴性。通常，在一個(gè)實(shí)施方式中，模型開發(fā)者可以人工地定義圖形模型402中的節(jié)點(diǎn)間的關(guān)系，例如基于他或她對(duì)于眾包環(huán)境102的性質(zhì)的理解。備選地或此外，機(jī)器學(xué)習(xí)訓(xùn)練操作可以提供對(duì)于節(jié)點(diǎn)間的關(guān)系以及節(jié)點(diǎn)的重要性水平的理解。

以虛線所繪制的每個(gè)節(jié)點(diǎn)表示工作者對(duì)于眾包環(huán)境102的特定方面的信念和感知。每個(gè)這樣的節(jié)點(diǎn)在這里被稱為關(guān)注信念的節(jié)點(diǎn)。例如，如下文將要描述的，圖4中的一個(gè)實(shí)際節(jié)點(diǎn)反映了眾包環(huán)境102中存在意在檢測(cè)垃圾相關(guān)活動(dòng)的功能。補(bǔ)充的關(guān)注信念的節(jié)點(diǎn)(在相對(duì)應(yīng)的實(shí)際方面節(jié)點(diǎn)附近以虛線所繪制)反映了特定工作者對(duì)于該系統(tǒng)使用所識(shí)別功能來檢測(cè)垃圾相關(guān)活動(dòng)的知識(shí)。

在任意的特定環(huán)境設(shè)置中，在關(guān)注信念的變量和其他關(guān)注信念的變量之間以及在關(guān)注信念的變量和實(shí)際方面變量之間也存在關(guān)系。諸如圖4所示的概率圖形模型類型的任意種類的統(tǒng)計(jì)模型都可以數(shù)學(xué)地表達(dá)這些關(guān)系。這樣的模型的視覺描繪因此將包括：連接關(guān)注信念的節(jié)點(diǎn)(與用戶的狀態(tài)的信念和感知相關(guān)聯(lián))與其他關(guān)注信念的節(jié)點(diǎn)的箭頭；連接關(guān)注信念的節(jié)點(diǎn)與實(shí)際方面節(jié)點(diǎn)的箭頭；以及連接實(shí)際方面節(jié)點(diǎn)與其他實(shí)際方面節(jié)點(diǎn)的箭頭。然而，為了不產(chǎn)生過于混亂的描繪，圖4省略了涉及到用戶的信念和感知的關(guān)系的描繪。然而，以下解釋將提供涉及到關(guān)注信念的節(jié)點(diǎn)的可能依賴性的一些示例。

圖4將總體上以自下而上的方式進(jìn)行解釋。作為開始，節(jié)點(diǎn)404表示對(duì)工作者的行為進(jìn)行描述的一個(gè)或多個(gè)變量。該工作者的行為進(jìn)而可以使用針對(duì)該工作者的垃圾得分和聲譽(yù)得分進(jìn)行表達(dá)，垃圾得分和聲譽(yù)得分可以使用單階段模型或多階段模型來計(jì)算。如上文所闡述的，圖形模型402中的其他節(jié)點(diǎn)表示其他變量，其他變量描述眾包環(huán)境102中相應(yīng)的其他方面，一些變量涉及到實(shí)際方面，而其他變量涉及到所考慮的工作者的信念。這些其他變量直接或間接地被饋送至節(jié)點(diǎn)404中，指示眾包環(huán)境102的相對(duì)應(yīng)方面直接或間接地影響工作者的行為。

例如，實(shí)際方面節(jié)點(diǎn)406反映了所考慮的工作者關(guān)于所識(shí)別的一個(gè)或多個(gè)任務(wù)的歷史專門知識(shí)或技能水平。工作者的專門知識(shí)可以在工作者已經(jīng)在先前時(shí)機(jī)回答了特定任務(wù)(或多個(gè)任務(wù))的準(zhǔn)確性方面對(duì)其本身進(jìn)行證明。此外或備選地，工作者的專門知識(shí)可以關(guān)聯(lián)于該工作者已經(jīng)對(duì)所考慮的特定類型的一個(gè)或多個(gè)任務(wù)進(jìn)行響應(yīng)的時(shí)間長度，該工作者已經(jīng)整體上活躍的天數(shù)等。通常，工作者的專門知識(shí)可以被預(yù)期對(duì)工作者的聲譽(yù)得分施加正面影響，使得更高技能的工作者與更低技能的工作者相比將具有更高的聲譽(yù)得分；另一方面，工作者的垃圾得分可以被預(yù)期隨著工作者的專門知識(shí)的水平的增長而降低。該節(jié)點(diǎn)406的關(guān)注信念的對(duì)應(yīng)方可以描述工作者對(duì)于他或她自己的技能水平的感知。

實(shí)際方面節(jié)點(diǎn)408與反映了工作者與所考慮的任務(wù)(或多個(gè)任務(wù))的當(dāng)前從事的一個(gè)或多個(gè)變量相關(guān)聯(lián)。換句話說，該節(jié)點(diǎn)408反映了工作者在最近某個(gè)時(shí)間幀內(nèi)的活動(dòng)水平，例如如用戶剛剛完成的一個(gè)或多個(gè)任務(wù)，或者用戶在當(dāng)前眾包會(huì)話中的活動(dòng)，或者用戶在當(dāng)前一天過程中的活動(dòng)等所反映的。作為一部分，工作者的當(dāng)前從事可以由該工作者最近在特定任務(wù)上所花費(fèi)的時(shí)間量(例如，用戶的停留時(shí)間)、用戶在最近時(shí)間幀中(例如，在當(dāng)前一天中)已經(jīng)完成的任務(wù)數(shù)量、用戶的當(dāng)前活動(dòng)水平與其他用戶的當(dāng)前活動(dòng)水平的比較等所表現(xiàn)。在許多情況下，非?？焖俚?相對(duì)于某種所指定的標(biāo)準(zhǔn))對(duì)任務(wù)進(jìn)行回答和/或在短時(shí)間段內(nèi)(相對(duì)于某種所指定的標(biāo)準(zhǔn))對(duì)大量任務(wù)進(jìn)行回答的工作者可以對(duì)應(yīng)于低質(zhì)量工作者或垃圾代理，為低的聲譽(yù)得分和高的垃圾得分是做出解釋。該節(jié)點(diǎn)408的主觀的關(guān)注信念的對(duì)應(yīng)方可以反映工作者對(duì)于他自己相對(duì)于其他用戶的從事水平的感知等。

不同因素可以對(duì)工作者與任務(wù)的從事進(jìn)行影響，諸如眾包環(huán)境102的當(dāng)前激勵(lì)結(jié)構(gòu)，其由與實(shí)際方面節(jié)點(diǎn)410相關(guān)聯(lián)的(多個(gè))變量所反映。更具體地，該激勵(lì)結(jié)構(gòu)定義了眾包環(huán)境102在完成任務(wù)時(shí)向其工作者所給予的回饋(如果存在)的類型和多少以及給予那些回饋的狀況。提供相對(duì)更大回饋和/或提供相對(duì)頻繁回饋的激勵(lì)結(jié)構(gòu)可以被預(yù)期增加工作者與任務(wù)的從事。對(duì)應(yīng)方的關(guān)注信念的節(jié)點(diǎn)可以描述工作者理解眾包環(huán)境102的激勵(lì)結(jié)構(gòu)的程度，特別是當(dāng)存在與可能并非輕易被所有工作者明白的激勵(lì)結(jié)構(gòu)進(jìn)行“博弈”的方式時(shí)。

實(shí)際方面節(jié)點(diǎn)412與反應(yīng)所考慮的任務(wù)的難度或復(fù)雜度的一個(gè)或多個(gè)變量相關(guān)聯(lián)。任務(wù)的復(fù)雜度可以以不同方式影響工作者的行為。例如，任務(wù)的復(fù)雜度水平會(huì)凸顯所考慮的工作者的相應(yīng)強(qiáng)度和弱點(diǎn)，例如由用戶是否能夠正確對(duì)任務(wù)進(jìn)行回答所反映的。并且出于該原因，任務(wù)的復(fù)雜度水平可以被認(rèn)為與工作者的聲譽(yù)相關(guān)行為有關(guān)。

另外，與更復(fù)雜的任務(wù)相比，垃圾代理可以更能夠利用“簡單”任務(wù)。出于該原因，任務(wù)的復(fù)雜度可以被認(rèn)為還對(duì)所考慮的工作者的垃圾相關(guān)行為進(jìn)行影響。例如，要求在兩個(gè)二元選項(xiàng)之間進(jìn)行簡單選擇的任務(wù)與要求工作者輸入復(fù)雜的輸入序列的任務(wù)相比可以表示更容易被攻擊的目標(biāo)，尤其是在該輸入序列在任務(wù)實(shí)例的每次呈現(xiàn)時(shí)變化的情況下。換句話說，機(jī)器人可以成功模仿由第一種任務(wù)而不是第二種任務(wù)所要求的響應(yīng)的種類。針對(duì)垃圾代理，節(jié)點(diǎn)412的關(guān)注信念的對(duì)應(yīng)方可以測(cè)量工作者所理解的可以如何對(duì)任務(wù)的困難水平進(jìn)行利用以利用該任務(wù)的程度。

一個(gè)實(shí)際方面節(jié)點(diǎn)414與反映出工作者產(chǎn)生垃圾或低質(zhì)量響應(yīng)的傾向性的一個(gè)或多個(gè)變量相關(guān)聯(lián)。眾包環(huán)境102中的不同因素可以進(jìn)而對(duì)該因素進(jìn)行影響。例如，(如由節(jié)點(diǎn)410所反映的)提供大量和/或頻繁回饋的當(dāng)前激勵(lì)結(jié)構(gòu)可以被預(yù)期鼓勵(lì)垃圾代理(以及誠實(shí)工作者)執(zhí)行大量任務(wù)。另一方面，垃圾代理在財(cái)務(wù)回饋很少或沒有時(shí)可以放棄其欺詐活動(dòng)。然而，即使對(duì)于低支付的任務(wù)，一些垃圾代理仍然可以被其他惡意目標(biāo)所驅(qū)使，諸如期望破壞眾包環(huán)境102的正常操作。對(duì)應(yīng)方的關(guān)注信念的節(jié)點(diǎn)可以反映出工作者對(duì)于他們的行為本質(zhì)上被歸類為垃圾相關(guān)的認(rèn)知。

實(shí)際方面節(jié)點(diǎn)416指示所考慮的工作者之前是否在眾包環(huán)境102中提交垃圾的行為中已經(jīng)被抓住過。實(shí)際方面節(jié)點(diǎn)418指示所考慮的工作者當(dāng)前被抓住例如在當(dāng)前事務(wù)中從事類似垃圾的活動(dòng)。反映當(dāng)前活動(dòng)或先前活動(dòng)的這樣的狀態(tài)對(duì)工作者在當(dāng)前時(shí)機(jī)應(yīng)當(dāng)被正式標(biāo)記為垃圾代理的可能性進(jìn)行影響。換句話說，與節(jié)點(diǎn)416和418相關(guān)聯(lián)的變量對(duì)由節(jié)點(diǎn)414所反映的結(jié)論進(jìn)行影響。

節(jié)點(diǎn)416的關(guān)注信念的對(duì)應(yīng)方可以反映出工作者對(duì)于他或她類似垃圾的活動(dòng)在先前時(shí)機(jī)實(shí)際上已經(jīng)被檢測(cè)到的知識(shí)。節(jié)點(diǎn)418的關(guān)注信念的對(duì)應(yīng)方反映出工作者對(duì)于他或她將被抓住在當(dāng)前事務(wù)中進(jìn)行類似垃圾的活動(dòng)的可能性的感知。

實(shí)際方面節(jié)點(diǎn)420反映了眾包環(huán)境102檢測(cè)垃圾代理的垃圾相關(guān)活動(dòng)的能力。對(duì)應(yīng)方的關(guān)注信念的節(jié)點(diǎn)可以描述工作者對(duì)于眾包環(huán)境102檢測(cè)工作者的非期望活動(dòng)的能力的感知。如圖4中所圖示的，環(huán)境102檢測(cè)垃圾的實(shí)際能力可以影響工作者將實(shí)際進(jìn)行垃圾的可能性(由實(shí)際方面節(jié)點(diǎn)418所反映的)。雖然圖4中并未示出，但是工作者對(duì)于環(huán)境檢測(cè)垃圾的能力的感知將也可能影響他或她對(duì)于他或她將被抓住在當(dāng)前事務(wù)中制造垃圾的主觀評(píng)估。并且用戶在該方面的信念也可以影響該用戶將制造垃圾的實(shí)際可能性(同樣，如節(jié)點(diǎn)418所反映的)。這是兩個(gè)關(guān)注信念的節(jié)點(diǎn)之間以及關(guān)注信念的節(jié)點(diǎn)和實(shí)際方面節(jié)點(diǎn)之間的一種可能關(guān)系的示例。如上文所提到的，圖4總體上省略了這些關(guān)系以促進(jìn)說明，并且因?yàn)檫@些關(guān)系本質(zhì)上是特定于環(huán)境的(意味著它們并不是固定的，并且可以針對(duì)不同設(shè)置而變化)。

如實(shí)際方面節(jié)點(diǎn)420所反映的環(huán)境檢測(cè)垃圾的能力進(jìn)而可以取決于一個(gè)或多個(gè)其他因素。例如，如上文所提到的，一些任務(wù)使得自己與其他任務(wù)相比更多地被垃圾制造者所利用。圖4通過實(shí)際方面節(jié)點(diǎn)422反映了當(dāng)前任務(wù)的客觀垃圾敏感性。例如，考慮在兩個(gè)選項(xiàng)之間提供二元選擇的第一種類的任務(wù)。進(jìn)一步假設(shè)該任務(wù)的響應(yīng)簡檔朝向選項(xiàng)中的一個(gè)(例如，選項(xiàng)“A”)發(fā)生偏差。在該情形中，垃圾代理可能在沒有將其本身與誠實(shí)工作者進(jìn)行區(qū)分的情況下自動(dòng)針對(duì)選項(xiàng)“A”提交大量響應(yīng)。作為對(duì)比，考慮要求自由形式的回答、復(fù)雜的交互序列等的任務(wù)。與第一類型的任務(wù)相比，垃圾代理針對(duì)這種類型的問題所進(jìn)行的毫無意義的回答將更容易是顯而易見的。

涉及到實(shí)際方面節(jié)點(diǎn)422的對(duì)應(yīng)方的關(guān)注信念的節(jié)點(diǎn)可以反映出垃圾代理識(shí)別出當(dāng)前任務(wù)容易被利用的能力。例如，基于對(duì)于任務(wù)的響應(yīng)簡檔的知識(shí)的垃圾代理可以處于對(duì)其進(jìn)行利用的更有效的位置。工作者在該方面中的知識(shí)可以以不同方式進(jìn)行評(píng)定。例如，假設(shè)眾包環(huán)境102保存有關(guān)特定任務(wù)的響應(yīng)簡檔的統(tǒng)計(jì)信息。工作者對(duì)于該信息的知識(shí)可以基于該工作者已經(jīng)通過合法通道或不正當(dāng)?shù)卦L問了該信息的證據(jù)進(jìn)行判定。在其他情況下，工作者對(duì)于任務(wù)的可利用性的理解可以間接地從他或她針對(duì)具有不同的相應(yīng)結(jié)構(gòu)的不同類型的任務(wù)的行為進(jìn)行推導(dǎo)。

上文的解釋可以被概括為任意關(guān)注信念的節(jié)點(diǎn)。在一些情況下，特征提取系統(tǒng)116能夠提取用戶了解或理解特定信息或者已經(jīng)針對(duì)該信息采用了特定主觀立場(chǎng)或姿態(tài)的證據(jù)。在其他情況下，工作者的精神狀態(tài)可以基于他或她的行為被間接推導(dǎo)。實(shí)際上，環(huán)境102甚至可以給出專門被設(shè)計(jì)為暴露用戶的精神狀態(tài)的任務(wù)，因?yàn)檫@涉及到他們執(zhí)行垃圾相關(guān)工作的傾向性。

檢測(cè)垃圾相關(guān)活動(dòng)的實(shí)際能力(如實(shí)際方面節(jié)點(diǎn)420所反映的)還可以取決于作為整體的眾包環(huán)境102的一個(gè)或多個(gè)實(shí)際特征，如由與實(shí)際方面節(jié)點(diǎn)424相關(guān)聯(lián)的一個(gè)或多個(gè)變量所反映。例如，節(jié)點(diǎn)424可以部分反映出眾包環(huán)境102可能獨(dú)立于分析引擎114而用來檢測(cè)和/或阻礙垃圾代理和低質(zhì)量工作者的其他測(cè)量。例如，節(jié)點(diǎn)424可以指示眾包環(huán)境102是否使用了任意補(bǔ)充功能(例如，防火墻、病毒保護(hù)引擎、垃圾檢測(cè)引擎、CAPTCHA接口等)來獨(dú)立地減少眾包系統(tǒng)102中垃圾引擎的普及。節(jié)點(diǎn)424還可以對(duì)眾包環(huán)境102在其檢測(cè)到垃圾代理時(shí)所應(yīng)用的策略和懲罰規(guī)定進(jìn)行描述。

頂級(jí)的實(shí)際方面節(jié)點(diǎn)424還可以表示作為整體的眾包環(huán)境102的其他方面。這些方面可以部分影響眾包環(huán)境102所托管的任務(wù)的性質(zhì)(如實(shí)際方面節(jié)點(diǎn)412和422所反映)、眾包環(huán)境102的激勵(lì)結(jié)構(gòu)(如實(shí)際方面節(jié)點(diǎn)410所反映)等。頂級(jí)節(jié)點(diǎn)420還可以提供與眾包環(huán)境102相關(guān)聯(lián)的典型工作者群體的概況、眾包環(huán)境102所托管的任務(wù)集合、眾包環(huán)境102所針對(duì)的市場(chǎng)、與眾包環(huán)境102相關(guān)聯(lián)的業(yè)務(wù)量負(fù)載等。

例如，關(guān)于上文所描述的系統(tǒng)級(jí)別的因素，迎合熟練工作者(例如，科學(xué)家、技師等)的眾包環(huán)境可以比針對(duì)一般公眾開放的眾包環(huán)境表現(xiàn)出較少的垃圾。另外，要求用戶在針對(duì)任務(wù)進(jìn)行響應(yīng)之前提供個(gè)人憑證的眾包環(huán)境可以被認(rèn)為比允許匿名參與的眾包環(huán)境表現(xiàn)出更少的垃圾等。

一個(gè)或多個(gè)對(duì)應(yīng)方的關(guān)注信念的節(jié)點(diǎn)可以描述工作者對(duì)于與實(shí)際方面節(jié)點(diǎn)424相關(guān)聯(lián)的任意上文所描述的客觀因素的理解和/或主觀響應(yīng)。

圖4示出了上文所描述的每個(gè)節(jié)點(diǎn)(404-424)以及每個(gè)對(duì)應(yīng)方的關(guān)注信念的節(jié)點(diǎn)都利用符號(hào)“F”進(jìn)行注釋。該注釋指示特征提取系統(tǒng)116可以對(duì)描述眾包環(huán)境102中與圖4中的每個(gè)相應(yīng)實(shí)際方面節(jié)點(diǎn)相關(guān)聯(lián)的每個(gè)方面以及與每個(gè)關(guān)注信念的節(jié)點(diǎn)相關(guān)聯(lián)的有關(guān)該實(shí)際方面的每個(gè)信念的一個(gè)或多個(gè)特征進(jìn)行制定。為了引用一個(gè)示例，考慮實(shí)際方面節(jié)點(diǎn)412，其可以表示與所識(shí)別任務(wù)相關(guān)聯(lián)的難度。特征提取系統(tǒng)116可以生成描述與該任務(wù)相關(guān)聯(lián)的回答數(shù)量的第一特征，其可以用作該任務(wù)的難度水平的一個(gè)代理表示。特征提取系統(tǒng)116可以生成描述與該任務(wù)相關(guān)聯(lián)的回答分布的第二特征，其可以用作難度水平的另一個(gè)代理表示。也就是說，高度復(fù)雜的任務(wù)可以被期望與簡單任務(wù)相比生成更寬的回答分布。

雖然圖4中并未示出，但是特征提取系統(tǒng)116還可以識(shí)別描述節(jié)點(diǎn)間的關(guān)系的特征。在另一種情況下，特征提取系統(tǒng)116可以僅生成與節(jié)點(diǎn)而并非節(jié)點(diǎn)間的關(guān)系相關(guān)聯(lián)的特征。然而在后者的情況下，訓(xùn)練系統(tǒng)126可以在訓(xùn)練處理期間自動(dòng)發(fā)現(xiàn)節(jié)點(diǎn)間的關(guān)系，即使這些關(guān)系事先并未明確定義。

作為關(guān)于圖4的最后說明，上文的描述是基于分析引擎114在工作者與眾包環(huán)境102進(jìn)行交互時(shí)執(zhí)行垃圾得分和聲譽(yù)得分的實(shí)時(shí)生成的假設(shè)。在另一種情況下，如上文所給出的，分析引擎114可以以非實(shí)時(shí)的基礎(chǔ)(例如以周期性的基礎(chǔ))來執(zhí)行其分析。在該情況下，分析引擎114可以定義用戶的“當(dāng)前”行為以對(duì)應(yīng)于用戶的最近行為，而無論其在何時(shí)發(fā)生。此外或備選地，分析引擎114可以將任意先前時(shí)間定義為當(dāng)前時(shí)間，并且關(guān)于該所指定的時(shí)間執(zhí)行分析。

圖5描述了表示眾包環(huán)境102中與圖4相比的不同特性502的另一種方式。如所示出的，眾包環(huán)境102可以沿至少三條主要描述軸線進(jìn)行表達(dá)，例如通過將該環(huán)境概念化為具有關(guān)注工作者的特性集合504，關(guān)注任務(wù)的特性集合506以及關(guān)注系統(tǒng)的特性集合508。換句話說，圖5將與圖4中的節(jié)點(diǎn)404-424相關(guān)聯(lián)的變量分組為三個(gè)主要類別：工作者類別、任務(wù)類別和系統(tǒng)類別。其他特性(510、512、514)描述了關(guān)注信念的特性，例如涉及到工作者對(duì)于相對(duì)應(yīng)的實(shí)際的關(guān)注工作、關(guān)注任務(wù)和關(guān)注系統(tǒng)的特性(504、506、508)的感知。其他特性(未示出)可以描述上文所描述多個(gè)方面間的關(guān)系。

每個(gè)關(guān)注工作者的特性表示至少一個(gè)工作者在眾包環(huán)境102中所執(zhí)行的工作。例如，一個(gè)關(guān)注工作者的特性可以表示該工作者所執(zhí)行的當(dāng)前工作量。該特性因此可以涉及到與圖4的實(shí)際方面節(jié)點(diǎn)408相關(guān)聯(lián)的(多個(gè))變量。另一個(gè)關(guān)注工作者的特性可以表示該工作者所執(zhí)行的工作的歷史準(zhǔn)確性。該特性因此可以部分涉及到與圖4中的實(shí)際方面節(jié)點(diǎn)406相關(guān)聯(lián)的(多個(gè))變量。

每個(gè)關(guān)注任務(wù)的特性表示在眾包環(huán)境102中所執(zhí)行的至少一項(xiàng)任務(wù)。例如，一個(gè)關(guān)注任務(wù)的特性可以表示所識(shí)別任務(wù)針對(duì)被垃圾制造者所利用的客觀敏感性。該特性可以對(duì)應(yīng)于與圖4中的實(shí)際方面節(jié)點(diǎn)422相關(guān)聯(lián)的(多個(gè))變量。另一個(gè)關(guān)注任務(wù)的特性可以表示所識(shí)別任務(wù)的評(píng)定難度水平等。該特性對(duì)應(yīng)于與圖4中的實(shí)際方面節(jié)點(diǎn)412和422相關(guān)聯(lián)的(多個(gè))變量。

每個(gè)關(guān)注系統(tǒng)的特性表示眾包環(huán)境102的配置的實(shí)際方面。例如，一個(gè)關(guān)注系統(tǒng)的特性可以描述眾包環(huán)境102的激勵(lì)結(jié)構(gòu)。該特性可以涉及到與圖4中的實(shí)際方面節(jié)點(diǎn)410相關(guān)聯(lián)的(多個(gè))變量。另一個(gè)關(guān)注系統(tǒng)的特性可以標(biāo)識(shí)眾包環(huán)境所采用以減少垃圾相關(guān)活動(dòng)和低質(zhì)量工作的出現(xiàn)的功能(如果存在)。該特性可以給出與圖4中的實(shí)際方面節(jié)點(diǎn)424相關(guān)聯(lián)的(多個(gè))變量。上文的每個(gè)特性可以以上文關(guān)于圖4所描述的方式而具有主觀的關(guān)注信念的對(duì)應(yīng)方。

圖5指示實(shí)際特性的三個(gè)單獨(dú)范疇可以至少部分重疊。例如，在描述工作者與所識(shí)別任務(wù)的從事時(shí)，關(guān)注工作者的特性也可以對(duì)任務(wù)的性質(zhì)進(jìn)行參考。然而該特征的主要關(guān)注點(diǎn)在于工作者所執(zhí)行的工作。另一方面，關(guān)注任務(wù)的特征可以通過描述工作者已經(jīng)對(duì)該任務(wù)進(jìn)行響應(yīng)的方式而嘗試捕捉任務(wù)的性質(zhì)。雖然該關(guān)注任務(wù)的特性對(duì)工作者的行為進(jìn)行了參考，但是其主要意圖或關(guān)注點(diǎn)是描述任務(wù)的性質(zhì)，而不是直接捕捉任意一個(gè)工作者的行為。類似地，不同的關(guān)注信念的范疇可以互相交叉，以及與不同的實(shí)際方面范疇交叉。

總體上，上文所描述的特性中的至少一些可以對(duì)應(yīng)于元級(jí)別特性，元級(jí)別特性中的每一個(gè)描述其中工作由工作者所執(zhí)行的上下文，但是并不對(duì)該工作者所執(zhí)行的工作進(jìn)行具體參考。例如，一個(gè)關(guān)注任務(wù)的特性可以對(duì)應(yīng)于元級(jí)別特性，因?yàn)槠涿枋隽怂R(shí)別任務(wù)本身，而并不參考工作者所執(zhí)行的工作。

關(guān)注工作者的特征的集合可以被用來表達(dá)實(shí)際方面的關(guān)注工作者的特性，關(guān)注任務(wù)的特征的集合可以被用來表達(dá)實(shí)際方面的關(guān)注任務(wù)的特性，并且關(guān)注系統(tǒng)的特征的集合可以被用來表達(dá)實(shí)際方面的關(guān)注系統(tǒng)的特性。關(guān)注信念的特征的集合可以以類似方式被建立。

另外，元級(jí)別特征的集合對(duì)應(yīng)于眾包環(huán)境102的元級(jí)別特性。在一些實(shí)施方式中，訓(xùn)練系統(tǒng)126可以使用元級(jí)別特征來產(chǎn)生可以應(yīng)用于許多不同任務(wù)而并不僅是具體的個(gè)體任務(wù)的至少一個(gè)模型。換句話說，元級(jí)別特征(除了關(guān)注工作者的特征等之外)的使用用來對(duì)訓(xùn)練系統(tǒng)126所產(chǎn)生的(多個(gè))模型進(jìn)行概括，這使得它們可以適配于許多不同的任務(wù)，即使是還沒有被應(yīng)用于眾包環(huán)境102的新任務(wù)。許多元級(jí)別特征將描述眾包環(huán)境102的實(shí)際方面。但是也可能對(duì)一些關(guān)注信念的元級(jí)別特征進(jìn)行制定，諸如通過表達(dá)大多數(shù)工作者關(guān)于特定任務(wù)所共享的信念；該特征可以被認(rèn)為是元級(jí)別特征，因?yàn)槠洳⒎仟M窄地關(guān)注于任意一個(gè)工作者的行為，而是可以用作總體上描述任務(wù)的另一種方式。換句話說，這樣的特征描述了針對(duì)任務(wù)的聚合主觀響應(yīng)。

每個(gè)個(gè)體特征可以在描述其特性時(shí)利用特征空間的一個(gè)或多個(gè)維度。圖5列舉了每種相應(yīng)特征類別的代表性維度。首先考慮關(guān)注工作者的特征的集合。關(guān)注工作者的特征可以涉及到任意工作者相關(guān)的范圍，例如通過標(biāo)識(shí)單個(gè)工作者所執(zhí)行的工作、一種類型或類別的工作者所執(zhí)行的工作或者所有工作者所執(zhí)行的工作。此外或備選地，關(guān)注工作者的特征可以描述所考慮的工作者的至少一個(gè)非行為屬性，諸如該工作者的ID、該工作者的人口統(tǒng)計(jì)特性的某個(gè)方面、該工作者的垃圾相關(guān)狀態(tài)(和/或其他狀態(tài))等。

此外或備選地，關(guān)注工作者的特征可以參考任意時(shí)間范圍來描述工作者的行為，諸如工作者所完成的最近任務(wù)(或多個(gè)任務(wù))，或者之前的工作者活動(dòng)的涵蓋更廣的時(shí)間范圍。此外或備選地，關(guān)注工作者的特征可以在任意任務(wù)范圍的上下文中描述工作者的行為，諸如具體任務(wù)、任務(wù)類型(例如，與任務(wù)所屬的任務(wù)類別相關(guān)聯(lián))、所有任務(wù)等。

此外或備選地，關(guān)注工作者的特征可以描述工作者關(guān)于任意一個(gè)或多個(gè)任務(wù)的(多個(gè))響應(yīng)的準(zhǔn)確性。此外或備選地，關(guān)注工作者的特征可以在工作者所執(zhí)行的工作數(shù)量的上下文中描述工作者的行為等。

此外或備選地，關(guān)注工作者的特征使用任意一個(gè)或多個(gè)量度來表達(dá)上文闡述的任意特性。在一些情況下，該量度嘗試在并不參考任意其他行為的情況下測(cè)量用戶的所識(shí)別行為。例如，關(guān)注工作者的特征可以通過確定工作者已經(jīng)在對(duì)任務(wù)進(jìn)行回復(fù)中花費(fèi)了多少時(shí)間來表達(dá)該工作者與當(dāng)前任務(wù)的從事，該時(shí)間從該工作者開始該任務(wù)的時(shí)點(diǎn)進(jìn)行測(cè)量(并且被稱為停留時(shí)間)。在其他情況下，該量度嘗試將該工作者的當(dāng)前行為與該工作者的先前行為進(jìn)行比較，先前行為通過一些時(shí)間范圍進(jìn)行測(cè)量。在其他情況下，該量度嘗試將該工作者的行為相對(duì)于其他工作者的行為進(jìn)行比較。在其他情況下，該量度嘗試將一個(gè)或多個(gè)工作者跨不同任務(wù)或者關(guān)于一個(gè)任務(wù)類別中的多個(gè)任務(wù)的行為進(jìn)行比較等。

量度本身可以利用任意(多個(gè))數(shù)學(xué)運(yùn)算，諸如(多個(gè))平均值計(jì)算、(多個(gè))方差計(jì)算、(多個(gè))熵計(jì)算、(多個(gè))比率計(jì)算、(多個(gè))最小值和/或最大值計(jì)算等。另外，在一些情況下，評(píng)估系統(tǒng)118可以通過首先排除垃圾代理在所考慮的輸入數(shù)據(jù)集合中的貢獻(xiàn)來執(zhí)行計(jì)算。

一些量度還可以將工作者的響應(yīng)與正確性、真實(shí)性或一些其他期望性表達(dá)的一些標(biāo)準(zhǔn)進(jìn)行比較。在第一種情況下，針對(duì)任務(wù)的正確的(或以其他方式期望的)響應(yīng)被事先定義。這樣的標(biāo)準(zhǔn)可以被比喻地稱為黃金標(biāo)準(zhǔn)，并且其所涉及的任務(wù)可以被稱為黃金集合任務(wù)。在第二種情況下，針對(duì)任務(wù)的正確的(或以其他方式期望的)響應(yīng)通過一個(gè)或多個(gè)工作者的一致性進(jìn)行定義。

一致性進(jìn)而可以以任意特定于環(huán)境的方式進(jìn)行定義。在一種情況下，工作者間的一致性無論何時(shí)在提供特定響應(yīng)的人的百分比超過規(guī)定閾值時(shí)被認(rèn)為被建立，假設(shè)已經(jīng)執(zhí)行任務(wù)的總?cè)藬?shù)也超過了另一個(gè)規(guī)定閾值。另外，在一些實(shí)施方式中，特征提取系統(tǒng)116可以依賴于已知具有滿意的聲譽(yù)得分的工作者群體來建立一致性。另外，在一些實(shí)施方式中，特征提取系統(tǒng)116可以在計(jì)算一致性時(shí)形成工作者所給出的回答的加權(quán)平均值，其中權(quán)重基于與相應(yīng)工作者相關(guān)聯(lián)的聲譽(yù)得分。

接下來考慮關(guān)注任務(wù)的特征的集合。關(guān)注任務(wù)的特征可以涉及到任意任務(wù)相關(guān)的范圍，例如通過描述單個(gè)任務(wù)的特性、任務(wù)類型的特性或者所有任務(wù)的特性。備選地或此外，關(guān)注任務(wù)的特征可以描述一個(gè)或多個(gè)任務(wù)的任意屬性，諸如(多個(gè))任務(wù)的結(jié)構(gòu)屬性或者(多個(gè))任務(wù)的響應(yīng)簡檔。任務(wù)的結(jié)構(gòu)描述該任務(wù)的用戶接口特性，例如由對(duì)問題進(jìn)行措辭的方式和/或與其回答相關(guān)聯(lián)的選項(xiàng)范圍等所定義。任務(wù)的響應(yīng)簡檔描述了一個(gè)或多個(gè)工作者已經(jīng)針對(duì)該任務(wù)所提供的響應(yīng)。該響應(yīng)簡檔進(jìn)而可以關(guān)于任意時(shí)間范圍、工作者相關(guān)范圍和/或任務(wù)相關(guān)范圍進(jìn)行表達(dá)。最后，如上文所提到的，關(guān)注任務(wù)的特征可以使用任意(多個(gè))量度來描述其特性。

最后考慮關(guān)注系統(tǒng)的特征的集合。在實(shí)際方面特征的范疇，一個(gè)或多個(gè)關(guān)注系統(tǒng)的特征可以表征眾包環(huán)境102所針對(duì)的市場(chǎng)。該市場(chǎng)可以涉及到任務(wù)的主題、任務(wù)的目標(biāo)受眾等。一個(gè)或多個(gè)其他關(guān)注系統(tǒng)的特征可以標(biāo)識(shí)眾包環(huán)境102是否采用了任意補(bǔ)充功能(諸如防火墻、垃圾檢測(cè)引擎等)來減少垃圾代理和低質(zhì)量工作的出現(xiàn)。一個(gè)或多個(gè)其他關(guān)注系統(tǒng)的特征可以對(duì)眾包環(huán)境102的激勵(lì)結(jié)構(gòu)進(jìn)行描述。一個(gè)或多個(gè)其他關(guān)注系統(tǒng)的特征可以標(biāo)識(shí)參與眾包環(huán)境102的工作者群體的一些高級(jí)方面，諸如通過描述以每天為基礎(chǔ)的平均工作者數(shù)量、當(dāng)前工作者數(shù)量等。一個(gè)或多個(gè)其他關(guān)注系統(tǒng)的特征可以描述眾包環(huán)境102所托管的任務(wù)的一些高級(jí)方面，諸如當(dāng)前被托管的任務(wù)數(shù)量、那些任務(wù)的來源等。一個(gè)或多個(gè)其他關(guān)注系統(tǒng)的特征可以描述眾包環(huán)境102的業(yè)務(wù)量特性的某一方面，諸如其吞吐量、峰值負(fù)載等。進(jìn)一步重復(fù)提到，上文所描述的任意特征都可以具有主觀對(duì)應(yīng)方，其對(duì)應(yīng)于工作者針對(duì)眾包環(huán)境102的特定實(shí)際方面的知識(shí)和/或主觀反應(yīng)。

(下文的)部分C提供了可以在一個(gè)非限制性的眾包環(huán)境中使用的一些特征的代表性采樣。然而，該部分中所描述的特征以及以上所闡述的維度是作為示例而非限制被闡述。其他眾包環(huán)境可以采用在任意方面與這里所描述的特征相比不同的特征集合。

現(xiàn)在來到圖6-8，這些示圖示出了圖3的聲譽(yù)評(píng)估模塊304的三個(gè)相應(yīng)實(shí)例化(602、702、802)，它們可以對(duì)應(yīng)于獨(dú)立的模塊或者與垃圾評(píng)估模塊302集成的模塊。在圖6的情況下，聲譽(yù)評(píng)估模塊602包括多個(gè)特定于任務(wù)的模型(例如，模型604,606,…608)。每個(gè)特定于任務(wù)的模型被配置為針對(duì)特定任務(wù)或任務(wù)類型執(zhí)行分析。聲譽(yù)評(píng)估模塊602可以選擇應(yīng)用特定的特定于任務(wù)的模型以適應(yīng)當(dāng)前所考慮的任務(wù)。

在圖7的情況下，聲譽(yù)評(píng)估模塊702提供單個(gè)全局任務(wù)無關(guān)的模型704。全局任務(wù)無關(guān)的模型704被配置為針對(duì)多個(gè)任務(wù)執(zhí)行分析，例如通過以上文所描述的方式利用元級(jí)別特征的使用。在另一個(gè)實(shí)施方式中(未示出)，多個(gè)任務(wù)無關(guān)的模型可以針對(duì)不同的任務(wù)族群執(zhí)行分析。每個(gè)族群是指具有一個(gè)或多個(gè)共同特性的任務(wù)類別。在該實(shí)施例中，聲譽(yù)評(píng)估模塊702可以選擇特定的任務(wù)無關(guān)的模型來適應(yīng)所考慮的任務(wù)種類。

在圖8的情況下，聲譽(yù)評(píng)估模塊802提供在相應(yīng)階段執(zhí)行它們的分析的兩個(gè)或更多個(gè)模型(804,806,…808)。也就是說，第一模型804的輸出向第二模型806提供輸入，第二模型806的輸出向第三模型(未示出)提供輸入等。為了引用圖8所示配置的一個(gè)應(yīng)用，第一模型804可以確定所考慮的任務(wù)的類型。第一模型804隨后可以調(diào)用最適合處理該任務(wù)的特定第二模型?；蛘?，不同階段的分析可以被用來確定工作者聲譽(yù)的不同方面，諸如基于準(zhǔn)確性的分量、基于時(shí)間線的分量、基于數(shù)量的分量等。

實(shí)施(圖3的)聲譽(yù)評(píng)估模塊304的其他方式也是可能的。另外，上文的描述是以評(píng)估系統(tǒng)118針對(duì)每個(gè)工作者以及針對(duì)每項(xiàng)工作執(zhí)行單獨(dú)分析的假設(shè)所進(jìn)行的預(yù)測(cè)。但是此外或備選地，訓(xùn)練系統(tǒng)126可以生成被設(shè)計(jì)為關(guān)于工作者已經(jīng)執(zhí)行或可以執(zhí)行的所有任務(wù)而針對(duì)用戶生成單個(gè)聲譽(yù)得分的一個(gè)或多個(gè)模型。

B.說明性處理

圖9-11以流程圖的形式解釋了圖1的眾包環(huán)境102的不同部分的操作。由于在環(huán)境102的操作之下的原理已經(jīng)在部分A中進(jìn)行了描述，因此某些操作在該部分中以概述的方式給出。

以圖9作為開始，該示圖示出了對(duì)圖3的工作者評(píng)估系統(tǒng)118的操作的一種說明性方式進(jìn)行概括的處理902。在框904，評(píng)估系統(tǒng)118接收涉及到工作者關(guān)于所識(shí)別任務(wù)已經(jīng)執(zhí)行的工作的特征的集合。特征提取系統(tǒng)116基于數(shù)據(jù)收集系統(tǒng)104所提供的原始數(shù)據(jù)計(jì)算那些特征。在框906，評(píng)估系統(tǒng)118基于特征中的至少一些執(zhí)行垃圾分析以確定反映工作者構(gòu)成垃圾代理的可能性的垃圾得分。在框908，評(píng)估系統(tǒng)118基于特征中的至少一些關(guān)于所識(shí)別任務(wù)執(zhí)行質(zhì)量分析以確定反映工作者提供被評(píng)定為期望(例如，準(zhǔn)確)的工作的傾向性的聲譽(yù)得分。在一種情況下，評(píng)估系統(tǒng)118作為單個(gè)整體操作的一部分來執(zhí)行該垃圾分析和質(zhì)量分析。在另一種情況下，評(píng)估系統(tǒng)118在質(zhì)量分析之前執(zhí)行垃圾分析，其中該質(zhì)量分析取決于垃圾分析的結(jié)果而執(zhí)行。也就是說，在該情況下，評(píng)估系統(tǒng)118在確定工作者為誠實(shí)實(shí)體(即不是垃圾代理)時(shí)執(zhí)行垃圾分析。在框910，評(píng)估系統(tǒng)118基于垃圾得分和/或聲譽(yù)得分執(zhí)行任意動(dòng)作。

圖10示出了描述特征提取系統(tǒng)116的一種操作方式的處理1002。在框1004，特征提取系統(tǒng)116生成關(guān)注工作者的特征的子集，關(guān)注工作者的特征的子集中的每一個(gè)關(guān)注工作者的特征對(duì)至少一個(gè)工作者在眾包環(huán)境102中所執(zhí)行的工作進(jìn)行表征。在框1006，特征提取系統(tǒng)116生成關(guān)注任務(wù)的特征的子集，關(guān)注任務(wù)的特征的子集中的每一個(gè)關(guān)注任務(wù)的特征對(duì)眾包環(huán)境102中所執(zhí)行的至少一項(xiàng)任務(wù)進(jìn)行表征。在框1008，特征提取系統(tǒng)116生成關(guān)注系統(tǒng)的特征的子集，關(guān)注系統(tǒng)的特征的子集中的每一個(gè)關(guān)注系統(tǒng)的特征對(duì)眾包環(huán)境102的配置的一個(gè)方面進(jìn)行表征。這些框(1004、1006、1008)可以以任意順序來執(zhí)行。上文所描述的每種類別的特征可以進(jìn)一步被劃分為實(shí)際方面特征(其描述眾包環(huán)境102中的實(shí)際組件、事件、狀況等)和關(guān)注信念的特征(其描述工作者對(duì)于實(shí)際方面的感知)。另外，處理1002中所收集的特征中的一些可以對(duì)應(yīng)于元級(jí)別特征，在元級(jí)別特征對(duì)其中工作者執(zhí)行工作的上下文進(jìn)行表征，而并不明確參考特定工作者所執(zhí)行的工作的程度上。元級(jí)別特征的一個(gè)類別例如通過描述所考慮的任務(wù)的結(jié)構(gòu)、與任務(wù)相關(guān)聯(lián)的響應(yīng)的分布等對(duì)所考慮的任務(wù)進(jìn)行表征。

圖11示出了描述訓(xùn)練系統(tǒng)126的一種操作方式的處理1102。在框1102，訓(xùn)練系統(tǒng)126對(duì)由多個(gè)訓(xùn)練示例所組成的訓(xùn)練集進(jìn)行編譯。在框1104，訓(xùn)練系統(tǒng)126使用監(jiān)管機(jī)器學(xué)習(xí)處理基于該訓(xùn)練集產(chǎn)生至少一個(gè)模型。

更具體地，每個(gè)訓(xùn)練示例可以包括連同標(biāo)記一起對(duì)其中特定先前工作者已經(jīng)對(duì)特定任務(wù)執(zhí)行了先前工作的至少一個(gè)先前時(shí)機(jī)以及其中該先前工作被執(zhí)行的上下文進(jìn)行描述的特征的集合。訓(xùn)練系統(tǒng)126可以依賴于特征提取系統(tǒng)116來生成這些特征。例如，該特征可以包括任意上文所描述的關(guān)注工作者的特征、關(guān)注任務(wù)的特征和關(guān)注系統(tǒng)的特征，其中的一些特征可以涉及到眾包環(huán)境103的實(shí)際方面，而其他特征可以涉及到所考慮的工作者的感知。一些特征可選地還可以對(duì)其他特征間的關(guān)系進(jìn)行描述。

與訓(xùn)練示例相關(guān)聯(lián)的標(biāo)簽對(duì)應(yīng)于先前工作者的活動(dòng)的評(píng)估。例如，考慮其中所開發(fā)的模型對(duì)應(yīng)于圖3的垃圾評(píng)估模型306的情況；這里，結(jié)果指示工作者是否對(duì)應(yīng)于垃圾代理。接下來考慮其中所開發(fā)的模型對(duì)應(yīng)于圖3的聲譽(yù)評(píng)估模型308的情況；這里，在一個(gè)情況下，結(jié)果表示工作者的回答的準(zhǔn)確性。工作者的回答的準(zhǔn)確性可以以上文所描述的任意方式進(jìn)行評(píng)定，諸如通過對(duì)預(yù)定義的正確回答(針對(duì)黃金集合任務(wù))、基于一致性的正確回答進(jìn)行參考等。

在一種情況下，訓(xùn)練系統(tǒng)126還可以將權(quán)重與反映標(biāo)簽來源的每個(gè)訓(xùn)練示例相關(guān)聯(lián)。例如，訓(xùn)練系統(tǒng)126可以向具有從預(yù)先建立的正確的(或以其他方式期望的)響應(yīng)導(dǎo)出的標(biāo)簽的訓(xùn)練示例分派最有利的權(quán)重。訓(xùn)練系統(tǒng)126可以向具有從基于一致性的正確的(或以其他方式期望的)響應(yīng)導(dǎo)出的標(biāo)簽的訓(xùn)練示例分派較不有利的權(quán)重。

在一個(gè)實(shí)施方式中，訓(xùn)練系統(tǒng)126可以以使得上文所描述的兩階段處理并行的方式生成(圖3的)聲譽(yù)評(píng)估模型308。更具體地，訓(xùn)練系統(tǒng)126可以首先從訓(xùn)練集中去除對(duì)應(yīng)于垃圾代理所執(zhí)行的工作的示例，以產(chǎn)生去除了垃圾的訓(xùn)練集。訓(xùn)練系統(tǒng)126之后可以基于該去除了垃圾的訓(xùn)練集對(duì)聲譽(yù)評(píng)估模型308進(jìn)行訓(xùn)練。對(duì)于單階段模型，訓(xùn)練系統(tǒng)126可以無需去除與垃圾代理相關(guān)聯(lián)的示例的初步步驟。

在圖6的上下文中，訓(xùn)練系統(tǒng)126可以針對(duì)相應(yīng)任務(wù)或任務(wù)類型產(chǎn)生多個(gè)特定于任務(wù)的模型(604,606,…608)。在圖7的上下文中，訓(xùn)練系統(tǒng)126產(chǎn)生應(yīng)用于多個(gè)任務(wù)和任務(wù)類型的至少一個(gè)任務(wù)無關(guān)的模型704。在圖8的上下文中，訓(xùn)練系統(tǒng)126產(chǎn)生與多個(gè)分析階段相關(guān)聯(lián)的多個(gè)模型(804,806,…808)。另外，訓(xùn)練系統(tǒng)126還可以單獨(dú)產(chǎn)生訓(xùn)練評(píng)估模型306用于由垃圾評(píng)估模塊302使用，也就是說，在依賴于兩階段分析技術(shù)的那些實(shí)施方式中。

訓(xùn)練系統(tǒng)126可以使用相同的機(jī)器學(xué)習(xí)技術(shù)來訓(xùn)練每個(gè)模型，或者使用不同的相應(yīng)技術(shù)來訓(xùn)練不同的相應(yīng)模型。此外或備選地，評(píng)估系統(tǒng)118可以通過除了機(jī)器學(xué)習(xí)技術(shù)之外的某種技術(shù)來構(gòu)建一個(gè)或多個(gè)模型。例如，在兩階段分析技術(shù)中，評(píng)估系統(tǒng)118可以使用算法技術(shù)來實(shí)施垃圾評(píng)估模型306，并且使用機(jī)器學(xué)習(xí)技術(shù)來構(gòu)建聲譽(yù)評(píng)估模型308。

在一個(gè)非限制性實(shí)施方式中，訓(xùn)練系統(tǒng)126使用增強(qiáng)型決策樹方法來產(chǎn)生至少一個(gè)模型。在該情況下，該模型定義了具有與決策樹的不同部分相關(guān)聯(lián)的不同分析域的空間。該模型可以使用元級(jí)別特征來針對(duì)所考慮的特定任務(wù)或上下文標(biāo)識(shí)所要利用的特定分析域。換句話說，以上文所描述的方式所產(chǎn)生的模型可以被概念化為適用于不同相應(yīng)任務(wù)或上下文的不同模型的聚集；元級(jí)別特征用作基于所考慮的任務(wù)或上下文而激活整個(gè)模型內(nèi)的特定子模型的信號(hào)。該訓(xùn)練處理自動(dòng)確定決策樹模型的結(jié)構(gòu)。

更一般地，該訓(xùn)練處理具有例如基于分派給特定特征的權(quán)重而自動(dòng)標(biāo)識(shí)與不同特征相關(guān)聯(lián)的重要性水平的效果?？蛇x地，開發(fā)者可能希望從其針對(duì)評(píng)估系統(tǒng)118所部署的(多個(gè))模型中排除執(zhí)行不佳的特征的子集。該規(guī)定將降低(多個(gè))模型的復(fù)雜度，并且相對(duì)應(yīng)地減少運(yùn)行(多個(gè))模型所必需的系統(tǒng)資源消耗。

在另一個(gè)實(shí)施方式中，訓(xùn)練系統(tǒng)126可以使用任意技術(shù)來生成與概率圖形模型相關(guān)聯(lián)的參數(shù)的數(shù)值，上述模型是諸如圖4所示的圖形模型402。例如，訓(xùn)練系統(tǒng)126可以使用任意馬爾科夫鏈蒙特卡洛技術(shù)(諸如Gibbs采樣)、任意變化方法以及任意環(huán)路置信傳播方法等來生成數(shù)值。

雖然在圖11中并未表示，但是訓(xùn)練系統(tǒng)126可以以已知方式使用測(cè)試集和驗(yàn)證集來評(píng)估并完成其所生成的(多個(gè))模型。例如，訓(xùn)練系統(tǒng)126可以使用這些集合來生成與(多個(gè))模型相關(guān)聯(lián)的參數(shù)數(shù)值。

進(jìn)一步注意到，訓(xùn)練系統(tǒng)126在其實(shí)時(shí)操作的過程中可以基于評(píng)估系統(tǒng)118所分派的得分而動(dòng)態(tài)地更新數(shù)據(jù)存儲(chǔ)128中的訓(xùn)練示例。訓(xùn)練系統(tǒng)128可以在任意基礎(chǔ)上基于經(jīng)更新的訓(xùn)練數(shù)據(jù)來更新其(多個(gè))模型。例如，訓(xùn)練系統(tǒng)126可以在周期性的基礎(chǔ)上(例如，每周、每月等)和/或在事件驅(qū)動(dòng)的基礎(chǔ)上對(duì)其(多個(gè))模型進(jìn)行更新。

C.代表性特征

該部分描述了特征提取系統(tǒng)116可以在眾包環(huán)境102的一個(gè)非限制性實(shí)施方式中產(chǎn)生的一些特征的采樣。(下文的)第一批特征是指一個(gè)或多個(gè)工作者關(guān)于一個(gè)或多個(gè)所識(shí)別任務(wù)而執(zhí)行的工作者相關(guān)行為。

CurrentDwellTime.該特征描述了工作者在最近任務(wù)上所花費(fèi)的時(shí)間量。

NumberOfTasksCompleted.該特征描述了工作者所完成的任務(wù)的數(shù)量。

NumberOfCorrectSystemConsensusTasks.該特征描述了工作者針對(duì)已經(jīng)達(dá)到一致性的任務(wù)所完成的正確的(基于正確性的一致性標(biāo)準(zhǔn))任務(wù)的數(shù)量。

RatioOfCorrectSystemConsensusTasks.該特征描述了工作者針對(duì)任務(wù)的正確響應(yīng)的數(shù)量除以該工作者所完成的也達(dá)到一致性的任務(wù)的數(shù)量。

NumberOfTasksOfThisTypeByWorker.該特征描述了工作者已經(jīng)完成的指定類型的任務(wù)的數(shù)量。

NumberOfTasksOfThisTypeByOthers.該特征描述了所有其他工作者已經(jīng)完成的指定類型的任務(wù)的總數(shù)。

DiffNumberOfTasksOfThisTypeTotalNumberOfTasksByOthers.該特征描述了上文剛才所提到的兩個(gè)特征之間的差值。

NumberOfUniqueWorkersForTasksOfThisType.該特征描述了已經(jīng)對(duì)指定類型的任務(wù)進(jìn)行了工作的工作者的數(shù)量。

PercentageDoneByWorker.該特征描述了眾包環(huán)境102中已經(jīng)由工作者所執(zhí)行的已完成任務(wù)的百分比。

MeanDwellTimeWorker.該特征描述了當(dāng)前工作者關(guān)于一項(xiàng)或多項(xiàng)任務(wù)的平均停留時(shí)間。

MeanDwellTimeOthers.該特征描述了所有其他工作者關(guān)于一項(xiàng)或多項(xiàng)任務(wù)的平均停留時(shí)間。

MeanDwellTimeDifference.該特征描述了上文剛才所提到的兩個(gè)特征之間的差值。

IsCurrentDwellLongerThanWorkerAverage.該特征在為真的情況下指示工作者的當(dāng)前停留時(shí)間長于工作者的平均停留時(shí)間。

CurrentDwellDiffWithWorkerAverage.該特征描述了工作者的當(dāng)前停留時(shí)間和工作者的平均停留時(shí)間之間的差值。

CurrentDwellDiffWithOthersAverage.該特征描述了工作者的當(dāng)前停留時(shí)間和其他工作者的平均停留時(shí)間之間的差值。

MinDwellTime.該特征描述了工作者關(guān)于某個(gè)時(shí)間范圍和/或任務(wù)選擇的最小停留時(shí)間。

MaxDwellTime.該特征描述了工作者關(guān)于某個(gè)時(shí)間范圍和/或任務(wù)選擇的最大停留時(shí)間。

DiffDwellMinMean.該特征描述了工作者的最小停留時(shí)間和平均停留時(shí)間之間的差值。

DiffDwellMaxMean.該特征描述了工作者的最大停留時(shí)間和平均停留時(shí)間之間的差值。

DifferenceShannonBetweenWorkerOnTask.該特征描述了工作者的投票熵(vote entropy)和其他工作者的投票熵之間的差值。

NumDataPoints.該特征描述了眾包環(huán)境102已經(jīng)收集的涉及到工作者的數(shù)據(jù)點(diǎn)的數(shù)量。

SpamScore.該特征描述了圖3的垃圾評(píng)估模塊302所計(jì)算的垃圾得分。

GoldHitSetAgreement.該特征描述了其中工作者同意正確回答的黃金標(biāo)準(zhǔn)任務(wù)的比率。所要回顧的是，黃金標(biāo)準(zhǔn)任務(wù)是具有通過定義所建立的已知正確回答的任務(wù)。

NumDaysActiveForThisWorker.該特征描述了工作者已經(jīng)在眾包環(huán)境中活躍的天數(shù)。

AverageJudgementsDoneForThisWorkerPerActiveDay.該特征描述了工作者在每個(gè)活躍天所完成的任務(wù)的平均數(shù)量。

AverageJudgementsPerHourForThisWorker.該特征描述了工作者每小時(shí)所完成的判別的平均數(shù)量。

MaxVoteProb.該特征描述了工作者最常見的回答在針對(duì)任務(wù)的可能回答集合中的比率。

MinVoteProb.該特征描述了工作者最不常見的回答在針對(duì)任務(wù)的可能回答集合中的比率。

Variance該特征描述了工作者的投票分布的變化。

以下列表提供了關(guān)注任務(wù)的特征的采樣。

TaskConsensusRatio.該特征描述了關(guān)于已經(jīng)達(dá)到一致性的該類型的任務(wù)的總數(shù)的該類型的任務(wù)的數(shù)量。

TaskCorrectConsensus.該特征描述了與一致性相符的響應(yīng)在已經(jīng)達(dá)到一致性的該類型的任務(wù)中的比率。

TaskMaxVote.該特征描述了針對(duì)當(dāng)前類型的任務(wù)最流行的回答的可能性。

TaskMinVote.該特征描述了針對(duì)當(dāng)前類型的任務(wù)的最不流行的回答的可能性。

TaskVoteVariance.該特征描述了針對(duì)當(dāng)前的類型的任務(wù)的投票分布的變化。

TaskMaxCons.該特征描述了當(dāng)前類型的任務(wù)中最流行的一致性的可能性。

TaskMinCons.該特征描述了當(dāng)前類型的任務(wù)中最不流行的一致性的可能性。

TaskConsVariance.該特征描述了當(dāng)前類型的任務(wù)中一致性分布的變化。

NumberOfAnswers.該特征描述了針對(duì)指定任務(wù)的回答的數(shù)量。

D.代表性計(jì)算功能

圖12示出了可以被用來實(shí)施圖1的環(huán)境102(例如如圖2的計(jì)算設(shè)備所實(shí)施)的任意方面的計(jì)算功能1202。例如，圖12中所示類型的計(jì)算功能1202可以被用于實(shí)施圖2的工作處理架構(gòu)202的任意(多個(gè))組件，和/或工作者用來與工作處理架構(gòu)202進(jìn)行交互的用戶計(jì)算設(shè)備(204、206…)的任意方面。在所有情況下，計(jì)算功能1202表示一個(gè)或多個(gè)物理且有形的處理機(jī)制。

計(jì)算功能1202可以包括一個(gè)或多個(gè)處理設(shè)備1204，諸如一個(gè)或多個(gè)中央處理單元(CPU)、和/或一個(gè)或多個(gè)圖形處理單元(GPU)等。

計(jì)算功能1202還可以包括用于存儲(chǔ)諸如代碼、設(shè)置、數(shù)據(jù)等的任意種類的信息的任意存儲(chǔ)資源1206。例如，并不作為限制，存儲(chǔ)資源1206可以包括以下的任意一個(gè)：任意(多種)類型的RAM、任意(多種)類型的ROM、閃存設(shè)備、硬盤、光學(xué)盤等。更一般地，任意存儲(chǔ)資源可以使用用于存儲(chǔ)信息的任意技術(shù)。另外，任意存儲(chǔ)資源可以提供易失性或非易失性信息保存。另外，任意存儲(chǔ)資源可以代表計(jì)算功能1202的固定或可移除組件。計(jì)算功能1202可以在處理設(shè)備1204執(zhí)行存儲(chǔ)在任意存儲(chǔ)資源或存儲(chǔ)資源組合中的指令時(shí)執(zhí)行上文所描述的任意功能。

至于術(shù)語，任意存儲(chǔ)資源1206或存儲(chǔ)資源1206的任意組合可以被視為計(jì)算機(jī)可讀介質(zhì)。在多種情況下，計(jì)算機(jī)可讀介質(zhì)表示某種形式的物理和有形的實(shí)體。術(shù)語計(jì)算機(jī)可讀介質(zhì)還包括傳播信號(hào)，傳播信號(hào)例如經(jīng)由物理管道和/或空氣或其他無線介質(zhì)等來傳送或接收。然而，特定術(shù)語“計(jì)算可讀存儲(chǔ)介質(zhì)”和“計(jì)算機(jī)可讀介質(zhì)設(shè)備”明確地排除傳播信號(hào)本身，但是包括所有其他形式的計(jì)算機(jī)可讀介質(zhì)。

計(jì)算功能1202還包括用于與任意存儲(chǔ)資源進(jìn)行交互的一個(gè)或多個(gè)驅(qū)動(dòng)機(jī)制1208，諸如硬盤驅(qū)動(dòng)機(jī)制、光學(xué)盤驅(qū)動(dòng)機(jī)制等。

計(jì)算功能1202還包括用于(經(jīng)由輸入設(shè)備1212)接收各種輸入，以及用于(經(jīng)由輸出設(shè)備1214)提供各種輸出的輸入/輸出模塊1210。說明性的輸入設(shè)備包括鍵盤設(shè)備、鼠標(biāo)輸入設(shè)備、觸摸屏輸入設(shè)備、數(shù)字化墊、一個(gè)或多個(gè)視頻相機(jī)、一個(gè)或多個(gè)深度相機(jī)、自由空間手勢(shì)識(shí)別機(jī)制、一個(gè)或多個(gè)麥克風(fēng)、語音識(shí)別機(jī)制、任意移動(dòng)檢測(cè)機(jī)制(例如，加速計(jì)、陀螺儀等)等。一個(gè)特定輸出機(jī)制可以包括呈現(xiàn)設(shè)備1216和相關(guān)聯(lián)的圖形用戶界面(GUI)1218。其他輸出設(shè)備包括打印機(jī)、模型生成機(jī)制、觸覺輸出機(jī)制、檔案機(jī)制(用于存儲(chǔ)輸出信息)等。計(jì)算功能1202還可以包括用于經(jīng)由一個(gè)或多個(gè)通信管道1222與其他設(shè)備交換數(shù)據(jù)的一個(gè)或多個(gè)網(wǎng)絡(luò)接口1220。一條或多條通信總線1224將上文所描述的組件通信地耦合在一起。

(多個(gè))通信管道1222可以以任意方式來實(shí)施，例如，通過局域網(wǎng)、廣域網(wǎng)(例如，互聯(lián)網(wǎng))、點(diǎn)對(duì)點(diǎn)連接等，或其任意組合。(多個(gè))通信管道1222可以包括由任意協(xié)議或協(xié)議的組合管理的硬連線的鏈路、無線鏈路、路由器、網(wǎng)關(guān)功能、名稱服務(wù)器等的任意組合。

作為替代或此外，前述部分中所描述的任意功能可以至少部分由一個(gè)或多個(gè)硬件邏輯組件來執(zhí)行。作為示例而非限制，計(jì)算功能1202可以使用以下的一個(gè)或多個(gè)來實(shí)施：現(xiàn)場(chǎng)可編程門陣列(FPGA)；專用集成電路(ASIC)；專用標(biāo)準(zhǔn)產(chǎn)品(ASSP)；片上系統(tǒng)(SOC)；復(fù)雜可編程邏輯器件(CPLD)等。

最后，這里所描述的功能可以采用各種機(jī)制來確保任意用戶數(shù)據(jù)都以符合可應(yīng)用法律、社會(huì)規(guī)范以及個(gè)體用戶的預(yù)期和偏好的方式被處理。例如，該功能可以允許用戶明確選擇加入(并且隨后明確選擇退出)該功能的提供。該功能還可以提供適當(dāng)安全機(jī)制來確保用戶數(shù)據(jù)的隱私性(諸如數(shù)據(jù)清理機(jī)制、加密機(jī)制、密碼保護(hù)機(jī)制等)。

另外，該描述在說明性的挑戰(zhàn)或問題的上下文中描述了各種構(gòu)思。這種解釋方式不構(gòu)成其他人以這里所指定的方式理解和/或明確表達(dá)挑戰(zhàn)或問題的表示。此外，所要求保護(hù)的主題也不限于解決所提到的任意或全部挑戰(zhàn)/問題的實(shí)施方式。

更一般地，雖然已經(jīng)以結(jié)構(gòu)特征和/或方法動(dòng)作專用的語言對(duì)本主題進(jìn)行了描述，但是可以理解的是，所附權(quán)利要求中限定的主題不必限于上文描述的具體特征或動(dòng)作。相反，上文描述的具體特征和動(dòng)作是作為實(shí)施權(quán)利要求的示例形式而公開的。