本說明書涉及神經(jīng)網(wǎng)絡(luò)系統(tǒng)架構(gòu)。

背景技術(shù)：

神經(jīng)網(wǎng)絡(luò)是采用一個或多個非線性單元的層來預(yù)測對于接收的輸入的輸出的機(jī)器學(xué)習(xí)模型。一些神經(jīng)網(wǎng)絡(luò)除了輸出層之外還包括一個或多個隱藏層。每個隱藏層的輸出用作到網(wǎng)絡(luò)中下一層，即下一隱藏層或輸出層的輸入。網(wǎng)絡(luò)的每層根據(jù)相應(yīng)參數(shù)集合的當(dāng)前值從所接收的輸入生成輸出。

一些神經(jīng)網(wǎng)絡(luò)是遞歸神經(jīng)網(wǎng)絡(luò)。遞歸神經(jīng)網(wǎng)絡(luò)是接收輸入序列并從輸入序列生成輸出序列的神經(jīng)網(wǎng)絡(luò)。具體地，遞歸神經(jīng)網(wǎng)絡(luò)可以在計算當(dāng)前輸出時使用處理先前輸入的網(wǎng)絡(luò)的內(nèi)部狀態(tài)的一些或全部。遞歸神經(jīng)網(wǎng)絡(luò)的示例是長期短期存儲器(LSTM)神經(jīng)網(wǎng)絡(luò)，包括一個或多個LSTM存儲器塊。每個LSTM存儲器塊可以包括一個或多個單體，每個單體包括輸入門、遺忘門和輸出門，其允許該單體存儲該單體的先前狀態(tài)，例如用于生成當(dāng)前激活或?qū)⒈惶峁┑絃STM神經(jīng)網(wǎng)絡(luò)的其他組件。

技術(shù)實現(xiàn)要素：

本說明書描述了與增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)相關(guān)的技術(shù)。通常，增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)包括：神經(jīng)網(wǎng)絡(luò)，被配置為接收神經(jīng)網(wǎng)絡(luò)輸入并生成神經(jīng)網(wǎng)絡(luò)輸出；外部存儲器，存儲從神經(jīng)網(wǎng)絡(luò)輸出的部分導(dǎo)出的值；以及存儲器接口子系統(tǒng)，被配置為接收神經(jīng)網(wǎng)絡(luò)輸出的部分并使用所接收的部分相對于外部存儲器擦除、寫入和讀取。

對于要被配置為執(zhí)行特定操作或動作的一個或多個計算機(jī)的系統(tǒng)表示系統(tǒng)已經(jīng)在其上安裝了在操作中使系統(tǒng)執(zhí)行操作或動作的軟件、固件、硬件或它們的組合。對于要被配置為執(zhí)行特定操作或動作的一個或多個計算機(jī)程序表示一個或多個程序包括當(dāng)由數(shù)據(jù)處理裝置執(zhí)行時使裝置執(zhí)行操作或動作的指令。

在本說明書中描述的主題可以在特定實施例中實現(xiàn)，以便實現(xiàn)以下優(yōu)點(diǎn)中的一個或多個。通過用外部存儲器增強(qiáng)神經(jīng)網(wǎng)絡(luò)，增強(qiáng)神經(jīng)網(wǎng)絡(luò)可以更精確地從各種機(jī)器學(xué)習(xí)任務(wù)的接收的輸入生成輸出。具體地，為了便于處理來自輸入序列的給定輸入，增強(qiáng)神經(jīng)網(wǎng)絡(luò)可以有效地使用由增強(qiáng)神經(jīng)網(wǎng)絡(luò)在處理序列中的許多先前輸入時通過從外部存儲器讀取而產(chǎn)生的信息。類似地，為了便于處理來自序列的后續(xù)輸入，增強(qiáng)神經(jīng)網(wǎng)絡(luò)可以將在當(dāng)前輸入的處理期間生成的信息存儲在外部存儲器中。另外，可以增加外部存儲器的大小，而不增加增強(qiáng)神經(jīng)網(wǎng)絡(luò)的可訓(xùn)練參數(shù)的數(shù)量。此外，增強(qiáng)神經(jīng)網(wǎng)絡(luò)可以使用基于內(nèi)容和位置的查找來訪問外部存儲器。另外，增強(qiáng)神經(jīng)網(wǎng)絡(luò)可以利用在連續(xù)寫入之間具有較少干擾的長期存儲器存儲。此外，因為整個外部存儲器是可區(qū)分的，所以可以有效地訓(xùn)練增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

在附圖和下面的描述中闡述了本說明書的主題的一個或多個實施例的細(xì)節(jié)。根據(jù)描述、附圖和權(quán)利要求，主題的其他特征、方面和優(yōu)點(diǎn)將變得顯而易見。

附圖說明

圖1示出了示例增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

圖2是用于從系統(tǒng)輸入生成系統(tǒng)輸出的示例過程的流程圖。

圖3是用于從神經(jīng)網(wǎng)絡(luò)輸出的指定部分確定存儲器存取權(quán)重的示例過程的流程圖。

圖4是對于外部存儲器中的位置生成基于內(nèi)容的權(quán)重的示例過程的流程圖。

圖5是用于將基于位置的調(diào)整應(yīng)用于基于內(nèi)容的權(quán)重的示例過程的流程圖。

圖6是根據(jù)擦除權(quán)重從外部存儲器擦除的示例過程的流程圖。

圖7是用于根據(jù)寫入權(quán)重寫入外部存儲器的示例過程的流程圖。

圖8是根據(jù)讀取權(quán)重從外部存儲器讀取的示例過程的流程圖。

各個附圖中相同的附圖標(biāo)記和標(biāo)記指示相同的元件。

具體實施方式

圖1示出了示例性增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100。增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100是實現(xiàn)為在一個或多個位置中的一個或多個計算機(jī)上的計算機(jī)程序的系統(tǒng)的示例，其中實現(xiàn)下面描述的系統(tǒng)、組件和技術(shù)。

增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100是接收系統(tǒng)輸入序列并從系統(tǒng)輸入生成系統(tǒng)輸出序列的機(jī)器學(xué)習(xí)系統(tǒng)。例如，增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100可以接收作為輸入序列的一部分的系統(tǒng)輸入x，并且從系統(tǒng)輸入x生成系統(tǒng)輸出y。增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100可以在輸出數(shù)據(jù)存儲庫中存儲所生成的輸出序列或者提供輸出以用于某些其他即時目的。

增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100可以被配置為接收任何種類的數(shù)字?jǐn)?shù)據(jù)輸入并且基于該輸入生成任何種類的分?jǐn)?shù)(score)或分類輸出。

例如，如果對增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100的輸入是已經(jīng)從圖像中提取的圖像或特征，則由增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100針對給定圖像生成的輸出可以是對象類別集合中的每一個的分?jǐn)?shù)，其中每個分?jǐn)?shù)表示圖像包含屬于該類別的對象的圖像的估計的似然性。

作為另一示例，如果對增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100的輸入是從因特網(wǎng)資源(例如，網(wǎng)頁)、文檔或文檔的部分提取的因特網(wǎng)資源、文檔或文檔的部分，則由增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100對于給定因特網(wǎng)資源、文檔或文檔的部分生成的輸出可以是主題集合中的每一個的分?jǐn)?shù)，每個分?jǐn)?shù)表示因特網(wǎng)資源、文檔或文檔部分關(guān)于主題的估計的似然性。

作為另一示例，如果到增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100的輸入是用于特定廣告的印象場境的特征，則由增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100生成的輸出可以是表示特定廣告將被點(diǎn)擊的估計的似然性的分?jǐn)?shù)。

作為另一示例，如果對增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100的輸入是針對用戶的個性化推薦的特征，例如表征推薦的場境的特征，例如表征用戶所采取的先前動作的特征，則由增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100生成的輸出可以是內(nèi)容項集合中的每一個的分?jǐn)?shù)，其中每個分?jǐn)?shù)表示用戶將有利地響應(yīng)于被推薦內(nèi)容項的估計的似然性。

作為另一示例，如果對增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100的輸入是一種語言的文本，則由增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100生成的輸出可以是針對另一語言的文本集合中的每一個的分?jǐn)?shù)，每個分?jǐn)?shù)表示另一種語言的文本段是輸入文本到另一種語言的適當(dāng)翻譯的估計的似然性。

作為另一個示例，如果對增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100的輸入是口頭話語、口頭話語序列或從兩者之一導(dǎo)出的特征，則由增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100產(chǎn)生的輸出可以是文本段集合的每個的分?jǐn)?shù)，每個分?jǐn)?shù)表示該文本段是用于話語或話語序列的正確轉(zhuǎn)錄的估計的似然性。

作為另一示例，增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100可以是語音合成系統(tǒng)的一部分。

作為另一示例，增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100可以是視頻處理系統(tǒng)的一部分。

作為另一示例，增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100可以是對話系統(tǒng)的一部分。

作為另一示例，增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100可以是自動補(bǔ)全系統(tǒng)的一部分。

作為另一示例，增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100可以是文本處理系統(tǒng)的一部分。

作為另一示例，增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100可以是強(qiáng)化學(xué)習(xí)系統(tǒng)的一部分。

特別地，增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100包括神經(jīng)網(wǎng)絡(luò)102和外部存儲器104。神經(jīng)網(wǎng)絡(luò)102可以是前饋神經(jīng)網(wǎng)絡(luò)或遞歸神經(jīng)網(wǎng)絡(luò)，其被配置為接收神經(jīng)網(wǎng)絡(luò)輸入并處理神經(jīng)網(wǎng)絡(luò)輸入以產(chǎn)生神經(jīng)網(wǎng)絡(luò)輸出。通常，神經(jīng)網(wǎng)絡(luò)102接收的神經(jīng)網(wǎng)絡(luò)輸入是當(dāng)前系統(tǒng)輸入和通過存儲器接口子系統(tǒng)106從外部存儲器讀取的數(shù)據(jù)的組合。例如，神經(jīng)網(wǎng)絡(luò)102可以被配置為從外部存儲器104接收當(dāng)前系統(tǒng)輸入x和數(shù)據(jù)r，并且生成包括系統(tǒng)輸出y和提供給存儲器接口子系統(tǒng)106的附加輸出o的神經(jīng)網(wǎng)絡(luò)輸出。

存儲器接口子系統(tǒng)106接收由神經(jīng)網(wǎng)絡(luò)生成的輸出，例如神經(jīng)網(wǎng)絡(luò)輸出o+y的部分o(+表示級聯(lián))，并將接收到的輸出轉(zhuǎn)換為要在外部存儲器104上執(zhí)行的擦除、讀取和寫入操作。也就是說，存儲器接口子系統(tǒng)106從神經(jīng)網(wǎng)絡(luò)102接收輸出o，并且基于輸出o從外部存儲器104擦除數(shù)據(jù)e，將數(shù)據(jù)w寫入外部存儲器104，以及從外部存儲器104讀取數(shù)據(jù)r。然后可以將由存儲器接口子系統(tǒng)106讀取的數(shù)據(jù)作為稍后的神經(jīng)網(wǎng)絡(luò)輸入的一部分，例如與系統(tǒng)輸入一起，提供給神經(jīng)網(wǎng)絡(luò)102。

外部存儲器104存儲由存儲器接口子系統(tǒng)106寫入外部存儲器104的數(shù)據(jù)向量。在一些實施方式中，外部存儲器104是具有元素M(i,j,t)的實值矩陣存儲器，其中i索引位置，j索引向量元素，并且t索引時間。因此，M(i,j,t)將是在時間t存儲在外部存儲器104中位置i處的向量的元素j處的值。通過以這種方式配置外部存儲器104、存儲器接口子系統(tǒng)106和神經(jīng)網(wǎng)絡(luò)102，增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100的組件是完全可區(qū)分的，允許增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100被有效地訓(xùn)練。

圖2是用于從系統(tǒng)輸入生成系統(tǒng)輸出的示例過程200的流程圖。為了方便，過程200將被描述為由位于一個或多個位置的一個或多個計算機(jī)的系統(tǒng)執(zhí)行。例如，根據(jù)本說明書適當(dāng)?shù)鼐幊痰脑鰪?qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，例如圖1的增強(qiáng)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)100，以執(zhí)行過程200。

系統(tǒng)接收系統(tǒng)輸入(步驟202)。系統(tǒng)輸入是系統(tǒng)接收的系統(tǒng)輸入序列之一。

系統(tǒng)獲得通過從外部存儲器，例如圖1的外部存儲器104，讀取而產(chǎn)生的讀取數(shù)據(jù)向量(步驟204)。通常，讀取數(shù)據(jù)向量由系統(tǒng)通過在系統(tǒng)輸入序列中的先前輸入的處理期間從外部存儲器讀取而生成。

系統(tǒng)通過組合系統(tǒng)輸入和從外部存儲器讀取的數(shù)據(jù)來產(chǎn)生神經(jīng)網(wǎng)絡(luò)輸入(步驟206)。例如，系統(tǒng)可以級聯(lián)系統(tǒng)輸入和讀取數(shù)據(jù)向量以生成神經(jīng)網(wǎng)絡(luò)輸入。對于第一系統(tǒng)輸入，系統(tǒng)可以將系統(tǒng)輸入與預(yù)定向量，例如，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)狀態(tài)，級聯(lián)。

系統(tǒng)使用神經(jīng)網(wǎng)絡(luò)，例如圖1的神經(jīng)網(wǎng)絡(luò)102，處理神經(jīng)網(wǎng)絡(luò)輸入，以從神經(jīng)網(wǎng)絡(luò)輸入產(chǎn)生神經(jīng)網(wǎng)絡(luò)輸出(步驟208)。根據(jù)實施方式，神經(jīng)網(wǎng)絡(luò)可以是前饋神經(jīng)網(wǎng)絡(luò)，例如卷積神經(jīng)網(wǎng)絡(luò)，或另一種深度前饋神經(jīng)網(wǎng)絡(luò)，或者是遞歸神經(jīng)網(wǎng)絡(luò)，例如LSTM神經(jīng)網(wǎng)絡(luò)。如果神經(jīng)網(wǎng)絡(luò)是遞歸神經(jīng)網(wǎng)絡(luò)，則遞歸神經(jīng)網(wǎng)絡(luò)還在處理當(dāng)前神經(jīng)網(wǎng)絡(luò)輸入時使用來自序列中的前一神經(jīng)網(wǎng)絡(luò)輸入的遞歸神經(jīng)網(wǎng)絡(luò)的內(nèi)部狀態(tài)，以生成神經(jīng)網(wǎng)絡(luò)輸出。在一些實施方式中，神經(jīng)網(wǎng)絡(luò)包括遞歸層和前饋層。

系統(tǒng)從神經(jīng)網(wǎng)絡(luò)輸出的系統(tǒng)輸出部分產(chǎn)生針對系統(tǒng)輸入的系統(tǒng)輸出(步驟210)。神經(jīng)網(wǎng)絡(luò)輸出的系統(tǒng)輸出部分是神經(jīng)網(wǎng)絡(luò)輸出的、已經(jīng)由例如系統(tǒng)管理員指定為用于生成系統(tǒng)輸出的部分的預(yù)定部分，即，使得神經(jīng)網(wǎng)絡(luò)輸出的相同部分用于為神經(jīng)網(wǎng)絡(luò)產(chǎn)生的每個輸出生成系統(tǒng)輸出。

在一些實施方式中，系統(tǒng)將系統(tǒng)輸出部分提供為針對系統(tǒng)輸入的系統(tǒng)輸出。然而，在一些其它實施方式中，系統(tǒng)將一個或多個變換應(yīng)用于系統(tǒng)輸出部分，以便生成系統(tǒng)輸出。例如，系統(tǒng)輸出部分可以被轉(zhuǎn)換為控制機(jī)器人或不同數(shù)字接口的命令。

系統(tǒng)使用神經(jīng)網(wǎng)絡(luò)輸出的擦除部分從外部存儲器擦除(步驟212)。神經(jīng)網(wǎng)絡(luò)輸出的擦除部分是神經(jīng)網(wǎng)絡(luò)輸出的、已經(jīng)被指定為要從外部存儲器擦除的部分的預(yù)定部分。具體地，為了從外部存儲器擦除，系統(tǒng)使用神經(jīng)網(wǎng)絡(luò)輸出的擦除部分確定擦除權(quán)重。擦除權(quán)重是存儲器存取權(quán)重，其包括用于外部存儲器中每個位置的相應(yīng)權(quán)重，并且定義外部存儲器中的位置上的分布。

然后，系統(tǒng)根據(jù)擦除權(quán)重從外部存儲器中的每個位置擦除。下面參照圖3更詳細(xì)地描述從神經(jīng)網(wǎng)絡(luò)輸出的指定部分確定存儲器存取權(quán)重，例如擦除權(quán)重。下面參考圖6更詳細(xì)地描述根據(jù)擦除權(quán)重從外部存儲器擦除。

系統(tǒng)使用神經(jīng)網(wǎng)絡(luò)輸出的寫入部分向外部存儲器寫入(步驟214)。神經(jīng)網(wǎng)絡(luò)輸出的寫入部分是神經(jīng)網(wǎng)絡(luò)輸出的、已經(jīng)被指定為在寫入外部存儲器中使用的部分的預(yù)定部分。

具體地，為了寫入外部存儲器，系統(tǒng)使用神經(jīng)網(wǎng)絡(luò)輸出的寫入部分的指定子部分來確定寫入權(quán)重。在一些實施方式中，寫入權(quán)重與擦除權(quán)重相同，即，寫入部分的指定子部分是神經(jīng)網(wǎng)絡(luò)輸出的擦除部分。然而，在一些其它實施方式中，寫入部分的指定子部分不同于擦除部分。下面參照圖3更詳細(xì)地描述從神經(jīng)網(wǎng)絡(luò)輸出的指定部分確定存儲器存取權(quán)重，例如寫入權(quán)重。

系統(tǒng)還從寫入部分的不同的指定子部分確定要寫入外部存儲器的寫入向量，然后根據(jù)寫入權(quán)重將寫入向量寫入外部存儲器。下面參照圖7描述確定寫入向量和將寫入向量向外部存儲器寫入。

系統(tǒng)使用神經(jīng)網(wǎng)絡(luò)輸出的讀取部分從外部存儲器讀取(步驟216)。神經(jīng)網(wǎng)絡(luò)輸出的讀取部分是神經(jīng)網(wǎng)絡(luò)輸出的、已經(jīng)被指定為在從外部存儲器讀取中使用的部分的預(yù)定部分。

具體地，為了從外部存儲器讀取，系統(tǒng)使用神經(jīng)網(wǎng)絡(luò)輸出的讀取部分確定讀取權(quán)重，然后根據(jù)讀取權(quán)重從外部存儲器中的位置讀取。下面參考圖3更詳細(xì)地描述從神經(jīng)網(wǎng)絡(luò)輸出的指定部分確定存儲器存取權(quán)重，例如讀取權(quán)重。下面參照圖8描述從外部存儲器的讀取。

在一些實施方式中，系統(tǒng)對給定系統(tǒng)輸入執(zhí)行多個擦除、讀取和寫入操作。例如，系統(tǒng)可以執(zhí)行多個集合，每個集合包括并行且獨(dú)立于操作的每個其他集合的擦除操作、讀取操作和寫入操作。另外，如下面將參照圖6-8更詳細(xì)地描述的，系統(tǒng)可以在執(zhí)行每個操作集合中使用不同的存儲器存取權(quán)重，例如，因為系統(tǒng)在計算存儲器存取權(quán)重的集合中的每個中使用神經(jīng)網(wǎng)絡(luò)輸出的不同部分。

此外，系統(tǒng)可以以任何順序執(zhí)行擦除、讀取和寫入操作。例如，在一些實施方式中，系統(tǒng)擦除，然后寫入，然后從外部存儲器讀取。然而，在其他實施方式中，系統(tǒng)可以以不同的順序執(zhí)行這些操作。

可以對系統(tǒng)輸入序列中的每個系統(tǒng)輸入執(zhí)行過程200，以生成針對系統(tǒng)輸入序列的系統(tǒng)輸出序列。系統(tǒng)輸入序列可以是對于其而言期望的輸出，即，應(yīng)該由系統(tǒng)針對輸入序列生成的輸出序列不是已知的序列。系統(tǒng)還可以對訓(xùn)練數(shù)據(jù)集合——即，應(yīng)該由系統(tǒng)預(yù)測的輸出是已知的輸入集合——的輸入執(zhí)行過程200，以便訓(xùn)練系統(tǒng)，即確定用于神經(jīng)網(wǎng)絡(luò)的參數(shù)和用于相對于外部存儲器擦除、寫入和讀取的過程的任何附加參數(shù)的訓(xùn)練值。因為系統(tǒng)的組件是完全可區(qū)分的，所以作為用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的常規(guī)機(jī)器學(xué)習(xí)訓(xùn)練技術(shù)——例如，如果神經(jīng)網(wǎng)絡(luò)是遞歸神經(jīng)網(wǎng)絡(luò)，則通過時間訓(xùn)練技術(shù)的隨機(jī)梯度下降反向傳播——的一部分，可以對從訓(xùn)練數(shù)據(jù)集合中選擇的輸入重復(fù)執(zhí)行過程200。

圖3是用于從神經(jīng)網(wǎng)絡(luò)輸出的指定部分確定存儲器存取權(quán)重的示例過程300的流程圖。為了方便，過程300將被描述為由位于一個或多個位置的一個或多個計算機(jī)的系統(tǒng)執(zhí)行。例如，根據(jù)本說明書適當(dāng)?shù)鼐幊痰脑鰪?qiáng)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，例如圖1的增強(qiáng)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)100，可以執(zhí)行過程300。

系統(tǒng)接收神經(jīng)網(wǎng)絡(luò)輸出的指定部分(步驟302)。也就是說，如果由系統(tǒng)確定的存儲器存取權(quán)重是擦除權(quán)重，則系統(tǒng)接收神經(jīng)網(wǎng)絡(luò)輸出的擦除部分，如果系統(tǒng)確定的存儲器存取權(quán)重是寫入權(quán)重，則系統(tǒng)接收神經(jīng)網(wǎng)絡(luò)輸出的寫入部分的指定的子部分，并且如果由系統(tǒng)確定的存儲器存取權(quán)重是讀取權(quán)重，則系統(tǒng)接收神經(jīng)網(wǎng)絡(luò)輸出的讀取部分。

系統(tǒng)從指定部分的基于內(nèi)容的子部分確定基于內(nèi)容的權(quán)重(步驟304)。通常，為了確定基于內(nèi)容的權(quán)重，系統(tǒng)從基于內(nèi)容的子部分確定內(nèi)容關(guān)鍵向量。然后，系統(tǒng)將內(nèi)容關(guān)鍵向量與存儲在外部存儲器中的位置中的向量進(jìn)行比較，以便確定位置的權(quán)重。下面參照圖4更詳細(xì)地描述確定基于內(nèi)容的權(quán)重。

系統(tǒng)對基于內(nèi)容的權(quán)重應(yīng)用基于位置的調(diào)整以確定存儲器存取權(quán)重(步驟306)。通常，系統(tǒng)從指定部分的基于位置的子部分確定移位向量，然后使用移位向量來調(diào)整基于內(nèi)容的權(quán)重，以便確定存儲器存取權(quán)重。下面參照圖5描述調(diào)整基于內(nèi)容的權(quán)重。

圖4是對于外部存儲器中的位置生成基于內(nèi)容的權(quán)重的示例過程400的流程圖。為了方便，過程400將被描述為由位于一個或多個位置的一個或多個計算機(jī)的系統(tǒng)執(zhí)行。例如，根據(jù)本說明書適當(dāng)?shù)鼐幊痰脑鰪?qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，例如圖1的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100，可以執(zhí)行過程400。

系統(tǒng)接收神經(jīng)網(wǎng)絡(luò)輸出的指定部分的基于內(nèi)容的子部分(步驟402)。

系統(tǒng)從基于內(nèi)容的子部分產(chǎn)生基于內(nèi)容的關(guān)鍵向量(步驟404)。在一些實施方式中，系統(tǒng)可以使用基于內(nèi)容的子部分作為基于內(nèi)容的關(guān)鍵向量。在一些其它實施方式中，系統(tǒng)將一個或多個變換應(yīng)用于基于內(nèi)容的子部分，以便生成基于內(nèi)容的關(guān)鍵向量。例如，系統(tǒng)可以使用神經(jīng)網(wǎng)絡(luò)，例如多層感知器(MLP)神經(jīng)網(wǎng)絡(luò)，處理基于內(nèi)容的子部分，該神經(jīng)網(wǎng)絡(luò)被配置為接收子部分并生成基于內(nèi)容的關(guān)鍵向量。

系統(tǒng)計算在基于內(nèi)容的關(guān)鍵向量與存儲在外部存儲器中的向量之間的相似性度量(步驟406)。也就是說，系統(tǒng)計算在基于內(nèi)容的關(guān)鍵向量和存儲在外部存儲器中的每個向量之間的相應(yīng)相似性度量。例如，相似性度量可以是余弦相似性度量，其中在基于內(nèi)容的關(guān)鍵向量k(h,t)和位于外部存儲器M中的第i個位置的給定向量M(i,·,t)之間的相似性K滿足：

系統(tǒng)使用相似性度量來計算外部存儲器中的位置的基于內(nèi)容的權(quán)重(步驟406)。通常，系統(tǒng)計算權(quán)重，使得與基于內(nèi)容的關(guān)鍵向量具有較高相似性度量的位置被分配較高的權(quán)重。例如，用于外部存儲器M中的第i個位置的基于內(nèi)容的權(quán)重可以滿足：

其中β(h,t)是“關(guān)鍵強(qiáng)度”值，其是從神經(jīng)網(wǎng)絡(luò)輸出的指定部分導(dǎo)出的正值，并且求和是外部存儲器中的所有位置上的總和。

圖5是用于將基于位置的調(diào)整應(yīng)用于基于內(nèi)容的權(quán)重的示例過程500的流程圖。為了方便，過程500將被描述為由位于一個或多個位置的一個或多個計算機(jī)的系統(tǒng)執(zhí)行。例如，根據(jù)本說明書適當(dāng)?shù)鼐幊痰脑鰪?qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)，例如圖1的增強(qiáng)神經(jīng)網(wǎng)絡(luò)系統(tǒng)100，可以執(zhí)行過程500。

系統(tǒng)接收神經(jīng)網(wǎng)絡(luò)輸出的指定部分的基于位置的子部分(步驟502)。

系統(tǒng)從基于內(nèi)容的權(quán)重和系統(tǒng)生成的先前的權(quán)重生成臨時權(quán)重(步驟504)。通常，由系統(tǒng)生成的先前權(quán)重是在前一系統(tǒng)輸入的處理期間由系統(tǒng)生成的存儲器存取權(quán)重。系統(tǒng)通過組合基于內(nèi)容的權(quán)重和前面的權(quán)重來生成臨時權(quán)重。例如，臨時權(quán)重可以是基于內(nèi)容的權(quán)重和先前權(quán)重的插值，其中對于第t+1系統(tǒng)輸入，外部存儲器中的給定位置i的臨時權(quán)重滿足：

其中g(shù)_i(h,t+1)是在0和1之間并且從神經(jīng)網(wǎng)絡(luò)輸出的指定部分導(dǎo)出的門輸出，w_c(i,h,t+1)是第t+1個系統(tǒng)輸入的基于內(nèi)容的權(quán)重，并且w(i,h,t)是來自第t個系統(tǒng)輸入的存儲器存取權(quán)重。

系統(tǒng)從基于位置的子部分產(chǎn)生移位向量(步驟506)。在一些實施方式中，系統(tǒng)可以使用基于位置的子部分作為移位向量。在一些其它實施方式中，系統(tǒng)將一個或多個變換應(yīng)用于基于位置的子部分，以便生成位移向量。例如，系統(tǒng)可以使用神經(jīng)網(wǎng)絡(luò)，例如MLP神經(jīng)網(wǎng)絡(luò)，處理基于位置的子部分，該神經(jīng)網(wǎng)絡(luò)被配置為接收子部分并產(chǎn)生移位向量。

系統(tǒng)使用移位向量移位臨時權(quán)重以生成存儲器存取權(quán)重(步驟508)。特別地，系統(tǒng)使用移位向量來對臨時權(quán)重應(yīng)用卷積，例如循環(huán)卷積，以生成存儲器存取權(quán)重。例如，外部存儲器中的位置i的權(quán)重w(i,h,t+1)可以滿足：

其中所有索引算法被模N計算，并且其中s(i-j,h,t+1)是存儲器中位置i-j的移位向量。

圖6是用于根據(jù)擦除權(quán)重從外部存儲器擦除的示例過程600的流程圖。為了方便，過程600將被描述為由位于一個或多個位置的一個或多個計算機(jī)的系統(tǒng)執(zhí)行。例如，根據(jù)本說明書適當(dāng)?shù)鼐幊痰脑鰪?qiáng)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，例如圖1的增強(qiáng)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)100，可以執(zhí)行過程600。

系統(tǒng)生成擦除權(quán)重(步驟602)。系統(tǒng)可以產(chǎn)生如上參照圖3-5所述的擦除權(quán)重。

系統(tǒng)產(chǎn)生擦除向量(步驟604)。在一些實施方式中，系統(tǒng)可以使用神經(jīng)網(wǎng)絡(luò)輸出的指定部分作為擦除向量。在一些其它實施方式中，系統(tǒng)將一個或一個以上變換應(yīng)用于該部分以便產(chǎn)生擦除向量。例如，系統(tǒng)可以使用神經(jīng)網(wǎng)絡(luò)(例如，多層感知器(MLP)神經(jīng)網(wǎng)絡(luò))處理該部分，該神經(jīng)網(wǎng)絡(luò)被配置為接收該部分并生成擦除向量。

系統(tǒng)使用擦除權(quán)重和擦除門向量從外部存儲器擦除(步驟606)。具體地，對于在存儲在外部存儲器中的位置i處的向量的向量元素j處存儲的值M(i,,j,t)，系統(tǒng)產(chǎn)生滿足以下條件的擦除值

其中w_e(i,h,t+1)是位置i的擦除權(quán)重，并且g_e(j,h,t+1)是擦除向量。

在系統(tǒng)針對給定系統(tǒng)輸入執(zhí)行多個擦除操作的實施方式中，例如，如上所述并行地，可通過執(zhí)行具有用于擦除權(quán)重和擦除門向量的可選地不同值的技術(shù)600來獨(dú)立地執(zhí)行每一擦除操作。例如，每個擦除操作可以通過使用具有可能不同的參數(shù)值的不同的神經(jīng)網(wǎng)絡(luò)來執(zhí)行，以生成擦除門向量。因此，并行執(zhí)行的多個擦除操作的累積效果是乘性的。

圖7是用于根據(jù)寫入權(quán)重寫入外部存儲器的示例過程700的流程圖。為了方便，過程700將被描述為由位于一個或多個位置的一個或多個計算機(jī)的系統(tǒng)執(zhí)行。例如，根據(jù)本說明書適當(dāng)?shù)鼐幊痰脑鰪?qiáng)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，例如圖1的增強(qiáng)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)100，可以執(zhí)行過程700。

系統(tǒng)生成寫入權(quán)重(步驟702)。系統(tǒng)可以從寫入輸出部分的指定的子部分生成寫入權(quán)重，如上面參考圖3-5所述。如上所述，在一些實施方式中，寫入權(quán)重與擦除權(quán)重相同。

系統(tǒng)從寫入輸出部分的不同的指定部分生成寫入向量(步驟704)。在一些實施方式中，系統(tǒng)可以使用不同的指定子部分作為寫入向量。在一些其他實施方式中，系統(tǒng)將一個或多個變換應(yīng)用于不同的指定子部分，以便生成寫入向量。例如，系統(tǒng)可以使用神經(jīng)網(wǎng)絡(luò)，例如MLP神經(jīng)網(wǎng)絡(luò)，處理不同的指定子部分，該神經(jīng)網(wǎng)絡(luò)被配置為接收子部分并生成寫入向量。

系統(tǒng)使用寫入權(quán)重將寫入向量寫入外部存儲器(步驟706)。具體地，對于在外部存儲器中的位置i處存儲的向量的向量元素j處存儲的值M(i,,j,t)，系統(tǒng)生成滿足以下條件的值：

其中w_w(i,h,t+1)是位置i的寫入權(quán)重，并且是寫入向量的元素h處的值。在寫操作在擦除操作之后執(zhí)行而不是修改值M(i,,j,t)的實施方式中，系統(tǒng)可以通過修改由上述擦除操作生成的值來生成值M(i,j,t+1)。

在系統(tǒng)對給定系統(tǒng)輸入執(zhí)行多個寫入操作的實施方式中，例如，如上所述并行地，可以通過執(zhí)行對寫入權(quán)重和寫入向量具有可選地不同值的技術(shù)700來獨(dú)立地執(zhí)行每個寫入操作。例如，每個寫入操作可以通過使用具有可能不同的參數(shù)值的不同的神經(jīng)網(wǎng)絡(luò)來執(zhí)行，以生成寫入向量。因此，并行執(zhí)行的多個寫入操作的累積效果是加性的。

圖8是用于根據(jù)讀取權(quán)重從外部存儲器讀取的示例過程800的流程圖。為了方便，過程800將被描述為由位于一個或多個位置的一個或多個計算機(jī)的系統(tǒng)執(zhí)行。例如，根據(jù)本說明書適當(dāng)?shù)鼐幊痰脑鰪?qiáng)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，例如圖1的增強(qiáng)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)100，可以執(zhí)行過程800。

系統(tǒng)生成讀取權(quán)重(步驟802)。系統(tǒng)可以如上面參考圖3-5所述從讀取輸出部分產(chǎn)生讀取權(quán)重。

系統(tǒng)根據(jù)讀取權(quán)重從外部存儲器中的位置讀取(步驟804)。特別地，系統(tǒng)通過組合存儲在外部存儲器中的每個位置處的值來產(chǎn)生讀取數(shù)據(jù)向量。也就是說，對于讀取數(shù)據(jù)向量的給定元素，系統(tǒng)計算在該元素處存儲在外部存儲器中的每個值的加權(quán)平均，每個值的權(quán)重是對應(yīng)位置的讀取權(quán)重。例如，元素j處的讀向量的值r(j,h,t+1)可以滿足：

其中w_r(i,h,t+1)是位置i的讀取權(quán)重，并且M(i,j,t+1)是存儲在存儲器中位置i處的向量的元素j處的值。

在系統(tǒng)對于給定系統(tǒng)輸入(例如，如上所述并行)執(zhí)行多個讀取操作的實施方式中，可以通過執(zhí)行對于讀取權(quán)重具有可選地不同的讀取權(quán)重值的技術(shù)800來獨(dú)立地執(zhí)行每個讀取操作。在這些實施方式中，系統(tǒng)可以例如通過級聯(lián)向量組合由每個讀取操作生成的讀取數(shù)據(jù)向量，以形成作為神經(jīng)網(wǎng)絡(luò)輸入的一部分提供給神經(jīng)網(wǎng)絡(luò)的最終讀取數(shù)據(jù)向量。

根據(jù)實施方式，系統(tǒng)可以基于從神經(jīng)網(wǎng)絡(luò)接收的輸出來維持存儲在外部存儲器中的數(shù)據(jù)的不同程度的持久性。例如，在一些實施方式中，在系統(tǒng)輸入的每個序列已被系統(tǒng)完全處理之后，系統(tǒng)重新設(shè)置外部存儲器。作為另一示例，在一些實施方式中，存儲在外部存儲器中的數(shù)據(jù)在輸入序列之間持續(xù)。也就是說，系統(tǒng)不會在系統(tǒng)輸入序列之間從外部存儲器中刪除任何數(shù)據(jù)。在這些實施方式中，系統(tǒng)可以在分配給系統(tǒng)的給定任務(wù)完成之后并且在系統(tǒng)開始不同的機(jī)器學(xué)習(xí)任務(wù)之前重新設(shè)置外部存儲器?；蛘撸到y(tǒng)可以保持外部存儲器，甚至在任務(wù)之間不刪除值。因此，在處理當(dāng)前輸入序列時，系統(tǒng)可能能夠在處理先前輸入序列時或甚至在執(zhí)行先前機(jī)器學(xué)習(xí)任務(wù)時利用存儲在存儲器中的數(shù)據(jù)。

在本說明書中描述的主題和功能操作的實施例可以在數(shù)字電子電路中、在有形體現(xiàn)的計算機(jī)軟件或固件中、在計算機(jī)硬件(包括在本說明書中公開的結(jié)構(gòu)及其結(jié)構(gòu)等同物)中或者在它們的一個或多個的組合實現(xiàn)。在本說明書中描述的主題的實施例可以被實現(xiàn)為一個或多個計算機(jī)程序，即，編碼在有形非暫時性程序載體上的計算機(jī)程序指令的一個或多個模塊，用于由數(shù)據(jù)處理裝置執(zhí)行或控制數(shù)據(jù)處理裝置的操作。替代地或另外地，程序指令可以被編碼在人工生成的傳播信號上，例如機(jī)器生成的電、光或電磁信號，其被生成以編碼信息以用于傳輸?shù)胶线m的接收機(jī)設(shè)備，以由數(shù)據(jù)處理裝置執(zhí)行。計算機(jī)存儲介質(zhì)可以是機(jī)器可讀存儲設(shè)備、機(jī)器可讀存儲基板、隨機(jī)或串行存取存儲器設(shè)備或它們中的一個或多個的組合。

術(shù)語“數(shù)據(jù)處理裝置”是指數(shù)據(jù)處理硬件，并且包括用于處理數(shù)據(jù)的所有種類的裝置、設(shè)備和機(jī)器，例如包括可編程處理器、計算機(jī)或多個處理器或計算機(jī)。該裝置還可以是或進(jìn)一步包括專用邏輯電路，例如FPGA(現(xiàn)場可編程門陣列)或ASIC(專用集成電路)。除硬件之外，該裝置可以可選地包括創(chuàng)建用于計算機(jī)程序的執(zhí)行環(huán)境的代碼，例如構(gòu)成處理器固件、協(xié)議棧、數(shù)據(jù)庫管理系統(tǒng)、操作系統(tǒng)或它們中的一個或多個的組合的代碼。

也可被稱為或描述為程序、軟件、軟件應(yīng)用、模塊、軟件模塊、腳本或代碼的計算機(jī)程序可以以任何形式的編程語言編寫，包括編譯或解釋語言或聲明性或過程性語言，并且其可以以任何形式部署，包括作為獨(dú)立程序或作為適于在計算環(huán)境中使用的模塊、組件、子例程或其他單元。計算機(jī)程序可以但不需要對應(yīng)于文件系統(tǒng)中的文件。程序可以存儲在保存其他程序或數(shù)據(jù)的文件的一部分中，例如存儲在標(biāo)記語言文檔中、存儲在專用于所述程序的單個文件中或者存儲在多個協(xié)同文件(例如存儲一個或多個模塊、子程序或代碼部分的文件)中的一個或多個腳本。計算機(jī)程序可以被部署為在一個計算機(jī)上或在位于一個地點(diǎn)或分布在多個地點(diǎn)并通過通信網(wǎng)絡(luò)互連的多個計算機(jī)上執(zhí)行。

本說明書中描述的過程和邏輯流程可以由執(zhí)行一個或多個計算機(jī)程序的一個或多個可編程計算機(jī)執(zhí)行，以通過對輸入數(shù)據(jù)進(jìn)行操作并生成輸出來執(zhí)行功能。過程和邏輯流程也可以由專用邏輯電路(例如FPGA(現(xiàn)場可編程門陣列)或ASIC(專用集成電路))來執(zhí)行，并且裝置也可以實現(xiàn)為該專用邏輯電路。

適合于執(zhí)行計算機(jī)程序的計算機(jī)包括，例如可以基于通用或?qū)Ｓ梦⑻幚砥骰騼烧呋蛉魏纹渌愋偷闹醒胩幚韱卧Ｍǔ?，中央處理單元將從只讀存儲器或隨機(jī)存取存儲器或兩者接收指令和數(shù)據(jù)。計算機(jī)的基本元件是用于執(zhí)行或?qū)嵤┲噶畹闹醒胩幚韱卧陀糜诖鎯χ噶詈蛿?shù)據(jù)的一個或多個存儲器設(shè)備。通常，計算機(jī)還將包括用于存儲數(shù)據(jù)的一個或多個大容量存儲設(shè)備，例如磁盤、磁光盤或光盤，或者可操作地耦合以從其接收數(shù)據(jù)或向其傳送數(shù)據(jù)或兩者。然而，計算機(jī)不需要具有這樣的設(shè)備。此外，計算機(jī)可以嵌入在另一設(shè)備中，例如移動電話、個人數(shù)字助理(PDA)、移動音頻或視頻播放器、游戲控制臺、全球定位系統(tǒng)(GPS)接收器或便攜式存儲設(shè)備，例如，通用串行總線(USB)閃存驅(qū)動器，這里僅舉幾個例子。

適于存儲計算機(jī)程序指令和數(shù)據(jù)的計算機(jī)可讀介質(zhì)包括所有形式的非易失性存儲器、介質(zhì)和存儲器設(shè)備，包括例如半導(dǎo)體存儲器設(shè)備，例如EPROM、EEPROM和閃存設(shè)備；磁盤，例如內(nèi)部硬盤或可移動盤；磁光盤；和CD-ROM和DVD-ROM盤。處理器和存儲器可以由專用邏輯電路補(bǔ)充或并入專用邏輯電路中。

為了提供與用戶的交互，本說明書中描述的主題的實施例可以實現(xiàn)在計算機(jī)上，該計算機(jī)具有：顯示設(shè)備(例如，CRT(陰極射線管)或LCD(液晶顯示器)監(jiān)視器)，用于向用戶顯示信息和鍵盤；以及，指示設(shè)備，例如鼠標(biāo)或軌跡球，用戶可以通過該指示設(shè)備向計算機(jī)提供輸入。其他類型的設(shè)備也可以用于提供與用戶的交互；例如，提供給用戶的反饋可以是任何形式的感覺反饋，例如視覺反饋、聽覺反饋或觸覺反饋；并且可以以任何形式接收來自用戶的輸入，該任何形式包括聲音、語音或觸覺輸入。另外，計算機(jī)可以通過下述方式與用戶交互：向用戶使用的設(shè)備發(fā)送文檔和從用戶使用的設(shè)備接收文檔；例如，通過響應(yīng)于從用戶的客戶端設(shè)備上的web瀏覽器接收的請求，將網(wǎng)頁發(fā)送到該web瀏覽器。

在本說明書中描述的主題的實施例可以實現(xiàn)在計算系統(tǒng)中，該計算系統(tǒng)包括諸如作為數(shù)據(jù)服務(wù)器的后端組件，或者包括諸如應(yīng)用服務(wù)器的中間件組件，或者包括諸如具有圖形用戶界面或Web瀏覽器的客戶端計算機(jī)的前端組件，或者包括一個或多個這樣的后端、中間件或前端組件的任何組合，用戶可以通過該Web瀏覽器與本說明書中描述的主題的實現(xiàn)交互。系統(tǒng)的組件可以通過任何形式或介質(zhì)的數(shù)字?jǐn)?shù)據(jù)通信(例如，通信網(wǎng)絡(luò))互連。通信網(wǎng)絡(luò)的示例包括局域網(wǎng)(“LAN”)和廣域網(wǎng)(“WAN”)，例如因特網(wǎng)。

計算系統(tǒng)可以包括客戶端和服務(wù)器?？蛻舳撕头?wù)器通常彼此遠(yuǎn)離并且通常通過通信網(wǎng)絡(luò)交互。客戶端和服務(wù)器的關(guān)系借助于在相應(yīng)計算機(jī)上運(yùn)行并且彼此具有客戶端-服務(wù)器關(guān)系的計算機(jī)程序而產(chǎn)生。

雖然本說明書包含許多具體實施細(xì)節(jié)，但是這些不應(yīng)被解釋為對任何發(fā)明的范圍或?qū)λ蟊Ｗo(hù)內(nèi)容的范圍的限制，而是作為可以對特定發(fā)明的特定實施例特定的特征的描述。在本說明書中在單獨(dú)實施例的場境中描述的某些特征也可以在單個實施例中組合實現(xiàn)。相反，在單個實施例的場境中描述的各種特征也可以在多個實施例中單獨(dú)地或以任何合適的子組合來實現(xiàn)。此外，雖然特征可以在上面描述為在某些組合中起作用并且甚至最初如此要求保護(hù)，但是來自所要求保護(hù)的組合的一個或多個特征在一些情況下可以從組合中刪除，并且所要求保護(hù)的組合可以涉及子組合或子組合的變體。

類似地，雖然在附圖中以特定順序描繪了操作，但是這不應(yīng)被理解為要求這些操作以所示的特定順序或以順序次序執(zhí)行，或者所有所示的操作被執(zhí)行，以實現(xiàn)期望的結(jié)果。在某些情況下，多任務(wù)和并行處理可能是有利的。此外，上述實施例中的各種系統(tǒng)模塊和組件的分離不應(yīng)被理解為在所有實施例中都需要這樣的分離，并且應(yīng)當(dāng)理解，所描述的程序組件和系統(tǒng)通常可以一起集成在單個軟件產(chǎn)品中，或者封裝成多個軟件產(chǎn)品。

已經(jīng)描述了主題的特定實施例。其他實施例在所附權(quán)利要求的范圍內(nèi)。例如，權(quán)利要求中所述的動作可以以不同的順序執(zhí)行并且仍然實現(xiàn)期望的結(jié)果。作為一個示例，附圖中描繪的過程不一定需要所示的特定順序或順序，以實現(xiàn)期望的結(jié)果。在某些實施方式中，多任務(wù)和并行處理可以是有利的。