自適應(yīng)行為的神經(jīng)系統(tǒng)的制作方法
【專利說明】自適應(yīng)行為的神經(jīng)系統(tǒng)
[0001] 背景
[0002] 領(lǐng)域
[0003] 本公開的某些方面一般涉及神經(jīng)網(wǎng)絡(luò)，并且更具體地涉及使用神經(jīng)調(diào)制來對神經(jīng) 系統(tǒng)中的自適應(yīng)行為進(jìn)行建模。
【背景技術(shù)】
[0004] 人工神經(jīng)網(wǎng)絡(luò)是由一群互連的人工神經(jīng)元（即神經(jīng)元模型）組成的數(shù)學(xué)或計(jì)算模 型。人工神經(jīng)網(wǎng)絡(luò)可以源自于（或至少寬松地基于）生物神經(jīng)網(wǎng)絡(luò)（諸如在人腦中發(fā)現(xiàn)的 那些生物神經(jīng)網(wǎng)絡(luò)）的結(jié)構(gòu)和/或功能。由于人工神經(jīng)網(wǎng)絡(luò)能從觀察中推斷出函數(shù)，因此這 樣的網(wǎng)絡(luò)在因任務(wù)或數(shù)據(jù)的復(fù)雜度使得手工設(shè)計(jì)該函數(shù)不切實(shí)際的應(yīng)用中是特別有用的。
[0005] 一種類型的人工神經(jīng)網(wǎng)絡(luò)是尖峰神經(jīng)網(wǎng)絡(luò)，其將時間概念以及神經(jīng)元和突觸狀態(tài) 納入到其工作模型中，由此增加了此種類型的神經(jīng)模擬中的真實(shí)性水平。尖峰神經(jīng)網(wǎng)絡(luò)基 于神經(jīng)元僅當(dāng)膜電位達(dá)到閾值時才激發(fā)這一概念。當(dāng)神經(jīng)元激發(fā)時，它生成一尖峰，該尖峰 行進(jìn)至其他神經(jīng)元，這些其他神經(jīng)元繼而基于該收到的尖峰來升高或降低其膜電位。
[0006] 概述
[0007] 本公開的某些方面一般涉及提供、實(shí)現(xiàn)和使用基于自適應(yīng)行為的神經(jīng)機(jī) 制的系統(tǒng)。該系統(tǒng)可以基于神經(jīng)調(diào)質(zhì)介導(dǎo)的再可塑性（neuromodulator-mediated meta-plasticity)和/或增益控制。利用此系統(tǒng)，來生成感官線索與運(yùn)動動作之間靈活的 關(guān)聯(lián)，這使得媒介物能夠在變化的環(huán)境中高效地搜集報(bào)償。
[0008] 本公開的某些方面提供了一種用于生成神經(jīng)自適應(yīng)行為的方法。該方法一般包括 接收一個或多個輸入刺激；處理所接收到的輸入刺激以生成輸出信號，其中該處理用由增 益控制單元生成的第一神經(jīng)調(diào)制信號來調(diào)制；控制該增益控制單元以在至少兩個不同的神 經(jīng)活動模式之間切換，其中由增益控制單元生成的第一神經(jīng)調(diào)制信號的電平或定時中的至 少一者是基于這些神經(jīng)活動模式來確定的；以及向輸出單元發(fā)送該輸出信號。
[0009] 本公開的某些方面提供了一種用于生成神經(jīng)自適應(yīng)行為的裝置。該裝置一般包括 處理系統(tǒng)，該處理系統(tǒng)被配置成接收一個或多個輸入刺激；處理所接收到的輸入刺激以生 成輸出信號，其中該處理用由增益控制單元生成的第一神經(jīng)調(diào)制信號來調(diào)制；控制該增益 控制單元以在至少兩個不同的神經(jīng)活動模式之間切換，其中由增益控制單元生成的第一神 經(jīng)調(diào)制信號的電平或定時中的至少一者是基于這些神經(jīng)活動模式來確定的；以及向輸出單 元發(fā)送該輸出信號。
[0010] 本公開的某些方面提供了一種用于生成神經(jīng)自適應(yīng)行為的設(shè)備。該設(shè)備一般包括 用于接收一個或多個輸入刺激的裝置；用于處理所接收到的輸入刺激以生成輸出信號的裝 置，其中該用于處理的裝置用由增益控制單元生成的第一神經(jīng)調(diào)制信號來調(diào)制；用于控制 該增益控制單元以在至少兩個不同的神經(jīng)活動模式之間切換的裝置，其中由增益控制單元 生成的第一神經(jīng)調(diào)制信號的電平或定時中的至少一者是基于這些神經(jīng)活動模式來確定的； 以及用于向輸出單元發(fā)送該輸出信號的裝置。
[0011] 本公開的某些方面提供了一種用于生成神經(jīng)自適應(yīng)行為的計(jì)算機(jī)程序產(chǎn)品。該計(jì) 算機(jī)程序產(chǎn)品一般包括具有指令的計(jì)算機(jī)可讀介質(zhì)，這些指令可被執(zhí)行以：接收一個或多 個輸入刺激；處理所接收到的輸入刺激以生成輸出信號，其中該處理用由增益控制單元生 成的第一神經(jīng)調(diào)制信號來調(diào)制；控制該增益控制單元以在至少兩個不同的神經(jīng)活動模式之 間切換，其中由增益控制單元生成的第一神經(jīng)調(diào)制信號的電平或定時中的至少一者是基于 這些神經(jīng)活動模式來確定的；以及向輸出單元發(fā)送該輸出信號。
[0012] 附圖簡述
[0013] 為了能詳細(xì)理解本公開的以上陳述的特征所用的方式，可參照各方面來對以上簡 要概述的內(nèi)容進(jìn)行更具體的描述，其中一些方面在附圖中解說。然而應(yīng)該注意，附圖僅解說 了本公開的某些典型方面，故不應(yīng)被認(rèn)為限定其范圍，因?yàn)楸久枋隹稍试S有其他等同有效 的方面。
[0014] 圖1解說了根據(jù)本公開的某些方面的示例神經(jīng)元網(wǎng)絡(luò)。
[0015] 圖2是根據(jù)本公開的某些方面的基于自適應(yīng)行為的神經(jīng)機(jī)制的示例系統(tǒng)的框圖。
[0016] 圖3解說了根據(jù)本公開的某些方面的示例去甲腎上腺素（NE)調(diào)制。
[0017] 圖4解說了根據(jù)本公開的某些方面的由圖2的系統(tǒng)中的增益控制模塊輸出的三種 神經(jīng)活動模式。
[0018] 圖5A解說了根據(jù)本公開的某些方面的基于增益控制模塊的低緊張型模式的示例 系統(tǒng)行為。
[0019] 圖5B解說了根據(jù)本公開的某些方面的基于增益控制模塊的高緊張型模式的示例 系統(tǒng)行為。
[0020] 圖5C解說了根據(jù)本公開的某些方面的基于增益控制模塊的相位型模式的示例系 統(tǒng)行為。
[0021] 圖6解說了根據(jù)本公開的某些方面的圖2的系統(tǒng)中的報(bào)償評價模塊中的相位型和 緊張型神經(jīng)元群。
[0022] 圖7用圖表解說了根據(jù)本公開的某些方面的取決于神經(jīng)調(diào)制輸入的電平來規(guī)定 三種不同模式的示例再可塑性規(guī)則。
[0023] 圖8A解說了根據(jù)本公開的某些方面的引起報(bào)償評價模塊的更新和增益控制模塊 的相位型響應(yīng)的高多巴胺（DA)水平。
[0024] 圖8B解說了根據(jù)本公開的某些方面的不引起報(bào)償評價模塊的進(jìn)一步更新的中等 DA水平。
[0025] 圖8C解說了根據(jù)本公開的某些方面的引起報(bào)償評價模塊的更新和增益控制模塊 的緊張型響應(yīng)的低DA水平。
[0026] 圖9是根據(jù)本公開的某些方面的用于生成神經(jīng)自適應(yīng)行為的示例操作的流程圖。
[0027] 圖9A解說了能夠執(zhí)行圖9中示出的各操作的示例裝置。
[0028] 詳細(xì)描述
[0029] 以下參照附圖更全面地描述本公開的各個方面。然而，本公開可用許多不同形式 來實(shí)施并且不應(yīng)解釋為被限定于本公開通篇給出的任何具體結(jié)構(gòu)或功能。相反，提供這些 方面是為了使得本公開將是透徹和完整的，并且其將向本領(lǐng)域技術(shù)人員完全傳達(dá)本公開的 范圍?；诒疚闹械慕虒?dǎo)，本領(lǐng)域技術(shù)人員應(yīng)領(lǐng)會，本公開的范圍旨在覆蓋本文中所披露的 本公開的任何方面，不論其是與本公開的任何其他方面相獨(dú)立地還是組合地實(shí)現(xiàn)的。例如， 可以使用本文所闡述的任何數(shù)目的方面來實(shí)現(xiàn)裝置或?qū)嵺`方法。另外，本公開的范圍旨在 覆蓋使用作為本文中所闡述的本公開的各種方面的補(bǔ)充或者另外的其他結(jié)構(gòu)、功能性、或 者結(jié)構(gòu)及功能性來實(shí)踐的此類裝置或方法。應(yīng)當(dāng)理解，本文中所披露的本公開的任何方面 可由權(quán)利要求的一個或多個元素來實(shí)施。
[0030] 措辭"示例性"在本文中用于表示"用作示例、實(shí)例或解說"。本文中描述為"示例 性"的任何方面不必被解釋為優(yōu)于或勝過其他方面。
[0031] 盡管本文描述了特定方面，但這些方面的眾多變體和置換落在本公開的范圍之 內(nèi)。雖然提到了優(yōu)選方面的一些益處和優(yōu)點(diǎn)，但本公開的范圍并非旨在被限定于特定益處、 用途或目標(biāo)。相反，本公開的各方面旨在能寬泛地應(yīng)用于不同的技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和協(xié) 議，其中一些作為示例在附圖以及以下對優(yōu)選方面的描述中解說。詳細(xì)描述和附圖僅僅解 說本公開而非限定本公開，本公開的范圍由所附權(quán)利要求及其等效技術(shù)方案來定義。
[0032] 示例神經(jīng)系統(tǒng)
[0033] 圖1解說根據(jù)本公開的某些方面的具有多級神經(jīng)元的示例神經(jīng)系統(tǒng)100。神經(jīng)系 統(tǒng)100可包括神經(jīng)元級102,該級神經(jīng)元102通過突觸連接網(wǎng)絡(luò)（突觸104)連接到另一級 神經(jīng)元106。為簡單起見，圖1中僅解說了兩級神經(jīng)元，但在典型的神經(jīng)系統(tǒng)中可存在更少 或更多級神經(jīng)元。
[0034] 如圖1所解說的，級102中的每一神經(jīng)元可接收輸入信號108,輸入信號108可以 是由前一級（圖1中未示出）的多個神經(jīng)元所生成的。信號108可表示至級102的神經(jīng)元 的輸入（例如，輸入電流）。此類輸入可在神經(jīng)元膜上累積以對膜電位進(jìn)行充電。當(dāng)膜電 位達(dá)到其閾值時，該神經(jīng)元可激發(fā)并生成輸出尖峰，該輸出尖峰將被傳遞到下一級神經(jīng)元 (例如，級106)。
[0035] 尖峰從一級神經(jīng)元向另一級神經(jīng)元的傳遞可通過突觸連接（或簡稱"突觸"）網(wǎng)絡(luò) 104來達(dá)成，如圖1所解說的。
[0036] 突觸104可從級102的神經(jīng)元（相對于突觸104而言的突觸前神經(jīng)元）接收輸出 信號（即尖峰）。對于某些方面，這些信號可根據(jù)可調(diào)整的突觸權(quán)重(其 中P是級102和106的神經(jīng)元之間的突觸連接的總數(shù)）來縮放。對于其它方面，突觸104 可以不應(yīng)用任何突觸權(quán)重。此外，（經(jīng)縮放）信號可被組合以作為級106中每個神經(jīng)元（相 對于突觸104而言的突觸后神經(jīng)元）的輸入信號。級106中的每個神經(jīng)元可基于對應(yīng)的組 合輸入信號來生成輸出尖峰11