本發(fā)明公開了一種基于切比雪夫插值多項式的s型激活函數(shù)算法及其硬件結(jié)構(gòu)，其計算結(jié)果相比采用分段線性逼近的方法能夠達到更高的精度(單精度計算誤差小于1ulp)。該算法分為三個步驟，先判斷單精度輸入是否處于非多項式計算區(qū)間，之后對于多項式計算區(qū)間內(nèi)的單精度浮點輸入進行子區(qū)間判斷并獲取該子區(qū)間多項式各項的系數(shù)，最后將多項式計算區(qū)間內(nèi)的單精度浮點輸入進行冪運算，并分別與多項式各項系數(shù)相乘，最終將多項式各項相加，得到多項式計算結(jié)果。通過將整個單精度浮點區(qū)間根據(jù)s型激活函數(shù)的漸進特性區(qū)分為多項式計算區(qū)間和非多項式計算區(qū)間，節(jié)省了硬件開銷，降低了計算延時；在劃分子區(qū)間的過程中，結(jié)合硬件可行性提出了一種基于切比雪夫插值多項式算法的子區(qū)間劃分方法，能夠在滿足精度要求的前提下盡可能地降低查找表的資源占用。

背景技術(shù)：

1、隨著大數(shù)據(jù)、人工智能時代的到來，對于計算芯片的算力要求也日益提高，向作為人工智能基礎(chǔ)的神經(jīng)網(wǎng)絡計算提出了更高的要求。

2、人工神經(jīng)網(wǎng)絡是受到人類大腦構(gòu)造的啟發(fā)，模仿生物神經(jīng)元相互發(fā)送信號的方式而誕生的模型。它由許多感知器構(gòu)成的，感知器會對各自的輸入進行加權(quán)求和，并進行激活函數(shù)(通常為非線性)計算，決定是否將輸出傳遞給下一個感知器。因此在神經(jīng)網(wǎng)絡中除浮點乘加運算外，還需要完成大量的s型激活函數(shù)的浮點計算。這種函數(shù)也稱為sigmoid函數(shù)，往往無法通過簡單的幾次乘加運算來求解，因此需要設(shè)計專用的電路對其求解。

3、隨著神經(jīng)網(wǎng)絡規(guī)模的擴大和復雜度的提高，對s型激活函數(shù)的計算速度及計算精度提出了更高的要求。因此設(shè)計出具有更高精度的s型激活函數(shù)浮點計算單元具有重要意義。

4、本發(fā)明根據(jù)s型激活函數(shù)的數(shù)學特性，創(chuàng)新性地提出了一種基于切比雪夫插值多項式的s型激活函數(shù)算法，并以此為基礎(chǔ)實現(xiàn)了其硬件電路。

技術(shù)實現(xiàn)思路

1、本發(fā)明的技術(shù)目的是：

2、為了提高s型激活函數(shù)計算的計算精度，使其達到在單精度計算下忠實舍入(誤差小于1ulp)的精度，提供了一種基于切比雪夫插值多項式的計算方法，并基于該算法設(shè)計出四次多項式的硬件電路，已解決目前s型激活函數(shù)計算精度過低的問題，提高神經(jīng)網(wǎng)絡計算的性能。

3、本發(fā)明實現(xiàn)的技術(shù)方案：

4、本設(shè)計提出的基于切比雪夫插值多項式的s型激活函數(shù)算法通過多項式插值計算的方式對非線性的s型激活函數(shù)進行逼近，對于32位任意單精度浮點輸入，算法會計算出32位單精度浮點輸出，并且該輸出滿足忠實舍入(誤差小于1ulp)的精度。如圖1所示，本發(fā)明的算法分為三個步驟：

5、(1)判斷單精度輸入是否處于非多項式計算區(qū)間。對于s型激活函數(shù)當x趨近于負無窮時，s型激活函數(shù)值趨近于0；當x趨近于正無窮時，s型激活函數(shù)值趨近于1。對于某些單精度浮點數(shù)輸入?yún)^(qū)間，該函數(shù)的結(jié)果在單精度下表示為0x0或0x1，這種區(qū)間不需要通過多項式計算，被稱為非多項式計算區(qū)間。根據(jù)這種特性本發(fā)明提出一種非多項式計算區(qū)間的劃分方法：對單精度輸入進行區(qū)間判斷，如果處于非多項式計算區(qū)間，則將其對應結(jié)果作為算法結(jié)果。

6、(2)對于多項式計算區(qū)間內(nèi)的單精度浮點輸入進行子區(qū)間判斷并獲取該子區(qū)間四次多項式各項的系數(shù)。對于任意的子區(qū)間[a，b]，需要保證基于切比雪夫插值的多項式余項其中ξ∈[a，b]，n為多項式最高階數(shù)，小于該區(qū)間s型激活函數(shù)在單精度下可表示的最小精度。本算法提出了一種子區(qū)間劃分方法：在滿足切比雪夫插值的余項小于該子區(qū)間s型激活函數(shù)的最小單精度表示精度的前提下盡可能選擇寬度更大的子區(qū)間；子區(qū)間的寬度應為2的冪。按照這個方法可以通過盡可能少的子區(qū)間個數(shù)滿足精度要求，節(jié)省了硬件的查找表資源，并利于硬件實現(xiàn)。

7、(3)將多項式計算區(qū)間內(nèi)的單精度浮點輸入的部分有效數(shù)字進行冪運算，并分別與多項式各項系數(shù)相乘，最終將多項式各項相加，得到多項式計算結(jié)果。

8、本發(fā)明基于切比雪夫插值多項式的s型激活函數(shù)算法的四次多項式實現(xiàn)的硬件電路結(jié)構(gòu)如圖2所示。該電路主要由區(qū)間過濾模塊、函數(shù)前處理模塊、查找表模塊、冪級數(shù)模塊、浮點乘模塊、浮點加模塊、函數(shù)后處理模塊組成。區(qū)間過濾模塊判斷輸入的單精度浮點數(shù)是否處于多項式計算區(qū)間中，如果處于非多項式計算區(qū)間，則將其對應結(jié)果傳輸給函數(shù)后處理模塊。函數(shù)前處理對輸入的單精度浮點數(shù)進行拆分得到索引值和變量。查找表模塊根據(jù)索引值得到對應的5個多項式系數(shù)a0，a1，a2，a3，a4。冪級數(shù)模塊對變量做平方、立方、四次方浮點計算。浮點乘模塊將4個多項式系數(shù)a1，a2，a3，a4分別與變量及其平方、立方、四次方浮點計算結(jié)果相乘得到多項式的四項a1x，a2x2，a3x3，a4x4。浮點加模塊將多項式各項a0，a1x，a2x2，a3x3，a4x4相加，得到多項式計算的結(jié)果。函數(shù)后處理模塊根據(jù)函數(shù)前處理模塊的區(qū)間進行判斷，決定將多項式計算的結(jié)果和非多項式計算區(qū)間的對應結(jié)果之一作為最終的單精度浮點輸出。

9、相比于分段線性法及其硬件電路，本發(fā)明有以下優(yōu)點：

10、1.能夠達到更高的計算精度。根據(jù)本發(fā)明提出的子區(qū)間劃分方法，采用切比雪夫插值多項式算法能夠保證在每個子區(qū)間內(nèi)，計算結(jié)果都滿足忠實舍入(誤差小于1ulp)的要求。

11、2.降低了查找表資源消耗。本發(fā)明設(shè)計的硬件結(jié)構(gòu)占用的查找表資源小于基于分段線性法的硬件電路。

技術(shù)特征：

1.一種基于切比雪夫插值多項式的s型激活函數(shù)算法及其硬件結(jié)構(gòu)，包括非多項式計算區(qū)間劃分方法、多項式計算區(qū)間的子區(qū)間劃分方法。其特征在于：

2.由權(quán)利要求1所述的一種非多項式計算區(qū)間劃分方法，其特征在于：

3.由權(quán)利要求1所述的一種多項式計算區(qū)間的子區(qū)間劃分方法，其特征在于：

4.由權(quán)利要求1所述的一種基于切比雪夫插值多項式的s型激活函數(shù)算法及其硬件結(jié)構(gòu)，其特征在于：

5.由權(quán)利要求4所述的區(qū)間過濾模塊，其特征在于：

6.由權(quán)利要求4所述的查找表模塊，其特征在于：

技術(shù)總結(jié)
本發(fā)明公開了一種基于切比雪夫插值多項式的S型激活函數(shù)算法及其硬件結(jié)構(gòu)。本發(fā)明設(shè)計的S型激活函數(shù)算法分為非多項式計算區(qū)間判斷、子區(qū)間判斷及獲取系數(shù)、多項式計算三個步驟?；谠撍惴ㄋ拇味囗検綄崿F(xiàn)的硬件電路由區(qū)間過濾模塊、函數(shù)前處理模塊、查找表模塊、冪級數(shù)模塊、浮點乘模塊、浮點加模塊、函數(shù)后處理模塊組成，在單精度下滿足忠實舍入(誤差小于1ULP)的要求。通過將整個單精度浮點區(qū)間根據(jù)S型激活函數(shù)的漸進特性區(qū)分為多項式計算區(qū)間和非多項式計算區(qū)間，節(jié)省了硬件開銷，降低了計算延時。本發(fā)明提出了一種新型多項式計算區(qū)間的子區(qū)間劃分方法，能夠在滿足精度要求的前提下盡可能地降低查找表的資源占用?；谠撍惴▽崿F(xiàn)的硬件結(jié)構(gòu)以較小硬件開銷為代價，能夠解決S型激活函數(shù)浮點計算精度過低的問題，進而提高神經(jīng)網(wǎng)絡計算的精度。

技術(shù)研發(fā)人員：馮建華,張宇浩,侯明浩,王然,崔博文,陳宇航,李鵬龍,齊觀平,葉紅飛
受保護的技術(shù)使用者：北京大學
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/5