《電子技術應用》
您所在的位置：首頁 > 通信與網(wǎng)絡 > 設計應用 > 基于權值交互思想的卷積神經(jīng)網(wǎng)絡量化算法
基于權值交互思想的卷積神經(jīng)網(wǎng)絡量化算法
2020年電子技術應用第10期
肖國麟，楊春玲，陳 宇
哈爾濱工業(yè)大學 電氣工程及自動化學院，黑龍江 哈爾濱150001
摘要： 傳統(tǒng)的卷積神經(jīng)網(wǎng)絡量化算法廣泛使用對稱均勻量化操作對模型權值進行量化，沒有考慮到相鄰權值量化之間的相互關系，即上一個權值的量化操作產生的量化噪聲可以通過調整之后權值的量化方向加以彌補。針對上述問題，提出了一種基于權值交互思想的三值卷積神經(jīng)網(wǎng)絡量化算法，達到了16倍的模型壓縮比，以ImageNet作為數(shù)據(jù)集，量化后的AlexNet和ResNet-18網(wǎng)絡上模型預測準確率只下降了不到3%。該方法達到了較高的模型壓縮比，具有較高的精度，可以用于將卷積神經(jīng)網(wǎng)絡移植到計算資源有限的移動端平臺上。
中圖分類號： TN911.73；TP391
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.200263
中文引用格式： 肖國麟，楊春玲，陳宇. 基于權值交互思想的卷積神經(jīng)網(wǎng)絡量化算法[J].電子技術應用，2020，46(10)：39-41.
英文引用格式： Xiao Guolin，Yang Chunling，Chen Yu. Convolutional neural network quantization algorithm based on weight interaction ideas[J]. Application of Electronic Technique，2020，46(10)：39-41.
Convolutional neural network quantization algorithm based on weight interaction ideas
Xiao Guolin，Yang Chunling，Chen Yu
School of Electrical Engineering and Automation，Harbin Institute of Technology，Harbin 150001，China
Abstract： Traditional convolutional neural network quantization algorithms widely use symmetric uniform quantization operations to quantize models′ weights, without taking into account the correlation between the quantization of adjacent weights, that is, the quantization noise generated by the quantization operation of the previous weight can be made up after adjusting the quantitative direction of the next weights. Aiming at the above problems, a ternary convolutional neural network quantization algorithm based on the idea of weight interaction is proposed, the model compression ratio is 16 times. On the ImageNet dataset, the model prediction accuracy of ternarized AlexNet and ResNet-18 network only decrease less than 3%. This method achieves a high model compression ratio, has higher accuracy, and can be used to transplant convolutional neural networks to mobile platforms with limited computing resources.
Key words : ternary quantization；convolutional neural network；weight interaction；model compression

0 引言

    隨著深度學習的飛速發(fā)展，卷積神經(jīng)網(wǎng)絡(CNN)被越來越多地應用于各個領域，如圖像識別[1-2]和目標檢測[3-4]。然而，隨著應用要求的提高，CNN的結構越來越深，導致其對于計算力和內存的需求大大提高。同時由于移動端設備的飛速發(fā)展，設備小型化的需求和市場不斷擴大，將CNN應用到小型移動端設備的需求也隨之增加。然而，受限于電源、內存及功耗，移動端平臺無法滿足高性能CNN對于硬件性能、功耗及內存的要求，因此優(yōu)化CNN模型從而降低其對于計算資源的要求非常必要[5]。

    CNN權值量化是目前一種主流的CNN模型優(yōu)化方法，而三值量化其中一種能夠將權值由32位量化到2位（0，±α）從而達到16倍壓縮比的低位量化方法。自從2016年三值化網(wǎng)絡被LI F等人提出以來[6]，其方法不斷改進，性能不斷提高。其中MELLEMPUDI N等人于2017年提出的細粒度三值化網(wǎng)絡[7]，將激活函數(shù)量化到8或4位，將權重量化至2位，將每N個權值分為一個組，分組量化，兩組之間相互獨立，其中N=2，4，8，16，…。該方法主要通過嘗試不同的分組和暴力搜索解空間以及二次訓練的方式得到最優(yōu)解，但相比原精度的32位卷積網(wǎng)絡仍有較大性能差距。目前的三值量化網(wǎng)絡性能不佳的其中一個問題在于都使用對稱均勻量化操作，只考慮了單個權值的量化，忽視了相鄰權值量化之間的相互關系，量化噪音直接相互累加，導致每一層網(wǎng)絡的噪聲積累過高，使得量化模型的預測準確率有極大的下降。

    針對此問題，本文提出一種新的CNN模型三值量化算法，基于權值交互思想，在同一卷積核內，將先前量化產生的積累噪聲作為一個負變量加入到下一個權值的量化操作中，使得對下一個權值朝著能減小積累噪聲的方向進行量化。然后，通過層級貪婪搜索算法逐層搜索局部最優(yōu)解，得到效果近似最優(yōu)解的優(yōu)化解，降低搜索算法復雜度，極大減少搜索所需時間。實驗證明，相比于其他使用對稱均勻量化操作的算法，本文的算法極大地減小了由于量化操作導致的模型預測準確率的損失。




本文詳細內容請下載:http://www.theprogrammingfactory.com/resource/share/2000003017




作者信息:

肖國麟，楊春玲，陳  宇

(哈爾濱工業(yè)大學 電氣工程及自動化學院，黑龍江 哈爾濱150001)

此內容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權禁止轉載。