主持人 柳偉（教授，博士，深圳信息職業(yè)技術(shù)學(xué)院計算機(jī)學(xué)院院長）：

深度神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺、自然語言處理等應(yīng)用領(lǐng)域取得了突破性進(jìn)展，但如何在資源受限的場景下部署神經(jīng)網(wǎng)絡(luò)模型一直是學(xué)術(shù)界和工業(yè)界關(guān)注的熱點(diǎn)。目前的神經(jīng)網(wǎng)絡(luò)優(yōu)化技術(shù)主要包括神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化，神經(jīng)網(wǎng)絡(luò)損失函數(shù)優(yōu)化和神經(jīng)網(wǎng)絡(luò)模型壓縮等三類，目的是在少損失精度的前提下為神經(jīng)網(wǎng)絡(luò)“瘦身”，達(dá)到“四兩撥千斤”的效果。

本欄目四篇文章涵蓋了上述三類神經(jīng)網(wǎng)絡(luò)優(yōu)化方法。其中《一種基于Boosting的差分互補(bǔ)卷積網(wǎng)絡(luò)》和《基于CNN層內(nèi)結(jié)構(gòu)優(yōu)化的圖像分類》主要關(guān)注神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化。前者提出一種多尺度差分互補(bǔ)卷積單元，增強(qiáng)了層內(nèi)特征的表達(dá)能力；后者提出了一種跳躍連接以聚合層內(nèi)的高級語義信息和低級空間信息?！兑环N基于對抗MSE度量的自編碼網(wǎng)絡(luò)優(yōu)化方法》提出了一種用生成對抗網(wǎng)絡(luò)學(xué)習(xí)均方誤差損失函數(shù)權(quán)重的方法。《基于特征圖自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)剪枝算法》基于特征圖的重要性確定神經(jīng)網(wǎng)絡(luò)剪枝方案。深度學(xué)習(xí)實(shí)質(zhì)上是模擬人腦的計算過程，相信隨著人們對思維過程的分析越來越透徹，深度學(xué)習(xí)的“黑盒子”一定會變成“白盒子”，屆時神經(jīng)網(wǎng)絡(luò)優(yōu)化技術(shù)路線將更加清晰。本欄目四篇文章有助于大家比較全面地了解神經(jīng)網(wǎng)絡(luò)優(yōu)化，看到深度學(xué)習(xí)在應(yīng)用中存在的瓶頸和未來的發(fā)展趨勢。