王成優(yōu)，周 曉，張亮，王小利，郭春生

(山東大學(xué) 機(jī)電與信息工程學(xué)院，山東 威海 264209)

數(shù)字圖像處理是一門(mén)多學(xué)科交叉的應(yīng)用型課程，在生物醫(yī)學(xué)、衛(wèi)星遙感、高光譜成像、農(nóng)作物監(jiān)測(cè)和安防監(jiān)控等領(lǐng)域發(fā)揮著重要作用。近年來(lái)，得益于政府的高度重視和科研工作者的積極參與，人工智能技術(shù)在各個(gè)領(lǐng)域得到了廣泛應(yīng)用并獲得顯著成效，數(shù)字圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域也不例外，機(jī)器學(xué)習(xí)在圖像去噪、圖像復(fù)原重建、圖像分割和圖像識(shí)別等方向的應(yīng)用取得了良好效果[1-3]。同時(shí)，各企業(yè)和科研機(jī)構(gòu)對(duì)數(shù)字圖像處理人才的需求急劇增長(zhǎng)，能夠同時(shí)掌握傳統(tǒng)的數(shù)字圖像處理方法和相關(guān)人工智能技術(shù)對(duì)學(xué)生畢業(yè)后從事相關(guān)工作、繼續(xù)深造、研究相關(guān)課題等打下堅(jiān)實(shí)的基礎(chǔ)。

作為計(jì)算機(jī)類(lèi)和電子信息類(lèi)專業(yè)課或選修課，數(shù)字圖像處理具有綜合性強(qiáng)、先導(dǎo)課程多、實(shí)踐要求高和算法更新快等特點(diǎn)，在教學(xué)中，這些特點(diǎn)對(duì)教師的知識(shí)儲(chǔ)備、教學(xué)能力和學(xué)生的專業(yè)基礎(chǔ)有較高要求。盡管人工智能已廣泛應(yīng)用于圖像處理領(lǐng)域，然而在目前高校的教學(xué)中較少涉及，人才培養(yǎng)相對(duì)滯后于先進(jìn)技術(shù)的發(fā)展，無(wú)法適應(yīng)時(shí)代特點(diǎn)。因此，本文立足于傳統(tǒng)的教學(xué)內(nèi)容并結(jié)合人工智能技術(shù)，進(jìn)行數(shù)字圖像處理教學(xué)改革，對(duì)高校的人才培養(yǎng)具有重要意義[3-6]。

一 課程教學(xué)面臨的問(wèn)題

通過(guò)調(diào)研與教學(xué)實(shí)踐發(fā)現(xiàn)，目前數(shù)字圖像處理課程的教學(xué)中主要存在以下不足。

1)對(duì)先導(dǎo)課程缺乏補(bǔ)充性回顧和復(fù)習(xí)。數(shù)字圖像處理涉及到的先導(dǎo)課程較多且內(nèi)容較為硬核，主要的先導(dǎo)課程有高等數(shù)學(xué)、線性代數(shù)、概率論與數(shù)理統(tǒng)計(jì)、信號(hào)與系統(tǒng)和數(shù)字信號(hào)處理，在授課過(guò)程中，部分學(xué)生由于數(shù)學(xué)功底薄弱和知識(shí)遺忘的問(wèn)題，容易對(duì)課程產(chǎn)生畏難、抵觸等厭學(xué)情緒。

2)重理論、輕實(shí)踐。為了保證教學(xué)內(nèi)容的嚴(yán)謹(jǐn)性，教師在課堂上往往著重于理論推導(dǎo)，對(duì)實(shí)驗(yàn)設(shè)計(jì)的重視程度不足，內(nèi)容也多偏重于MATLAB 編程的驗(yàn)證性實(shí)驗(yàn)，缺少對(duì)當(dāng)前流行的Python 和OpenCV 的引入，不能很好地提升學(xué)生工程實(shí)踐能力。

3)教學(xué)內(nèi)容陳舊。當(dāng)前的課件和教材雖然經(jīng)典，但是延用多年，內(nèi)容不能很好地與當(dāng)前新興的人工智能技術(shù)相銜接，對(duì)最新的數(shù)字圖像處理方法闡述較少，不利于培養(yǎng)學(xué)生的創(chuàng)新能力。

4)實(shí)驗(yàn)內(nèi)容的延續(xù)性和拓展性較差。當(dāng)前用于實(shí)驗(yàn)的算法已經(jīng)相當(dāng)成熟且過(guò)于基礎(chǔ)，未涉及當(dāng)前較為前沿的技術(shù)與算法[7]，不利于學(xué)生后期的探索和拓展研究。

5)考核方式單一。當(dāng)前大多數(shù)課程教學(xué)仍采用考試和實(shí)驗(yàn)報(bào)告相結(jié)合的形式，缺少對(duì)學(xué)生綜合能力和團(tuán)隊(duì)意識(shí)的培養(yǎng)。

二 數(shù)字圖像處理教學(xué)改革方案

針對(duì)課程教學(xué)中存在的諸多問(wèn)題，為了在現(xiàn)有教學(xué)的基礎(chǔ)上更好地順應(yīng)人工智能技術(shù)熱潮，改善本課程的教學(xué)效果，充分提高學(xué)生的工程實(shí)踐能力和科研探索能力，使得學(xué)生能夠掌握數(shù)字圖像處理的傳統(tǒng)方法和相關(guān)的人工智能技術(shù)，同時(shí)具備了解國(guó)際前沿動(dòng)態(tài)的能力，本文提出并總結(jié)了適合本課程的教學(xué)改革方案，整體改革方案如圖1 所示。

圖1 數(shù)字圖像處理教學(xué)改革整體方案

（一）以學(xué)生為中心的理論內(nèi)容改革

為了提高學(xué)生的學(xué)習(xí)積極性和課程參與度，改善教學(xué)效果，從學(xué)生的角度出發(fā)，對(duì)數(shù)字圖像處理課程的理論教學(xué)內(nèi)容進(jìn)行改革，主要從以下幾個(gè)方面展開(kāi)。

1)先導(dǎo)課程補(bǔ)充性復(fù)習(xí)?？紤]部分學(xué)生在先導(dǎo)課程上存在基礎(chǔ)薄弱或知識(shí)遺忘的問(wèn)題，在鼓勵(lì)學(xué)生主動(dòng)復(fù)習(xí)的同時(shí)，基于數(shù)字圖像處理課程的需要，在圖像濾波、復(fù)原等需要較深理論的地方，對(duì)信號(hào)處理、微積分、線性代數(shù)等簡(jiǎn)明復(fù)習(xí)，并對(duì)相關(guān)重難點(diǎn)進(jìn)行講解。

2)更新課件，引入深度學(xué)習(xí)內(nèi)容。目前，多數(shù)高校選擇Gonzalez R C 編寫(xiě)的《Digital Image Processing》(第3 版)[8](或其中文譯本)作為教材，該書(shū)作為主流權(quán)威的數(shù)字圖像處理教材已有40 多年的歷史。在第3 版的基礎(chǔ)上，《Digital Image Processing》(第4 版)[9]在模式識(shí)別章節(jié)增加了使用神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類(lèi)與識(shí)別的內(nèi)容。基于教材的改版，并結(jié)合人工智能背景，對(duì)教學(xué)課件進(jìn)行了更新，增加了對(duì)神經(jīng)網(wǎng)絡(luò)的原理介紹及應(yīng)用實(shí)踐。

3)設(shè)置3～4 名研究生助教。本次教學(xué)改革中，在重視理論講解的基礎(chǔ)上，對(duì)實(shí)驗(yàn)的設(shè)計(jì)進(jìn)行優(yōu)化，從而加強(qiáng)對(duì)學(xué)生的動(dòng)手能力訓(xùn)練。為保證理論課和實(shí)驗(yàn)課的順利進(jìn)行，增設(shè)3～4 名助教，及時(shí)解答學(xué)生遇到的各種問(wèn)題，培養(yǎng)學(xué)生對(duì)數(shù)字圖像處理的學(xué)習(xí)興趣與探索精神。

4)使用Python 和PyTorch 框架。在數(shù)字圖像處理領(lǐng)域，除了可以使用MATLAB 進(jìn)行仿真，越來(lái)越多的科研工作者選擇Python 作為其主要的編程語(yǔ)言，特別是在搭建神經(jīng)網(wǎng)絡(luò)時(shí)，PyTorch 和TensorFlow 成為主流的深度學(xué)習(xí)框架。從學(xué)生的就業(yè)和后期深造角度出發(fā)，在教學(xué)內(nèi)容上逐步加強(qiáng)對(duì)Python 和PyTorch 框架的講解，并設(shè)計(jì)使用深度學(xué)習(xí)進(jìn)行數(shù)字圖像處理的實(shí)驗(yàn)。

5)更新實(shí)驗(yàn)樣例圖像。由于教材《Digital Image Processing》(第4 版)中選取的樣例圖像比較經(jīng)典，為了提高學(xué)生學(xué)習(xí)興趣和課堂參與度，在設(shè)計(jì)驗(yàn)證性實(shí)驗(yàn)時(shí)，從互聯(lián)網(wǎng)資源或公開(kāi)數(shù)據(jù)集(如ImageNet[10])中選擇比較新穎有趣的圖像，從而豐富經(jīng)典的樣例圖像庫(kù)，如圖2 所示引入動(dòng)植物、人物、景物等圖。

圖2 新增實(shí)驗(yàn)樣例圖

（二）以項(xiàng)目為驅(qū)動(dòng)的實(shí)驗(yàn)內(nèi)容改革

目前，在數(shù)字圖像處理教學(xué)中的輔助實(shí)驗(yàn)設(shè)計(jì)存在知識(shí)點(diǎn)零散、以驗(yàn)證性為主且使用單一的MATLAB 語(yǔ)言編程等問(wèn)題。以空域?yàn)V波的學(xué)習(xí)為例，教師在課堂上講解均值濾波器、高斯濾波器和中值濾波器等的理論知識(shí)，學(xué)生則按照實(shí)驗(yàn)指導(dǎo)書(shū)機(jī)械地對(duì)圖像進(jìn)行加噪聲和濾波操作。雖然這樣的教育方法能加深學(xué)生對(duì)理論知識(shí)的理解，卻不能很好地提高學(xué)生工程實(shí)現(xiàn)能力、激發(fā)學(xué)生探索意識(shí)。此外，以往的實(shí)驗(yàn)設(shè)計(jì)未涉及到神經(jīng)網(wǎng)絡(luò)，既沒(méi)有落實(shí)第4 版教材的內(nèi)容更新，也不符合當(dāng)下人工智能技術(shù)潮流。

為了解決上述問(wèn)題，在驗(yàn)證性實(shí)驗(yàn)的基礎(chǔ)上，結(jié)合第4 版教材的模式識(shí)別章節(jié)，首次引入Python 語(yǔ)言和PyTorch、TensorFlow 深度學(xué)習(xí)框架教學(xué)，并設(shè)計(jì)了兩個(gè)基于深度學(xué)習(xí)的綜合實(shí)驗(yàn)項(xiàng)目：基于卷積神經(jīng)網(wǎng)絡(luò)的CIFAR-10 圖像分類(lèi)實(shí)驗(yàn)、基于深度自編碼網(wǎng)絡(luò)的圖像去噪實(shí)驗(yàn)。在實(shí)驗(yàn)課中，將綜合實(shí)驗(yàn)項(xiàng)目分成項(xiàng)目介紹、項(xiàng)目準(zhǔn)備、項(xiàng)目實(shí)現(xiàn)和項(xiàng)目匯報(bào)4 個(gè)階段展開(kāi)。以下以基于卷積神經(jīng)網(wǎng)絡(luò)的CIFAR-10 圖像分類(lèi)為例，闡述這4 個(gè)階段的具體細(xì)節(jié)。

1)項(xiàng)目介紹。首先，教師介紹數(shù)據(jù)集和項(xiàng)目總體要求：實(shí)驗(yàn)所用數(shù)據(jù)集為公開(kāi)的CIFAR-10 數(shù)據(jù)集[11]，如圖3 所示。該數(shù)據(jù)集含有50 000 張訓(xùn)練圖，10 000 張測(cè)試圖，共有飛機(jī)、汽車(chē)、鳥(niǎo)、貓、鹿、狗、青蛙、馬、輪船和卡車(chē)10 個(gè)類(lèi)別(用數(shù)字0～9 表示)，圖像尺寸是32×32×3。學(xué)生要做的是搭建并訓(xùn)練參數(shù)為θ 的神經(jīng)網(wǎng)絡(luò)f，對(duì)于給定的圖像I∈R32×32×3，識(shí)別其類(lèi)別標(biāo)簽y∈ {0,1,2,...,9}，這一過(guò)程可表示為

圖3 CIFAR-10 數(shù)據(jù)集10 個(gè)類(lèi)別的部分圖像

考慮到大部分學(xué)生的筆記本配置有限，學(xué)生使用5 000 張訓(xùn)練圖和1 000 張測(cè)試圖即可。學(xué)生需盡最大努力，保證訓(xùn)練集和測(cè)試集準(zhǔn)確率分別不低于80%和70%。

其次，教師給出神經(jīng)網(wǎng)絡(luò)搭建樣例。如圖4 所示，為了給學(xué)生提供參考并啟發(fā)學(xué)生思考、起到拋磚引玉的作用，教師搭建出簡(jiǎn)單的圖像分類(lèi)神經(jīng)網(wǎng)絡(luò)并進(jìn)行講解。盡管該網(wǎng)絡(luò)層數(shù)較淺，但同時(shí)運(yùn)用到了理論課上講授的卷積層、非線性激活函數(shù)、池化層和全連接層等。另外，助教要率先完成實(shí)驗(yàn)內(nèi)容并對(duì)實(shí)驗(yàn)內(nèi)容深入理解，提供給學(xué)生基于Python 和PyTorch 的參考代碼。

圖4 用于CIFAR-10 圖像分類(lèi)的網(wǎng)絡(luò)舉例

2)項(xiàng)目準(zhǔn)備。項(xiàng)目準(zhǔn)備分為學(xué)生組隊(duì)、文獻(xiàn)調(diào)研和相關(guān)知識(shí)學(xué)習(xí)三個(gè)過(guò)程。首先，為提升學(xué)生的團(tuán)隊(duì)協(xié)作能力，鼓勵(lì)學(xué)生在課下自由組隊(duì)，但限制隊(duì)員人數(shù)為2～3人?？紤]到部分學(xué)生性格內(nèi)向等原因，對(duì)于逾期未組隊(duì)的學(xué)生，由教師或助教為其選定隊(duì)友。其次，為培養(yǎng)學(xué)生的探索意識(shí)和創(chuàng)新能力，由助教講授科技文獻(xiàn)檢索方法，鼓勵(lì)基礎(chǔ)較好的學(xué)生利用學(xué)校圖書(shū)館數(shù)據(jù)庫(kù)，查閱相關(guān)ICCV、ECCV 和CVPR 等計(jì)算機(jī)視覺(jué)會(huì)議論文，對(duì)于基礎(chǔ)較弱的學(xué)生，適當(dāng)降低要求。最后，學(xué)生要主動(dòng)學(xué)習(xí)相關(guān)的知識(shí)點(diǎn)，如神經(jīng)網(wǎng)絡(luò)調(diào)參技巧、代碼的工程性等。

3)項(xiàng)目實(shí)現(xiàn)。神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和代碼實(shí)現(xiàn)是綜合項(xiàng)目的核心部分。在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)方面，要引導(dǎo)學(xué)生參考該領(lǐng)域內(nèi)權(quán)威論文所提出的神經(jīng)網(wǎng)絡(luò)架構(gòu)(如VGG-16[12]、ResNet[13]、MobileNet[14]等)，并針對(duì)自己的數(shù)據(jù)集和硬件配置，設(shè)計(jì)出適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)架構(gòu)。在代碼實(shí)現(xiàn)方面，學(xué)生要積累神經(jīng)網(wǎng)絡(luò)的調(diào)參經(jīng)驗(yàn)，如學(xué)習(xí)率大小、批次大小、優(yōu)化方法(如SGD、Adam、RMSProp 等)的選擇等。

4)項(xiàng)目匯報(bào)。在學(xué)生完成項(xiàng)目后，以小組為單位制作PPT 來(lái)交流和展示綜合項(xiàng)目中學(xué)到的知識(shí)、卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)、代碼實(shí)現(xiàn)、最終的訓(xùn)練集和測(cè)試集準(zhǔn)確率等方面的內(nèi)容。教師應(yīng)當(dāng)給出點(diǎn)評(píng)及相應(yīng)的分?jǐn)?shù)。

（三）以全面、多角度為目標(biāo)的考核方式改革

當(dāng)前數(shù)字圖像處理的教學(xué)往往以理論課考試和實(shí)驗(yàn)報(bào)告作為本課程的期末成績(jī)，這種考核方式比較單一，不能很好地反映學(xué)生的學(xué)習(xí)情況，同時(shí)缺少對(duì)學(xué)生的實(shí)踐能力和團(tuán)隊(duì)合作意識(shí)的培養(yǎng)和考察。因此，新增了考核項(xiàng)目并優(yōu)化相應(yīng)的考核比重，如圖5 所示。

圖5 期末考核占比

從多個(gè)角度出發(fā)，充分保證學(xué)生的學(xué)習(xí)效果和能力培養(yǎng)，分別賦予出勤(含課堂問(wèn)答)、實(shí)驗(yàn)報(bào)告、理論考試和綜合項(xiàng)目為10%、20%、20%、50%的比重。此外，如圖6 所示，為充分調(diào)動(dòng)小組隊(duì)員的積極性并考慮學(xué)生的基礎(chǔ)差異，對(duì)綜合項(xiàng)目的算法設(shè)計(jì)、代碼實(shí)現(xiàn)、PPT 制作和匯報(bào)答辯分別賦予35%、35%、15%、15%的比重。

圖6 綜合項(xiàng)目考核占比

（四）以探索為方向的綜合項(xiàng)目擴(kuò)展改革

為了保證綜合項(xiàng)目的延續(xù)性，并做到差異化培養(yǎng)興趣高、主動(dòng)性強(qiáng)和基礎(chǔ)扎實(shí)的學(xué)生，在教學(xué)的最后對(duì)綜合項(xiàng)目進(jìn)行了擴(kuò)展性嘗試。綜合項(xiàng)目的擴(kuò)展可以從兩個(gè)方向展開(kāi)，分別是適度增加綜合項(xiàng)目難度和引入更多的深度學(xué)習(xí)類(lèi)綜合項(xiàng)目。對(duì)于適度增加綜合項(xiàng)目難度，以本文提到的CIFAR-10 圖像分類(lèi)為例，引入對(duì)抗攻擊(比如對(duì)原始圖像添加擾動(dòng)等)，要求學(xué)生分別實(shí)現(xiàn)基于最近鄰分類(lèi)器和卷積神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)，并在對(duì)抗攻擊的條件下保證訓(xùn)練集和測(cè)試集準(zhǔn)確率，最后將實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比并解釋二者的性能差異。同時(shí)，考慮到當(dāng)下的人工智能技術(shù)熱潮，以及深度學(xué)習(xí)、機(jī)器學(xué)習(xí)在圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域取得的重大突破，將在后續(xù)的教學(xué)中引入更多的綜合項(xiàng)目，如基于生成對(duì)抗網(wǎng)絡(luò)的圖像超分辨率重建[15]、基于注意力機(jī)制的圖像復(fù)原[16]、基于卷積神經(jīng)網(wǎng)絡(luò)的圖像去噪[17]等。最后，對(duì)學(xué)生進(jìn)行科研寫(xiě)作的指導(dǎo)和訓(xùn)練，鼓勵(lì)學(xué)生創(chuàng)新，并總結(jié)梳理創(chuàng)新成果，撰寫(xiě)學(xué)術(shù)論文。

三 結(jié)束語(yǔ)

本文討論了數(shù)字圖像處理課程的教學(xué)改革方案，立足于人工智能技術(shù)熱潮，以培養(yǎng)學(xué)生的科研探索能力和動(dòng)手實(shí)踐能力為目的，針對(duì)以往教學(xué)中突出存在的問(wèn)題，提出以學(xué)生為中心的理論內(nèi)容改革、以項(xiàng)目為驅(qū)動(dòng)的實(shí)驗(yàn)內(nèi)容改革、以全面和多角度為目標(biāo)的考核方式改革、以探索為方向的綜合項(xiàng)目擴(kuò)展改革。該教學(xué)改革充分調(diào)動(dòng)了學(xué)生的學(xué)習(xí)積極性，提高了學(xué)生的課程參與度，培養(yǎng)了學(xué)生對(duì)數(shù)字圖像處理的興趣，鍛煉了學(xué)生的綜合能力，改善了課堂氛圍和教學(xué)效果，使學(xué)生全面地掌握了傳統(tǒng)圖像處理方法和相關(guān)人工智能技術(shù)，為學(xué)生畢業(yè)后在數(shù)字圖像處理領(lǐng)域的就業(yè)、深造、科學(xué)研究等打下堅(jiān)實(shí)的基礎(chǔ)。