劉叢 彭敦陸 鄔春學(xué)

摘 要：機(jī)器學(xué)習(xí)處于人工智能的核心位置，對(duì)機(jī)器學(xué)習(xí)研究和人工智能發(fā)展具有非常重要的推動(dòng)作用。由于機(jī)器學(xué)習(xí)涉及到太多數(shù)學(xué)背景而提高了學(xué)習(xí)者學(xué)習(xí)難度，并且學(xué)習(xí)者基礎(chǔ)薄弱也制約了其學(xué)習(xí)深度。針對(duì)機(jī)器學(xué)習(xí)的學(xué)習(xí)現(xiàn)狀及學(xué)習(xí)者面臨的問題，提出分層次學(xué)習(xí)方法。該方法可讓學(xué)習(xí)者對(duì)知識(shí)點(diǎn)的理解由淺入深、層層深入，并且讓不同需求的學(xué)習(xí)者認(rèn)清學(xué)習(xí)目標(biāo)。實(shí)踐證明，該方法提高了學(xué)習(xí)者積極性，能很好地使學(xué)習(xí)者入門、深入及精通，提高了學(xué)習(xí)效率。

關(guān)鍵詞：機(jī)器學(xué)習(xí)；人工智能；分層深入學(xué)習(xí)

DOI：10.11907/rjdk.173298

中圖分類號(hào)：G434

文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2018）005-0223-04

Abstract：Since machine learning is at the core of artificial intelligence， research on machine learning plays a very important role in the development of artificial intelligence. Because machine learning involves various mathematical backgrounds， it increases the difficulty of learners. And the weak foundation of learners also limits the depth of their learning. Aiming at the learning status of machine learning and the problems faced by learners， this paper proposes a hierarchical learning method. This method can allow learners to understand the knowledge points and allow different needs ofhelps step by step learners with different needs to recognize learning objectives. Through practice， it has been proved that this method improves the enthusiasm of learners， enables learners to get started， makes them learn more deeply and proficiently， and improves their learning effects.

Key Words：machine learning； artificial intelligence； stratified deep learning

0 引言

隨著信息技術(shù)的高速發(fā)展以及軟硬件技術(shù)、智能理論的不斷完善，人工智能技術(shù)越來越受到研究者的關(guān)注。其已經(jīng)廣泛應(yīng)用于諸多領(lǐng)域，如智能機(jī)器、智能制造、智能安防、智能醫(yī)療、智能金融、智能安全、智能零售、智能教育等。作為人工智能的核心，機(jī)器學(xué)習(xí)是其重要的組成部分。其是一門多學(xué)科交叉的學(xué)科，以優(yōu)化論、概率論、矩陣論、逼近論、統(tǒng)計(jì)學(xué)點(diǎn)集拓?fù)鋵W(xué)為基礎(chǔ)，具有深厚的數(shù)學(xué)背景[1]。其主要研究如何使用計(jì)算機(jī)建立合適的模型，從海量數(shù)據(jù)中總結(jié)出規(guī)律，并轉(zhuǎn)化成知識(shí)，以逐漸改善自身性能。由于大多數(shù)模型都有非常深厚的數(shù)學(xué)背景，所以學(xué)習(xí)者在學(xué)習(xí)時(shí)會(huì)遭遇諸多困境。

近年來，機(jī)器學(xué)習(xí)的教學(xué)方法也被越來越多地提出。文獻(xiàn)[2]針對(duì)機(jī)器學(xué)習(xí)存在的問題，提出了理論結(jié)合實(shí)踐的教學(xué)方法，并在教學(xué)中激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣。文獻(xiàn)[3]以分組化教學(xué)，提高學(xué)生的學(xué)習(xí)興趣，并且設(shè)計(jì)了新的教學(xué)大綱。文獻(xiàn)[4]提出了以教學(xué)與研究相結(jié)合的教學(xué)模式，以提高學(xué)生的創(chuàng)新能力。文獻(xiàn)[5]使用問題驅(qū)動(dòng)的機(jī)器學(xué)習(xí)教學(xué)方法。文獻(xiàn)[6]提出以深度學(xué)習(xí)為機(jī)器學(xué)習(xí)的主導(dǎo)，加強(qiáng)案例教學(xué)，提高學(xué)生的科研能力。諸多教學(xué)研究者提出了自己的教學(xué)方法，但是少有研究者在機(jī)器學(xué)習(xí)的教學(xué)深度和分層教學(xué)上有所嘗試。根據(jù)近年來在機(jī)器學(xué)習(xí)方面的研究及教學(xué)工作，本文總結(jié)出一套針對(duì)不同層次的入門-深入-精通的學(xué)習(xí)方法，并使用FCM算法作為案例詳細(xì)講解。

1 機(jī)器學(xué)習(xí)現(xiàn)狀

1.1 模型多，算法深?yuàn)W難懂

由于機(jī)器學(xué)習(xí)涉及到太多的數(shù)學(xué)模型，如模型建立、模型求解、模型準(zhǔn)確性以及模型求解方法的完備性等都需要非常多的數(shù)學(xué)背景。如在聚類的Kmeans算法中，需要用到凸優(yōu)化的求解方法，梯度下降法、牛頓法以及共軛梯度法等算法需要對(duì)導(dǎo)數(shù)、偏導(dǎo)數(shù)、海森矩陣等相關(guān)知識(shí)有非常深入的掌握。在證明迭代算法的收斂性時(shí)還需要用到點(diǎn)集之間的映射、連續(xù)映射、閉映射以及邊緣海森矩陣等相關(guān)知識(shí)。在支持向量機(jī)中，求解過程會(huì)用到拉格朗日乘子、二次規(guī)劃以及最大最小優(yōu)化問題。在神經(jīng)網(wǎng)絡(luò)求解中會(huì)用到反向傳播算法，該算法通過計(jì)算權(quán)重的偏導(dǎo)數(shù)對(duì)權(quán)重進(jìn)行更新。降維算法以及線性嵌入使用最多的為矩陣論中的矩陣變換以及特征值與特征向量等求解方法。決策樹是基于信息論設(shè)計(jì)的?；旌细咚鼓Ｐ图捌淝蠼夥椒ㄆ谕畲蠡褂米畲笏迫还烙?jì)以及Jensen不等式的思想，而貝葉斯算法則使用統(tǒng)計(jì)學(xué)與概率論的相關(guān)知識(shí)。面對(duì)如此龐大而又深?yuàn)W的數(shù)學(xué)知識(shí)，很多學(xué)習(xí)者感覺寸步難行，失去了學(xué)習(xí)的興趣和動(dòng)力。

1.2 內(nèi)容分散，學(xué)習(xí)深度不足

現(xiàn)有機(jī)器學(xué)習(xí)參考的是分章節(jié)介紹不同的學(xué)習(xí)模型。如聚類、K近鄰、樸素貝葉斯、支持向量機(jī)等每個(gè)模型作為一章介紹。每章之間的關(guān)聯(lián)性不是很強(qiáng)，就會(huì)導(dǎo)致學(xué)習(xí)者在學(xué)習(xí)過程中對(duì)每個(gè)算法都無法深度了解。針對(duì)每個(gè)算法沒有形成一條完整的知識(shí)鏈。其次部分參考書由于在編寫其過程中也只是對(duì)算法作淺層次的介紹，而深度略顯不足，所以無法使學(xué)習(xí)者掌握其深刻內(nèi)涵。

1.3 基礎(chǔ)不同，學(xué)習(xí)目標(biāo)單一

機(jī)器學(xué)習(xí)面向各種不同專業(yè)的學(xué)習(xí)者，其基礎(chǔ)各不相同。具有數(shù)學(xué)背景的學(xué)習(xí)者理論基礎(chǔ)比較深厚，其它工科類背景的學(xué)習(xí)者理論基礎(chǔ)稍顯薄弱，而非工科背景的學(xué)習(xí)者理論基礎(chǔ)則更不好。所以不同的學(xué)習(xí)者應(yīng)該制定不同的學(xué)習(xí)目標(biāo)和學(xué)習(xí)方法。

針對(duì)上述問題，在機(jī)器學(xué)習(xí)教學(xué)中，注重學(xué)習(xí)者分層學(xué)習(xí)，研究如何針對(duì)不同層次的學(xué)習(xí)者，確定學(xué)習(xí)目標(biāo)及學(xué)習(xí)方法并激發(fā)學(xué)習(xí)者深入學(xué)習(xí)的興趣及創(chuàng)新能力。

2 機(jī)器學(xué)習(xí)層次分析：以模糊c均值為例

FCM聚類算法[7]在機(jī)器學(xué)習(xí)中應(yīng)用非常廣泛，目前文獻(xiàn)對(duì)其研究比較深入，該算法學(xué)習(xí)詳細(xì)講解其針對(duì)不同目標(biāo)的學(xué)習(xí)者所要達(dá)到的深度，讓絕大多數(shù)學(xué)習(xí)者輕松入門，讓部分算法設(shè)計(jì)者理解算法的基本推理步驟以及所需要的數(shù)學(xué)知識(shí)，讓少數(shù)深入研究者掌握該算法的優(yōu)缺點(diǎn)，并在此基礎(chǔ)上激發(fā)其創(chuàng)新靈感。FCM的基本思想為將模糊劃分的思想加入聚類模型中，建立具有模糊思想的類內(nèi)緊湊型。使用梯度下降法優(yōu)化該目標(biāo)函數(shù)至最小，以獲取最優(yōu)隸屬度因子和聚類中心位置，提高聚類精度。

2.1 模型建立

Kmeans算法[8]是給定一個(gè)數(shù)據(jù)集X={x1，x2，...，xn}，其中xi∈Rd為d維變量。K-means算法將該數(shù)據(jù)集中的n個(gè)數(shù)據(jù)劃分到c個(gè)簇中，使得同一個(gè)簇中的數(shù)據(jù)相似性較大，不同簇中的數(shù)據(jù)相似性較小。根據(jù)該思想可以對(duì)同一簇中的元素建立對(duì)應(yīng)的模型，如公式（1）。其中Ci表示第i個(gè)簇中所有數(shù)據(jù)所組成的集合，vi表示該簇的中心點(diǎn)。通過最小化公式（1），可獲得該簇內(nèi)數(shù)據(jù)之間相似性最大。

分析得知，公式（2）與公式（3）相同。通過增加公式（4）這一約束條件，將隸屬度信息加入到目標(biāo)函數(shù)中，但這不是真正的模糊C均值算法。將隸屬度修改如公式（5），即為完整的模糊C均值模型。

通過該模型的講解，使學(xué)習(xí)者了解FCM的思想、來源以及與Kmeans算法間的關(guān)系。對(duì)于使用FCM算法的學(xué)習(xí)者，需要將應(yīng)用領(lǐng)域的數(shù)據(jù)轉(zhuǎn)化成一組X的形式，然后使用高級(jí)程序語(yǔ)言調(diào)用現(xiàn)有函數(shù)即可實(shí)現(xiàn)。

2.2 求解方法推導(dǎo)

對(duì)于深入學(xué)習(xí)的學(xué)習(xí)者，特別是對(duì)于算法程序設(shè)計(jì)的學(xué)習(xí)者來說，僅學(xué)會(huì)模型的建立是不夠的，更需要深入學(xué)習(xí)求解該模型的方法、推導(dǎo)過程及所需要的優(yōu)化方法。如梯度下降法、牛頓法以及共軛梯度法等。在學(xué)習(xí)該類算法之前，需要詳細(xì)回憶將高等數(shù)學(xué)中的導(dǎo)數(shù)、偏導(dǎo)數(shù)、泰勒公式等相關(guān)知識(shí)。通過導(dǎo)數(shù)、梯度的概念引出梯度下降法的思想，用泰勒展開式引出牛頓法的基本思想，沿著負(fù)導(dǎo)數(shù)的方向或者一階二階導(dǎo)數(shù)比值的方向?qū)ふ易顑?yōu)解。可以針對(duì)牛頓法的海森矩陣正定的思想引出擬牛頓法以及使用向量的正交性引出共軛梯度法。

使用求導(dǎo)數(shù)的思想求解FCM算法的基本模型。由于公式（3）中含有uij和vi兩類需要求解的參數(shù)，分別對(duì)該兩個(gè)參數(shù)求導(dǎo)，則可獲得迭代公式（6）～（7），需重點(diǎn)學(xué)習(xí)如何求偏導(dǎo)算法。

對(duì)于學(xué)習(xí)者，能完整地推導(dǎo)出迭代公式，則說明對(duì)該算法有很深的理解和掌握。

2.3 深入分析與創(chuàng)新學(xué)習(xí)

通過以上學(xué)習(xí)，對(duì)FCM的詳細(xì)推導(dǎo)以及優(yōu)化算法有了比較深刻的認(rèn)識(shí)。對(duì)于算法設(shè)計(jì)者已經(jīng)能夠針對(duì)公式詳細(xì)地編制出準(zhǔn)確的代碼。針對(duì)深入研究該算法的學(xué)習(xí)者，首先需要對(duì)傳統(tǒng)FCM自身存在的不足以及解決實(shí)際問題時(shí)所存在的缺陷作全面了解。傳統(tǒng)FCM的問題主要包括：

（1）聚類的類數(shù)目c需要提前指定。

（2）相似度通常使用歐氏距離，但其只能處理超球形的簇。

（3）計(jì)算數(shù)據(jù)間相似度時(shí)，每維特征使用相同權(quán)重。

（4）傳統(tǒng)數(shù)學(xué)優(yōu)化算法的最優(yōu)解與初始值有關(guān)。

2.3.1 聚類數(shù)目問題

針對(duì)上述問題（1），通常設(shè)計(jì)合適的有效性指標(biāo)尋找最佳聚類數(shù)目。公式（3）只考慮了每個(gè)簇內(nèi)的緊湊性，隨著c值的增加，該公式呈下降趨勢(shì)，類與類之間的距離會(huì)越來越近，而任意兩個(gè)類之間的距離則越大越好，基于該思想設(shè)計(jì)了XB聚類指標(biāo)[9]，如公式（8）。

公式（11）的迭代公式區(qū)別在于該公式中含有3個(gè)未知數(shù)。公式（11）存在的問題則是某一個(gè)特征的數(shù)值比較小，算法就會(huì)增加它的權(quán)重；如果特征維的數(shù)值很大，算法就會(huì)減小它的權(quán)重，為了避免出現(xiàn)該問題，加入權(quán)重信息熵的概念，以平衡每維權(quán)重[13]。則新的模型如公式（12）。

公式（12）中第二項(xiàng)使用了權(quán)重的信息熵。通過最大化信息熵，使每維權(quán)重相差縮小。

2.3.4 全局優(yōu)化問題

針對(duì)上述問題（4），使用全局優(yōu)化算法。學(xué)習(xí)者在此需要對(duì)智能優(yōu)化算法作詳細(xì)了解。該類算法包括遺傳算法（GA）、進(jìn)化算法（EA）、粒子群算法（PSO）等[14]。掌握智能優(yōu)化算法和基于梯度算法之間的區(qū)別與聯(lián)系。梯度法對(duì)問題的約束比較高，需要模型處處連續(xù)、處處可導(dǎo)，并且最優(yōu)解與初始值的選取關(guān)系非常大，初始值選取不當(dāng)易陷入局部最優(yōu)，而智能優(yōu)化算法對(duì)問題的要求非常低，并且獲取全局最優(yōu)的概率高于傳統(tǒng)的梯度法。而智能算法的缺點(diǎn)在于時(shí)間復(fù)雜度比較高。

使用該類算法作為優(yōu)化器求解時(shí)，需要將未知變量描述成染色體的形式。以優(yōu)化公式（3）為例，該公式中有兩個(gè)未知數(shù)uij和vi，由于公式（6）和（7）互相轉(zhuǎn)化，所以只有一個(gè)未知數(shù)。將vi編碼，則染色體可以描述如圖1所示。

算法的基本流程如下：

Step 1 隨機(jī)選擇一組染色體，該染色體由聚類中心組成。

Step 2 評(píng)估該組染色體，并使用某種策略產(chǎn)生一組新的染色體。

Step 3 如果滿足停止規(guī)則，則停止，否則轉(zhuǎn)向Step2。

Step 4 輸出最優(yōu)解。

2.4 深層次學(xué)習(xí)

當(dāng)學(xué)習(xí)者針對(duì)FCM的缺點(diǎn)提出完善模型后，需要對(duì)該模型進(jìn)行求解。但獲得的最優(yōu)解是否一定是最優(yōu)解，則需要對(duì)該最優(yōu)解以及最優(yōu)解的求解過程作完備性證明。由于大多數(shù)學(xué)習(xí)者很少涉及到該理論證明，筆者在此作簡(jiǎn)單介紹。以公式（10）為例，其優(yōu)化算法迭代步驟如下：

Step 1 隨機(jī)選擇一組中心V和一組權(quán)重W。

Step 2 固定V和W，使用一階偏導(dǎo)數(shù)為0求解U的最優(yōu)解。

Step 3 固定U和W，使用一階偏導(dǎo)數(shù)為0求解V的最優(yōu)解。

Step 4 固定V和U，使用一階偏導(dǎo)數(shù)為0求解W的最優(yōu)解。

Step 5 Jm-w（V，U，W）不再發(fā)生變化即可停止。

為了證明該優(yōu)化算法的收斂性，需要使用zangwill定理證明該映射規(guī)則及迭代序列具有收斂性[15]。如果該映射規(guī)則與迭代序列是收斂的，其必須滿足zangwill定理的3個(gè)條件：①每次迭代獲得的新解具有下降性；②產(chǎn)生新解的映射是閉映射；③所有的收斂序列必須在一個(gè)緊集中。

要滿足這3個(gè)條件，需要用到數(shù)學(xué)分析上的一些知識(shí)。

（1）證明下降性，需要證明Step2-Step3獲得的最優(yōu)解為嚴(yán)格局部極小值的充要性。充要性可分解為充分性和必要性，必要性可通過步驟中的求導(dǎo)為零獲得，而充分性需要使用海森矩陣以及邊緣海森矩陣計(jì)算該解一定為局部最優(yōu)解。海森矩陣是針對(duì)非約束條件的參數(shù)，邊緣海森矩陣針對(duì)帶有約束條件的參數(shù)。

（2）證明映射規(guī)則為閉映射。需要使用海涅伯雷爾理論有限覆蓋理論證明。

（3）收斂序列在一個(gè)緊集中。由于vi滿足凸包的基本特性，并且是一種有界閉集，所以收斂序列在一個(gè)緊集中，則該模型滿足zangwill理論。

3 結(jié)語(yǔ)

機(jī)器學(xué)習(xí)是一個(gè)比較熱門的領(lǐng)域，越來越多的學(xué)習(xí)者致力于該領(lǐng)域的研究。但由于其涉及太多數(shù)學(xué)背景，導(dǎo)致很多學(xué)習(xí)者很難深入了解。根據(jù)多年的學(xué)習(xí)和教學(xué)經(jīng)驗(yàn)，將機(jī)器學(xué)習(xí)的知識(shí)進(jìn)行分層次講解，使得不同需求的學(xué)習(xí)者清楚所要達(dá)到的程度。

參考文獻(xiàn)：

[1] 李勇.本科機(jī)器學(xué)習(xí)課程教改實(shí)踐與探索[J].計(jì)算機(jī)教育，2015（13）：63-66.

[2] 閔鋒，魯統(tǒng)偉.《機(jī)器學(xué)習(xí)》課程教學(xué)探索與實(shí)踐[J].教育教學(xué)論壇，2014（53）：158-159.

[3] 曲衍鵬，鄧安生，王春立，等.面向機(jī)器學(xué)習(xí)課程的教學(xué)改革實(shí)踐[J].計(jì)算機(jī)教育，2014，223（19）：88-92.

[4] 袁鼎榮.淺談《機(jī)器學(xué)習(xí)》的課程教學(xué)方法[J].廣西經(jīng)濟(jì)管理干部學(xué)院學(xué)報(bào)，2010，22（4）：99-101.

[5] 胡雪蕾，孫明明，孫廷凱，等.研究生“機(jī)器學(xué)習(xí)”課程教學(xué)改革實(shí)踐與探討[J].煤炭高等教育，2012，30（1）：118-121.

[6] 王雷全，吳春雷，郭曉菲.機(jī)器學(xué)習(xí)科研實(shí)踐課程建設(shè)[J].電子世界，2017（17）：50-51.

[7] BEZDEK J C， EHRLICH R， FULL W. FCM： The fuzzy c-means clustering algorithm[J]. Computers & Geosciences， 1984，10（2）：191-203.

[8] 張昌明.一種基于模糊數(shù)學(xué)思想的K均值算法[J].軟件導(dǎo)刊，2016，15（5）：41-43.

[9] XIE X L， BENI G. A validity measure for fuzzy clustering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 1991，13（13）：841-847.

[10] 蔡靜穎，謝福鼎，張永.基于自適應(yīng)馬氏距離的模糊c均值算法[J].計(jì)算機(jī)工程與應(yīng)用，2010，46（34）：174-176.

[11] ZHOU Z， ZHU S. Kernel-based multiobjective clustering algorithm with automatic attribute weighting[J]. Soft Computing， 2017（12）：1-25.

[12] HUANG J Z， NG M K， RONG H， et al. Automated variable weighting in k-means type clustering.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2005，27（5）：657-68.

[13] ZHOU J， CHEN L， ChEN C L P， et al. Fuzzy clustering with the entropy of attribute weights[J]. Neurocomputing， 2016，198（C）：125-134.

[14] 李偉峰.一種新的PSO優(yōu)化FCM方法在圖像分類中的應(yīng)用[J].軟件導(dǎo)刊，2013（8）：72-75.

[15] YANG M S， TIAN Y C. Bias-correction fuzzy clustering algorithms[J]. Information Sciences， 2015，309：138-162.

（責(zé)任編輯：劉亭亭）