鐘靖龍，宋 寶,，劉永興，徐必業(yè)

(1.華中科技大學(xué) 機(jī)械科學(xué)與工程學(xué)院，武漢 430074;2.廣東拓斯達(dá)科技股份有限公司，廣東 東莞 523822)

0 引 言

在交流伺服系統(tǒng)中，伺服電機(jī)一般采用聯(lián)軸器、同步帶、絲杠(傳動(dòng)軸)等驅(qū)動(dòng)負(fù)載，使得伺服系統(tǒng)具有柔性特征，從而導(dǎo)致伺服系統(tǒng)運(yùn)動(dòng)時(shí)容易產(chǎn)生機(jī)械諧振。當(dāng)系統(tǒng)處于諧振狀態(tài)時(shí)，電機(jī)電流及轉(zhuǎn)速發(fā)生震蕩，不僅會(huì)產(chǎn)生噪聲，嚴(yán)重的還會(huì)對(duì)機(jī)械傳動(dòng)部件以及電機(jī)造成損壞，甚至出現(xiàn)斷軸等后果[1]。常用的振動(dòng)抑制方法有低通濾波器、陷波器以及加速度反饋等[2-4]。其中，陷波器由于結(jié)構(gòu)簡(jiǎn)單、控制回路增益高等優(yōu)勢(shì)而得到廣泛應(yīng)用。

然而當(dāng)陷波器參數(shù)選擇不恰當(dāng)時(shí)，不僅無(wú)法對(duì)諧振形成有效的抑制，甚至?xí)?dǎo)致更激烈的振動(dòng)，影響正常使用。針對(duì)陷波器參數(shù)中最重要的陷波中心頻率，Yazdanian[5]等人提出一種基于擴(kuò)展卡爾曼濾波的諧振頻率估計(jì)方法；另外，基于FFT的諧振頻率快速獲取方法也在諸多工業(yè)伺服系統(tǒng)中得到了驗(yàn)證應(yīng)用[6-7]。同時(shí)，針對(duì)陷波器其他參數(shù)的整定，Tim等人[8]通過(guò)研究陷波深度與零點(diǎn)阻尼比的對(duì)應(yīng)關(guān)系在線整定深度參數(shù)，而Park等人[9]提出一種利用隨機(jī)衰減法與峰值檢測(cè)法的陷波器深度參數(shù)實(shí)時(shí)整定方法，并在滾珠絲杠驅(qū)動(dòng)和皮帶驅(qū)動(dòng)兩種負(fù)載的伺服系統(tǒng)上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。然而，上述方法大多數(shù)僅針對(duì)單陷波器中陷波頻率以及陷波深度進(jìn)行整定，而沒(méi)有涉及到陷波寬度以及級(jí)聯(lián)陷波器的參數(shù)整定問(wèn)題。

本文提出一種基于DDPG的級(jí)聯(lián)陷波器參數(shù)整定方法。在分析系統(tǒng)傳動(dòng)函數(shù)的基礎(chǔ)上，通過(guò)掃頻得到系統(tǒng)速度環(huán)開(kāi)環(huán)bode圖，結(jié)合陷波器bode圖，將二者統(tǒng)一化預(yù)處理結(jié)果作為DDPG輸入數(shù)據(jù)，并以相位裕度為獎(jiǎng)勵(lì)函數(shù)，利用陷波器參數(shù)偏移量與預(yù)處理數(shù)據(jù)計(jì)算獎(jiǎng)勵(lì)函數(shù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到級(jí)聯(lián)陷波器的深度及寬度優(yōu)化參數(shù)。并采用驅(qū)動(dòng)/負(fù)載電機(jī)、柔性軸、慣量盤、聯(lián)軸器等搭建了三質(zhì)量柔性伺服系統(tǒng)實(shí)驗(yàn)平臺(tái)，采用ARM+DSP 進(jìn)行算法集成，并開(kāi)展實(shí)驗(yàn)驗(yàn)證，結(jié)果表明該方法可以對(duì)級(jí)聯(lián)陷波器參數(shù)進(jìn)行有效整定并抑制系統(tǒng)諧振。

1 柔性伺服系統(tǒng)建模及諧振分析

為了更好的表征伺服傳動(dòng)機(jī)構(gòu)柔性連接特征，在此將由伺服電機(jī)、純慣性負(fù)載以及等效傳遞軸三者柔性伺服系統(tǒng)等效為三質(zhì)量系統(tǒng)。

圖1為三質(zhì)量系統(tǒng)模型。

圖1 三質(zhì)量系統(tǒng)模型

電機(jī)與執(zhí)行器之間通過(guò)剛度分別為Ks1和Ks2，阻尼系數(shù)分別為Cw1和Cw2的柔性連接器以及一個(gè)慣量為JTr的傳遞軸連接，系統(tǒng)的動(dòng)力學(xué)方程為

(1)

圖2為三質(zhì)量系統(tǒng)的控制框圖。

圖2 三質(zhì)量系統(tǒng)控制框圖

Tm與ωm之間的傳遞函數(shù)為

(2)

式中，ωNTFi、ωANFi分別為三質(zhì)量系統(tǒng)的諧振頻率與反諧振頻率，可通過(guò)式(3)計(jì)算得到

(3)

2 級(jí)聯(lián)陷波器及諧振特征辨識(shí)

2.1 級(jí)聯(lián)陷波器

為了有效抑制系統(tǒng)多頻諧振，設(shè)計(jì)串聯(lián)多個(gè)單陷波器組成級(jí)聯(lián)陷波器，對(duì)實(shí)際伺服傳動(dòng)系統(tǒng)中多頻率諧振進(jìn)行有效抑制，式(4)給出了級(jí)聯(lián)陷波器的傳遞函數(shù)。

(4)

式中，Hi(s)為第i個(gè)陷波器的傳遞函數(shù)，為保證其參數(shù)互相獨(dú)立以便于單獨(dú)調(diào)整，本文采用如式(5)所示的三參數(shù)陷波器。

(5)

式中，ωn為陷波濾波器中心頻率，寬度參數(shù)ξwidth為-3 dB頻帶寬度與中心頻率的比值，深度參數(shù)kdepth陷波中心深度，幅值衰減為20lgkdepthdB。當(dāng)陷波中心頻率為450 Hz時(shí)， 參數(shù)ξwidth和kdepth對(duì)陷波濾波器性能的影響如圖3所示。其中，圖3(a)為kdepth=0.1時(shí)，不同寬度參數(shù)ξwidth下的bode圖；圖3(b)為ξwidth=0.3時(shí)，不同深度參數(shù)kdepth下的bode圖。

圖3 ωn=450 Hz,不同ξwidth、kdepth下的陷波器bode圖

2.2 諧振特征辨識(shí)

在柔性伺服系統(tǒng)傳動(dòng)過(guò)程中，可以通過(guò)伺服系統(tǒng)轉(zhuǎn)速或者轉(zhuǎn)矩特性分析出系統(tǒng)諧振的幅值和頻率。在矢量控制模式下，Tm∝iq，且電流環(huán)較速度環(huán)實(shí)時(shí)性更高，因此本文以伺服系統(tǒng)交軸電流頻譜特征，在線辨識(shí)系統(tǒng)的諧振特征。圖4為機(jī)械諧振抑制結(jié)構(gòu)框圖。

圖4 機(jī)械諧振抑制結(jié)構(gòu)框圖

在伺服系統(tǒng)中，交軸電流采樣結(jié)果為有限長(zhǎng)非周期序列iq[n]，其離散傅里葉變換形式為

(6)

采用基于頻率抽取的FFT可以將N(N=2M)點(diǎn)DFT經(jīng)過(guò)M次分解全部分解為2點(diǎn)DFT，時(shí)間復(fù)雜度由O(n2)降低為O(N·logN)。

對(duì)FFT計(jì)算結(jié)果進(jìn)行求平方根計(jì)算可得到各頻率點(diǎn)對(duì)應(yīng)的幅值，超過(guò)既定閾值的幅值所對(duì)應(yīng)的頻率即為諧振頻率，記錄并輸出的諧振頻率及幅值分別為

(7)

式中，k為幅值超過(guò)既定閾值的對(duì)應(yīng)位置，fs為采樣頻率，N為FFT計(jì)算點(diǎn)數(shù)，mag為頻率點(diǎn)幅值。

3 基于DDPG的陷波器參數(shù)整定

為了克服不同工況下電機(jī)型號(hào)、負(fù)載參數(shù)及傳動(dòng)設(shè)備等差異導(dǎo)致的控制參數(shù)難以調(diào)整、不通用等問(wèn)題，提出一種基于DDPG的多參數(shù)整定方法，以向量穩(wěn)定裕度為基礎(chǔ)定義獎(jiǎng)勵(lì)函數(shù)，并構(gòu)造深度強(qiáng)化學(xué)習(xí)算法用于級(jí)聯(lián)陷波器參數(shù)整定。

3.1 獎(jiǎng)勵(lì)函數(shù)

采用相位裕度為獎(jiǎng)勵(lì)函數(shù)，解決陷波器帶來(lái)的相位滯后問(wèn)題，增強(qiáng)系統(tǒng)穩(wěn)定性，提高系統(tǒng)響應(yīng)。

為了實(shí)現(xiàn)系統(tǒng)全局持續(xù)穩(wěn)定，設(shè)置其相位裕度保持PM>45°。對(duì)于如式(5)所示的陷波器，令s=jω，可得剪切頻率ωc處的相位為

(8)

當(dāng)在系統(tǒng)中加入級(jí)聯(lián)陷波器后，系統(tǒng)的新的相位裕度為

(9)

則獎(jiǎng)勵(lì)函數(shù)可定義為

r=PM

(10)

3.2 DDPG算法

在DDPG實(shí)現(xiàn)流程中，分別采用卷積神經(jīng)網(wǎng)絡(luò)近似策略函數(shù)μ和Q函數(shù)，即actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)，并分別為之各創(chuàng)建兩個(gè)神經(jīng)網(wǎng)絡(luò)拷貝：online和target。其算法框架如圖5所示。

圖5 DDPG算法框架

(11)

(12)

而對(duì)于critic網(wǎng)絡(luò)的online網(wǎng)絡(luò)，通過(guò)最小化式所定義的損失函數(shù)L進(jìn)行更新。

(13)

式中，si為當(dāng)前狀態(tài)，ai為當(dāng)前動(dòng)作，ri為當(dāng)前獎(jiǎng)勵(lì)函數(shù)，N為小批量數(shù)據(jù)大小，為損失函數(shù)。

隨機(jī)設(shè)置一組濾波器參數(shù)，以最大相位裕度為訓(xùn)練目標(biāo)，actor網(wǎng)絡(luò)輸出陷波器參數(shù)偏移量，并將其作為下一狀態(tài)輸入到critic網(wǎng)絡(luò)，直到每一輪訓(xùn)練達(dá)到特定的偏移量且每一輪訓(xùn)練的偏移量相同為止，并將具有最大相位裕度的參數(shù)存入經(jīng)驗(yàn)池。

3.3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)設(shè)計(jì)

以雙陷波器組成的級(jí)聯(lián)陷波器設(shè)計(jì)為例，考慮到陷波中心頻率的重要性以及可通過(guò)FFT精確辨識(shí)，故共需要訓(xùn)練4個(gè)參數(shù)。DDPG算法使用兩種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——actor網(wǎng)絡(luò)和critic網(wǎng)絡(luò)，分別如圖 6及圖 7所示。其中，actor網(wǎng)絡(luò)輸入為4個(gè)當(dāng)前陷波器參數(shù)(kdepth,1&2、ξwidth,1&2)和4個(gè)上階段陷波器參數(shù)偏移量，并擁有兩個(gè)分別具有300和200個(gè)單位的隱藏層；輸出為4個(gè)當(dāng)前陷波器參數(shù)偏移量。該網(wǎng)絡(luò)除最終輸出層采用超正切激活函數(shù)外，其余采用矯正的非線性函數(shù)。

圖6 actor網(wǎng)絡(luò)結(jié)構(gòu)

圖7 critic網(wǎng)絡(luò)結(jié)構(gòu)

critic網(wǎng)絡(luò)與actor網(wǎng)絡(luò)大小相同，只是動(dòng)作被包含在第二層隱藏層之后，輸出大小為1。重放緩存區(qū)大小為100,000，小批量數(shù)據(jù)大小為32，最大訓(xùn)練輪數(shù)以及每一輪訓(xùn)練步長(zhǎng)分別為2,500和100。貼現(xiàn)因子(discount factor)為0.95，動(dòng)作通過(guò)ε從1.0到0.0線性變化的ε貪心策略選取。actor網(wǎng)絡(luò)及critic網(wǎng)絡(luò)的學(xué)習(xí)率分別為0.001和0.002。深度參數(shù)kdepth及寬度參數(shù)ξwidth選取范圍分別為[0.001,1]及[0.0,1.0]。

4 實(shí)驗(yàn)及分析

為驗(yàn)證DDPG算法的參數(shù)整定能力以及級(jí)聯(lián)陷波器的諧振抑制能力，采用交流伺服電機(jī)、聯(lián)軸器、慣量盤及柔性軸負(fù)載搭建了如圖8所示實(shí)驗(yàn)平臺(tái)。其中電機(jī)參數(shù)如表1所示。在實(shí)驗(yàn)室自研的基于ARM+FPGA交流伺服驅(qū)動(dòng)器上，采樣電機(jī)交軸電流，并利用FPGA實(shí)現(xiàn)快速傅里葉變換，并基于Pytorch完成對(duì)DDPG算法的實(shí)現(xiàn)和訓(xùn)練。

圖8 級(jí)聯(lián)陷波器實(shí)驗(yàn)驗(yàn)證平臺(tái)

表1 華大電機(jī)參數(shù)

圖9 系統(tǒng)開(kāi)環(huán)bode圖

圖9為系統(tǒng)速度環(huán)開(kāi)環(huán)bode圖。圖10、圖11為應(yīng)用DDPG對(duì)級(jí)聯(lián)陷波器參數(shù)的訓(xùn)練過(guò)程，訓(xùn)練結(jié)果如表2所示。

圖10 1號(hào)陷波器參數(shù)整定過(guò)程

圖11 2號(hào)陷波器參數(shù)整定過(guò)程

表2 陷波器參數(shù)訓(xùn)練結(jié)果

圖12 陷波前后速度-電流對(duì)比

利用上述參數(shù)設(shè)計(jì)級(jí)聯(lián)陷波器并應(yīng)用于伺服系統(tǒng)。圖12為加入陷波器前后電機(jī)反饋速度及交軸反饋電流對(duì)比，數(shù)值對(duì)比如表3所示。

表3 諧振抑制前后性能指標(biāo)對(duì)比

由反饋速度及反饋電流對(duì)比可知，基于DDPG算法進(jìn)行級(jí)聯(lián)陷波器的參數(shù)整定，并應(yīng)用于實(shí)際伺服系統(tǒng)，在抑制系統(tǒng)諧振的同時(shí)保證了系統(tǒng)的穩(wěn)定。

5 結(jié) 論

針對(duì)伺服系統(tǒng)中由于柔性傳動(dòng)部件而導(dǎo)致的多頻諧振問(wèn)題，本文在基于三質(zhì)量系統(tǒng)諧振機(jī)理分析的基礎(chǔ)上，提出一種基于DDPG算法的級(jí)聯(lián)陷波器參數(shù)整定方法，在保證系統(tǒng)具有最大相位裕度的前提下，成功抑制伺服系統(tǒng)的機(jī)械諧振，同時(shí)本文提出的方法也可用于其他類型的級(jí)聯(lián)濾波器設(shè)計(jì)。