摘 要：

目前，基于腦電（EEG）信號(hào)的人體睡眠分期方法呈現(xiàn)出單通道和網(wǎng)絡(luò)模型深度化的趨勢(shì)，然而單通道信息采集使得EEG失去大腦區(qū)域的位置信息，EEG中表征睡眠階段的特征因趨向稀疏化而難以提取，同時(shí)深度網(wǎng)絡(luò)的共性問(wèn)題——模型及其訓(xùn)練的超參數(shù)的人工設(shè)定使得訓(xùn)練過(guò)程盲目且低效，這些問(wèn)題導(dǎo)致自動(dòng)睡眠分期方法的準(zhǔn)確率低。為此，提出利用密集連接網(wǎng)絡(luò)（DenseNet）對(duì)模型層間特征重用功能，挖掘深藏于EEG信號(hào)中的睡眠狀態(tài)信息，針對(duì)單通道EEG信號(hào)在頻域上的低頻特性以及時(shí)域上長(zhǎng)程依賴特性，對(duì)DenseNet模型進(jìn)行了改進(jìn)，實(shí)現(xiàn)了人體睡眠的快速和精確分期；為進(jìn)一步提升DenseNet性能，使用深度確定性策略梯度（DDPG）算法，在網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練過(guò)程中利用強(qiáng)化學(xué)習(xí)思想對(duì)DenseNet關(guān)鍵超參數(shù)進(jìn)行在線優(yōu)化和自動(dòng)調(diào)節(jié)。實(shí)驗(yàn)結(jié)果表明，該算法模型在Sleep-EDFx數(shù)據(jù)集上的分期準(zhǔn)確率達(dá)到了89.23%，總體效果優(yōu)于近年來(lái)其他先進(jìn)分期算法，表現(xiàn)出良好的應(yīng)用前景。

關(guān)鍵詞：睡眠分期；密集連接網(wǎng)絡(luò)；深度強(qiáng)化學(xué)習(xí)；超參數(shù)在線優(yōu)化

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2024）09-019-2699-06

doi：10.19734/j.issn.1001-3695.2024.01.0008

Single channel EEG signal automatic sleep staging algorithm based on deep reinforcement learning

Zhao Yanjing1a，2， Zhou Qiang1a，2， Liu Xin1a，2， Li Wan1b，2， Tian Yunzhi1a，2

（1.a.School of Electrical & Control Engineering， b.School of Electronic Information & Artificial Intelligence， Shaanxi University of Science & Technology， Xi’an 710021， China; 2.Shaanxi Artificial Intelligence Joint Laboratory， Xi’an 710021， China）

Abstract：

Currently， human sleep staging methods based on electroencephalogram （EEG） signals show a trend towards single-channel and deep network models， however， single-channel information acquisition makes EEG lose the positional information of brain regions， and the features characterizing sleep stages in EEG tend to be sparse and thus difficult to extract， at the same time， the common problems of deep networks-the artificial setting of the model and its training hyperparameters make the training process blind and inefficient， and these problems lead to the low accuracy of automatic sleep staging methods. Therefore， this paper proposed to use the inter-layer feature reuse function of DenseNet to explore the sleep state information hidden in EEG signals， and improved the DenseNet model for the low-frequency characteristics of single-channel EEG signals in the frequency domain and the long-range dependence of single-channel EEG signals in the time domain， so as to achieve the fast and accurate sleep staging of the human body. In order to further improve the performance of DenseNet， it used a deep deterministic policy gradient （DDPG） algorithm to optimize and automatically adjust the key hyperparameters of DenseNet using the reinforcement learning idea during the network learning and training process. The experimental results show that the staging accuracy of the algorithm model on the Sleep-EDFx dataset reaches 89.23%， and the overall performance is better than other advanced staging algorithms in recent years， demonstrating good application prospects.

Key words：sleep staging; densely connected networks; deep reinforcement learning; hyperparameter online optimization

0 引言

睡眠與人類健康和生活質(zhì)量息息相關(guān)，然而全球有數(shù)百萬(wàn)人因睡眠障礙而遭受健康問(wèn)題［1］困擾。睡眠分期是診斷并治療睡眠障礙的一個(gè)重要步驟，目前該過(guò)程仍由醫(yī)學(xué)專家根據(jù)多導(dǎo)睡眠圖（polysomnography， PSG）記錄手動(dòng)完成。PSG數(shù)據(jù)包含多種生理信號(hào)，如心電（electrocardiogram， ECG）、肌電（electromyogram， EMG）、腦電（electroencephalogram， EEG）和眼電（electrooculogram， EOG），以監(jiān)測(cè)不同的身體功能和區(qū)域［2］。同時(shí)根據(jù)美國(guó)睡眠醫(yī)學(xué)學(xué)會(huì)（American Academy of Sleep Medicine， AASM）制定的睡眠分期標(biāo)準(zhǔn)，將睡眠過(guò)程分為五個(gè)階段：清醒期（wake， W），快速眼動(dòng)期（rapid eye moment， REM），非快速眼動(dòng)期（non-rapid eye moment， NREM），其中NREM又細(xì)分為N1～N3這三個(gè)階段［3］。由于專家手動(dòng)分期過(guò)程是耗時(shí)費(fèi)力且具有主觀性的［4］，所以自動(dòng)睡眠分期方法的研究始終受到關(guān)注，而該方法的研究工作更是從信號(hào)源模態(tài)、采集通道和分期模型全面開展。

近年來(lái)，自動(dòng)睡眠分期方法的研究呈現(xiàn)出以下趨勢(shì)：由于EEG信號(hào)含有更加豐富的大腦狀態(tài)信息，睡眠分期的信源模態(tài)從ECG、EMG、EEG和EOG等多種模態(tài)，逐漸集中到EEG的單一模態(tài)［5］；為了完整地獲得診斷睡眠障礙的基本信息，EEG的最大采集通道數(shù)一度達(dá)到64路，盡管多采集通道能夠獲得更為完整的EEG位置信息［6］，但這一采樣方式會(huì)極大地干擾受試者的睡眠質(zhì)量，從而進(jìn)一步影響其睡眠的辨識(shí)結(jié)果。因此，越來(lái)越多研究者傾向于使用單通道EEG信號(hào)實(shí)現(xiàn)自動(dòng)睡眠分期；睡眠分期模型由傳統(tǒng)機(jī)器學(xué)習(xí)方法發(fā)展到深度學(xué)習(xí)方法，即從生物電信號(hào)中人工提取特征的前饋神經(jīng)網(wǎng)絡(luò)［7～9］逐漸發(fā)展形成了“CNN+ ResNet+ RNN”的深度學(xué)習(xí)模型，其中卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN）用于提取短期的局部時(shí)域特征，殘差網(wǎng)絡(luò)（residual network， ResNet）用于消除梯度消失和爆炸，確保模型深度，長(zhǎng)短期記憶網(wǎng)絡(luò)（long short term memory network，LSTM）、門控循環(huán)單元（gated recurrent unit， GRU）等循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network， RNN）模型用于建立EEG長(zhǎng)程依賴關(guān)系。如文獻(xiàn)［10～12］通過(guò)CNN提取信號(hào)時(shí)不變特征、RNN捕獲睡眠時(shí)期之間的上下文依賴關(guān)系，精度最高達(dá)到85.4%；同時(shí)針對(duì)EEG的寬頻帶特性，多尺度特征提取模塊被應(yīng)用于深度模型中，如Goshtasbi等人［13］設(shè)計(jì)多尺度特征提取模塊和殘差擴(kuò)張因果卷積，使得最終的分類準(zhǔn)確率達(dá)到84.8%，Yang等人［14］使用多尺度CNN提取EEG信號(hào)特征，并通過(guò)多頭注意機(jī)制捕獲特征之間的時(shí)間依賴關(guān)系，其模型分類準(zhǔn)確率達(dá)到86.6%。

雖然研究者提出了多種結(jié)構(gòu)的深度網(wǎng)絡(luò)模型用于進(jìn)行睡眠分期任務(wù)，但由于單通道信息采集使得EEG失去多數(shù)大腦區(qū)域的位置信息［15］，EEG中表征睡眠階段的特征則因趨向稀疏化而難以提取，從而導(dǎo)致其最終的分類準(zhǔn)確率徘徊不前［16］；另一方面，深度學(xué)習(xí)模型包含許多需要人工設(shè)定的超參數(shù)，例如學(xué)習(xí)率、正則化參數(shù)等，這些參數(shù)對(duì)模型性能影響極大，而深度網(wǎng)絡(luò)的共性問(wèn)題——模型及其訓(xùn)練的超參數(shù)人工設(shè)定的盲目性使得模型訓(xùn)練過(guò)程低效和訓(xùn)練結(jié)果的過(guò)擬合，這些問(wèn)題導(dǎo)致自動(dòng)睡眠分期方法的訓(xùn)練過(guò)程時(shí)間較長(zhǎng)、準(zhǔn)確率低。

針對(duì)以上問(wèn)題，本文提出了一個(gè)基于深度強(qiáng)化學(xué)習(xí)（deep reinforcement learning， DRL）超參數(shù)優(yōu)化的改進(jìn)密集連接網(wǎng)絡(luò)（densely connected network， DenseNet）自動(dòng)睡眠分期算法（DRL-DenseNet）。使用改進(jìn)DenseNet提取單通道EEG信號(hào)睡眠階段多尺度和長(zhǎng)程特征，通過(guò)其密集連接方式充分提取融合EEG信號(hào)淺層和深層特征，并在深度挖掘EEG信號(hào)特征信息的同時(shí)緩解梯度消失問(wèn)題，加強(qiáng)特征傳播以提高網(wǎng)絡(luò)表達(dá)能力。針對(duì)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練過(guò)程中超參數(shù)的設(shè)置嚴(yán)重依賴人工經(jīng)驗(yàn)及盲目性問(wèn)題，利用深度確定性策略梯度（deep deterministic policy gradient， DDPG）［17］算法對(duì)訓(xùn)練過(guò)程中關(guān)鍵超參數(shù)進(jìn)行在線動(dòng)態(tài)優(yōu)化，避免了人工調(diào)整參數(shù)的繁瑣過(guò)程，從而有效提升了模型的分期性能。本文方法期望實(shí)現(xiàn)對(duì)單通道EEG信號(hào)的高效自動(dòng)睡眠分期，為睡眠研究提供更有效的方法。

1 本文方法思路

針對(duì)單通道睡眠EEG信號(hào)特征難以被充分提取與有效利用，以及關(guān)鍵超參數(shù)的優(yōu)化與自動(dòng)連續(xù)控制等問(wèn)題，本文構(gòu)建了基于深度強(qiáng)化學(xué)習(xí)超參數(shù)優(yōu)化的改進(jìn)密集連接網(wǎng)絡(luò)（DRL-DenseNet）自動(dòng)睡眠分期模型，原理結(jié)構(gòu)如圖1所示。a）構(gòu)建適用于單通道睡眠EEG信號(hào)的改進(jìn)DenseNet，以有效提取并利用信號(hào)特征信息；b）提出使用深度強(qiáng)化學(xué)習(xí)中的DDPG算法對(duì)學(xué)習(xí)率、L2正則化參數(shù)等超參數(shù)進(jìn)行在線優(yōu)化和實(shí)時(shí)控制，在模型訓(xùn)練過(guò)程中連續(xù)控制學(xué)習(xí)率、L2正則化參數(shù)變化，進(jìn)一步提升分期模型的性能，實(shí)現(xiàn)良好的分期效果。

2 睡眠分期算法

2.1 密集連接網(wǎng)絡(luò)睡眠分期模型構(gòu)建

DenseNet是一種深度卷積神經(jīng)網(wǎng)絡(luò)，它不僅解決了傳統(tǒng)深度網(wǎng)絡(luò)中隨著網(wǎng)絡(luò)層數(shù)的加深導(dǎo)致的梯度爆炸或消失的問(wèn)題，并通過(guò)其密集連接的架構(gòu)充分利用每一層的特征數(shù)據(jù)［18］，從而最大化發(fā)揮CNN網(wǎng)絡(luò)的特征提取性能。在傳統(tǒng)的卷積網(wǎng)絡(luò)中，每層都只與后一層相連，而在DenseNet中，每層都會(huì)直接連接到后續(xù)所有層，即前面所有層的特征映射都被轉(zhuǎn)移到了后面的每一層，促進(jìn)了信息流動(dòng)，可以充分提取并融合EEG信號(hào)淺層和深層特征，從而更有效地利用單通道EEG信號(hào)相對(duì)稀疏的睡眠特征。

針對(duì)單通道EEG信號(hào)特性，本文對(duì)DenseNet進(jìn)行了如下改進(jìn)。首先，由于EEG信號(hào)是低頻的生物醫(yī)學(xué)信號(hào)［19］，且在時(shí)域上具有長(zhǎng)程依賴特性，使用小卷積核難以提取到有意義的變化信號(hào)區(qū)域及其特征，所以首層采用較大尺寸的卷積核增大感受野，從而捕捉到EEG信號(hào)更多的上下文信息，以更好地提取EEG信號(hào)淺層特征。其次，網(wǎng)絡(luò)輸入為一維EEG信號(hào)，因此采用一維卷積層進(jìn)行特征提取，有效捕捉信號(hào)的動(dòng)態(tài)變化，經(jīng)過(guò)多次實(shí)驗(yàn)，最終網(wǎng)絡(luò)僅設(shè)計(jì)兩個(gè)密集塊，分別包含6和4個(gè)卷積層，避免因網(wǎng)絡(luò)層數(shù)太深造成參數(shù)量巨大，有效降低了網(wǎng)絡(luò)的復(fù)雜性，使其網(wǎng)絡(luò)架構(gòu)更簡(jiǎn)單高效。最后，為了充分融合EEG信號(hào)中不同頻段的特征信息，實(shí)現(xiàn)更好的分類，添加了兩層全連接層進(jìn)行降采樣，分別有512和256個(gè)神經(jīng)元，再通過(guò)softmax分類器實(shí)現(xiàn)睡眠分期的分類任務(wù)。

2.1.1 模型結(jié)構(gòu)

本文睡眠分期任務(wù)中DenseNet結(jié)構(gòu)設(shè)計(jì)如圖2所示，該網(wǎng)絡(luò)主要由密集塊和過(guò)渡層兩部分組成。首先，輸入的EEG信號(hào)經(jīng)過(guò)大小為1×50的卷積核初步提取特征，再通過(guò)1×3的最大池化層降低數(shù)據(jù)維度的同時(shí)保留信號(hào)的關(guān)鍵特征，接著使用第一個(gè)密集塊充分提取睡眠EEG信號(hào)淺層特征，使用第二個(gè)密集塊繼續(xù)提取睡眠EEG信號(hào)深層特征，深入挖掘信號(hào)中的特征信息，然后通過(guò)全局平均池化層將特征進(jìn)行整合，最后引入全連接層進(jìn)行降采樣，使用softmax分類器完成分期任務(wù)。該網(wǎng)絡(luò)旨在通過(guò)多層次的特征提取與融合，全面捕捉睡眠EEG信號(hào)特征，從而有效提高分期準(zhǔn)確率。

密集塊是網(wǎng)絡(luò)的核心組成部分，通過(guò)一系列密集連接的層級(jí)實(shí)現(xiàn)了強(qiáng)大的特征重用，使得睡眠EEG信號(hào)的特征信息在每層網(wǎng)絡(luò)中得到充分利用與融合，從而準(zhǔn)確地對(duì)睡眠各階段進(jìn)行分類，如式（1）所示。

2.2.2 優(yōu)化策略

DDPG算法是一種用于連續(xù)動(dòng)作空間決策的深度強(qiáng)化學(xué)習(xí)算法，可以有效實(shí)現(xiàn)對(duì)模型訓(xùn)練過(guò)程中超參數(shù)的自動(dòng)優(yōu)化和連續(xù)控制，其網(wǎng)絡(luò)框圖如圖3所示。在每個(gè)時(shí)刻，DDPG智能體會(huì)接收環(huán)境中的狀態(tài)st，并作出決策動(dòng)作at將環(huán)境轉(zhuǎn)移到下一狀態(tài)st+1，同時(shí)環(huán)境會(huì)產(chǎn)生一個(gè)獎(jiǎng)勵(lì)信號(hào)rt并將其反饋給智能體，智能體的最終目標(biāo)是最大化獎(jiǎng)勵(lì)值。

DDPG算法采用演員-評(píng)論者（Actor-Critic）結(jié)構(gòu)，該結(jié)構(gòu)包含Actor網(wǎng)絡(luò)和Critic網(wǎng)絡(luò)兩個(gè)關(guān)鍵組件。Actor網(wǎng)絡(luò)是一個(gè)基于策略的神經(jīng)網(wǎng)絡(luò)θμ，它將環(huán)境中的狀態(tài)，即睡眠分期任務(wù)中驗(yàn)證損失率，映射到連續(xù)動(dòng)作空間關(guān)鍵超參數(shù)調(diào)節(jié)中，即它負(fù)責(zé)學(xué)習(xí)并輸出一個(gè)確定性策略，給出超參數(shù)組合策略以優(yōu)化模型訓(xùn)練；Critic網(wǎng)絡(luò)則是一個(gè)基于價(jià)值的神經(jīng)網(wǎng)絡(luò)ωQ，它的任務(wù)是評(píng)估Actor網(wǎng)絡(luò)輸出的超參數(shù)組合策略，并給出相應(yīng)的價(jià)值估計(jì)，判斷該超參數(shù)組合值是否合適。這兩個(gè)網(wǎng)絡(luò)相互配合：本文Actor網(wǎng)絡(luò)隱藏層有兩個(gè)全連接層，分別包含100和50個(gè)神經(jīng)元個(gè)數(shù)，輸出采用sigmoid激活函數(shù)，根據(jù)當(dāng)前狀態(tài)輸出決策的超參數(shù)組合動(dòng)作θμ（st）=at；Critic網(wǎng)絡(luò)的輸入狀態(tài)經(jīng)過(guò)一個(gè)包含100個(gè)神經(jīng)元的全連接層后與輸入動(dòng)作結(jié)合，再通過(guò)一個(gè)包含50個(gè)神經(jīng)元的全連接層輸出Q值，根據(jù)當(dāng)前狀態(tài)和動(dòng)作的組合來(lái)輸出價(jià)值估計(jì)值Q（st， θμ（st）|ωQ），且每個(gè)網(wǎng)絡(luò)均由一個(gè)對(duì)應(yīng)的在線子網(wǎng)絡(luò)和目標(biāo)子網(wǎng)絡(luò)組成。

在線Critic網(wǎng)絡(luò)通過(guò)最小化均方誤差作為損失函數(shù)loss來(lái)更新參數(shù)，以獲得最大的Q值，如式（8）所示。

3 實(shí)驗(yàn)過(guò)程與結(jié)果分析

3.1 實(shí)驗(yàn)條件

3.1.1 數(shù)據(jù)來(lái)源

本文數(shù)據(jù)集來(lái)自公開的復(fù)雜生理信號(hào)研究資源網(wǎng)站（research resource for complex physiologic signals， PhysioNet）的歐洲數(shù)據(jù)格式存儲(chǔ)的睡眠數(shù)據(jù)庫(kù)拓展版（sleep-European data format database expanded， Sleep-EDFx）［22］。從Fpz-Cz通道EEG信號(hào)中選取了20組數(shù)據(jù)，根據(jù)AASM標(biāo)準(zhǔn)將N3和N4合并為一個(gè)睡眠階段，同時(shí)為了更好地關(guān)注睡眠階段，剔除不屬于睡眠階段的無(wú)效數(shù)據(jù)，只保留睡眠階段前后30 min的清醒時(shí)間數(shù)據(jù)。處理后，W、N1、N2、N3、REM各類別樣本數(shù)量分別為3 974、1 989、8 466、2 811、3 437，累計(jì)共20 677個(gè)樣本。

3.1.2 評(píng)價(jià)指標(biāo)

為了全面評(píng)價(jià)模型性能，本文對(duì)整體和每類指標(biāo)進(jìn)行了評(píng)估。使用每類的精確率（precision rate，PR）、召回率（recall，RE）和F1分?jǐn)?shù)（F1-score，F(xiàn)1）來(lái)評(píng)估每個(gè)睡眠階段的分類性能；使用準(zhǔn)確率（accuracy，Acc）和宏平均F1值（macro-averaged F1-score，MF1）來(lái)直觀地理解模型在整個(gè)數(shù)據(jù)集上的性能表現(xiàn)。各類指標(biāo)計(jì)算公式如下：

MF1=（∑Ii=1F1i）/I（15）

其中：TP表示預(yù)測(cè)輸出、實(shí)際輸出均為真，即正確預(yù)測(cè)的正樣本數(shù)；FP表示預(yù)測(cè)輸出為真、實(shí)際輸出為假，即錯(cuò)誤預(yù)測(cè)的負(fù)樣本數(shù)；TN表示預(yù)測(cè)輸出、實(shí)際輸出均為假，即正確預(yù)測(cè)的負(fù)樣本數(shù)；FN表示預(yù)測(cè)輸出為假、實(shí)際輸出為真，即錯(cuò)誤預(yù)測(cè)的正樣本數(shù)。

3.2 實(shí)驗(yàn)過(guò)程

本文模型基于TensorFlow 2.10框架、采用Python 3.9編程語(yǔ)言編寫代碼，在NVIDIA RTX4060 GPU上進(jìn)行訓(xùn)練。訓(xùn)練時(shí)采用隨機(jī)梯度下降法，每輪訓(xùn)練批大小為100。

本文模型的訓(xùn)練過(guò)程由負(fù)責(zé)完成睡眠分期任務(wù)的改進(jìn)DenseNet模型和負(fù)責(zé)完成對(duì)關(guān)鍵超參數(shù)連續(xù)控制的DDPG模型交替訓(xùn)練組成。具體的訓(xùn)練過(guò)程如下：

a）初始化DenseNet分期模型的參數(shù)；

b）定義超參數(shù)：確定需要調(diào)整的超參數(shù)及范圍，學(xué)習(xí)率（10-5，10-2），L2正則化參數(shù)（10-9，10-3）；

c）初始化DDPG模型相關(guān)參數(shù)，包含策略網(wǎng)絡(luò)、價(jià)值網(wǎng)絡(luò)等；

d）在訓(xùn)練過(guò)程中交替進(jìn)行以下兩個(gè)步驟：

（a）基于DDPG進(jìn)行超參數(shù)優(yōu)化：采用當(dāng)前睡眠分期模型的驗(yàn)證損失率作為狀態(tài)，借助DDPG算法對(duì)關(guān)鍵超參數(shù)進(jìn)行在線自動(dòng)調(diào)節(jié)，以提升模型性能；

（b）利用DenseNet模型進(jìn)行睡眠分期訓(xùn)練：采用調(diào)優(yōu)后的超參數(shù)，使用睡眠EEG數(shù)據(jù)對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，進(jìn)而更新模型的內(nèi)部參數(shù)。

在整個(gè)訓(xùn)練過(guò)程中，通過(guò)這種交互方式可以有效地調(diào)整關(guān)鍵超參數(shù)以優(yōu)化模型的最終性能。

3.3 消融實(shí)驗(yàn)

本文方法使用DDPG優(yōu)化算法來(lái)對(duì)睡眠分期網(wǎng)絡(luò)的兩個(gè)關(guān)鍵超參數(shù)進(jìn)行連續(xù)在線控制，為驗(yàn)證分期網(wǎng)絡(luò)和優(yōu)化算法的有效性，合理評(píng)估本文方法的性能表現(xiàn)，進(jìn)行了一系列消融對(duì)比實(shí)驗(yàn)。

首先，為使分期模型更適合睡眠EEG信號(hào)，在不加入優(yōu)化算法的情況下，學(xué)習(xí)率固定選取0.001，對(duì)密集塊個(gè)數(shù)、密集塊中卷積塊個(gè)數(shù)n，以及首層卷積核大小選取分別進(jìn)行了對(duì)比實(shí)驗(yàn)。密集塊與其卷積塊個(gè)數(shù)優(yōu)化實(shí)驗(yàn)結(jié)果如圖4所示，可知當(dāng)選取兩個(gè)密集塊，且第一個(gè)密集塊包含6個(gè)卷積塊、第二個(gè)密集塊包含4個(gè)卷積塊時(shí)模型的分類準(zhǔn)確率最高。由于EEG信號(hào)樣本數(shù)據(jù)量有限，卷積塊與密集塊個(gè)數(shù)持續(xù)增加會(huì)導(dǎo)致模型過(guò)擬合分類，性能逐漸下降，所以模型選取n1=6，n2=4進(jìn)行后續(xù)實(shí)驗(yàn)。

首層卷積核大小分別使用原始DenseNet小卷積核1×7、中卷積核1×50、大卷積核1×100進(jìn)行實(shí)驗(yàn)，結(jié)果如表1所示。使用1×50大小的卷積核分期效果更好，可以在捕捉全局信息的同時(shí)保留局部細(xì)節(jié)特征，更適用于低頻EEG信號(hào)。最后，將DDPG優(yōu)化算法加入到睡眠分期任務(wù)中，結(jié)果顯示模型的準(zhǔn)確率達(dá)到了89.23%，分類性能得到了進(jìn)一步提升，證明了對(duì)關(guān)鍵超參數(shù)優(yōu)化的必要性。

3.4 實(shí)驗(yàn)結(jié)果分析

圖5～7分別為使用DDPG優(yōu)化算法進(jìn)行超參數(shù)優(yōu)化時(shí)學(xué)習(xí)率、L2正則化參數(shù)以及獎(jiǎng)勵(lì)變化的曲線圖。可以清晰看到，模型在訓(xùn)練過(guò)程中的動(dòng)態(tài)調(diào)整和優(yōu)化過(guò)程，分析曲線可知，模型在約400輪次時(shí)開始收斂，起初超參數(shù)處于探索階段，各曲線均有較大波動(dòng)，表明智能體正在嘗試不同參數(shù)組合以尋找最優(yōu)解。隨著模型的訓(xùn)練和學(xué)習(xí)，最終獎(jiǎng)勵(lì)值逐漸收斂到0附近，證明模型得到了較好收斂，且兩個(gè)關(guān)鍵超參數(shù)都逐漸趨于穩(wěn)定狀態(tài)，在動(dòng)態(tài)變化中模型找到了最優(yōu)的超參數(shù)值。

為驗(yàn)證模型的泛化性與可靠性，對(duì)樣本集以外的受試者整晚睡眠狀態(tài)進(jìn)行分類預(yù)測(cè)，圖8為本文模型自動(dòng)睡眠分期與睡眠專家手動(dòng)分期的對(duì)比結(jié)果，圖中N代表樣本數(shù)，每個(gè)樣本對(duì)應(yīng)于30 s的睡眠狀態(tài)?？梢?jiàn)本文模型的分期結(jié)果與專家手動(dòng)分期結(jié)果整體上呈現(xiàn)高度的一致性，證明本文模型具有較好的睡眠分期能力，可有效輔助臨床分期任務(wù)。

3.4.1 混淆矩陣與性能指標(biāo)

圖9為本文DRL-DenseNet算法結(jié)果的混淆矩陣，對(duì)角線位置表示正確分類的樣本比例，其他位置則表示被錯(cuò)誤分成其他類別的樣本比例，顏色越深，表明比例越高。表2為模型對(duì)于每個(gè)類別的預(yù)測(cè)性能指標(biāo)，其中W、N2、N3階段都達(dá)到了較高的準(zhǔn)確率，最難識(shí)別的N1階段的F1值也達(dá)到了61.81%。實(shí)驗(yàn)結(jié)果表明，本文算法具有良好的分期性能。

3.4.2 相關(guān)研究方法對(duì)比

為進(jìn)一步證明本文算法的有效性，將本文分期實(shí)驗(yàn)結(jié)果與近年來(lái)使用相同數(shù)據(jù)集的先進(jìn)分期算法進(jìn)行比較，如表3所示。其中文獻(xiàn)［23］為多模態(tài)電生理信號(hào)輸入，其余為單通道EEG信號(hào)輸入，文獻(xiàn)［24］使用Transformer模型，基于自注意力機(jī)制捕捉睡眠信號(hào)特征，文獻(xiàn)［25，26］結(jié)合了多尺度CNN和多頭注意力機(jī)制完成分期任務(wù)，文獻(xiàn)［27］提出了輕量化的多尺度CNN網(wǎng)絡(luò)模型。從表中對(duì)比得出，本文DRL-DenseNet分期算法在總體與每類性能中均取得了最優(yōu)表現(xiàn)，與其余算法相比具有更好的分類性能。

4 結(jié)束語(yǔ)

本文提出了一種基于深度強(qiáng)化學(xué)習(xí)超參數(shù)優(yōu)化的改進(jìn)密集連接網(wǎng)絡(luò)的睡眠分期方法，以解決目前基于腦電的自動(dòng)睡眠分期方法中存在的信號(hào)特征提取與利用不充分、關(guān)鍵超參數(shù)手工調(diào)整優(yōu)化效果差而導(dǎo)致的分期準(zhǔn)確率低的問(wèn)題。該方法將單通道睡眠EEG信號(hào)輸入到改進(jìn)密集連接網(wǎng)絡(luò)中進(jìn)行充分的特征提取，通過(guò)其特征重用有效利用所有層級(jí)的特征信息，加強(qiáng)特征傳播；同時(shí)利用深度確定性策略梯度算法在模型學(xué)習(xí)訓(xùn)練過(guò)程中對(duì)關(guān)鍵超參數(shù)進(jìn)行自動(dòng)連續(xù)控制與優(yōu)化，從而有效提升睡眠分期準(zhǔn)確率。通過(guò)多組消融實(shí)驗(yàn)以及與相關(guān)方法作對(duì)比，證明了本文方法的有效性，為自動(dòng)睡眠分期研究提供了新的有效解決方案。在未來(lái)的研究工作中，筆者將進(jìn)一步優(yōu)化本文方法，以提升對(duì)睡眠過(guò)渡階段N1的辨識(shí)準(zhǔn)確率，進(jìn)而增強(qiáng)模型整體性能，為后期睡眠改善研究提供技術(shù)支持。

參考文獻(xiàn)：

［1］Chen Baixin，Vgontzas A N，Li Yun. Good sleep and health ［J］. The Lancet Healthy Longevity，2023，4（7）： e295-e296.

［2］Chriskos P，F(xiàn)rantzidis A C，Nday M C，et al. A review on current trends in automatic sleep staging through biosignal recordings and future challenges ［J］. Sleep Medicine Reviews，2021，55： 101377.

［3］Berry R B，Brooks R，Gamaldo C，et al. AASM scoring manual updates for 2017 （Version 2. 4） ［J］. Journal of Clinical Sleep Medi-cine，2017，13（5）： 665-666.

［4］柏浩冉，張偉，陸冠澤. 基于多尺度深度網(wǎng)絡(luò)的自動(dòng)睡眠分期 ［J］. 中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào)，2021，40（2）： 170-176. （Bai Haoran，Zhang Wei，Lu Guanze. Multi-scale deep network for automatic sleep staging ［J］. Chinese Journal of Biomedical Engineering，2021，40（2）： 170-176.）

［5］Phan H，Mikkelsen K. Automatic sleep staging of EEG signals： recent development，challenges，and future directions ［J］. Physiological Measurement，2022，43（4）： 04TR01.

［6］韋泓妤，陳黎飛，羅天健. 運(yùn)動(dòng)想象腦電信號(hào)的跨域特征學(xué)習(xí)方法 ［J］. 計(jì)算機(jī)應(yīng)用研究，2022，39（8）： 2340-2346，2351. （Wei Hongyu，Chen Lifei，Luo Tianjian. Cross-domain feature learning method for motor imagery EEG signals ［J］. Application Research of Computers，2022，39（8）： 2340-2346，2351.）

［7］Ghimatgar H，Kazemi K，Helfroush S M，et al. An automatic single-channel EEG-based sleep stage scoring method based on hidden Markov model ［J］. Journal of Neuroscience Methods，2019，324： 108320.

［8］許力，吳云肖，肖冰，等. 基于一維卷積神經(jīng)網(wǎng)絡(luò)的兒童睡眠分期 ［J］. 工程科學(xué)學(xué)報(bào)，2021，43（9）： 1253-1260. （Xu Li，Wu Yun-xiao，Xiao Bing，et al. One-dimensional convolutional neural network for children’s sleep sta-ging ［J］. Chinese Journal of Engineering，2021，43（9）： 1253-1260.）

［9］Liu Junbiao，Wu Duanpo，Wang Zimeng，et al. Automatic sleep staging algorithm based on random forest and hidden Markov model ［J］. Computer Modeling in Engineering & Sciences，2020，123（1）： 401-426.

［10］Mousavi S，Afghah F，Acharya U R. SleepEEGNet： automated sleep stage scoring with sequence to sequence deep learning approach ［J］. PLoS One，2019，14（5）： e0216456.

［11］Supratak A，Guo Yike. TinySleepNet： an efficient deep learning mo-del for sleep stage scoring based on raw single-channel EEG ［C］// Proc of the 42nd Annual International Conference of IEEE Enginee-ring in Medicine and Biology Society. Piscataway，NJ：IEEE Press，2020： 641-644.

［12］Lee M，Kwak H，Kim H，et al. SeriesSleepNet： an EEG time series model with partial data augmentation for automatic sleep stage scoring ［J］. Frontiers in Physiology，2023，14： 1188678.

［13］Goshtasbi N，Boostani R，Sanei S. SleepFCN： a fully convolutional deep learning framework for sleep stage classification using single-channel electroencephalograms ［J］. IEEE Trans on Neural Systems and Rehabilitation Engineering，2022，30： 2088-2096.

［14］Yang Chenguang，Li Baozhu，Li Yamei，et al. LWSleepNet： a lightweight attention-based deep learning model for sleep staging with single channel EEG ［J］. Digital Health，2023，9： 20552076231188206.

［15］周鵬，葉慶衛(wèi)，羅慧艷，等. 基于最優(yōu)子段深度學(xué)習(xí)的手指運(yùn)動(dòng)想象腦電信號(hào)分類研究 ［J］. 計(jì)算機(jī)應(yīng)用研究，2023，40（6）： 1728-1733. （Zhou Peng，Ye Qingwei，Luo Huiyan，et al. Finger motor imagery based on optimal sub-segment deep learning research on EEG signal classification ［J］. Application Research of Computers，2023，40（6）： 1728-1733.）

［16］Haghayegh S，Hu Kun，Stone K，et al. Automated sleep stages classification using convolutional neural network from raw and time-frequency electroencephalogram signals： systematic evaluation study ［J］. Journal of Medical Internet Research，2023，25： e40211.

［17］陳建平，何超，劉全，等. 增強(qiáng)型深度確定策略梯度算法 ［J］. 通信學(xué)報(bào)，2018，39（11）： 106-115. （Chen Jianping，He Chao，Liu Quan，et al. Enhanced deep deterministic policy gradient algorithm ［J］. Journal on Communications，2018，39（11）： 106-115.）

［18］Huang Gao，Liu Zhuang，Pleiss G，et al. Convolutional networks with dense connectivity ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2022，44（12）： 8704-8716.

［19］Niso G，Romero E，Moreau J T，et al. Wireless EEG： a survey of systems and studies ［J］. Neuroimage，2023，269： 119774.

［20］Hu Xinyi，F(xiàn)ang Hangxiang，Zhang Ling，et al. Dynamic connection pruning for densely connected convolutional neural networks ［J］. Applied Intelligence，2023，53（16）： 19505-19521.

［21］Probst P，Boulesteix A L，Bischl B. Tunability： importance of hyperparameters of machine learning algorithms ［J］. Journal of Machine Learning Research，2019，20： 1-32.

［22］Goldberger A L，Amaral L A N，Glass L，et al. PhysioBank，Physio-Toolkit，and PhysioNet： components of a new research resource for complex physiologic signals ［J］. Circulation，2000，101（23）： e215-e220.

［23］Zheng Yubo，Luo Yingying，Zou Bing，et al. MMASleepNet： a multimodal attention network based on electrophysiological signals for automatic sleep staging ［J］. Frontiers in Neuroscience，2022，16： 973761.

［24］Phan H，Mikkelsen K B，Chen O，et al. SleepTransformer： automatic sleep staging with interpretability and uncertainty quantification ［J］. IEEE Trans on Biomedical Engineering，2022，69（8）： 2456-2467.

［25］Zhou Wei，Zhu Hangyu，Shen Ning，et al. A lightweight segmented attention network for sleep staging by fusing local characteristics and adjacent information ［J］. IEEE Trans on Neural Systems and Rehabilitation Engineering，2023，31： 238-247.

［26］Eldele E，Chen Zhenghua，Liu Chengyu，et al. An attention-based deep learning approach for sleep stage classification with single-channel EEG ［J］. IEEE Trans on Neural Systems and Rehabilitation Engineering，2021，29： 809-818.

［27］Fiorillo L，F(xiàn)avaro P，F(xiàn)araci F D. DeepSleepNet-Lite： a simplified automatic sleep stage scoring model with uncertainty estimates ［J］. IEEE Trans on Neural Systems and Rehabilitation Engineering，2021，29： 2076-208.

收稿日期：2024-01-09；修回日期：2024-03-04 基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（62101312）；陜西省科技廳工業(yè)項(xiàng)目（2024GX-YBXM-544）

作者簡(jiǎn)介：趙彥晶（2000—），女，河北張家口人，碩士研究生，CCF會(huì)員，主要研究方向?yàn)槟X電信號(hào)處理、深度學(xué)習(xí)；周強(qiáng)（1969—），男（通信作者），重慶人，教授，博導(dǎo)，博士，主要研究方向?yàn)橹悄苄畔⑻幚?、機(jī)器學(xué)習(xí)（zhouqiang@sust.edu.cn）；劉鑫（2000—），男，陜西商洛人，碩士研究生，主要研究方向?yàn)闄C(jī)器視覺(jué)、圖像處理；李婉（1989—），女，陜西西安人，講師，博士，主要研究方向?yàn)閳D像重構(gòu)、壓縮感知；田蘊(yùn)郅（1998—），男，陜西渭南人，碩士研究生，主要研究方向?yàn)閳D像處理、深度學(xué)習(xí).