蔡旭剛, 王 磊, 王 帆, 李俊廷, 潘家輝

(華南師范大學(xué) 軟件學(xué)院, 佛山 528225)

我國(guó)醫(yī)療衛(wèi)生市場(chǎng)龐大, 醫(yī)護(hù)人員工作負(fù)荷重情況突出, 據(jù)中國(guó)國(guó)家衛(wèi)生健康委員會(huì)發(fā)布的《2019年我國(guó)衛(wèi)生健康事業(yè)發(fā)展統(tǒng)計(jì)公報(bào)》顯示[1], 2019全國(guó)醫(yī)療衛(wèi)生機(jī)構(gòu)總數(shù)達(dá)1007 545個(gè), 全國(guó)醫(yī)療衛(wèi)生機(jī)構(gòu)床位880.7萬張, 醫(yī)院醫(yī)師日均擔(dān)負(fù)診療7.1人次和住院2.5床日.伴隨著新冠疫情與高新科技的沖擊, 醫(yī)療衛(wèi)生行業(yè)模式正加快從傳統(tǒng)化、數(shù)字化、信息化走向智能化[2].醫(yī)院病房作為醫(yī)院醫(yī)療產(chǎn)業(yè)的核心支柱, 其智能化程度與病人舒適指數(shù)、醫(yī)護(hù)負(fù)荷指數(shù)、醫(yī)療資源分配合理指數(shù)、管理運(yùn)作效率指數(shù)等密切相關(guān).物聯(lián)網(wǎng)、5G通信、云計(jì)算、大數(shù)據(jù)等高新技術(shù)在醫(yī)療病房等傳統(tǒng)行業(yè)的應(yīng)用已是智能化時(shí)代背景下的大勢(shì)所趨, 以“互聯(lián)網(wǎng)＋醫(yī)療”的智慧病房協(xié)同控制控制系統(tǒng)是當(dāng)今醫(yī)院醫(yī)療產(chǎn)業(yè)信息化研究與建設(shè)的熱點(diǎn)方向[3].

課中是教師組織活動(dòng)，學(xué)生參與活動(dòng)，是學(xué)生展示交流、協(xié)作討論、解疑釋問和完成作業(yè)等充分實(shí)現(xiàn)知識(shí)內(nèi)化的過程，具體實(shí)施方案如圖2 所示。

智能控制的核心在于控制機(jī)制的有效性、健壯性、實(shí)時(shí)性、簡(jiǎn)易性與可維護(hù)性.在傳統(tǒng)病房以醫(yī)護(hù)為核心的人工服務(wù)機(jī)制中, 緊急呼叫與控制機(jī)制多為人工服務(wù).應(yīng)對(duì)眾多患者的不同需求, 醫(yī)護(hù)工作負(fù)荷沉重, 尤其是應(yīng)對(duì)言語障礙(Language Disorder Syndrome,LDS)、脊髓損傷(Spinal Cord Injury, SCI)、肌萎縮性脊髓側(cè)索硬化癥(Amyotrophic Lateral Sclerosis, ALS)等生活能力較弱的病患, 難以做到針對(duì)不同病患的個(gè)性化服務(wù), 且醫(yī)護(hù)查房工作經(jīng)常出現(xiàn)“觀察查房”現(xiàn)象,對(duì)病人護(hù)理與治療缺少溝通交流, 病患缺失修養(yǎng)與治療所需求的幸福感與舒適感[4].同時(shí)病患醫(yī)療必要生理數(shù)據(jù)獲取需要消耗醫(yī)護(hù)大量工作時(shí)間進(jìn)行日常記錄,病房安全需要定時(shí)檢查維護(hù), 尤其對(duì)于負(fù)壓病房等高要求醫(yī)護(hù)病房, 大量的數(shù)據(jù)記錄與機(jī)械人工預(yù)警極大浪費(fèi)專業(yè)安全人員的精力與時(shí)間.

本文提出一種融合語音與腦電信號(hào)的智慧病房控制系統(tǒng).語音交互方面, 基于STM32微控制器(Micro-Controller Unit, MCU)與SYN7318離線非定向語音識(shí)別模塊對(duì)語音信號(hào)識(shí)別分類并轉(zhuǎn)化為控制指令, 利用TCP/IP協(xié)議遠(yuǎn)程傳輸生理與安保數(shù)據(jù)完成云端被動(dòng)預(yù)警控制; 腦電交互方面, 基于一種波峰波谷特征的波形檢測(cè)算法對(duì)眨眼動(dòng)作進(jìn)行識(shí)別并轉(zhuǎn)化控制指令.最后,融合語音控制的高效性、腦電控制的自然性和遠(yuǎn)程終端控制的準(zhǔn)確性設(shè)計(jì)一種互補(bǔ)性融合的多模態(tài)智慧病房控制系統(tǒng).

本文的主要貢獻(xiàn)如下:

采用先進(jìn)的水性配方Penguard E33 WF、Jotatop AY20 WF、Penguard E99 WF以高品質(zhì)水性樹脂為原材料，VOC含量極低（小于80 g/L），可有效避免涂裝過程中對(duì)現(xiàn)場(chǎng)施工人員的健康損害。

(1) 根據(jù)離線語音模塊的語義特性適配傳輸速率并設(shè)計(jì)傳輸協(xié)議, 對(duì)語音信號(hào)進(jìn)行指令轉(zhuǎn)換, 完成語音交互控制.

(2) 根據(jù)腦電采集設(shè)備采集的腦電數(shù)據(jù)格式, 設(shè)計(jì)腦電信號(hào)傳輸協(xié)議, 并基于腦電信號(hào)生理特征設(shè)計(jì)一種基于波峰波谷特征的眨眼波形檢測(cè)算法, 對(duì)輸入的信號(hào)進(jìn)行起始點(diǎn)檢測(cè)、分幀、去噪等預(yù)處理, 經(jīng)過特征提取和分析實(shí)現(xiàn)眨眼波形檢測(cè), 最后適配眨眼特性,設(shè)計(jì)一種眨眼緊急呼叫機(jī)制, 完成腦電緊急呼叫.

可是，沒過多久，兒媳婦單位因?yàn)樯狭耸裁葱马?xiàng)目，每天很晚才到家，回來的時(shí)候?qū)殞毝妓?，這樣一來，老伴就沒有自己的時(shí)間了，我干啥只能單獨(dú)行動(dòng)，為他們做好后勤工作。雖然偶爾也會(huì)跟兒子發(fā)發(fā)牢騷，但兒媳婦和兒子說了兩句好話，我們也就乖乖地服從了。

1 國(guó)內(nèi)外研究現(xiàn)狀

1.1 腦電控制研究現(xiàn)狀

近年來, 很多國(guó)家和組織都致力于開發(fā)實(shí)用且可靠的人機(jī)交互系統(tǒng), 如語音交互系統(tǒng)[5]、單一開關(guān)系統(tǒng)、眼球追蹤系統(tǒng)[6]等輔助系統(tǒng), 但是對(duì)于那些完全喪失外周神經(jīng)肌肉控制能力與語言溝通能力的人來說,這些輔助系統(tǒng)很難使用或者無法使用, 需要借助另一種自然性更高的輔助系統(tǒng), 即基于腦機(jī)接口(Brain-Computer Interface, BCI)技術(shù)的新型輔助系統(tǒng).通過侵入式或非侵入式腦電信號(hào)監(jiān)測(cè)技術(shù), 將大腦中神經(jīng)電信號(hào)能實(shí)時(shí)、準(zhǔn)確地通過BCI系統(tǒng)轉(zhuǎn)換成可被計(jì)算機(jī)識(shí)別的命令或操作信號(hào), 為大腦與外部世界提供直接的交流方式.

(2) 分析語音命令的語義結(jié)構(gòu)進(jìn)行譯碼識(shí)別.

1.2 語音控制研究現(xiàn)狀

相對(duì)于其他交互方式而言, 語言是人類交往中最基礎(chǔ)、最便捷的交流方式, 伴隨著人工智能的突飛猛進(jìn), 自動(dòng)語音交互(Automatic Speech Recognition,ASR)技術(shù)已初步實(shí)現(xiàn)計(jì)算機(jī)與人類之間的語音交流,基于此項(xiàng)技術(shù), 學(xué)者對(duì)語言交互的應(yīng)用場(chǎng)景展開了研究.Portet等[17]開發(fā)了一種針對(duì)老年人的家庭自動(dòng)化語音控制系統(tǒng)——SWEET-HOME, 并評(píng)估了使用者及家屬對(duì)該技術(shù)的接受程度.該研究表明, 語音交互技術(shù)具有解決老年人和殘障者日常生活需求的巨大潛力, 比其他侵入性腦機(jī)控制解決方案更容易被接受.Jadczyk等[18]實(shí)現(xiàn)了一個(gè)具有語音功能的醫(yī)療自動(dòng)化平臺(tái)CardioCube, 可以從患者那里收集醫(yī)療數(shù)據(jù), 并將其用于進(jìn)一步的分析.此語音交功能有效提高了用戶操作系統(tǒng)的便捷性, 無論是患者還是醫(yī)護(hù)人員都對(duì)該系統(tǒng)給予了很高的評(píng)價(jià).Peng等[19]使用Google Home,Raspberry Pi和Smart Bluetooth Socket構(gòu)建智能家居控制系統(tǒng), 通過機(jī)器學(xué)習(xí)算法融入應(yīng)用程序?yàn)橛脩籼峁┬滦椭悄芗彝シ?wù).在該系統(tǒng)下, Google Home識(shí)別用戶的語音命令, 然后將指令通過藍(lán)牙傳輸?shù)絉aspberry Pi進(jìn)行家電的控制.毛博等[20]基于深度學(xué)習(xí)方法提出DeepHome智能家居管控模型, 能夠基于家居環(huán)境數(shù)據(jù)預(yù)測(cè)智能設(shè)備工作狀態(tài), 并依照預(yù)測(cè)結(jié)果調(diào)整相應(yīng)設(shè)備, 實(shí)現(xiàn)對(duì)智能家居的自動(dòng)化統(tǒng)一管控.在真實(shí)環(huán)境數(shù)據(jù)集下, 對(duì)設(shè)備狀態(tài)的預(yù)測(cè)準(zhǔn)確率達(dá)到了98.9%.許建國(guó)等[21]為醫(yī)院病房智能監(jiān)護(hù)系統(tǒng)的設(shè)計(jì)提出一種基于物聯(lián)網(wǎng)和Android技術(shù)的解決方案.該系統(tǒng)由移動(dòng)智能終端SDA、ZigBee模塊、A10平臺(tái)、服務(wù)器等部分構(gòu)成.

近年來, 智慧病房控制系統(tǒng)的升級(jí)改造一直在進(jìn)行, 語音、腦機(jī)接口、物聯(lián)網(wǎng)等交互技術(shù)在智慧家居、智慧醫(yī)療等場(chǎng)景取得了長(zhǎng)足進(jìn)步, 每年有大量的研究論文、專利和演示系統(tǒng)發(fā)表與涌現(xiàn), 但實(shí)際應(yīng)用仍存在諸多問題.

(1) 病房交互技術(shù)中缺乏豐富、準(zhǔn)確、實(shí)時(shí)的控制指令.目前大部分醫(yī)院病房中護(hù)理與交互依舊是“端到端” 的人力完成, 極少涉及語音交互技術(shù)與腦機(jī)交互技術(shù)在病房場(chǎng)合的應(yīng)用, 歸其原因, 語音交互系統(tǒng)與腦機(jī)交互系統(tǒng)要控制復(fù)雜對(duì)象, 需要從語音信號(hào)或腦電信號(hào)中產(chǎn)生多個(gè)相互獨(dú)立的控制信號(hào), 且這些控制信號(hào)要具有良好的準(zhǔn)確性和實(shí)時(shí)性.目前的語音交互系統(tǒng)大多數(shù)利用大數(shù)據(jù)技術(shù)進(jìn)行在線識(shí)別, 語音數(shù)據(jù)的上行傳輸和識(shí)別結(jié)果的下行傳輸需要花費(fèi)一定時(shí)間,產(chǎn)生時(shí)延, 應(yīng)用于病房的智慧控制缺乏控制的實(shí)時(shí)性,且語音識(shí)別對(duì)所需要的噪音環(huán)境要求較高, 在噪聲很大的環(huán)境下, 其精準(zhǔn)度受到極大影響; 在腦機(jī)交互方面,目前的非侵入式腦機(jī)接口能提供的獨(dú)立控制信號(hào)還非常有限, 大多局限于一維控制和較少類別(一般2類或者3類)的腦電信號(hào)檢測(cè).即使出現(xiàn)了少數(shù)多維/多類系統(tǒng), 也基本上是一維、二維控制信號(hào)和二分類系統(tǒng)的擴(kuò)展, 造成腦機(jī)交互系統(tǒng)性能和應(yīng)用上有很大的局限性.

(2) 模態(tài)單一, 結(jié)合語音和腦電的多模態(tài)控制研究很少.目前一些醫(yī)療病房領(lǐng)域采用的智慧控制方式多為單一模態(tài)控制, 無法覆蓋病房?jī)?nèi)全部患者的服務(wù)要求.控制方式中語音控制與腦電控制分屬兩種模態(tài)控制, 兩種模態(tài)控制方式各具有其優(yōu)勢(shì)特色, 應(yīng)對(duì)不同特征患者, 各自擁有自己差異化應(yīng)用解決方案, 目前結(jié)合語音交互的高效性與腦電交互的自然性, 發(fā)揮各自差異化應(yīng)用特點(diǎn), 形成一款互補(bǔ)式的融合控制機(jī)制進(jìn)行主動(dòng)與被動(dòng)控制, 仍然處于學(xué)術(shù)與市場(chǎng)的初探階段.

2 系統(tǒng)總體設(shè)計(jì)

本系統(tǒng)將物聯(lián)網(wǎng)技術(shù)、語音識(shí)別技術(shù)和與腦機(jī)接口技術(shù)相結(jié)合, 以傳統(tǒng)的病房護(hù)理為場(chǎng)景, 構(gòu)建以輔助預(yù)警及智能護(hù)理為主要功能的智慧病房控制系統(tǒng), 該控制系統(tǒng)結(jié)構(gòu)總圖如圖1所示.

圖1 智慧病房控制系統(tǒng)結(jié)構(gòu)

語音識(shí)別交互模塊能夠滿足病患在病房的基本控制需求與交互服務(wù).系統(tǒng)中語音識(shí)別依托SYN7318非定向離線語音芯片, 首先采集病房?jī)?nèi)病患語音信號(hào), 信號(hào)經(jīng)由預(yù)處理后提取相應(yīng)語音信號(hào)特征, 對(duì)其進(jìn)行離線數(shù)據(jù)庫比對(duì), 最后識(shí)別出語音中的病患控制指令, 完成語音交互功能, 包含語音控制、離線語音聊天、語音定時(shí)、語音呼叫、音頻播放等功能.

本次實(shí)驗(yàn)分為語音交互實(shí)驗(yàn)和眨眼識(shí)別實(shí)驗(yàn).實(shí)驗(yàn)環(huán)境基本設(shè)備: 基于樹莓派4B腦電分析模塊, Linux環(huán)境下, 以PyCharm工具為平臺(tái), Python 3.8版本; 基于STM32F103系列的云端管理與控制模塊和顯示播報(bào)模塊; HNNK腦機(jī)智能生命環(huán); Android 5.0以上的智能手機(jī)終端.

顯示播報(bào)模塊利用無線通信技術(shù)與云端管理與控制模塊進(jìn)行遠(yuǎn)程信息傳輸, 將病房患者的交互需求與緊急呼叫進(jìn)行可視化顯示與實(shí)時(shí)動(dòng)態(tài)語音提醒.

因此，就業(yè)角度的人工智能樂觀派，恐怕很難成立。這意味著，人工智能將粉碎人類有史以來的重復(fù)性勞動(dòng)和生活樣態(tài)。

腦電采集與分析模塊接收HNNK腦機(jī)智能生命環(huán)原始腦電信號(hào), 對(duì)信號(hào)進(jìn)行眨眼波形檢測(cè), 以提供腦電控制指令緊急報(bào)警.遵照腦電信號(hào)本身生物電特性進(jìn)行濾波降噪, 將降噪后的連續(xù)腦電信號(hào)進(jìn)行起止點(diǎn)檢測(cè)與目標(biāo)字符段進(jìn)行劃分, 最終腦電數(shù)據(jù)經(jīng)由一種基于波峰波谷特征的波形檢測(cè)算法進(jìn)行眨眼識(shí)別, 利用患者多次眨眼信號(hào)作為緊急告警指令, 實(shí)現(xiàn)緊急報(bào)警功能.

3 語音識(shí)別交互模塊核心技術(shù)

為了實(shí)現(xiàn)病患人機(jī)離線語音交互功能, 語音識(shí)別處理是不可或缺的一環(huán).有效的語音識(shí)別處理能將病患語音模擬信號(hào)實(shí)時(shí)轉(zhuǎn)化為相對(duì)應(yīng)的語音特征指令,并對(duì)后續(xù)系統(tǒng)控制提供最正確的指令特征信息.同時(shí)病房環(huán)境中識(shí)別病患語音信號(hào)能使最終所執(zhí)行的控制指令更具準(zhǔn)確性和實(shí)用性.

在對(duì)語料進(jìn)行加工的時(shí)候，需要注意一下以下原則：第一，適量性。在對(duì)語料進(jìn)行加工的時(shí)候，講究適量原則，建立“學(xué)生友好”原則，信息不要太多，信息太多，反而會(huì)讓學(xué)生產(chǎn)生“畏難”情緒，不利于激勵(lì)學(xué)生繼續(xù)學(xué)習(xí)。第二，開放性原則。語料是不斷變化的，是有生命的，是活動(dòng)的，因此，語料的加工要隨時(shí)增補(bǔ)一些貼近時(shí)代的語料。第三，教育性。語料的加工處理要具備一定的教師育人目的，給學(xué)生帶來正能量，幫助學(xué)生不斷進(jìn)步與提高。

為實(shí)現(xiàn)語音信號(hào)的實(shí)時(shí)與準(zhǔn)確識(shí)別必須完成下列任務(wù):

(1) 適配通信速率去保障通信傳輸準(zhǔn)確性;

隨著相關(guān)研究推進(jìn), 腦機(jī)接口技術(shù)的含義進(jìn)一步得到外擴(kuò), 腦機(jī)接口技術(shù)不再局限于實(shí)現(xiàn)對(duì)用戶大腦狀態(tài)的檢測(cè), 還用于實(shí)現(xiàn)大腦對(duì)外部設(shè)備的控制.四肢癱瘓患者利用侵入式BCI控制機(jī)械臂完成手部伸手動(dòng)作與抓取動(dòng)作[7,8], 此種控制方法備受患者青睞.但安全性一直是困擾侵入式BCI發(fā)展的主要問題, 相比之下,非侵入式BCI擁有更安全、更簡(jiǎn)易、更普適的控制優(yōu)勢(shì).目前, 多名學(xué)者與研究團(tuán)隊(duì)將BCI控制應(yīng)用到輪椅中[9,10], 用于解決SCI、ALS患者行動(dòng)不便的問題.Jafri等[11]提出了一種基于無線腦電接口(Wireless Brain-Computer Interface, WBCI)技術(shù)的高可移植性智能家居系統(tǒng), 通過P300腦機(jī)接口范式選擇家電設(shè)備并完成后續(xù)的控制操作.考慮一定比例患者由于文化、學(xué)科等因素導(dǎo)致無法操作單一類型BCI系統(tǒng)[12].因此,“混合型”BCI系統(tǒng)可為患者在不同的方法中提供最優(yōu)的BCI控制, Edlinger等[13]提出了一種基于P300與SSEVP多模態(tài)的融合控制范式, 能夠在虛擬智能家居環(huán)境中完成高精度的工作.Chen等[14]結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)、計(jì)算機(jī)視覺技術(shù)和穩(wěn)態(tài)視覺誘發(fā)電位-BCI技術(shù),設(shè)計(jì)并實(shí)現(xiàn)了雙臂控制系統(tǒng).除腦電控制之外, 多名研究學(xué)者將眼電信號(hào)與腦電信號(hào)進(jìn)行融合, 使系統(tǒng)擁有更高的使用效率和更廣的應(yīng)用范圍[15].Venkataramanan等[16]采集水平通道與垂直通道的眼電信號(hào), 經(jīng)由偽影和干擾電弧處理, 進(jìn)行眨眼檢測(cè), 并將眨眼信號(hào)應(yīng)用于醫(yī)院二級(jí)報(bào)警系統(tǒng)控制.

3.1 語音識(shí)別交互系統(tǒng)結(jié)構(gòu)

語音識(shí)別交互系統(tǒng)架構(gòu)包括硬件、接口、協(xié)議、功能、模式5層, 如圖2所示.

考慮到國(guó)外經(jīng)濟(jì)發(fā)展水平、市場(chǎng)化程度、社會(huì)信用約束及法律約束條件等不同，因此，對(duì)國(guó)外的一些金融產(chǎn)品、金融技術(shù)不能搞簡(jiǎn)單的“拿來主義”，一定要系統(tǒng)地完成中國(guó)化、本土化的再改造過程。否則，中國(guó)的社會(huì)經(jīng)濟(jì)發(fā)展很可能會(huì)遇到不能承受之重。例如，2016年年初照搬美國(guó)證券市場(chǎng)的熔斷機(jī)制，不僅未達(dá)到穩(wěn)定市場(chǎng)的目的，反倒進(jìn)一步加劇了市場(chǎng)恐慌。

圖2 語音識(shí)別交互系統(tǒng)架構(gòu)

硬件與接口層以STM32F103C8T6主控器為核心,OLED顯示屏、硬件驅(qū)動(dòng)電路、離線語音識(shí)別單元、無線通信單元和外圍硬件電路為輔, 依托模擬信號(hào)采集傳感器讀取相關(guān)數(shù)據(jù), 對(duì)STM32F103C8T6主控單元GPIO引腳進(jìn)行復(fù)用配置提供上層數(shù)據(jù)傳輸接口.在協(xié)議層依托硬件與接口層機(jī)械、電子功能部分特性, 規(guī)定通信過程中的通訊邏輯、統(tǒng)一收發(fā)雙方的數(shù)據(jù)打包與解包標(biāo)準(zhǔn), 確定雙方通信信道與連接方式, 保障雙方有序通信, 準(zhǔn)確完成數(shù)據(jù)獲取.功能層依托協(xié)議層與硬件接口層, 完成語音交互、數(shù)據(jù)傳輸、指令融合和外部控制等模塊功能.應(yīng)用模式層規(guī)定頂層模式, 合理組織調(diào)用業(yè)務(wù)邏輯功能與常用功能, 對(duì)系統(tǒng)支持功能進(jìn)行合理的整合與調(diào)配, 保持系統(tǒng)的合理性、有效性和穩(wěn)定性.

3.2 語音交互指令獲取

(1)波特率選擇

波特率指數(shù)據(jù)信號(hào)對(duì)載波的調(diào)制速率, 它用單位時(shí)間內(nèi)載波調(diào)制狀態(tài)改變次數(shù)來表示, 單位為Baud.比特率指單位時(shí)間內(nèi)傳輸?shù)谋忍財(cái)?shù), 單位b/s[22].STM32F103C8T6 主控HSE高速外部時(shí)鐘信號(hào)采用8M晶振為基頻, 經(jīng)過鎖相環(huán)倍頻達(dá)到72 MHz主頻,以保障系統(tǒng)穩(wěn)定運(yùn)行.其USART1/USART2外設(shè)時(shí)鐘分別來源于APB2/APB1總線時(shí)鐘, 最大頻率為36 MHz/72 MHz, 最大支持4.5 Mb/s, 考慮SYN7318所支持的4800 Baud、9600 Baud、57 600 Baud和115 200 Baud 4種波特率、串口10位傳輸字符格式, 對(duì)雙方通信設(shè)備通信速率、波特率誤差、通信距離綜合考慮進(jìn)行如表1所示比較, 最終選擇115 200 Baud為通信傳輸波特率.計(jì)算通信速率為式(1), 計(jì)算波特率與誤差為式(2)和式(3):

其中,I代表比特率;STx/Rxbaud 代表波特率,N代表每個(gè)符號(hào)負(fù)載的信息量, 由于STM32F103C8T6中單個(gè)調(diào)制狀態(tài)對(duì)應(yīng)1個(gè)二進(jìn)制位, 比特率等于波特率.

3) 設(shè)計(jì)一種基于波峰波谷特征的波形檢測(cè)算法進(jìn)行眨眼波形檢測(cè).

表1 通信速率與誤差比較表

其中,Serror代表波特率誤差率,Sbase為設(shè)置波特率,Sreal為實(shí)際波特率.

(2)命令幀解析

SYN7318以“幀頭+數(shù)據(jù)區(qū)長(zhǎng)度+數(shù)據(jù)區(qū)”格式與MCU主控通信, 其語音命令幀格式如表2所示.

綜合考慮燈樁建設(shè)周期（通常1年）、總投資、勘察設(shè)計(jì)時(shí)間及成本等因素，結(jié)合燈樁建設(shè)選址位置，根據(jù)不同的地質(zhì)條件，選擇幾個(gè)代表性的地質(zhì)類型進(jìn)行勘察，同類型燈樁勘察設(shè)計(jì)互相借鑒，以此類推，編制燈樁標(biāo)準(zhǔn)化勘察報(bào)告。

表2 語音命令幀格式表

幀頭設(shè)定“0xFD”為設(shè)備雙方串口通信識(shí)別初始字節(jié), 占用一個(gè)字節(jié); 數(shù)據(jù)長(zhǎng)度使用兩個(gè)字節(jié)進(jìn)行標(biāo)識(shí),發(fā)送與回傳指令最大長(zhǎng)度不大于4096 B; 數(shù)據(jù)區(qū)為包含命令字節(jié)、命令參數(shù)與待發(fā)送文本, 命令字節(jié)使用1 B選擇模式, 同時(shí)確定對(duì)應(yīng)模式具體功能, 識(shí)別模式命令參數(shù)字節(jié)長(zhǎng)度不定, 通常為5 B, 包含匹配度(1 B)、詞條ID (2 B)、命令I(lǐng)D (2 B), 其余模式命令參數(shù)為無,待發(fā)送文本為存儲(chǔ)語音合成詞條的編碼字節(jié)和回傳類型, 字長(zhǎng)根據(jù)語音合成文字長(zhǎng)度設(shè)定, 字節(jié)長(zhǎng)度小于等于4 KB, 根據(jù)其字節(jié)接受特性與實(shí)際通信測(cè)試, 同一幀數(shù)據(jù)中, 每個(gè)字節(jié)之間的發(fā)送間隔不能超過15 ms;幀與幀之間的發(fā)送間隔必須超過15 ms, 考慮通信質(zhì)量不被影響, 至少留出2 ms時(shí)延長(zhǎng)余量, 即幀與幀發(fā)送間隔大于17 ms.且在發(fā)送過程中, 發(fā)送命令幀嚴(yán)格控制4096 B, 超過4096 B會(huì)導(dǎo)致發(fā)送失敗.

3.3 語音指令分級(jí)編碼

對(duì)SYN7318通信傳輸速率與通信協(xié)議匹配后,MCU具備與語音模塊雙向通信的能力.為完成人性化的語音交互功能, 將離線語音模塊所支持的語音功能高效的綜合利用, 還需要對(duì)語音指令進(jìn)行分級(jí)編碼傳入語音、腦電與云端控制融合模塊, 防止指令混傳, 造成功能混亂.編碼規(guī)則如表3所示.

表3 語音指令編碼規(guī)則表

編碼規(guī)則采取16位二進(jìn)制編碼方式, 通過藍(lán)牙HC-05近距離逐字節(jié)傳入控制系統(tǒng)進(jìn)行分析識(shí)別, 傳輸時(shí)間間隔為2 s, 語音指令編碼長(zhǎng)度為7位, 其狀態(tài)編碼表示當(dāng)前數(shù)據(jù)是否為有效語音指令; 模式編碼為一級(jí)詞條編碼, 確定要選擇的語音交互模式或控制指令; 詳細(xì)功能編碼為當(dāng)前已選模式下的具體語音功能.將語音指令進(jìn)行編碼化設(shè)計(jì), 根據(jù)其編碼規(guī)則進(jìn)行表達(dá)與關(guān)聯(lián), 確保語音指令的準(zhǔn)確性, 避免指令間的識(shí)別沖突, 方便后續(xù)離線語音詞條的添加與刪除, 降低復(fù)雜度.

4 腦電獲取與分析模塊核心技術(shù)

腦電控制模式針對(duì)肢體殘疾且語言能力受損的特殊看護(hù)病人, 提出一種根據(jù)眨眼動(dòng)作完成控制與緊急呼叫的解決方案.其中, 眨眼波形識(shí)別處理是不可或缺的一環(huán).有效的眨眼識(shí)別處理能將病患眨眼動(dòng)作準(zhǔn)確識(shí)別并轉(zhuǎn)化為眨眼特征指令, 對(duì)后續(xù)腦電緊急呼叫提供最準(zhǔn)確的指令特征信息.為此腦電控制與緊急呼叫必須完成下列任務(wù):

(1) 眨眼波形識(shí)別.

1) 根據(jù)HNNK腦機(jī)智能生命環(huán)傳輸協(xié)議解析并獲取原始腦電信號(hào);

廣西與越南陸海相通，居于中國(guó)—東盟的地理中心，在我國(guó)面向東盟的經(jīng)貿(mào)合作格局中享有極為明顯的區(qū)位優(yōu)勢(shì)與非常重要的戰(zhàn)略意義。與廣西一河之隔的越南則是東盟經(jīng)濟(jì)發(fā)展?jié)摿薮蟮闹匾蓡T國(guó)，極有可能成為21世紀(jì)全球新的制造中心。根據(jù)商務(wù)部的相關(guān)統(tǒng)計(jì)，廣西檢驗(yàn)檢疫局簽發(fā)往越南的中國(guó)—東盟自貿(mào)區(qū)優(yōu)惠原產(chǎn)地證書在全國(guó)檢驗(yàn)檢疫系統(tǒng)中居首位。

由嘯叫產(chǎn)生的原理可知，門頁與車體之間或兩門頁之間產(chǎn)生的縫隙導(dǎo)致了車廂內(nèi)出現(xiàn)刺耳的嘯叫聲。以下是導(dǎo)致車門與車體及兩門頁間出現(xiàn)縫隙的幾種原因：

2) 根據(jù)生物電特性對(duì)腦電信號(hào)進(jìn)行濾波降噪, 將降噪后的連續(xù)腦電信號(hào)進(jìn)行起止點(diǎn)檢測(cè), 對(duì)目標(biāo)字符段進(jìn)行劃分;

其中,fCK為USART 時(shí)鐘,OVER8代表16倍過采樣, 用0表示,USARTDIV代表一個(gè)存放在波特率寄存器(USART_BRR)的一個(gè)無符號(hào)定點(diǎn)數(shù).其中DIV_Mantissa[11:0]位定義USARTDIV的整數(shù)部分, DIV_Fraction[3:0]位定義USARTDIV的小數(shù)部分, 波特率的誤差正是由于對(duì)小數(shù)部分的取整賦值所造成.

在進(jìn)行石油裝備企業(yè)績(jī)效管理工作的開展中，應(yīng)該針對(duì)績(jī)效管理工作的開展制定專門的協(xié)作機(jī)制，也就是在進(jìn)行績(jī)效管理過程中，針對(duì)績(jī)效管理工作的開展將對(duì)應(yīng)的績(jī)效管理工作控制協(xié)調(diào)好，保障在控制協(xié)調(diào)過程中，能夠按照石油裝備企業(yè)的發(fā)展去調(diào)整對(duì)應(yīng)的績(jī)效管理工作。這種現(xiàn)象是我國(guó)當(dāng)前的石油裝備企業(yè)管理中最為直接的一項(xiàng)管理表現(xiàn)，就是在績(jī)效管理工作的控制中，對(duì)于績(jī)效管理的理念協(xié)調(diào)不夠完善，很多人不能夠明確績(jī)效管理的重要性，對(duì)于企業(yè)自身管理能力提升具有重要的影響。同時(shí)在石油裝備企業(yè)的績(jī)效管理中，對(duì)于績(jī)效協(xié)作管理理念的傳輸在部門與部門之間的流通是存在不同的，所以其對(duì)應(yīng)的影響也是不同的[2]。

(2) 腦電指令轉(zhuǎn)換.

設(shè)計(jì)一種腦電緊急呼叫機(jī)制, 通過用戶多次眨眼動(dòng)作觸發(fā)遠(yuǎn)程腦電緊急呼叫.

4.1 腦電獲取與分析處理系統(tǒng)流程

腦電控制與緊急呼叫是本系統(tǒng)的一個(gè)重要功能,其流程框圖如圖3所示.

圖3 腦電緊急呼叫流程圖

用戶首次使用該功能, 首先需要多次眨眼校準(zhǔn), 待眨眼評(píng)分大于80后進(jìn)入動(dòng)態(tài)采集檢測(cè)部分, 如非首次使用, 可跳過此環(huán)節(jié).眨眼校準(zhǔn)完成后, 進(jìn)入實(shí)時(shí)眨眼判別環(huán)節(jié), 基于樹莓派4B每隔16 ms進(jìn)行一次生命環(huán)數(shù)據(jù)讀取, 每次讀取20 B數(shù)據(jù)(包含8 ms時(shí)間間隔的4 B腦電數(shù)據(jù)), 并繪制其為實(shí)時(shí)腦電波形.在腦電波形圖中, 信號(hào)的幅值隨眨眼動(dòng)作的進(jìn)行而改變, 為此采用含有n個(gè)元素的波形向量(X=[x1,x2,x3,···,xn-2,xn-1,xn]xi)進(jìn)行表示, 其中xi為波形上的某一點(diǎn)幅值,兩個(gè)相鄰向量點(diǎn)之間的時(shí)間間隔Δt為8 ms, 由此組成的波形向量以腦電信號(hào)的生物電特征為基本判別標(biāo)準(zhǔn)對(duì)腦電信號(hào)進(jìn)行起始段檢測(cè)與分幀、濾波等預(yù)處理.最終根據(jù)眨眼操作完成控制與緊急呼叫.

4.2 腦電信號(hào)預(yù)處理

(1)起始段檢測(cè)與分幀

根據(jù)腦電信號(hào)的非平穩(wěn)特征, 即從整體來看其特征與表征本質(zhì)特征的參數(shù)均為隨機(jī)變化, 具有時(shí)變特性.但在一個(gè)短時(shí)間內(nèi), 其特性基本保持不變即相對(duì)穩(wěn)定, 因而可以將其看作一個(gè)準(zhǔn)穩(wěn)態(tài)過程, 即具有短時(shí)平穩(wěn)性.后續(xù)分析要進(jìn)行“短時(shí)分析”[23].樹莓派以8 ms的間隔時(shí)間進(jìn)行數(shù)據(jù)點(diǎn)存儲(chǔ)形成波形向量, 在實(shí)際測(cè)試中, 眨眼波形的數(shù)據(jù)點(diǎn)遠(yuǎn)遠(yuǎn)小于未眨眼數(shù)據(jù)點(diǎn), 避免浪費(fèi)大量數(shù)據(jù)處理的時(shí)間, 有效捕獲有眨眼動(dòng)作波形,需要對(duì)腦電信號(hào)進(jìn)行起始段檢測(cè), 以排除非眨眼動(dòng)作的無效腦電信號(hào), 提高眨眼識(shí)別處理的準(zhǔn)確度與效率.

本設(shè)計(jì)中采用移動(dòng)平均法來動(dòng)態(tài)檢測(cè)活動(dòng)段, 根據(jù)眨眼動(dòng)作時(shí), 腦電信號(hào)幅值產(chǎn)生波動(dòng)的特點(diǎn), 采用短時(shí)間信號(hào)幅值均值為預(yù)測(cè)值, 實(shí)際腦電信號(hào)幅值與預(yù)測(cè)值相減, 差值大于閾值(閾值取值以經(jīng)驗(yàn)值為標(biāo)準(zhǔn))的點(diǎn)為基本起始點(diǎn).其數(shù)學(xué)表達(dá)式如式(4)所示, 其中xk為下一個(gè)時(shí)期腦電信號(hào)的預(yù)測(cè)值,n為移動(dòng)平均的時(shí)期個(gè)數(shù),xk-1,xk-2,xk-3等為前幾期的實(shí)測(cè)腦電信號(hào)幅值.xreal為下一個(gè)時(shí)期實(shí)測(cè)腦電信號(hào)幅值,Tbegin為起始點(diǎn)檢測(cè)差值經(jīng)驗(yàn)閾值.式(5)中,S=1(S=0)表示檢測(cè)到眨眼起始點(diǎn)(未監(jiān)測(cè)到眨眼起始點(diǎn)), 注意采用的移動(dòng)平均法為簡(jiǎn)單移動(dòng)平均法, 每個(gè)時(shí)期腦電信號(hào)幅值權(quán)重都同為1.

在實(shí)時(shí)腦電信號(hào)動(dòng)態(tài)處理過程中, 在起始點(diǎn)確定后, 為再次減少眨眼識(shí)別的數(shù)據(jù)量與運(yùn)算量, 排除腦電信號(hào)中非眨眼動(dòng)作的噪音干擾, 增強(qiáng)數(shù)據(jù)的有效性與準(zhǔn)確性, 對(duì)數(shù)據(jù)分幀是一個(gè)重要環(huán)節(jié), 眨眼動(dòng)作的起始端確定后, 還需確定眨眼動(dòng)作的終止端.

(2) 抗噪音實(shí)驗(yàn)

圖4 眨眼動(dòng)作實(shí)驗(yàn)統(tǒng)計(jì)圖與概率密度函數(shù)圖

(2)濾波

腦電信號(hào)在采集過程中容易收到周圍環(huán)境和自身生物電因素的干擾, 因此要對(duì)分幀后的腦電信號(hào)進(jìn)行濾波去噪處理, 為后續(xù)的眨眼波形識(shí)別與處理提供可靠的數(shù)據(jù)支撐.本設(shè)計(jì)中采用0-10 Hz Butterworth低通數(shù)字濾波器對(duì)波形數(shù)據(jù)進(jìn)行低通濾波[16], 最終原始波形經(jīng)過分幀、加窗、濾波后的波形如圖5所示.

圖5 原始波形經(jīng)過起始段檢測(cè)、分幀、濾波結(jié)果圖

4.3 特征提取與眨眼檢測(cè)

通過眨眼信號(hào)和非眨眼信號(hào)對(duì)比, 如圖6所示.眨眼信號(hào)存在明顯波峰波谷(先波峰后波谷)特點(diǎn).根據(jù)這種差異, 提出了一種基于波峰波谷特征的波形檢測(cè)算法.將預(yù)處理后的波形被轉(zhuǎn)換成能量波形后檢測(cè)其波峰與波谷(tvalley與tpeak), 并計(jì)算波峰波谷間隔時(shí)間(d=tvalley-tpeak) 和能量積累(e=(Vt)2,Vt表示t時(shí)刻當(dāng)前信號(hào)的電壓值), 提取此眨眼信號(hào)特征閾值(Dmin、Dmax和E)進(jìn)行眨眼波形檢測(cè), 其波形檢測(cè)公式如式(6)所示.

圖6 眨眼與非眨眼EOG信號(hào)波形

其中,b=1表示檢測(cè)到眨眼動(dòng)作;b=0表示未監(jiān)測(cè)到眨眼動(dòng)作.

待眨眼動(dòng)作識(shí)別處理完成, 將識(shí)別分類情況傳入腦電緊急呼叫機(jī)制, 當(dāng)接受到眨眼動(dòng)作為“真”情況下激活3 s定時(shí)函數(shù), 并記錄眨眼次數(shù)blink_num, 3 s內(nèi)如果眨眼動(dòng)作次數(shù)超過3次, 將眨眼緊急呼叫指令發(fā)送至控制系統(tǒng), 反之眨眼次數(shù)清零(防止自然眨眼所導(dǎo)致緊急呼叫), 等待下次眨眼動(dòng)作激活.具體眨眼緊急呼叫機(jī)制處理如式(7)所示.

5 系統(tǒng)實(shí)驗(yàn)

云端管理與控制模塊負(fù)責(zé)預(yù)警控制.病房相關(guān)安全數(shù)據(jù)與醫(yī)患常規(guī)測(cè)量數(shù)據(jù)經(jīng)由TCP/IP協(xié)議傳入云端, 以便安保人員與醫(yī)護(hù)人員檢測(cè)與記錄, 并基于閾值形成一種被動(dòng)控制方式.

從某種意義上來說，師生關(guān)系應(yīng)該是平等的。我們通常習(xí)慣于把學(xué)生置于接受教育的一方，而很多時(shí)候，學(xué)生也可能成為我們的老師?！敖虒W(xué)相長(zhǎng)”，說的就是我們?cè)诮逃虒W(xué)的過程中不斷總結(jié)反思，而后在改進(jìn)中不斷進(jìn)步的結(jié)果。對(duì)大家來說，每一個(gè)教育難題都是一次有益的考驗(yàn)，通過了這個(gè)考驗(yàn)，你就自動(dòng)升級(jí)。

5.1 語音交互實(shí)驗(yàn)

語音交互是本設(shè)計(jì)的核心控制技術(shù)之一, 下面分別對(duì)語音交互中的語速適應(yīng)性識(shí)別、抗噪音能力以及識(shí)別距離進(jìn)行實(shí)驗(yàn), 探究其對(duì)語音交互識(shí)別的影響.本次實(shí)驗(yàn)人員為4名男性(平均年齡23.6), 實(shí)驗(yàn)地點(diǎn)為華南師范軟件學(xué)院302實(shí)驗(yàn)室.3項(xiàng)實(shí)驗(yàn)均采用不超過20個(gè)音節(jié)的短句進(jìn)行實(shí)驗(yàn)檢測(cè).

(1) 語音語速識(shí)別實(shí)驗(yàn)

探究不同語速對(duì)語音識(shí)別所造成的影響.4名實(shí)驗(yàn)人員在環(huán)境噪音為安靜(20-40 dB), 交互距離長(zhǎng)度為0-0.5 m, 語種為標(biāo)準(zhǔn)普通話進(jìn)行不同語速實(shí)驗(yàn).根據(jù)人的發(fā)音速率特性[24]及國(guó)家標(biāo)準(zhǔn)[25], 人在正常交流情況下發(fā)音速率在4.0 sps左右.為此本實(shí)驗(yàn)將語速分為2.7 sps、3.2 sps、4.0 sps、5.3 sps和 8.0 sps 5 個(gè)等級(jí), 每名實(shí)驗(yàn)人員進(jìn)行50次語音交互, 最終計(jì)算平均語音判決時(shí)間和識(shí)別準(zhǔn)確率.

根據(jù)經(jīng)驗(yàn)所得, 人類絕大部分眨眼時(shí)間在0.8 s以內(nèi)(100個(gè)數(shù)據(jù)點(diǎn)), 在此基礎(chǔ)上對(duì)3名正常人(平均年齡23.7)與運(yùn)動(dòng)功能受損但眼部功能完好的5名病患共8人進(jìn)行實(shí)驗(yàn)統(tǒng)計(jì), 我們以160次眨眼動(dòng)作腦電數(shù)據(jù)進(jìn)行分析, 被試者絕大部分眨眼時(shí)間集中在44-66(0.352-0.544 s)之間, 眨眼動(dòng)作持續(xù)時(shí)間實(shí)驗(yàn)統(tǒng)計(jì)圖與概率密度函數(shù)圖如圖4所示, 其均值為56.7375, 我們規(guī)定起始端到終止端設(shè)置為眨眼識(shí)別 “窗口”, 一次“窗口”為一個(gè)眨眼動(dòng)作識(shí)別數(shù)據(jù)幀, 幀長(zhǎng)為57.最終的處理腦電數(shù)據(jù)為57個(gè)元素的波形向量(X=[x1,x2,x3,···,x55,x56,x57]).

探究不同環(huán)境噪音對(duì)語音識(shí)別所造成的影響.本次以現(xiàn)實(shí)環(huán)境噪音為根據(jù), 環(huán)境噪音等級(jí)劃分為3個(gè)等級(jí), 分別為安靜(20-40 dB)、較吵鬧(40-60 dB)、吵鬧(60-80 dB), 4名實(shí)驗(yàn)人員在語速為正常語速(4.0 sps),交互距離長(zhǎng)度為0-0.5 m, 語種為標(biāo)準(zhǔn)普通話的基本前提下, 分別50次進(jìn)行不同環(huán)境噪音下進(jìn)行實(shí)驗(yàn), 計(jì)算平均語音判決時(shí)間和識(shí)別準(zhǔn)確率.

監(jiān)管工作在國(guó)內(nèi)的公路工程項(xiàng)目建設(shè)施工的質(zhì)量安全工作中發(fā)揮著重要作用，但是實(shí)際上國(guó)內(nèi)的工程監(jiān)管體系發(fā)展尚不夠成熟與完善，使其在具體落實(shí)的過程中出現(xiàn)許多問題。首先，施工單位對(duì)監(jiān)管工作缺乏全面深入認(rèn)識(shí)，其所落實(shí)的監(jiān)管工作內(nèi)容僅限于現(xiàn)場(chǎng)監(jiān)督施工人員的施工情況，卻忽略了設(shè)計(jì)與技術(shù)交底、施工組織設(shè)計(jì)、質(zhì)量安全檢查保證等環(huán)節(jié)的監(jiān)管職責(zé)，在很大程度上影響著公路工程建設(shè)施工中對(duì)質(zhì)量安全的監(jiān)管工作成效。

(3)識(shí)別距離實(shí)驗(yàn)

探究不同識(shí)別距離對(duì)語音識(shí)別所造成的影響.本次實(shí)驗(yàn)4名實(shí)驗(yàn)人員在語速為正常語速(4.0 sps), 噪音環(huán)境為初級(jí)(20-40 dB), 語種為標(biāo)準(zhǔn)普通話的基本前提下及將距離分為4個(gè)等級(jí), 近(0-0.5 m)、中(0.5-3 m)、遠(yuǎn)(3-5 m)、超遠(yuǎn)(5 m以上)進(jìn)行不同距離分別進(jìn)行25次實(shí)驗(yàn), 并計(jì)算最終平均語音判決時(shí)間和識(shí)別準(zhǔn)確率.

(4)實(shí)驗(yàn)總結(jié)

綜合表4、表5、表6結(jié)果所得, 語速在3.2-4.0 sps,識(shí)別距離0.5 m以內(nèi)且噪聲分貝在40 dB以下時(shí), 識(shí)別準(zhǔn)確度保持在98%以上.但語速過快導(dǎo)致采樣缺失與識(shí)別時(shí)間過長(zhǎng), 隨之識(shí)別錯(cuò)誤與識(shí)別超時(shí)數(shù)量增加, 識(shí)別準(zhǔn)確率下降.同時(shí)外界環(huán)境噪音的大小與識(shí)別準(zhǔn)確率成反比, 隨著噪音的增加, 外界噪音被誤判為人為語音引起音頻采集混亂, 識(shí)別錯(cuò)誤數(shù)與識(shí)別超時(shí)數(shù)隨之增加, 準(zhǔn)確率下降.識(shí)別距離的增加, 同樣會(huì)導(dǎo)致準(zhǔn)確率下降.考慮現(xiàn)實(shí)常規(guī)應(yīng)用環(huán)境, 病房?jī)?nèi)環(huán)境噪聲規(guī)定最高為45 dB[26], 識(shí)別距離為3 m之內(nèi), 語音交互識(shí)別平均判決時(shí)間小于1 s, 識(shí)別準(zhǔn)確率93%以上, 完全滿足現(xiàn)實(shí)需求, 能夠投入實(shí)際應(yīng)用.

表4 語速適應(yīng)性實(shí)驗(yàn)

表5 抗噪音實(shí)驗(yàn)

表6 識(shí)別距離實(shí)驗(yàn)

5.2 眨眼識(shí)別實(shí)驗(yàn)

眨眼識(shí)別實(shí)驗(yàn)旨在檢測(cè)系統(tǒng)從腦電波形中識(shí)別眨眼動(dòng)作的能力.在本實(shí)驗(yàn)中, 使用HNNK智能腦機(jī)生命環(huán)收集腦電數(shù)據(jù), 然后基于本文提出的一種基于波峰波谷特征的波形檢測(cè)算法進(jìn)行實(shí)時(shí)數(shù)據(jù)處理.實(shí)驗(yàn)人員共10人, 6名健康受試者進(jìn)行了18項(xiàng)試驗(yàn),4名患有眼疾的患者進(jìn)行了14項(xiàng)試驗(yàn).每個(gè)試驗(yàn)包含30幀, 共檢測(cè)960幀.選取信息檢索和統(tǒng)計(jì)學(xué)分類領(lǐng)域中廣泛應(yīng)用的兩個(gè)度量值: 召回率(recall)和準(zhǔn)確率(accuracy), 用于評(píng)價(jià)結(jié)果質(zhì)量; 選取精確率(precision)來反映預(yù)測(cè)的眨眼中真正眨眼樣本所占的比重.

據(jù)統(tǒng)計(jì), 眨眼識(shí)別性能結(jié)果如表7所示, 健康受試者的準(zhǔn)確率, 召回率和精確度分別為94.3%, 90.6%和92.1%, 而患者的準(zhǔn)確率, 召回率和精確率分別為82.9%,77.9%和72.7%.

表7 算法性能結(jié)果 (%)

從檢測(cè)過程來看, 隨著眨眼動(dòng)作的幅度增加, 健康受試者和眼疾患者的眨眼波形識(shí)別率都會(huì)上升.但同時(shí)也增加由設(shè)備的抖動(dòng)引起的噪聲, 導(dǎo)致精度降低.因此, 尋找眨眼動(dòng)作幅度的平衡點(diǎn)是十分必要的.

6 結(jié)論

本文針對(duì)醫(yī)療信息化中重要建設(shè)目標(biāo)之一——智慧病房系統(tǒng), 提出一種融合語音和腦電的多模態(tài)智慧病房控制系統(tǒng).該系統(tǒng)采用語音、腦電和手機(jī)終端多模態(tài)信號(hào)作為系統(tǒng)控制源, 擴(kuò)大了系統(tǒng)的使用受眾, 有效改善了當(dāng)前智慧病房系統(tǒng)中存在的用戶身體條件要求過高、受眾有限的問題.通過將物聯(lián)網(wǎng)控制、語音識(shí)別應(yīng)用到病房護(hù)理場(chǎng)景, 引入了基于語音的電器控制功能.該功能從患者角度出發(fā), 深入挖掘其在治療護(hù)理時(shí)期實(shí)際需求, 有效提高了患者在病房中的自理能力.這一設(shè)計(jì)出發(fā)點(diǎn), 打破了以往智慧病房設(shè)計(jì)從醫(yī)院護(hù)理者出發(fā)的固有思路, 值得未來智慧病房設(shè)計(jì)規(guī)劃借鑒.

對(duì)PM2.5進(jìn)行組分分析，如圖3所示。結(jié)果表明，本站點(diǎn)環(huán)境PM2.5中，水溶性離子所占比重最大，且NO3->SO42->NH4+> Cl- > K+ > Na+ >Ca2+ > Mg2+，其中二次無機(jī)離子SNA共占總離子濃度的81.5%，這表明了大氣二次污染較為嚴(yán)重。

本文提出的智慧病房控制系統(tǒng), 能夠提高病房護(hù)理中醫(yī)護(hù)工作效率, 滿足病患的護(hù)理中的基本訴求.系統(tǒng)未來可以從以下兩個(gè)方面完善優(yōu)化:

(1) 豐富腦電控制功能.本文采用腦電信號(hào)進(jìn)行告警, 驗(yàn)證了腦電信號(hào)在病房護(hù)理中的可行性.但是控制功能單一, 未來可以結(jié)合病房控制需求設(shè)計(jì)刺激范式,形成一套豐富的腦電控制系統(tǒng).

(2) 采用基于自然語言處理的人機(jī)對(duì)話系統(tǒng), 提升系統(tǒng)語音交互的智能性.本文系統(tǒng)的語音交互功能, 需要對(duì)固定語音詞條的“回復(fù)”語音進(jìn)行提前錄入, 這就導(dǎo)致語音交互過程中人機(jī)對(duì)話的單一性, 交互的弱智能性.無法實(shí)現(xiàn)生動(dòng)流暢的語音聊天、隨機(jī)多媒體點(diǎn)播任務(wù), 因此與高智能化的人機(jī)對(duì)話結(jié)合是系統(tǒng)智能化不可或缺的一步.