王晶　馮濤　楊偉成　楊曉玲　白柱杰

1.北京工商大學(xué)　北京　100037；2.中國(guó)家用電器研究院　北京 100037；3.青島海爾洗衣機(jī)有限公司　山東青島　266101

1　引言

家電運(yùn)轉(zhuǎn)向外輻射的聲信號(hào)中包含著家電的運(yùn)轉(zhuǎn)狀態(tài)信息，從物理機(jī)制上看，主要包括空氣動(dòng)力、機(jī)械運(yùn)轉(zhuǎn)和電磁激勵(lì)等三種產(chǎn)生機(jī)理；從來(lái)源上看，家電的組成部件、部件間的相互連接和受運(yùn)轉(zhuǎn)部件振動(dòng)激勵(lì)的機(jī)體結(jié)構(gòu)都會(huì)產(chǎn)生聲信號(hào)。因此，家電運(yùn)行時(shí)產(chǎn)生的聲信號(hào)包含了家電運(yùn)行的多種狀態(tài)信息，聲信號(hào)的正常和異常對(duì)應(yīng)家電運(yùn)轉(zhuǎn)的正常和異常，這樣就可以通過(guò)聆聽(tīng)聲信號(hào)對(duì)家電的運(yùn)行狀態(tài)進(jìn)行評(píng)判，進(jìn)而檢出異常家電，從而保證投入市場(chǎng)家電的質(zhì)量。

家電產(chǎn)品在線異音檢測(cè)已成為空調(diào)、冰箱以及洗衣機(jī)等多種產(chǎn)品生產(chǎn)線上的關(guān)鍵質(zhì)檢環(huán)節(jié)，但目前家電生產(chǎn)線上的異音檢測(cè)多是通過(guò)人工方式來(lái)實(shí)施，人工異音檢測(cè)雖然實(shí)施簡(jiǎn)單，但也存在學(xué)習(xí)培訓(xùn)時(shí)間長(zhǎng)、檢測(cè)標(biāo)準(zhǔn)因人而異、檢測(cè)結(jié)果受疲勞影響以及熟練有經(jīng)驗(yàn)人員難以獲取且容易流失等問(wèn)題，這些問(wèn)題隨著勞動(dòng)力成本的上升和有經(jīng)驗(yàn)技術(shù)工人日益匱乏等原因變得愈發(fā)嚴(yán)重。

隨著信息技術(shù)、機(jī)器學(xué)習(xí)和人工智能技術(shù)的進(jìn)步以及家電企業(yè)無(wú)人化智能工廠的建設(shè)需求，用智能機(jī)器代替人工來(lái)實(shí)現(xiàn)家電產(chǎn)品的在線異音檢測(cè)正在受到越來(lái)越多的家電生產(chǎn)企業(yè)和研發(fā)團(tuán)隊(duì)的關(guān)注。

2　家電異音檢測(cè)的技術(shù)路徑

家電異音檢測(cè)可以按照?qǐng)D1所示的技術(shù)途徑來(lái)實(shí)施。按照機(jī)器學(xué)習(xí)的要求，通過(guò)傳聲器和信號(hào)采集系統(tǒng)進(jìn)行聲信號(hào)樣本采集，需要注意的是采集得到的聲信號(hào)既包含家電的運(yùn)轉(zhuǎn)聲，也包括生產(chǎn)線的環(huán)境噪聲。采用現(xiàn)有成熟的多種信號(hào)處理方法對(duì)所測(cè)聲信號(hào)進(jìn)行預(yù)處理，通過(guò)分析比較和嘗試，組成最佳的信號(hào)特征向量，該向量應(yīng)該能夠最大程度反映家電狀態(tài)信號(hào)，同時(shí)抑制環(huán)境噪聲。常用的信號(hào)特征提取方法一般包括時(shí)域、頻域和時(shí)頻域三類[1,2]，時(shí)域的典型特征有短時(shí)能量和過(guò)零率；頻域的特征種類繁多，有各種譜分析方法、線性預(yù)測(cè)系數(shù)以及梅爾頻率倒譜系數(shù)等；時(shí)頻域特征包含短時(shí)傅里葉譜和小波譜，時(shí)頻特征會(huì)帶來(lái)較大的計(jì)算量，但卻更能完整全面地描述音頻信號(hào)。

根據(jù)信號(hào)特征向量將聲信號(hào)樣本轉(zhuǎn)化為數(shù)據(jù)集，數(shù)據(jù)集包括訓(xùn)練集、驗(yàn)證集和測(cè)試集。選擇合適的機(jī)器學(xué)習(xí)模型，將數(shù)據(jù)集應(yīng)用于機(jī)器學(xué)習(xí)模型進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試，通過(guò)多次循環(huán)，優(yōu)化分析，在數(shù)據(jù)集的基礎(chǔ)上，獲取機(jī)器學(xué)習(xí)面向具體工程問(wèn)題的最優(yōu)參數(shù)[3]，包括最優(yōu)的特征向量、機(jī)器學(xué)習(xí)算法和異音檢測(cè)法則，這幾個(gè)環(huán)節(jié)可能需要多次循環(huán)才能得到最優(yōu)的參數(shù)組合。最后，機(jī)器學(xué)習(xí)得到的分類法需要導(dǎo)入異音在線檢測(cè)系統(tǒng)，在實(shí)際的生產(chǎn)線上進(jìn)行運(yùn)行調(diào)試，最終在生產(chǎn)線上完成部署。

機(jī)器學(xué)習(xí)技術(shù)在異音檢測(cè)中發(fā)揮了重要的作用，從學(xué)習(xí)方法上看，機(jī)器學(xué)習(xí)算法可以分為監(jiān)督學(xué)習(xí)（如分類問(wèn)題）、無(wú)監(jiān)督學(xué)習(xí)（如聚類問(wèn)題）、半監(jiān)督學(xué)習(xí)、集成學(xué)習(xí)、深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)，家電異音檢測(cè)可以單獨(dú)或綜合使用上述各種方法。典型的機(jī)器學(xué)習(xí)模型包括線性回歸、邏輯回歸、決策樹(shù)、支持向量機(jī)、貝葉斯模型、正則化模型、模型集成以及神經(jīng)網(wǎng)絡(luò)。上述機(jī)器學(xué)習(xí)模型的參數(shù)均可調(diào)整，模型訓(xùn)練和使用可按照以下步驟：（1）選擇一個(gè)機(jī)器學(xué)習(xí)模型；（2）將訓(xùn)練數(shù)據(jù)集輸入模型；（3）選擇確定最優(yōu)機(jī)器學(xué)習(xí)模型。

如果已經(jīng)積累了大量的聲信號(hào)樣本，則可以考慮采用深度學(xué)習(xí)模型，該模型已經(jīng)在圖像信息處理和語(yǔ)音處理領(lǐng)域取得了顯著的成就。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種，在傳統(tǒng)的機(jī)器學(xué)習(xí)中，特征向量對(duì)學(xué)習(xí)效果很重要，但是特征工程非常繁瑣，需要領(lǐng)域?qū)＜胰斯みM(jìn)行選擇設(shè)計(jì)。而深度學(xué)習(xí)則能夠從海量數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征，如果具備了聲信號(hào)大數(shù)據(jù)樣本，構(gòu)建了高性能的計(jì)算平臺(tái)，可以考慮深度學(xué)習(xí)模型。

經(jīng)典的機(jī)器學(xué)習(xí)模型適用于各種使用需求，也不需要海量的樣本數(shù)據(jù)和高性能的計(jì)算資源，但實(shí)施過(guò)程相對(duì)復(fù)雜，需要針對(duì)家電產(chǎn)品具體情況進(jìn)行設(shè)計(jì)開(kāi)發(fā)；深度學(xué)習(xí)模型實(shí)施過(guò)程相對(duì)簡(jiǎn)單，但需要海量的樣本數(shù)據(jù)和高性能的計(jì)算資源。

圖1　家電異音自動(dòng)檢測(cè)技術(shù)途徑

圖2　家電異音自動(dòng)檢測(cè)系統(tǒng)架構(gòu)

圖3　家電異音檢測(cè)系統(tǒng)部署方式

3　家電異音在線自動(dòng)檢測(cè)系統(tǒng)的架構(gòu)

圖2描述了家電異音檢測(cè)系統(tǒng)的架構(gòu)，系統(tǒng)由硬件和軟件兩部分共同組成了一個(gè)不可分割的整體，硬件部分包括測(cè)量環(huán)境、傳感器、采集系統(tǒng)和判別系統(tǒng)，測(cè)量環(huán)境可以是基本不做改動(dòng)的原始生產(chǎn)線，也可以是在生產(chǎn)線上設(shè)計(jì)添加的簡(jiǎn)易隔聲或吸聲空間，測(cè)量環(huán)境的考慮重點(diǎn)是如何減少生產(chǎn)線環(huán)境噪聲的影響。傳感器和采集系統(tǒng)一般要求滿足可聽(tīng)聲頻帶的采樣要求，對(duì)系統(tǒng)的量化精度要求至少采用16位采集系統(tǒng)，能達(dá)到24位更好。判別系統(tǒng)一般是采集系統(tǒng)和計(jì)算機(jī)的結(jié)合體，計(jì)算機(jī)上運(yùn)行的軟件是信號(hào)特征提取算法和機(jī)器學(xué)習(xí)模型。軟件部分中的信號(hào)測(cè)量分析模塊主要完成信號(hào)的采集和保存，應(yīng)用信號(hào)處理技術(shù)，特征提取模塊抽取聲信號(hào)樣本特征，構(gòu)建特征向量和機(jī)器學(xué)習(xí)數(shù)據(jù)集。機(jī)器學(xué)習(xí)模塊實(shí)現(xiàn)各種機(jī)器學(xué)習(xí)算法，在特征向量數(shù)據(jù)集的基礎(chǔ)上，完成訓(xùn)練、驗(yàn)證和測(cè)試等環(huán)節(jié)，最終獲得異音判別參數(shù)，過(guò)程中還包括特征向量和機(jī)器學(xué)習(xí)模型參數(shù)的選擇與優(yōu)化。

在家電異音在線檢測(cè)系統(tǒng)的部署過(guò)程中，可以將訓(xùn)練、驗(yàn)證和測(cè)試等工作放到高性能服務(wù)器上進(jìn)行，檢測(cè)判別系統(tǒng)只完成聲信號(hào)樣本的采集和儲(chǔ)存以及異音的在線判別工作，如圖3所示。也可以省去服務(wù)器，將訓(xùn)練、驗(yàn)證和測(cè)試等功能與采集和在線判別功能放在一起，在一個(gè)系統(tǒng)上完成異音檢測(cè)所涉及的全部工作。

4　家電異音在線自動(dòng)檢測(cè)的難點(diǎn)

隨著信息技術(shù)的進(jìn)步，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)在圖像處理和語(yǔ)音識(shí)別領(lǐng)域已經(jīng)取得了很大的突破，在語(yǔ)音輸入領(lǐng)域，很多商用系統(tǒng)已經(jīng)做到超過(guò)90%的語(yǔ)音識(shí)別準(zhǔn)確性，但要將這些技術(shù)引入到家電異音檢測(cè)的工程應(yīng)用領(lǐng)域，還要考慮解決自動(dòng)異音檢測(cè)系統(tǒng)的生產(chǎn)線適應(yīng)性、環(huán)境噪聲的干擾和樣本的不均衡等實(shí)際應(yīng)用難題，生產(chǎn)線適應(yīng)性問(wèn)題與產(chǎn)品類型、生產(chǎn)線的特點(diǎn)密切相關(guān)，需要根據(jù)工程實(shí)際具體分析，下面主要討論后兩個(gè)具有一定共性的問(wèn)題。

4.1　生產(chǎn)環(huán)境噪聲的影響

盡管目前的人工異音檢測(cè)工位大多設(shè)計(jì)建造了簡(jiǎn)易的隔聲或吸聲環(huán)境，但家電運(yùn)轉(zhuǎn)產(chǎn)生的聲信號(hào)與環(huán)境噪聲相比，往往并不具備足夠的信噪比。人工判別過(guò)程中可以利用人本身的聽(tīng)覺(jué)濾波機(jī)制，消除環(huán)境噪聲的影響；機(jī)器系統(tǒng)判別時(shí)，必須想辦法排除環(huán)境噪聲的影響，但困難的是人們目前還沒(méi)有搞清人本身聽(tīng)覺(jué)濾波機(jī)制的機(jī)理，難以在信噪比不大的情況下，濾除環(huán)境噪聲，實(shí)現(xiàn)有用聲信號(hào)的提取。

4.2　家電聲信號(hào)樣本的不均衡問(wèn)題

人工判別只需少量的樣本就能形成異音判別規(guī)則，自動(dòng)異音判別則需要足夠的聲信號(hào)樣本，深度學(xué)習(xí)更需要海量的聲樣本數(shù)據(jù)，但隨著家電生產(chǎn)和質(zhì)量管理技術(shù)的進(jìn)步，相對(duì)于正常聲樣本，異常聲樣本所占比例極小，這就導(dǎo)致分類學(xué)習(xí)所需要的樣本比例嚴(yán)重失衡，直接使用在語(yǔ)音識(shí)別中獲得成功應(yīng)用的機(jī)器學(xué)習(xí)分類模型就會(huì)導(dǎo)致較大偏差，需要針對(duì)家電聲信號(hào)樣本不均衡的實(shí)際情況，選擇設(shè)計(jì)相應(yīng)的機(jī)器學(xué)習(xí)算法。

5　結(jié)論

家電異音在線自動(dòng)檢測(cè)正受到家電生產(chǎn)企業(yè)的廣泛關(guān)注，本文對(duì)家電在線異音自動(dòng)檢測(cè)的技術(shù)途徑和系統(tǒng)架構(gòu)進(jìn)行了初步的闡述。提出了家電在線異音自動(dòng)檢測(cè)的兩種實(shí)現(xiàn)途徑，即經(jīng)典的機(jī)器學(xué)習(xí)模型和近年來(lái)迅速發(fā)展的深度學(xué)習(xí)模型。簡(jiǎn)要描述了家電在線異音自動(dòng)檢測(cè)的系統(tǒng)架構(gòu)和架構(gòu)中各組成部分的相互關(guān)系。簡(jiǎn)要分析了家電異音在線自動(dòng)檢測(cè)實(shí)施過(guò)程中的需要解決的生產(chǎn)線環(huán)境噪聲干擾和聲信號(hào)不均衡難題，并給出了原則性的解決方案。