關(guān)云方 李佳旭

摘 要：圖像識(shí)別技術(shù)在我們的日常生活中至關(guān)重要。隨著社會(huì)的發(fā)展和科技的進(jìn)步，圖像識(shí)別技術(shù)也在不斷地進(jìn)步。文章將分別闡述層級(jí)實(shí)時(shí)記憶HTM算法在圖像識(shí)別上的實(shí)現(xiàn)過程，和長(zhǎng)短時(shí)記憶LSTM算法在圖像識(shí)別上的實(shí)現(xiàn)過程。在此基礎(chǔ)之上，通過學(xué)習(xí)次數(shù)、對(duì)數(shù)據(jù)變化的適應(yīng)程度、網(wǎng)絡(luò)破壞下的魯棒性、對(duì)歷史緩沖區(qū)的處理和容錯(cuò)性來源這幾個(gè)特點(diǎn)，來將HTM算法和LSTM算法進(jìn)行性能上的比較。

關(guān)鍵詞：圖像識(shí)別；層級(jí)實(shí)時(shí)記憶；長(zhǎng)短時(shí)記憶

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2018）18-0027-02

Abstract： Image recognition technology is very important in our daily life. With the development of society and the progress of science and technology， the technology of image recognition is also making continuous progress. The realization process of hierarchical real-time memory HTM algorithm in image recognition and long-term and short-term memory LSTM algorithm in image recognition are described in this paper. On this basis， the performance of HTM algorithm and LSTM algorithm are compared in terms of learning times， adaptability to data change， robustness under network destruction， processing of historical buffer and fault tolerance source.

Keywords： image recognition； hierarchical real-time memory； long and short-term memory

1 介紹

圖像識(shí)別技術(shù)是信息時(shí)代中的一門重要的技術(shù)，是模式識(shí)別研究的一個(gè)主要領(lǐng)域，涉及手寫字符識(shí)別、人臉識(shí)別、物體識(shí)別等等。其產(chǎn)生目的是為了讓計(jì)算機(jī)代替人類去處理大量的物理信息。隨著計(jì)算機(jī)技術(shù)的發(fā)展，圖像識(shí)別技術(shù)已取得了較好的識(shí)別效果。然而，由于圖像識(shí)別問題的多樣性，例如：有些圖像分類少樣例足，有的分類多樣例少，有的清晰單一，有的模糊復(fù)雜，并且當(dāng)前用于圖像識(shí)別的方法一般都是針對(duì)具體的識(shí)別問題，所以很大一部分的識(shí)別系統(tǒng)需要大量的工作和算法研究來在性能上獲得特定的識(shí)別問題的突破。因此，尋找一種不僅在不同識(shí)別問題上都能獲得較好的識(shí)別效果，并且還相對(duì)比較通用的方法是必要的，在這樣的環(huán)境下，類似HTM和LSTM的識(shí)別技術(shù)應(yīng)運(yùn)而生。

2 HTM的識(shí)別功能及其算法實(shí)現(xiàn)過程

HTM，即層級(jí)實(shí)時(shí)記憶，是一種以捕捉新大腦皮層的結(jié)構(gòu)與算法特性為目標(biāo)的機(jī)器學(xué)習(xí)技術(shù)。HTM雖然同屬于大腦皮層的建模工作，但當(dāng)我們將層次記憶模型的底層輸入圖像中的一小塊區(qū)域作為輸入數(shù)據(jù)時(shí)，更高層神經(jīng)元?jiǎng)t對(duì)應(yīng)更大的圖像區(qū)域。這樣使得高層能更有效地結(jié)合低層中的多個(gè)區(qū)域。因此，HTM中的層級(jí)性是它比較重要的一個(gè)特點(diǎn)，HTM每個(gè)層中的每一個(gè)區(qū)域都是用來識(shí)別和預(yù)測(cè)的，這個(gè)特點(diǎn)減少了訓(xùn)練時(shí)間，提高了圖像識(shí)別的效率。在圖像識(shí)別技術(shù)中，除了層級(jí)性，學(xué)習(xí)功能和識(shí)別功能也至關(guān)重要。HTM的學(xué)習(xí)功能是在模式的基礎(chǔ)上進(jìn)行學(xué)習(xí)的，在經(jīng)過了學(xué)習(xí)過程之后，HTM就可以開始對(duì)輸入的圖像數(shù)據(jù)進(jìn)行識(shí)別，即將時(shí)間和空間的輸入模式識(shí)別成之前學(xué)過的模式。之后，HTM通過將接收的圖像輸入與之前學(xué)習(xí)的空間實(shí)時(shí)模式進(jìn)行匹配。僅是這樣的識(shí)別是有一定的局限性的，因此HTM區(qū)域使用了稀疏離散表征，通過這個(gè)特點(diǎn)我們可以對(duì)圖像區(qū)域的一部分進(jìn)行識(shí)別，來確認(rèn)是否匹配，而不用按照模式部分的上下左右順序來進(jìn)行識(shí)別。

如圖1，級(jí)別1的網(wǎng)絡(luò)有64個(gè)節(jié)點(diǎn)，它們被安排在8*8的坐標(biāo)格子中。每一個(gè)節(jié)點(diǎn)都用一個(gè)小方塊來表示。級(jí)別2節(jié)點(diǎn)的輸入是來自做了標(biāo)記的級(jí)別1的4個(gè)節(jié)點(diǎn)輸出。因此級(jí)別2的節(jié)點(diǎn)的輸出又通向一個(gè)單獨(dú)的級(jí)別3的節(jié)點(diǎn)。輸入是向級(jí)別1 的節(jié)點(diǎn)提供信息的。輸入的圖片，是一個(gè)32像素*32像素大小的，來自訓(xùn)練影像的一個(gè)框架。正如所展示的那樣，這個(gè)圖片被分為鄰接的，大小為4像素*4像素的碎片。每一個(gè)級(jí)別1的節(jié)點(diǎn)輸入都和這樣的一個(gè)4*4的碎片相對(duì)應(yīng)。級(jí)別1的兩個(gè)節(jié)點(diǎn)分別被標(biāo)記為（a）和（b）。在輸入圖像中的方塊被標(biāo)記為（A）和（B），它們表示這些節(jié)點(diǎn)各自的接受域。每個(gè)級(jí)別1的節(jié)點(diǎn)看起來僅僅是輸入圖像的一小部分。這些被標(biāo)記為（C）和（D）的方塊和級(jí)別2中被標(biāo)記為（c）和（d）的節(jié)點(diǎn)的接受域相對(duì)應(yīng)。

圖2展示了一段在級(jí)別1的節(jié)點(diǎn)的長(zhǎng)輸入序列。每個(gè)輸入模式是一個(gè)16個(gè)元素的向量并且被表示成4乘4像素?cái)?shù)組。模式的短子序列可以在一個(gè)長(zhǎng)序列中重復(fù)。比如，長(zhǎng)度為4的水平序列在展示的輸入序列中移動(dòng)了兩次。

3 神經(jīng)網(wǎng)絡(luò)的LSTM的識(shí)別功能及其算法

LSTM，即長(zhǎng)短時(shí)記憶，本質(zhì)上屬于遞歸神經(jīng)網(wǎng)絡(luò)，而LSTM在此基礎(chǔ)上，還可以學(xué)習(xí)長(zhǎng)期依賴的信息。LSTM和HTM一樣都擁有記憶功能。遞歸神經(jīng)網(wǎng)絡(luò)的核心是由三個(gè)門和一個(gè)記憶單元構(gòu)成的記憶塊，它能夠?qū)?dāng)前時(shí)刻獲取的圖像信息有選擇地跨時(shí)間傳送到下一個(gè)時(shí)刻使用。LSTM的三個(gè)門分別負(fù)責(zé)輸入，輸出和遺忘。其中遺忘門是負(fù)責(zé)管理記憶的，遺忘門可以決定LSTM要遺忘過去的多少記憶，要保留過去的多少記憶。只有符合算法認(rèn)證的信息才會(huì)留下，不符的信息則通過遺忘門被遺忘。LSTM算法通過輸入門輸入圖像數(shù)據(jù)，接著通過遺忘門對(duì)過去的記憶進(jìn)行有效性的判定和處理，并將預(yù)測(cè)出的圖像進(jìn)行匹配，最后通過輸出門進(jìn)行判斷輸出。

4 神經(jīng)網(wǎng)絡(luò)與LSTM算法之間的比較

我們將HTM和LSTM分別從5個(gè)方面進(jìn)行比較。HTM和LSTM在使用數(shù)據(jù)的時(shí)候采用了不同的方式。LSTM通過多次學(xué)習(xí)優(yōu)化了數(shù)據(jù)流中的所有轉(zhuǎn)換，與訓(xùn)練數(shù)據(jù)擬合度較高，但是用的時(shí)間較長(zhǎng)，且需要保留歷史緩沖區(qū)。而HTM只需要一次學(xué)習(xí)，運(yùn)用較短的時(shí)間也能達(dá)到一定的擬合度，且不需要保留歷史緩沖區(qū)。這兩種算法在容錯(cuò)性來源上的不同則表現(xiàn)在HTM的來源是稀疏分布表示，而LSTM的來源則是特殊訓(xùn)練方法或復(fù)制訓(xùn)練網(wǎng)絡(luò)。當(dāng)面對(duì)數(shù)據(jù)的變化時(shí)，HTM的適應(yīng)速度較快，且在網(wǎng)絡(luò)破壞下的魯棒性較好，相比之下，LSTM的適應(yīng)速度較慢，且在網(wǎng)絡(luò)破壞下的魯棒性則是一般。

5 結(jié)束語

HTM和LSTM都是適合當(dāng)今科技環(huán)境的，經(jīng)過改進(jìn)后的圖像識(shí)別算法。首先我們了解了HTM的識(shí)別功能及算法實(shí)現(xiàn)過程，了解了HTM的層級(jí)性以及通過稀疏離散表征實(shí)現(xiàn)來與其中的一部分進(jìn)行識(shí)別與匹配。第二，我們又研究了LSTM的識(shí)別功能及算法實(shí)現(xiàn)過程，了解LSTM算法是如何在遞歸神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行發(fā)展。第三，我們通過比較HTM和LSTM的特點(diǎn)，對(duì)兩個(gè)算法的性能有了更深的理解。相比較之下，HTM對(duì)于數(shù)據(jù)變化的適應(yīng)速度，魯棒性和實(shí)現(xiàn)時(shí)間都更勝一籌，擁有更好的性能。盡管如此，我認(rèn)為不管是HTM還是LSTM在未來的發(fā)展中，都可以進(jìn)一步進(jìn)行優(yōu)化。這將是一個(gè)值得我們思考與研究的課題。

參考文獻(xiàn)：

[1]Numenta， "Images Example，" Numenta Inc， 2007.

[2]J. Hawkins and D. George， "Hierarchical Temporal Memory： Concepts， Theory， and Terminology，" Numenta Inc， Mar. 2006.

[3]D. George and B. Jaros， "The HTM Learning Algorithms，" Numenta Inc， Mar. 2007.

[4]D. George， "How the Brain Might Work： A Hierarchical and Temporal Model for Learning and Recognition，" Numenta Inc， June 2008.

[5]Y. Cui， S. Ahmad and J. Hawkins，"Continuous Online Sequence Learning with an Unsupervised Neural Network Model，" Neural Computation，November 2016.

[6]Gers F A，Schmidhuber J and Cummins F，"Learning to forget： continual prediction with LSTM.[J]，"Neural Computation，Octoper 2000.