胡琦瑤 楊皓文 王佳欣 彭先霖 汪思嘉
摘要:哈希算法結(jié)合卷積神經(jīng)網(wǎng)絡(luò)是一種常用的有效圖像檢索方法,這種有監(jiān)督的學(xué)習(xí)方式要求大量人工標(biāo)注的標(biāo)簽,耗費(fèi)巨額的人力成本,且這種標(biāo)簽具有較強(qiáng)的專家制定性,在圖像深層次語義的挖掘上能力有限。針對這一問題,該文提出了基于弱監(jiān)督(Weakly-supervised)深度卷積神經(jīng)網(wǎng)絡(luò)的哈希函數(shù)框架,該框架包括弱監(jiān)督的預(yù)訓(xùn)練和有監(jiān)督的微調(diào)兩個階段。通過利用弱監(jiān)督標(biāo)簽信息來學(xué)習(xí)語義感知哈希函數(shù),將標(biāo)簽表示為語義詞向量。根據(jù)語義間的相似與否來訓(xùn)練網(wǎng)絡(luò),設(shè)計的目標(biāo)函數(shù)可以使語義相似的圖像間的漢明距離較小,語義不相似的漢明距離相對較遠(yuǎn)。實(shí)驗(yàn)結(jié)果表明,該文提出的圖像檢索方法與目前先進(jìn)的圖像檢索方法相比,精度提高了2%~6%。
關(guān)鍵詞:特征提取;弱監(jiān)督;深度學(xué)習(xí);圖像檢索
中圖分類號:TP391.4
DOI:10.16152/j.cnki.xdxbzr.2020-05-013
Research on image retrieval based on weakly-superviseddeep learning
HU Qiyao1, YANG Haowen1, WANG Jiaxin1, PENG Xianlin2, WANG Sijia1
(1.School of Information Science and Technology, Northwest University, Xi′an 710127, China;
2.School of Art, Northwest University, Xi′an 710127, China)
Abstract: Hashing algorithm combined with convolutional neural network has become a popular and effective image retrieval method. However, this supervised learning method requires a large number of user-tagged labels, which consumes a large amount of labor costs. Unfortunately, these labels are set by experts formulately and have limited ability to mine deep semantics of images. To solve the problem,? a novel hashing learning framework based on deep convolution neural network is proposed, which consists of two stages: weakly supervised pre-training and supervised fine-tuning. Semantic-aware hash functions are learned by leveraging the weakly supervised tag information, and labels are represented as semantic word vectors. And then, the network is trained according to the similarity between semantics. The objective function can make the Hamming distance between the semantic similar images small, while the Hamming distance between the semantic dissimilar images relatively far.Empirical results on real world datasets show that when it is integrated with state-of-the-art deep hashing methods, the performance increases by 2%~6%.
Key words: feature extraction; weakly supervised; deep learning; image retrieval
近年來,基于內(nèi)容的圖像搜索技術(shù)(content based image retrieval,CBIR)較基于文本的圖像檢索技術(shù)(text based image retrieval,TBIR)有了顯著的突破[1],同時深度學(xué)習(xí)的發(fā)展使得卷積神經(jīng)網(wǎng)絡(luò)可以更好地提取圖像高層次特征[2]。國內(nèi)互聯(lián)網(wǎng)公司百度為提升圖像檢索的精度,研發(fā)了百度識圖引擎[1],這是一種利用深度學(xué)習(xí)進(jìn)行圖像檢索的方法,通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到高層的圖像特征,進(jìn)而實(shí)現(xiàn)圖像檢索的功能。但是,該方法有一些缺點(diǎn):①采用有監(jiān)督的學(xué)習(xí)方法要求大量有標(biāo)注的訓(xùn)練數(shù)據(jù),這需要耗費(fèi)巨額的人力成本來進(jìn)行標(biāo)注工作;②人工標(biāo)注的標(biāo)簽具有較強(qiáng)的專家制定性,其通常會受研究問題和方向的限制,在圖像深層次內(nèi)容的理解和圖像間的潛在相似性關(guān)系的發(fā)掘上能力有限。
隨著網(wǎng)絡(luò)時代的迅速發(fā)展,微信、微博等社交媒體應(yīng)用的日?;?,越來越多的人在網(wǎng)絡(luò)上發(fā)表大量的媒體信息,這些由用戶提供的數(shù)據(jù)稱為弱標(biāo)簽數(shù)據(jù),它們可以很容易地獲得,且適用于圖像檢索模型的訓(xùn)練。弱標(biāo)簽就是類似這種“大眾分類”的語言,用戶可以用相近的或模糊的任意詞匯來進(jìn)行標(biāo)注。與一般分類算法所采用的強(qiáng)標(biāo)簽不同,它不是由專家制定的,其結(jié)構(gòu)并不嚴(yán)謹(jǐn),是一種無結(jié)構(gòu)的語義標(biāo)注,能夠展現(xiàn)更廣的大眾意識。如圖1顯示的是Flickr數(shù)據(jù)集中的一些用戶提供的標(biāo)簽和人工標(biāo)注的標(biāo)簽,如“horse”,“person”,“feet”,“box”是人工標(biāo)注的強(qiáng)標(biāo)簽,如“actor”,“blur”,“argentina”是用戶標(biāo)注的弱標(biāo)簽。用戶標(biāo)注的標(biāo)簽蘊(yùn)含了更豐富、更深層的潛在語義信息,能夠更好地表征圖像間的相似關(guān)系[1]。
由于這種用戶標(biāo)注的標(biāo)簽主觀性強(qiáng),且數(shù)據(jù)中有垃圾圖像和相關(guān)性弱的標(biāo)簽[3],這些都是含義不清晰的非視覺性語義標(biāo)簽。同時,沒有語義結(jié)構(gòu)的標(biāo)簽數(shù)據(jù)不能描述語義結(jié)構(gòu)之間的復(fù)雜關(guān)系[4],一些與對應(yīng)圖片的關(guān)聯(lián)度不高的標(biāo)簽不能直接用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。需要提前對標(biāo)簽進(jìn)行過濾,除去與圖像視覺內(nèi)容不符的標(biāo)簽,只留下視覺性語義標(biāo)簽。
幾種基于CNN的最新哈希方法[5-8]提出通過學(xué)習(xí)二進(jìn)制圖像哈希碼實(shí)現(xiàn)圖像檢索。文獻(xiàn)[5]提出了一種基于CNN的無監(jiān)督散列方法DeepBit,它學(xué)習(xí)了一組非線性投影函數(shù)來計算壓縮二進(jìn)制碼。文獻(xiàn)[7]介紹了深度監(jiān)督哈希(DSH)方法,該方法將成對的相似圖像和不相似圖像作為訓(xùn)練輸入,并使每個圖像的輸出為二進(jìn)制碼。文獻(xiàn)[8]提出另一種有監(jiān)督的深度哈希方法,即深度正則相似性比較哈希方法(DRSCH),利用CNN和基于三元組的目標(biāo)函數(shù)進(jìn)行哈希函數(shù)學(xué)習(xí)。
文獻(xiàn)[9]提出保留語義的有監(jiān)督深度哈希算法(SSDH),將哈希函數(shù)構(gòu)造為深度學(xué)習(xí)網(wǎng)絡(luò)中的一個潛在層,通過最小化在分類錯誤上定義的目標(biāo)函數(shù)來學(xué)習(xí)二進(jìn)制碼。文獻(xiàn)[10]提出弱監(jiān)督多模態(tài)哈希方法(WMH),使用標(biāo)簽進(jìn)行哈希學(xué)習(xí),是一種具有線性哈希函數(shù)的具體哈希方法,WMH在文本模式上直接使用標(biāo)簽來計算圖像的相似度,會容易受到噪聲和模糊性問題的影響。文獻(xiàn)[11]在快速RCNN中的區(qū)域提議網(wǎng)絡(luò)(RPN)后增加一個完全連接層,以學(xué)習(xí)檢測到的區(qū)域提議的二進(jìn)制散列碼。
本文提出了一種基于弱監(jiān)督深度學(xué)習(xí)的圖像檢索方法,以大眾用戶產(chǎn)生的大量弱標(biāo)簽圖像作為數(shù)據(jù)進(jìn)行訓(xùn)練。該框架包括弱監(jiān)督的預(yù)訓(xùn)練和有監(jiān)督的微調(diào)兩個階段。首先,采用語義相似度函數(shù)對圖像對的語義相似度進(jìn)行判定。其次,由于圖像內(nèi)容的高層次語義分析不同于簡單的分類問題[12],本文拋棄簡單的softmax損失函數(shù),設(shè)計了一種能夠反映圖像語義距離的損失函數(shù)作為卷積神經(jīng)網(wǎng)絡(luò)的最高輸出層激活函數(shù),這樣可以通過弱標(biāo)簽間的語義關(guān)系學(xué)習(xí)圖像間的相似性關(guān)系,以此來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。最后,由于卷積神經(jīng)網(wǎng)絡(luò)的輸出是連續(xù)值,本文采用哈希編碼將輸出結(jié)果二值化。結(jié)合神經(jīng)網(wǎng)絡(luò)與哈希編碼方法不但可以提取到圖像的高層特征,還能將其映射到低維的二進(jìn)制哈希碼上,利用其對神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化,可以有效地應(yīng)用于圖像檢索功能。圖2是本文的技術(shù)方案圖。
1 模型優(yōu)化方法與模型結(jié)構(gòu)
1.1 模型優(yōu)化方法
圖像的弱標(biāo)簽存在語義模糊、類別劃分不清晰的問題,不能直接用于有監(jiān)督的學(xué)習(xí)。本文提出弱監(jiān)督的訓(xùn)練方式,將神經(jīng)網(wǎng)絡(luò)最后一層的輸出看成一個嵌入空間,設(shè)計了一個損失函數(shù),使相似弱標(biāo)簽的圖像對的向量間距離更近,使不相似弱標(biāo)簽的圖像對的向量間距離更遠(yuǎn)。與直接利用弱標(biāo)簽來訓(xùn)練模型相比,能夠更好地利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到高層的特征,訓(xùn)練出更優(yōu)的網(wǎng)絡(luò)模型。
2 實(shí)驗(yàn)與分析
2.1 數(shù)據(jù)集
本文使用NUS-WIDE弱標(biāo)簽數(shù)據(jù)作為數(shù)據(jù)集, 每張圖包含多個類別的標(biāo)簽。 下載的數(shù)據(jù)集包含269 648張圖像和由業(yè)余愛好者標(biāo)記的5 018種標(biāo)簽,數(shù)據(jù)集還提供81個真值標(biāo)簽(ground-truth)和500維以SIFT特征描述的BoW詞袋。實(shí)驗(yàn)將數(shù)據(jù)集劃分為兩部分,隨機(jī)選取5 000幅圖像用于測試,進(jìn)行網(wǎng)絡(luò)性能的評估,其余作為訓(xùn)練集,在預(yù)訓(xùn)練網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行參數(shù)的微調(diào)。
2.2 數(shù)據(jù)預(yù)處理
對數(shù)據(jù)集中的圖像進(jìn)行預(yù)處理,考慮到圖像檢索所需要的存儲空間,本文對圖像歸一化處理,壓縮圖像到120*120像素大小。由于圖像邊緣部分可能包含大量無用信息的背景部分,先對圖像去均值,使物體在圖像中的占比基本相同,且位于圖像中央,這樣不但減少了計算量,同時避免了數(shù)據(jù)偏差過大帶來的訓(xùn)練誤差。
弱標(biāo)簽中包含一些與圖像內(nèi)容不相關(guān)的非視覺性語義標(biāo)簽,在對數(shù)據(jù)的預(yù)處理時,需要剔除這些非視覺標(biāo)簽。本文先將圖像表示為SIFT詞袋形式[20],計算每個標(biāo)簽對應(yīng)圖像集的TF-IDF向量,并計算向量的內(nèi)聚和分離距離[21]。內(nèi)聚性表示同一個標(biāo)簽下圖像集之間的視覺相似性,分散性表示視覺內(nèi)容相似的圖像集與整個圖像集的差別[22-23]。通過這兩個距離判定標(biāo)簽是否具有視覺代表性,從而去除非視覺性語義標(biāo)簽。如圖6為過濾后的結(jié)果。
過濾后的弱標(biāo)簽雖然已去除了非視覺性語義標(biāo)簽,但仍存在一詞多義、近義詞等問題,由于這些噪聲的存在,不能夠準(zhǔn)確檢索出兩個相似的圖像。所以,在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前需要先通過本文提出的語義相似度公式計算標(biāo)簽之間的相似度,利用弱標(biāo)簽間的相似度關(guān)系進(jìn)行網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)。在計算語義相似度時用到了Skip-gram特征向量,它是由Google提出的一款生成詞匯向量的工具word2vec生成的。
根據(jù)本文設(shè)計的語義相似度計算公式,對Skip-gram語義特征向量間的距離進(jìn)行計算。當(dāng)兩個詞匯的語義越相似,結(jié)果的數(shù)值就越大。表1 列舉了語義相似度計算的輸出結(jié)果,搜索詞匯“sunset”得到的結(jié)果有如“dusk”,“sun”,“sunrise”,“sky”等語義較為相似的詞匯,也可以得到如“plants”,“religion”等語義不相似的詞匯。結(jié)果證明本文的語義相似度計算方法能夠較好地表征語義間的相似度。
2.3 實(shí)驗(yàn)結(jié)果
實(shí)驗(yàn)采用的NUS-WIDE數(shù)據(jù)集包含約26萬張圖像。采用的優(yōu)化方法為Mini-Batch梯度下降法,設(shè)置Mini-Batch的大小為64。卷積神經(jīng)網(wǎng)絡(luò)的卷積層和全連接層的參數(shù)以正態(tài)分布的隨機(jī)值進(jìn)行初始化[24],并采用一個較小的學(xué)習(xí)率進(jìn)行訓(xùn)練,優(yōu)化方法采用隨機(jī)梯度下降。表2為網(wǎng)絡(luò)訓(xùn)練的各項(xiàng)參數(shù)。
本文采用intel(R) Core(TM) i7-7700 CPU @3.60GHz進(jìn)行實(shí)驗(yàn)測試。與其他幾種有監(jiān)督學(xué)習(xí)方法和無監(jiān)督學(xué)習(xí)方法的特征提取時間對比如圖7所示。
為了評估本文提出的弱監(jiān)督哈希學(xué)習(xí)框架,我們把它應(yīng)用到目前主流的幾種有監(jiān)督方法中,如KSH[25],DSH[7]和DRSCH[8]。而使用了弱監(jiān)督(weakly-superviesd)預(yù)訓(xùn)練版本的這些方法分別被命名為WS-KSH,WS-DSH 和WS-DRSCH。另外,還使用了兩種代表性的無監(jiān)督哈希方法作為基準(zhǔn),分別為LSH(locality sensitive hashing)[26]和DeepBit[5]。為了公平比較,對于基于CNN的方法(如DeepBit,DSH,DRSCH和其對應(yīng)的弱監(jiān)督預(yù)訓(xùn)練版本),在ImageNet數(shù)據(jù)集上使用預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)[27]作為基礎(chǔ)網(wǎng)絡(luò)。對于其他的哈希方法, 以預(yù)訓(xùn)練VGG-16網(wǎng)絡(luò)的全連接層的輸出層作為圖像的輸入特征。 數(shù)據(jù)集中有5 018種人工標(biāo)注的標(biāo)簽,經(jīng)過弱監(jiān)督的預(yù)訓(xùn)練后,將網(wǎng)絡(luò)參數(shù)傳遞給有監(jiān)督的CNN網(wǎng)絡(luò)進(jìn)行微調(diào)。這是一個通用的框架,因?yàn)槿魏斡斜O(jiān)督的哈希訓(xùn)練方法都可以用于微調(diào)。
本文提出的方法屬于弱監(jiān)督的方法。首先,由弱標(biāo)簽來判定圖像間的相似度關(guān)系,將圖像分為兩組相似或不相似的圖像對集合,然后,利用本文設(shè)計的目標(biāo)函數(shù)作為網(wǎng)絡(luò)訓(xùn)練的約束,將弱標(biāo)簽的訓(xùn)練數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)中,訓(xùn)練模型的參數(shù)。
2.4 結(jié)果分析
本文用數(shù)據(jù)集中的81個真值標(biāo)簽作為評測標(biāo)準(zhǔn)對精確度(Precision@R)進(jìn)行評價。圖8顯示的是用8,16,32,64位哈希碼進(jìn)行輸出的情況下,使用Precision@500進(jìn)行評測的對比結(jié)果。圖9顯示的是在100,200,400,1 000個檢索輸出圖像情況下,使用Precision在64位哈希碼輸出時進(jìn)行評測的對比結(jié)果。圖10顯示的是以64位哈希碼輸出的P-R曲線。
從實(shí)驗(yàn)結(jié)果可以看出,和無監(jiān)督的哈希方法相比,有監(jiān)督的方法總是可以達(dá)到更好的檢索結(jié)果。WS-KSH,WS-DSH和WS-DRSCH的性能均優(yōu)于對應(yīng)的有監(jiān)督版本的方法。結(jié)果表明,弱監(jiān)督框架可以通過利用用戶標(biāo)記的弱標(biāo)記標(biāo)簽獲得完全標(biāo)記的圖像數(shù)據(jù)集,從而提高檢索性能。這驗(yàn)證了本文的分析,弱標(biāo)記的標(biāo)簽可以提供更多層次的語義信息,將有助于表征圖像之間的細(xì)粒度相似關(guān)系,弱監(jiān)督哈希學(xué)習(xí)算法可以更好地處理用戶標(biāo)簽。
本文使用“大眾分類”得到的弱標(biāo)簽訓(xùn)練網(wǎng)絡(luò),蘊(yùn)含了更深層的潛在語義信息,弱標(biāo)簽的訓(xùn)練針對性更弱,在學(xué)習(xí)的過程中會相互優(yōu)化,使學(xué)習(xí)到的語義更全面,能夠更好地表征圖像間的相似關(guān)系。并且本文創(chuàng)新性地提出通過學(xué)習(xí)弱標(biāo)簽的語義相似度優(yōu)化圖像間的關(guān)系,解決了有監(jiān)督學(xué)習(xí)中不能很好地用向量來描述圖像相似度的問題,設(shè)計的目標(biāo)函數(shù)可以很好地約束特征向量的提取,應(yīng)用于圖像檢索領(lǐng)域明顯提高了結(jié)果的精確度。
本文將卷積神經(jīng)網(wǎng)絡(luò)與哈希函數(shù)相結(jié)合,設(shè)計了一種可以度量相似度的損失函數(shù)來優(yōu)化神經(jīng)網(wǎng)絡(luò),通過網(wǎng)絡(luò)提取NUS-WIDE數(shù)據(jù)庫的高層次視覺特征,并通過哈希函數(shù)映射得到哈希碼的表示,再通過有監(jiān)督的方法進(jìn)行微調(diào),應(yīng)用于圖像檢索領(lǐng)域,比常規(guī)的有監(jiān)督學(xué)習(xí)方式更有效。
3 結(jié) 語
針對目前主流的圖像檢索技術(shù)在數(shù)據(jù)集的獲取和訓(xùn)練上精度不足的問題,本文提出了一種基于弱監(jiān)督深度學(xué)習(xí)的圖像檢索方法。該方法采用互聯(lián)網(wǎng)用戶產(chǎn)生的弱標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練,極大程度上降低了標(biāo)注標(biāo)簽的人工成本。同時,該方法設(shè)計的語義相似度計算方法及網(wǎng)絡(luò)的目標(biāo)函數(shù)有效解決了弱標(biāo)簽中的噪聲問題,并通過從弱標(biāo)簽向量間的語義關(guān)系來學(xué)習(xí)圖像間的相似性關(guān)系,以此訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò),可以挖掘出更深層的語義信息,提升了檢測的精度。實(shí)驗(yàn)結(jié)果證明,本文提出的圖像檢索方法的精度明顯優(yōu)于目前先進(jìn)的其他算法。
參考文獻(xiàn):
[1] 胡琦瑤.基于弱監(jiān)督深度學(xué)習(xí)的圖像檢索方法研究[D].西安:西北大學(xué),2017.
[2] LIU Y, SONG J K, ZHOU K, et al. Deep self-taught hashing for image retrieval[J]. IEEE Transactions on Cybernetics, 2019, 49(6): 2229-2241.
[3] QUEMADA J, GONZALO L, MAAREK Y, et al. Proceedings of the 18th international conference on world wide web[J].Journal Danalyse Mathématique, 2009, 113(1):197-225.
[4] LI X R, SNOEK C G M, WORRING M. Learning social tag relevance by neighbor voting[J].IEEE Transactions on Multimedia, 2009, 11(7): 1310-1322.
[5] LIN K, LU J W, CHEN C S, et al. Learning compact binary descriptors with unsupervised deep neural networks[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas:IEEE, 2016: 1183-1192.
[6] YAN X, ZHANG L, LI W J. Semi-supervised deep hashing with a bipartite graph[C]∥Twenty-Sixth International Joint Conference on Artificial Intelligence,2017:3238-3244.
[7] LIU H, WANG R, SHAN S, et al. Deep supervised hashing for fast image retrieval[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2016:2064-2072.
[8] ZHANG R M, LIN L, ZHANG R, et al. Bit-scalable deep hashing with regularized similarity learning for image retrieval and person Re-identification[J].IEEE Transactions on Image Processing, 2015, 24(12): 4766-4779.
[9] YANG H F, LIN K, CHEN C S. Supervised learning of semantics-preserving hash via deep convolutional neural networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(2): 437-451.
[10]TANG J H, LI Z C. Weakly supervised multimodal hashing for scalable social image retrieval[J].IEEE Transactions on Circuits and Systems for Video Technology, 2018, 28(10): 2730-2741.
[11]XIONG C Z, SHAN Y M. Subject features and hash codes for multi-label image retrieval[C]∥2018 IEEE 7th Data Driven Control and Learning Systems Conference (DDCLS). Enshi:IEEE, 2018: 808-812.
[12]KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J].Communications of the ACM, 2017, 60(6): 84-90.
[13]MIKOLOV T,SUTSKEVER? I, CHEN K, et al. Distributed representations of words and phrases and their compositionality[J].Advances in Neural Information Processing Systems, 2013, 26:3111-3119.
[14]YU W, YANG K Y, YAO H X, et al. Exploiting the complementary strengths of multi-layer CNN features for image retrieval[J].Neurocomputing, 2017, 237: 235-241.
[15]LUO Y,YANG Y,SHEN F,et al. Robust discrete code modeling for supervised hashing[J].Pattern Recognition: The Journal of the Pattern Recognition Society, 2018.
[16]LECUN Y, BENGIO Y, HINTON G. Deep learning[J].Nature, 2015, 521(7553): 436-444.
[17]楊斌, 鐘金英. 卷積神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展綜述[J].南華大學(xué)學(xué)報(自然科學(xué)版), 2016, 30(3):66-72.
YANG B,ZHONG J Y.Review of convolution neural network[J].Journal Of University of South China(Science and Technology),2016,30(3):66-72.
[18]SCHMIDHUBER J. Deep learning in neural networks: An overview[J].Neural Networks, 2015, 61: 85-117.
[19]LIN K, YANG H F, HSIAO J H, et al. Deep learning of binary hash codes for fast image retrieval[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Boston:IEEE, 2015: 2160-7508.
[20]FATEMEH A, MOHAMMAD R K. A new color feature extraction method based on dynamic color distribution entropy of neighborhoods[J].International Journal of Computer Science Issues, 2012, 8(5):42-48.