王莉 張勇

摘? 要：圖像識別及其圖像修復技術在目前的數(shù)字化領域應用非常廣泛，在金融、安防領域尤為突出。因此，從經(jīng)濟和實用性角度出發(fā)基于大數(shù)據(jù)的圖像修復技術有著廣闊的應用前景。但大數(shù)據(jù)環(huán)境下復雜的數(shù)據(jù)存儲是數(shù)據(jù)圖像修復的關鍵，如何建立一個高效、安全、高容量的基于大數(shù)據(jù)平臺的數(shù)據(jù)庫，是數(shù)據(jù)庫建立需要考慮的關鍵問題。下文從數(shù)據(jù)庫架構的構成、應用目的、數(shù)據(jù)量大小、訪問量、安全要求等各個角度研究和討論圖像數(shù)據(jù)庫的建立，力求使數(shù)據(jù)庫建立在安全、合理、流暢的數(shù)據(jù)庫架構之上，達到最優(yōu)的數(shù)據(jù)庫架構模型。

關鍵詞：圖像識別;圖像處理;大數(shù)據(jù);架構

中圖分類號：TP392? ? ?文獻標識碼：A

Design and Implementation of Image Database?Architecture Based on Big Data Platform

WANG Li，ZHANG Yong

（Department of Computer Information，Suzhou Vocational and Technological College，Suzho 234101，China）

Abstract：Image recognition and image restoration technology are widely used in the current digital fields，especially in the fields of finance and security.Therefore，from the perspective of economy and practicability，image restoration technology based on big data has broad application prospects.However，complex data storage in big data environment is the key to data image restoration.How to build an efficient，safe and high-capacity database based on big data platform is the key issue to be considered in database establishment. In this paper， the establishment of image database is studied and discussed from the aspects of the structure of database，application purpose，data volume，access volume，security requirements and so on，in order to build the database based on a safe，reasonable and smooth database architecture and to achieve the optimal database architecture model.

Keywords：image recognition;image processing;big data;architecture

1? ?引言（Introduction）

數(shù)據(jù)庫作為數(shù)字信息的載體在數(shù)字生活中起著極其重要的作用，無論是動態(tài)網(wǎng)站設計、數(shù)據(jù)挖掘、大數(shù)據(jù)存儲等各個領域都很重要。數(shù)字圖像作為數(shù)字信息的表現(xiàn)形式有著其他數(shù)字信息不可比擬的特點，存數(shù)量大、格式復雜、程序處理困難等都是其固有的屬性。因此，基于大數(shù)據(jù)平臺的圖像數(shù)據(jù)庫架構的建設在整個平臺建設中顯得非常重要。

2? 圖像數(shù)據(jù)的分類及特點（Classification and?characteristics of image data）

隨著數(shù)碼相機、掃描儀、視屏攝錄設備的廣泛應用，越來越多的數(shù)字圖像數(shù)據(jù)大量產(chǎn)生，這些數(shù)據(jù)圖像因格和采集設備等的不同有著很大的差別，不同的格式及設備采集的圖像特點也不相同。

2.1? ?位圖數(shù)據(jù)

位圖數(shù)據(jù)由若干點陣構成，每個點稱為一個像素。文件大小與像素密集度有關。當文件太大時處理速就會變慢，但點陣所表達的圖像色彩豐富、逼真，品質較高。

2.2? ?JPEG圖像數(shù)據(jù)

JPEG是由國際標準組織（ISO）和國際電話電報咨詢委員會（CCITT）為靜態(tài)圖像所創(chuàng)建的第一個國際數(shù)字圖像壓縮標準，其不僅可以提供有損壓縮也可以提供無損壓縮。比傳統(tǒng)的圖像壓縮方式有不可比擬的優(yōu)越性。其特點如下：一次將圖像由左到右、由上到下順序處理;當圖像傳輸?shù)臅r間較長時，可將圖像分數(shù)次處理，以從模糊到清晰的方式來傳送圖像[1];其壓縮出來的圖像可以在較低分辨率的設備上顯示出高分辨率的效果。

2.3? ?TIFF標記圖像文件格式

TIFF支持可選壓縮、可擴展格式許多可選功能，TIFF是廣泛支持的格式，尤其是在Macintosh計算機和基于Windows的計算機之間[2]。以任何顏色深度存儲單個光柵圖像，其缺點是TIFF在Web瀏覽器得不到支持，而且TIFF之間的文件兼容性也存在問題。

2.4? ?PNG格式

PNG（Portable Network Graphics）是近幾年來網(wǎng)絡上比較流行的圖像格式。其優(yōu)點是目前保證最不失真的格式，存貯形式豐富，兼有GIF和JPG的色彩模式的特點;其缺點是不支持動畫應用效果。

3 大數(shù)據(jù)數(shù)據(jù)庫設計與優(yōu)化（Design and? optimization of big data database）

3.1? ?數(shù)據(jù)庫架構的設計

數(shù)據(jù)庫架構是數(shù)據(jù)資源布置方式的統(tǒng)稱，一個合理的架構可以提高數(shù)據(jù)的安全性和數(shù)據(jù)訪問的速度。目前提供大數(shù)據(jù)訪問的平臺提供商，廣泛采用B/S結構的數(shù)據(jù)庫前端平臺搭建模式（圖1）。B/S結構具有使用方便、成本低、適應強等特點，但這種基于動態(tài)網(wǎng)站建設技術的數(shù)據(jù)平臺前端建立模式最大的缺點就是安全性不能得到很好的保障[3]。因此，在大數(shù)據(jù)平臺下數(shù)據(jù)庫的架構設計必須采用相關的措施提高數(shù)據(jù)庫的安全性。

為了提高數(shù)據(jù)庫平臺的安全性，在數(shù)據(jù)庫核心層的外圍需采用多層控制機制，通常從平臺的使用、管理、控制、維護等方面數(shù)據(jù)庫架構可由：產(chǎn)品層、接入層、網(wǎng)絡層、中間件、存儲層、運維服務等幾個層級（圖2）。

各層的具體作用如下：

產(chǎn)品層：該層是數(shù)據(jù)庫架構的硬件平臺，平臺設備由服務商提供。主要負責整個架構軟硬件設備的管理和使用。對于性能的要求與平臺硬件的構成有關，基本要求是平臺必須具備對整體架構安全性、實用性、操控性的管理[4，5]。

接入層：接入層負責對外提供數(shù)據(jù)服務，對于大數(shù)據(jù)平臺，如果要提高服務品質，良好的接入層設計可以使數(shù)據(jù)得到高效的應用。大數(shù)據(jù)平臺要面向眾多的使用對象，接入層是每個使用對象必須經(jīng)過的訪問節(jié)點。接入層要提供有線、無線、云上數(shù)據(jù)等各種接入服務。如果從數(shù)據(jù)的安全性考慮，對眾多的接入請求，接口要建立足夠的安全保障機制。但如果復雜的安全保障機制建立在接口層，會使接入速度降低、服務品質下降[6]。從大數(shù)據(jù)的使用初衷考慮在服務品質和安全性這兩方面權衡，在接口層一般對安全性不做硬性要求，從而保證提供較高的服務品質。

中間件：大數(shù)據(jù)的特點就是數(shù)據(jù)量大而復雜，如何使用戶快速、便捷地從海量數(shù)據(jù)獲取所需信息，是架構設計必須考慮的。目前，多采用多語言支持、SQL二級索引等中間件來提高訪問效率。另外，在中間件的下層多采用HBase面向列的開源數(shù)據(jù)庫提供數(shù)據(jù)庫技術支持。

存儲層：該層作為數(shù)據(jù)的存儲空間的管理層是整個數(shù)據(jù)庫架構的核心，目前采用Ali-HDFS、共享存儲OSS等管理數(shù)據(jù)資源，為數(shù)據(jù)保存提供高效組織方式[7]。

運維服務：大數(shù)據(jù)架構的使用對象眾多，使用方式和使用習慣差異很大，平臺架構運行后會有很多問題需要進一步服務。只有在不斷的維護和改進中平臺的功能才能更加完善[8]?，F(xiàn)在平臺維護主要涉及全鏈路監(jiān)控、自動運維、資源調度、運維部署、物理機等幾個方面。

3.2? ?安全數(shù)據(jù)庫的建立

為了提高大數(shù)據(jù)平臺的服務品質，在接口層對于安全性沒有采用過多的設計。但數(shù)據(jù)的安全還是大數(shù)據(jù)系統(tǒng)必須考慮的問題。因此，除了在產(chǎn)品層對于安全性的總體硬件部署之外，在數(shù)據(jù)庫的結構設計上安全性的本質要求必須充分體現(xiàn)（圖3）。

數(shù)據(jù)庫是大數(shù)據(jù)系統(tǒng)的核心，因此安全層次的部署也相當復雜。如圖3所示，可以采用專用安全數(shù)據(jù)庫系統(tǒng)對核心數(shù)據(jù)庫進行保護，數(shù)據(jù)庫安全管理層結構主要構成及功能如下：

統(tǒng)一安全管理：主要功能負責整個數(shù)據(jù)庫安全管理層的高層管理，具體有配置管理、安全審計、操作日志管理、用戶管理、權限管理、日志分析等功能。

監(jiān)控管理子系統(tǒng)：包括警告管理、性能管理、配置管理，在警告管理模塊主要實現(xiàn)警告過濾、警告分析、預處理、格式化等功能;性能管理模塊主要包括數(shù)據(jù)稽查、閾值對比、數(shù)據(jù)匯總、預處理等功能;配置管理主要包括數(shù)據(jù)整合、異常處理、數(shù)據(jù)審核等功能[9]。

安全數(shù)據(jù)庫：核心數(shù)據(jù)庫是大數(shù)據(jù)平臺提供服務的信息載體，有著極其嚴格的配置管理控制。在安全控制及信息過濾的過程中也會需要大量的數(shù)據(jù)需要建立數(shù)據(jù)庫進行存儲，但從數(shù)據(jù)結構及安全配置管理的角度去考慮，這些存儲的數(shù)據(jù)不需要供給大數(shù)據(jù)客戶使用，因此需建立專用的安全數(shù)據(jù)庫進行存儲。這類數(shù)據(jù)庫主要有警告數(shù)據(jù)庫、性能數(shù)據(jù)庫、配置數(shù)據(jù)庫等。

3.3? ?核心數(shù)據(jù)庫的構成

當數(shù)據(jù)庫的安全控制功能分離出去后，核心數(shù)據(jù)庫的設計主要涉及大數(shù)據(jù)采集、大數(shù)據(jù)清理、大數(shù)據(jù)標準化、大數(shù)據(jù)結構化幾個方面[4]（圖4）。

大數(shù)據(jù)采集：包含業(yè)務數(shù)據(jù)匯集系統(tǒng)、用戶行為數(shù)據(jù)采集系統(tǒng)、大數(shù)據(jù)爬蟲采集系統(tǒng)。

大數(shù)據(jù)清洗：包含業(yè)務數(shù)據(jù)清洗系統(tǒng)、用戶行為數(shù)據(jù)清洗系統(tǒng)、互聯(lián)網(wǎng)公開數(shù)據(jù)清洗系統(tǒng)。

大數(shù)據(jù)標準化：包含用戶多ID匹配系統(tǒng)、商品多ID匹配系統(tǒng)。

大數(shù)據(jù)結構化：包含用戶標簽管理系統(tǒng)、商品標簽管理系統(tǒng)。

圖形圖像處理是目前需求比較大的業(yè)務，在安防、醫(yī)學、考古領域都有涉及。尤其是圖像修復更有著廣大的應用市場，人臉識別、考古修復等都在應用。因此基于大數(shù)據(jù)的圖像修復系統(tǒng)中，圖像數(shù)據(jù)庫的建立尤為重要。圖像數(shù)據(jù)具有文件大、種類多、存儲結構復雜等特點。在建立圖像數(shù)據(jù)庫時所得到的數(shù)據(jù)同樣存在著不可預知的數(shù)據(jù)[10]。為了更精確的定位有用的存儲信息，核心數(shù)據(jù)庫建立時必須按照大數(shù)據(jù)采集—大數(shù)據(jù)清洗—大數(shù)據(jù)標準化—大數(shù)據(jù)結構化的步驟對數(shù)據(jù)進行優(yōu)化，以便客戶在使用時獲得更為精確的圖像數(shù)據(jù)。

4? ?結論（Conclusion）

基于大數(shù)據(jù)的圖形圖像處理是大數(shù)據(jù)的主要應用方向，良好的數(shù)據(jù)庫架構可以提高處理的速度，減少誤差，最大限度地提高工作效率。按文中所述，構建合理安全的大數(shù)據(jù)數(shù)據(jù)庫架構是大數(shù)據(jù)平臺建設必須遵循的規(guī)律，也是大數(shù)據(jù)應用發(fā)展的必經(jīng)之路。

參考文獻（References）

[1] Trevor H.Booth.Species distribution modelling tools and databases to assist managing forests under climate change[J].Forest Ecology and Management，2018（04）：196-202.

[2] Nagori N P，MalodeV.Communication Interface for Deaf-Mute People using Microsoft Kinect[J].International Conference on Automatic Control and Dynamic Optimization Techniques，2017（03）：1-5.

[3] Gu B B，Li Z X，Zhang X L，et al.The interaction between schema matching and record matching in data integration[J].IEEE Transactions on Knowledge and Data Engineering，2016（05）：187-192.

[4] 傅穎勛，羅圣美，舒繼武.安全云存儲系統(tǒng)與關鍵技術綜述[J].計算機研究與發(fā)展，2013（01）：136-145.

[5] 張勇.數(shù)字圖像大數(shù)據(jù)中心的研究與實現(xiàn)[J].淮陰工學院學報，2017（01）：30-33.

[6] 陳云亮.分級存儲系統(tǒng)中基于進化算法的數(shù)據(jù)管理與保護關鍵技術研究[D].華中科技大學，2013：37-42.

[7] 任崇廣.面向海量數(shù)據(jù)處理領域的云計算及其關鍵技術研究[D].南京理工大學，2013：23-26.

[8] 肖輝輝，段艷明.基于改進花授粉算法的移動機器人路徑規(guī)劃研究[J].軟件導刊，2018（11）：22-25.

[9] 謝光.數(shù)據(jù)庫大數(shù)據(jù)量存儲結構的探索[J].通訊世界，2017（11）：29-30.

[10] 張玉英.目前信息技術背景下的數(shù)據(jù)庫安全技術[J].電子技術與軟件工程，2017（13）：261-263.