趙曉萌 李秋實 方少亮 盧智星

(1.廣東省科技基礎(chǔ)條件平臺中心，廣東 廣州 510000；2.廣東省高性能計算重點實驗室，廣東 廣州 510000)

基于圖像傳感器的可見光MIMO通信系統(tǒng)

趙曉萌1,2李秋實2方少亮1,2盧智星1,2

(1.廣東省科技基礎(chǔ)條件平臺中心，廣東 廣州 510000；2.廣東省高性能計算重點實驗室，廣東 廣州 510000)

針對將圖像傳感器用于可見光M IM O通信時存在的圖像矯正、收發(fā)通道對準及時鐘同步問題，分析了影響數(shù)據(jù)幀有效性的因素，提出了一種發(fā)射端圖形結(jié)構(gòu)與通道分布規(guī)則，給出了基于圖像傳感器的可見光M IM O通信系統(tǒng)時鐘同步方法，并以三星S2 4D 59 0 PL液晶顯示器作為光學M IM O發(fā)射端，IPH O NE 6 S手機后攝像頭傳感器作為接收端搭建了實驗系統(tǒng)。實驗結(jié)果表明，本方案能夠?qū)崿F(xiàn)接收圖像的定位和矯正，并自適應計算出M IM O通道數(shù)量和各通道坐標，在發(fā)射幀率小于接收幀率的條件下，能夠恢復同步時鐘和解碼數(shù)據(jù)。

可見光通信；圖像傳感器；M IM O；圖形定位；同步時鐘

1 引言

可見光通信(Variable Light Communication，VLC)作為一種熱門的無線通信技術(shù)，具有可靠性高、保密性好、無電磁干擾、無需頻譜認證等優(yōu)勢[1,2]。但由于白光LED有限的帶寬，限制了傳輸速率，而MIMO技術(shù)能夠在有限的帶寬上通過空間復用實現(xiàn)高速通信，基于圖像傳感器的MIMO系統(tǒng)能夠有效解決光源布局和信號多徑干擾等問題[3-5]。近年來基于近距離無線通信技術(shù)（NFC）出現(xiàn)了一些應用，但由于基礎(chǔ)設(shè)施不完善，手機上的NFC功能并未得到普及，與其他通信裝置相比，利用LCD屏作為發(fā)射端，CMOS傳感器作為接收端，是一種靈活且低成本的近場可見光通信解決方案。

2004年S.Hranilovic等使用512x512像素的LCD和154x154像素的CCD組成MIMO無線光信道，提出了空間離散多音調(diào)制抵抗信道的低通空間響應，在距離為2m的范圍產(chǎn)生的頻譜效率近似為1.7kb/s*Hz[4]。2007年S Arai等利用交通燈作為發(fā)射端、高速攝像機作為接收端組成智能交通系統(tǒng)，提出基于二維快速Haar小波變換的分層編碼方案[7]。2012年Sung-Man Kim等利用商用CCD傳感器搭建4x4MIMO無線可見光通信裝置，通信速率達到200bit/s每通道，通信距離可超過10米[5]。2012年C Danakis等提出利用移動電話接收VLC數(shù)據(jù)的方案，將智能手機的相機作為接收器，捕捉快速開關(guān)狀態(tài)的光，利用CMOS傳感器卷簾效應，接收數(shù)據(jù)率高于攝像機的幀速率[6]。2014年同濟大學的Peng ji提出利用車載LED照明裝置和手機攝像頭之間的通信，制作采用欠采樣頻率偏移開關(guān)鍵控調(diào)制方式發(fā)射和卷簾快門攝像頭接收的VLC原型機，能夠抑制圖像內(nèi)的常規(guī)光學干擾和噪聲[8]。2015年南京郵電大學的高俊英利用LCD模擬3x3多光源發(fā)射，并采用全局快門攝像頭作為接收端搭建MIMO可見光通信系統(tǒng)，提出一種多高斯模型的方法獲取自適應閾值[9]。

雖然利用圖像傳感器進行可見光通信的技術(shù)方案具有很多優(yōu)勢，但實際應用中還存在一些待解決的問題。一是接收端圖像傳感器通常為固定幀率，其與發(fā)射端缺少同步的時鐘，因此難以判斷每幀數(shù)據(jù)的有效性；二是接收端無法確定不同發(fā)射端的MIMO通道數(shù)量及分布情況；三是接收端與發(fā)射端位置的相對旋轉(zhuǎn)與傾斜，使得接收端無法準確標定MIMO通道的坐標。針對以上問題，本文提出了一種基于LCD發(fā)射端和手機CMOS傳感器接收端的同步時鐘通信系統(tǒng)方案。利用預先約定的定位圖形和MIMO通道設(shè)置規(guī)則，使得接收端能夠?qū)D像的傾斜和旋轉(zhuǎn)角度進行識別和矯正，并自適應判斷MIMO通道數(shù)量和分布，以及各通道所對應坐標；并在圖形中設(shè)置4個專用時鐘傳輸通道，實現(xiàn)接收端與發(fā)射端的時鐘同步。

2 同步時鐘通信系統(tǒng)分析與設(shè)計

基于LCD發(fā)射端和CMOS傳感器接收端的MIMO可見光通信系統(tǒng)原理圖如圖1所示，發(fā)射端有3路串行信號，在空間上對應LCD中的一定區(qū)域，通過透鏡在CMOS上對應的區(qū)域成像，每個區(qū)域定義為一個數(shù)據(jù)通道，CMOS傳感器連續(xù)的接收圖像序列，并檢測對應區(qū)域的不同波長的光強，通過圖像處理技術(shù)恢復出各個通道所發(fā)送的波分復用碼流。

圖1 使用LCD發(fā)射和CMOS傳感器接收的可見光MIMO通信系統(tǒng)原理

在接收端需要矯正圖形旋轉(zhuǎn)與傾斜，確定MIMO通道數(shù)量及分布方式，以及判定數(shù)據(jù)幀有效性。其中產(chǎn)生無效數(shù)據(jù)幀的原因主要有幾個方面：一是由于LCD本身的時間響應較長，一般為數(shù)ms到數(shù)十ms，無法快速刷新，如圖2所示，在信號切換的上升或下降階段采集的信號很容易誤碼；二是發(fā)射端若采用圖像編碼流序列也容易產(chǎn)生誤碼，如H.264編碼協(xié)議里定義了三種幀，完整編碼的幀叫I幀，參考之前的I幀生成的只包含差異部分編碼的幀叫P幀，參考前后幀編碼的幀叫B幀，如圖3所示，其中I幀和P幀包含完整圖像信息，而B幀是由前面的I或P幀和后面的P幀來進行預測的編碼幀，該幀壓縮比最高，但具有很大的隨機性；三是CMOS傳感器的幀率通常較低，只有30Hz到60Hz，且大部分采用控制傳感器逐行曝光的方式實現(xiàn)卷簾快門，由于卷簾快門工作特性，當目標光源存在一定速率的明暗閃爍時，CMOS傳感器獲取的圖樣呈明暗條紋狀，而不是明幀和暗幀的交替，如圖4所示，因此CMOS傳感器可能獲取的并不是空間分布完整的幀信號[6,8]。由于這些原因，使得接收端難以判斷所采集的數(shù)據(jù)幀是否有效。

圖2 顯示屏時間響應曲線

圖3 H.264編碼幀示意圖

圖4 調(diào)制驅(qū)動LED照明光源和卷簾快門CMOS傳感器

本文設(shè)計了發(fā)射端的圖形結(jié)構(gòu)和通道分布規(guī)則，如圖5所示。包括3個結(jié)構(gòu)相同的位置探測圖形，由3個正方形模塊嵌套組成，當從左至右以一條直線采樣，信號寬度比例為1:1:3:1:1，且該比例與發(fā)射接收端的距離和相對旋轉(zhuǎn)無關(guān)，接收端可首先檢測3個位置探測圖形的坐標(x1,y1)、（x2,y2）、（x3,y3），對接收的圖像進行定位、旋轉(zhuǎn)與矯正[11]，基本原理同QR碼處理方法，本文不再贅述。根據(jù)兩個位置探測通道幾何中心之間的比例距離X和Y，可推導出MIMO發(fā)射端時鐘通道和數(shù)據(jù)通道的總數(shù)量N，則

進一步可對圖5中的信號通道進行標定，通道以陣列行列坐標命名，如CHmn，則CHmn的中心坐標表示為：

圖5中的信號通道中包括4個獨立時鐘通道和5個數(shù)據(jù)通道，4個時鐘通道的空間位置選取保證發(fā)射端與接收端在任意相對旋轉(zhuǎn)和傾斜狀態(tài)下能覆蓋發(fā)射端的所有數(shù)據(jù)通道區(qū)域，因此在圖5中時鐘通道為CH11、CH13、CH31、CH33，其中CH11和CH33為一組，CH13和CH31為一組，組內(nèi)信號相同，組間反向，接收端根據(jù)接收到4個時鐘通道的信號電平同步翻轉(zhuǎn)狀態(tài)，恢復出接收時鐘。

圖5 發(fā)射端圖形結(jié)構(gòu)

通過本設(shè)計規(guī)則，可實現(xiàn)可見光MIMO通信系統(tǒng)接收圖像的定位和矯正，自適應計算MIMO通道數(shù)量與坐標，以及同步時鐘的獲取。

3 實驗與結(jié)果

根據(jù)本文所提出的設(shè)計規(guī)則搭建實驗系統(tǒng)，采用三星S24D590PL液晶顯示器作為光學MIMO發(fā)射端，IPHONE 6S手機后攝像頭傳感器作為接收端，接收端與發(fā)射端距離10～20cm，發(fā)射端將15路8bit串行數(shù)據(jù)按RGB波段分離，分別疊加在5個數(shù)據(jù)通道上，共發(fā)送8幀圖像，每一次切換圖像4個時鐘通道都同步進行翻轉(zhuǎn)，CMOS采集速率可設(shè)定為30fps或60fps，接收端將接收到的信號導入MATLAB中進行處理，根據(jù)4個時鐘通道的信號翻轉(zhuǎn)狀態(tài)生成接收時鐘，并以此時鐘對其他通道信號進行采集和解碼，通過設(shè)定不同的發(fā)射速率來檢驗實驗系統(tǒng)。具體過程如下：

3.1 信號發(fā)射

發(fā)射端共9個傳輸通道，分別按矩陣行列號命名為CH11、CH12、CH13、CH21、CH22、CH23、CH31、CH32、CH33，其中CH12、CH21、CH22、CH23、CH32為數(shù)據(jù)通道，采用RGB波分復用共15個有效數(shù)據(jù)通道并行傳輸，每通道傳輸數(shù)據(jù)共8bit，傳輸?shù)臄?shù)值如表1所示：

表1 各通道發(fā)射數(shù)據(jù)表通道

這8bit數(shù)據(jù)及其時鐘所對應的8幀圖像如圖6所示。其中CH11、CH13、CH31、CH33為時鐘通道，CH11與CH33為一組，CH13與CH31為一組，且兩組信號保持反相。

圖6 基于LCD的可見光MIMO通信系統(tǒng)8bit數(shù)據(jù)所對應的圖像幀

3.2 信號接收與處理

信號接收端采集到圖像后根據(jù)本文所提出的設(shè)計規(guī)則，首先對圖像進行定位、旋轉(zhuǎn)和矯正，利用QR碼處理領(lǐng)域所采用的定位矯正算法[11]，在任意旋轉(zhuǎn)角度下可實現(xiàn)圖像的定位和旋轉(zhuǎn)，在45o傾斜范圍內(nèi)可實現(xiàn)圖形的矯正，計算得出通道矩陣數(shù)量為3x3并定位各通道的坐標，再進行信號采集和處理，首先采集4個時鐘通道CH11、CH13、CH31、CH33，并根據(jù)4個時鐘通道的翻轉(zhuǎn)狀態(tài)，恢復出與發(fā)射端的同步時鐘信號sck，如圖7所示。

圖7 根據(jù)4個時鐘通道的切換狀態(tài)提取時鐘sck的波形圖

在以5fps發(fā)射、30fps接收狀態(tài)下，各通道接收RGB信號波形圖如圖8所示，每一幅圖由4個信號通道組成，上面3組信號為該通道的RGB信號波形，第3組為同步時鐘信號sck，每次sck翻轉(zhuǎn)時對數(shù)據(jù)通道采樣并進行解碼，結(jié)果如表2所示，對比表1可以看出，所有通道解碼得到的數(shù)值全部正確。

圖8 5fps發(fā)射30fps接收各通道波形圖

表2 5fps發(fā)射30fps接收各通道信號接收數(shù)據(jù)表

實驗中發(fā)現(xiàn)，發(fā)射速率為10fps、20fps和25fps，接收速率為30fps時所有通道解碼得到的數(shù)值全部準確；將接收速率調(diào)整到60fps，則發(fā)射端速率設(shè)置為5fps-50fps均能夠正常接收信號和解碼。但是當發(fā)射速率超過接收幀率時，接收端無法生成同步時鐘，如圖9所示sck始終為高，所對應的圖像如圖10所示，在這種狀態(tài)下接收端無法對數(shù)據(jù)進行接收和解碼。

圖9 33fps發(fā)射30fps接收（左）50fps發(fā)射30fps接收（右）

圖10 接收無效數(shù)據(jù)幀示意圖

在信號處理與解碼效率方面，如接收幀率為30fps，發(fā)射幀率為15fps，在無同步時鐘的情況下，每秒需處理30幀圖像，而本實驗系統(tǒng)僅在sck信號翻轉(zhuǎn)時讀取和存儲數(shù)據(jù)，其它時刻的圖像被丟棄，因此每秒僅需處理15幀圖像，理論效率可提高2倍。

通過上述實驗可知，利用LCD作為發(fā)射端，手機攝像頭傳感器作為接收端，可以實現(xiàn)可見光MIMO通信。利用本文所提出的設(shè)計規(guī)則搭建的實驗系統(tǒng)，能夠在發(fā)射端與接收端相對位置不固定的條件下對圖像進行定位和矯正，并判定MIMO通道數(shù)量及分布坐標；采用獨立通道傳輸時鐘，有效解決了可見光通信系統(tǒng)接收端與發(fā)射端時鐘同步問題。

4 結(jié)論

本文分析了利用LCD作為發(fā)射端和CMOS傳感器作為接收端的可見光MIMO通信系統(tǒng)存在的問題，提出了一種發(fā)射端圖形結(jié)構(gòu)與通道分布規(guī)則，給出了基于圖像傳感器的可見光MIMO通信系統(tǒng)時鐘同步方法，并搭建了實驗系統(tǒng)。采用與QR碼類似的位置探測圖形，使得接收端可自行對接收圖像進行定位和矯正，并根據(jù)提出的設(shè)計規(guī)則自適應計算出傳輸通道數(shù)量及各通道所在坐標；采用4路獨立時鐘傳輸通道，在接收端恢復出同步接收時鐘，在時鐘翻轉(zhuǎn)時刻讀取此幀數(shù)據(jù)通道信息，而其它時刻的幀被丟棄，并降低了接收端資源占用，提高解碼效率；各通道采用RGB波分復用，在硬件條件不變的情況下使通信帶寬比單色光通信提高3倍。

基于本文的研究結(jié)果，可利用智能手機的顯示屏和攝像頭實現(xiàn)短距離數(shù)據(jù)交換、機場登機驗證、門禁鑰匙、交通一卡通、信用卡、移動支付等功能。

參考文獻：

[1]CW Chow，CH Yeh，Y Liu and YF liu．Digital signal processing for light emitting diode based visible light communication[J]．IEEE PHOTONICS SOCIETY NEWSLETTER，2012，26(5)：9-13．

[2]Haruyama．Visible light communication using sustainable LED lights[C]．Itu Kaleidoscope：Building Sustainable Communities，2013：1-6．

[3]HH Lu et al．A multiple-input-multiple-output visible light communication system based on VCSELs and spatial light modulators[J]．Optics Express，2014，22(3)：3468-3473．

[4]S Hranilovic，F(xiàn) R Kschischang．Short-range wireless optical communication using pixilated transmitters and imaging receivers[C]．In Communication，2004 IEEE International Conference，2004(2)：891-895．

[5]S M Kim，J B Jeon．Experimental demonstration of 4x4 MIMO wireless visible light communication using a commercial CCD image sensor [J]．Journal of Information and Communication Convergence Engineering，2012，10(3)：220-224．

[6]C Danakis，M Afgani，G Povey，I Underwood and H Haas．Using a CMOS camera sensor for visible light communication[J]．Globecom Workshops，2012，48(11)：1244-1248．

[7]S Arai，S Mase，T Yamazato，T Endo．Experimental on Hierarchical Transmission Scheme for Visible Light Communication using LED Traffic Light and High-Speed Camera[C]．Vehicular Technology Conference，2007(66)．

[8]Peng Ji，Hsin-Mu Tsai，Chao Wang，F(xiàn)uqiang Liu．Vehicular Visible Light Communications with LED Tailight and rolling Shutter Camera [C].Vehicular Technology Conference，2014(79)：1-6．

[9]高俊英，王德昌，姚建國．基于攝像頭的MIMO可見光無線通信系統(tǒng)[J]．光學學報，2015，35(1)：71-79．

[10]CW Chow，CY Chen，SH Chen．Enhancement of Signal Performance in LED Visible Light Communications Using Mobile Phone Camera [J]．IEEE Photonics Journal，2015，7(5)：1-7．

[11]肖翔，劉曉明，王云柯．碼圖像的矯正與定位方法研究[J]．計算機科學，2007，34(11)：217-219．

Visible Light MIMO Clock Synchronous Communication System Based on Image Sensor

Zhao Xiaomeng1,2Li Qiushi2Fang Shaoliang1,2Lu Zhixing1,2
(1.Guangdong Science&Technology Infrastructure Center,Guangzhou 510000,Guangdong; 2.Guangdong Provincial Key Laboratory of High Performance Computing,Guangzhou 510000,Guangdong)

For the problems of image rectification,transceiver channel alignment,clock synchronization when an image sensor is used for visible light MIMO communication,the factors affecting the validity of the data frame are analyzed.A graphical structure of transmitting end and a distribution rule of channel are presented.The synchronization method of visible light MIMO communication system based on image sensors is put forward,and an experimental system is set up using Samsung S24D590PL LCD monitor as optical MIMO transmitting end and rear camera sensor of IPHONE 6S as receiving end.The experimental results show that this program can achieve location and correction of the received image,and is adaptive to calculate the number of MIMO channels and the coordinates of each channel.Under the condition that the transmission frame rate is less than received frame rate,the synchronous clock can be recovered and the data can be decoded.

visible light communication;image sensor;MIMO;image location;synchronous clock

O435；O436；O439

A

1008-6609(2016)11-0019-05

趙曉萌(1981-)，男，廣東廣州人，碩士，工程師，研究方向為計算機網(wǎng)絡(luò)與光通信。

廣東省前沿與關(guān)鍵技術(shù)創(chuàng)新專項基金資助項目，項目編號：2014B01012002。