唐 哲 韋 超 黃喜軍 楊永晉 陳 澤

具有視覺跟蹤的多功能圖傳系統(tǒng)設(shè)計

唐 哲 韋 超 黃喜軍 楊永晉 陳 澤

（桂林電子科技大學(xué)，廣西 桂林 541004）

文章主要介紹一種基于樹莓派和單片機的多功能圖傳系統(tǒng)，其由樹莓派主機、無線網(wǎng)卡、基于單片機和mavlink協(xié)議的飛行控制系統(tǒng)、電池和開關(guān)電源模塊組成。工作時由帶有攝像頭一端的主機通過無線網(wǎng)卡廣播視頻編碼信號和通過串口讀取到的姿態(tài)信號，接收端主機網(wǎng)卡接收到信號并解碼后通過USB協(xié)議或無線網(wǎng)絡(luò)協(xié)議傳輸?shù)绞謾C、電腦或平板上，即可實時瀏覽畫面和運動姿態(tài)等數(shù)據(jù)。整個系統(tǒng)操作簡單，響應(yīng)迅速，能滿足大部分應(yīng)用場景。

圖像傳輸；無線通信；嵌入式系統(tǒng)；多功能

引言

隨著科技的發(fā)展，無人機、無人車等智能產(chǎn)品慢慢被大眾所熟悉，圖傳作為這些設(shè)備的“眼睛”，具有非常重要的作用，從早期清晰度不高的模擬圖傳，慢慢演變?yōu)槿缃竦臄?shù)字圖傳，但好的圖傳價格昂貴，且學(xué)習(xí)成本高，不適用于大眾。

本文介紹的多功能圖傳，采用折中的方案，使在百元級價位就能體驗到1080 P、60幀的視頻效果，且保障延時在200 ms以內(nèi)，無論應(yīng)用于無人機或是家用機器人等都能滿足其產(chǎn)品需求，更重要的是本設(shè)備作為獨立模塊，不會給用戶提高學(xué)習(xí)成本，且所有傳感器數(shù)據(jù)都可供用戶調(diào)用，大大提高了用戶的使用場景[1]。

多功能圖傳系統(tǒng)首先判斷機載計算機是否連接有攝像頭，連接有攝像頭的一端自動配置為主機，另一端為從機，系統(tǒng)啟動完畢后自動配對。在上電使用前可調(diào)整配置文件以獲得目標分辨率和其他相關(guān)信息，分辨率越高，數(shù)據(jù)顯示越多，對應(yīng)的延遲也會相應(yīng)提高，供用戶針對不同應(yīng)用場景進行調(diào)整，在APP中也可以方便快速調(diào)節(jié)，提高用戶使用效率和滿足用戶多元化需求。

1 總體設(shè)計介紹

多功能圖傳系統(tǒng)主要由七個主要功能模塊構(gòu)成：2 s～6 s轉(zhuǎn)5 V開關(guān)電源模塊、STM32微型飛行控制系統(tǒng)、執(zhí)行設(shè)備、天空發(fā)射端主機，華碩AC56網(wǎng)卡，地面接收端主機，顯示設(shè)備。各模塊之間相互聯(lián)系，交互方式繁多，控制信號可由飛行控制系統(tǒng)給入，同時也可以由地面接收端網(wǎng)絡(luò)信號給入，畫面輸出可由主機上的HDMI直接輸出，也可以通過USB網(wǎng)絡(luò)共享、無線網(wǎng)絡(luò)共享等方式輸出。通過多種交互方式滿足用戶不同的使用需求，以達到多功能圖傳的體驗。多功能圖傳系統(tǒng)設(shè)計整體框圖如圖1所示。

（1）飛控系統(tǒng)：采用STM32F427作為處理器核心，使用單片機獲取傳感器數(shù)據(jù)，姿態(tài)解算，并通過串口接收來自發(fā)送端主機的目標信息數(shù)據(jù)，以及反饋自身傳感器數(shù)據(jù)；并通過PWM輸出最終控制信號。

（2）電源模塊：電源模塊主要考慮用戶所使用的電池電壓跨度大，主機對于工作電流要求高，為此設(shè)計了這款寬電壓輸入、低紋波的電源模塊給飛控系統(tǒng)和主機供電。

（3）攝像頭：一般來說，攝像頭板本身內(nèi)部必須有一個h264/h265編碼器，或者傳感器和SBC之間必須有CSI連接，以確保幀的傳輸和編碼盡可能快。

（4）發(fā)送端主機：發(fā)射端主機不僅對于攝像頭數(shù)據(jù)壓縮傳輸，而且更重要的是實時獲取飛控系統(tǒng)的傳感器數(shù)據(jù)，并發(fā)送到地面端，以保證在特殊情況下不能得到圖像信息時，不會失去對控制系統(tǒng)狀態(tài)的判斷。

（5）接收端主機：最重要的功能是解析網(wǎng)卡接收到的數(shù)據(jù)并與顯示設(shè)備進行交互，便于用戶查看圖像與狀態(tài)信息，以及對于系統(tǒng)的設(shè)置。

（6）電機舵機：實現(xiàn)視覺跟蹤的本質(zhì)是根據(jù)視覺信號控制電機或舵機使整體被控對象實現(xiàn)跟蹤效果。

2 模型設(shè)計

2.1 系統(tǒng)整體框架設(shè)計

此次設(shè)計主要考慮散熱性能和減輕重量，圖傳設(shè)備因為整體的高功耗、小體積，基本都存在發(fā)熱的問題，所以要在底部對稱開孔，中部和尾部鏤空進行散熱，經(jīng)過測試在開啟最高畫質(zhì)的情況下連續(xù)工作3小時不會出現(xiàn)自動降頻和系統(tǒng)故障。以無人機系統(tǒng)為例，在動力一定的情況下為了不影響系統(tǒng)性能，圖傳系統(tǒng)需要輕便和易拆裝。如圖2所示，是使用solidworks設(shè)計的多功能圖傳系統(tǒng)建模圖。

圖2 系統(tǒng)整體建模圖

2.2 電源模塊PCB模型設(shè)計

考慮到電源模塊的體積和美觀，可利用主機上的40 pin排針固定電源模塊，保證了整體模型的緊湊和可靠，并根據(jù)開孔位置預(yù)留電源與串口引出端子，最大程度避免導(dǎo)線的引入。

3 硬件設(shè)計

圖傳系統(tǒng)主機適配Raspberry Pi 3、3A、3B等版本，這些在硬件上自帶H264/H265視頻編解碼器的模塊非常滿足設(shè)計人員的設(shè)計需求。基于成本和穩(wěn)定度考慮直接使用成品模塊，而執(zhí)行端飛行控制系統(tǒng)則采用STM32系列單片機為核心設(shè)計外圍電路，主要功能是獲取系統(tǒng)狀態(tài)信息、控制外設(shè)。

3.1 主機模塊

此次設(shè)計對于多種主機進行了測試，包括但不僅限于性能強大的Raspberry Pi 4B、Raspberry Pi Compute Module CM3+、CM4。為了不造成資源過剩和節(jié)約成本，測試出對于地面端而言性價比極高的RaspberryPi3B（+）能很好地勝任，當(dāng)然3A在犧牲一部分使用體驗上也能勝任，但不推薦使用。因為經(jīng)過測試地面端上對于GPU資源要求較高，且3A內(nèi)部不支持雙頻熱點，這將降低功能。對于天空端主機而言也測試出了兩款性價比極高的計算機模塊，如果不考慮模塊體積和追求性能，使用3A是很好的選擇，反之使用便宜且小巧的Raspberry Pi Zero。

3.2 控制系統(tǒng)

考慮到被控對象的多樣性，在設(shè)計上留了甚多冗余，同樣對于不考慮成本的用戶推薦使用基于pix4固件的官方硬件，這些硬件系統(tǒng)基本都能很好的支持mavlink通訊協(xié)議，對于主機上下行交互沒有影響，處理器上一般使用STM32f427為主，STM32f103為備份處理器，內(nèi)置感應(yīng)器上使用L3GD20三軸數(shù)字16位陀螺儀、LSM303D三軸14位加速度計/磁力計、MPU6000 六軸加速度計/磁力計、MS5611氣壓計。官方硬件雖好，但可自定義程度差，代碼結(jié)構(gòu)復(fù)雜，成本動輒上千元，且運行非主流NuttX RTOS操作系統(tǒng)大大提高了用戶學(xué)習(xí)成本，所以也設(shè)計了一款成本在百元內(nèi)的控制系統(tǒng)，預(yù)留8路PWM、一路GPS、一路數(shù)傳、一路主機通信串口，以及一路用戶自定義串口，主控上選擇STM32F427，由一路iic獲取mpu9250的9軸姿態(tài)數(shù)據(jù)和spl06-001氣壓高度數(shù)據(jù)。

3.3 主機電源模塊

選擇開關(guān)電源穩(wěn)壓降壓芯片作為電源模塊，開關(guān)電源是一種利用近代電子電力技術(shù)控制開關(guān)管關(guān)段和開通時間比，來維持穩(wěn)定輸出電壓的電源，一般來說開關(guān)電源有PWM（脈沖寬度調(diào)制）控制IC或MOSFET構(gòu)成。目前，開關(guān)電源越來越小型化、輕量化和高效率，廣泛應(yīng)用于各種電子設(shè)備。經(jīng)過對比選擇了性價比較高的TPS5430作為首選電源芯片，大致電路由主電路、檢測電路、控制電路、輔助電源組成。通過調(diào)節(jié)外圍電阻值以獲得期望的電路性能，其主要外圍電路和調(diào)壓公式如圖3所示。

圖3 主機電源模塊原理圖

3.4 網(wǎng)卡模塊

無線網(wǎng)卡顧名思義是指使用無線電波為傳播媒介的設(shè)備，網(wǎng)卡的作用和功能是用來連接到局域網(wǎng)上的，它只是一種信號收發(fā)的設(shè)備，市面上網(wǎng)卡設(shè)備眾多，但是適合此系統(tǒng)和滿足遠距離需求的網(wǎng)卡基本上使用了特定芯片，建議預(yù)算允許的情況下在地面端上至少使用兩個網(wǎng)卡。經(jīng)過測試發(fā)現(xiàn)，使用RTL8812和AR9271芯片的網(wǎng)卡能帶來更好的效果，同時在戶外5.8 G頻段干擾更小，用戶可根據(jù)環(huán)境不同在APP中設(shè)置網(wǎng)卡頻段。

4 軟件設(shè)計

4.1 系統(tǒng)整體軟件設(shè)計

圖傳系統(tǒng)功能繁多，首先讓大家有一個大概的了解，最后解析其中關(guān)鍵部分的軟件設(shè)計，從地面端談起，需要能支持DSI和HDMI協(xié)議的視頻輸出才能具備顯示功能，同時要支持與移動設(shè)備的互聯(lián)，便需要使用wifi和USB協(xié)議，移動設(shè)備或地面端通過USB連接支持遙控器、模擬器、教練口等，同時地面端還需配對與數(shù)傳和AAT跟蹤天線的串口程序，最后為了傳輸視頻需要USB網(wǎng)卡支持驅(qū)動程序；對于天空端而言需要有支持mavlink協(xié)議的串口程序，CSI/USB攝像頭數(shù)據(jù)接收程序，以及網(wǎng)卡驅(qū)動程序。綜上所述主機軟件設(shè)計框圖如圖4所示。

圖4 主機軟件設(shè)計框圖

在實驗中使用Raspberry Pi單板計算機，運行Linux系統(tǒng)，這會使得整體軟件設(shè)計工作簡化，因為linux很好地支持USB、UART、HDMI、WIFI等驅(qū)動程序。

4.2 主機軟件設(shè)計

對于主機而言，最為重要的便是保證視頻傳輸?shù)目煽啃院脱訒r。與攝像機不同，圖傳不必糾結(jié)于過去的視頻流，更重要的是保證當(dāng)前畫面的傳輸，所以使用一種前向糾錯的方法，又稱FEC算法[2]，此算法廣泛應(yīng)用于實時音頻視頻領(lǐng)域，用于提升弱網(wǎng)抗性，在本項目中通過FEC算法向視頻添加冗余而保障GroundPi上接收的視頻，因為延遲必須保持在最低限度，所以沒有機會重新傳輸因干擾而失真的視頻部分。取而代之的是，系統(tǒng)將以允許其中一些視頻在傳輸過程中丟失的方式處理視頻。對于視頻延時幾乎是AirPi和GroundPi上使用的視頻編碼器和解碼器硬件的結(jié)果[3]。使用Raspberry Pi可以實現(xiàn)的最小延遲有一個下限。這通常在80 ms～90 ms之間，這需要特定的配置。經(jīng)過測試在其他板上，例如性能更強大的tx2，通過特定攝像頭和視頻解碼/接收硬件，延遲能降低40 ms～60 ms。對于圖像處理而言，使用了OpenCV計算機視覺庫和TensorFlow深度學(xué)習(xí)框架，對于本項目而言只需要調(diào)用視頻流在后臺處理得到目標對于中心點的偏移量，封包發(fā)送給控制端即可實現(xiàn)視覺跟蹤。

4.3 控制端軟件設(shè)計

控制端軟件設(shè)計的初衷是兼容更多的控制對象和易于用戶的二次開發(fā)，在初步設(shè)計中基于STM32的MDK5平臺使用FreeRtos操作系統(tǒng)，引出8路PWM，在控制類型中可選的有四軸、多軸、多種類型的固定翼以及直升機、小車等。在后續(xù)使用過程中發(fā)現(xiàn)不必要把資源運用在操作系統(tǒng)上，所以基于定時器時間片輪詢，設(shè)計了一種偽多任務(wù)框架，使用戶增加任務(wù)更加方便，且學(xué)習(xí)成本更低。在測試中一直使用固定翼模型、一路電機、3路舵面控制姿態(tài)。為了更好地與圖傳系統(tǒng)交互，前期花費大量時間將簡化的mavlink協(xié)議移植到控制板中，以及編寫驅(qū)動程序，得益于STM32標準庫的成熟，在移植了IIC、UART、PWM等驅(qū)動后，順利讀取到MPU9250、SPL01的原始數(shù)據(jù)，后續(xù)可用多種方法得到歐拉角、目標數(shù)據(jù)、期望數(shù)據(jù)、姿態(tài)數(shù)據(jù)后，根據(jù)傳統(tǒng)的雙環(huán)PID算法進行調(diào)參，當(dāng)然飛行系統(tǒng)與地面系統(tǒng)不同，稍有不慎便會造成巨大損失，所以添加了遙控器接管程序和動態(tài)調(diào)參程序，執(zhí)行端采用PPM接收機，能快速響應(yīng)地面RC指令，接管飛行器。

在控制系統(tǒng)基礎(chǔ)功能實現(xiàn)后，圖像端的引入大大降低了固定翼模型失控的風(fēng)險，接下來便需要調(diào)試視覺跟蹤參數(shù)，視覺跟蹤程序在控制系統(tǒng)中是一個單獨的任務(wù)，以20 ms的周期運行，當(dāng)接收到天空端的偏差數(shù)據(jù)后立刻執(zhí)行。首先需要消除機身姿態(tài)帶來的視覺偏差，在接收到偏差數(shù)據(jù)后立刻進入接收中斷，中段任務(wù)即根據(jù)當(dāng)前歐拉角坐標變化到大地坐標系下消除視覺誤差，隨后在跟蹤任務(wù)中給角速度期望即可實現(xiàn)視覺跟蹤。

5 測試數(shù)據(jù)

5.1 網(wǎng)卡設(shè)備測試數(shù)據(jù)

圖5 測試畫面圖

很多小模塊都能在不同程度上影響系統(tǒng)性能，例如幾款不同型號的CSI相機，因其傳感器的不同，對于延遲有不同的影響。但是對于網(wǎng)卡來說這些影響幾乎可以忽略不計，所以統(tǒng)一選擇Pi CAM V2相機，不同網(wǎng)卡（單個）測試系統(tǒng)圖像傳輸延時、距離等參數(shù)。測試數(shù)據(jù)如表1所示，測試畫面如圖5所示。

表1 網(wǎng)卡測試數(shù)據(jù)表

根據(jù)上表中測試結(jié)果，認為華碩AC56網(wǎng)卡，或者同樣使用RTL8812芯片的網(wǎng)卡，在5.8 ghz的頻段上效果更優(yōu)，有更強的信號強度和更低的延時。

5.2 跟蹤參數(shù)測試數(shù)據(jù)

因跟蹤測試模型為標準固定翼，所以在大致參數(shù)未得到驗證之前不能實際測試，因此首先在陸地上進行仿真調(diào)參，在仿真器中輸入目標距離，相對位置坐標，然后計算得到舵機副翼目標角度，升降翼目標角度，油門目標速度，又油門速度是由用戶給定，同時也由跟蹤物體決定，不同油門狀態(tài)下機翼目標角度不同且成非線性關(guān)系，所以在開啟視覺跟蹤后，無人機設(shè)定目標速度優(yōu)先級最高的是跟蹤物體速度，其次為人工干預(yù)，在地面靜止?fàn)顟B(tài)下沒辦法引入速度概念，所以在初步調(diào)試中認定跟蹤對象是50%油門速度運動的物體。在確定好初步調(diào)試方法和大量調(diào)試后，得到了以下測試數(shù)據(jù)，如表2所示。

表2 跟蹤參數(shù)測試數(shù)據(jù)表

6 結(jié)束語

如今隨著機器人領(lǐng)域的大力發(fā)展，喜愛DIY的玩家也越來越多，很多電子感官越來越模塊化，圖傳也不例外。市面上高清圖傳大致分為4G圖傳和局域網(wǎng)圖傳，前者距離遠延時大，后者距離近延時小，而本文設(shè)計的這款多功能圖傳，專為設(shè)計應(yīng)用于機器人、無人機、無人車的領(lǐng)域。能保障10 km的可視范圍，不消耗流量不依賴基站，大大節(jié)約成本。因運營商的網(wǎng)絡(luò)范圍一般只覆蓋于150 m以下的低空，所以這款圖傳在高空范圍內(nèi)的表現(xiàn)遠優(yōu)于市面上的4G圖傳，大大擴展了應(yīng)用范圍，具有較好的市場前景。

[1] 彭湛博. 無人機實時高清圖傳系統(tǒng)的設(shè)計與實現(xiàn)[D]. 西安: 西安電子科技大學(xué).

[2] 張龍彬，何佳文. 一種改進型FEC算法及其裝置: 中國，110971345A[P]. 2020-04-07.

[3] 宋利，劉孝勇，武國慶，等. 低延遲視頻編碼技術(shù)[J]. 北京航空航天大學(xué)學(xué)報，2021，47(3): 558-571.

Multi-functional Map Transmission System with Visual Tracking

This paper mainly introduces a multi-functional image transmission system based on raspberry pie host and single chip microcomputer, which is composed of raspberry pie host, wireless network card, flight control system based on single chip microcomputer and mavlink protocol, battery and switching power module. When working, the host with the camera at one end broadcasts the video coding signal and the posture signal read through the serial port through the wireless network card. After receiving the signal and decoding, the host network card at the receiving end transmits it to the mobile phone, computer or tablet through USB protocol or wireless network protocol, so as to browse the picture, motion posture and other data in real time. The whole system has the advantages of simple operation and rapid response, which can meet most application scenarios.

image transmission; wireless communication; embedded system; multi-function

TP11

A

1008-1151(2022)06-0001-04

2022-03-23

廣西壯族自治區(qū)“大學(xué)生創(chuàng)新創(chuàng)業(yè)項目”（202010595220）。

唐哲，男，桂林電子科技大學(xué)電子工程與自動化學(xué)院學(xué)生，研究方向為無人機機器人的自動控制。

黃喜軍（1977－），桂林電子科技大學(xué)副教授，研究方向為集成電路測試與智能優(yōu)化。