宋麗梅，呂昆昆，楊燕罡

（1.天津工業(yè)大學 電氣工程與自動化學院 天津市電工電能新技術重點實驗室，天津 300387；2.天津職業(yè)技術師范大學 機械工程學院，天津 300222）

引言

為設計更符合我國駕駛員人體工學的汽車座椅，需采集大量汽車座椅上人體的三維數(shù)據(jù)。目前人體關節(jié)點采集方式主要是基于二維圖像和三維點云[1-3]。

賴軍等人[4]提出的基于點云的人體尺寸測量方法能夠精確獲取人體關鍵尺寸，但需粘貼標記點。朱欣娟等人[5]提出的基于改進ASM（active shape model）的人體特征點定位和建模方法具有定位精度高、測量速度快的優(yōu)勢，但需要被測者保持特定的姿態(tài)。鮑陳等人[6]提出的基于散亂點云三維姿態(tài)測量方法精度高，但需被測者保持直立姿態(tài)。Deng J 等人[7]提出的堆疊沙漏網(wǎng)絡（stacked hourglass）能夠適應不同的測量場景。Shen C 等人[8]在堆疊沙漏網(wǎng)絡基礎上提出的生成對抗網(wǎng)絡（generative adversarial network，GAN）在識別精度上提高了0.2%。Kaiming H 等人[9]提出的Mask R-CNN網(wǎng)絡耗時長且精度受待測場景復雜度影響大。SIMON T 等人[10]提出利用自底向上進行關節(jié)點識別的模型OpenPose，該模型能準確獲取人體二維關節(jié)點坐標并利用PAF 方法[11]提取人體骨架?；谏疃葘W習的二維關節(jié)點檢測方法耗時短、精度高，但缺乏深度信息，無法滿足設計的需求。

針對上述問題，本文設計了融合深度學習和外極線約束的三維關節(jié)點獲取方法。在保留了深度學習二維關節(jié)點檢測方法精度高、耗時短優(yōu)勢的同時也能獲取關節(jié)點的三維信息。

1 二維關節(jié)點提取網(wǎng)絡

現(xiàn)有二維關節(jié)點提取網(wǎng)絡主要分為基于回歸和基于檢測2類，基于回歸的網(wǎng)絡檢測精度較高，但其受待測場景影響較大且耗時較長?；跈z測的網(wǎng)絡通過輸出關節(jié)點熱圖來獲取關鍵點位置，檢測速度快，但無法排除誤檢點的影響[12]。實際應用中，通常將關節(jié)點熱圖和回歸網(wǎng)絡相結合，提高網(wǎng)絡檢測效率。

1.1 網(wǎng)絡結構

網(wǎng)絡的初始化階段分為關節(jié)點位置初始化ρ1和肢體初始化 ?1，如圖1所示。

該階段采用VGGNet-19 網(wǎng)絡前10 層的輸出作為輸入，經(jīng)過卷積處理最終得到與輸入圖像大小相同的掩模圖像，2個初始化階段的處理過程分別如公式（1）和公式（2）所示。

圖1 初始化網(wǎng)絡結構示意圖Fig.1 Structure of initialization network

網(wǎng)絡核心階段主要用來獲取關節(jié)點和肢體的準確位置，如圖2所示。

圖2 核心網(wǎng)絡結構示意圖Fig.2 Structure of core network

該階段采用VGGNet-19 網(wǎng)絡前10 層的輸出及前一層關節(jié)點和肢體檢測網(wǎng)絡的輸出作為輸入，通過卷積運算得到修正后的掩模圖像。處理過程如公式（3）和公式（4）所示。

1.2 損失函數(shù)

由于采用雙通道網(wǎng)絡，因而采取雙損失函數(shù)進行網(wǎng)絡訓練，損失函數(shù)分別如公式（5）和公式（6）所示。

式中：I、J分別表示St、Lt特征圖中特征關節(jié)點和肢體的數(shù)量；（x,y）為特征點的位置；W(x,y)表示二值化函數(shù)；Sti(x,y)和Lt j(x,y)分別代表第t次迭代時St、Lt掩模圖上各點像素值；Si*(x,y)、L*j(x,y)分別代表關節(jié)點和肢體的真值置信圖，其中S*i(x,y)可由公式（7）獲取。

L*j(x,y)表示圖像中肢體的位置，其計算過程由公式（8）和公式（9）共同決定。

式中：nc(x,y)表示非零向量L*j,k(x,y)個數(shù)。

2 人體三維位姿測量方法

2.1 基于外極線約束的雙目三維數(shù)據(jù)獲取方法

文中采用如圖3所示的雙目系統(tǒng)進行數(shù)據(jù)采集，系統(tǒng)包含2個工業(yè)相機和1個輔助照明投影儀。

圖3 雙目采集裝置結構示意圖Fig.3 Structure of binocular acquisition device

假設某一關節(jié)點的三維坐標為[X,Y,Z,1]T，其在左右相機成像平面的坐標分別為[u1,v1,1]T和[u2,v2,1]T。經(jīng)雙目相機標定后可分別獲取左右相機的內(nèi)參矩陣Ml、Mr及其旋轉(zhuǎn)矩陣Rl、Rr和平移矩陣Tl、Tr。根據(jù)世界坐標系和相機成像坐標系的轉(zhuǎn)換關系，上述參數(shù)滿足公式（10）和公式（11）。

為了簡化后續(xù)描述，做如公式（12）的假設。

將公式（12）分別代入公式（10）和公式（11），得到公式（13）和公式（14）。

聯(lián)立公式（13）和公式（14）可得公式（15）。

從二維關節(jié)點獲取三維關節(jié)點的過程可歸結為公式（15）所示的方程求解問題。文中采用外極線約束補足漏檢二維關節(jié)點，原理如圖4所示[13]。

圖4 外極限匹配示意圖Fig.4 Schematic diagram of epipolar line matching

空間中某一點P(x,y,z)分別投影到左右相機成像平面Pl、Pr處，分別位于極平面POlOr與左右圖像平面交線Plel和Prer上。

搜索過程中采用Brief特征作為待匹配特征，Brief特征描述算子是一種簡單有效的特征提取方法，通過統(tǒng)計特征點 (x,y)周圍S×S區(qū)域內(nèi)N對像素點的像素變化，得到該點的特征表示[14]。提取Brief特征時，首先在特征點的鄰域內(nèi)按照公式（16）選取一對點 (xi,yi),i=1,2。

式中：N(μ,σ2)表示服從均值為μ ；方差為σ2的正態(tài)分布。

假設隨機選取2點的像素值分別為a、b，則2點處的Brief特征可做如公式（17）的表示。

由于人體關節(jié)點位置接近，選取S=35 作為Brief特征算子的作用范圍?？紤]到關節(jié)點位置的像素較為相似，選取N=256 作為Brief特征算子的位數(shù)。文中采用漢明距離作為特征相似度衡量的指標，選取Brief特征相同位數(shù)最多的2個點作為匹配點對。

2.2 人體三維關節(jié)點數(shù)據(jù)獲取流程

文中采用二維關節(jié)點提取網(wǎng)絡獲取左右相機圖像中關節(jié)點位置，利用外極線約束和Brief特征獲取左右相機圖像中關節(jié)點的匹配關系，整個三維關節(jié)點獲取流程如圖5所示。

圖5 人體三維關節(jié)點獲取流程示意圖Fig.5 Flow chart of 3-D joint point acquisition of human body

本文關節(jié)點提取方法，不僅保留了基于深度學習的二維關節(jié)點提取網(wǎng)絡速度快、精度高的特點，并且采用雙目采集裝置與外極線約束相結合的方式提高了三維關節(jié)點檢測效率。

3 實驗結果與分析

綜合考慮設備成本和采集效果，選取?？低暪镜腞S_A1300_GM60_M10 相機和Computar系列的M0814-MP 鏡頭搭建文中的雙目采集系統(tǒng)，選取BenQ 公司的E540系列投影儀作為輔助照明裝置。系統(tǒng)構成如圖6所示。

圖6 人體姿態(tài)三維測量系統(tǒng)Fig.6 Human position 3D measurement system

雙目標定采用的靶標及標定數(shù)據(jù)如圖7所示。靶標圓心的水平距離為55 mm，豎直距離為51 mm。

圖7 標定靶標及采集標定數(shù)據(jù)Fig.7 Calibrate target and collect calibration data

將5個不同位置的標定數(shù)據(jù)輸入基于OpenCV 2.4.10 設計的標定程序[15]，得到左右相機的內(nèi)參，具體如表1所示。利用表1所得相機內(nèi)參可得表2所示的雙目相機外參。

通過統(tǒng)計水平和豎直方向上測量數(shù)據(jù)與真值數(shù)據(jù)的差異，得到系統(tǒng)的標定誤差。計算過程如公式（18）所示。

表1 左右相機的內(nèi)部參數(shù)Table1 Internal parameters of left and right cameras

表2 雙目相機外部參數(shù)Table2 External parameters of binocular cameras

式中：yi為圓心距離的測量值；為圓心距離的標稱值；N為測量數(shù)據(jù)樣本數(shù)，文中水平方向誤差評定時有N=10×9=90，豎直方向評定時有N=8×11=88，測量結果如圖8所示。

文中所測量人體關節(jié)點如圖9所示。

由于文中采集的待檢測數(shù)據(jù)有限，選取COCO2017數(shù)據(jù)集作為本文的訓練及驗證數(shù)據(jù)。文中采用的訓練測試數(shù)據(jù)構成如表3所示。

圖8 雙目三維測量系統(tǒng)立體標定誤差Fig.8 Stereo calibration error of 3-D measurement system

圖9 本文采集人體關節(jié)點位置示意圖Fig.9 Position diagram of human joints collected in this paper

表3 二維人體關節(jié)點提取網(wǎng)絡訓練測試數(shù)據(jù)集構成Table3 Construction of dataset of human 2-D joint extraction network

訓練過程中每隔10 張進行一次驗證以獲取訓練過程中各項數(shù)據(jù)，通過選取不同核心網(wǎng)絡循環(huán)次數(shù)t，得到如圖10所示的訓練結果。

由圖10可知，當t=6時，網(wǎng)絡具有較快的收斂速度和檢測精度，實際使用中也選取t=6。為測試其在本文待測場景中的檢測準確率，采集左右相機各50 張圖像構成測試集，測試結果如圖11所示（紅色圈部位代表漏檢關節(jié)點）。

通過統(tǒng)計每輛車左相機和右相機檢測情況，利用公式（19）得到二維關節(jié)點提取網(wǎng)絡在整個測試集上的檢測精度。

圖10 COCO2017 數(shù)據(jù)集中的人體圖像Fig.10 Human body image in COCO2017 dataset

圖11 網(wǎng)絡訓練過程中精度值變化趨勢Fig.11 Trend of precision during network training

式中：P為測試精度；n代表待測樣本關節(jié)點總數(shù)；nr和nl分別表示左相機和右相機采集關節(jié)點總數(shù)，具體統(tǒng)計數(shù)據(jù)如表4所示。

由表4可知，二維關節(jié)點提取網(wǎng)絡平均提取精度為92%，并且漏檢往往發(fā)生在左右相機某一幅圖中，因而可通過本文提出的基于外極線匹配的方法來獲取漏檢點的位置，進行缺失點補足后的二維關節(jié)點檢測，結果如表5所示。

采用外極線約束和Brief特征后二維關節(jié)點檢測精度從原來的92%增加到了98%。文中采用圖12中 θ1、θ2、θ3對算法進行穩(wěn)定性評價。

表4 左右相機關節(jié)點檢測結果統(tǒng)計Table4 Joint point detection results of left and right cameras

表5 改進二維關節(jié)點檢測結果統(tǒng)計Table5 Statistics of improved 2-D joint detection results

圖12 左右相機不同的檢測結果Fig.12 Different test results of left and right cameras

假設B(x1,y1,z1)、C(x2,y2,z2)、D(x3,y3,z3)，根據(jù)余弦定理可知：

分別利用傳統(tǒng)測量方法和本文方法獲取40組三維關節(jié)點 坐標信息，計算待測關鍵角度 θ1、θ2、θ3，求取其均值和方差作為觀測量，如表6所示。

表6 不同方法關鍵角度統(tǒng)計結果Table6 Statistical results of key angles of different methods

由表6可知，本文方法和傳統(tǒng)方法所得θ1、θ3均值基本相同，但θ2測量結果存在較大偏差。駕駛情況下 θ2角度通常大于90°，因而傳統(tǒng)方法測量結果存在較大偏差。本文方法穩(wěn)定性較高，適用于汽車座椅上三維人體位姿數(shù)據(jù)的測量。

4 結論

對比傳統(tǒng)關節(jié)點測量方法，本文提出了一種融合深度學習和外極線約束的人體三維關節(jié)點檢測方法。該方法采用多階段循環(huán)網(wǎng)絡提取關節(jié)點二維坐標，利用外極線約束和Brief特征進行缺失關節(jié)點補足和匹配，最終獲取人體關節(jié)點的三維信息。實驗結果表明，本文三維關節(jié)點檢測方法檢測精度達到98%，并且相比傳統(tǒng)三維關節(jié)點獲取方法，該方法穩(wěn)定性較高。目前該方法仍存在以下問題：1）二維關節(jié)點提取網(wǎng)絡存在漏檢，需搜集自采數(shù)據(jù)進行網(wǎng)絡性能調(diào)節(jié)。2）采集系統(tǒng)對環(huán)境光線要求較高，后續(xù)需增加多組補光裝置，保證采集環(huán)境光線波動較小。