施博凱 張昕 張志鵬 寧洪龍 邱天

收稿日期：2023-08-02

基金項(xiàng)目：2019年廣東省撥款高校建設(shè)“沖補(bǔ)強(qiáng)”專項(xiàng)基金；五邑大學(xué)高級(jí)人才科研啟動(dòng)基金2019（5041700171）；2021年江門市創(chuàng)新實(shí)踐博士后課題研究資助項(xiàng)目（JMBSH2021B04）；廣東省重點(diǎn)領(lǐng)域研發(fā)計(jì)劃（2020B0101030002）；2020五邑大學(xué)大學(xué)生創(chuàng)新創(chuàng)業(yè)計(jì)劃（202011349186）

DOI：10.19850/j.cnki.2096-4706.2024.05.021

摘? 要：文章介紹了一種改進(jìn)的球形目標(biāo)運(yùn)動(dòng)軌跡擬合算法，并以高爾夫球?yàn)閷?shí)例進(jìn)行算法驗(yàn)證。針對(duì)三次樣條插值曲線平滑性較弱問(wèn)題，提出一種基于濾波降噪的改進(jìn)插值算法，實(shí)驗(yàn)結(jié)果表明該算法對(duì)插值結(jié)果影響細(xì)微的情況下平滑了擬合曲線。實(shí)驗(yàn)首先檢測(cè)出球心坐標(biāo)，在雙目序列圖像之間根據(jù)坐標(biāo)差異進(jìn)行空間點(diǎn)的三維重建；再用一種基于Savitzky-Golay濾波的三次樣條插值算法將高爾夫球在空間中的三維散點(diǎn)進(jìn)行非線性擬合處理，最終完成運(yùn)動(dòng)軌跡的三維重建。通過(guò)模擬實(shí)驗(yàn)，與傳統(tǒng)算法相比，文章提出的改進(jìn)算法恢復(fù)運(yùn)動(dòng)物體三維信息的效果更加顯著，且平均誤差率在5%以內(nèi)。

關(guān)鍵詞：三維重建；目標(biāo)檢測(cè)；Savitzky-Golay濾波；三次樣條插值

中圖分類號(hào)：TP391? ? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2024）05-0094-08

Reconstruction of Spherical Object Motion Trajectory Based on Binocular Vision

SHI Bokai1， ZHANG Xin1， ZHANG Zhipeng1， NING Honglong2， QIU Tian1

（1.Joint Laboratory of Digital Optical Chips， Institute of Semiconductors， Chinese Academy of Sciences， Wuyi University， Jiangmen? 529020， China; 2.State Key Laboratory of Luminescent Materials and Devices， Institute of Polymer Optoelectronic Materials and Devices， School of Materials Science and Engineering， South China University of Technology， Guangzhou? 510640， China）

Abstract： This paper introduces an improved algorithm for fitting the movement trajectory of spherical targets， and validates the algorithm with a golf ball as an example. Aiming at the problem of weak smoothness of cubic Spline interpolation curve， an improved interpolation algorithm based on filtering noise reduction is proposed. The experimental results show that the algorithm smoothes the fitting curve when the effect of the algorithm on the interpolation result is slight. Firstly， the spherical center coordinates are detected， and the 3D reconstruction of spatial points is performed between binocular sequence images according to the coordinate difference; Then a cubic Spline interpolation algorithm based on Savitzky Golay filtering is used to nonlinear fit the golf ball's 3D scattered points in space， and finally the 3D reconstruction of the motion trajectory is completed. Through simulation experiments， compared with the traditional algorithm， the improved algorithm proposed in this paper has a more significant effect in restoring the 3D information of moving objects， and the average error rate is less than 5%.

Keywords： 3D reconstruction; object detection; Savitzky-Golay filtering; Cubic Spline Interpolation

0? 引? 言

三維重建是一種計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺(jué)領(lǐng)域的技術(shù)，用于從多個(gè)二維圖像或其他數(shù)據(jù)源中恢復(fù)物體或場(chǎng)景的三維模型。三維重建剛開(kāi)始主要針對(duì)靜態(tài)物體，隨著時(shí)間推移，技術(shù)逐漸發(fā)展，在重建動(dòng)態(tài)物體的運(yùn)動(dòng)軌跡方面也有很好的效果。高爾夫運(yùn)動(dòng)在世界范圍內(nèi)已經(jīng)逐漸發(fā)展到大眾化的運(yùn)動(dòng)，吸引了大量的觀眾和參與者[1]，所以本文以高爾夫球作為具體化的球形目標(biāo)進(jìn)行實(shí)驗(yàn)和研究。

三維重建技術(shù)主要分為基于幾何結(jié)構(gòu)的重建方法和基于圖像的重建方法兩種?；趲缀谓Y(jié)構(gòu)的三維重建方法是根據(jù)物體的幾何形狀、尺寸和位置等信息進(jìn)行重建的，常見(jiàn)的算法有點(diǎn)云法、體素法、多視圖立體匹配法等；基于圖像的重建方法則通過(guò)對(duì)多張圖像進(jìn)行解析計(jì)算，還原出物體的三維信息。目前利用圖像進(jìn)行三維重建主要研究方向?yàn)閱文恳曈X(jué)與雙目視覺(jué)。其中雙目視覺(jué)也稱立體視覺(jué)（stereopsis），是基于生物學(xué)原理模擬人類雙眼，利用兩個(gè)攝像頭在同一場(chǎng)景下拍攝得到圖像，根據(jù)視覺(jué)差異，通過(guò)對(duì)比計(jì)算兩個(gè)圖像的像素信息，之后推斷出物體的深度信息，繼而重建出三維場(chǎng)景。本文基于雙目立體視覺(jué)系統(tǒng)進(jìn)行研究。

本文利用左、右攝像頭拍攝的高爾夫球雙目序列圖像，首先進(jìn)行相機(jī)標(biāo)定，獲取兩相機(jī)的參數(shù)，之后定位出球心在圖像中的坐標(biāo)，最后通過(guò)立體視覺(jué)恢復(fù)高爾夫球在運(yùn)動(dòng)中的三維信息。使用雙目視覺(jué)三維重建的方法可以恢復(fù)高爾夫球的運(yùn)動(dòng)軌跡，對(duì)初學(xué)者矯正擊球方式、運(yùn)動(dòng)員做賽前訓(xùn)練與賽后復(fù)盤能發(fā)揮很大的作用。

1? 目標(biāo)檢測(cè)

1.1? 方法簡(jiǎn)介

近年來(lái)，隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，作為其中重要組成部分之一的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)，在視覺(jué)領(lǐng)域得到了研究學(xué)者的廣泛關(guān)注，并在體育賽事、國(guó)防監(jiān)測(cè)等方向得到應(yīng)用[2-4]。運(yùn)動(dòng)目標(biāo)檢測(cè)是將圖像序列或一段視頻中發(fā)生位置變化的物體作為前景標(biāo)記出來(lái)的過(guò)程，它可以對(duì)需要檢測(cè)的對(duì)象進(jìn)行識(shí)別、跟蹤、定位等行為。在體育項(xiàng)目中，背景差分法是常用且有效的目標(biāo)檢測(cè)方法之一，通過(guò)從圖像序列當(dāng)前幀減去背景模型來(lái)檢測(cè)前景目標(biāo)，可以快速檢測(cè)出感興趣目標(biāo)[5]。

在傳統(tǒng)算法領(lǐng)域主流的目標(biāo)檢測(cè)算法有背景差分法、幀間差分法和光流法。由于光流法的計(jì)算量大，處理時(shí)間長(zhǎng)，無(wú)法實(shí)現(xiàn)實(shí)時(shí)檢測(cè)，對(duì)場(chǎng)景光線變化較為敏感；幀間差分法雖然實(shí)現(xiàn)簡(jiǎn)單，檢測(cè)速度快，但缺點(diǎn)在于需要準(zhǔn)確地選擇幀間間隔，幀間間隔在很大程度上會(huì)影響目標(biāo)檢測(cè)的精確程度。背景差分法因其計(jì)算量少，實(shí)時(shí)性強(qiáng)而被研究學(xué)者與從事視覺(jué)相關(guān)工作人員廣泛應(yīng)用。

背景差分法是目標(biāo)檢測(cè)的一個(gè)重要技術(shù)，用于從靜態(tài)攝像機(jī)中檢測(cè)移動(dòng)物體與視頻監(jiān)控處理等領(lǐng)域。該方法的基本原理是根據(jù)當(dāng)前幀和參考幀之間的差異檢測(cè)運(yùn)動(dòng)物體，此參考幀通常稱為“背景圖像”或“背景模型”[6，7]。幀間差分法是將圖像序列或視頻序列相鄰幀進(jìn)行差分以檢測(cè)目標(biāo)的一種圖像處理技術(shù)。當(dāng)相鄰幀產(chǎn)生明顯變化時(shí)，即意味著目標(biāo)的位置發(fā)生改變，此時(shí)目標(biāo)開(kāi)始運(yùn)動(dòng)，通過(guò)差分連續(xù)幀得到差分圖像，之后與自定義閾值作對(duì)比，將圖像二值化，以此定位出運(yùn)動(dòng)目標(biāo)。本文通過(guò)對(duì)比背景差分法與幀間差分法的效果，選擇更優(yōu)的目標(biāo)檢測(cè)算法用于檢測(cè)球心。精確的球心檢測(cè)是空間點(diǎn)三維重建的前提，保障了后續(xù)運(yùn)動(dòng)軌跡擬合的效果。

1.2? 背景差分法

1.2.1? 背景建模

背景差分法的關(guān)鍵技術(shù)在于背景模型的建立，其中一種常用的算法是基于高斯模型實(shí)時(shí)更新背景。雖然混合高斯模型（Gaussian Mixture Model， GMM）具有靈活的參數(shù)調(diào)節(jié)能力——可以通過(guò)調(diào)整高斯分布的數(shù)量、權(quán)重和參數(shù)等來(lái)適應(yīng)不同場(chǎng)景的背景特點(diǎn)，從而提高算法的性能和魯棒性。但是缺點(diǎn)也相應(yīng)地比較明顯——計(jì)算復(fù)雜度高，降低目標(biāo)檢測(cè)的實(shí)時(shí)性。而單高斯模型（Single Gaussian Model， SGM）實(shí)現(xiàn)簡(jiǎn)單，適用于室內(nèi)場(chǎng)景，因此本文使用單高斯模型進(jìn)行背景建模，符合后續(xù)三維重建實(shí)時(shí)性的要求。

對(duì)一個(gè)背景圖像，特定像素亮度的分布滿足高斯分布，即對(duì)背景圖像A，每一個(gè)點(diǎn)（x，y）的亮度滿足A（x，y）～N（μ，d）：

（1）

式（1）中μ為數(shù)據(jù)的均值，d為數(shù)據(jù)的標(biāo)準(zhǔn)差。計(jì)算一段時(shí)間內(nèi)的視頻序列圖像中每一個(gè)像素點(diǎn)的均值μ和方差d，作為背景模型。假設(shè)一幅圖像G，其包含前景，對(duì)于圖像上的每一個(gè)點(diǎn)（x，y）計(jì)算，若：

（2）

在式（2）中，T為一個(gè)設(shè)定好的閾值，當(dāng)不等式成立時(shí)，將該點(diǎn)標(biāo)記為背景點(diǎn)，反之則為前景點(diǎn)。將每一幀圖像都進(jìn)行背景的更新：

（3）

其中，p為常數(shù)，表示背景更新率，p的大小與更新速度成反比。通常情況下，背景更新后p不再更新。

在實(shí)時(shí)處理過(guò)程中，對(duì)于每個(gè)像素，將當(dāng)前幀圖像的像素值與背景模型進(jìn)行比較。如果像素值與背景模型之間的差異小于一個(gè)設(shè)定的閾值，將該像素標(biāo)記為背景；否則，將其標(biāo)記為前景。

通過(guò)更新背景模型的均值和標(biāo)準(zhǔn)差，可以適應(yīng)背景的變化。當(dāng)一個(gè)像素被確定為背景時(shí)，可以通過(guò)以下算式更新背景模型：

（4）

（5）

在上式中，、 為更新后的均值和標(biāo)準(zhǔn)差，μt-1、dt-1為舊的均值和標(biāo)準(zhǔn)差，x為當(dāng)前像素值，ρ為參數(shù)的更新速率，也稱參數(shù)學(xué)習(xí)率。

通過(guò)不斷更新背景模型，可以適應(yīng)背景的變化，并降低背景變化引起的誤檢率。

1.2.2? 背景差分

本文所處實(shí)驗(yàn)環(huán)境為室內(nèi)，場(chǎng)景的環(huán)境光基本上全程保持一致，在高爾夫球的運(yùn)動(dòng)過(guò)程中，運(yùn)動(dòng)中的球與背景之間存在差異，利用背景差分法即可得到差分灰度圖像。差分灰度圖像包含了運(yùn)動(dòng)目標(biāo)信息，相對(duì)于背景圖像又稱為前景圖像[8]。

假設(shè)前景圖像為g （x，y），當(dāng)前幀輸入圖像為f1 （x，y），背景圖像為f2 （x，y）。則可以表示為：

（6）

在進(jìn)行背景差分法處理時(shí)，像素點(diǎn)的差值可能會(huì)存在負(fù)值的情況，為了避免這種情況的出現(xiàn)，可以進(jìn)行截?cái)嗵幚恚杭串?dāng)g （x，y）＜0時(shí)，像素點(diǎn)仍取0。但此方法會(huì)令新圖像整體偏暗，不利于后續(xù)閾值分割的處理。

在本文提出的背景差分法中，選擇取絕對(duì)值的方法對(duì)負(fù)值進(jìn)行處理，如式（7）所示：

（7）

由上式可知：前景圖像可以概括為當(dāng)前幀的運(yùn)動(dòng)目標(biāo)與背景圖像差值的絕對(duì)值。背景差分法可以用來(lái)顯示兩幅圖像之間的差異，不僅可以應(yīng)用在前景運(yùn)動(dòng)目標(biāo)的檢測(cè)上，也可以檢測(cè)視頻鏡頭邊界。

1.3? 幀間差分法

在本文中，對(duì)圖像序列進(jìn)行幀間差分。差分算式如下：

（8）

（9）

在上式中，Dm （x，y）為差分結(jié)果圖像，F(xiàn)m （x，y）為第k幀圖像，F(xiàn)m-1 （x，y）為第k-1幀圖像，Bm （x，y）為二值圖像，T為閾值。當(dāng)差分圖像中某像素點(diǎn)的值小于T，則認(rèn)為該點(diǎn)是靜止的，該點(diǎn)被判為背景點(diǎn)；若大于等于閾值T，則認(rèn)為該點(diǎn)非靜止，該點(diǎn)標(biāo)記為目標(biāo)點(diǎn)。

上述為使用相鄰兩個(gè)連續(xù)幀進(jìn)行差分的情況，即二幀差分法。雖然原理簡(jiǎn)單，計(jì)算量小，但存在以下缺點(diǎn)：魯棒性較差，二幀差分法對(duì)噪聲比較敏感，當(dāng)背景復(fù)雜或者存在噪聲時(shí)，可能會(huì)產(chǎn)生誤檢測(cè)或者漏檢測(cè)的問(wèn)題；對(duì)于高速運(yùn)動(dòng)的物體，二幀差分會(huì)使分割區(qū)域遠(yuǎn)大于待檢測(cè)目標(biāo)；相鄰的兩個(gè)連續(xù)幀差分可能導(dǎo)致兩幀中待檢測(cè)目標(biāo)重疊部分一并差分，造成空洞。

鑒于二幀差分法存在的缺點(diǎn)，使用三幀差分法可以改善圖像的處理效果。三幀差分法在二幀差分法的基礎(chǔ)上，將相鄰的每三幀圖像作為一組進(jìn)行差分。相比于二幀差分法，三幀差分法對(duì)快速運(yùn)動(dòng)物體的檢測(cè)能力更強(qiáng)，可以更精確地捕捉到快速運(yùn)動(dòng)物體的變化，提高目標(biāo)檢測(cè)的精度[9]。

設(shè)相鄰的連續(xù)三幀圖像為Fm-1、Fm、Fm+1，根據(jù)二幀差分法的公式算出相鄰兩幀的差分圖像，算式如下：

（10）

（11）

（12）

（13）

在上式中，Dm+1 （x，y）、Dm （x，y）為相應(yīng)幀的差分結(jié)果圖像，Bm+1 （x，y）、Bm （x，y）為相應(yīng)幀的二值圖像，T為閾值，根據(jù)上式可得運(yùn)動(dòng)目標(biāo)的二值圖像，如式（14）所示：

（14）

移動(dòng)物體的檢測(cè)是一項(xiàng)識(shí)別物體在特定區(qū)域中運(yùn)動(dòng)的技術(shù)，是計(jì)算機(jī)視覺(jué)和視頻處理領(lǐng)域非常重要和有效的研究課題，因?yàn)樗窃S多復(fù)雜過(guò)程的關(guān)鍵步驟，如序列圖像對(duì)象檢測(cè)和視頻跟蹤活動(dòng)。因此，本文研究雙目序列圖像中移動(dòng)目標(biāo)的檢測(cè)并進(jìn)行精準(zhǔn)定位具有重要意義[10]。

2? 三維重建

本文涉及的三維重建技術(shù)為基于雙目視覺(jué)的三維重建，通常情況下基于雙目視覺(jué)的三維重建需要經(jīng)過(guò)圖像獲取、相機(jī)雙目標(biāo)定、雙目校正、雙目匹配等步驟，最終完成三維重建。

相機(jī)雙目標(biāo)定的作用是獲取相機(jī)的內(nèi)參數(shù)，如焦距（focal length）、主點(diǎn)（principal point）、畸變系數(shù)（distortion coefficient）和外參數(shù)，如兩相機(jī)之間的旋轉(zhuǎn)矩陣與平移向量，用于表示二維像素點(diǎn)與空間點(diǎn)的映射關(guān)系[11]。

理想情況下，雙目視覺(jué)的兩個(gè)相機(jī)共面且光軸平行，參數(shù)相同，但是在實(shí)際操作中難以實(shí)現(xiàn)，因?yàn)閮蓚€(gè)相機(jī)在安裝時(shí)無(wú)法看到光軸和成像平面。

三維空間點(diǎn)成像的模型如圖1所示，空間中任意一點(diǎn)P，分別用C1和C2兩個(gè)攝像頭同時(shí)拍攝P點(diǎn)，P在兩平面上的投影點(diǎn)分別為P1、P2，且已解決圖像配準(zhǔn)問(wèn)題——P1、P2為相互匹配的兩個(gè)點(diǎn)，由此可得：P點(diǎn)為直線C1P1與直線C2P2的交點(diǎn)，它的三維位置是唯一確定的。

圖1? 三維空間點(diǎn)成像模型

雙目校正是根據(jù)相機(jī)雙目標(biāo)定后獲得的內(nèi)、外參數(shù)和兩個(gè)相機(jī)相對(duì)位置，對(duì)左右視圖消除畸變影響以及行對(duì)準(zhǔn)的操作。校正的目的是把兩個(gè)不同方向的圖像平面重新投影到同一個(gè)平面且光軸互相平行，轉(zhuǎn)化為理想情況的模型。雙目校正操作后的成像模型如圖2所示，經(jīng)過(guò)校正的雙目相機(jī)成像共面且光軸互相平行。

圖2? 校正后三維空間成像模型

雙目匹配是指通過(guò)比較兩個(gè)攝像頭拍攝的圖像，找到相互匹配的像素點(diǎn)，計(jì)算得到圖像中物體的深度信息。也稱立體匹配。雙目匹配的目標(biāo)是找到左、右圖像中對(duì)應(yīng)的像素點(diǎn)之間的視差值，即左、右像素的水平位移差異，通過(guò)視差值推測(cè)出物體在圖像中的深度[12]。

在本文中，將高爾夫球運(yùn)動(dòng)軌跡的三維重建轉(zhuǎn)化為一系列空間點(diǎn)的三維重建。其中，相機(jī)的雙目標(biāo)定是必須進(jìn)行的操作，用于確定兩個(gè)相機(jī)的內(nèi)、外參數(shù)，以便進(jìn)行后續(xù)三維坐標(biāo)的計(jì)算。雙目校正與雙目匹配可以省略，這兩個(gè)操作的主要目的是減少計(jì)算量，已知兩個(gè)相機(jī)中的高爾夫球球心在三維空間中代表同一點(diǎn)，這種情況下只需要根據(jù)相機(jī)標(biāo)定建立的世界坐標(biāo)系到像素坐標(biāo)系對(duì)應(yīng)的投影矩陣，利用最小二乘法求取物體三維空間點(diǎn)的坐標(biāo)即可完成高爾夫球的三維重建。本文已解決圖像配準(zhǔn)問(wèn)題，即左右相機(jī)拍攝到的圖像中的高爾夫球心代表空間中的同一點(diǎn)，空間點(diǎn)三維重建的基本模型如圖3所示。

圖3? 空間點(diǎn)三維重建模型

空間中任意一點(diǎn)P在左、右相機(jī)上的投影坐標(biāo)記為P1P2，它們的在相機(jī)平面上的投影坐標(biāo)分別記為

P1（u1，v1）、P2（u2，v2），投影矩陣分別為M1、M2：

（15）

（16）

則對(duì)左、右相機(jī)有：

（17）

（18）

在上式中，Zc1、Zc2分別為左、右相機(jī)坐標(biāo)系上的Z坐標(biāo)，（u1，v1）、（u2，v2）分別為左、右相機(jī)所拍攝圖像上的像素坐標(biāo)，（X，Y，Z，1）為P點(diǎn)在世界坐標(biāo)系下的齊次坐標(biāo)， 分別為Mk的第i行第j列元素。聯(lián)立式（17）與式（18）可以消去Zc1、Zc2，得到：

（19）

使用最小二乘法即可解出X，Y，Z三個(gè)未知數(shù)，即為P點(diǎn)的三維坐標(biāo)（X，Y，Z）。

3? 基于Savitzky-Golay濾波的三次樣條插值法

3.1? 三次樣條插值

三次樣條插值是一種常用的數(shù)值插值方法，用于在給定一組離散數(shù)據(jù)點(diǎn)的情況下，通過(guò)一組三次多項(xiàng)式來(lái)逼近這些數(shù)據(jù)點(diǎn)，從而得到一個(gè)平滑的曲線。三次樣條插值的優(yōu)點(diǎn)是可以在保持平滑性的同時(shí)，避免了其他插值方法可能引起的振蕩和不穩(wěn)定性。三次樣條插值的基本思想是將插值區(qū)間內(nèi)的每個(gè)小區(qū)間擬合成一個(gè)三次多項(xiàng)式，使得整體曲線在這些小區(qū)間內(nèi)既能夠經(jīng)過(guò)給定的數(shù)據(jù)點(diǎn)，又保持平滑。

假設(shè)[a，b]區(qū)間內(nèi)有：a = x0＜x1＜x2＜…＜xn = b，存在函數(shù)S （x），使得：

1）在每個(gè)子區(qū)間[xi， xi+1]（i = 0， 1， 2， …， n-1）上S （x）是三次多項(xiàng)式。

2）在[a，b]區(qū)間上有1階、2階導(dǎo)數(shù)。則稱S （x）為區(qū)間[a，b]上的三次樣條函數(shù)，可以構(gòu)造方程：

（20）

其中ai，bi，ci，di為未知數(shù)，有n個(gè)小區(qū)間，則有4n個(gè)未知數(shù)，稱這個(gè)方程為三次樣條函數(shù)，且S （x）滿足以下條件：

1）所有點(diǎn)均滿足插值條件：S （x） = yi（i = 0，1，…，n），除了左右兩個(gè)端點(diǎn)，剩下n-1個(gè)點(diǎn)皆滿足Si （xi+1） = yi+1，Si+1 （xi+1） = yi+1這兩個(gè)方程，由此可得2n-2個(gè)方程，此外左右兩個(gè)端點(diǎn)滿足第一與最后一個(gè)方程，則總共有2n個(gè)方程。

2）由于n-1個(gè)內(nèi)部點(diǎn)的一階導(dǎo)數(shù)連續(xù)，即在第i區(qū)間的終點(diǎn)和第i+1區(qū)間的起點(diǎn)為同一點(diǎn)，其一階導(dǎo)數(shù)相等，即 ，由此條件可得n-1個(gè)方程。

3）n-1個(gè)內(nèi)部點(diǎn)的二階導(dǎo)數(shù)連續(xù)，即 ，由此可得n-1個(gè)方程，綜上有4n-2個(gè)方程。

根據(jù)以上4n-2個(gè)條件，再加上邊界條件：，即自然邊界，即可求解4n個(gè)方程，求出y的表達(dá)式。

盡管三次樣條插值穩(wěn)定性好，且分段插值可以有效避免Runge現(xiàn)象，在工程中具有廣泛應(yīng)用[13]。但是三次樣條插值只能保證各小區(qū)間的連續(xù)性，無(wú)法保證整條插值曲線的光滑性，且在某些情況下可能出現(xiàn)振蕩現(xiàn)象。特別是當(dāng)數(shù)據(jù)點(diǎn)之間存在噪音時(shí)，插值曲線會(huì)過(guò)度適應(yīng)數(shù)據(jù)，導(dǎo)致插值函數(shù)在數(shù)據(jù)點(diǎn)之間振蕩。

3.2? Savitzky-Golay濾波

噪聲是信號(hào)或數(shù)據(jù)中的無(wú)用信息，它是在測(cè)量、傳輸、采集或處理過(guò)程中受到的隨機(jī)擾動(dòng)。在現(xiàn)實(shí)世界中，我們經(jīng)常會(huì)遇到各種形式的噪聲，它們可能來(lái)自環(huán)境、傳感器、設(shè)備、通信通道等。所以，降噪處理一直是圖像處理和計(jì)算機(jī)視覺(jué)研究的熱點(diǎn)[14]。對(duì)曲線進(jìn)行平滑降噪是一種基本圖像處理方法，將曲線上每個(gè)點(diǎn)的數(shù)值替換為該點(diǎn)及其鄰域一定范圍內(nèi)點(diǎn)的平均值，從而去除高頻噪聲，使曲線更加平滑[15]。

Savitzky-Golay濾波是一種數(shù)字信號(hào)處理中常用的平滑濾波方法，它采用多項(xiàng)式擬合的方式對(duì)信號(hào)進(jìn)行平滑處理。這種濾波方法適用于平滑時(shí)間序列信號(hào)或曲線，并且能夠保留信號(hào)的整體特征，同時(shí)去除高頻噪聲成分，即在消去噪聲的同時(shí)保持信號(hào)的寬度與形狀[16]。

定義一個(gè)寬度為n = 2m + 1的窗口，對(duì)曲線由左向右進(jìn)行測(cè)量。窗口自左至右滑動(dòng)，直至擬合完所有數(shù)據(jù)點(diǎn)。擬合后的曲線即被去除了原有的高頻分量。假設(shè)一組2m + 1個(gè)數(shù)據(jù)，其以數(shù)據(jù)點(diǎn)yt為中心，對(duì)這組數(shù)據(jù)點(diǎn)進(jìn)行k-1次多項(xiàng)式的擬合，如式（21）所示：

（21）

求解上述方程，需要令n＞k。由2m + 1個(gè)數(shù)據(jù)，分別有2m + 1個(gè)方程，可以將擬合方程改寫為矩陣形式，如式（22）所示：

（22）

其中Y為數(shù)據(jù)值向量，A為系數(shù)矩陣，X為自變量矩陣，ε為殘差。式（22）可以通過(guò)最小二乘法解得稀疏矩陣為 ，其值如式（23）所示，擬合后的數(shù)據(jù)預(yù)測(cè)值為 ，其值如式（24）所示：

（23）

（24）

3.3? 算法流程

在運(yùn)動(dòng)中由于擊球速度較快，但受限于本實(shí)驗(yàn)使用的雙目相機(jī)拍攝幀數(shù)不高，球的一次運(yùn)動(dòng)中拍攝得到的圖片數(shù)量較少，對(duì)空間點(diǎn)進(jìn)行三維重建得到的坐標(biāo)數(shù)量不足以對(duì)整個(gè)運(yùn)動(dòng)過(guò)程進(jìn)行重建，需要用插值法對(duì)數(shù)據(jù)進(jìn)行模擬補(bǔ)全。

插值法在圖像處理和信號(hào)處理、科學(xué)計(jì)算等領(lǐng)域中是非常常用的一項(xiàng)技術(shù)，是從已知點(diǎn)近似計(jì)算未知點(diǎn)的近似計(jì)算方法，即構(gòu)造一個(gè)多項(xiàng)式函數(shù)，使其通過(guò)所有已知點(diǎn)，然后用求得的函數(shù)預(yù)測(cè)位置點(diǎn)。本文使用基于Savitzky-Golay濾波的三次樣條插值解決運(yùn)動(dòng)軌跡擬合問(wèn)題，算法流程如圖4所示。

圖4? 算法流程

4? 實(shí)驗(yàn)結(jié)果

4.1? 相機(jī)標(biāo)定結(jié)果

使用MATLAB工具箱里“Stereo Camera Calibrator”進(jìn)行標(biāo)定，兩個(gè)相機(jī)在三維空間中的相對(duì)位置如圖5所示，可以看到兩個(gè)相機(jī)在場(chǎng)景中分開(kāi)放置，光心不在同一水平線上，極線不平行且不共面。

通過(guò)標(biāo)定得到兩個(gè)相機(jī)的內(nèi)參矩陣I1、I2，畸變系數(shù)D1、D2，以及兩相機(jī)之間的旋轉(zhuǎn)矩陣r與平移向量t，算式如下：

（25）

（26）

（27）

（28）

（29）

（30）

圖5? 兩個(gè)相機(jī)的相對(duì)位置

4.2? 球心檢測(cè)結(jié)果

圖6為三種運(yùn)動(dòng)目標(biāo)檢測(cè)算法的結(jié)果，分別是二幀差分法、三幀差分法、背景差分法。

圖6（a）為球體在某次運(yùn)動(dòng)中其中一幀圖像；圖6（b）為二幀差分法檢測(cè)球體的結(jié)果，可以看到圖中存在兩個(gè)物體，這種現(xiàn)象也稱為“鬼影”，即在物體原來(lái)的位置和現(xiàn)在的位置都出現(xiàn)該物體，這是因?yàn)榍蛩龠^(guò)快，相鄰兩幀的差分不足以檢測(cè)出目標(biāo)，在運(yùn)動(dòng)目標(biāo)速度較快的情況下，二幀差分法不適用；圖6（c）為三幀差分法的檢測(cè)結(jié)果，雖然將差分的幀間間隔定為三幀后解決了“鬼影”現(xiàn)象，但是檢測(cè)出來(lái)的物體不完整；圖6（d）為背景差分法的檢測(cè)結(jié)果，通過(guò)該幀圖像與背景進(jìn)行差分，之后通過(guò)簡(jiǎn)單的圖像處理即可定位出球體，目標(biāo)檢測(cè)的精確程度與后續(xù)空間點(diǎn)三維重建的效果是密切相關(guān)的。

（a）第11幀原圖? ? ? ? （b）二幀差分法檢測(cè)結(jié)果

（c）三幀差分法檢測(cè)結(jié)果? ? ?（d）背景差分法檢測(cè)結(jié)果

圖6? 不同算法檢測(cè)結(jié)果對(duì)比

4.3? 運(yùn)動(dòng)軌跡擬合結(jié)果

將球體在一次運(yùn)動(dòng)中檢測(cè)出來(lái)的球心序列圖像按照本文算法重建出其三維坐標(biāo)，如表1所示。

表1? 序列圖像球心二維坐標(biāo)及三維坐標(biāo)

幀數(shù) 左攝像頭

（u1，v1） 右攝像頭

（u2，v2） 三維坐標(biāo)（x，y，z）

1 （397，202） （440，239） （478.19，80.10，3 016.59）

2 （343，201） （374，231） （330.18，67.23，3 080.98）

3 （232，199） （263，219） （32.93，58.55，3 128.95）

4 （127，197） （152，206） （-259.36，48.87，3 175.99）

5 （26，195） （43，194） （-547.50，40.43，3 222.69）

將三維坐標(biāo)用MATLAB軟件擬合出軌跡，其運(yùn)動(dòng)軌跡如圖7所示。

（a）原算法

（b）改進(jìn)算法

圖7? 算法對(duì)比

圖7（a）為三次樣條插值法擬合運(yùn)動(dòng)物體軌跡的結(jié)果，其軌跡為一條形狀不規(guī)則的曲線，由于球體運(yùn)動(dòng)的物理模型是非線性的，觀測(cè)會(huì)受到噪聲的干擾，影響球體運(yùn)動(dòng)軌跡的擬合結(jié)果；圖7（b）為本文提出改進(jìn)算法擬合軌跡的結(jié)果，對(duì)三維散點(diǎn)進(jìn)行基于SG濾波的三次樣條插值法，之后擬合所有點(diǎn)，結(jié)果為一條規(guī)則的拋物線。

濾波前后該物體的三維坐標(biāo)如表2所示。

濾波后的三維坐標(biāo)中x、y、z三個(gè)分量與濾波前的平均偏差率不超過(guò)3.5%，在很好地恢復(fù)了物體運(yùn)動(dòng)軌跡的基礎(chǔ)上不會(huì)丟失過(guò)多的精度，在對(duì)精度要求不高的系統(tǒng)內(nèi)可以出色地完成需求。

4.4? 模擬實(shí)驗(yàn)結(jié)果

受到實(shí)驗(yàn)條件的限制，測(cè)量物體在三維空間中的真實(shí)坐標(biāo)存在一定困難，由此本文設(shè)計(jì)了一個(gè)模擬實(shí)驗(yàn)用于判定系統(tǒng)誤差，內(nèi)容如下：

1）采集離雙目攝像頭有一定距離的棋盤格序列圖像。

2）重新進(jìn)行相機(jī)標(biāo)定。

3）假設(shè)物體在棋盤格上做如圖8所示的運(yùn)動(dòng)，擬合出其軌跡。

4）將計(jì)算值與真實(shí)值做對(duì)比，計(jì)算出誤差率。

將棋盤格放在離攝像頭40 cm處，模擬棋子在棋盤格上從點(diǎn)A運(yùn)動(dòng)到點(diǎn)E，路徑如圖9所示，路徑與棋盤格的交點(diǎn)分別為A、B、C、D、E，且每個(gè)格子的邊長(zhǎng)為22 mm，用本文改進(jìn)算法重建出三維坐標(biāo)，數(shù)據(jù)如表3所示。

在表3中，距離與三維坐標(biāo)的單位均為毫米（mm），其中z軸代表物體與攝像頭之間的距離，誤差率的計(jì)算方式為：誤差率= |真實(shí)距離-測(cè)量距離| /真實(shí)距離。由表3可以看出該系統(tǒng)的平均誤差率不超過(guò)5%，本文提出的改進(jìn)算法對(duì)精度只產(chǎn)生細(xì)微影響。

將以上數(shù)據(jù)擬合成運(yùn)動(dòng)軌跡，使用MATLAB擬合運(yùn)動(dòng)軌跡的結(jié)果如圖9所示，其形狀為一條拱形拋物線，符合模擬實(shí)驗(yàn)的預(yù)期效果。

圖8? 物體在棋盤格上的運(yùn)動(dòng)軌跡

圖9? 改進(jìn)算法擬合軌跡

5? 結(jié)? 論

本文利用雙目圖像序列對(duì)球形目標(biāo)在空間中的運(yùn)動(dòng)軌跡進(jìn)行三維重建，對(duì)比了背景差分法、二幀差分法、三幀差分法的算法效果，選擇使用背景差分法做目標(biāo)檢測(cè)；針對(duì)三次樣條插值法生成數(shù)據(jù)與觀測(cè)非線性運(yùn)動(dòng)過(guò)程存在噪聲，提出一種基于Savitzky-Golay濾波的改進(jìn)三次樣條插值法進(jìn)行降噪并平滑插值曲線，通過(guò)數(shù)據(jù)可視化體現(xiàn)出改進(jìn)算法的優(yōu)勢(shì)。

通過(guò)本文實(shí)現(xiàn)的三維重建可以得到球形目標(biāo)在空間中的三維信息，對(duì)球體運(yùn)動(dòng)軌跡的跟蹤與分析，擬合出球的運(yùn)動(dòng)軌跡可以幫助運(yùn)動(dòng)員對(duì)擊球的角度、力度、姿勢(shì)等進(jìn)行調(diào)整，也可以幫助初學(xué)者矯正錯(cuò)誤擊球方式，取得進(jìn)步。模擬實(shí)驗(yàn)結(jié)果表明，本文提出的算法對(duì)恢復(fù)物體運(yùn)動(dòng)軌跡的形狀效果顯著。在目標(biāo)檢測(cè)方面，可以通過(guò)基于深度學(xué)習(xí)的方法進(jìn)一步提升處理速度與精度，后續(xù)將圍繞其展開(kāi)研究。

參考文獻(xiàn)：

[1] ZHANG X H，ZHANG T X，YANG Y J，et al. Real-time Golf Ball Detection and Tracking Based on Convolutional Neural Networks [C]//2020 IEEE International Conference on Systems，Man，and Cybernetics （SMC）.Toronto：IEEE，2020：2808-2813.

[2] FAN H Y，HU Y H，ZHANG J F. Automatic Capture Processing Method of Basketball Shooting Trajectory Based on Background Elimination Technology [J].Advances in Meteorology，2022，2022：7884528.

[3] HIGAKI S，HORIHATA K，SUZUKI C，et al. Estrus Detection Using Background Image Subtraction Technique in Tie-Stalled Cows [J].Animals，2021，11（6）：1795.

[4] WANG J M，CHEN J H. An Improved Background Subtraction Method for Adaptive Rate Compressive Sensing [J].Journal of Physics： Conference Series，2021，1914（1）：012024.

[5] HOU J B，LI B G. Swimming Target Detection and Tracking Technology in Video Image Processing [J].Microprocessors and Microsystems，2021，80：103535.

[6] MCIVOR A M. Background Subtraction Techniques [J].Image and Vision Computing，2000，4：3099-3104.

[7] PICCARDI M. Background Subtraction Techniques：A Review [C]//2004 IEEE International Conference on Systems，Man and Cybernetics （IEEE Cat No 04CH37583）.The Hague：IEEE，2004，4：3099-3104.

[8] 彭接力，劉巖.物體融入背景情況下的目標(biāo)檢測(cè)方法 [J].電子科技，2012，25（11）：102-104+108.

[9] 韓帥.基于改進(jìn)幀間差分法與背景差分法車輛檢測(cè) [J].農(nóng)業(yè)裝備與車輛工程，2021，59（6）：88-92.

[10] KULCHANDANI J S，DANGARWALA K J. Moving Object Detection： Review of Recent Research Trends [C]//2015 International Conference on Pervasive Computing （ICPC）.Pune：IEEE，2015：1-5.

[11] VO M N，WANG Z Y，LUU L，et al. Advanced Geometric Camera Calibration for Machine Vision [J].Optical Engineering，2011，50（11）：110503.1-110503.3.

[12] 王迪迪，候嘉豪，王富全，等.基于雙目視覺(jué)的目標(biāo)檢測(cè)與測(cè)距研究 [J].電子制作，2022，30（21）：58-61.

[13] 高曉，楊志強(qiáng)，庫(kù)新勃，等.基于三次樣條插值實(shí)現(xiàn)無(wú)人機(jī)高動(dòng)態(tài)運(yùn)動(dòng)軌跡插值 [J].全球定位系統(tǒng)，2020，45（1）：37-42.

[14] 唐婭琴.幾種圖像平滑去噪方法的比較 [J].西南大學(xué)學(xué)報(bào)：自然科學(xué)版，2009，31（11）：125-128.

[15] 雷林平.基于Savitzky-Golay算法的曲線平滑去噪 [J].電腦與信息技術(shù)，2014，22（5）：30-31.

[16] GORRY P A. General Least-squares Smoothing and Differentiation of Nonuniformly Spaced Data by the Convolution Method [J].Analytical Chemistry，1991，63（5）：534-536.

作者簡(jiǎn)介：施博凱（1998—），男，漢族，廣東汕尾人，碩士在讀，研究方向：圖像處理；通訊作者：邱天（1977—），男，漢族，河南周口人，副教授，博士，研究方向：圖像處理、集成電路設(shè)計(jì)及智能設(shè)備等。