摘 要：文中提出了一種新型雙目攝像頭系統(tǒng)設(shè)計(jì)方案，該方案將單通道圖像信號(hào)處理器（ISP）與MIPI切換開(kāi)關(guān)相結(jié)合，實(shí)現(xiàn)了兩個(gè)圖像傳感器的同步圖像數(shù)據(jù)處理。在此基礎(chǔ)上，通過(guò)對(duì)紅外補(bǔ)光燈和傳感器的精確調(diào)控，在確保圖像質(zhì)量不受影響的同時(shí)，顯著降低了系統(tǒng)功耗。此外，開(kāi)發(fā)了一種快速且穩(wěn)定的圖像獲取方法，進(jìn)一步加快了識(shí)別系統(tǒng)的處理速度。對(duì)系統(tǒng)的硬件設(shè)計(jì)與軟件實(shí)現(xiàn)進(jìn)行了闡述，并通過(guò)一系列實(shí)驗(yàn)對(duì)該系統(tǒng)進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)在具備高同步精度和快速響應(yīng)能力的同時(shí)，顯著降低了功耗，具備良好的應(yīng)用價(jià)值，尤其適合應(yīng)用于移動(dòng)和嵌入式設(shè)備領(lǐng)域。

關(guān)鍵詞：雙目攝像頭；ISP圖像信號(hào)處理器；MIPI切換開(kāi)關(guān)；圖像同步；圖像傳感器；圖像亮度調(diào)節(jié)

中圖分類(lèi)號(hào)：TP39；TN919.5 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2025）03-00-04

0 引 言

雙目攝像頭系統(tǒng)可以利用分布在兩個(gè)空間的攝像頭模擬人類(lèi)雙眼的視覺(jué)，目前已在自動(dòng)駕駛、機(jī)器人導(dǎo)航、3D重建及增強(qiáng)現(xiàn)實(shí)等多個(gè)領(lǐng)域得到廣泛應(yīng)用[1-3]。雙目攝像頭系統(tǒng)通過(guò)處理從不同視角捕獲的圖像，能夠提取深度信息，實(shí)現(xiàn)對(duì)環(huán)境的三維感知[4-6]。然而，傳統(tǒng)的雙目攝像頭系統(tǒng)通常需要配備兩個(gè)獨(dú)立的圖像信號(hào)處理器（ISP），這不僅增加了系統(tǒng)成本，還增加了功耗，進(jìn)而限制了其在移動(dòng)或便攜式設(shè)備上的普及。雙目攝像頭系統(tǒng)作為識(shí)別系統(tǒng)中不可或缺的圖像采集設(shè)備，通常會(huì)配備有兩個(gè)圖像傳感器和一個(gè)支持雙通道輸入的圖形處理芯片ISP。值得注意的是，支持雙通道輸入的ISP不僅成本高昂，而且可選型號(hào)相對(duì)較少，不利于產(chǎn)品的低成本化。

在一些對(duì)識(shí)別速度有較高要求的識(shí)別系統(tǒng)中，如無(wú)感識(shí)別或高體驗(yàn)感識(shí)別系統(tǒng)，雙目攝像頭中的ISP需要能迅速處理兩個(gè)傳感器輸入的原始數(shù)據(jù)，并輸出曝光相同、亮度穩(wěn)定的同步圖像以供后端使用[7-9]。而一般的雙目攝像頭，在啟動(dòng)時(shí)需要先根據(jù)場(chǎng)景亮度做自動(dòng)曝光，這一過(guò)程中存在Sensor寄存器生效延時(shí)以及可能因亮度調(diào)整不當(dāng)而再次調(diào)整的延時(shí)[10-12]。因此，攝像頭輸出的前幾幀往往是亮度不穩(wěn)定、不能被后端識(shí)別系統(tǒng)所采用并需要丟棄的圖像，這樣就影響到了識(shí)別速度。

在一些以電池作為電源的識(shí)別系統(tǒng)中，對(duì)整機(jī)的功耗有較高要求，特別是一些帶有紅外補(bǔ)光燈的雙目紅外攝像頭中，補(bǔ)光燈的開(kāi)啟時(shí)長(zhǎng)對(duì)功耗影響極大。同時(shí)，當(dāng)不需要進(jìn)行圖像采集時(shí)，如果攝像頭上的兩個(gè)Sensor一直處于工作狀態(tài)，也會(huì)增加額外的功耗。

鑒于此，本文提出了一種創(chuàng)新的低成本、低功耗雙目攝像頭系統(tǒng)設(shè)計(jì)方案。該系統(tǒng)允許兩個(gè)圖像傳感器交替地將數(shù)據(jù)發(fā)送到ISP，從而避免了對(duì)雙ISP的需求。這種方法顯著降低了硬件成本，并減少了系統(tǒng)的功耗。同時(shí)，開(kāi)發(fā)了一套同步機(jī)制和數(shù)據(jù)交替?zhèn)鬏敳呗裕_保了在單通道ISP的限制下，兩個(gè)攝像頭的數(shù)據(jù)仍能被有效地同步處理。此外，通過(guò)優(yōu)化紅外補(bǔ)光燈和傳感器的使用時(shí)機(jī)，系統(tǒng)可以在需要時(shí)迅速啟動(dòng)并穩(wěn)定獲取圖像，減少了廢幀的產(chǎn)生，提高了系統(tǒng)的響應(yīng)速度。

1 系統(tǒng)設(shè)計(jì)整體架構(gòu)

本文提出的低成本、低功耗雙目攝像頭系統(tǒng)的硬件設(shè)計(jì)，主要包括整體電路架構(gòu)以及傳感器的選擇、MIPI（Mobile Industry Processor Interface）切換開(kāi)關(guān)的應(yīng)用。

1.1 整體電路架構(gòu)

整體電路架構(gòu)如圖1所示。系統(tǒng)的電路架構(gòu)設(shè)計(jì)旨在優(yōu)化信號(hào)路徑，減少電磁干擾，并提高系統(tǒng)的穩(wěn)定性和可靠性。本文設(shè)計(jì)了一個(gè)緊湊的印刷電路板（PCB），其中包括兩個(gè)傳感器、MIPI切換開(kāi)關(guān)、ISP以及必要的電源管理單元。

傳感器模塊被安置在PCB的兩側(cè)，以模擬人類(lèi)的雙眼立體視覺(jué)。MIPI切換開(kāi)關(guān)被安置在傳感器和ISP之間，由ISP微控制器單元進(jìn)行控制。ISP單元被配置為能夠處理高分辨率圖像，同時(shí)支持高動(dòng)態(tài)范圍（HDR）成像技術(shù)和噪聲抑制功能。在軟件層面，ISP需要按照特定的時(shí)序控制MIPI切換開(kāi)關(guān)和兩個(gè)Sensor，確保兩個(gè)Sensor的圖像數(shù)據(jù)在時(shí)間上不產(chǎn)生重疊，并且每幀數(shù)據(jù)都能完整且交替地送入ISP進(jìn)行處理。

電源管理單元負(fù)責(zé)為傳感器、ISP和其他電路組件提供穩(wěn)定的電壓，并實(shí)現(xiàn)功耗優(yōu)化。電源管理框架如圖2所示。

1.2 傳感器的選擇

在傳感器選擇方面，綜合考慮圖像質(zhì)量、功耗和成本這三個(gè)關(guān)鍵因素，最終選定了兩款高性能的CMOS圖像傳感器。這兩款傳感器不僅功耗較低，而且成本適中，并且具備快速的圖像捕捉能力和出色的動(dòng)態(tài)范圍，可以在各種照明條件下提供清晰的圖像。

1.3 MIPI切換開(kāi)關(guān)的應(yīng)用

為了實(shí)現(xiàn)單通道ISP的設(shè)計(jì)，本文引入了MIPI切換開(kāi)關(guān)，該開(kāi)關(guān)可以在兩個(gè)傳感器之間快速切換，允許它們交替地將數(shù)據(jù)傳輸?shù)絀SP。這種方法避免了雙ISP的使用，并顯著降低了系統(tǒng)的成本和功耗。MIPI切換開(kāi)關(guān)的設(shè)計(jì)需要考慮信號(hào)的傳輸速率和完整性，以確保圖像數(shù)據(jù)在傳輸過(guò)程中不會(huì)丟失或損壞。

總體而言，本文通過(guò)精心選擇傳感器、應(yīng)用MIPI切換開(kāi)關(guān)以及優(yōu)化電路架構(gòu)，實(shí)現(xiàn)了一種高效、低成本且低功耗的雙目攝像頭系統(tǒng)。系統(tǒng)接收到上位機(jī)發(fā)來(lái)的供電與識(shí)別指令后，會(huì)按照預(yù)設(shè)的時(shí)序精確控制紅外補(bǔ)光燈的開(kāi)關(guān)與Sensor的啟動(dòng)，減少在不需要補(bǔ)光的情況下的功耗。同時(shí)，ISP對(duì)Sensor進(jìn)行了特別配置，使得Sensor啟動(dòng)后能迅速穩(wěn)定所捕獲圖像的亮度，并將圖像傳輸至后端，顯著減少了無(wú)用幀的數(shù)量。這種設(shè)計(jì)不僅適用于資源受限的移動(dòng)設(shè)備，而且在諸如監(jiān)控和門(mén)鎖控制等需要長(zhǎng)時(shí)間運(yùn)行的應(yīng)用場(chǎng)景中，也具有重要的實(shí)際意義。

2 具體的實(shí)現(xiàn)思路

2.1 MIPI切換硬件平臺(tái)框架

MIPI切換硬件平臺(tái)框架如圖3所示。

（1）Sensor_A和Sensor_B的MIPI輸出信號(hào)分別連接到MIPI_SWITCH的A輸入端和B輸入端。MIPI_SWITCH的MIPI輸出端連接到ISP的MIPI輸入端。MIPI_SWITCH可以采用市面上常見(jiàn)的、通過(guò)高低電平信號(hào)來(lái)切換通道的MIPI切換芯片，即當(dāng)接收到低電平時(shí)切換到A通道，接收到高電平時(shí)切換到B通道。

（2）ISP使用一個(gè)I/O端口來(lái)控制MIPI_SWITCH的通道切換；另一個(gè)I/O端口用于控制紅外補(bǔ)光燈的開(kāi)關(guān)。同時(shí)，ISP還通過(guò)一組I2C通信接口與Sensor_A和Sensor_B的I2C通信接口相連，使ISP能夠配置Sensor和讀取Sensor的相關(guān)信息。

（3）ISP將處理后的視頻流傳輸?shù)胶蠖恕?/p>

2.2 MIPI_SWITCH的控制時(shí)序和有效圖像數(shù)據(jù)的切換時(shí)序

MIPI_SWITCH的控制時(shí)序和有效圖像數(shù)據(jù)的切換時(shí)序如圖4所示。

（1）本文使用的是單通道輸入的ISP，進(jìn)入ISP的兩個(gè)Sensor有效圖像信號(hào)（分辨率為800×600）存在時(shí)間差。為了減少時(shí)間差，將單個(gè)Sensor的刷新率設(shè)置為30幀。同時(shí)，兩個(gè)Sensor的有效圖像必須整幀無(wú)缺失地輸出到ISP，所以將兩個(gè)Sensor的圖像時(shí)序設(shè)置為：

Frame length = 1268；

Line length = 1096；

Pixel clock = 41.69184 MHz；

Out window width（active line width）= 800；

Out window height（active lines）= 600；

根據(jù)以上設(shè)置，單個(gè)Sensor的一幀畫(huà)面中，有效圖像時(shí)間約為15.8 ms，場(chǎng)消隱時(shí)間約為17.5 ms。因此，MIPI_SWITCH 芯片從切換到數(shù)據(jù)穩(wěn)定輸出的時(shí)間必須限定在0.8 ms以?xún)?nèi)。本文方法使用的MIPI_SWITCH芯片（AW35645FBR）符合這樣的要求，芯片相關(guān)參數(shù)如圖5所示。

tON Switch turn on time

（SEL to output） Dn， CLKn=0.6 V

DAn， DBn， CLKAn，

CLKBn;

RL=50 Ω， CL=0 pF 1 200 2 500 ns

tOFF Switch turn off time

（SEL to output） Dn， CLKn=0.6 V

DAn， DBn， CLKAn，

CLKBn;

RL=50 Ω， CL=0 pF 1 000 2 000 ns

（2）為使兩個(gè)Sensor的有效圖像交替進(jìn)入ISP，并且在時(shí)間上不重疊，啟動(dòng)Sensor（開(kāi)啟Sensor的PLL）時(shí)，先將MIPI_SWITCH芯片切換到Sensor_A的MIPI通道，然后開(kāi)啟Sensor_A；延時(shí)16.2 ms后，將MIPI_SWITCH芯片切換到Sensor_B的MIPI通道，然后開(kāi)啟Sensor_B。按照?qǐng)D4所展示的時(shí)序進(jìn)行重復(fù)操作。

2.3 紅外補(bǔ)光燈和Sensor的啟動(dòng)時(shí)機(jī)

為減少紅外補(bǔ)光燈和兩個(gè)Sensor的無(wú)用工作時(shí)間，紅外補(bǔ)光燈和Sensor的啟動(dòng)時(shí)機(jī)設(shè)置如圖6所示。

2.4 圖像亮度的快速穩(wěn)定

為使Sensor啟動(dòng)后圖像的亮度快速穩(wěn)定，并將穩(wěn)定圖像輸出到后端，減少無(wú)用幀的數(shù)量，做出以下處理：

（1）攝像頭在輸出穩(wěn)定的圖像后，Sensor的曝光時(shí)間、數(shù)字增益、模擬增益一般會(huì)趨于一個(gè)穩(wěn)定值，因此可以首先將攝像頭置于產(chǎn)品應(yīng)用的一些常規(guī)亮度環(huán)境中，采集和統(tǒng)計(jì)在這些亮度環(huán)境中攝像頭輸出穩(wěn)定圖像時(shí)Sensor的曝光時(shí)間、數(shù)字增益和模擬增益，并找出使用比例最高的一組參數(shù)，然后取這一組參數(shù)作為攝像頭上電啟動(dòng)時(shí)的亮度初始值。具體流程如圖7所示。

（2）圖像亮度調(diào)節(jié)過(guò)程

根據(jù)是否為第1次識(shí)別以及是否存儲(chǔ)過(guò)圖像亮度設(shè)定值進(jìn)行快速自動(dòng)曝光調(diào)節(jié)。具體流程如圖8所示。

通過(guò)創(chuàng)新的硬件平臺(tái)設(shè)計(jì)，成功構(gòu)建了一個(gè)成本效益顯著的雙目攝像頭系統(tǒng)。該系統(tǒng)無(wú)需依賴(lài)雙通道ISP，而是采用了一種獨(dú)特的圖像數(shù)據(jù)切換機(jī)制，從而確保了圖像的高度同步性。此外，系統(tǒng)還實(shí)現(xiàn)了對(duì)紅外補(bǔ)光燈和傳感器啟動(dòng)時(shí)機(jī)的精確控制，有效降低了功耗，同時(shí)通過(guò)快速穩(wěn)定的圖像獲取方法加速識(shí)別過(guò)程，提升了系統(tǒng)的性能和經(jīng)濟(jì)性。

3 功耗驗(yàn)證

功耗是評(píng)估便攜式和嵌入式系統(tǒng)性能的重要指標(biāo)。本文系統(tǒng)在不同操作環(huán)境下的平均功耗和最大功耗以及平臺(tái)有無(wú)MIPI切換的差異性比較結(jié)果如圖9所示。

與當(dāng)前市場(chǎng)上的同類(lèi)產(chǎn)品相比，本文系統(tǒng)在各種情況下的功耗平均下降15%。功耗比較數(shù)據(jù)如圖10所示。

實(shí)驗(yàn)結(jié)果表明，本文所設(shè)計(jì)的雙目攝像頭系統(tǒng)在保持圖像同步精度和快速響應(yīng)的同時(shí)，成功降低了功耗。這一系列的性能提升主要得益于創(chuàng)新的硬件設(shè)計(jì)和優(yōu)化的軟件算法。通過(guò)與現(xiàn)有技術(shù)的對(duì)比，本文系統(tǒng)在多個(gè)關(guān)鍵性能指標(biāo)上展現(xiàn)出了顯著的優(yōu)勢(shì)。特別是在功耗方面，本文系統(tǒng)為移動(dòng)和嵌入式應(yīng)用提供了一個(gè)更加可行的解決方案。

4 結(jié) 語(yǔ)

本文提出了一種低成本、低功耗的雙目攝像頭系統(tǒng)設(shè)計(jì)，旨在解決現(xiàn)有技術(shù)在資源受限環(huán)境中的應(yīng)用局限性。設(shè)計(jì)采用了單通道ISP和MIPI切換開(kāi)關(guān)的創(chuàng)新方案，實(shí)現(xiàn)了高效的圖像同步處理。實(shí)驗(yàn)結(jié)果表明，本文系統(tǒng)在保持高同步精度和快速響應(yīng)時(shí)間的同時(shí)，顯著降低了功耗，具備良好的應(yīng)用價(jià)值，尤其適合應(yīng)用于移動(dòng)和嵌入式設(shè)備領(lǐng)域。

參考文獻(xiàn)

[1]王明吉，陳秋夢(mèng)，任福深.基于雙目視覺(jué)的目標(biāo)測(cè)距系統(tǒng)[J]. 自動(dòng)化與儀器儀表，2022（7）：5-8.

[2]劉煒，陸存豪.自動(dòng)駕駛汽車(chē)環(huán)境感知傳感器研究[J]. 汽車(chē)實(shí)用技術(shù)，2023，48（10）：197-203.

[3]陳果，花國(guó)祥，俞斌，等.基于雙目視覺(jué)的帶電作業(yè)機(jī)器人的目標(biāo)識(shí)別與定位方法研究[J]. 國(guó)外電子測(cè)量技術(shù)，2023，42（6）：139-146.

[4]周禹辰，卜凡亮.基于Zynq-7000的雙目相機(jī)系統(tǒng)硬件平臺(tái)設(shè)計(jì)[J]. 單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2019，19（1）：30-34.

[5]于蕾，李欣澤，潘大鵬，等.基于ZYNQ平臺(tái)的雙目圖像采集實(shí)驗(yàn)案例設(shè)計(jì)與實(shí)現(xiàn)[J]. 實(shí)驗(yàn)科學(xué)與技術(shù)，2021，19（5）：60-64.

[6]王迪迪，候嘉豪，王富全，等.基于雙目視覺(jué)的目標(biāo)檢測(cè)與測(cè)距研究[J]. 電子制作，2022，30（21）：58-61.

[7]祝和，趙燕，李金科.基于DSP的雙目同步圖像拼接系統(tǒng)研究[J]. 數(shù)字制造科學(xué)，2021，19（2）：96-101.

[8]蔣逸凡，高谷剛，徐金林，等.物聯(lián)網(wǎng)執(zhí)法記錄儀硬件系統(tǒng)設(shè)計(jì)[J]. 物聯(lián)網(wǎng)技術(shù)，2022，12（11）：80-82.

[9]王怡萱，張俊梅，闞江明.基于雙目視覺(jué)的目標(biāo)定位與測(cè)距系統(tǒng)硬件平臺(tái)[J]. 計(jì)算機(jī)工程，2013，39（7）：214-218.

[10]王應(yīng)軍，趙晨萍.基于DM642的雙目視覺(jué)監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 現(xiàn)代電子技術(shù)，2009，32（12）：71-72.

[11]楊潔，閆清東. Pioneer3-AT上基于雙目立體視覺(jué)的環(huán)境識(shí)別系統(tǒng)[J]. 實(shí)驗(yàn)室研究與探索，2016，35（2）：102-106.

[12]胡嘉祺，趙漢濤，葉俊澤，等.基于能耗地圖的低功耗小車(chē)設(shè)計(jì)及實(shí)現(xiàn)[J]. 電子測(cè)量技術(shù)，2019，42（21）：10-14.