張林 沈瑩

摘? 要：針對計算機視覺課程核心知識點分散、較難以掌握的問題，設(shè)計并實踐綜合性教學案例“環(huán)視系統(tǒng)構(gòu)建及基于環(huán)視的語義信息提取”。以此案例為載體，講授相機模型、相機標定、幾何變換和深度學習等知識點，讓學生在實踐中學習、在學習中實踐。該案例的有效性已在同濟大學的教學實踐中得到充分驗證。

關(guān)鍵詞：計算機視覺；教學案例；實踐教學；環(huán)視系統(tǒng)；核心知識點

Abstract： To solve the problem that the knowledge points of computer vision are scattered and difficult to master， a comprehensive teaching case "construction of the surround-view system and semantic information extraction from the SVS" is designed and practiced. We take this teaching case as the carrier to teach knowledge points such as camera model， camera calibration， geometric transformation and deep learning. In this way， students can learn and practice simultaneously. The effectiveness of the proposed teaching case has been fully verified in the teaching practice of Tongji University.

Keywords： computer vision; teaching case; teaching by practice; surround-view system; core knowledge point

近年來，隨著全世界對人工智能技術(shù)重視程度的日益提升，我國也加大了對人工智能專業(yè)人才的培養(yǎng)投入，許多高校陸續(xù)設(shè)置了人工智能專業(yè)并開設(shè)了相關(guān)課程[1-2]。在大多數(shù)高校制定的人工智能課程群方案中，計算機視覺都被列為了核心課程。因此，研究計算機視覺課程的教學實踐共性規(guī)律、研究如何提升該課程的教學質(zhì)量，具有重要的現(xiàn)實意義。

計算機視覺是最近30年發(fā)展起來的一門新興學科[3]，是一門研究如何使機器感知和理解周圍世界的科學。更確切地說，該學科要解決的主要科學問題是如何利用計算機對傳感器（如圖像傳感器、深度信息傳感器、聲音傳感器等）采集的信號進行分析，從而實現(xiàn)對客觀世界的度量與理解。

近10年來，隨著人工智能領(lǐng)域技術(shù)，如深度學習技術(shù)的飛速發(fā)展，計算機視覺學科在很多問題上，如人臉識別、目標檢測與跟蹤、像素級分割、場景理解和三維重建等，也取得了突破性的進展，其應用范圍也變得日益廣闊。在此大背景下，全球各大高校陸續(xù)開設(shè)了計算機視覺課程。同濟大學軟件學院的計算機視覺課程開設(shè)于2010年秋季學期，是全國范圍內(nèi)較早在本科階段開設(shè)此課程的院系[4]。在教學過程中，我們發(fā)現(xiàn)該課程具有如下教學難點：1）該課程的理論性和實踐性都很強，學生較難掌握；2）核心知識點較為分散，難以組織在統(tǒng)一的邏輯框架之下；3）該學科目前仍處于快速發(fā)展階段，如何把當前該領(lǐng)域最新的思想和方法融入到教學環(huán)節(jié)中也是任課教師要面臨的巨大挑戰(zhàn)。為了有效解決這些問題，我們設(shè)計了面向計算機視覺課程的綜合性教學實踐案例“環(huán)視系統(tǒng)構(gòu)建與基于環(huán)視的語義信息提取”，其有效性已在教學實踐中得到了檢驗。

一? 案例概述

此案例為面向計算機視覺課程的綜合性實踐教學案例，覆蓋的理論教學內(nèi)容主要包括相機模型與內(nèi)參標定、環(huán)視系統(tǒng)標定及語義目標檢測三部分內(nèi)容，最終目標是讓學生綜合運用所學知識完成車載環(huán)視系統(tǒng)的構(gòu)建及基于環(huán)視圖的語義信息提取任務(wù)。

（一）? 教學目標

本案例面向軟件工程、計算機科學與技術(shù)等計算機相關(guān)學科本科專業(yè)的高年級學生，要求學生有一定的編程經(jīng)驗，熟悉C++、Python等語言，并熟練掌握高等數(shù)學、線性代數(shù)等相關(guān)內(nèi)容。在該案例教學過程中，學生需要分組完成環(huán)視系統(tǒng)構(gòu)建與基于環(huán)視的語義信息提取系統(tǒng)的設(shè)計與實現(xiàn)。

在具體的教學過程中，該案例可分為相機模型與標定、環(huán)視系統(tǒng)標定及環(huán)視語義目標檢測與分類3個階段。

第一階段：講授相機模型、非線性最小二乘法、相機內(nèi)參標定，讓學生使用相機拍攝標定板圖像并完成相機的內(nèi)參標定。

第二階段：講授幾何變換、幾何變換群、線性最小二乘法和單應性估計等知識點，讓學生在標定場用實驗車獲取數(shù)據(jù)，編寫程序?qū)崿F(xiàn)對環(huán)視系統(tǒng)相機外參的標定。

第三階段：講授機器學習基礎(chǔ)、深度卷積神經(jīng)網(wǎng)絡(luò)、視覺目標檢測與分類等知識點，帶領(lǐng)學生實地采集典型道路環(huán)境下的環(huán)視圖像樣本，并完成圖像標注與網(wǎng)絡(luò)訓練，最終驗證目標檢測與分類模型的性能。

（二）? 案例材料準備

學生需掌握線性代數(shù)基礎(chǔ)、數(shù)字圖像處理的知識，具備基本的編程能力。此外，根據(jù)課程講授進度和案例執(zhí)行情況，需有針對性地提前閱讀相關(guān)文獻及資料[3-4]。在進行授課前，本案例需要準備如下實驗器材。

1）車載廣角魚眼相機（視場在185°以上）4個（如圖1（a）所示）。

2）實驗平臺車1臺（如圖1（b）所示）。

3）棋盤格平面標定板1塊（如圖1（c）所示）。

4）棋盤格平面標定場或標定布1塊（如圖1（d）所示）。

二? 案例教學要點

本案例主要介紹計算機視覺知識在具體項目中的運用情況，借此從理論與實踐兩方面讓學生掌握相關(guān)知識和技能。課程依照項目過程，主要分為相機模型與內(nèi)參標定、環(huán)視系統(tǒng)標定及環(huán)視語義信息提取3個階段。在具體授課過程中，授課教師應當注重數(shù)學理論與工程問題解決方案的相互結(jié)合，依照由淺入深，由一般到特殊的思路，從最基本的基礎(chǔ)理論出發(fā)，逐步過渡到真實案例中使用的具體技術(shù)。同時，每個階段都要安排相應的實驗討論環(huán)節(jié)，讓學生通過實踐真正理解和掌握所學內(nèi)容。

（一）? 相機模型與內(nèi)參標定

在進行相機模型的教授之前，授課教師首先需要依照學生情況，決定是否進行基礎(chǔ)線性代數(shù)知識的補充，這些知識應涵蓋矩陣與向量的定義、矩陣乘法、矩陣行列式計算及矩陣求導等內(nèi)容。在確保學生具有所需的數(shù)學基礎(chǔ)后，從一般情況入手，講解針孔相機模型，分析相機成像過程包含的4個坐標系（世界坐標系、相機坐標系、歸一化平面坐標系和像素坐標系）與相機內(nèi)外參數(shù)的定義，讓學生理解相機的基本成像流程。在此基礎(chǔ)上，進一步講授相機的畸變模型，分析徑向畸變與切向畸變產(chǎn)生的原因，并用數(shù)學表達式給出嚴謹?shù)亩x。之后，逐步聚焦于車載環(huán)視系統(tǒng)中使用到的魚眼相機，講述魚眼相機的畸變模型，并分析對比魚眼相機畸變模型和普通相機畸變模型的異同。

目前，相機內(nèi)參標定使用最廣泛的方法是張正友標定法[5]。該方法通過從不同角度觀察有具體尺度信息的平面模式，對相機內(nèi)畸變參數(shù)給出估計。由于理論過于繁復，教師應當依照教學時間與學生基礎(chǔ)合理安排課程。

當理論教學完成后，需設(shè)置實驗課程，讓學生把理論算法進行編程實現(xiàn)。學生需通過小組合作，用相機從不同角度拍攝標定板，并使用OpenCV或者其他框架編寫程序，計算相機內(nèi)參并完成畸變矯正。如果圖像畸變校正效果不佳，需帶領(lǐng)學生對可能的原因進行深入分析（如特征點檢測不準、拍攝角度過于單一、相機畸變過大導致模型難以擬合等）。

（二）? 環(huán)視系統(tǒng)標定

環(huán)視系統(tǒng)的標定與環(huán)視圖的生成主要基于射影空間幾何變換的理論。授課內(nèi)容需遵循由簡至繁的原則，從歐氏變換開始，逐步增加變換的自由度，依次講解歐氏變換、相似變換、仿射變換與射影變換。為估計兩平面之間的單應性變換矩陣，教師還應對單應性估計與線性最小二乘法進行講解，剖析如何通過四組二維點對或者更多的點對來估計兩平面之間的單應性變換。最后，講解環(huán)視系統(tǒng)中相機外參的標定流程。

環(huán)視系統(tǒng)的標定通常依賴棋盤格平面標定場或標定布，如圖1（d）所示。如果條件受限，也可使用磚塊大小一致的磚地之類的具有尺度信息的平面模式替代。在標定過程中，通常以車輛后軸中心作為車輛坐標系原點，車輛需要被駕駛到固定的位置上，讓車輛后軸中心對準標定場內(nèi)一個固定的角點。之后，采集4個廣角魚眼相機的圖像并完成去畸變操作。此時，去畸變后的圖像平面與地平面之間存在著單應性變換映射關(guān)系。通過在圖像上找出角點的像素坐標，并利用格子的尺度性找到其在地面坐標系中的坐標，就獲得了一組二維點對。利用超過4組（通常使用8組以上）的點對，就可以解算出地面平面坐標系到去畸變圖像平面坐標系之間的映射關(guān)系。

學生應當分組編寫魚眼相機畸變?nèi)コc單應性估計的程序，并在實際場地完成標定，計算去畸變圖像與地平面之間的單應性矩陣。最后，結(jié)合單應性矩陣與相機畸變系數(shù)，生成從鳥瞰視圖坐標系到原始魚眼圖像坐標系的映射表，從魚眼視圖生成鳥瞰視圖。在得到4個方向的鳥瞰視圖之后，需要觀察每個攝像頭的視場范圍，找出其重疊的部分，確定出相鄰兩個視圖的圖像拼接線，將4幅鳥瞰圖像拼接成完整的鳥瞰環(huán)視圖像，如圖2所示。

在課后學生應當查閱相關(guān)文獻并分組討論分析以下幾點問題：①常見的環(huán)視系統(tǒng)標定方案包含哪些？優(yōu)劣是什么？②影響環(huán)視圖像精度的因素主要有哪些？③如果相機位置發(fā)生改變，在不進行重新標定的前提下，是否有方法可以修正錯位的環(huán)視圖？

（三）? 環(huán)視語義目標檢測與分類

標定好了環(huán)視相機系統(tǒng)以后，就可以學習如何在環(huán)視圖中提取語義信息。在正常道路環(huán)境下，環(huán)視圖中包含的常見語義特征包括車道線、行進指示標識、泊車位、泊車位序號和減速帶等，教師可以根據(jù)實際情況選取想要提取的目標類別。對環(huán)視圖中語義目標進行檢測與分類主要依賴深度學習的相關(guān)知識。教師需首先對機器學習與深度學習的基礎(chǔ)知識進行講授，尤其是應包括卷積神經(jīng)網(wǎng)絡(luò)、目標檢測中常見的網(wǎng)絡(luò)結(jié)構(gòu)、基于深度學習的語義分割等內(nèi)容。

比如，泊車位檢測是一個較為典型的目標檢測與分類問題。該問題可以分解成泊車位標志點模式檢測和局部圖像塊分類2個子問題[6-8]。常見的目標檢測神經(jīng)網(wǎng)絡(luò)都能用來解決泊車位標志點模式檢測這個問題，本案例選擇了性能較好且使用較為廣泛的YOLO系列檢測子。局部圖像塊分類問題是一個典型的圖像模式分類任務(wù)，可以用任何流行的圖像分類深度神經(jīng)網(wǎng)絡(luò)來解決，比如AlexNet、ResNet、DenseNet等。

此外，神經(jīng)網(wǎng)絡(luò)的性能和訓練數(shù)據(jù)集的數(shù)據(jù)數(shù)量與種類有著很大的關(guān)系，因此教學中還應當涵蓋數(shù)據(jù)集的選取、標注與擴充等內(nèi)容。教師需帶領(lǐng)學生采集各種情況下的環(huán)視圖像數(shù)據(jù)，需盡可能覆蓋室內(nèi)、室外、傍晚路燈光照和樹蔭遮擋等各種實際情況。然后，再進行數(shù)據(jù)的標注與擴充。

在具體教學安排中，學生需要小組合作，完成數(shù)據(jù)采集與標注、訓練集與測試集的劃分、深度學習環(huán)境配置和深度神經(jīng)網(wǎng)絡(luò)的訓練與測試等一系列流程，在實踐過程中掌握深度學習技術(shù)在計算機視覺任務(wù)中的運用方式。如果時間與實力允許，鼓勵學生自行探索提升系統(tǒng)性能的方法并嘗試實現(xiàn)。

三? 案例教學組織方式

為引導學生系統(tǒng)地學習和實踐本綜合教學案例，本案例教學計劃總共安排7周時間，分為理論教學、實踐教學和項目交流與答辯3個環(huán)節(jié)。

（一）? 理論教學

理論教學環(huán)節(jié)安排3周時間，由教師講授相關(guān)的理論知識，包括環(huán)視系統(tǒng)構(gòu)建過程中涉及的基礎(chǔ)知識（相機成像模型、射影幾何等）、線性最小二乘法、非線性最小二乘法、人工神經(jīng)網(wǎng)絡(luò)及目前學界前沿的視覺目標檢測網(wǎng)絡(luò)結(jié)構(gòu)等。同時，除了理論授課外，案例為每一堂課都準備了上機練習或者擴展閱讀資料。上機練習可以幫助學生加深對理論知識點的理解。擴展閱讀資料是對課堂內(nèi)容的補充。由于課堂時間有限，教師無法做到對所講授的知識點面面俱到。學生通過閱讀這些資料可以了解課堂上沒有觸及到的細節(jié)，以及該研究課題的學界前沿成果。

（二）? 實踐教學

實踐教學可安排2周時間，學生需自由組隊完成一個完整的車載環(huán)視及環(huán)視語義信息提取系統(tǒng)。學生需要結(jié)合理論教學環(huán)節(jié)所學知識，分析該項目中需要解決哪些問題，之后進行合理分工，完成項目，編寫代碼并撰寫文檔。在實踐過程中，學生會碰到一些棘手的問題，這時就需要他們自己去查閱資料，搜集并研讀相關(guān)文獻，以解決問題。教師在該階段需要和各個學生保持定期的溝通，確保每個組項目的順利進行，并解答他們的問題。

（三）? 項目交流與答辯

安排2周時間進行項目交流與答辯。經(jīng)過之前5周的學習和實踐，學生基本可以按照教學計劃完成一個較為完整的車載環(huán)視系統(tǒng)。這之后，安排2周時間進行最后的歸納總結(jié)。學生需要在這2周中回顧之前的教學知識并結(jié)合自己項目的完成情況，撰寫完整的項目文檔。文檔需包括（但并不限于）背景、概述、項目實施細節(jié)、實驗結(jié)果及總結(jié)5個部分。在課程的最后，安排答辯環(huán)節(jié)。每個小組的成員需要制作答辯PPT，對自己項目的完成情況進行匯報。教師和其他學生聽取匯報，并提出問題或者建議。希望學生在答辯與交流的過程中能夠回顧項目完成的過程，并通過聽取他人意見、對比不同小組的完成情況，發(fā)現(xiàn)工作中的亮點以及值得進一步研究的內(nèi)容。

四? 結(jié)束語

為了有效提升計算機視覺課程的教學效果，使學生更加深入牢固地掌握課上所講授的理論內(nèi)容，我們設(shè)計并實踐了綜合教學案例“環(huán)視系統(tǒng)構(gòu)建及基于環(huán)視的語義信息提取”。從2016年開始，本綜合性教學案例已經(jīng)在我們的計算機視覺課程中完整使用了6個周期，取得了良好的應用效果，獲得了同濟大學相關(guān)專家和學生的好評，并引起了強烈的反響。該案例也獲得了2019年全國軟件工程教學案例比賽一等獎。在今后的教學實踐中，我們將認真聽取相關(guān)專家和學生的建設(shè)性意見，對該綜合案例不斷完善，與時俱進，從而持續(xù)提升該課程的教學質(zhì)量。

參考文獻：

[1] 沈瑩，高珍，張林.模式識別課程中的思政建設(shè)[J].教育現(xiàn)代化，2020，7（94）：113-115，155.

[2] 沈瑩，高珍，張林.《用戶交互技術(shù)》榮譽課程建設(shè)方案探討[J].教育現(xiàn)代化，2020，7（89）：104-108.

[3] SONKA M， HLAVAC V， BOYLE R. Image Processing， Analysis， and Machine Vision[M]. Stamford： CENGAGE Learning， 2008.

[4] 張林，沈瑩.面向計算機視覺課程的綜合性實驗平臺[J].計算機教育，2017（5）：136-139.

[5] ZHANG Z. Flexible camera calibration by viewing a plane from unknown orientations[C]//Proceedings of International Conference on Computer Vision， 1999：666-673.

[6] ZHANG L， HUANG J， LI X， et al. Vision-based parking-slot detection： A DCNN-based approach and a large-scale benchmark dataset[J]. IEEE Trans. Image Processing， 2018（27）：5350-5364.

[7] HUANG J， ZHANG L， SHEN Y， et al. DMPR-PS： A novel approach for parking-slot detection using directional marking-point regression[C]//Proceedings of IEEE Int'l Conf. Multimedia and Expo， 2019：212-217.

[8] LI L， ZHANG L， LI X， et al. Vision-based parking-slot detection： A benchmark and a learning-based approach[C]// Proceedings of IEEE Int'l Conf. Multimedia and Expo， 2017：649-654.