許陽 劉洪英 莊泉潔

摘要：圖像拼接技術(shù)是大視野顯微數(shù)字圖像應(yīng)用中的關(guān)鍵技術(shù)之一.隨著科學(xué)技術(shù)的發(fā)展，人們更加關(guān)心大視野顯微數(shù)字圖像的快速而又準(zhǔn)確的圖像拼接問題.而現(xiàn)有的傳統(tǒng)圖像拼接方法是在圖像配準(zhǔn)之后按照固定的順序拼接，這對(duì)顯微數(shù)字圖像的采集質(zhì)量以及配準(zhǔn)的準(zhǔn)確度要求很高，一旦有誤差便會(huì)沿著固定的路徑累加，從而使后續(xù)的圖像產(chǎn)生錯(cuò)位等問題.通過實(shí)驗(yàn)分析，提出了一種優(yōu)化大視野圖像拼接路徑的方法，極大地優(yōu)化了誤差累積和配準(zhǔn)失敗帶來的問題，有效地提高了大視野顯微數(shù)字圖像的拼接質(zhì)量.該方法不僅可用于大視野顯微圖像的拼接，也適用于其他類型的圖像拼接.

關(guān)鍵詞：大視野顯微數(shù)字圖像;誤差累積;圖像配準(zhǔn);最佳拼接路徑

中圖分類號(hào)：TP751文獻(xiàn)標(biāo)志碼：ADOI：10.3969/j.issn.l000-5641.2021.06.009

Research on large-field microscopic images based on the best stitching path

XU Yang1，LIU Hongying1，2，ZHUANG Quanjie2

（1. School of Communication and Electronic Engineering. East China Normal University. Shanghai 200241 China;2. Shanghai Lanche Biological Technology Co.，Ltd.，Shanghai 200240，China）

Abstract：Image stitching technology is one of the key technologies in the application of large-field microscopic digital images. The existing traditional image stitching method is to stitch in a fixed order after image registration，and once there is an error，it will be accumulated along a fixed path，thereby causing problems such as misalignment of subsequent images. In this study，through experimental analysis，a method for optimizing the stitching path of the large-field image was proposed，which greatly optimized the problems caused by error accumulation and registration failure，and effectively improved the stitching quality of the large-field microscopic digital image. This method can be used not only for the stitching of large-field microscopic images，but also for other types of stitching.

Keywords：large-field microscopic digital image;error accumulation;image registration;optimal stitching path

0引言

在計(jì)算機(jī)視覺、圖像處理和計(jì)算機(jī)圖形學(xué)等研究領(lǐng)域，圖像拼接是一項(xiàng)研究重點(diǎn)，它被廣泛應(yīng)用于虛擬現(xiàn)實(shí)、醫(yī)學(xué)圖像處理、遙感技術(shù)和軍事領(lǐng)域[1]。圖像拼接的作用是將一系列存在關(guān)聯(lián)的圖像拼接成一個(gè)大視野的高分辨率圖像，為圖像后續(xù)的研究和識(shí)別打下堅(jiān)實(shí)的基礎(chǔ).在醫(yī)學(xué)圖像處理方面，顯微鏡的視野較小，醫(yī)師無法通過1幅圖像進(jìn)行診斷，所以拼接相鄰的各幅圖像是實(shí)現(xiàn)遠(yuǎn)程會(huì)診的關(guān)鍵環(huán)節(jié)[2].

現(xiàn)有的圖像拼接將研究重點(diǎn)放在了2張圖片間的配準(zhǔn)，忽略了大視野圖像的整體拼接：在面臨整體拼接時(shí)，采用事先設(shè)定的順序同直接與上一張圖片進(jìn)行拼接.這種傳統(tǒng)的按照固定順序拼接的方法具有簡單快速的特點(diǎn)，能完成粗略的圖像拼接.但是對(duì)圖像的采集質(zhì)量以及配準(zhǔn)算法的準(zhǔn)確度要求很高，否則誤差會(huì)沿著固定的路徑累加，使后續(xù)的圖像出現(xiàn)錯(cuò)位等問題.

本研究基于病理切片掃描儀采集圖像，圍繞醫(yī)學(xué)顯微圖像的拼接展開實(shí)驗(yàn).由于傳統(tǒng)拼接方法存在缺陷，同時(shí)病理切片圖像注重細(xì)節(jié)信息，它與病情的診斷密切相關(guān)，因此需要優(yōu)化拼接方法.通過實(shí)驗(yàn)分析，本文提出了一種基于最佳拼接路徑的大視野顯微圖像拼接方法[4]，該方法極大地優(yōu)化了誤差累積和配準(zhǔn)失敗帶來的細(xì)節(jié)信息錯(cuò)位問題，有效地提高了大視野顯微數(shù)字圖像的拼接質(zhì)量.

1系統(tǒng)平臺(tái)及拼接方法介紹

1.1系統(tǒng)平臺(tái)簡介

病理切片掃描儀可獲取數(shù)字化的病理組織切片，并對(duì)切片進(jìn)行快速的掃描與拼接，從而生成完整的大視野顯微圖像.該系統(tǒng)得到了醫(yī)學(xué)界的認(rèn)可并被當(dāng)作醫(yī)學(xué)診斷的基礎(chǔ)平臺(tái)使用[5].它擁有獨(dú)立色彩處理通道，確保自然準(zhǔn)確的色彩還原和圖像清晰度.

1.2圖像拼接預(yù)處理

由于鏡頭和光源的問題，采集到的圖像會(huì)出現(xiàn)亮度不均勻的情況[6]，這會(huì)影響圖像拼接與大視野圖像的效果，因此在圖像拼接之前需要進(jìn)行光平衡處理.具體步驟如下.

步驟一：拍攝1張空白圖像和1張顯微數(shù)字圖像，將這2張圖從RGB（Red，Green，Blue）顏色模式轉(zhuǎn)換成HSV（Hue，Saturation，Value）顏色空間模型.

步驟二：分別取出2張圖的亮度通道，計(jì)算顯微數(shù)字圖像的亮度平均值m.

步驟三：計(jì)算顯微數(shù)字圖像每一點(diǎn)的亮度L與空白圖像對(duì)應(yīng)點(diǎn)的亮度L的比值，然后與平均亮度相乘，即（L/L）×m，將該乘積值賦給顯微數(shù)字圖像亮度通道的對(duì)應(yīng)位置.

步驟四：將顯微數(shù)字圖像從HSV模型轉(zhuǎn)換成RGB模式，得到光平衡后的圖像.

因?yàn)閱螐垐D片的對(duì)比差別較小，故選取拼接后的大視野圖像為例.圖1（a）為光平衡前的大視野顯微圖像，圖1（b）為光平衡后的大視野顯微圖像.從圖1（b）可以看到，基本消除了光分量分布不均勻的網(wǎng)格狀現(xiàn)象，光平衡預(yù)處理的效果比較理想.

1.3圖像配準(zhǔn)方法

基于圖像特征的配準(zhǔn)方法有ORB[7]（Oriented FAST and Rotated BRIEF）、SURF[8-9]（Speeded Up Robust Features）、SIFT[（Scale-Invariant Feature Transform），等等[12].利用本文的圖像對(duì)SURF、SIFT和GPU（Graphics Processing Unit）版本的SURF進(jìn)行了測(cè)試，根據(jù)100個(gè)樣本取平均，結(jié)果如表1所示.表1所示分別為配準(zhǔn)相應(yīng)步驟后得到的匹配對(duì)數(shù)量和算法的耗時(shí)，其中，SIFT耗時(shí)是SURF的近2倍，而兩者最后得到的匹配對(duì)卻相差無幾，故兩者中選擇SURF算法.由于本文研究是面向病理切片掃描儀的產(chǎn)品化設(shè)計(jì)，故GPU版本SURF的極低耗時(shí)是一個(gè)較優(yōu)的選項(xiàng).

本文采用GPU版本SURF算法進(jìn)行配準(zhǔn)[13-14]：首先根據(jù)先驗(yàn)信息截取相鄰視野圖像的重疊區(qū)域，并轉(zhuǎn)化為灰度圖;利用SURF算法找到特征點(diǎn)，計(jì)算描述符;通過Brute-Force暴力匹配法得到匹配對(duì);通過尋找最小距離來設(shè)置閾值，并通過閾值過濾得到好的匹配對(duì);使用隨機(jī)抽樣一致性（Random Sample Consensus，RANSAC）算法[15]篩選得到更好的匹配對(duì)[16].圖2為最后配準(zhǔn)的匹配對(duì)圖，取圖像特征密集圖（圖2（a））和特征稀疏圖（圖2（b））為例.

在確定了SURF特征點(diǎn)匹配過程之后，為了簡化尋找大視野顯微圖像最佳拼接路徑的步驟，減少消耗的時(shí)間，本文規(guī)定拼接路徑只能向右方或者向下方拓展.具體步驟：按照S形方式掃描圖像，邊掃描邊配準(zhǔn)，配準(zhǔn)完之后再進(jìn)行拼接;對(duì)圖像分別進(jìn)行top（上方）和left（左方）兩個(gè)方向的配準(zhǔn)操作，即當(dāng)前圖與top方向的圖以及l(fā)eft方向的圖進(jìn)行配準(zhǔn)，得到這兩個(gè)方向的配準(zhǔn)度和偏移量.圖3（a）為掃描順序示意圖，圖3（b）為圖像配準(zhǔn)關(guān)系的網(wǎng)格示意圖.

1.4改進(jìn)的圖像拼接方法

GPU版本SURF算法匹配對(duì)的相對(duì)減少可能對(duì)傳統(tǒng)大視野圖像拼接帶來誤差.因此本文嘗試了新的大視野圖像拼接方法.圖像配準(zhǔn)之后，需要根據(jù)配準(zhǔn)得到的偏移量按照一定的順序拼接圖像，從而得到大視野顯微圖像.然而在圖像配準(zhǔn)的過程中，由于樣本不平整、配準(zhǔn)誤差等原因可能會(huì)導(dǎo)致圖片配準(zhǔn)失敗，即得不到配準(zhǔn)度和偏移量，從而影響到大視野圖像的拼接.本文動(dòng)態(tài)地賦予了這些配準(zhǔn)失敗的圖像1組補(bǔ)償值[3].經(jīng)過實(shí)驗(yàn)觀察與分析，補(bǔ)償值獲取過程如下.

步驟一：讀取整個(gè)大圖像的行數(shù)和列數(shù)，然后遍歷所有的小圖像，分別得到top方向偏移量在每一行圖像中的平均值，以及l(fā)eft方向偏移量在每一列圖像中的平均值.

步驟二：若某一圖像的left方向配準(zhǔn)度為0，則令它的left方向偏移量等于left在當(dāng)前列圖像中偏移量的平均值;若某一圖像的top方向配準(zhǔn)度為0，則令它的偏移量等于top在當(dāng)前行圖像中偏移量的平均值.

步驟三：若當(dāng)前行的圖像top方向配準(zhǔn)度均為0，得不到偏移量，則令當(dāng)前圖像的top方向偏移量等于配準(zhǔn)度最大行的top方向平均偏移量;若當(dāng)前列的圖像left方向配準(zhǔn)度均為0，得不到偏移量，則令當(dāng)前圖像的left方向的偏移量等于配準(zhǔn)度最大列的left方向的平均偏移量.[3]

設(shè)置補(bǔ)償值后，可以減小配準(zhǔn)失敗帶來的誤差，然后根據(jù)偏移量來拼接大視野顯微圖像.本文通過尋找最佳拼接路徑的方法來拼接大視野顯微圖像.步驟如下.

步驟一：按從左至右從上至下的順序讀取圖像，先讀取第一張圖像，若后續(xù)讀取的圖像為第一行或者第一列的，則按照默認(rèn)方法拼接，即第一行的圖像用left方向的偏移量來拼接，第一列的圖像用top方向的偏移量來拼接;同時(shí)每一張圖按照它相對(duì)于第一張圖的拼接路徑，記錄下路徑上的累積配準(zhǔn)度以及累積偏移坐標(biāo).

步驟二：非首行且非首列的圖像從top和left兩個(gè)方向的配準(zhǔn)度來判斷，本文設(shè)置判斷標(biāo)準(zhǔn)配準(zhǔn)度為T，取top和left中T較大的方向來拼接圖像;當(dāng)left和top方向的T不均大于0時(shí)，若left方向的標(biāo)準(zhǔn)T為0，則取top方向來拼接;其余情況，選擇left方向拼接;然后按照當(dāng)前圖像相對(duì)于第一張圖的拼接路徑，記錄下路徑上的累積配準(zhǔn)度以及累積偏移坐標(biāo).

步驟三：通過累積偏移坐標(biāo)確定當(dāng)前圖像相對(duì)于第一張圖像的位置，逐步處理每張圖像從而完成大視野圖像的拼接.

2拼接效果分析

本文實(shí)驗(yàn)采用肝臟腫瘤細(xì)胞的圖像作為研究對(duì)象.采集圖像后對(duì)其進(jìn)行光平衡預(yù)處理;然后進(jìn)行配準(zhǔn)得到一系列的配準(zhǔn)度與偏移量;設(shè)置一些補(bǔ)償量，而后根據(jù)最佳拼接路徑方法，完成拼接并顯示圖片.

2.1圖像數(shù)據(jù)來源及實(shí)驗(yàn)條件

實(shí)驗(yàn)的載玻片樣本為網(wǎng)上購買的肝臟腫瘤細(xì)胞樣本，圖像采集用的是杭州圖譜BigEyelOOOO kpa相機(jī).

硬件環(huán)境：運(yùn)行實(shí)驗(yàn)的計(jì)算機(jī)CPU為Intel （R）Core （TM）i7-6700HQ CPU @2.60 GHz;GPU為NVIDIA GeForce GTX 960M;內(nèi)存為8.00 GB.

軟件環(huán)境：操作系統(tǒng)為Microsoft Windows 10專業(yè)版（64位）;程序運(yùn)行平臺(tái)為Visual Studio 2019;還使用了OpenCV庫和MFC庫.

2.2拼接效果定性分析

本文對(duì)最佳拼接路徑方法的標(biāo)準(zhǔn)展開了探索.經(jīng)過實(shí)驗(yàn)分析與篩選得出了2種配準(zhǔn)度標(biāo)準(zhǔn)（T），分別為T=T和T=T×T其中，T為累積配準(zhǔn)度，T為相鄰配準(zhǔn)度.分別對(duì)這2種配準(zhǔn)度標(biāo)準(zhǔn)方法以及傳統(tǒng)拼接方法進(jìn)行了實(shí)驗(yàn)分析.傳統(tǒng)拼接效果如圖4（a）所示;T=T的最佳路徑方法效果如圖5（a）所示;T=T×T的最佳路徑方法效果如圖6（a）所示.要想更好地體現(xiàn)拼接效果，可在圖4（a）、圖5（a）、圖6（a）這3幅圖中增加圖中錯(cuò)位拼接處的放大圖，便能更清楚地看到拼接效果.由圖4（b）、圖5（b）、圖6（b）這3幅圖可以看到，3種方法的效果圖大致上差不多，沒有嚴(yán)重的拼接錯(cuò)誤.但是觀察放大的局部區(qū)域細(xì)節(jié)，可以發(fā)現(xiàn)，傳統(tǒng)圖像在小細(xì)胞和雜質(zhì)的拼接上出現(xiàn)了明顯的錯(cuò)位現(xiàn)象;而T=T的最佳路徑方法在較小的細(xì)胞拼接上也出現(xiàn)了一些錯(cuò)位現(xiàn)象;相比之下，T=T×T的最佳路徑方法拼接效果較理想，基本沒有錯(cuò)位現(xiàn)象.

2.3拼接效果定量分析

因?yàn)閳D像拼接的效果評(píng)判沒有金標(biāo)準(zhǔn)，故本文嘗試了自定義的標(biāo)準(zhǔn).經(jīng)過100組的實(shí)驗(yàn)嘗試與分析取平均，得到了表2所示的數(shù)據(jù).表2中，拼接路徑上配準(zhǔn)失敗的匹配對(duì)數(shù)量為C，拼接路徑上配準(zhǔn)對(duì)總數(shù)為C，失誤率P=（C/C）×100%.由于載玻片樣本不是理想的平整和配準(zhǔn)算法不夠完美等原因，拼接路徑上存在配準(zhǔn)失敗的配準(zhǔn)對(duì)[17].但是以表2數(shù)據(jù)而言，2種最佳拼接路徑方法與傳統(tǒng)拼接方法相比，均較好地降低了失誤率，其中，標(biāo)準(zhǔn)T=T_d方法的失誤率最低.圖像配準(zhǔn)的連線圖如圖7（a）所示，若2幅圖像配準(zhǔn)成功則畫1條綠線;傳統(tǒng)圖像的拼接路徑如圖7（b）所示;標(biāo)準(zhǔn)為T=T的拼接路徑如圖7（c）所示;標(biāo)準(zhǔn)為T=TT的拼接路徑如圖7（d）所示.

根據(jù)實(shí)驗(yàn)結(jié)果分析可得：傳統(tǒng)方法的拼接路徑上存在配準(zhǔn)失敗的配準(zhǔn)對(duì)的概率較大，同時(shí)又不能很好地處理配準(zhǔn)失敗的情況，導(dǎo)致誤差的積累而存在的較大失誤率;而標(biāo)準(zhǔn)為T=T的最佳路徑方法，兼顧了相鄰圖像的配準(zhǔn)權(quán)重和路徑上的累積權(quán)重，降低了拼接路徑上存在配準(zhǔn)失敗的配準(zhǔn)對(duì)的概率，同時(shí)利用本文的補(bǔ)償值處理配準(zhǔn)失敗的圖像，最終得到了較小的失誤率，進(jìn)一步提升了拼接圖像的質(zhì)量.

2.4拼接效果對(duì)后續(xù)分類算法的影響

在病理切片掃描儀的實(shí)際應(yīng)用中，會(huì)利用拼接后的圖像進(jìn)行細(xì)胞的分類與識(shí)別，從而進(jìn)行病理診斷，所以對(duì)拼接效果有較高的要求.如果拼接效果不佳，可能會(huì)影響病理診斷的結(jié)果，造成不可估量的損失.因此，本文從定性和定量這兩個(gè)方面進(jìn)行了綜合分析，最終選用了標(biāo)準(zhǔn)T=TT的最佳拼接路徑方法，較好地提升了拼接圖像的質(zhì)量.

3總結(jié)與展望

本文首先說明了傳統(tǒng)圖像拼接方法的缺陷，研究了圖像的配準(zhǔn)方法以及補(bǔ)償值的設(shè)置方法;然后提出了優(yōu)化大視野圖像拼接路徑的方法，這種方法包括相鄰配準(zhǔn)度和累積配準(zhǔn)度兩個(gè)指標(biāo);根據(jù)多次實(shí)驗(yàn)的數(shù)據(jù)結(jié)果分析以及不斷地改進(jìn)，最終找到了合適的判斷標(biāo)準(zhǔn)，有效地提升了大視野顯微數(shù)字圖像的拼接質(zhì)量.

從本文實(shí)驗(yàn)中，也看到了現(xiàn)有技術(shù)的缺陷以及未來的發(fā)展前景.現(xiàn)有的病理顯微圖像配準(zhǔn)還是基于傳統(tǒng)圖像處理的，而類似于本文實(shí)驗(yàn)的圖像，即很多顯微圖像的配準(zhǔn)區(qū)域大多是點(diǎn)狀的物質(zhì)，沒有明顯的特征，這便為目前流行的基于特征點(diǎn)的匹配算法帶來了考驗(yàn)[17].以本文的SURF配準(zhǔn)算法為例，本文的3個(gè)步驟篩選特征對(duì)的同時(shí)不可避免地刪去了某些正確的特征對(duì)，甚至可能保留了某些錯(cuò)誤的特征對(duì).針對(duì)此類問題，已有學(xué)者初步確定了基于神經(jīng)網(wǎng)絡(luò)的顯微圖像配準(zhǔn)的研究方向[18-20]，相信通過合理的數(shù)據(jù)處理以及網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整，能夠較好地提升顯微圖像配準(zhǔn)的質(zhì)量，為病理診斷的發(fā)展注入更多的動(dòng)力.

[參考文獻(xiàn)]

[1]王鴻.圖像拼接方法及其應(yīng)用研究[D].長沙：中南大學(xué)，2013.

[2]葉志前，吳昊.基于特征點(diǎn)的病理切片圖像拼接算法[J].生物醫(yī)學(xué)工程學(xué)雜志，2010，27（5）：984-986.

[3]劉炳憲，謝菊元，王焱輝，等.一種圖像拼接方法：CN108537730A [P]. 2018-09-14.

[4]許陽，劉洪英，莊泉潔，等.一種大視野圖像拼接路徑的優(yōu)化方法：CN110689511A [P]. 2020-01-14.

[5]黃永禎.病理切片數(shù)字顯微成像光學(xué)系統(tǒng)的研究[D].南京：南京理工大學(xué)，2014.

[6]吳金杰.一類照度不均勻圖像的拼接技術(shù)研究[D].杭州：杭州電子科技大學(xué)，2012.

[7]RUBLEE E，RABAUD V，KONOLIGE K，et al. ORB：An efficient alternative to SIFT or SURF [C]// 2011 International Conference on Computer Vision. IEEE，2011：2564-2571. DOI：10.1109/ICCV.2011.6126544.

[8]張銳娟，張建奇，楊翠.基于SURF的圖像配準(zhǔn)方法研究[J].紅外與激光工程，2009，38（1）：160-165.

[9]LOWE D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision，2004，60（2）：91- 110.

[10]肖健.SIFT特征匹配算法研究與改進(jìn)[D].重慶：重慶大學(xué)，2012.

[11]LIU L，ZHAN Y Y，LUO Y，et al. Summarization of the scale invariant feature transform [J]. Journal of Image and Graphics，2013，18（8）：885-892.

[12]孫奇.基于特征的圖像配準(zhǔn)方法的研究與實(shí)現(xiàn)[D].沈陽：沈陽航空航天大學(xué)，2014.

[13]柴政，劉任任，梁光明.基于機(jī)械掃描與改進(jìn)SURF的顯微圖像拼接算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2019，29（11）：97-101.

[14]BAY H，TUYTELAARS T，GOOL L. SURF：Speeded up robust features [C]// Proceedings of the 9th European Conference on Computer Vision. Berlin：Springer，2006：404-417. DOI：10.1007/117440232.

[15]谷宗運(yùn)，譚紅春，殷云霞，等.基于SURF和改進(jìn)的RANSAC算法的醫(yī)學(xué)圖像配準(zhǔn)[J].中國醫(yī)學(xué)影像學(xué)雜志，2014，22（6）：470-475.

[16]FISCHLER M A，BOLLES R C. Random sample consensus：A paradigm for model fitting with applications to image analysis and automated cartography [J]. Communications of the ACM，1981，24（6）：381-395.

[17]馬興民.圖像配準(zhǔn)若干關(guān)鍵技術(shù)研究及應(yīng)用[D].北京：北京科技大學(xué)，2019.

[18]盧佳毅.基于卷積神經(jīng)網(wǎng)絡(luò)的肺部CT圖像配準(zhǔn)方法[D].武漢：華中科技大學(xué)，2019.

[19]YI K M，VERDIE Y，F(xiàn)UA P，et al. Learning to assign orientations to feature points [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE，2016：107-116. DOI：10.1109/CVPR.2016.19.

[20]CAO X H，YANG J H，GAO Y Z，et al. Region-adaptive deformable registration of CT/MRI pelvic images via learning-based image synthesis [J]. IEEE Transactions on Image Processing，2018，27（7）：3500-3512.

（責(zé)任編輯：李藝）