石小濤胡運(yùn)燊王 博黃 瑤陳求穩(wěn)劉德富侯軼群

(1. 中國科學(xué)院生態(tài)環(huán)境研究中心, 北京 100085; 2. 水利部水工程生態(tài)效應(yīng)與生態(tài)修復(fù)重點(diǎn)實(shí)驗(yàn)室, 武漢 430079; 3. 三峽大學(xué)三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心, 宜昌 443002)

運(yùn)用免費(fèi)計(jì)算機(jī)軟件SwisTrack分析鰱幼魚游泳行為

石小濤1,2,3胡運(yùn)燊3王 博3黃 瑤3陳求穩(wěn)1,3劉德富3侯軼群2

(1. 中國科學(xué)院生態(tài)環(huán)境研究中心, 北京 100085; 2. 水利部水工程生態(tài)效應(yīng)與生態(tài)修復(fù)重點(diǎn)實(shí)驗(yàn)室, 武漢 430079; 3. 三峽大學(xué)三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心, 宜昌 443002)

魚類在攝食、遷徙、逃避敵害時(shí)均需采用游泳行為,魚類游泳行為對(duì)魚類的生存發(fā)揮重要作用[1]。魚類游泳行為受到國內(nèi)外學(xué)者廣泛關(guān)注, 如 Wang, et al.研究了中華鱘(Acipenser sinensis)產(chǎn)卵群體的洄游游泳速度[2], Yuuki, et al.記錄了中華鱘個(gè)體在三峽庫區(qū)的游泳速度[3], Zhuang, et al.分析了幾種鱘魚在個(gè)體發(fā)育過程中的游泳行為特征[4],田凱等測(cè)算了瓦氏黃顙魚的游泳速度[5], 石小濤等指出游泳行為在通過水流障礙中的重要性[6]。在工程應(yīng)用中,水力水電建設(shè)中過魚設(shè)施的建設(shè)同樣需要魚類游泳行為的數(shù)據(jù)參考[7]。

游泳速度是魚類游泳行為的重要指標(biāo), 包括平均速度、瞬時(shí)速度和爆發(fā)滑行速度等。針對(duì)游泳速度目前主要采用的方法包括視頻軟件分析, 標(biāo)記定位, 加速器分析,以及人工計(jì)數(shù)等方法[3,7,8]。各方法各有利弊, 其中行為學(xué)軟件分析視頻是較為高效的一種方法, 在動(dòng)物行為研究中已經(jīng)發(fā)揮了重要作用。但是, 目前的行為學(xué)視頻分析軟件不能大眾化, 需要一定的經(jīng)濟(jì)成本, 如 Noldus和Logger Pro行為學(xué)軟件。因此, 能夠普及運(yùn)用的行為學(xué)軟件亟待共享。SwisTrack是一款功能強(qiáng)大的軟件, 用于機(jī)器人、人類、動(dòng)物和物體的視頻分析, 提供免費(fèi)資源, 包括應(yīng)用軟件和源代碼, 有望為魚類行為學(xué)研究提供幫助。鑒于計(jì)算機(jī)視頻處理技術(shù)在魚類行為分析中的應(yīng)用有限,本文以共享軟件SwisTrack為對(duì)象, 借助其在鰱游泳行為過程中的應(yīng)用, 重點(diǎn)分析SwisTrack軟件的思路和優(yōu)缺點(diǎn),擬為讀者介紹一種魚類行為分析的方法。

1 材料與方法

1.1 試驗(yàn)材料及暫養(yǎng)

試驗(yàn)用鰱均由湖北宜都漁場(chǎng)提供。試驗(yàn)用魚通過充氧水包或供氧水箱車分批運(yùn)送到三峽大學(xué)生態(tài)水工實(shí)驗(yàn)室, 暫養(yǎng)3d后進(jìn)行試驗(yàn)。暫養(yǎng)水槽為直徑2 m、深為0.5 m的圓形水槽。暫養(yǎng)期間水溫為(20.00±1.00) , 24h℃ 連續(xù)持續(xù)充氧。每2d換暫養(yǎng)水的30%, 每1d投食餌料和吸糞便、殘?jiān)?次。

1.2 試驗(yàn)方法

試驗(yàn)使用的圓形水槽同暫養(yǎng)水槽。試驗(yàn)魚選擇鰱幼魚體長(zhǎng)為(8.79±0.62) cm。試驗(yàn)魚禁食24h后, 放置于試驗(yàn)水槽中適應(yīng)區(qū), 適應(yīng)30min后進(jìn)行試驗(yàn)。試驗(yàn)使用20尾魚, 2尾魚為一組, 共10組。每一組記錄視頻24h, 白天采用自然光, 晚上紅外光。試驗(yàn)裝置的頂部1.6 m處放置紅外攝像頭記錄試驗(yàn)魚的自由游泳行為(圖 1)。試驗(yàn)水溫為(20.00±1.00) , ℃ 溶解氧保持在6.0 mg/L以上。試驗(yàn)使用遮光布把試驗(yàn)水槽圍住, 避免與外界光干擾, 禁止試驗(yàn)水槽附近的活動(dòng), 避免外界聲干擾。使用紅外攝像頭進(jìn)行錄像, 通過視頻回放每個(gè)小時(shí)隨機(jī)選取的10個(gè)1min視頻片段, 采用SwisTrack 4.0軟件、Logger Pro 32軟件和手動(dòng)視頻分幀處理方法收集鰱游泳過程中的數(shù)據(jù), 以比較各數(shù)據(jù)采集方法的優(yōu)劣。SwisTrack軟件通過背景差值法實(shí)現(xiàn)二維平面上多目標(biāo)自動(dòng)追蹤功能, Logger Pro 32軟件通過連續(xù)手動(dòng)點(diǎn)擊跟蹤軌跡實(shí)現(xiàn)手動(dòng)跟蹤, 手動(dòng)視頻分幀處理技術(shù)采用逐幀推進(jìn)和像素定位換算的方法實(shí)現(xiàn)魚類行為測(cè)試。

圖1 試驗(yàn)裝置示意圖Fig. 1 Schematic of the experimental setup

在 SwisTrack軟件視頻分析的的過程中, 如果隨意挑選視頻片段, 常產(chǎn)生較多非正常值。通過視頻回放和肉眼觀察, 發(fā)現(xiàn)這部分視頻出錯(cuò)片段對(duì)比度不高, 或出現(xiàn)反光, 或魚類個(gè)體重疊。因此, 在隨后的視頻處理中, 選取對(duì)比度清晰, 無反光, 無個(gè)體游泳交叉行為的視頻。試驗(yàn)記錄體長(zhǎng)(BL)、自由游泳速度(cm/s)、相對(duì)自由游泳速度(BL/s)、最大自由游泳速度(cm/s)和相對(duì)最大自由游泳速度(BL/s)。自由游泳速度為非靜止時(shí)魚的速度, 相對(duì)速度為游泳速度與體長(zhǎng)的比值, 最大游泳速度為該視頻片段中兩幀之間的速度最大值。為了比較各種方法, 引入效率值表征各種方法的優(yōu)劣, 效率值由三位操作人員根據(jù)實(shí)際操作經(jīng)驗(yàn), 以手動(dòng)視頻分析為基礎(chǔ)分1分進(jìn)行打分。

1.3 數(shù)據(jù)分析

實(shí)驗(yàn)數(shù)據(jù)采用SPSS 18.0進(jìn)行分析, 統(tǒng)計(jì)值用平均數(shù)±標(biāo)準(zhǔn)差(Mean±SD)描述, 用Oneway-ANOVA分析差異性。

2 結(jié)果

魚類游泳速度分析表明, 視頻處理方法對(duì)試驗(yàn)結(jié)果有顯著影響。鰱的自由游泳速度、相對(duì)自由游泳速度在應(yīng)用SwisTrack、Logger Pro和手動(dòng)測(cè)試分析過程中(圖2、圖3), 未產(chǎn)生顯著差異(P>0.05, 表1), 但三者均與未挑選視頻直接通過 SwisTrack處理得到的結(jié)果有顯著差異(P<0.05, 表 1), 表明 SwisTrack可用于部分視頻效果較好片段的數(shù)據(jù)處理, 但不能用于處理對(duì)比度不高, 或出現(xiàn)反光, 或魚類個(gè)體重疊的視頻。效率值比較表明, SwisTrack軟件在自動(dòng)分析魚類游泳速度方面表現(xiàn)出極好的效果。

圖2 SwisTrack 4.0軟件記錄一尾魚的游泳行為示意圖Fig. 2 Illustration of fish swimming route by software SwisTrack

圖3 Logger Pro 32軟件記錄魚疾沖游泳軌跡示意圖Fig. 3 Illustration of fish swimming route by software Logger Pro

3 討論

魚類游泳行為學(xué)在各種高科技的支持下取得了很大的發(fā)展, 近年來涌現(xiàn)出了多種前沿技術(shù)。如彈出式衛(wèi)星數(shù)據(jù)回收標(biāo)志(Pop-up Archival Tag)的中華鱘幼魚, RFID技術(shù), DIDSON雙頻識(shí)別聲吶技術(shù)[7—9]。但是, 上述各種技術(shù)對(duì)設(shè)備的要求高, 成本大, 同時(shí)對(duì)人員的要求高, 不易廣泛推廣普及應(yīng)用。因此, 有必要尋找成本較低, 較為易學(xué)且普通人群能夠接觸的技術(shù)。魚類視頻分析具備視頻易得的優(yōu)點(diǎn), 配合視頻分析軟件, 已經(jīng)有力的推動(dòng)了魚類行為學(xué)的研究。如 Paglianti 和 Domeniqi利用商業(yè)行為軟件WINanalyze分析了鹿角杜父魚(Leptocottus armatus)的逃逸行為[10], Kanea, et al.[11]鳉創(chuàng)建了視頻分析方法探討了底(Fundulus heteroclitus)應(yīng)激行為, 吳冠豪和曾理江[12]開發(fā)了移動(dòng)視頻平臺(tái)研究魚類游泳動(dòng)力學(xué), Wong, et al.借助商業(yè)行為軟件 Noldus Ethovision研究了斑馬魚(Danio rerio)[13]行為在藥物篩選中的方法, 徐盼麟等利用單攝像機(jī)實(shí)現(xiàn)了魚類的三維定位[14]。但是, 魚類視頻分析技術(shù)仍沒有得到廣泛應(yīng)用, 其原因主要是有關(guān)行為學(xué)軟件的高昂成本或復(fù)雜性。

表1 鰱幼魚自由游泳速度Tab. 1 The free swimming velocity of the juveniles silver carp

SwisTrack作為一款免費(fèi)軟件, 操作簡(jiǎn)單, 成本低廉,能夠?qū)崿F(xiàn)魚類行為定量。SwisTrack軟件的追蹤核心是基于OpenCV庫編寫的一套程序, 主要技術(shù)路線如圖4。載入視頻后, SwisTrack對(duì)視頻分析解碼, 通過OpenCV庫把視頻轉(zhuǎn)化為可處理格式, 用背景圖對(duì)比視頻畫面, 減掉靜止不變的背景畫面, 標(biāo)出運(yùn)動(dòng)的物體; 加上蒙版, 限制視頻檢測(cè)區(qū)域, 算出只含有目標(biāo)的運(yùn)動(dòng)圖像。SwisTrack依據(jù)視頻分辨率建立坐標(biāo)系, 視頻的左下角即為(0, 0),根據(jù)視頻分辨率的像素點(diǎn), 以像素點(diǎn)為橫縱坐標(biāo), 1個(gè)像素為一個(gè)單位, 并根據(jù)像素點(diǎn)分配給運(yùn)動(dòng)檢測(cè)的目標(biāo)物,在預(yù)先限制的蒙版范圍內(nèi)對(duì)目標(biāo)物進(jìn)行追蹤檢測(cè)、處理。最后以視頻幀數(shù)作為時(shí)間軸, 以像素點(diǎn)賦值追蹤目標(biāo),自動(dòng)追蹤目標(biāo)移動(dòng)的過程, 并生成數(shù)據(jù)報(bào)表。SwisTrack最初開發(fā)是作為一種機(jī)器人追蹤平臺(tái), 開展群機(jī)器人研究和行為生物學(xué)方面的研究, 如通過追蹤一群蟑螂研究未知環(huán)境中蟑螂如何通過行為控制方式完成行為與步態(tài)生成[15]。將SwisTrack軟件靈活應(yīng)用于魚類研究, 取得了極好的數(shù)據(jù)獲取效果。與商業(yè)軟件Logger Pro和手工視頻處理方法比較, SwisTrack具有準(zhǔn)確、高效的特點(diǎn), 克服了 Logger Pro和手工視頻處理時(shí)的繁瑣, 能很好地避免由于視頻中運(yùn)動(dòng)物體運(yùn)動(dòng)軌跡的錯(cuò)綜復(fù)雜帶來的干擾。

魚類自由游泳行為作為持續(xù)游泳能力的一種, 反應(yīng)魚類的行為特征。魚類自由游泳速度類似于持續(xù)游泳速度,均表示魚類的有氧運(yùn)動(dòng)速度, 但自由游泳速度側(cè)重于魚類個(gè)體完全的自主游泳行為, 而持續(xù)游泳速度更多的是被用于在游泳槽中魚類被動(dòng)游泳時(shí)進(jìn)行其游泳能力定量[16]。溪紅點(diǎn)鮭幼魚(15 cm)的相對(duì)自由游泳速度為略高于1BL/s, 大馬哈魚(58—70 cm, FL)的相對(duì)自由游泳速度為介于(1—2)BL/s, 東方金槍魚(81—143 cm, FL)的相對(duì)自由游泳速度為(1.1—1.4) BL/s[17]。本文中鰱的相對(duì)自由游泳速度略高于上述魚類, 其原因可能是本文采用的游泳標(biāo)準(zhǔn)是僅選取運(yùn)動(dòng)中的個(gè)體作為視頻分析對(duì)象, 而上述研究包括了靜止的行為, 同時(shí)可能與本研究提供的是靜水環(huán)境有關(guān)[18]。魚類自由游泳過程中的最大游泳速度較少報(bào)道, 學(xué)者們更多的是采用爆發(fā)游速、急沖(快速啟動(dòng))速度評(píng)價(jià)魚類的最大游泳速度。本文中鰱的最大自由游泳速度低于大多數(shù)魚類的爆發(fā)游速(10BL/s), 原因是在本研究中鰱處于靜水環(huán)境且未受干擾, 故較少產(chǎn)生爆發(fā)或快速啟動(dòng)行為。

圖4 SwisTrack 技術(shù)路線Fig. 4 Flow chart of SwisTrack technical route

在鰱的視頻分析過程中發(fā)現(xiàn), SwisTrack還有許多可以改進(jìn)的地方。在追蹤目標(biāo)的時(shí)候, 當(dāng)目標(biāo)物出現(xiàn)重疊的正交現(xiàn)象, SwisTrack在該處可能出現(xiàn)辨認(rèn)錯(cuò)誤。2個(gè)追蹤目標(biāo)可能會(huì)重疊后繼續(xù)朝向各自原本的運(yùn)動(dòng)方向運(yùn)動(dòng),也可能重疊以后相撞而返回, 但由于視頻分析過程是在二維空間進(jìn)行, 軟件不具備自動(dòng)區(qū)分個(gè)體功能, 也不具備對(duì)目標(biāo)物在視頻中進(jìn)行標(biāo)記染色功能, 因此在視頻中不可以出現(xiàn)重疊現(xiàn)象。在視頻錄制中, 光與水面出現(xiàn)的反射現(xiàn)象, 會(huì)在視頻中全部體現(xiàn)出來。SwisTrack是根據(jù)視頻的像素點(diǎn)來區(qū)別運(yùn)動(dòng)物體與背景的, 光與水面的反射與折射現(xiàn)象會(huì)不間斷的改變給定像素點(diǎn)位置的變化, SwisTrack不能正確識(shí)別該像素變化是運(yùn)動(dòng)物體還是反射現(xiàn)象, 會(huì)把所有位置的像素變化識(shí)別為運(yùn)動(dòng)物體。由于魚類游泳是在三維空間中進(jìn)行, 重疊的現(xiàn)象不可避免, 因此SwisTrack軟件還需要進(jìn)行更深入的開發(fā)。

總之, 魚類行為學(xué)研究有待于計(jì)算機(jī)視頻分析技術(shù)的進(jìn)一步應(yīng)用, SwisTrack軟件為魚類研究者提供了一條有效分析魚類二維軌跡的途徑。

[1] Shi X T, Chen Q W, Liu D F, et al. Critical swimming speed of young Chinese sucker (Myxocryprinus asiaticus) [J]. Acta Hydrobiologica Sinica, 2012, 36(1): 133—136 [石小濤, 陳求穩(wěn), 劉德富, 等. 胭脂魚幼魚的臨界游泳速度. 水生生物學(xué)報(bào), 2012, 36(1): 133—136]

[2] Wang C, Kynard B, Wei Q, et al. Spatial distribution and habitat suitability indices for non-spawning and spawning adult Chinese sturgeons below Gezhouba Dam, Yangtze River: Effects of river alterations [J]. Journal of Applied Ichthyology, 2013, 29(1): 31—40

[3] Yuuki Y W, Qiwei W, et al. Swimming behavior of Chinese sturgeon in natural habitat as compared to that in a deep reservoir: preliminary evidence for anthropogenic impacts [J]. Environmental Biology of Fishes, 2013, 96(1): 123—130

[4] Zhuang P, Kynard B, Zhang L, et al. Comparative ontogenetic behavior and migration of kaluga, Huso dauricus, and Amur sturgeon, Acipenser schrenckii, from the Amur River [J]. Environmental Biology of Fishes, 2003, 66(1): 37—48

[5] Tian K, Cao Z D, Fu S J. Effects of velocity increment and duration on critical swimming speed of juvenile darkbar-bel catfish [J]. Chinese Journal of Ecology, 2010, 29(3): 534—538 [田凱, 曹振東, 付世建. 速度增量及持續(xù)時(shí)間對(duì)瓦氏黃顙魚幼魚臨界游泳速度的影. 生態(tài)學(xué)雜志, 2010, 29(3): 534—538]

[6] Shi X T, Chen Q W, Huang Y P, et al. Review on the methods to quantify fish’s ability to cross velocity barriers in fish passage [J]. Acta Ecologica Sinica, 2011, 31(22): 6967—6972 [石小濤, 陳求穩(wěn), 黃應(yīng)平, 等. 魚類通過魚道內(nèi)水流速度障礙能力的評(píng)估方法分析. 生態(tài)學(xué)報(bào), 2011, 31(22): 6967—6972]

[7] Castro-Santos T, Haro A. Fish Guidance and Passage at Barriers. In: Fish Locomotion: An Eco-ethological Perspective [M]. Science Publishers. 2010, 62—89

[8] Chen J H, Zhuang P, Wu J H, et al. Migration and distribution of released Acipenser sinensis in the sea based on Pop-up Archival Tag technique [J]. Journal of Fishery Sciences of China, 2011, 18(2): 437—442 [陳錦輝, 莊平,吳建輝, 等. 應(yīng)用彈式衛(wèi)星數(shù)據(jù)回收標(biāo)志技術(shù)研究放流中華鱘幼魚在海洋中的遷移與分布. 中國水產(chǎn)科學(xué), 2011, 18(2): 437—442]

[9] Boswell K M, Wilson M P, Cowan J H, et al. A semiautomated approach to estimating fish size, abundance, and behavior from dual-frequency identification sonar (DIDSON) data [J]. North American Journal of Fisheries Management, 2008, 28(3): 799—807

[10] Paglianti A, Domenici P. The effect of size on the timing of visually mediated escape behaviour in staghorn sculpin Leptocottus armatus [J]. Journal of Fish Biology, 2006, 68(4): 1177—1191

[11] Kanea A S, Saliernoa J D, Gipsona G T, et al. A video-based movement analysis system to quantify behavioral stress responses of fish [J]. Water Research, 2004, 38(18): 3993—4001

[12] Wu G H, Zeng L J. Video tracking method for three-dimensional measurement of a free- swimming fish [J]. Science in China Series G-Physics and Astronomy, 2007, 37(6): 760—766 [吳冠豪, 曾理江. 用于自由游動(dòng)魚三維測(cè)量的視頻跟蹤方法. 中國科學(xué) G 輯, 2007, 37(6): 760—766]

[13] Wong K, Stewart A, Gilder T, et al. Modeling seizure-related behavioral and endocrine phenotypes in adult zebrafish [J]. Brain Research, 2010, 1348: 209—215

[14] Xu P L, Han J, Tong J F. Preliminary studies on an automated 3D fish tracking method based on a single video camera [J]. Journal of Fisheries of China, 1998, 36(4): 623—628 [徐盼麟, 韓軍, 童劍鋒. 基于單攝像機(jī)視頻的魚類三維自動(dòng)跟蹤方法初探. 水產(chǎn)學(xué)報(bào), 1998, 36(4): 623—628]

[15] Lochmatter T, Roduit P, Cianci C, et al. SwisTrack-A Flexible Open Source Tracking Software for Multi-Agent Systems [A]. 2008 IEEE/RSJ International Conference on Intelligent Robots and Systems Acropolis Convention Center. 2008, 22—26: 4004—4010

[16] Kieffer J D. Perspective–Exercise in fish: 50+years and going strong [J]. Comparative Biochemistry and Physiology, 2010, 156(2): 163—168

[17] Yu X M, Zhang X M. Research progress on measurements of fish swimming ability [J]. South China Fisheries Science, 2011, 7(4): 2095—0780 [于曉明, 張秀梅. 魚類游泳能力測(cè)定方法的研究進(jìn)展. 南方水產(chǎn)科學(xué), 2011, 7(4): 2095—0780]

[18] Swanson C. Interactive effects of salinity on metabolic rate, activity, growth and osmoregulation in the euryhaline milkfish (Chanos chanos) [J]. Journal of Experimental Biology, 1998, 201(24): 3355—3366

USING FREE SOFTWARE SWISTRACK TO LEARN SWIMMING BEHAVIOR OF SILVER CARP, HYPOPHTHALMICHTHYS MOLITRIX

SHI Xiao-Tao1,2,3, HU Yun-Shen3, WANG Bo3, HUANG Yao3, CHEN Qiu-Wen1,3, LIU De-Fu3and HOU Yi-Qun2(1. Ecological Environment Research Center of Chinese Academy of Sciences, Beijing 100085, China; 2. Ecological
Effects of Water Engineering of Ministry of Water Resources and Ecological Restoration Laboratory, Wuhan 430079, China; 3. Engineering Research Center of Eco-environment in Three Gorges Reservoir Region, Yichang 443002, China)

計(jì)算機(jī); 視頻; 軌跡; 魚; 游泳行為

Computer; Video; Route; Fish; Swimming behavior

Q142.8

A

1000-3207(2014)03-0588-04

10.7541/2014.83

2013-09-16;

2014-02-25

楚天學(xué)者基金(KJ2010B002); 國家自然科學(xué)基金(50979049, 51009082); 中國博士后科學(xué)基金; 水利部公益性行業(yè)科研專項(xiàng)(201201030, 201201028-02); 中國長(zhǎng)江三峽集團(tuán)公司科研項(xiàng)目; 水利部水工程生態(tài)效應(yīng)與生態(tài)修復(fù)重點(diǎn)實(shí)驗(yàn)室開放基金; 三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心開放基金(KF2013-03)資助

石小濤(1981—), 男, 湖北紅安人; 博士; 主要從事水生動(dòng)物生態(tài)學(xué)研究。E-mail: sxtshanghai@163.com

陳求穩(wěn)(1974—), 男, 湖北黃梅人; 博士; 主要從事生態(tài)水力學(xué)研究。E-mail: fishlab@163.com