徐 元，毛 進(jìn)，2，李 綱，2

（1.武漢大學(xué)信息管理學(xué)院，武漢 430072；2.武漢大學(xué)信息資源研究中心，武漢 430072）

1 引言

隨著移動互聯(lián)網(wǎng)的迅速發(fā)展，微博、微信、Twitter等社交媒體平臺作為橋接物理和虛擬世界的信息通信工具之一，逐漸成為突發(fā)事件應(yīng)急管理中重要的實時信息獲取渠道[1]。在突發(fā)事件期間，大量與人員傷亡、設(shè)施損毀、緊急求助等內(nèi)容相關(guān)的文本、圖像、視頻被用戶實時分享到社交媒體上，這些多模態(tài)信息對于突發(fā)事件的應(yīng)急管理具有重要作用[2-3]。在大數(shù)據(jù)環(huán)境下，突發(fā)事件應(yīng)急管理的思維模式也發(fā)生了轉(zhuǎn)變，傳統(tǒng)基于專家經(jīng)驗的管理決策模式轉(zhuǎn)變?yōu)椤扒榫?應(yīng)對”型應(yīng)急管理的新模式，即從大數(shù)據(jù)中挖掘有價值的知識來深入認(rèn)識突發(fā)事件的時空格局、活動模式、演化規(guī)律與內(nèi)在運行機制，以實現(xiàn)對突發(fā)事件態(tài)勢及演化趨勢的全面理解[4]。社交媒體為“情景-應(yīng)對”模式中的突發(fā)事件應(yīng)急管理提供了新的數(shù)據(jù)來源，不同模態(tài)的信息在內(nèi)容上相互關(guān)聯(lián)和呼應(yīng)，所包含的內(nèi)容也存在差異，如文本中包含事件的細(xì)節(jié)內(nèi)容，而圖像和視頻則更為直觀地展示事件的場景，文本與圖像、視頻之間能夠相互補充和印證，共同反映物理世界中事件的真實發(fā)展?fàn)顟B(tài)。從不同層次、不同側(cè)面對復(fù)雜的社交媒體多模態(tài)信息進(jìn)行抽象、概括和融合分析，總結(jié)并提煉出比單一模態(tài)更為準(zhǔn)確和全面的綜合情報，能夠幫助用戶全方位、深層次地理解突發(fā)事件的實時態(tài)勢，從而減少突發(fā)事件應(yīng)急管理中的不確定性。

社交媒體多模態(tài)數(shù)據(jù)呈現(xiàn)規(guī)模大、增長速度快以及來源、種類、模態(tài)多樣等特征，如何將海量、分散、無序、動態(tài)變化的多模態(tài)信息轉(zhuǎn)化為能夠有效支撐應(yīng)急管理的情報是突發(fā)事件下社交媒體多模態(tài)信息分析的核心問題，其關(guān)鍵在于正確認(rèn)知數(shù)據(jù)背后的特征、邏輯和科學(xué)內(nèi)涵，從而快速準(zhǔn)確認(rèn)識、判別和分析突發(fā)事件在不同階段的態(tài)勢變化，并以此為依據(jù)輔助應(yīng)急管理人員制定科學(xué)有效的應(yīng)對決策[4]。近年來，相關(guān)研究和應(yīng)用實踐已較為豐富，且仍在逐步增多。因此，本文采用文獻(xiàn)綜述方法，通過梳理國內(nèi)外有關(guān)突發(fā)事件下社交媒體多模態(tài)信息的研究成果，從信息資源特征和信息分析方法兩個方面解析社交媒體多模態(tài)信息的多維特征，歸納特定事件場景下的多模態(tài)信息分析方法體系，并以此為基礎(chǔ)構(gòu)建面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析框架，指出現(xiàn)有研究中存在的不足和挑戰(zhàn)，為深入研究面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析方法提供新的線索與方向。

2 突發(fā)事件中的社交媒體研究概況

本文選擇以Web of Science和中國知網(wǎng)中的期刊論文和會議論文為文獻(xiàn)來源，進(jìn)行基于標(biāo)題的檢索來獲取國內(nèi)外有關(guān)突發(fā)事件中的社交媒體研究的文獻(xiàn)，時間范圍是2020年及其之前的年份。在關(guān)鍵詞的選擇上，主要從兩個方面考慮：一是與突發(fā)事件相關(guān)的詞，包括“突發(fā)事件”“災(zāi)害”“洪水”“臺風(fēng)”“地震”“火災(zāi)”等；二是與社交媒體相關(guān)的詞，包括“社交媒體”“微博”“Twitter”“Face‐book”等。通過審查標(biāo)題和摘要去除不相關(guān)的文獻(xiàn)，篩選后得到801篇文獻(xiàn)，包括625篇英文文獻(xiàn)和176篇中文文獻(xiàn)。文獻(xiàn)的年份分布如圖1所示，可以發(fā)現(xiàn)突發(fā)事件中的社交媒體研究在2011年后開始逐漸增加，這與社交媒體平臺和智能手機的發(fā)展過程相吻合。隨著社交媒體用戶數(shù)量的增加，突發(fā)事件中可用于分析的社交媒體數(shù)據(jù)也在逐漸增加，使得社交媒體成為突發(fā)事件應(yīng)急管理的重要數(shù)據(jù)來源成為可能，也促進(jìn)了突發(fā)事件中社交媒體的研究。

圖1 國內(nèi)外有關(guān)突發(fā)事件中社交媒體研究文獻(xiàn)的年份分布圖

通過分析文獻(xiàn)所屬學(xué)科領(lǐng)域可發(fā)現(xiàn)，當(dāng)前有關(guān)突發(fā)事件中社交媒體信息分析的研究主要集中在計算機科學(xué)、傳播學(xué)、管理學(xué)和信息科學(xué)等研究領(lǐng)域，存在大量的跨學(xué)科研究。不同學(xué)科的研究側(cè)重點也存在差異，例如，從計算機科學(xué)的角度，主要研究突發(fā)事件下社交媒體數(shù)據(jù)智能化處理技術(shù)；從傳播學(xué)的角度，主要關(guān)注突發(fā)事件下社交媒體信息的傳播與擴散規(guī)律；從管理學(xué)的角度，主要關(guān)注社交媒體信息在突發(fā)事件應(yīng)急管理中的應(yīng)用。在突發(fā)事件的類型上，主要關(guān)注地震、颶風(fēng)、洪水、襲擊、傳染病等危害人類生命和財產(chǎn)損失的重大自然災(zāi)害或公共安全事件。本文研究數(shù)據(jù)的來源主要包括Twitter、Facebook和微博等主流社交媒體平臺，Twitter由于其用戶量大、數(shù)據(jù)獲取便捷等特點，成為最主要的國外社交媒體數(shù)據(jù)來源，國內(nèi)主要利用微博數(shù)據(jù)進(jìn)行研究。

在檢索到的文獻(xiàn)中，標(biāo)題或摘要中直接出現(xiàn)“多模態(tài)”表述的文獻(xiàn)只占總文獻(xiàn)數(shù)的2%，且均為近5年發(fā)表，但是將多種模態(tài)的社交媒體信息作為分析對象或能夠體現(xiàn)多模態(tài)融合思想的文獻(xiàn)有216篇，占總文獻(xiàn)數(shù)的27%，對于文本和圖像兩種模態(tài)的信息分析最為常見。隨著人工智能和大數(shù)據(jù)等技術(shù)取得突破性進(jìn)展，基于機器學(xué)習(xí)和深度學(xué)習(xí)的自然語言處理和計算機視覺技術(shù)在多模態(tài)數(shù)據(jù)處理任務(wù)中的性能和效果得到了明顯提升，并已經(jīng)成為社交媒體多模態(tài)信息分析的主要手段。這表明突發(fā)事件中社交媒體多模態(tài)信息分析研究是一個較新的研究領(lǐng)域，正逐漸被更多研究者所關(guān)注，并且形成了一定的理論和方法技術(shù)體系，所以有必要從整體上了解突發(fā)事件中社交媒體多模態(tài)信息的研究現(xiàn)狀，為面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析的研究提供理論和方法支撐。

本文將包含多種模態(tài)的社交媒體信息分析或能夠體現(xiàn)多模態(tài)融合思想的文獻(xiàn)作為主要的綜述文獻(xiàn)，重點關(guān)注如何利用多模態(tài)信息分析方法將原始的社交媒體信息轉(zhuǎn)化為能夠有效支撐應(yīng)急管理決策的情報。社交媒體中包含多種模態(tài)的內(nèi)容，用戶以文本、符號等形式發(fā)布內(nèi)容的同時，上傳相關(guān)的照片、音頻、視頻等附件，并標(biāo)記當(dāng)前所處地理位置和時間戳，此外，用戶之間通過瀏覽、點贊、評論和轉(zhuǎn)發(fā)等操作進(jìn)行交流和互動，這些用戶之間的互動行為可以抽象為復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，上述內(nèi)容共同形成了社交媒體多模態(tài)信息在內(nèi)容、時空和網(wǎng)絡(luò)三個層面的特征。而有關(guān)突發(fā)事件中社交媒體多模態(tài)信息分析可以概括為信息獲取、信息整合和信息挖掘三個層次。從社交媒體中的實時數(shù)據(jù)中可發(fā)現(xiàn)和獲取與突發(fā)事件相關(guān)的多模態(tài)信息；以主題或事件為基本單元對多模態(tài)信息進(jìn)行語義描述和關(guān)聯(lián)；最后面向特定的應(yīng)用場景，從這些多模態(tài)信息中挖掘出對應(yīng)急決策有價值的隱性知識并應(yīng)用到應(yīng)急管理中。

綜上所述，本文將突發(fā)事件下社交媒體的研究歸納為資源和方法兩個方面：一是社交媒體信息本身在突發(fā)事件中所具有的多維特征；二是突發(fā)事件中面向特定應(yīng)用場景的社交媒體信息分析方法，如圖2所示。充分掌握社交媒體多模態(tài)信息特征為信息分析方法的研究提供了指引，而借助高效的信息方法能夠深層次挖掘出社交媒體多模態(tài)信息中的隱含內(nèi)容和規(guī)律，二者聯(lián)系緊密，共同為突發(fā)事件的應(yīng)急管理提供支撐，也能較好地涵蓋不同學(xué)科視角下的研究成果。

圖2 突發(fā)事件社交媒體多模態(tài)信息的主要研究內(nèi)容

3 突發(fā)事件中社交媒體多模態(tài)信息的多維特征

3.1 內(nèi)容特征

社交媒體本身的信息內(nèi)容是突發(fā)事件實時態(tài)勢最直觀的反映，蘊含了人物、地點、狀態(tài)等各類突發(fā)事件的構(gòu)成要素，從總體上感知和把握社交媒體信息的內(nèi)容特征能夠發(fā)現(xiàn)用戶普遍關(guān)注的問題和應(yīng)急管理中有價值的信息。不同類型的突發(fā)事件中，研究人員所關(guān)注的信息內(nèi)容也存在一定的差異，形成了不同的分類標(biāo)準(zhǔn)和體系。例如，Alam等[5]將哈維等颶風(fēng)中的社交媒體信息分為受影響的人群、損壞的基礎(chǔ)設(shè)施、警告和建議、捐贈和志愿服務(wù)等信息；Cho等[6]將2011年日本地震中的社交媒體信息分為災(zāi)害態(tài)勢、個人經(jīng)歷、建議、技術(shù)、情感和行動；Vieweg[7]根據(jù)事件中的受影響對象，將社交媒體信息分為社會環(huán)境信息（建議、警告、疏散、死亡、傷害、醫(yī)療、失蹤和幫助等與人相關(guān)的內(nèi)容）和物理環(huán)境信息（建筑物、道路等與物相關(guān)的內(nèi)容）；Rudra等[8]根據(jù)信息是否反應(yīng)事件實時狀態(tài)，將社交媒體信息分為情境信息（受影響的人群、設(shè)施以及對應(yīng)對措施等）和非情境信息（事件原因、捐贈和事后分析等）。這種粗粒度的分類能夠幫助用戶盡早地獲取其所需要的信息，而細(xì)粒度的社交媒體信息分類體系能夠幫助用戶更加深入地掌握事件的細(xì)節(jié)，如Huang等[9]根據(jù)突發(fā)事件的預(yù)警、準(zhǔn)備、響應(yīng)和恢復(fù)四個階段，定義不同的階段下社交媒體信息的子類別，該細(xì)粒度分類體系及其關(guān)鍵詞能夠反映整個事件期間的社交媒體內(nèi)容。

不同類型的社交媒體用戶在發(fā)布的內(nèi)容和語言風(fēng)格上也存在差異。個體用戶發(fā)布的推文通常是與事件相關(guān)的第一手信息，表達(dá)個人的主觀態(tài)度、情感、需求和經(jīng)歷[10]，語言較為隨意，信息的真實性有待進(jìn)一步考證，在分析過程中需要結(jié)合其他用戶推文和實際情況來合理使用；政府部門、主流新聞媒體等官方用戶發(fā)布的內(nèi)容包括官方預(yù)警、事件態(tài)勢更新、建議對策、救援行動等[11]，在語言上更為嚴(yán)謹(jǐn)，具有更高的可信度和權(quán)威性，能夠被直接轉(zhuǎn)發(fā)和使用。這種差異體現(xiàn)了在突發(fā)事件期間，不同社會角色關(guān)注的問題也不同，可能導(dǎo)致不同用戶發(fā)布內(nèi)容在傳播效率和利用效率上存在差異。

除了文本信息，社交媒體中的圖像、視頻等多媒體信息也提供了與突發(fā)事件相關(guān)的內(nèi)容，能夠更加直觀和全面地展現(xiàn)事件的態(tài)勢詳情，對于應(yīng)急管理同樣具有重要作用[12]。一般情況下，在社交媒體內(nèi)容中，文字、圖像等不同模態(tài)的信息同時存在，單一模態(tài)的信息通常缺乏部分事實性內(nèi)容，例如，圖像能夠直觀展示受到損壞的設(shè)施狀態(tài)，而文本中則包含更精確的受影響人員信息[5]。研究結(jié)果表明，大部分社交媒體的內(nèi)容中圖像和文本是對象相關(guān)和場景相關(guān)，不同模態(tài)和載體的信息能夠相互補充、相互印證，對其進(jìn)行融合分析能夠為態(tài)勢感知提供比單一模態(tài)更為準(zhǔn)確和全面的內(nèi)容，在事件的識別以及事件帶來影響的評估上具有更大價值[13]。

現(xiàn)有的研究主要是針對特定的突發(fā)事件、數(shù)據(jù)集和研究任務(wù)來構(gòu)建相應(yīng)的分類和描述體系，而較少有研究考慮圖像、視頻等其他模態(tài)的信息。不同研究中，對于社交媒體多模態(tài)信息的分類沒有形成一個被普遍接受的統(tǒng)一標(biāo)準(zhǔn)，不同信息分類體系也缺乏語義上的關(guān)聯(lián)，導(dǎo)致不同研究的成果之間不能進(jìn)行交叉比較和驗證，這將會導(dǎo)致對于突發(fā)事件中社交媒體內(nèi)容的一般性模式和規(guī)律揭示存在阻礙。

3.2 時空特征

社交媒體提供的時間戳和地理位置數(shù)據(jù)[14]，將時間和空間維度嵌入到語義內(nèi)容中，通過聯(lián)合分析社交媒體信息的時空分布和語義內(nèi)容，有助于進(jìn)一步了解突發(fā)事件期間不同位置的用戶在不同階段的關(guān)注熱點和看法。

在時間維度上，不同類型突發(fā)事件中的社交媒體信息數(shù)量和內(nèi)容隨時間的演變模式存在差異。地震經(jīng)常導(dǎo)致相關(guān)推文的數(shù)量激增（推文數(shù)量在一小時內(nèi)達(dá)到當(dāng)?shù)胤逯担15]，與情感有關(guān)的推文比例隨著時間推移逐漸下降[6]；而在洪水和颶風(fēng)等事件中的推文數(shù)量增加較為緩和，與情感相關(guān)的推文比例隨著時間的推移而持續(xù)增加[16]。這可能是由于該類型的事件能夠被有效預(yù)測和預(yù)警，并且發(fā)生較為頻繁，而地震事發(fā)突然且造成的影響巨大，具有極高的用戶關(guān)注度。

在空間維度上，與未受影響的用戶相比，受災(zāi)地區(qū)的用戶傾向于在社交媒體上發(fā)布更多與災(zāi)情相關(guān)的信息[17]，如在火災(zāi)事件中，發(fā)布位置與火災(zāi)位置之間的距離與推文發(fā)布數(shù)量之間存在顯著的負(fù)相關(guān)[18]。此外，事件受影響地區(qū)的用戶和未受影響地區(qū)用戶發(fā)布推文的內(nèi)容也存在差異。例如，在“海燕”臺風(fēng)中，居住在受災(zāi)最嚴(yán)重的菲律賓的用戶發(fā)布了更多有關(guān)協(xié)調(diào)救濟的推文，而菲律賓以外的用戶則發(fā)布了更多有關(guān)悼念活動的信息[19]。在“哈維”颶風(fēng)中，災(zāi)害爆發(fā)時，受災(zāi)用戶主要發(fā)布物理環(huán)境類話題，而非受災(zāi)用戶傾向于情感的表達(dá)；災(zāi)害過后，受災(zāi)用戶通常發(fā)布情感類話題的推文，而非受災(zāi)用戶則更傾向于發(fā)布建設(shè)環(huán)境和物理環(huán)境類話題[20]。

突發(fā)事件中社交媒體信息的時空特征會受到一些外部因素的干擾，如地區(qū)人口密度和信息基礎(chǔ)設(shè)施，可能導(dǎo)致社交媒體信息的空間數(shù)量分布不平衡，當(dāng)突發(fā)事件發(fā)生在人口密度較大且網(wǎng)絡(luò)基礎(chǔ)設(shè)施較好的地區(qū)時，區(qū)域內(nèi)信息的總數(shù)也會較多，而在人口較少或信息基礎(chǔ)設(shè)施較為薄弱的地區(qū)，區(qū)域內(nèi)信息的數(shù)量較少。如何通過獲取其他社會感知數(shù)據(jù)源來補全缺失的社交媒體信息，以及糾正這些地區(qū)社交媒體數(shù)據(jù)不足所導(dǎo)致的社交媒體時空分析偏差，也是在數(shù)據(jù)獲取中需要考慮的問題。

3.3 網(wǎng)絡(luò)特征

在社交媒體中，每個用戶是信息發(fā)布和轉(zhuǎn)發(fā)的節(jié)點，形成了一種可參與并具有自組織特性的網(wǎng)絡(luò)結(jié)構(gòu)來交流和傳播信息，信息傳播的速度和廣度遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)新聞媒介。突發(fā)事件下的社交媒體網(wǎng)絡(luò)分析能夠發(fā)現(xiàn)用戶如何通過社交媒體來傳遞相關(guān)信息，從而深刻地理解突發(fā)事件在事前、事中和事后的信息在社交媒體中的傳播規(guī)律。

社交媒體中的信息轉(zhuǎn)發(fā)行為是信息傳播的主要渠道，通過社交媒體中的用戶網(wǎng)絡(luò)結(jié)構(gòu)和連接交互模式能夠了解不同信息流以及不同用戶對于有效信息傳播的貢獻(xiàn)[21]，用戶的關(guān)注數(shù)和推文的轉(zhuǎn)發(fā)數(shù)在社交網(wǎng)絡(luò)中大致符合冪律分布的特點[22]，即中心用戶（擁有大量粉絲的用戶）和關(guān)鍵推文（大量被轉(zhuǎn)發(fā)的推文）主導(dǎo)著在線社交網(wǎng)絡(luò)中的信息傳播過程，突發(fā)事件的信息傳播主要由關(guān)鍵節(jié)點推動[23]。因此，擁有更多關(guān)注者的個體賬號所發(fā)布的推文通常具有更高的曝光度，在傳播緊急信息中往往起著更加關(guān)鍵的作用，而官方賬號發(fā)布的權(quán)威信息也更容易被轉(zhuǎn)發(fā)[22]，在連接不同個人和網(wǎng)絡(luò)之間尤為重要[24]。

從傳播擴散的角度來說，通過社交媒體網(wǎng)絡(luò)進(jìn)行內(nèi)部傳播的速度要快于這些網(wǎng)絡(luò)中來自外部來源的信息，在災(zāi)難期間較早發(fā)布的信息比在災(zāi)難更重要的階段較晚發(fā)布的信息具有更高的傳播速度[25]。此外，推文的內(nèi)容、形式和用戶特征也會影響信息的轉(zhuǎn)發(fā)率，如包含更長文本、主題標(biāo)簽和鏈接[26]，并與預(yù)警建議、損失情況和危險位置等事件關(guān)鍵信息的原創(chuàng)推文更容易被轉(zhuǎn)發(fā)[27]，包含請求和情感的推文也更容易被傳播和擴散[28]。在綜合考慮用戶行為特征、網(wǎng)絡(luò)全局信息和影響力衰退機制的基礎(chǔ)上，動態(tài)識別不同階段的關(guān)鍵節(jié)點動態(tài)[29]，并制定相應(yīng)的內(nèi)容編輯策略，有助于把相關(guān)信息快速、準(zhǔn)確地傳播給有需要的人群。

社交媒體的用戶網(wǎng)絡(luò)、轉(zhuǎn)發(fā)網(wǎng)絡(luò)、鏈接網(wǎng)絡(luò)，在一定程度上反映了與突發(fā)事件相關(guān)的信息在社交媒體中的傳播模式，然而，當(dāng)前只是停留在單一網(wǎng)絡(luò)特征的揭示，對于網(wǎng)絡(luò)動態(tài)演變過程及其因果關(guān)系的探索不足，對于加入不同類型實體和時空關(guān)聯(lián)的異質(zhì)網(wǎng)絡(luò)特征以及突發(fā)事件信息在社交媒體中的傳播機理仍有待進(jìn)一步探索。

4 突發(fā)事件中社交媒體多模態(tài)信息分析關(guān)鍵方法

4.1 信息獲取方法

社交媒體中包含大量與突發(fā)事件無關(guān)、冗余或虛假的噪聲數(shù)據(jù)，有用信息分散在不同的社交媒體信息中，存在嚴(yán)重的信息過載問題。需要通過分類的方式從大規(guī)模的社交媒體數(shù)據(jù)中自動識別與突發(fā)事件相關(guān)的信息，并進(jìn)一步抽取出其中的細(xì)粒度信息。

4.1.1 多模態(tài)信息分類

在突發(fā)事件中，社交媒體多模態(tài)信息分類任務(wù)主要有兩種：一是從大規(guī)模社交媒體信息中識別與突發(fā)事件相關(guān)并包含豐富信息的內(nèi)容，這是一個二分類問題；二是根據(jù)不同場景將信息分配到更為細(xì)粒度的類目中，以滿足不同的信息需求，這是一個多分類問題。社交媒體多模態(tài)信息分類主要有基于關(guān)鍵詞、基于特征工程和基于深度學(xué)習(xí)這三種方法。

基于關(guān)鍵詞的方法通過目標(biāo)關(guān)鍵詞檢索和精確匹配以獲取相關(guān)社交媒體信息，為了適應(yīng)事件的動態(tài)演變，關(guān)鍵詞需要動態(tài)生成和實時更新[30]，但是在短時間內(nèi)選取合適的關(guān)鍵詞進(jìn)行精確檢索和過濾較為困難?；谔卣鞴こ痰姆绞?，通過提取詞匯、句法、視覺等外部特征和內(nèi)容特征，將社交媒體信息轉(zhuǎn)化為可用于分類的指標(biāo)，再利用邏輯回歸、決策樹、支持向量機等數(shù)學(xué)模型構(gòu)建有監(jiān)督的機器學(xué)習(xí)分類器，實現(xiàn)自動化的信息分類[31]?；谏疃葘W(xué)習(xí)的方法是利用預(yù)訓(xùn)練模型來整合和表示社交媒體內(nèi)容，并結(jié)合災(zāi)害事件語料庫進(jìn)行微調(diào)，最后通過遷移學(xué)習(xí)來完成下游的社交媒體內(nèi)容分類任務(wù)，在一定程度上考慮了信息上下文之間的語義關(guān)聯(lián)，通常能夠展現(xiàn)出比傳統(tǒng)機器學(xué)習(xí)更好的性能[32]。除了單一模態(tài)的信息分類，通過多模態(tài)融合的方式構(gòu)建多模態(tài)信息的聯(lián)合表示空間，能夠有效提高信息分類的性能[33]。例如，根據(jù)預(yù)定義的層次結(jié)構(gòu)為每個模態(tài)特征分配不同的權(quán)重，再構(gòu)建深度學(xué)習(xí)模型，將推文分配到不同的災(zāi)害類別及其子類別中[34]。

此外，社交媒體中存在大量被重復(fù)轉(zhuǎn)發(fā)的內(nèi)容，從信息內(nèi)容的角度，這些社交媒體信息中并沒有提供除原文之外的其他有用信息，需要在數(shù)據(jù)處理的過程中刪除這些冗余信息，以保證在有效利用信息的情況下減少信息分析的工作量[35]，可以采用余弦相似度、歐氏距離、杰卡德相似、感知哈希等算法計算文本相似度和圖像相似度，找出數(shù)據(jù)集中相同或相似的信息，并制定一定的規(guī)則來刪除這些冗余信息。

4.1.2 多模態(tài)信息抽取

與正式的官方消息和新聞相比，突發(fā)事件情境下的社交媒體中存在非正式語言、縮寫、拼寫錯誤、用詞模糊、語法隨意等問題，原始信息的有效性和真實性有待進(jìn)一步驗證。這就需要利用命名實體識別等方法抽取受影響的人員、時間、地點及其屬性和關(guān)系，進(jìn)行指代消解和實體消歧，并將實體鏈接到現(xiàn)實世界中，從原始信息中獲得到更為豐富和準(zhǔn)確的語義內(nèi)容[36]。Rexiline Ragini等[37]通過分析用戶在緊急情況下的用詞風(fēng)格，利用機器學(xué)習(xí)和預(yù)定義規(guī)則相結(jié)合的方法識別事件中處于危險狀態(tài)的人群。此外，也可以引入外部語料庫和規(guī)范化詞表，利用預(yù)定義規(guī)則來擴展詞間語義關(guān)系和詞法搭配關(guān)系，構(gòu)建損失知識庫，以此來提高信息抽取的精度[38]。社交媒體信息中的圖像和視頻也提供了有關(guān)設(shè)施損壞和人員傷亡等的重要信息，文本上下文可能包含損壞對象、位置、原因等詳細(xì)描述信息，通過構(gòu)建多模態(tài)融合的深度學(xué)習(xí)模型，分別從圖像和文本中提取語義特征，從而更加全面地識別細(xì)粒度信息。

精確的地理位置也是突發(fā)事件應(yīng)急管理中的重要要素，將社交媒體內(nèi)容映射到事件空間地圖中，能夠增強突發(fā)事件的地理態(tài)勢感知能力。由于互聯(lián)網(wǎng)中的隱私保護政策，部分用戶在發(fā)帖時選擇隱藏地理位置，大量與事件相關(guān)的內(nèi)容中缺少位置信息，需要通過圖像、視頻和用戶等特征來預(yù)測和解析社交媒體信息中描述的事件所在位置。社交媒體中地理位置解析方法主要有三種：一是構(gòu)建外部知識庫或地理詞典，通過間接相關(guān)的實體與外部知識庫或現(xiàn)實世界空間對象進(jìn)行匹配[39-40]，以此來預(yù)測用戶發(fā)布內(nèi)容時所在的位置；二是根據(jù)用戶的社交個人資料來獲取社交媒體用戶或內(nèi)容的位置[41]；三是通過地理空間區(qū)域的視覺元素和屬性來識別地理位置，通過領(lǐng)域自適應(yīng)技術(shù)和圖像轉(zhuǎn)換方法可以將損壞的場景與未損壞的場景進(jìn)行匹配[42]，實現(xiàn)圖像的視覺內(nèi)容向地理坐標(biāo)的映射[43]。

基于有監(jiān)督機器學(xué)習(xí)是多模態(tài)信息分類和信息抽取的主要方式，為機器學(xué)習(xí)提供豐富的訓(xùn)練數(shù)據(jù)來源，是有效提高和評價多模態(tài)信息分類和抽取模型性能的重要方式之一。目前這方面的可用數(shù)據(jù)集較少，其規(guī)模和領(lǐng)域覆蓋范圍也難以滿足模型訓(xùn)練的需求，需要構(gòu)建面向多種突發(fā)事件應(yīng)用場景，涵蓋多種類型、多種模態(tài)信息的標(biāo)準(zhǔn)數(shù)據(jù)集。

4.2 信息整合方法

社交媒體中與突發(fā)事件相關(guān)的信息以獨立條目的形式存在，存在實際內(nèi)容冗余、語義不一致等問題，其中的信息量超過人腦的信息處理能力，并且還要進(jìn)一步將不同模態(tài)和類型的信息納入統(tǒng)一的高層語義表示空間中；事件作為一種信息的統(tǒng)一表示和組織方法，能夠準(zhǔn)確清晰地表示發(fā)生的各種事實型信息，反映特定實體在特定時間和地點相互作用的客觀事實，是整合社交媒體信息的主要方式，對于突發(fā)事件的深度理解具有重要的作用。

4.2.1 事件檢測

在突發(fā)事件發(fā)生后，社交媒體在一段時間和一定地區(qū)內(nèi)的與某一主題相關(guān)的信息數(shù)量會突然增加，在一定程度上反映了現(xiàn)實世界中事件的真實狀態(tài)。通過匯集大規(guī)模實時社交媒體流數(shù)據(jù)，監(jiān)測一定時空范圍內(nèi)的主題內(nèi)容，能夠在第一時間檢測到正在發(fā)生的異常事件或突發(fā)事件。事件檢測分為重大突發(fā)事件檢測和子事件檢測[44]。前者是從大規(guī)模的社交媒體數(shù)據(jù)流中第一時間檢測到實時發(fā)生的重大事件，以支持突發(fā)事件的快速響應(yīng)；后者是檢測伴隨著突發(fā)事件發(fā)生而產(chǎn)生的一些次生或衍生事件，以追蹤突發(fā)事件的演化和發(fā)展過程。

1）重大突發(fā)事件檢測

對于特定災(zāi)害事件的檢測，通過統(tǒng)計和比較當(dāng)前時刻與前一時刻或歷史時刻信息中的主題標(biāo)簽頻率來發(fā)現(xiàn)周期性或異常事件。例如，在地震檢測中，隨著信息發(fā)布位置與震中之間距離的增加，與地震相關(guān)的信息數(shù)量會明顯減少，單位時間內(nèi)的信息發(fā)布頻率也會明顯下降。Poblete等[45]和Sakaki等[46]基于此規(guī)律構(gòu)建了社交媒體信息中與“地震”相關(guān)的關(guān)鍵詞頻率的時序分布模型，用于判斷地震事件的發(fā)生，并進(jìn)一步通過地理標(biāo)簽過濾的方式確定地震發(fā)生的位置。對于未知事件的檢測，在考慮時間和地理特征的基礎(chǔ)上，Zhou等[47]利用聚類、主題模型等無監(jiān)督的語義分析技術(shù)，構(gòu)建基于概率的主題時空模型，挖掘原始推文集合的潛在主題或事件，并計算事件發(fā)生概率。社交媒體中的圖像和視頻等多模態(tài)數(shù)據(jù)能夠更加直觀地反映事件狀態(tài)，對于突發(fā)事件的檢測更具價值[48]。Daly等[49]利用圖像識別的機器學(xué)習(xí)模型識別社交媒體中實時上傳的火災(zāi)信息，再結(jié)合時間戳和地理標(biāo)簽確定發(fā)生火災(zāi)的時間和具體位置，實現(xiàn)區(qū)域內(nèi)火災(zāi)事件的實時監(jiān)測。

2）子事件檢測

重大突發(fā)事件的發(fā)生，通常伴隨著衍生事件或子事件的發(fā)生，如“洪水導(dǎo)致人員被困”“地震導(dǎo)致道路損壞”等。所有子事件共同構(gòu)成了突發(fā)事件多側(cè)面的熱點問題，反映整個事件的全貌和細(xì)節(jié)。子事件或衍生事件的檢測方法與突發(fā)事件的檢測方法相類似，通過主事件關(guān)鍵詞來跟蹤相關(guān)信息，但更注重信息之間的時序特征。其核心步驟是對相似的推文進(jìn)行二次聚類或主題建模，得到突發(fā)事件中的子主題，再對子主題進(jìn)行加權(quán)、排序和合并，并結(jié)合時間和地理特征，對子事件進(jìn)行增量更新[50-51]。此外，還可以借助圖模型來檢測子事件，Meladianos等[52]以關(guān)鍵詞作為節(jié)點，將較短時間間隔內(nèi)連續(xù)的推文表示為一個加權(quán)的詞共現(xiàn)圖，再使用凸優(yōu)化算法來檢測圖邊緣權(quán)重的變化，找出與事件最相關(guān)的推文或關(guān)鍵詞來表示不同子事件。

4.2.2 事件摘要

事件摘要是指將檢測到的突發(fā)事件及其子事件片段進(jìn)行語義編碼和整合，形成全面而簡短的事件描述的過程，分為抽取式摘要和生成式摘要。抽取式摘要是從原始社交媒體信息中識別出可能表示事件的關(guān)鍵詞語和句子，通過聚類、圖模型或規(guī)則將這些詞和句子進(jìn)行重新排列和組合，得到有關(guān)事件的描述[53]；生成式摘要是在語義理解的基礎(chǔ)上，凝練核心內(nèi)容，提取社交媒體信息中的主要實體、關(guān)系和動作短語，實現(xiàn)序列化的語言重構(gòu)。事件摘要的 表 示 通 常 遵 循“5W”模 式（what，where，when，who，why），即包含事件的五要素：內(nèi)容、地點、時間、涉及人物和發(fā)生原因[54]。

在社交媒體中的圖像對于突發(fā)事件的展現(xiàn)更為直觀，Kuang等[55]和Xu等[56]將圖像特征融入事件摘要中，利用關(guān)鍵字、地理位置、代表性推文和代表性圖像來表示每個子事件，生成關(guān)于突發(fā)事件的多模態(tài)連貫性摘要報告。為了獲取每個子事件下最相關(guān)的圖像，李顯鑫利用種子查詢詞不斷擴展子事件下的查詢文本，構(gòu)建融合圖文多模態(tài)信息的圖片事件相關(guān)性判定模型，同時考慮對各模態(tài)內(nèi)特征和跨模態(tài)間關(guān)聯(lián)特征，以實現(xiàn)事件相關(guān)圖像的采集[57]。在基于主題模型的多模態(tài)事件摘要中，Bian等[58]和Schinas等[59]通過基于圖模型的排序算法，從文本、圖像、時間和社交關(guān)系等方面計算圖像與主題的相關(guān)性，構(gòu)建跨模態(tài)的概率模型，通過不同模態(tài)信息與事件之間的相關(guān)性來發(fā)現(xiàn)事件中的子主題，并進(jìn)一步匯總形成可視化的事件摘要。除了主題建模的方式，Qian等[60]通過文本-圖像-用戶聚類的方式尋找事件的子節(jié)點，從視覺相似性、重要性和多樣性等維度為每個子節(jié)點分配最具相關(guān)性的文本和圖像，形成融合文本和圖像的事件摘要。

4.2.3 事件演化分析

事件摘要把突發(fā)事件當(dāng)作一個整體來看待，忽略了事件的動態(tài)演化過程以及子事件之間的關(guān)聯(lián)關(guān)系。從突發(fā)事件的生命周期出發(fā)，建立事件從起始期、爆發(fā)期、蔓延期和衰退期的全生命周期事件主題演化模型和事件脈絡(luò)模型，構(gòu)建融合多源、多模態(tài)數(shù)據(jù)的時空語義模型，分析突發(fā)事件中更為復(fù)雜的時間-空間-內(nèi)容的協(xié)同演化過程，可實現(xiàn)更細(xì)粒度、更深層次、更全角度以及更多側(cè)面的突發(fā)事件描述。

1）事件主題演化建模

在基于時序關(guān)系的事件演化分析中，利用社交媒體捕獲事件演化各個階段的討論數(shù)量、熱度和內(nèi)容等特征，建立基于時間序列的主題動態(tài)演化模型[61-62]，能夠有效呈現(xiàn)不同時間段內(nèi)事件主題的變化情況。此外，等結(jié)合維基百科、遙感和地理信息等外部數(shù)據(jù)源，利用時空分析和文本分析相結(jié)合方法，構(gòu)建突發(fā)事件的時空演化語義模型，分析突發(fā)事件中更為復(fù)雜的時間-空間-內(nèi)容的協(xié)同演化過程，實時跟蹤事件的時空演化態(tài)勢和特征[63-64]，以更簡潔的方式理解整個事件的發(fā)展趨勢。事件畫像的概念和方法也被應(yīng)用于事件演化分析中，構(gòu)建由基于事件演化的一系列話題主題構(gòu)成的“主線信息鏈”以及基于各個話題下用戶評論信息和事件傳播特征的“副線信息鏈”，來表征事件多個維度的發(fā)展?fàn)顟B(tài)[65]。

2）事件脈絡(luò)生成

為了更加清晰地理解和掌握社交媒體中有關(guān)突發(fā)事件的構(gòu)成情況，需要從更細(xì)的粒度揭示事件之間、事件要素之間的潛在邏輯和時空關(guān)聯(lián)，引入事件鏈、事件圖譜等細(xì)粒度的信息組織方法，進(jìn)行突發(fā)事件的數(shù)據(jù)建模。從敘事的角度，進(jìn)一步識別事件中更細(xì)粒度的實體、屬性和關(guān)系，將無序、雜亂的事件組合成有序、有規(guī)律的故事情節(jié)，構(gòu)建事件圖譜，并以可視化的形式展現(xiàn)事件發(fā)展脈絡(luò)[66]，形成一個連貫且自成體系的敘事結(jié)構(gòu)。其核心任務(wù)是事件之間的關(guān)系刻畫，通過圖模型或機器學(xué)習(xí)的方法識別事件之間在時間和邏輯上的關(guān)聯(lián)，以及事件中地理位置、參與者、核心詞之間的關(guān)聯(lián)，形成事件下各個主題的分支結(jié)構(gòu)，將這些分支利用生成樹生成事件的脈絡(luò)結(jié)構(gòu)[67]。圖像也被應(yīng)用到事件演化的建模中，理解并抽取圖像的語義特征，將其分配到事件的文本時間線中，生成融合圖像-文本摘要的全局事件時間線[68]。

當(dāng)前，對于社交媒體多模態(tài)信息整合的研究仍主要是以單一模態(tài)的信息或簡單的圖像和文本融合作為整合的對象，尚未較好地建立不同模態(tài)信息之間的關(guān)聯(lián)，對于多模態(tài)融合的研究有待進(jìn)一步深入探索。來自不同模式的信息通常帶來關(guān)于概念、對象、事件等的互補和印證，如何將這些不同模態(tài)信息進(jìn)行深度融合得到更為穩(wěn)健的事件態(tài)勢演化推理結(jié)果是多模態(tài)信息融合中最主要的研究問題。此外，越來越多的用戶開始傾向于在社交媒體中發(fā)布視頻，其中也包含豐富的圖像、文本、聲音等多模態(tài)信息；但是目前對于視頻分析的手段有限，只是簡單地將視頻中的關(guān)鍵幀轉(zhuǎn)換為圖片進(jìn)行分析，對于視頻內(nèi)容的解析和融合也將是有待解決的問題之一。

4.3 面向應(yīng)用場景的信息挖掘方法

社交媒體數(shù)據(jù)中除了與突發(fā)事件有關(guān)的顯性信息，還包含大量有待進(jìn)一步挖掘的隱性知識。根據(jù)特定的應(yīng)用場景，利用特征關(guān)聯(lián)和語義挖掘等手段發(fā)現(xiàn)社交媒體中的有關(guān)用戶情感和事件態(tài)勢等內(nèi)容，對于事件的態(tài)勢評估和走勢預(yù)測均具有重要作用。

4.3.1 觀點挖掘

在突發(fā)事件期間，每個用戶都可以在社交媒體上自由地表達(dá)自己的觀點、反應(yīng)、情感、態(tài)度和看法，有助于深入了解公眾面對突發(fā)事件和應(yīng)急響應(yīng)的真實反應(yīng)[69]，對于用戶情感識別、輿情演化分析、需求挖掘以及敏感人群監(jiān)測都具有重要作用。

1）用戶情感分析

情感分析的目的是識別社交媒體信息中隱藏的用戶對于突發(fā)事件的主觀情感傾向，采用機器學(xué)習(xí)或深度學(xué)習(xí)等方式，建立語法、語義和表情符號等特征與情感之間的潛在關(guān)系，將用戶發(fā)布內(nèi)容分為正向、負(fù)向或中立情感，或者通過開發(fā)情感詞典，使用更為準(zhǔn)確和細(xì)粒度的情感詞來標(biāo)記信息。社交媒體信息中的圖像同樣是通過視覺、對象或場景傳遞情感的，可以是圖像中人物本身所表現(xiàn)出來的情感，也可以是用戶看到圖像所產(chǎn)生的情感，但是圖像中的視覺特征和主觀情感之間存在語義鴻溝，這就導(dǎo)致了每個人對于相同圖像所產(chǎn)生的情感可能會產(chǎn)生差異。圖像與文本的融合方法也受到了研究者更多的關(guān)注，構(gòu)建基于注意力機制的網(wǎng)絡(luò)，利用視覺和文本信息之間的相關(guān)性進(jìn)行情感分析，能夠有效提升情感識別的性能[70-71]。

2）輿情演化分析

分析社交媒體中不同階段突發(fā)事件的主題與情感演化特征和規(guī)律，幫助應(yīng)急管理部門了解突發(fā)事件中公眾對事件的看法和情感傾向，預(yù)測未來的輿論趨勢走向，并妥善應(yīng)對民眾關(guān)注熱點[72]。從用戶的角度，通過分析突發(fā)事件中不同利益相關(guān)者的情感狀態(tài)和分布，探尋利益相關(guān)者之間的情感傳播路徑，結(jié)合輿情話題綜合分析利益相關(guān)者的情感演化態(tài)勢[73]。一般情況下，意見領(lǐng)袖對網(wǎng)絡(luò)輿情的傳播具有決定性作用，利用主題一致性和情感支持識別網(wǎng)絡(luò)評論意見領(lǐng)袖，從而引導(dǎo)正面評論意見領(lǐng)袖積極發(fā)聲，減少消極情緒，合理回應(yīng)存在的問題，避免情緒的極端化和輿情態(tài)勢的惡化[74]。

3）需求挖掘

社交媒體用戶也會發(fā)布內(nèi)容來描述自身或其他人的困難并尋求幫助，需求挖掘是指從社交媒體信息中抽取出受影響人員、資源需求、損失情況等更細(xì)粒度的事件要素信息，從而指導(dǎo)應(yīng)急管理部門以此為依據(jù)，優(yōu)化物資和人員的調(diào)度策略，提供精準(zhǔn)的救助服務(wù)。利用分類模型識別出包含用戶需求的社交媒體內(nèi)容和需求類型（如食物、住所、醫(yī)療、救援等），進(jìn)一步抽取需求主體、需求資源、需求時間和地點等結(jié)構(gòu)化信息，并計算緊急狀況下受影響人群的各種需求級別[75]。除了單一的需求挖掘，Purohit等[76]從推文中識別突發(fā)事件中與捐助、救援等相關(guān)的資源供應(yīng)信息，利用需求和供應(yīng)之間的相似度計算或?qū)傩耘鋵M(jìn)行自動供需匹配，輔助資源的調(diào)度，從而提高突發(fā)事件應(yīng)急響應(yīng)的速度。

4）敏感人群監(jiān)測

突發(fā)事件的破壞性和不確定性加劇了公眾的焦慮和恐慌等負(fù)面情緒，事件中受影響的人群更容易出現(xiàn)心理方面的問題，如創(chuàng)傷后應(yīng)激障礙。通過社交媒體信息的情感挖掘，發(fā)現(xiàn)不同用戶在事件發(fā)生前后一系列（包括恐慌、焦慮或悲傷等）負(fù)面情緒[77]，再結(jié)合需求動機模型編制用戶的需求-動機映射表，最終得到不同類型用戶的深層次情感需求特征[78]。而結(jié)合時空數(shù)據(jù)，將公眾情感映射到時空地圖中，追蹤公眾情感變化情況，可以及時發(fā)現(xiàn)心理狀況存在異常的人群，并及時提供一定的心理援助和情緒引導(dǎo)，從而減少與突發(fā)事件相關(guān)的心理問題發(fā)生[79]。

4.3.2 態(tài)勢分析

在緊急情況下，傳統(tǒng)的依靠專家來評估事件發(fā)展態(tài)勢是一種耗時費力的方式，而隨著與突發(fā)事件相關(guān)的社交媒體多模態(tài)數(shù)據(jù)的不斷匯集，利用社交媒體中多模態(tài)信息的深層次關(guān)聯(lián)挖掘，能夠有效估計突發(fā)事件的嚴(yán)重程度、宏觀態(tài)勢等事件的隱藏信息，為應(yīng)急管理提供更加快速可靠的決策支持情報。

1）事件嚴(yán)重性評估

社交媒體信息數(shù)量與災(zāi)害破壞和財產(chǎn)損失之間存在一定的相關(guān)性，可以利用社交媒體信息的數(shù)量分布和內(nèi)容快速推測和評估突發(fā)事件的影響和潛在風(fēng)險[80]。因此，通過計算突發(fā)事件后的社交媒體推文密度、轉(zhuǎn)發(fā)量、圖文數(shù)量等指標(biāo)，可以估計和預(yù)測事件的影響和破壞程度[81]，如Kropivnitskaya等[82]利用地震發(fā)生后短時間內(nèi)的社交媒體中與地震相關(guān)的推文數(shù)量來估計地震烈度，而Nguyen等和Li等借助深度學(xué)習(xí)方法將事件根據(jù)不同推文特征分為不同的嚴(yán)重等級[83]或量化為連續(xù)型的損害指數(shù)值[84]。

2）態(tài)勢估計

從社交媒體中挖掘得到的信息本身并不能直接揭示當(dāng)前的事件態(tài)勢，還需要揭示社交媒體信息與事件態(tài)勢的關(guān)聯(lián)關(guān)系及映射機制，通過融合社交媒體和其他來源數(shù)據(jù)（如傳感數(shù)據(jù)、水文數(shù)據(jù)和數(shù)學(xué)模型）來實現(xiàn)事件總體態(tài)勢的估計。de Albuquerque等[85]和Arthur等[86]將與洪水相關(guān)的推文通過地理編碼映射到GIS系統(tǒng)中，通過推文中圖像和文本描述來估計特定區(qū)域中洪水的淹沒和破壞情況，并形成洪水地圖。為了進(jìn)一步精確估計和預(yù)測洪水深度和淹沒區(qū)域，將推文信息轉(zhuǎn)換為降雨量的值，Brouw‐er等[87]和Li等[88]構(gòu)建地理高程模型來計算排水渠上方的水位高度，再從已知淹沒位置與目標(biāo)位置之間的距離和高程差得到水位的概率指數(shù)，能夠有效降低水位估計和預(yù)測的不確定性。

當(dāng)前針對特定的場景和信息需求的社交媒體多模態(tài)信息挖掘研究中，分析數(shù)據(jù)和目標(biāo)都具有較強的領(lǐng)域性，使得其信息挖掘的方法和結(jié)果缺乏多領(lǐng)域的適用性，對于挖掘方法的評價上也存在一定的困難。如何針對突發(fā)事件中典型場景和任務(wù)，探索具有一定普適性的信息挖掘方法，是值得進(jìn)一步研究的問題。此外，目前只有少量研究涉及分析結(jié)果可視化的問題，簡單地將事件要素以統(tǒng)計圖表或時空地圖的形式呈現(xiàn)出來，缺乏有針對性的對突發(fā)事件態(tài)勢可視化理論和方法的研究。

5 總結(jié)與展望

盡管社交媒體信息已經(jīng)被廣泛用于突發(fā)事件的應(yīng)急管理中，但是其研究成果和應(yīng)用效果具有一定的局限性：在當(dāng)前的研究中，通常是利用單一的信息分析方法，對單一模態(tài)的社交媒體信息進(jìn)行分析，來滿足應(yīng)急管理中某一環(huán)節(jié)或階段中的信息需求，對于突發(fā)事件中社交媒體多模態(tài)信息分析的一般流程、方法技術(shù)和應(yīng)用場景缺乏系統(tǒng)全面的探討，不能滿足“情景-應(yīng)對”模式中的突發(fā)事件應(yīng)急管理模式下對于社交媒體多模態(tài)信息處理的要求。

面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析目標(biāo)，貫穿于突發(fā)事件應(yīng)急管理中的事前預(yù)警、事中響應(yīng)和事后評估三個階段。在事前，通過對社交媒體數(shù)據(jù)的動態(tài)監(jiān)測，預(yù)測將會發(fā)生的事件和正在發(fā)生的事件，以實現(xiàn)危機的預(yù)警；在事中，通過對與突發(fā)事件相關(guān)社交媒體多模態(tài)信息的整合和挖掘，進(jìn)行事件的全景式建模和事件推演，以實現(xiàn)事件的態(tài)勢感知；在事后，通過實際情況與分析結(jié)果的對比，對整個信息處理過程進(jìn)行總體評估，優(yōu)化信息處理的流程和分析方法。

為了實現(xiàn)上述目標(biāo)，本文構(gòu)建了面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析框架，如圖3所示，從信息處理流程出發(fā)，以大規(guī)模社交媒體多模態(tài)信息獲取為前提，以信息整合和挖掘為手段，為不同場景和需求下的應(yīng)急管理提供實時可靠的信息支持，最終實現(xiàn)虛擬社交網(wǎng)絡(luò)中的事件與物理世界中的實際事件態(tài)勢的同步呈現(xiàn)。

圖3 面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析框架

然而，通過梳理可發(fā)現(xiàn)，現(xiàn)有的研究存在信息獲取的邊界不清晰、信息整合的標(biāo)準(zhǔn)多樣、信息挖掘方法的多場景適用性不強、多模態(tài)信息融合的實際應(yīng)用較少、信息可視化手段較為單一等問題，并且在數(shù)據(jù)來源的多樣性、分析方法的適用性、分析結(jié)果的可信度以及應(yīng)用場景的多樣性等方面存在一定的不足，未能較好地支撐本文提出的面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析框架。在未來的研究中，可從以下幾個方面做進(jìn)一步探索。

（1）確立實時高效的信息獲取機制。社交媒體信息通常具有傳播速度快、擴散廣等特點，數(shù)據(jù)的使用價值隨著時間流逝而急劇衰減，突發(fā)事件的應(yīng)急決策對于數(shù)據(jù)的時效性和全面性有較高要求。如果只關(guān)注事件發(fā)生前后某一時間段或者地域范圍內(nèi)的截面數(shù)據(jù)，那么數(shù)據(jù)獲取的邊界不明確，實時的全量數(shù)據(jù)獲取困難，導(dǎo)致分析結(jié)果容易出現(xiàn)偏差。需要在信息過濾和相關(guān)性識別的基礎(chǔ)上確定合理的數(shù)據(jù)獲取邊界和實時信息獲取策略，提高突發(fā)事件相關(guān)數(shù)據(jù)感知的效率、準(zhǔn)確性和時效性，既要獲取全面的信息來滿足用戶的信息需求，又要盡量減少無關(guān)信息，降低信息處理的難度。

（2）構(gòu)建統(tǒng)一的多模態(tài)信息描述和組織體系。由于突發(fā)事件、信息需求和信息模態(tài)本身具有多樣性，建立統(tǒng)一的突發(fā)事件信息分類體系和描述標(biāo)準(zhǔn)存在巨大的困難。隨著語義網(wǎng)和知識圖譜技術(shù)的發(fā)展，針對代表性的事件類型建立分類框架和本體模型更具有可能性和可操作性，利用語義映射方法將公共安全大數(shù)據(jù)資源映射到高層語義空間中，形成統(tǒng)一的內(nèi)容理解和語義關(guān)聯(lián)。這種方式既能提供不同模態(tài)信息的整合框架來集成突發(fā)事件的相關(guān)信息，也能支持跨事件、跨模態(tài)的分析以及不同機構(gòu)和研究中的信息交換。

（3）探索可復(fù)用、可解釋的多模態(tài)信息分析方法。大規(guī)模機器學(xué)習(xí)和深度學(xué)習(xí)方法的被應(yīng)用，在提升了分析效率的同時，其分析結(jié)果在解釋性、可靠性和普適性方面有待進(jìn)一步驗證。需要研究可泛化、可擴展、可移植的信息分析方法，對于一般性的場景，研究共性化的分析方法和工具，再通過遷移學(xué)習(xí)和自適應(yīng)的方式滿足個性化的應(yīng)用場景需求。同時，研究數(shù)據(jù)驅(qū)動與知識驅(qū)動相結(jié)合的協(xié)同分析方法，利用先驗知識和相關(guān)理論來指導(dǎo)知識發(fā)現(xiàn)的過程，將分析問題簡化為邏輯計算和算法規(guī)則的過程，通過數(shù)據(jù)驅(qū)動的方式來揭示隱藏的和以前未知的模式、趨勢和變化，從而提升深度學(xué)習(xí)的可解釋性和可靠性。

（4）優(yōu)化多維度、多粒度的信息可視化方法?？梢暬缑婺軌蛳驔Q策者更為直觀地展示事件的主要結(jié)構(gòu)以及發(fā)展變化情況，如何將突發(fā)事件復(fù)雜變化的態(tài)勢以簡潔的方式展現(xiàn)對于應(yīng)急管理具有重要的意義。需要將復(fù)雜、模糊、多樣的一系列突發(fā)事件納入到時空參考框架中進(jìn)行可視化研究，建立符合用戶常識性認(rèn)知的可視化表達(dá)方式。將事件要素間的動態(tài)交互關(guān)系客觀地投影到時間和空間軸上，在可自定義的圖表中顯示相關(guān)指標(biāo)，在地圖上顯示地理位置以及在特定視圖中顯示重要的數(shù)據(jù)、圖像或視頻，并實時更新突發(fā)事件的動態(tài)演化過程。

6 結(jié)語

突發(fā)事件的發(fā)生和演化是一個動態(tài)的過程，所面臨的情境復(fù)雜多變，具有高度的不確定性，又涉及安全、社會穩(wěn)定等敏感問題，需要以及時可靠的情報作為依據(jù)來減少管理決策的不確定性?？焖俑咝У孬@取、整合、分析和挖掘社交媒體中不同模態(tài)的碎片化信息，提取出與突發(fā)事件預(yù)警警報、實時態(tài)勢和發(fā)展趨勢等相關(guān)的有用情報，有助于提升應(yīng)急管理部門對突發(fā)事件的實時預(yù)警、監(jiān)測和態(tài)勢感知能力。本文通過回顧突發(fā)事件中社交媒體多模態(tài)信息分析的相關(guān)文獻(xiàn)，梳理了突發(fā)事件中社交媒體信息多維特征和多模態(tài)分析方法，構(gòu)建了面向突發(fā)事件應(yīng)急管理的社交媒體多模態(tài)信息分析框架，為突發(fā)事件中社交媒體多模態(tài)信息的研究和實踐提供指引，以期通過創(chuàng)新社交媒體多模態(tài)信息分析方法促進(jìn)突發(fā)事件應(yīng)急管理模式的創(chuàng)新和突破。