夏 菁 孫未未

(華中師范大學(xué)國(guó)際文化交流學(xué)院，湖北武漢，430079；溫州醫(yī)科大學(xué)信息技術(shù)中心，浙江溫州，325035)

一、引言

對(duì)外漢語(yǔ)教材的可讀性評(píng)估屬于計(jì)量語(yǔ)言學(xué)范疇[1]。計(jì)量語(yǔ)言學(xué)的根本任務(wù)是采用數(shù)量關(guān)系描述與理解語(yǔ)言系統(tǒng)及其組成成分的發(fā)展和運(yùn)作規(guī)律[2]。這樣的研究理論認(rèn)為，抽象出的特征及其數(shù)量與閱讀材料可讀性評(píng)估之間存在著相關(guān)性，并且這種關(guān)聯(lián)性是可計(jì)算的。語(yǔ)料的可讀性度量研究源于國(guó)外，早期的代表性研究成果有Flesch可讀性公式[3]，這類(lèi)公式中的重點(diǎn)是將詞頻和句長(zhǎng)特征作為可讀性評(píng)估指標(biāo)。Takehiko Yoshimi等人在對(duì)英語(yǔ)語(yǔ)料可讀性評(píng)估研究中發(fā)現(xiàn)了支持向量機(jī)(SVM)回歸方法整合多種特征的評(píng)估結(jié)果優(yōu)于單個(gè)特征[4]。Fran?ois和Fairon針對(duì)法語(yǔ)為第二語(yǔ)言的語(yǔ)料進(jìn)行了六個(gè)不同等級(jí)的可讀性研究，他們應(yīng)用SVM算法結(jié)合四個(gè)層次的46個(gè)文本特征創(chuàng)建了可讀性公式[5]。

隨著計(jì)量語(yǔ)體特征在語(yǔ)料可讀性評(píng)估中的應(yīng)用和推廣，語(yǔ)料可讀性的度量研究在對(duì)外漢語(yǔ)語(yǔ)料的可讀性評(píng)估中越來(lái)越被矚目。迄今為止，對(duì)外漢語(yǔ)教材的可讀性評(píng)估方法主要有可讀性公式法和特征結(jié)合機(jī)器學(xué)習(xí)法。代表性的研究有：張志寧在區(qū)分中高級(jí)語(yǔ)料難度的研究中改進(jìn)愛(ài)德華·弗萊提出的“句長(zhǎng)-音節(jié)數(shù)”測(cè)量法，將音節(jié)數(shù)換成每句子字?jǐn)?shù)[6]；王蕾針對(duì)初中級(jí)日韓學(xué)生制定了一個(gè)可讀性公式[7]；楊金余主要通過(guò)統(tǒng)計(jì)丙級(jí)、丁級(jí)、超綱詞語(yǔ)頻數(shù)和固定詞組來(lái)實(shí)現(xiàn)對(duì)高級(jí)精讀教材在詞匯層面上的難度測(cè)定[8]。通?？勺x性公式的構(gòu)建依賴于廣義線性模型，線性回歸和分類(lèi)的效果并不是十分理想。特征結(jié)合機(jī)器學(xué)習(xí)方法在一定程度上能夠提高評(píng)估效果，相關(guān)的研究主要有Yao Ting Sung，Ju Ling Chen等人提出的特征結(jié)合SVM算法分類(lèi)方法[9]，以及Yao Ting Sung，Wei Chun Lin等人在3套教材386篇漢語(yǔ)文章中提取31個(gè)不同特征結(jié)合SVM算法構(gòu)建不同向度評(píng)估模型[10]，然而多向度計(jì)量特征結(jié)合機(jī)器學(xué)習(xí)方法在對(duì)外漢語(yǔ)教材中的應(yīng)用研究仍然比較稀缺。目前常見(jiàn)的主要從語(yǔ)料特定的幾個(gè)特征來(lái)預(yù)測(cè)文本的可讀性，比如左虹、朱勇等人從詞語(yǔ)向度考量，根據(jù)甲乙丙丁詞語(yǔ)等級(jí)和固定詞組來(lái)測(cè)定教材詞匯層面上的可讀性[11]；也有學(xué)者從語(yǔ)義出發(fā)來(lái)考察和評(píng)估語(yǔ)料的難易度，如莫彭齡、單青通過(guò)三大類(lèi)實(shí)詞充當(dāng)句子成分的統(tǒng)計(jì)數(shù)據(jù)來(lái)預(yù)測(cè)文本的可讀性[12]。我們知道，字詞句以及語(yǔ)義都是閱讀文本難易的重要影響因素，在對(duì)語(yǔ)料的可讀性評(píng)估研究中應(yīng)該全面考慮，否則就有失可信度，同時(shí)我們也應(yīng)看到，由于考慮的特征類(lèi)型較為單一，也無(wú)法詮釋文本閱讀理解的復(fù)雜和漸進(jìn)過(guò)程。

有鑒于此，挖掘多向度特征數(shù)量與可讀性評(píng)估之間的關(guān)系是我們應(yīng)該尋找的方向。相比傳統(tǒng)的可讀性評(píng)估方法其優(yōu)勢(shì)在于能更客觀地揭示出隱藏在文本之間的可讀性因素以及影響因素的等級(jí)。同時(shí)我們意識(shí)到學(xué)習(xí)是一個(gè)漸進(jìn)的過(guò)程，獲得知識(shí)是一個(gè)漸進(jìn)的過(guò)程，因此在對(duì)對(duì)外漢語(yǔ)語(yǔ)料可讀性的評(píng)估中要遵循第二語(yǔ)言習(xí)得規(guī)律和認(rèn)知規(guī)律，遵循其規(guī)律有利于可讀性評(píng)估的科學(xué)性和客觀性。克拉申提出著名的“輸入假說(shuō)”i+1公式(i代表學(xué)習(xí)者已有水平，1代表略高于現(xiàn)有水平的學(xué)習(xí)內(nèi)容)，就在于強(qiáng)調(diào)了第二語(yǔ)言習(xí)得過(guò)程中輸入信息的可理解性，這一公式映射到可讀性評(píng)估研究中很好地反映了評(píng)估特征的可解釋性和文本可讀性設(shè)置的循序漸進(jìn)原則[13]。因此我們認(rèn)為從詞語(yǔ)、語(yǔ)義、篇章多向度的語(yǔ)言特征度量閱讀文本的難易度，符合語(yǔ)言學(xué)習(xí)的漸進(jìn)原則和認(rèn)知規(guī)律，比傳統(tǒng)公式中使用的單一表面特征更有利于可讀性評(píng)估。比如黃偉和劉海濤在《漢語(yǔ)語(yǔ)體的計(jì)量特征在文本聚類(lèi)中的應(yīng)用》一文中強(qiáng)調(diào)語(yǔ)體特征，采用16個(gè)顯著分布差異的語(yǔ)體特征對(duì)《新聞聯(lián)播》《實(shí)話實(shí)說(shuō)》兩個(gè)文本進(jìn)行聚類(lèi)分析，就很大程度上克服了單一的思維模型在評(píng)估中的局限，加強(qiáng)了聚類(lèi)和分類(lèi)研究的可解釋性[14]。

沿著上述思考，本研究遵循第二語(yǔ)言學(xué)習(xí)的理論和原則，從計(jì)量語(yǔ)言學(xué)視角出發(fā)，應(yīng)用機(jī)器學(xué)習(xí)算法SVM和特征選擇技術(shù)，從詞語(yǔ)、語(yǔ)義、篇章等多向度選取特征構(gòu)成對(duì)外漢語(yǔ)教材可讀性的評(píng)估指標(biāo)體系。具體設(shè)想為：其一，詞語(yǔ)向度特征主要體現(xiàn)在詞語(yǔ)等級(jí)特征和生詞特征。由于漢語(yǔ)作為第二語(yǔ)言的學(xué)習(xí)是通過(guò)HSK測(cè)試來(lái)確定學(xué)習(xí)者的語(yǔ)言掌握等級(jí)，教材中的詞語(yǔ)等級(jí)難度應(yīng)該對(duì)應(yīng)于HSK詞匯等級(jí)標(biāo)準(zhǔn)大綱，所以我們依循HSK等級(jí)標(biāo)準(zhǔn)大綱來(lái)劃定閱讀教材中不同等級(jí)的詞語(yǔ)以及難易度。我們?cè)谠~語(yǔ)等級(jí)頻數(shù)統(tǒng)計(jì)中排除了《HSK詞匯等級(jí)標(biāo)準(zhǔn)大綱》中的“同形多等級(jí)字”和“重復(fù)同等級(jí)字”數(shù)據(jù)干擾以確保數(shù)據(jù)純度。其二，語(yǔ)義向度特征主要由22個(gè)不同的詞性構(gòu)成，根據(jù)中科院計(jì)算所漢語(yǔ)詞性標(biāo)記集，我們選擇一級(jí)詞性12個(gè)，見(jiàn)表1中的序號(hào)20—31號(hào)特征。二級(jí)詞性10個(gè)，見(jiàn)表1中的序號(hào)32—41號(hào)特征。之所以選擇這22個(gè)詞性是因?yàn)樗鼈冊(cè)诰渥又谐洚?dāng)著特定和重要的成分。詞語(yǔ)理解的一個(gè)重要影響因素是詞匯的語(yǔ)義學(xué)屬性，其中詞性在詞語(yǔ)理解中存在一定程度的關(guān)聯(lián)。不同的詞性在句子中充當(dāng)不同的成分，不同的詞性反映句子的結(jié)構(gòu)和語(yǔ)義之間的關(guān)系，因此本文通過(guò)詞性充當(dāng)句子成分的統(tǒng)計(jì)數(shù)據(jù)預(yù)測(cè)閱讀文本的難易度。其三，除了上述考慮因素外，我們認(rèn)為篇章向度是不可盲視的因素。一般情況下，閱讀材料難度等級(jí)越高，總字符數(shù)、句子長(zhǎng)度、段落數(shù)的數(shù)量相對(duì)越大，因此我們?cè)谄孪蚨壬线x取的特征主要有句子段落、總字符特征等。

表1 單個(gè)特征(包括解釋)可讀性評(píng)估正確率結(jié)果表

續(xù)表

總體而言，本研究遵循漢語(yǔ)作為第二語(yǔ)言的學(xué)習(xí)規(guī)律，從計(jì)量語(yǔ)言學(xué)的角度針對(duì)6套在高等教育院校廣泛運(yùn)用的對(duì)外漢語(yǔ)教材600篇文章提取詞語(yǔ)、語(yǔ)義、篇章等48個(gè)不同的語(yǔ)言特征(見(jiàn)表1)，并應(yīng)用SVM算法結(jié)合特征選擇技術(shù)構(gòu)建詞語(yǔ)向度、語(yǔ)義向度、篇章向度和整體向度的可讀性評(píng)估模型，評(píng)估材料的可讀性與挖掘可讀性影響因素之間的關(guān)系。

本研究重在體現(xiàn)在文本的真實(shí)性，甄選和收集的對(duì)外漢語(yǔ)教材全部來(lái)自高等教育中實(shí)際應(yīng)用的教材。學(xué)習(xí)是循序漸進(jìn)的過(guò)程，因此，理想的對(duì)外漢語(yǔ)教材應(yīng)該符合學(xué)習(xí)的內(nèi)在規(guī)律，在文本編排的可解釋性和可讀性(難度設(shè)置)中的循序漸進(jìn)。本研究遵循循序漸進(jìn)原則，從詞語(yǔ)、語(yǔ)義、篇章以及整體向度不同層次建構(gòu)多向度的評(píng)估體系，對(duì)構(gòu)成教材的各個(gè)要素實(shí)施科學(xué)的考察評(píng)估，極大地避免了由于可讀性評(píng)估所選擇的語(yǔ)體特征過(guò)于簡(jiǎn)單和單一，在一定程度上遮蔽了文本可讀性設(shè)置的隱含的知識(shí)關(guān)聯(lián)。再者，利用機(jī)器學(xué)習(xí)算法構(gòu)建和驗(yàn)證單向度和多向度特征評(píng)估模型，更全面的描述和驗(yàn)證專(zhuān)家編制教材可讀性設(shè)置的漸變規(guī)律，根據(jù)不同向度的特征評(píng)估模型結(jié)果，分別從文章的詞語(yǔ)、語(yǔ)義、篇章角度分析和解釋專(zhuān)家編制教材的特點(diǎn)和不足。因此，本研究為教材的編寫(xiě)和完善提供了可靠的參考。

二、路徑與方法

本研究總體架構(gòu)圖如圖1所示，說(shuō)明了應(yīng)用SVM算法構(gòu)建與驗(yàn)證單向度和多向度特征可讀性評(píng)估模型的過(guò)程。首先我們甄選了6套不同的對(duì)外漢語(yǔ)教材文章600篇，然后通過(guò)自然語(yǔ)言處理技術(shù)和數(shù)據(jù)庫(kù)技術(shù)提取每篇文章的48個(gè)特征數(shù)量值。進(jìn)而在所有特征數(shù)據(jù)中分別選擇4套教材特征數(shù)據(jù)作為評(píng)估模型的訓(xùn)練集，另外2套教材的特征數(shù)據(jù)用來(lái)測(cè)試模型，根據(jù)組合原理總共重復(fù)15次，最后求得這15次測(cè)試結(jié)果的平均值。

圖1 利用多向度特征評(píng)估課文可讀性主要步驟的關(guān)系圖

(一)對(duì)外漢語(yǔ)教材介紹

本研究的對(duì)象是具有一定代表性的6套不同的在高等院校普遍使用的對(duì)外漢語(yǔ)教材系列，分別是《大學(xué)漢語(yǔ)精讀》《漢語(yǔ)閱讀教程》《實(shí)踐漢語(yǔ)》《感悟漢語(yǔ)》《漢語(yǔ)閱讀與寫(xiě)作教程》《發(fā)展?jié)h語(yǔ)》和《成功之路》漢語(yǔ)系列，主要提取教材中的文本而不是圖片和插圖。每一套教材都有中級(jí)上冊(cè)、中級(jí)下冊(cè)、高級(jí)上冊(cè)和高級(jí)下冊(cè)四個(gè)不同的等級(jí)。除了《漢語(yǔ)閱讀教程》中級(jí)和高級(jí)文章數(shù)量相差較大之外，其他的5套教材中級(jí)和高級(jí)文章數(shù)量比較接近。這些教材中的文章數(shù)目情況見(jiàn)表2。

表2 中高級(jí)對(duì)外漢語(yǔ)教材系列文本樣本數(shù)據(jù)統(tǒng)計(jì)表

(二)提取對(duì)外漢語(yǔ)教材文本多向度的語(yǔ)言特征

通過(guò)自然語(yǔ)言處理技術(shù)和數(shù)據(jù)庫(kù)技術(shù)將甄選和收集的對(duì)外漢語(yǔ)教材文本進(jìn)行各個(gè)向度特征的提取，將特征值經(jīng)過(guò)總和，求平均，比率的處理方法總共提取了48個(gè)不同的特征。在提取詞語(yǔ)向度特征的過(guò)程如圖2。本研究使用分詞工具是中科院NLPIR漢語(yǔ)分詞系統(tǒng)，它的漢語(yǔ)詞性標(biāo)記集共計(jì)99個(gè)；然后將每篇文章進(jìn)行詞頻統(tǒng)計(jì)，將得到的每個(gè)詞語(yǔ)和詞頻與《HSK詞匯等級(jí)標(biāo)準(zhǔn)大綱》進(jìn)行匹配，相比較王蕾、Yao Ting Sung、Ju Ling Chen等人相關(guān)的研究中使用的CRIE特征提取系統(tǒng)[15]，我們重點(diǎn)考慮到《HSK詞匯等級(jí)標(biāo)準(zhǔn)大綱》中的“同形多等級(jí)字”和“重復(fù)同等級(jí)字”的影響，應(yīng)用了數(shù)據(jù)庫(kù)技術(shù)將這些數(shù)據(jù)刪除并且避免了重復(fù)數(shù)據(jù)的干擾，最終得到每一篇文章的詞語(yǔ)所對(duì)應(yīng)的甲乙丙丁不同的等級(jí)數(shù)量和詞頻。在語(yǔ)義的特征提取上是通過(guò)提取22個(gè)不同詞性來(lái)代表語(yǔ)義向度特征，因?yàn)椴煌脑~性反映句子的結(jié)構(gòu)和語(yǔ)義之間的關(guān)系。將需要提取的詞性與每一篇經(jīng)過(guò)分詞過(guò)后的文章詞語(yǔ)進(jìn)行匹配，然后增加該詞性的統(tǒng)計(jì)值得到22個(gè)不同詞性的頻數(shù)。對(duì)于篇章向度特征的提取主要是通過(guò)統(tǒng)計(jì)每一篇文章“，”“?！薄?！”“？”“……”的詞頻總數(shù)和“。”“！”“？”“……”的詞頻總數(shù)，得出句子總數(shù)的兩種不同表示形式(有無(wú)逗號(hào))的特征值。在Microsoft Word中的“審閱——字?jǐn)?shù)統(tǒng)計(jì)”中可以得到字符總數(shù)、段落數(shù)這兩個(gè)特征值。最后我們分別提取了19個(gè)詞語(yǔ)向度特征，22個(gè)詞性向度特征和7個(gè)篇章向度特征。

圖2 詞語(yǔ)等級(jí)特征獲取方法流程圖

(三)構(gòu)建與驗(yàn)證單向度和多向度特征可讀性評(píng)估模型

我們構(gòu)建三個(gè)單向度SVM評(píng)估模型和一個(gè)多向度SVM評(píng)估模型。單向度SVM評(píng)估模型主要是從詞語(yǔ)、語(yǔ)義、篇章多向度特征分別對(duì)對(duì)外漢語(yǔ)教材文本進(jìn)行獨(dú)立評(píng)估；多向度SVM評(píng)估模型是整合詞語(yǔ)、語(yǔ)義、篇章向度所有特征對(duì)對(duì)外漢語(yǔ)教材文本進(jìn)行綜合評(píng)估，由此形成了四種評(píng)估模型。在四個(gè)評(píng)估模型中均使用了特征選擇技術(shù)，評(píng)估指標(biāo)均選擇正確率指標(biāo)，使用的評(píng)估算法均是采用RBF核函數(shù)的SVM算法；我們?cè)赗apidminer數(shù)據(jù)挖掘工具中構(gòu)建和測(cè)試自動(dòng)評(píng)估模型。所謂Rapidminer是用于預(yù)測(cè)性分析和數(shù)據(jù)挖掘軟件，其中包括SVM、決策樹(shù)、貝葉斯等機(jī)器學(xué)習(xí)算子，具有分類(lèi)回歸建模，或者關(guān)聯(lián)分析、聚類(lèi)分析、多重交叉檢驗(yàn)等功能[16]。我們?cè)赗apidminer中選擇LibSVM算子中的C-SVC，是因?yàn)镾VM算法被認(rèn)為是在分類(lèi)中效果最好的機(jī)器學(xué)習(xí)算法之一，它具有在訓(xùn)練樣本數(shù)很小的情況下達(dá)到很好的分類(lèi)推廣能力。SVM算法采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理，能夠在數(shù)據(jù)線性不可分的情況下，通過(guò)核函數(shù)將數(shù)據(jù)映射到高維空間，選擇一個(gè)最優(yōu)超平面達(dá)到更好的分類(lèi)效果，見(jiàn)圖3。

圖3 核函數(shù)將線性不可分?jǐn)?shù)據(jù)投影到高維空間的示意圖

常見(jiàn)的核函數(shù)有線性函數(shù)，徑向基RBF函數(shù)，Sigmoid函數(shù)等。我們?cè)谠u(píng)估模型中選擇RBF函數(shù)，因?yàn)樗苁沟梅诸?lèi)效果優(yōu)于其他核函數(shù)。另外我們?cè)趨?shù)選擇上重復(fù)多次實(shí)驗(yàn)比較結(jié)果，確定了懲罰系數(shù)C值為1.0，gamma值為1.0，epsilon參數(shù)指定終止條件容差設(shè)定為0.001。在SVM算法評(píng)估時(shí)結(jié)合啟發(fā)式特征選擇技術(shù)，啟發(fā)式特征選擇技術(shù)中的序列前向搜索過(guò)程是：

第一步：在n個(gè)特征中創(chuàng)建初始種群，n為輸入的ExampleSet的屬性數(shù)；每一個(gè)特征集在SVM算法下輸出一個(gè)評(píng)估指標(biāo)值，選擇指標(biāo)最好的K個(gè)特征集；

第二步：在K個(gè)特征集中操作，如果有j個(gè)特征沒(méi)有加入，在j個(gè)特征中選擇一個(gè)未添加過(guò)的特征，將之拷貝到特征集中；

第三步：只要在最后一次迭代中性能得到改善，轉(zhuǎn)到第二步。

序列前向搜索的主要思想是以某個(gè)特征的加入是否提升算法性能為依據(jù)來(lái)決定該特征的去留從而找到最優(yōu)的特征新子集[17]，見(jiàn)圖4。特征權(quán)重設(shè)置分別是0或者1，這樣考慮的原因是使評(píng)估模型中的特征選擇具有解釋性，解釋為編寫(xiě)教材的專(zhuān)家是否考慮到該特征，而不是一個(gè)特征的中間值。該過(guò)程體現(xiàn)的是專(zhuān)家編制教材統(tǒng)一、合理、科學(xué)的可讀性設(shè)置與哪些具體特征相關(guān)。

圖4 為SVM選擇最優(yōu)特征集的流程圖

為了驗(yàn)證單向度和多向度可讀性評(píng)估模型的準(zhǔn)確性，我們將6套教材中選擇的兩套教材特征數(shù)據(jù)作為測(cè)試集，另外4套教材特征數(shù)據(jù)作為訓(xùn)練集，根據(jù)組合原理共有15種不同的選擇方案，見(jiàn)圖5。

圖5 交叉驗(yàn)證教材特征數(shù)據(jù)選擇與測(cè)試結(jié)果對(duì)應(yīng)表

在構(gòu)建詞語(yǔ)、語(yǔ)義、篇章單向度上的可讀性評(píng)估模型中，我們分別使用對(duì)應(yīng)的對(duì)外漢語(yǔ)教材的文本特征值。在詞語(yǔ)向度對(duì)外漢語(yǔ)教材可讀性評(píng)估模型測(cè)試1中，將D1—D4中的教材文本詞語(yǔ)特征值作為訓(xùn)練集，D5—D6中的教材文本詞語(yǔ)特征值作為測(cè)試集。我們選擇上述的算法和核函數(shù)以及對(duì)應(yīng)的參數(shù)值，結(jié)合啟發(fā)式特征選擇技術(shù)得出正確率結(jié)果。然后選擇不同的教材進(jìn)行測(cè)試2，同樣的過(guò)程重復(fù)15次。在基于測(cè)試1評(píng)估模型中建立的決策函數(shù)為：

(1)在線性不可分的情況下，決策函數(shù)為

(1)

(2)在非線性可分的情況下，實(shí)驗(yàn)中使用了RBF核函數(shù)，決策函數(shù)為

(2)

該判定過(guò)程適用于剩下的14次交叉驗(yàn)證，我們求得15次交叉驗(yàn)證結(jié)果的平均值。以上是詞語(yǔ)向度上的文本可讀性評(píng)估過(guò)程，在語(yǔ)義、篇章向度上的文本可讀性評(píng)估模型的建立和驗(yàn)證均參照上面的流程。相比其他學(xué)者的研究，我們使用的實(shí)驗(yàn)數(shù)據(jù)不一樣而且在評(píng)估過(guò)程中使用了啟發(fā)式特征選擇技術(shù)[18]。

在構(gòu)建多向度特征對(duì)外漢語(yǔ)教材可讀性評(píng)估模型中，我們使用上述三個(gè)向度上的文章所有特征值。比如在測(cè)試6中，D1、D2、D3、D6教材的所有特征值作為訓(xùn)練集，D4、D5教材的所有特征值作為測(cè)試集。選擇的算法和核函數(shù)以及對(duì)應(yīng)的參數(shù)值與單向度文本可讀性評(píng)估模型中保持一致，同樣結(jié)合啟發(fā)式特征選擇技術(shù)得到評(píng)估結(jié)果，這樣的測(cè)試過(guò)程如上圖重復(fù)15次。SVM算法中的參數(shù)c=1.0，gamma=1.0，在基于測(cè)試6評(píng)估模型中建立的決策函數(shù)為

(3)

決策函數(shù)(3)正確地判定《成功之路》教材中的文章《誰(shuí)是最辛苦的人》為中級(jí)上冊(cè)等級(jí)。

每一次測(cè)試實(shí)驗(yàn)中選擇兩套教材能夠針對(duì)性的解釋具體文章在可讀性上存在的偏差，另外結(jié)合15次交叉驗(yàn)證實(shí)驗(yàn)增加對(duì)外漢語(yǔ)教材可讀性評(píng)估模型的穩(wěn)定性。構(gòu)建和驗(yàn)證對(duì)外漢語(yǔ)教材文本可讀性評(píng)估模型的過(guò)程不僅體現(xiàn)單向度特征的不同評(píng)估效果，也是深度挖掘?qū)ν鉂h語(yǔ)教材文本不同向度特征與可讀性之間的隱含關(guān)系。

三、多向度特征可讀性評(píng)估結(jié)果與分析

基于機(jī)器學(xué)習(xí)SVM算法構(gòu)建的單向度和多向度對(duì)外漢語(yǔ)教材文本可讀性評(píng)估正確率結(jié)果如表3所示?？勺x性評(píng)估正確率體現(xiàn)的是一套新教材中的新文章與基于以特征形式代表的多套專(zhuān)家編制教材難易程度漸變規(guī)律的符合程度。結(jié)合評(píng)估模型的15次交叉驗(yàn)證，平均正確率越高說(shuō)明專(zhuān)家編制教材在詞語(yǔ)、語(yǔ)義、篇章等向度上越客觀且越趨向于同一標(biāo)準(zhǔn)。

表3 對(duì)應(yīng)于不同向度特征的可讀性測(cè)試結(jié)果表

在單向度可讀性評(píng)估結(jié)果中發(fā)現(xiàn)，詞語(yǔ)向度的文本評(píng)估正確率結(jié)果在60.78%到83.05%之間，語(yǔ)義向度的文本評(píng)估正確率結(jié)果在58.82%到78.57%之間，篇章向度的文本評(píng)估正確率結(jié)果在48.91%到65.62%之間。正確率數(shù)值越大，說(shuō)明其對(duì)文本可讀性的影響力和貢獻(xiàn)越大。詞語(yǔ)特征在可讀性評(píng)估中最具影響力，其次是語(yǔ)義特征。說(shuō)明在閱讀理解過(guò)程中，詞語(yǔ)和語(yǔ)義的可讀性設(shè)置比較適合學(xué)習(xí)者的認(rèn)知規(guī)律。而篇章向度特征是文章可讀性的影響因素，其效果相比較其他兩個(gè)向度特征的影響力略低，可能是文章或者句子的長(zhǎng)短對(duì)文本的可讀性影響力不大。在綜合多向度特征的可讀性評(píng)估模型中，其平均正確率為74.05%，顯然高于單向度可讀性評(píng)估結(jié)果。相比于SUNG和Scott A.Crossley等人的研究，我們的研究結(jié)果證明了多向度可讀性評(píng)估結(jié)果更好地解釋了文本和閱讀理解過(guò)程的復(fù)雜性，對(duì)于文本可讀性評(píng)估中影響越大的特征說(shuō)明在教材編制中越遵循學(xué)生的認(rèn)知規(guī)律。

不同等級(jí)的閱讀教材文本在不同向度特征上的可讀性評(píng)估結(jié)果見(jiàn)表4，比如數(shù)據(jù)766/809/801/812和209/163/168/163分別代表15次交叉驗(yàn)證中在詞語(yǔ)、語(yǔ)義、篇章、整體四大向度上被正確預(yù)測(cè)為中級(jí)上冊(cè)文本的數(shù)量之和以及被正確預(yù)測(cè)為中級(jí)下冊(cè)文本的數(shù)量之和；正確率代表文本等級(jí)被正確預(yù)測(cè)的概率，比如在詞語(yǔ)、語(yǔ)義、篇章、整體向度上中級(jí)上冊(cè)文本被正確預(yù)測(cè)的概率分別為77.61%、81.97%、81.16%、82.27%。

表4 不同等級(jí)閱讀教材文本對(duì)應(yīng)于不同向度特征的可讀性評(píng)估結(jié)果表

通過(guò)分析表4中的數(shù)據(jù)同樣可以反映出上述表3得出的研究結(jié)果。除此之外，我們發(fā)現(xiàn)各個(gè)向度的特征在各個(gè)不同等級(jí)上的可讀性評(píng)估結(jié)果不同。中級(jí)上冊(cè)和高級(jí)下冊(cè)在各個(gè)向度上的可讀性評(píng)估結(jié)果均優(yōu)于中級(jí)下冊(cè)和高級(jí)上冊(cè)，原因可能是中級(jí)下冊(cè)和高級(jí)上冊(cè)的文本可讀性設(shè)置區(qū)分仍然不是很清晰。

四、總結(jié)

在詞語(yǔ)、語(yǔ)義、篇章方面的不同難度設(shè)置對(duì)于對(duì)外漢語(yǔ)閱讀文本可讀性影響各有不同，為了更加全面地分析專(zhuān)家對(duì)于對(duì)外漢語(yǔ)閱讀文本可讀性設(shè)置的影響因素，本文通過(guò)將600篇文章進(jìn)行自然語(yǔ)言處理和詞頻統(tǒng)計(jì)提取出每個(gè)特征的數(shù)量值并將之標(biāo)準(zhǔn)化，另外結(jié)合SVM算法和特征選擇技術(shù)分別構(gòu)建和驗(yàn)證詞語(yǔ)、語(yǔ)義、篇章、整體不同向度特征可讀性評(píng)估模型。根據(jù)不同向度特征可讀性評(píng)估結(jié)果，在詞匯、語(yǔ)義、篇章各個(gè)向度上發(fā)現(xiàn)不同向度特征對(duì)文章可讀性區(qū)分的貢獻(xiàn)程度不同，其中詞語(yǔ)向度特征對(duì)文章可讀性的影響最大，其中一組實(shí)驗(yàn)驗(yàn)證結(jié)果正確率達(dá)到83.05%；其次是語(yǔ)義特征，最佳正確率為78.57%。整合多向度特征的最佳可讀性評(píng)估結(jié)果達(dá)到87.76%，優(yōu)于單向度特征實(shí)驗(yàn)結(jié)果并且優(yōu)于Yao Ting Sung、Wei Chun Lin等人針對(duì)臺(tái)灣三套出版教材可讀性評(píng)估結(jié)果[19]，說(shuō)明多向度特征對(duì)教材文本的可讀性設(shè)置影響最大，實(shí)質(zhì)上反映出專(zhuān)家編制教材同時(shí)考慮多向度特征的循序漸進(jìn)，而且反映出實(shí)驗(yàn)選取的教材比較符合學(xué)習(xí)者“最近發(fā)展區(qū)”的認(rèn)知規(guī)律。另外實(shí)驗(yàn)結(jié)果還顯示教材可讀性設(shè)置的兩極簡(jiǎn)單與困難比較清晰的區(qū)分，然而中間難度的教材編排仍有待進(jìn)一步的規(guī)劃。通過(guò)特征選擇技術(shù)優(yōu)化SVM算法與特征組合一定程度上提高了可讀性評(píng)估模型的正確率以及十五次交叉驗(yàn)證最大程度上保證了可讀性評(píng)估模型的穩(wěn)定性。我們根據(jù)教材等級(jí)來(lái)衡量文本可讀性的標(biāo)準(zhǔn)具有實(shí)際意義，一定程度上節(jié)省了專(zhuān)家打標(biāo)的人力物力。由于特定的文本具有不同的代表性特征，其對(duì)學(xué)習(xí)者提高閱讀能力和水平具有重要影響力。因此，針對(duì)不同年齡段和年級(jí)段的學(xué)習(xí)者，筆者建議針對(duì)不同的教材建立不同的特征評(píng)估模型使其適用于相應(yīng)的學(xué)習(xí)者具有一定的現(xiàn)實(shí)意義和實(shí)際價(jià)值。

注釋?zhuān)?/p>

[1] 馮志偉：《用計(jì)量方法研究語(yǔ)言》，《外語(yǔ)教學(xué)與研究》2012年第2期，第256～269頁(yè)；又見(jiàn)劉海濤、林燕妮：《大數(shù)據(jù)時(shí)代語(yǔ)言研究的方法和趨向》，《新疆師范大學(xué)學(xué)報(bào)》(哲學(xué)社會(huì)科學(xué)版)2018年第1期，第72～83頁(yè)。

[2] 劉海濤、黃偉：《計(jì)量語(yǔ)言學(xué)的現(xiàn)狀、理論與方法》，《浙江大學(xué)學(xué)報(bào)》(人文社會(huì)科學(xué)版)2012年第2期，第178～192頁(yè)。

[3] R.Flesch,“A New Readability Yardstick”,JournalofAppliedPsychology,32(3)，1948，pp.221-233.

[4] Yoshimi,Katsunori Kotani & Hitoshi Isahara,“Use of A New Set of Linguistic Features to Improve Automatic Assessment of Text Readability”,US-ChinaEducation,1，2012，pp.55-62.

[5] T.Francois,C.Fairon,“An ‘AI readability’ Formula for French as A Foreign Language”.[2017-6-17]http://www.researchgate.net/publication/262409316_An_AI_readability_formula_for_French_as_a_foreign_language.

[6] 張寧志：《漢語(yǔ)教材語(yǔ)料難度的定量分析》，《世界漢語(yǔ)教學(xué)》2000年第3期，第83～88頁(yè)。

[7] 王蕾：《初中級(jí)日韓學(xué)習(xí)者漢語(yǔ)文本可讀性公式研究》，《語(yǔ)言教學(xué)與研究》2017年第5期，第15～25頁(yè)。

[8] 楊金余：《高級(jí)漢語(yǔ)精讀教材語(yǔ)言難度測(cè)定研究》，北京大學(xué)碩士學(xué)位論文，2008年。

[9] Yao Ting Sung,Ju Ling Chen,Ji Her Cha，etc.,“Constructing and Validating Readability Models:The Method of Integrating Multilevel Linguistic Features with Machine Learning”，BehaviorResearchMethods,47(2)，2015，pp.1-15.

[10] Yao Ting Sung,Wei Chun Lin,Scott Benjamin Dyson,etc.,“Leveling 12 Texts Through Readability:Combining Multilevel Linguistic Features with the CEFR”,ModernLanguageJournal,99(2)，2015,pp.371-391.

[11] 左虹、朱勇：《中級(jí)歐美留學(xué)生漢語(yǔ)文本可讀性公式研究》，《世界漢語(yǔ)教學(xué)》2014年第2期，第263～276頁(yè)；又見(jiàn)楊金余：《高級(jí)漢語(yǔ)精讀教材語(yǔ)言難度測(cè)定研究》，北京大學(xué)碩士學(xué)位論文，2008年。

[12] 莫彭齡、單青：《三大類(lèi)實(shí)詞句法功能的統(tǒng)計(jì)分析》，《南京師大學(xué)報(bào)》1985年第3期，第55～63頁(yè)。

[13] 王建勤：《第二語(yǔ)言習(xí)得研究》，北京：商務(wù)印書(shū)館，2009年；又見(jiàn)張?；邸⑽夯萘眨骸蹲罱l(fā)展區(qū)在二語(yǔ)習(xí)得研究中的詮釋》，《東北師大學(xué)報(bào)》(哲學(xué)社會(huì)科學(xué)版) 2010年第4期，第97～100頁(yè)；又見(jiàn)吳叔良：《論對(duì)外漢語(yǔ)教學(xué)的學(xué)習(xí)、習(xí)得整合觀——由克拉申的第二語(yǔ)言習(xí)得理論說(shuō)起》，《上海師范大學(xué)學(xué)報(bào)》(哲學(xué)社會(huì)科學(xué)版) 1993年第4期，第123～126頁(yè)。

[14] 黃偉、劉海濤：《漢語(yǔ)語(yǔ)體的計(jì)量特征在文本聚類(lèi)中的應(yīng)用》，《計(jì)算機(jī)工程與應(yīng)用》2009年第29期，第25～27頁(yè)。

[15] 王蕾：《初中級(jí)日韓學(xué)習(xí)者漢語(yǔ)文本可讀性公式研究》，《語(yǔ)言教學(xué)與研究》2017年第5期，第15～25頁(yè)；又見(jiàn)Yao Ting Sung,Ju Ling Chen,Ji Her Cha,etc.,“Constructing and Validating Readability Models:The method of Integrating Multilevel Linguistic Features with Machine Learning”，BehaviorResearchMethods,47(2)，2015，pp.1-15.

[16] Dr.M.North,DataMiningfortheMasses,Global Text Project,2012.

[17] 孫未未：《對(duì)外漢語(yǔ)閱讀材料的可讀性自動(dòng)評(píng)估研究》，華中師范大學(xué)碩士學(xué)位論文，2018年。

[18] 張?；?、魏惠琳：《最近發(fā)展區(qū)在二語(yǔ)習(xí)得研究中的詮釋》，《東北師大學(xué)報(bào)》(哲學(xué)社會(huì)科學(xué)版) 2010年第4期，第97～100頁(yè)。

[19] Yao Ting Sung,Wei Chun Lin,Scott Benjamin Dyson,etc.,“Leveling 12 Texts Through Readability:Combining Multilevel Linguistic Features with the CEFR”,ModernLanguageJournal,99(2)，2015，pp.371-391.