孫鴻仁

(紹興文理學(xué)院 外國(guó)語(yǔ)學(xué)院，浙江 紹興312000)

一、詞匯統(tǒng)計(jì)概說(shuō)

詞匯統(tǒng)計(jì)分析是對(duì)詞匯使用進(jìn)行量的描述，揭示詞匯的各種統(tǒng)計(jì)特性，并可據(jù)此編成各種頻度表或詞頻詞典和常用詞表，這對(duì)語(yǔ)言教學(xué)、語(yǔ)言研究和信息處理都有著較高的實(shí)用價(jià)值。從詞匯研究的角度來(lái)看，詞匯統(tǒng)計(jì)研究已有很長(zhǎng)的歷史了。一般認(rèn)為，近代大規(guī)模詞匯統(tǒng)計(jì)始于1898年，德國(guó)學(xué)者F.W.Kaeding編制的世界上第一部頻率詞典《德語(yǔ)頻率詞典》[1][2]。大規(guī)模地使用概率和統(tǒng)計(jì)方法研究文學(xué)詞匯以1944年英國(guó)數(shù)學(xué)家G.U.Yule發(fā)表的“文學(xué)詞語(yǔ)的統(tǒng)計(jì)研究”為標(biāo)記。在此之后，1949年，法國(guó)學(xué)者R.Michea提出建立“統(tǒng)計(jì)詞匯學(xué)”[1]。1965年，德國(guó)學(xué)者R.D.Keil把詞頻統(tǒng)計(jì)與現(xiàn)代統(tǒng)計(jì)學(xué)結(jié)合起來(lái)，提出了“詞匯計(jì)量學(xué)(lexicometrics)”[3]。

我國(guó)語(yǔ)文教學(xué)中有著編選字表的傳統(tǒng)。《千字文》(1000字)、《三字經(jīng)》(1248字)是古代漢語(yǔ)教學(xué)的重要素材。黎錦熙在1922年發(fā)表的《國(guó)語(yǔ)基本語(yǔ)詞的統(tǒng)計(jì)研究》(《國(guó)文學(xué)會(huì)叢刊》1卷1號(hào))，是現(xiàn)代意義上的字頻統(tǒng)計(jì)分析[4]。

解放以后，中央和地方的教育部門陸續(xù)公布了一些基于頻度統(tǒng)計(jì)的字表和詞表。其中教育部和國(guó)家文字改革委編選這字表或詞表有《常用漢字登記表》(1017字，1950年)、《常用字表》(2000字，1952年)和《普通話三千常用詞表》(3000詞，1962年)。其編寫目的是為了推廣普通話、普及文化知識(shí)，編寫識(shí)字教材，避免漢語(yǔ)教學(xué)大綱設(shè)計(jì)和教材編寫的主觀盲目性，提高教學(xué)效率[2]。

70年代中期以來(lái)，隨著計(jì)算機(jī)處理非數(shù)值信息技術(shù)的日益提高，漢語(yǔ)詞匯統(tǒng)計(jì)也逐漸采用人機(jī)結(jié)合的辦法，利用計(jì)算機(jī)進(jìn)行自動(dòng)統(tǒng)計(jì)分析，提高了統(tǒng)計(jì)的效率和規(guī)模。1976年中國(guó)“七四八”工程查頻組首次利用計(jì)算機(jī)對(duì)漢字的頻度進(jìn)行統(tǒng)計(jì)，生成《現(xiàn)代漢字綜合使用頻度表》，為中文信息處理的國(guó)家標(biāo)準(zhǔn)GB2312-80《信息交換用漢字編碼字符集——基本集》提供了科學(xué)的基礎(chǔ)數(shù)據(jù)[2]。

1982年11月北京航空航天大學(xué)等10個(gè)單位承接國(guó)家標(biāo)準(zhǔn)局下達(dá)的“現(xiàn)代漢語(yǔ)詞頻統(tǒng)計(jì)工程”任務(wù)。此后，北航又受中國(guó)文字改革委員會(huì)的委托，從3億漢字的素材中抽取了1108萬(wàn)字的樣本進(jìn)行計(jì)算機(jī)統(tǒng)計(jì)處理，于1985年3月通過(guò)了國(guó)家鑒定。統(tǒng)計(jì)結(jié)果編成《現(xiàn)代漢語(yǔ)用字頻度表》。這是我國(guó)規(guī)模最大、分科最多的一次字頻統(tǒng)計(jì)工作[5]。1988年，國(guó)家語(yǔ)言文字工作委員會(huì)在此基礎(chǔ)上制定了《現(xiàn)代漢語(yǔ)常用字表》，選取使用頻度高、學(xué)科分布廣、構(gòu)詞能力強(qiáng)的2500字作為常用字，頻率及使用度次之的1000個(gè)字則定為次常用字。

2008年國(guó)家語(yǔ)委發(fā)布的《現(xiàn)代漢語(yǔ)常用詞表》,收錄詞語(yǔ)共56,008個(gè)。包括單音節(jié)詞3 181個(gè)，雙音節(jié)詞語(yǔ)40 351個(gè)，三音節(jié)詞語(yǔ)6 459個(gè)，四音節(jié)詞語(yǔ)5855個(gè)，五音節(jié)和五音節(jié)以上詞語(yǔ)162個(gè)[6]。

然而迄今為止，國(guó)內(nèi)對(duì)作家進(jìn)行的詞匯統(tǒng)計(jì)分析的報(bào)道罕見(jiàn)。值得一提的是武漢大學(xué)語(yǔ)言自動(dòng)處理研究組于1976年用計(jì)算機(jī)對(duì)《駱駝祥子》進(jìn)行的字頻統(tǒng)計(jì)，經(jīng)計(jì)算，該書總字?jǐn)?shù)為107306個(gè)，單字2413個(gè)，這在一定程度上揭示了該小說(shuō)的用字特點(diǎn)[5]。

二、詞匯統(tǒng)計(jì)材料與方法

魯迅先生一生寫了33篇小說(shuō)：《吶喊》14篇，《彷徨》11篇，《故事新編》8篇。本次統(tǒng)計(jì)選用的是《吶喊》(含“自序”)與《彷徨》，原因有兩點(diǎn)。一是希望分析用語(yǔ)料的選用與《魯迅小說(shuō)漢英平行語(yǔ)料庫(kù)》[7]內(nèi)容同步，更重要的是《故事新編》是魯迅先生在不同時(shí)期根據(jù)遠(yuǎn)古神話和歷史傳說(shuō)寫就，故未包含在本次分析語(yǔ)料之中。在本文，“《魯迅小說(shuō)》”是指魯迅在《吶喊》和《彷徨》所寫的內(nèi)容。

對(duì)比語(yǔ)料采用的是北京語(yǔ)言大學(xué)漢語(yǔ)國(guó)際教育技術(shù)研發(fā)中心所提供的《漢語(yǔ)常用詞詞頻表》[8](簡(jiǎn)稱為“《北語(yǔ)詞表》”)和《漢字字頻詞典》[9](簡(jiǎn)稱為“《北語(yǔ)字表》”)，以作定量對(duì)照分析。

語(yǔ)料采集的方式是對(duì)《吶喊》和《彷徨》兩部小說(shuō)集作掃描處理，以PDF格式存儲(chǔ)；ABBYY[10]軟件作文字識(shí)別(OCR)，經(jīng)校對(duì)修正后，形成電子文本；用中國(guó)科學(xué)院計(jì)算技術(shù)研究所張華平博士研制的漢語(yǔ)詞法分析系統(tǒng)ICTCLAS整合版(2008)進(jìn)行兩種形式的中文分詞：有標(biāo)記分詞和無(wú)標(biāo)記分詞。有標(biāo)記分詞用于進(jìn)行詞性統(tǒng)計(jì)，而無(wú)標(biāo)記分詞用作詞頻分析[11]。

采用日本早稻田大學(xué)Laurence Anthony教授開(kāi)發(fā)的antconc[12]，對(duì)《魯迅小說(shuō)》用字和無(wú)標(biāo)記分詞進(jìn)行字頻與詞頻統(tǒng)計(jì)(結(jié)果見(jiàn)圖1與圖2)，并將統(tǒng)計(jì)結(jié)果導(dǎo)入excel與北語(yǔ)兩表進(jìn)行整理比較。

文本處理采用微軟Word和Notepad兩種工具，尤其是Word的高級(jí)查找替換功能。

三、字表與詞表統(tǒng)計(jì)分析與比較結(jié)果

3.1 字表統(tǒng)計(jì)與比較：

《魯迅小說(shuō)》總字?jǐn)?shù)(tokens),據(jù)antconc統(tǒng)計(jì)，為122,971個(gè)(不含標(biāo)點(diǎn))，單字(types)3051個(gè)。頻度最高100字依次是：“的、了、一、是、不、他、我、有、在、來(lái)、也、這、人、說(shuō)、著、子、里、上、去、大、得、然、到、個(gè)、么、們、看、時(shí)、便、就、那、而、還、又、出、沒(méi)、你、要、道、但、自、她、都、家、和、只、見(jiàn)、起、地、為、下、頭、以、可、阿、過(guò)、于、天、小、面、很、卻、后、老、想、樣、回、知、多、生、之、什、好、些、已、己、中、眼、經(jīng)、走、前、兩、似、事、太、年、四、所、心、聲、幾、十、從、三、吃、無(wú)、手、話、氣、對(duì)”。

《北語(yǔ)字表》字頻累計(jì)總字形數(shù)為71,632,779個(gè),單字5499個(gè)。頻度最高100字依次是：“的、一、他、我、是、了、不、在、這、人、她、有、個(gè)、們、來(lái)、你、到、上、說(shuō)、那、著、地、子、里、就、時(shí)、得、么、為、要、可、也、過(guò)、去、和、大、會(huì)、出、下、道、以、看、對(duì)、沒(méi)、自、樣、想、把、好、起、生、后、而、然、能、中、都、心、斯、還、事、什、天、小、爾、只、面、開(kāi)、家、些、從、頭、情、兒、手、種、發(fā)、意、于、多、但、話、很、現(xiàn)、己、當(dāng)、如、前、又、所、走、身、之、回、知、特、用、無(wú)、經(jīng)、已”。

《魯迅小說(shuō)》頻率最高的前10字：“的、了、一、是、不、他、我、有、在、來(lái)”占《魯迅小說(shuō)》全部語(yǔ)料的18.68%；前100字占53.4045%。《北語(yǔ)字表》頻率最高的前10字“的、一、他、我、是、了、不、在、這、人”占全部語(yǔ)料的17.46%；前100字占48.92%。

兩詞表頻度最高10字相同率80%,而前100字兩者的相同率為83%，即83個(gè)字共同出現(xiàn)在兩表中。其中各有17字為對(duì)方所缺。

《魯迅小說(shuō)》前100、字中獨(dú)有的17字為：“眼、便、吃、幾、見(jiàn)、老、兩、年、氣、卻、三、聲、十、四、似、太、阿”；《北語(yǔ)字表》獨(dú)有的17字為：“種、當(dāng)、兒、爾、發(fā)、會(huì)、開(kāi)、能、情、如、身、斯、特、現(xiàn)、意、用、把”。

《北語(yǔ)字表》收字5499個(gè)，其中2491個(gè)未被《魯迅小說(shuō)》使用；《魯迅小說(shuō)》用字3051個(gè)，未被《北語(yǔ)字表》收錄的有42字：胤、秕、髀、孛、鵓、猹、淝、鐨、苻、祓、喤、楫、鶺、桕、髁、噲、壙、馗、髡、醴、鸰、熳、伲、釹、恧、薺、蓐、殳、姒、凇、窣、佟、摶、仵、憮、窸、羲、祆、獬、砉、魆、荸。

3．2 詞表統(tǒng)計(jì)比較

本次分析所比較的是《北語(yǔ)詞表》和經(jīng)ictclas分詞所生成的《魯迅小說(shuō)》詞表中的雙音節(jié)以上的詞，未包括單音節(jié)詞。原因是《北語(yǔ)詞表》對(duì)單音節(jié)詞的頻數(shù)標(biāo)記統(tǒng)一為“0”，無(wú)法取得定量數(shù)值，只能舍棄?！遏斞感≌f(shuō)》詞表中單音節(jié)詞為2297個(gè)；《北語(yǔ)詞表》中單音節(jié)詞為2628個(gè)。雙音節(jié)及以上的詞數(shù)與比例，見(jiàn)表1。

表1 非單音節(jié)詞統(tǒng)計(jì)

《魯迅小說(shuō)》詞表中非單音節(jié)詞的總詞形數(shù)(tokens)為28176個(gè)，詞類數(shù)(types)6879個(gè)；出現(xiàn)頻度最高的100詞依次是：“沒(méi)有、一個(gè)、什么、知道、他們、自己、起來(lái)、已經(jīng)、我們、因?yàn)椤⑷欢?、時(shí)候、覺(jué)得、似乎、現(xiàn)在、這樣、而且、似的、看見(jiàn)、孩子、于是、可以、雖然、所以、有些、許多、仿佛、之后、東西、眼睛、怎么、終于、那里、后來(lái)、女人、還是、大家、母親、忽然、一定、這里、但是、先前、以為、自然、那時(shí)、大約、聲音、下去、可是、或者、一點(diǎn)、人們、出來(lái)、辮子、立刻、一般、太太、老爺、還有、一面、忽而、這些、聽(tīng)到、實(shí)在、怎樣、家里、臉上、仍然、漸漸、第一、里面、回來(lái)、一樣、至于、你們、兒子、高興、不過(guò)、應(yīng)該、出去、慢慢、接著、今天、同時(shí)、第二、這么、那么、意思、太爺、本來(lái)、嫂子、就是、屋子、說(shuō)道、只是、非常、中國(guó)、其實(shí)、只有”。

《北語(yǔ)詞表》中非單音節(jié)詞的累計(jì)總詞形數(shù)(tokens)為66169729個(gè)，詞類數(shù)(types)55061個(gè)；頻度最高的100詞依次是：“中國(guó)、發(fā)展、我們、經(jīng)濟(jì)、新華社、工作、國(guó)家、問(wèn)題、一個(gè)、人民、他們、企業(yè)、進(jìn)行、生產(chǎn)、國(guó)際、同志、記者、全國(guó)、技術(shù)、建設(shè)、北京、領(lǐng)導(dǎo)、我國(guó)、美國(guó)、這個(gè)、政府、改革、會(huì)議、社會(huì)、干部、一些、本報(bào)、今天、群眾、地區(qū)、沒(méi)有、世界、關(guān)系、自己、組織、社會(huì)主義、部門、研究、今年、解決、管理、代表、思想、政治、方面、教育、舉行、情況、要求、去年、公司、政策、這些、第一、可以、參加、提高、生活、有關(guān)、市場(chǎng)、產(chǎn)品、重要、文化、活動(dòng)、人員、主席、蘇聯(lián)、日本、認(rèn)為、中央、加強(qiáng)、單位、提出、通過(guò)、合作、現(xiàn)在、農(nóng)民、總理、計(jì)劃、這樣、歷史、需要、目前、兩國(guó)、農(nóng)業(yè)、主要、就是、工業(yè)、增加、許多、報(bào)道、科學(xué)、農(nóng)村、不能、委員會(huì)”。

使用頻度最高100詞中，兩表共有13詞:“自己、今天、可以、沒(méi)有、他們、我們、現(xiàn)在、許多、一個(gè)、這些、這樣、中國(guó)、第一”。相同率為13%,大大低于兩字表最高100字的相同率。

從詞性看，《北語(yǔ)詞表》100詞的名詞與動(dòng)詞為主，合計(jì)占81%；而《魯迅小說(shuō)》詞表100詞中，如表2所示，名、動(dòng)、代、副、連五類合計(jì)占81%。若按照一般語(yǔ)法分類，把時(shí)間、方位詞和處所詞歸為名詞，那么，《北語(yǔ)詞表》100詞主要為名詞、動(dòng)詞和代詞3類，而《魯迅小說(shuō)》詞表主要是名詞、動(dòng)詞、代詞、副詞和連詞5類。

表2 最高頻度100詞詞性比較

3.4 《魯迅小說(shuō)》詞表詞性分布

據(jù)antconc統(tǒng)計(jì)，《魯迅小說(shuō)》用詞總詞形數(shù)(tokens)為92066個(gè)，詞類(types)為9176個(gè)，其中單音節(jié)詞為2297個(gè)。總體語(yǔ)料中的詞性分布(見(jiàn)表3)與前100詞趨同，前5類依次為動(dòng)詞、名詞、副詞、助詞和代詞。

表3 《魯迅小說(shuō)》總體語(yǔ)料中的詞性分布。

四、結(jié)果與討論

本研究運(yùn)用多種文本處理和分析工具，對(duì)魯迅小說(shuō)所用字和詞進(jìn)行了定量統(tǒng)計(jì)，并將結(jié)果與北京語(yǔ)言大學(xué)的相關(guān)語(yǔ)料進(jìn)行了對(duì)比。從高頻字看，兩種語(yǔ)料雖形符數(shù)(tokens)差異極大，但相同度高達(dá)83%。不論語(yǔ)言作品的內(nèi)容如何或數(shù)量多少，高頻字是語(yǔ)言的基礎(chǔ)要素。100個(gè)高頻詞在兩種語(yǔ)料中覆蓋率均在50%左右。

從高頻詞看，兩類語(yǔ)料的差異顯著。100詞中，兩表共有僅有13個(gè)，相同率大大低于高頻字。這種差異因語(yǔ)料來(lái)源差異所致。從高頻詞內(nèi)容看，北語(yǔ)語(yǔ)料來(lái)源于政論與新聞，時(shí)事性、社會(huì)性與國(guó)際性突出，尤其是“蘇聯(lián)”一詞，反映了90年代以前時(shí)政語(yǔ)言的面貌。魯迅小說(shuō)屬文學(xué)語(yǔ)言，充滿動(dòng)感，描述性和口語(yǔ)性顯著。兩者在詞匯選擇上的巨大差異是顯而易見(jiàn)的。

從詞性分布看，開(kāi)放性詞類數(shù)量使用總是居前。有研究指出，數(shù)量居前三位的是名詞、動(dòng)詞和形容詞三類，占總詞頻的48%[13]。

本統(tǒng)計(jì)結(jié)果表明，魯迅小說(shuō)中，名詞、動(dòng)詞和形容詞三類占總詞頻數(shù)的接近48%，但是數(shù)量在前三位的依次是動(dòng)詞(25.23%)，名詞(17.54%)和副詞(13.00%)，三者覆蓋全部語(yǔ)料的55.77%。若按照一般語(yǔ)法分類，把方位詞(2.23%),時(shí)間詞(1.26%)和處所詞(0.59%)歸為名詞，順次未出現(xiàn)變動(dòng)，而覆蓋率則接近60%(59.85%)。排在這三者之后的是助詞(9.54%)和代詞(8.78%)，其后是，形容詞(5.23%)。

出現(xiàn)這種差異的原因在于，政論與新聞文體重點(diǎn)在狀態(tài)、事實(shí)、說(shuō)理和過(guò)程，以靜態(tài)書面語(yǔ)為主，名詞使用頻度高；而小說(shuō)充滿動(dòng)感，動(dòng)詞使用頻數(shù)要高于名詞。形容詞是名詞的修飾語(yǔ)，而副詞以修飾動(dòng)詞為主，自然會(huì)隨著修飾對(duì)象使用的增加而增加。但是，本次分析所發(fā)現(xiàn)的這種現(xiàn)象，是普遍性還是特殊性，尚需進(jìn)一步研究。

五、問(wèn)題

本文首次對(duì)魯迅小說(shuō)字詞進(jìn)行了統(tǒng)計(jì)分析，并用相關(guān)字與詞語(yǔ)料進(jìn)行了對(duì)比，具有拋磚引玉的意義。在研究過(guò)程中發(fā)現(xiàn)了一些需要改進(jìn)的問(wèn)題。

字頻與詞頻統(tǒng)計(jì)要分別進(jìn)行字的切分和詞的劃分。前者操作簡(jiǎn)單，只要用任何文本處理工具都可以完成，不需人工干預(yù)。而詞的劃分或分詞，只有依賴專門的工具軟件，才能實(shí)現(xiàn)。若人工操作，標(biāo)準(zhǔn)難以統(tǒng)一。

本次研究采用漢語(yǔ)詞法分析器(ictclas),由中國(guó)科學(xué)院計(jì)算所開(kāi)發(fā)，主要采用北大《人民日?qǐng)?bào)》語(yǔ)料庫(kù)進(jìn)行參數(shù)訓(xùn)練，詞性標(biāo)記集[13]主要以北大《人民日?qǐng)?bào)》語(yǔ)料庫(kù)的詞性標(biāo)記集為藍(lán)本，并參考了北大《漢語(yǔ)語(yǔ)法信息詞典》中給出的漢語(yǔ)詞的語(yǔ)法信息[14]。因此，用非小說(shuō)文件進(jìn)行參數(shù)訓(xùn)練的分詞工具用于魯迅小說(shuō)語(yǔ)料分詞，誤差率就不可避免地會(huì)提高。理想的做法是，可針對(duì)性地用專門的語(yǔ)料進(jìn)行訓(xùn)練，形成自帶詞典，然后進(jìn)行分詞，會(huì)大大降低誤差率。盡管認(rèn)識(shí)到誤差，但本統(tǒng)計(jì)分析對(duì)誤差未作調(diào)整，目的是使研究具有可重復(fù)性，以求證實(shí)或證偽。

其次，對(duì)照語(yǔ)料選用的是北語(yǔ)語(yǔ)料。盡管統(tǒng)計(jì)分析結(jié)果顯示文學(xué)類與非文學(xué)類語(yǔ)料之間在字頻和詞頻方面的異與同，但是，若能選用同時(shí)代或不同時(shí)代典型作家的語(yǔ)料進(jìn)行對(duì)比，則更能突顯魯迅小說(shuō)遣詞用字的特點(diǎn)。

參考文獻(xiàn):

[1]馮志偉.數(shù)理語(yǔ)言學(xué)[M].上海:知識(shí)出版社,1985.

[2]劉云.漢語(yǔ)詞匯統(tǒng)計(jì)研究述評(píng)[J].漢語(yǔ)學(xué)習(xí),2009.

[3]Lyne,A.A.Lexicometric Approach to the Description of a Language Variety[M].Sheffield:University of Sheffield，1981.

[4]楊奔.20世紀(jì)的現(xiàn)代漢語(yǔ)詞匯統(tǒng)計(jì)研究[J].玉林師范學(xué)院學(xué)報(bào)(哲社版),2002(1).

[5]王惠.漢語(yǔ)詞匯統(tǒng)計(jì)研究[EB/OL].www.huayuqiao.org/ articles/wanghui/ wanghui06.doc,檢索日2012-10-7.

[6]《現(xiàn)代漢語(yǔ)常用詞表》課題組.現(xiàn)代漢語(yǔ)常用詞表[Z].北京：商務(wù)印書館,2008.

[7]楊堅(jiān)定,孫鴻仁.魯迅小說(shuō)漢英平行語(yǔ)料庫(kù)[EB/OL],http://corpus.zscas.edu.cn/ 2009-09-25,檢索日2012-10-7.

[8]漢語(yǔ)國(guó)際教育技術(shù)研發(fā)中心(a).漢語(yǔ)常用詞詞頻表[EB/OL]http://nlp.blcu.edu.cn/ downloads/ download-resources/2012-10-7.

[9]漢語(yǔ)國(guó)際教育技術(shù)研發(fā)中心(b).漢字字頻詞典[EB/OL]http://nlp.blcu.edu.cn/downloads/download-resources/,檢索日2012-10-7.

[10]ABBYY開(kāi)發(fā)組.www.abbyy.com,檢索日2012-10-7

[11]張華平.ICTCLAS漢語(yǔ)分詞系統(tǒng)[EB/OL].http://ictclas.org,檢索日2008-07.

[12]Anthony,L.AntConc 3.2.4w[EB/OL].http://www.antlab.sci.waseda.ac.jp/software.html,檢索日2012-10-7.

[13]蘇新春、楊爾弘.2005年度漢語(yǔ)詞匯統(tǒng)計(jì)的分析與思考[J].廈門大學(xué)學(xué)報(bào)(哲社版),2006(6).

[14]劉群,張華平,張浩.計(jì)算所漢語(yǔ)詞性標(biāo)記集[EB/OL].ictclas.org/docs/ICTPOS3.0漢語(yǔ)詞性標(biāo)記集.doc,檢索日2012-10-7.