喬秀明,黃文杰,2,李淑琴,2
(1.北京信息科技大學(xué) 計(jì)算機(jī)學(xué)院, 北京 100101;2.感知與計(jì)算智能聯(lián)合實(shí)驗(yàn)室, 北京 100101)
機(jī)器博弈是人工智能研究的重要領(lǐng)域,是檢驗(yàn)人工智能發(fā)展水平的一個(gè)重要平臺(tái)。根據(jù)博弈信息是否可以完全可知,可分為完全信息博弈和非完全信息博弈[1],如代表完全信息博弈的圍棋、象棋等和代表非完全信息博弈的二打一、麻將等。在完全信息博弈中,谷歌的“Alphago Zero”[2]達(dá)到計(jì)算機(jī)博弈領(lǐng)域的新高度,為完全信息博弈游戲提供了通用解決方法,計(jì)算機(jī)棋手逐漸達(dá)到了職業(yè)玩家的水平,甚至超過(guò)人類玩家,這其中深度學(xué)習(xí)在游戲中起到了很大的作用。在非完全信息博弈中,玩家的操作范圍龐大,如有限注德州撲克,其所有信息集數(shù)量達(dá)到了(3.19×10)14,參與者要基于信息集進(jìn)行決策[3]。對(duì)信息集中歷史狀態(tài)的數(shù)量關(guān)系和問(wèn)題的規(guī)模及復(fù)雜度通常采用的簡(jiǎn)化方法有:使用在完全信息博弈中[4]應(yīng)用廣泛的蒙特卡羅樹(shù)搜索[5]和對(duì)博弈樹(shù)的抽象化[6]。博弈樹(shù)的抽象化本質(zhì)是采用一種方法將復(fù)雜的博弈樹(shù)狀態(tài)節(jié)點(diǎn)合并,通常使用聚類或者分類方法。2017年,CMU設(shè)計(jì)的Lbratus[7]使用抽象方法以細(xì)化狀態(tài)空間和策略空間[8],Andre按照勝率進(jìn)行聚類,引入狀態(tài)空間算法和整數(shù)規(guī)劃對(duì)牌型進(jìn)行抽象化[9]。
二打一(俗稱斗地主)[10]是一款集趣味性、廣泛性、專業(yè)性于一身的3人棋牌游戲,作為研究非完全信息博弈的典型問(wèn)題,受到人工智能領(lǐng)域內(nèi)專家越來(lái)越多的關(guān)注。目前文獻(xiàn)[11]在對(duì)二打一手牌水平評(píng)估的過(guò)程中直接以單張手牌為單位進(jìn)行手牌水平分析,并以單張牌的編號(hào)所對(duì)應(yīng)的角色進(jìn)行分配,使用生成對(duì)抗網(wǎng)絡(luò)來(lái)達(dá)到控制手牌水平的目的。但是,其未考慮到牌與牌之間按照出牌規(guī)則的組合方式。文獻(xiàn)[12]使用二打一出牌機(jī)器人進(jìn)行自博弈來(lái)對(duì)二打一手牌水平進(jìn)行評(píng)估。雖然對(duì)二打一手牌進(jìn)行研究的成果多種多樣,如文獻(xiàn)[13]基于權(quán)值對(duì)二打一手牌進(jìn)行了拆分,但是模擬人類玩家拆牌的研究卻少有記錄。本文在對(duì)二打一手牌拆分研究的過(guò)程中受到自然語(yǔ)言處理領(lǐng)域序列標(biāo)注任務(wù)的啟發(fā),使用基于深度學(xué)習(xí)的BILSTM-CRF模型[14]作為建模方法嘗試對(duì)二打一初始手牌進(jìn)行牌型標(biāo)注訓(xùn)練,在與傳統(tǒng)的最小組合拆分法進(jìn)行比較后,獲得了初步的成效。
手牌拆分指將當(dāng)前手牌(初始手牌或?qū)种心硞€(gè)時(shí)刻的手牌)按照出牌規(guī)則拆分成合法牌型。拆牌效果的好壞影響這個(gè)打牌過(guò)程。對(duì)于人類玩家來(lái)說(shuō),每次進(jìn)行二打一游戲?qū)?zhàn)時(shí),在確定好自己的初始手牌后,玩家都會(huì)對(duì)自己的初始手牌進(jìn)行在心理層面的預(yù)拆分,即回答如何拆分出能夠壓制住對(duì)手的牌型、如何拆分出能夠在主動(dòng)出牌時(shí)確立主動(dòng)權(quán)的手牌、如何拆分才能把牌面較小的手牌打出去等系列問(wèn)題,完成初步的拆牌規(guī)劃。對(duì)于新手而言,如果能夠利用拆牌模型,在每次出牌前進(jìn)行手牌拆分,就可以有效地輔助自己的出牌決策,對(duì)于二打一計(jì)算機(jī)博弈智能體而言,也具有重要的借鑒意義。
此外,在機(jī)器學(xué)習(xí)或深度學(xué)習(xí)對(duì)手牌的研究過(guò)程中,僅僅以單張牌為單位,用數(shù)字化分析和建模整個(gè)手牌序列,實(shí)際上是難以體現(xiàn)規(guī)則中的牌型壓制關(guān)系的,所以,針對(duì)手牌水平評(píng)估的研究與手牌拆分存在密不可分關(guān)系的。
對(duì)于任意一條完整的二打一打牌數(shù)據(jù),包括了勝者打出的手牌數(shù)據(jù)和敗者打出的手牌數(shù)據(jù),其中勝者因優(yōu)先將手牌打完而取得勝利,其中在打牌過(guò)程產(chǎn)生完整的手牌拆分時(shí)序序列信息,自然可以提取出來(lái)作為訓(xùn)練之用。按照規(guī)則,二打一游戲的合法出牌牌型包含的常見(jiàn)牌型如下:
(a)火箭:由小王和大王兩張牌組成,可以壓制其他一切牌型。當(dāng)且僅當(dāng)大王和小王同時(shí)在一名玩家手中才能被打出。
(b)炸彈:由4張牌面大小一樣的牌組成,可以壓制除火箭和炸彈外的其他所有牌型,也可以壓制比自己牌面小的炸彈,比如“4444”可以壓制“3333”但是不能壓制“5555”。
(c)單張:由單張手牌組成的出法,如“3”,“4”,“5”等。
(d)單順:由連續(xù)的單張手牌組合成長(zhǎng)度不少于5張的牌,如“34567”,“345678”,“45678”等。
(e)對(duì)牌:由2張牌面相同的牌組成的出法,如“33”,“44”,“55”等。
(f)雙順:由至少3組連續(xù)的對(duì)牌組成的出法,如“334455”,“33445566”,“445566”等。
(g)三張:由3張牌面相同的牌組成的出法,如“333”,“444”,“555”等。
(h)三順:由至少2組連續(xù)的3張組成的出法,如“333444”,“333444555”,“444555”等。
(i)三帶一:由3張牌型額外附帶單張牌,附帶的單張牌在壓制上不用比較大小,如“3337”,“4445”等。
(j)三帶一對(duì):由3張牌型額外附帶對(duì)牌,附帶的對(duì)牌在壓制上不用比較大小,如“33377”,“44455”等。
(k)飛機(jī)帶翅膀:由三順牌型額外附帶單張牌或者對(duì)牌,附帶的對(duì)牌在壓制上不用比較大小,附帶的牌型要一致,如“33344467”,“333444555789”,“3334448899”等。
(h)四帶二:由炸彈牌型額外附帶2張單牌或者2個(gè)對(duì)牌,附帶的單牌或?qū)ε圃趬褐粕喜挥帽容^大小,附帶的牌型要一致,如“333345”,“44445588”等。
手牌序列的拆分和NLP(自然語(yǔ)言處理)領(lǐng)域中的中文命名實(shí)體識(shí)別任務(wù)極為相似,都是通過(guò)對(duì)序列的標(biāo)注來(lái)實(shí)現(xiàn)對(duì)序列的劃分。中文命名實(shí)體識(shí)別方法可以在每個(gè)字上進(jìn)行標(biāo)注,標(biāo)注出句子中的名詞、動(dòng)詞等,并按照標(biāo)注的結(jié)果對(duì)句子進(jìn)行劃分,用于后續(xù)的下游任務(wù),如用B(Begain)、E(End)、V(Verb)將“我們愛(ài)祖國(guó)”這句話標(biāo)注成“BEVBE”,并根據(jù)標(biāo)注結(jié)果將這句話拆分成“我們”、“愛(ài)”、“祖國(guó)”3個(gè)實(shí)體。同理,可將組合成手牌序列的牌型看作要標(biāo)注的實(shí)體,通過(guò)標(biāo)注來(lái)進(jìn)行拆分。
根據(jù)現(xiàn)有的數(shù)據(jù)資源,參考中文命名實(shí)體識(shí)別中的主流深度學(xué)習(xí)模型BILSTM-CRF,運(yùn)用獨(dú)特的標(biāo)簽信息提取思路,提出了基于BILSTM-CRF模型的手牌牌型標(biāo)注的拆分方法。BILSTM-CRF模型是由雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BILSTM)和條件隨機(jī)場(chǎng)(CRF)組成的復(fù)合深度學(xué)習(xí)網(wǎng)絡(luò)模型。其中雙向長(zhǎng)短期記憶網(wǎng)絡(luò)可以提取到序列中前后之間的聯(lián)系,條件隨機(jī)場(chǎng)可以學(xué)習(xí)到序列中單位與單位之間狀態(tài)的前后聯(lián)系。BILSTM-CRF模型多用于序列標(biāo)注任務(wù),尤其在中文命名實(shí)體識(shí)別工作中應(yīng)用廣泛。二打一初始手牌也是單一的序列,因而可以設(shè)計(jì)建模對(duì)整個(gè)序列進(jìn)行牌型的類別標(biāo)注,并將標(biāo)注結(jié)果轉(zhuǎn)化為手牌牌型的拆分。為獲取人類玩家對(duì)手牌的拆分特征,需要通過(guò)監(jiān)督學(xué)習(xí)的方式從人類玩家真實(shí)對(duì)戰(zhàn)的過(guò)程中提取到人類玩家的拆牌方式。
根據(jù)二打一計(jì)算機(jī)博弈規(guī)則和利用前述(a)~(h),進(jìn)一步實(shí)戰(zhàn)對(duì)局?jǐn)?shù)據(jù)分成4類牌型,分類信息用標(biāo)注序號(hào)0、1、2、3所示,如表1所示。
表1 牌型標(biāo)注示例
在表1中,由于單順是由單張組合而成,單張和單順被劃分為第0類。拆牌過(guò)程中,在處理大量單張時(shí),若存在至少5張連續(xù)的單牌,則可以組成單順。由于連對(duì)是由對(duì)牌組合而成,對(duì)牌和連對(duì)被劃分為第1類。拆牌過(guò)程中,在處理大量對(duì)牌時(shí),若存在至少3組連續(xù)的對(duì)牌,則可以組成連對(duì)。由于三順是由3張組合而成,三張和三順被劃分為第2類。拆牌過(guò)程中,在處理大量三張時(shí),若存在至少2組連續(xù)的三張,則可以組成三順。炸彈和火箭被劃分為第3類,因?yàn)檎◤椇突鸺梢匀褐破渌愋偷呐菩停瑢儆趬褐菩缘呐菩?。在拆牌過(guò)程中,應(yīng)考慮是否拆分出壓制性的牌型或者將壓制性牌型拆分成其他類型的牌型。三帶一、三帶二、飛機(jī)帶翅膀、四帶二不納入分類范疇,因其由3張、炸彈、單排和對(duì)牌組合而成,屬于二次組合后的復(fù)合牌型。
對(duì)一副手牌序列的每一張手牌,以表中的標(biāo)注序號(hào)作為序列的標(biāo)注表示,如手牌序列“34445556789TA22XD”可以由牌型{3,444555,6789T,A,22,XD}組成,該牌型集合中的牌型為{單牌(c),三順(h),單順(d),單牌(c),對(duì)牌(e),炸彈(a)}。將牌型集合中的牌型依照表1進(jìn)行標(biāo)簽轉(zhuǎn)化,得到標(biāo)注{0,222222,00000,0,11,33},因此該手牌序列的標(biāo)注信息為“02222220000001133”。
基于BILSTM-CRF的拆牌模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。首先將每一張牌進(jìn)行向量賦值,并輸入到BI-LSTM網(wǎng)絡(luò)中,通過(guò)全連接層網(wǎng)絡(luò)輸出包含四種標(biāo)注類型的分?jǐn)?shù)。然后建立CRF狀態(tài)轉(zhuǎn)移矩陣,用CRF層去訓(xùn)練牌與牌之間標(biāo)注類型狀態(tài)轉(zhuǎn)移關(guān)系,最后將BI-LSTM網(wǎng)絡(luò)對(duì)標(biāo)注的打分,和CRF層對(duì)標(biāo)注的打分進(jìn)行求和,并選取總得分最高的標(biāo)注類型作為當(dāng)前手牌的標(biāo)注類型。
圖1 BILSTM-CRF模型網(wǎng)絡(luò)結(jié)構(gòu)框圖
因手牌序列標(biāo)注,需要考慮到每張手牌與其他手牌前后之間的關(guān)系,故選用BILSTM-CRF網(wǎng)絡(luò),對(duì)手牌以單張手牌為單位進(jìn)行向量讀取,BI-LSTM層的輸出連接到全連接輸出層,輸出維度為4,即對(duì)4種標(biāo)注牌型的打分。全連接輸出層對(duì)每一張牌屬于4種牌型的分?jǐn)?shù)進(jìn)行輸出。每張牌的對(duì)應(yīng)的分?jǐn)?shù)h表示為式(1),其中k代表手牌序列中第k個(gè)位置的手牌,k=1,2,3,…,L,其中L為序列長(zhǎng)度。
ek∈{hk1,hk2,hk3,hk4}
(1)
對(duì)于長(zhǎng)度序列為L(zhǎng)的初始手牌序列,共產(chǎn)生N=L4種標(biāo)注情況。每種標(biāo)注情況在手牌序列中的總得分如式(2)所示,n=1,2,3…N,表示每種情況下的標(biāo)注結(jié)果。
(2)
BI-LSTM層輸出的結(jié)果在歸一化后產(chǎn)生的預(yù)測(cè)結(jié)果并不能保證對(duì)于手牌的給出的標(biāo)簽完全符合拆牌的規(guī)范,因而在模型中添加CRF層。在CRF層里,建立一個(gè)隨機(jī)初始化的狀態(tài)轉(zhuǎn)移矩陣,矩陣的規(guī)格為6*6。狀態(tài)轉(zhuǎn)移矩陣的橫縱坐標(biāo)都表示為start狀態(tài)、4種牌型、end狀態(tài)。根據(jù)6種狀態(tài)和長(zhǎng)度為L(zhǎng)的手牌序列,建立長(zhǎng)度為L(zhǎng)+1的狀態(tài)轉(zhuǎn)移分?jǐn)?shù)進(jìn)行求和。狀態(tài)轉(zhuǎn)移序列求和表達(dá)式表示為式(3)。
Tn=mstart,1+m1,2+m2,3+…+mL-1,L+mL,end
(3)
CRF單個(gè)狀態(tài)轉(zhuǎn)移分?jǐn)?shù)mij表示為式(4)。
(4)
CRF狀態(tài)轉(zhuǎn)移矩陣的含義是:對(duì)于橫軸第i個(gè)狀態(tài)和縱軸第j個(gè)狀態(tài),從第i個(gè)狀態(tài)轉(zhuǎn)移到第j個(gè)狀態(tài)(在手牌序列中從前一張牌標(biāo)注牌型結(jié)果的狀態(tài),轉(zhuǎn)移到后一張牌標(biāo)注牌型結(jié)果的狀態(tài))的分?jǐn)?shù)表示。CRF狀態(tài)轉(zhuǎn)移矩陣在隨機(jī)初始化后,其數(shù)值會(huì)隨著訓(xùn)練的進(jìn)行通過(guò)梯度下降更新。
網(wǎng)絡(luò)模型對(duì)N種標(biāo)注情況下每種情況的得分表示為BI-LSTM層和CRF層在該種情況下對(duì)應(yīng)的分?jǐn)?shù)之和并取e的指數(shù)冪:
Pn=exp(En+Tn)
(5)
統(tǒng)計(jì)所有N種情況下Pn之和作為分母,將來(lái)自于訓(xùn)練數(shù)據(jù)中真實(shí)存在的標(biāo)注示例(即理想狀態(tài)下的標(biāo)注結(jié)果)下計(jì)算得到的Pn作為分子Prealpath。損失函數(shù)取兩者的對(duì)數(shù)損失函數(shù),如式(6)所示。
(6)
式(6)中,目標(biāo)函數(shù)的更新趨勢(shì)是盡可能使分子所對(duì)應(yīng)的目標(biāo)分?jǐn)?shù)增大,可以視為極小化對(duì)數(shù)損失函數(shù)。
訓(xùn)練環(huán)境的服務(wù)器配置為Windows 10操作系統(tǒng);NVIDIA GeForce GTX 2070super顯卡,8GB顯存;pytorch版本1.4.0。數(shù)據(jù)為聯(lián)眾公司提供,共430萬(wàn)條,其中有290萬(wàn)局地主獲勝,140萬(wàn)局農(nóng)民獲勝。在訓(xùn)練前,從地主數(shù)據(jù)集和農(nóng)民數(shù)據(jù)集中共劃分出2 000條作為測(cè)試集數(shù)據(jù)使用。對(duì)于模型的準(zhǔn)確率計(jì)算,以測(cè)試集上每張手牌的來(lái)自模型輸出的標(biāo)注結(jié)果和來(lái)自原始數(shù)據(jù)的標(biāo)注結(jié)果的符合比例作為檢驗(yàn)?zāi)P陀?xùn)練效果的標(biāo)準(zhǔn)。
用于訓(xùn)練的每條數(shù)據(jù)的信息如表2所示。
表2 單條數(shù)據(jù)信息
表2展示了每條完整牌局所提供的有效信息,包括三方玩家的初始手牌、3張底牌以及從玩家0開(kāi)始到玩家2結(jié)束的完整打牌過(guò)程。打牌過(guò)程是以先手玩家0作為地主,最后一名出牌玩家2是獲勝方(最先將所有手牌全部打出)。提取獲勝方玩家2在牌局中所打出過(guò)的完整手牌{3AAA,68TTTJJJ,KK,22,9},將帶牌進(jìn)行拆分{3,AAA,6,8,TTTJJJ,KK,22,9}。因此,根據(jù)表1的標(biāo)注序號(hào)分類,將原手牌序列“3689TTTJJJKKAAA22”的拆分標(biāo)注為“00002222221122211”
經(jīng)過(guò)多次調(diào)參訓(xùn)練得到模型的最優(yōu)結(jié)構(gòu),其超參數(shù)配置見(jiàn)表3。
表3 超參數(shù)配置
隨著訓(xùn)練次數(shù)的增加,模型的準(zhǔn)確率提升至89.16%,準(zhǔn)確率隨訓(xùn)練次數(shù)的變化如圖2所示,可以看出,隨著訓(xùn)練次數(shù)的增加,模型在測(cè)試集上的準(zhǔn)確率逐漸提升。
圖2 準(zhǔn)確率隨訓(xùn)練回合數(shù)的變化趨勢(shì)
模型訓(xùn)練完畢后,將需要進(jìn)行拆分的手牌輸入模型,產(chǎn)生標(biāo)注結(jié)果,按照拆分標(biāo)注表的示例將手牌按照標(biāo)注結(jié)果劃分成四類,每類結(jié)果進(jìn)行牌型的合并,將連續(xù)至少5張的單牌組成單順,將連續(xù)至少3組的對(duì)牌組成雙順,將連續(xù)至少2組的三張組成三順。拆牌結(jié)果示例如表4所示。
表4中,當(dāng)模型訓(xùn)練完畢時(shí),將示例手牌以從大到小的方式輸入到模型中,模型輸出每張手牌對(duì)應(yīng)的手牌標(biāo)注類型序號(hào)。如手牌“X2AAQQQJJTT988774”對(duì)應(yīng)的拆分標(biāo)注結(jié)果為“0,0,1,1,2,2,2,1,1,1,1,0,1,1,1,1,0”和手牌“2AKKKQQ9998888555”對(duì)應(yīng)的拆分標(biāo)注結(jié)果為“0,0,2,2,2,1,1,2,2,2,3,3,3,3,2,2,2”。將標(biāo)注好的手牌按照標(biāo)注的4種類型進(jìn)行歸類。對(duì)于標(biāo)注為0的類型的牌,判斷是否能湊成順子并合并;對(duì)于標(biāo)注為1的類型的牌,先將單張手牌組成對(duì)牌,然后再判斷是否能湊成連對(duì)并合并;對(duì)于標(biāo)注為2的類型的牌,先將單張手牌組成三張,然后再判別是否能湊成三順并合并;對(duì)于標(biāo)注類型為4的牌,將火箭和炸彈直接進(jìn)行拆分,得到單獨(dú)拆分出的火箭和炸彈的牌型。從表3中的結(jié)果來(lái)看,BI-LSTM+CRF模型在對(duì)二打一初始手牌標(biāo)注上產(chǎn)生了良好的效果。
表4 拆牌結(jié)果示例
為了評(píng)估BILSTM-CRF模型對(duì)于在拆牌上的可靠性,實(shí)驗(yàn)引入了基于文獻(xiàn)[15]的傳統(tǒng)手牌拆分方法的性能對(duì)比,該方法以最小拆分組合數(shù)為最終目標(biāo),其步驟為:
步驟1首先對(duì)牌型三張、炸彈、順子、連對(duì)和三順排列組合成不同優(yōu)先級(jí)組合H1,H2,…,H40,其中,需要排除掉三張牌型優(yōu)先級(jí)高于炸彈和三順的情況,共計(jì)40種組合。建立一個(gè)空的集合。
步驟2依次遍歷40種優(yōu)先級(jí)組合,在每個(gè)優(yōu)先級(jí)組合下,按照牌型的組合順序中優(yōu)先級(jí)的高低依次選擇較高優(yōu)先級(jí)的牌型對(duì)手牌進(jìn)行拆分,從每一種優(yōu)先級(jí)組合中產(chǎn)生若干組手牌拆分序列。
步驟3將第1組拆分序列插入集合中,并重復(fù)步驟2,依次循環(huán)直到遍歷完40種優(yōu)先級(jí)組合。從第2組開(kāi)始,每新產(chǎn)生一組拆分結(jié)果,變計(jì)算該拆分結(jié)果的拆分?jǐn)?shù)目,若該拆分?jǐn)?shù)目小于集合中的最小拆分?jǐn)?shù)目,則將該拆分結(jié)果加入集合中,直至優(yōu)先級(jí)組合遍歷完畢。
步驟4選取集合種拆分?jǐn)?shù)目最小的拆分結(jié)果作為待拆分手牌的拆牌結(jié)果。
在430萬(wàn)對(duì)戰(zhàn)數(shù)據(jù)的基礎(chǔ)上,使用基于梯度提升樹(shù)的XGBoost算法訓(xùn)練出二打一的出牌AI。隨機(jī)生成1 000副初始手牌。對(duì)于每一副初始手牌,分別得到傳統(tǒng)最小組合拆分法的拆分結(jié)果h={h1,h2,…,hi}和BILSTM-CRF模型的標(biāo)注拆分結(jié)果g={g1,g2,…,gj},并通過(guò)AI進(jìn)行對(duì)打,統(tǒng)計(jì)對(duì)局中AI在前5次主動(dòng)出牌(根據(jù)是否進(jìn)行跟牌的狀態(tài)分為主動(dòng)出牌和被動(dòng)出牌)下打出牌型(A1,A2,…,Aa,B1,B2,…,Bb,C1,C2,…,Cc),其中ABC分別代表二打一對(duì)戰(zhàn)中3個(gè)角色打出的牌型。分別統(tǒng)計(jì)AI打出的牌型中存在于集合h和集合g的比例Ph和Pg,性能結(jié)果如表5所示。
表5 性能結(jié)果
傳統(tǒng)最小組合拆分法雖然能快速有效地產(chǎn)生手牌拆分結(jié)果,但是二打一的對(duì)局變化多端,拆分出的牌型并不能保證和對(duì)局中AI打出的牌型完全相符。而B(niǎo)ILSTM-CRF模型的標(biāo)注拆分法是基于人類玩家對(duì)局中的拆分結(jié)果進(jìn)行拆分,該方法所產(chǎn)生的拆牌結(jié)果相比之下更能反映在實(shí)際玩家對(duì)戰(zhàn)中對(duì)手牌的拆分結(jié)果。
基于聯(lián)眾提供的真人二打一游戲?qū)?zhàn)數(shù)據(jù)構(gòu)建了手牌拆分的真實(shí)數(shù)據(jù)集,數(shù)據(jù)規(guī)模達(dá)到了430萬(wàn)條,為后續(xù)拆牌研究提供了數(shù)據(jù)基礎(chǔ)。提出基于BILSTM-CRF構(gòu)建手牌序列標(biāo)注模型,實(shí)驗(yàn)證明了該模型在手牌拆分任務(wù)上的有效性,表明了通過(guò)對(duì)二打一手牌進(jìn)行序列標(biāo)注實(shí)現(xiàn)模擬人類手牌拆分的可行性,拓寬了BILSTM-CRF模型的應(yīng)用領(lǐng)域。