摘要：完整的信用風險管理體系不僅包含科學的違約概率預測

方法，可靠的驗證程序也是風險管理工作的重要保證。傳統(tǒng)的檢驗方法建立在“50%”臨界點的基礎上，但這并不是一個可靠的選擇。ROC動態(tài)檢驗方法中判斷標準被設定為動態(tài)變化的，ROC曲線刻畫的是在連續(xù)臨界點取值下，命中率和錯報率的組合情況，呈現(xiàn)的檢驗結果客觀直接，且不產生指標間的相互矛盾。通過基于真實數(shù)據的實證分析，ROC動態(tài)檢驗被認為是一個更科學的檢驗方法。

關鍵詞：ROC 內部評級 違約概率 模型檢驗

1 概述

在巴塞爾委員會2004年6月正式發(fā)布《統(tǒng)一資本計量和資本標準的國際協(xié)議：修訂框架》以來，建立符合自身利益和監(jiān)管要求的信用管理系統(tǒng)已經成為各家銀行的共識。然而完整的信用風險管理體系不僅包含科學的違約概率預測方法，嚴謹?shù)尿炞C過程也是風險管理工作的保證。巴塞爾委員會要求“銀行必須建立一個健全的體系，驗證評級系統(tǒng)所有風險要素的準確性和一致性”[1]。因此，一個合理的違約預測結果檢驗方法和違約預測方法本身一樣重要。

然而現(xiàn)有的研究工作依然大量地集中在預測模型本身，對檢驗方法的研究還相對薄弱，目前相關文獻中采用的預測模型檢驗方法大多為傳統(tǒng)的“50%”臨界點檢驗

方法①，比如鄒亞寶和梁紅漫（2013）[2]、藍潤榮和程?？。?013）[3]、楊蓬勃等（2009）[4]。但是，正如石曉軍等人指出的（2007）[5]，“這個選擇并沒有堅實的理論依據”。事實上，50%并不是一個可以被普遍接受的違約概率。在很多情況下，違約概率即便為20%，也被視為是一個不能接受的貸款申請。因此，這一傳統(tǒng)的方法并不十分合理。

由于傳統(tǒng)檢驗方法的局限性，學者進行了檢驗方法的相關研究。目前得到業(yè)界和學術界較多關注的方法有KS指標法、CAP曲線法、對數(shù)似然率方法以及ROC曲線法。其中，得到最多關注和認可的當屬ROC曲線法。然而從可以獲得的研究成果來看，相關的研究工作均是在進行信用風險預測模型研究時為了驗證模型的預測準確性而涉及該方法[6]。這些研究并未對其進行詳盡的理解和介紹，對其檢驗結果的分析也僅限于ROC面積這一指標，存在極大的片面性。

本文以真實數(shù)據為基礎，采用ROC動態(tài)檢驗方法，分別對兩種違約預測模型的預測能力進行檢驗。研究工作對檢驗結果進行比較，證明了ROC動態(tài)檢驗方法在模型預測檢驗上更加全面，在模型選擇上具有更好的識別能力。同時，ROC檢驗方法使得決策者能夠根據自身對Ⅰ類錯誤率和Ⅱ類錯誤率的偏好傾向而更加靈活地選擇是否違約的判斷標準。這說明ROC動態(tài)檢驗方法在理論上和實踐中都具有更大的優(yōu)勢。

2 ROC動態(tài)檢驗方法簡介

ROC動態(tài)檢驗最先出現(xiàn)在信號探測理論中，是一種科學的量化檢驗方法，能有效克服傳統(tǒng)檢驗方法在臨界點選擇上的片面性。Sobehart和Keenan第一次將這一方法運用在信用評級模型預測能力的檢驗研究工作中（2001）[7]。他們對ROC方法進行了介紹，同時對ROC檢驗方法的結果做了解釋。他們最主要的結論是：ROC曲線下的面積大小，是對信用評級模型進行評判的重要指標。但是ROC曲線的意義遠不止于此。

■

圖1 違約客戶和履約客戶分布圖

圖1是違約客戶和履約客戶的分布圖，其中兩個半圓分別代表了違約客戶集合和履約客戶集合。對于違約概率預測模型來說，風險評估人員需要事先設定一個概率值作為判斷標準，依此對企業(yè)在未來是否違約做出判斷?！癈”即代表了對是否違約的判斷標準：如果模型預測客戶違約概率大于C標準，我們認為該貸款客戶將會出現(xiàn)違約；反之，則判斷其可能履約。如果“C”能將兩個客戶群體完全區(qū)別開，則是一個完美的模型預測結果。但是，實際模型得到的違約群體和履約群體兩個分布一定有重疊部分，這是評判模型的精確程度的重要依據。重疊部分越大，評判模型對客戶分布的區(qū)分能力越差，模型預測的精度也就越差。

表1是模型預測可能得到的四種結果：

表1 模型預測四種結果②

■

hit（C）表示以“C”為判定標準時，“hit”所代表的客戶數(shù)目，即被正確判定為違約的實際違約貸款客戶數(shù)目。ND是實際違約客戶數(shù)目。命中率HR（C）=■表示在判定標準為“C”的時候，被正確判斷為違約的實際違約客戶占全部違約客戶的比例。這一指標是對模型正確判斷違約客戶能力的衡量。

false（C）表示以“C”作為判定標準時，被錯誤判斷為違約的實際履約客戶數(shù)目；NND表示樣本中實際履約客戶的全體數(shù)目。錯報率FAR（C）=■，表示當判定標準為“C”的時候，被錯誤判斷為違約的實際履約樣本數(shù)目占實際履約客戶的比重。這一指標是對模型錯誤預報違約的程度的描述。

在傳統(tǒng)的檢驗方法中，“C”通常被設定為“50%”。而ROC動態(tài)檢驗并不拘泥于特定的臨界點標準。在ROC 檢驗中，“C”被設定為動態(tài)變化的，能夠取從“0%”到“100%”間的任意一個概率值。因此，ROC檢驗方法對違約的判斷結果是隨著“C”的取值變化而改變的。

在一個坐標系中，以命中率HR（C）作為坐標系的縱坐標變量，錯報率FAR（C）表示坐標系的橫坐標變量。對每個觀測樣本，模型都預測出對應的違約概率。依次將這些概率值作為判定標準“C”，我們能夠計算出每個“C”對應的命中率HR（C）和錯報率FAR（C）。在坐標軸上對每一對HR（C）和FAR（C）描點，并將各個點用折線聯(lián)接，因此我們得到的ROC曲線是一條由各個概率值為節(jié)點連接

成的折線。其特別之處在于，ROC曲線并不表示HR（C）隨FAR（C）變化而變化的軌跡。事實上，ROC曲線反映了在不同的判定標準“C”取值下命中率HR（C）和錯報率FAR（C）的配對情況。

ROC曲線必定經過點（0，0）和點（1，1）。這是因為當“C”取值最小違約概率值時，我們得到hit（C）=false（C）=0，此時HR（C）=FAR（C）=0；當C取值最大違約概率值時，則有hit（C）=ND，false（C）=NND，HR（C）=FAR（C）=1。

ROC曲線圍成的面積用A表示，即：A=■HR（FAR）d（FAR）。A大小反映了模型的預測效果。A值越大，說明ROC曲線和坐標軸圍成的面積越大，那么模型的預測能力越好。為了比較不同模型的預測效果，我們可以將A的大小轉化單一數(shù)字表示的概況統(tǒng)計量AUC。AUC是單位面積的一部分，其值介于“0”和“1”之間。當AUC=0.5時，ROC曲線為一條斜向右上方的直線，這表示模型沒有任何判定預測能力。如果模型達到最佳預測效果，ROC曲線和坐標系縱軸及HR（C）=1的橫線相重合。其時，AUC=1。當我們需要對不同模型的預測能力進行比較時，方便的方法就是比較各個模型對應的AUC值。

3 基于二值響應面板數(shù)據模型的實證研究

為了進一步說明新方法的檢驗能力，我們以真實數(shù)據為基礎，建立兩個不同的二值響應面板數(shù)據模型進行模擬估計。為了對模型的預測能力進行檢驗，我們分別采用傳統(tǒng)“50%”臨界點方法和ROC動態(tài)檢驗方法。比較不同的檢驗結果，我們就能夠發(fā)現(xiàn)兩者在分析預測準確程度方面的不同表現(xiàn)，由此導致的在模型選擇上的表現(xiàn)也有所差別。

3.1 樣本選取

本文進行實證分析的數(shù)據來源是福建省2007年到2011年五年間78家連續(xù)在中國工商銀行獲得貸款的中等規(guī)模企業(yè)③相關財務信息和違約情況。由于該銀行規(guī)定客戶進行貸款申請時必須提供近三年的財務報告，同時銀行也會根據歷史數(shù)據對申請貸款的客戶進行過往三年的信用等級評估。為了增加模型估計的樣本數(shù)，我們將過

往信用評級（2005年至2006年）高于BBB級以上（含

BBB）的企業(yè)也視為違約企業(yè)，因此我們實際獲得的數(shù)據包含了2005年到2011年間相關信息。在剔除含有異常值和缺失值的觀測對象后，我們實際獲得525個樣本對象，其中，符合本文定義的“違約”含義的個體為43個。我們將全部樣本數(shù)據分為兩部分，一部分涵蓋了2005年到2009年的時間范圍，作為樣本內數(shù)據，用來實現(xiàn)模型的分析；另一部分取2010年到2011年的樣本信息，視為樣本外數(shù)據，用來檢驗模型的樣本外預測能力。

3.2 信用評級模型構建

根據該銀行進行內部信用評級所選用的財務比率的特點，全部財務指標可以分為四大類（表2）：償債能力狀況比率，財務效益比率，資產營運狀況比率和發(fā)展能力比率。

表2 模型選用財務比率

■

為了比較不同檢驗方法在模型選擇上所發(fā)揮的作用，我們借鑒鄭大川（2010）[8]的做法，分別建立含有隨機效應和不含有隨機效應的二值響應面板數(shù)據模型。因變量Y取值為“0”和“1”，其中“0”表示履約企業(yè)，“1”表示違約企業(yè)。經過GLLAMM程序對樣本內數(shù)據進行后向逐步回歸變量選擇后，最終確定模型變量為資產負債率，資本積累率，凈資產收益率，流動資產周轉率，主營業(yè)務現(xiàn)金比率，速動比率，流動比率。經過參數(shù)估計，最終得到模型參數(shù)的估計結果（表3）：

表3 違約預測模型參數(shù)估計結果

■

3.3 兩種違約預測檢驗方法的結果

本文采用傳統(tǒng)的“50%”臨界點檢驗和ROC動態(tài)檢驗對兩個預測模型分別進行檢驗。通過對檢驗結果的不同表現(xiàn)進行深入分析，試圖說明新方法在模型檢驗和模型優(yōu)劣性選擇上所具有的優(yōu)勢。

我們采用傳統(tǒng)檢驗方法，得到并歸納預測結果分析如下（表4）：

Ⅰ類錯誤和Ⅱ類錯誤是衡量二值模型預測能力的兩個重要指標，在這里它們用來衡量模型預測誤差的傾向性。在違約概率預測中，Ⅰ類錯誤過大反映模型容易錯誤地將違約企業(yè)視為正常企業(yè)而進行授信工作，從而給銀行帶來更大的信用風險；Ⅱ類錯誤過大則表示銀行傾向

保守，容易將實際正常企業(yè)視為違約企業(yè)，而拒絕貸款發(fā)放，從而使得銀行利潤減少，從某種意義上來說，這也是一種風險。銀行進行貸款發(fā)放時，需要綜合考量兩類錯誤。

我們同時采用ROC動態(tài)檢驗方法對模型預測結果進行準確性檢驗。經過計算，三條ROC曲線分別如圖2。

為了更清楚地比較不同樣本范圍下兩個模型進行ROC動態(tài)檢驗的結果，我們將ROC面積整理如下（表5）：

表5 兩個模型在不同樣本區(qū)間的AUC值

■

3.4 兩種檢驗方法結果的分析

從實證結果來看，在傳統(tǒng)的檢驗方法下，兩個模型的優(yōu)劣性在不同的指標上出現(xiàn)了相互矛盾的地方。表4顯示，在正確率和Ⅱ類錯誤指標下，含有隨機效應的模型在各個樣本區(qū)間都優(yōu)于不含隨機效應的模型。但是，在Ⅰ類錯誤率指標下，含有隨機效應的模型則呈現(xiàn)了相反的結果。結果顯示，樣本內區(qū)間上，含隨機效應的模型Ⅰ類錯誤率是0.631，不含隨機效應的模型則是0.737，含隨機效應的模型要優(yōu)于不含隨機效應的模型。然而，在樣本外區(qū)間和樣本總體區(qū)間上，我們看到含有隨機效應的模型Ⅰ類錯誤率分別為0.875和0.704，均高于不含隨機效應的模型。這就表明，在Ⅰ類錯誤率這個指標上含有隨機效應的模型反而不如不含隨機效應的模型。

我們看到，ROC動態(tài)檢驗和傳統(tǒng)“50%”臨界點檢驗方法最大區(qū)別在于其所具備的全局性。傳統(tǒng)方法以“50%”作為是否違約的判斷依據，而ROC動態(tài)檢驗則是以出現(xiàn)的每個違約概率為依據進行ROC曲線的刻畫。因此，ROC檢驗方法更能從整體上對模型的優(yōu)劣進行判斷。我們從圖2可以清楚地看到，代表含隨機效應模型的ROC面積均大于不含隨機效應模型的ROC面積。表5的結果也清晰地印證了同樣的結論。在三個樣本區(qū)間中，含隨機效應模型的ROC面積分別是0.7778、0.8316、0.7946，均大于不含隨機效應模型的ROC面積。

ROC曲線坐標軸的左側是以較低的違約概率為依據的判斷標準，右側則表示較高違約概率為依據的判斷標準。這說明曲線左側表示更寬松的判斷標準，樣本對象即使出現(xiàn)較高的違約概率，在分析中也被作為“履約”狀態(tài)。而曲線右側對應著更嚴格的判斷標準，樣本對象即使是較低的違約概率也有可能被判定為“違約”狀態(tài)。

從定義我們可以得知，HR（C）其實是Ⅰ類錯誤率的補數(shù)，即HR（C）=1-1。FAR（C）則等同于Ⅱ類錯誤率。圖2的結果顯示，在大多數(shù)情況下，在相同的FAR（C）下，含隨機效應模型的HR（C）都高于不含隨機效應的模型。這就是說，大多數(shù)情況下，若Ⅱ類錯誤率相同，含隨機效應模型的Ⅰ類錯誤率都低于不含隨機效應的模型。然而，我們發(fā)現(xiàn)無論何種樣本區(qū)間，當曲線采取更嚴格的判斷標準的時候，同樣的Ⅱ類錯誤率下，含隨機效應模型的Ⅰ類錯誤率將高于不含隨機效應的模型。同時，在極端寬松的判斷標準下，也將出現(xiàn)同樣的情況。

圖2還顯示，在違約概率取值中段，取同樣的Ⅱ類錯誤率，兩種模型的差距最大；或者說在違約概率取值中段，取同樣的Ⅰ類錯誤率，兩種模型的Ⅱ類錯誤率差距最大。而越接近違約概率取值兩端，兩種模型的錯誤率差距越小。這說明在違約概率取值中段，所取的判斷標準對兩個模型的辨識能力最強。判斷標準越接近極端情況，ROC曲線對模型的辨識能力將逐漸削弱。但是需要注意的是，辨識能力最強的判斷標準顯然并不恰好是“50%”。

4 總結

傳統(tǒng)的“50%”臨界點檢驗通過計算出正確率、Ⅰ類錯誤率、Ⅱ類錯誤率三個指標來判斷出信用評級模型的預測能力。但是這一方法卻存在著不足和缺陷。“49.999%”和“50.001%”的兩個違約概率實際差別幾乎可以忽略不計，但是卻代表了“履約”和“違約”兩種截然不同的結果。在對兩個或若干個違約預測模型進行辨別選擇時，“50%”的檢驗標準往往不是最具識別能力的。這樣，傳統(tǒng)的檢驗方法在模型識別時，往往出現(xiàn)錯誤的選擇。同時，在單一的“50%”判斷標準下，正確率、Ⅰ類錯誤率、Ⅱ類錯誤率也表現(xiàn)出了片面性和機械性。而且三個指標可能出現(xiàn)相互矛盾的結果，影響我們對模型選擇做出正確的判斷。

本文討論的ROC動態(tài)檢驗方法正好克服了傳統(tǒng)方法的不足，從整體上對模型預測能力進行檢驗。ROC面積包含了所有出現(xiàn)的違約概率情況，是進行模型選擇的重要標準。這樣就避免了指標值之間相互矛盾的情況。

ROC曲線縱軸和橫軸坐標分別代表著命中率HR（C）和錯報率FAR（C）。這就意味著通過ROC曲線可以得到不同違約概率作為判斷標準時，模型所對應的Ⅰ類錯誤率和Ⅱ類錯誤率。這樣，對Ⅰ類錯誤率和Ⅱ類錯誤率的判斷再也不是機械不變的。同時，決策人能夠根據自己對Ⅰ類錯誤率和Ⅱ類錯誤率的偏好，選擇或寬松、或嚴格的判斷標準。同時，從動態(tài)上對這兩個指標進行考量，使得模型的檢驗選擇工作更加全面合理。

ROC動態(tài)檢驗方法還有一個重要的好處。在同一坐標系上出現(xiàn)的不同模型的ROC曲線，其曲線間的間距實際上代表著不同模型的對“違約”和“履約”的識別能力的差別。通過觀察ROC曲線圖，我們就能快速準確地判斷出更具識別能力的違約預測模型。同時，我們也能更便捷地選擇更能夠對模型進行識別的判斷標準。

注釋：

①在國內外大多數(shù)文獻中，學者們以概率值50%作為判斷是否違約的標準。當違約概率大于0.5的時候，通常判斷為貸款客戶有潛在違約可能性；當違約概率小于0.5時，一般判斷為貸款客戶不存在違約可能性。

②這里我們對Sobehart和Keenan（2001）的表示方法略做修改，用hit、miss、false、correct分別代表實際違約而判定違約，實際違約而判定履約，實際履約而判定違約，實際履約而判定履約四種情況。

③該銀行對貸款客戶企業(yè)規(guī)模大小和行業(yè)分類的劃分標準是在國家2003年頒布的《國家經濟貿易委員會、國家發(fā)展計劃委員

會、財政部、國家統(tǒng)計局關于印發(fā)中企業(yè)標準暫行規(guī)定的通知》和

1988年頒布的《大中小型工業(yè)企業(yè)劃分標準》的基礎上進行調整后制定的。

參考文獻：

[1]International Convergence of Capital Measurement and Capital Standards-A Revised Framework （comprehensive version -June 2006）[R]，P109.

[2]鄒亞寶，梁紅漫.基于logistic回歸的我國上市公司信用評級模型研究[J].西南金融，2013（3）.

[3]藍潤榮，程?？?基于改進RBF神經網絡的銀行個人信用評級[J].中國科學院研究生院學報，2013（3）.

[4]楊蓬勃，張成虎，張湘.基于Logistic回歸分析的上市公司信貸違約概率預測模型研[J].經濟經緯，2009（2）.

[5]石曉軍，張長彬，程鋮.Logistic違約模型最佳分界點的確定方法與實證[J].金融監(jiān)管研究，2012（2）.

[6]程建，連玉君.信用評分系統(tǒng)的建模及其驗證研究[J].國際金融研究，2007（6）.

[7]Sobehart，Jorge R.and Sean C.Keenan：Measuring default accurately，Risk Magazine，2001（March）：31-33.

[8]鄭大川.商業(yè)銀行內部評級法的違約概率預測新方法——含隨機效應的二值響應面板數(shù)據模型[J].金融論壇，2010（9）.

基金項目：

福建省自然科學基金項目（2012J05131）。

福建省社科基金一般項目編號（2012B022）。

作者簡介：

鄭大川（1977-），男，福建莆田人，講師，數(shù)量經濟學博士，閩江學院海峽學院，研究方向：應用數(shù)量經濟學。