胡東紅+杜光海+賀偉+毛守備

摘 要：介紹了Windows最復(fù)雜的內(nèi)核對(duì)象IOCP（I/O Completion Port 輸入/輸出完成端口）的基本原理。利用完成端口機(jī)制，應(yīng)用程序能夠?yàn)閿?shù)百上千的用戶服務(wù)。文章通過完成端口對(duì)象指定一定數(shù)量的線程，對(duì)重疊I/O請(qǐng)求進(jìn)行管理，從而為已完成的重疊I/O請(qǐng)求提供服務(wù)。通過該模型編寫的網(wǎng)絡(luò)服務(wù)應(yīng)用程序可以達(dá)到較好的性能。

關(guān)鍵詞：完成端口；異步I/O；線程池；應(yīng)用程序

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2014）03-0060-03

0 引 言

與計(jì)算機(jī)執(zhí)行的大多數(shù)其他操作相比，設(shè)備I/O是其中最慢、最不可預(yù)測(cè)的操作之一[1]。比如CPU從硬盤文件中讀寫、網(wǎng)絡(luò)讀取數(shù)據(jù)等，每一線程要等待I/O操作完成再執(zhí)行后續(xù)的代碼。讓太多或者太少的服務(wù)器線程來處理線程，都可能會(huì)導(dǎo)致性能問題[2]。使用異步設(shè)備I/O可以將請(qǐng)求交給設(shè)備的驅(qū)動(dòng)程序去處理，應(yīng)用程序的線程可以執(zhí)行其他有用的任務(wù)。這樣可以更好地使用資源并創(chuàng)建出更高效的應(yīng)用程序。

但是，隨著客戶端請(qǐng)求、退出的增加，會(huì)有許多的并發(fā)線程并發(fā)執(zhí)行。由于這些線程都是可運(yùn)行狀態(tài)，Windows內(nèi)核會(huì)浪費(fèi)太多時(shí)間來進(jìn)行活動(dòng)線程的上下文切換，如不斷新建和銷毀線程。Windows提供了I/O完成端口機(jī)制可以很好地解決上述問題。

1 IOCP模型

當(dāng)我們創(chuàng)建一個(gè)I/O完成端口的時(shí)候，系統(tǒng)內(nèi)核實(shí)際上會(huì)創(chuàng)建5個(gè)不同數(shù)據(jù)結(jié)構(gòu)。完成端口會(huì)將客戶請(qǐng)求加入到一個(gè)公共的消息隊(duì)列中，然后應(yīng)用程序會(huì)創(chuàng)建一個(gè)線程池來處理客戶的請(qǐng)求。當(dāng)設(shè)備與I/O完成端口相關(guān)聯(lián)后，系統(tǒng)會(huì)檢查是否有與設(shè)備相關(guān)的一個(gè)I/O端口，若有則會(huì)將已完成的I/O請(qǐng)求追加到消息隊(duì)列，并調(diào)用相關(guān)的工作線程來處理這個(gè)請(qǐng)求。當(dāng)這個(gè)請(qǐng)求被處理完后，系統(tǒng)會(huì)通過一種機(jī)制通知客戶，客戶只需要取處理好的數(shù)據(jù)即可。圖1所示是一個(gè)完成端口模型的結(jié)構(gòu)示意圖。

2 IOCP模型的使用

在實(shí)現(xiàn)異步通信機(jī)制的時(shí)候，一般要用到一個(gè)核心數(shù)據(jù)結(jié)構(gòu)重疊（OVERLAPPED）結(jié)構(gòu)。OVERLAPPED結(jié)構(gòu)定義如下：

typedef struct _OVERLAPPED

{

DWORD Internal；//[out] 保存已處理的I/O請(qǐng)求的錯(cuò)誤碼

DWORD InternalHigh；//[out] 異步I/O完成保存已傳輸?shù)淖止?jié)數(shù)

DWORD Offset；//[int] 文件傳送的字節(jié)偏移量的低位字

DWORD OffsetHigh；//[int] 文件傳送的字節(jié)偏移量的高位字

HANDLE hEvent；//[in] 指定一個(gè)I/O操作完成后觸發(fā)的事件

}OVERLAPPED，*LPOVERLAPPED；

OVERLAPPED結(jié)構(gòu)執(zhí)行兩個(gè)重要的功能：第一，它像一把鑰匙，用以識(shí)別每一個(gè)目前正在進(jìn)行的overlapped操作，比如在網(wǎng)絡(luò)發(fā)送和接收數(shù)據(jù)時(shí)，都會(huì)用到WSASend（）和WSARecv（）函數(shù)，參數(shù)里面都會(huì)附帶一個(gè)重疊結(jié)構(gòu)，這個(gè)重疊結(jié)構(gòu)我們可以理解為一個(gè)網(wǎng)絡(luò)操作的ID號(hào)，通過這個(gè)ID號(hào)就可以區(qū)分是對(duì)哪個(gè)網(wǎng)絡(luò)進(jìn)行操作了；第二，它在你和系統(tǒng)之間提供了一個(gè)共享區(qū)域，參數(shù)可以在該區(qū)域中雙向傳遞。

圖1 完成端口模型

2.1 創(chuàng)建I/O完成端口

在使用這種模型之前，首先要?jiǎng)?chuàng)建一個(gè)I/O完成端口對(duì)象，用它面向任意數(shù)量的設(shè)備句柄，管理多個(gè)I/O請(qǐng)求，需要調(diào)用CreateIoCompletionPort（）函數(shù)，該函數(shù)定義如下：

HANDLE WINAPI CreateIoCompletionPort（

_in HANDLE FileHandle，

_in_opt HANDLE ExistingCompletionPort，

_in ULONG_PTR CompletionKey，

_in DWORD NumberOfConcurrentThreads

）；

該函數(shù)用于創(chuàng)建一個(gè)完成端口對(duì)象和將一個(gè)句柄同完成端口關(guān)聯(lián)在一起。在創(chuàng)建一個(gè)完成端口時(shí)，前三個(gè)參數(shù)都會(huì)忽略，NumberOfConcurrentThreads參數(shù)指定允許有多少線程處于可運(yùn)行狀態(tài)。通常給NumberOfConcurrentThreads參數(shù)設(shè)為0，那么I/O完成端口會(huì)使用默認(rèn)值，也就是允許并發(fā)執(zhí)行的線程數(shù)量等于主機(jī)的CPU數(shù)量，避免額外的上下文切換。代碼如下：

hIOCP=CreateIoCompletionPort（INVALID_HANDLE_VALUE，NULL，0，0）；

2.2 工作者線程和完成端口

成功創(chuàng)建一個(gè)完成端口后，便可開始將套接字句柄和對(duì)象關(guān)聯(lián)到一起。但是在關(guān)聯(lián)套接字之前，必須創(chuàng)建一個(gè)或多個(gè)工作者線程，以便在I/O請(qǐng)求投遞完成端口對(duì)象后，為完成端口提供服務(wù)。應(yīng)該創(chuàng)建多少個(gè)線程？在此要記住一個(gè)重點(diǎn)，在調(diào)用CreateIoCompletionPort時(shí)指定的并發(fā)線程數(shù)量，與打算創(chuàng)建的線程池線程數(shù)量是有區(qū)別的。假如在完成端口上創(chuàng)建的工作者線程數(shù)量超過指定并發(fā)執(zhí)行的線性數(shù)量（這里設(shè)為n個(gè)），那么系統(tǒng)最多只允許n個(gè)線程運(yùn)行。因?yàn)槲覀冸S時(shí)都能執(zhí)行更多的線程，比如調(diào)用了函數(shù)Sleep或WaitForSingleObject使其處于暫停狀態(tài)，就要用另外線程代替。為了充分發(fā)揮系統(tǒng)性能，一般設(shè)置為CPU的數(shù)量乘以2。

2.3 完成端口與重疊I/O

創(chuàng)建好工作者線程后，調(diào)用GetQueuedCompletionStatus（）函數(shù)讓句柄和完成端口相關(guān)聯(lián)起來，進(jìn)行I/O請(qǐng)求處理。它將調(diào)用線程切換到睡眠狀態(tài)，直到指定的完成端口的隊(duì)列中出現(xiàn)該請(qǐng)求。如以套接字句柄為基礎(chǔ)，投遞數(shù)據(jù)發(fā)送和接收請(qǐng)求，會(huì)掃描完成端口的隊(duì)列里是否有網(wǎng)絡(luò)通信的請(qǐng)求存在（如讀取數(shù)據(jù)、發(fā)送數(shù)據(jù)等），一旦發(fā)現(xiàn)消息隊(duì)列中出現(xiàn)一項(xiàng)的時(shí)候，該完成端口會(huì)喚醒線性池中的一個(gè)線程。這個(gè)線程會(huì)得到已完成I/O項(xiàng)中的所有信息：

已傳輸?shù)淖止?jié)數(shù)、完成鍵以及OVERLAPPED結(jié)構(gòu)的地址。GetQueuedCompletionStatus（）函數(shù)定義如下：

BOOL GetQueuedCompletionStatus（

HANDLE CompletionPort， //指定的IOCP，該值由CreateIoCompletionPort函數(shù)創(chuàng)建

LPDWORD lpNumberOfBytes， //一次完成后的I/O操作所傳送數(shù)據(jù)的字節(jié)數(shù)

PULONG_PTR lpCompletionKey，//當(dāng)文件I/O操作完成后，用于存放與之關(guān)聯(lián)的CK（套接字信息結(jié)構(gòu)體指針）

LPOVERLAPPED *lpOverlapped，//為調(diào)用IOCP機(jī)制所引用的OVERLAPPED結(jié)構(gòu)

DWORD dwMilliseconds，//用于指定調(diào)用者等待CP的時(shí)間

）；

當(dāng)一個(gè)工作者線程從GetQueuedCompletionStatus調(diào)用中接收到I/O完成通知后，在lpCompletion和lpOverlapped參數(shù)中，會(huì)包含一些必要的套接字信息。利用這些信息，可通過完成端口，繼續(xù)在一個(gè)套接字上進(jìn)行I/O處理。通過這些參數(shù)，可獲得兩種重要的套接字?jǐn)?shù)據(jù)類型：?jiǎn)尉浔鷶?shù)據(jù)以及單I/O操作數(shù)據(jù)。單I/O操作數(shù)據(jù)是CompletionKey（完成鍵）參數(shù)標(biāo)識(shí)的是某個(gè)特定的套接字句柄數(shù)據(jù)，相當(dāng)于用一個(gè)標(biāo)志來綁定每一個(gè)I/O操作，這樣收到網(wǎng)絡(luò)操作完成的通知后，可以通過這個(gè)標(biāo)志來找出返回的數(shù)據(jù)對(duì)應(yīng)的I/O操作。該標(biāo)志可以定義如下：

typedef struct _PER_IO_CONTEXT{

OVERLAPPED m_Overlapped； // 每一個(gè)重疊I/O

網(wǎng)絡(luò)操作都要有一個(gè)

SOCKET m_sockAccept； // 這個(gè)I/O操作所使用的

Socket，每個(gè)連接的都是一樣的

WSABUF m_wsaBuf； //存儲(chǔ)數(shù)據(jù)的緩沖區(qū)，用來給

重疊操作傳遞參數(shù)的

char m_szBuffer[MAX_BUFFER_LEN]； // 對(duì)應(yīng)

WSABUF里的緩沖區(qū)

OPERATION_TYPE m_OpType； // 標(biāo)志這個(gè)重疊I/

O操作是做什么的，例如Accept/Recv等

} PER_IO_CONTEXT， *PPER_IO_CONTEXT；

該結(jié)構(gòu)關(guān)聯(lián)了與I/O操作的某些重要數(shù)據(jù)元素，例如完成I/O操作發(fā)送或接受請(qǐng)求的類型m_OpType。每一個(gè)I/O操作對(duì)應(yīng)了響應(yīng)的PER_IO_CONTEXT，我們還要定義單句柄數(shù)據(jù)來管理句柄上的所有I/O請(qǐng)求，如在Socket上投遞了多個(gè)AcceptEx請(qǐng)求，該結(jié)構(gòu)定義如下：

typedef struct _PER_SOCKET_CONTEXT{

SOCKET m_Socket；// 每一個(gè)客戶端連接的Socket

SOCKADDR_IN m_ClientAddr；// 這個(gè)客戶端的地址

CArray<_PER_IO_CONTEXT*> m_arrayIoContext； // 數(shù)組，所有客戶端IO操作的參數(shù)，也就是說對(duì)于每一個(gè)客戶端Socket是可以在上面同時(shí)投遞多個(gè)IO請(qǐng)求的

} PER_SOCKET_CONTEXT， *PPER_SOCKET_CONTEXT；

2.4 關(guān)閉IOCP

調(diào)用PostQueuedCompletionStatus函數(shù)，向每個(gè)工作者線程都發(fā)送一個(gè)特殊的完成數(shù)據(jù)包?？梢詥拘涯切┻€在等待完成端口但又沒有已完成的I/O請(qǐng)求，每個(gè)線程會(huì)對(duì)GetQueuedCompletionStatus的返回值進(jìn)行檢查，如果發(fā)現(xiàn)應(yīng)用程序正在終止，那么它就可以進(jìn)行清理工作并正常的退出。

3 IOCP程序流程

該程序調(diào)用高性能特性的AcceptEx函數(shù)用來完成端口異步，取消了阻塞方式的Accept調(diào)用。我們知道，AcceptEx是在客戶端連入之前就把客戶端的Socket建立好了，而不需要像Accept那樣在客戶端連入之后，再去時(shí)間去建立Socket。系統(tǒng)創(chuàng)建一個(gè)Socket的開銷是相當(dāng)高了，用Accept的話，系統(tǒng)可能來不及為更多的并發(fā)客戶端現(xiàn)場(chǎng)準(zhǔn)備Socket。另外，相比Accept只能阻塞方式建立一個(gè)連入接口，而AcceptEx可以同時(shí)在完成端口上投遞多個(gè)請(qǐng)求。圖2所示是其程序的整體流程圖。

4 結(jié) 語(yǔ)

采用I/O完成端口編寫的服務(wù)應(yīng)用程序，經(jīng)過Process Explorer測(cè)試發(fā)現(xiàn)當(dāng)服務(wù)器收到3 000個(gè)并發(fā)線程的時(shí)候CPU占有率約為4%，而采用了多個(gè)并發(fā)線程的客戶端程序CPU占有率約為12%。所以，如果預(yù)計(jì)到自己的服務(wù)器在任何給定的時(shí)間，都會(huì)為大量I/O請(qǐng)求提供服務(wù)，便應(yīng)考慮使用I/O完成端口模型，從而獲得更好的性能。但是在編寫基于完成端口的服務(wù)應(yīng)用程序時(shí)，還應(yīng)注意重疊操作可確保按照應(yīng)用程序安排好的順序執(zhí)行。然而，不能確保從完成端口返回的完成通知也按照上述順序執(zhí)行。在對(duì)數(shù)據(jù)包有要求的時(shí)候，比如傳送大數(shù)據(jù)的時(shí)候，要注意這個(gè)順序。

參 考 文 獻(xiàn)

[1] RICHTER J，NASARRE C. Windows 核心編程[M].Fifth Edition，葛子敖，周靖，等，譯.北京：清華大學(xué)出版社，2008.

[2] BEVERIDGE J，WIENER R.Wind32多線程程序設(shè)計(jì)[M].侯捷，譯.武漢：華中科技大學(xué)出版社，2006.

[3] ANTHONY Jones， JIM Ohlund. Network programming for Microsoft Windows [M]. 北京： 清華大學(xué)出版社，2002.

[4] 周鵬，黃燦，江楠. 完成端口模型的使用與分析[J]. 軟件， 2012（2）： 37-38.

[5] 林延君. 局域網(wǎng)企業(yè)信息安全系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 大連：大連理工大學(xué)，2006.

已傳輸?shù)淖止?jié)數(shù)、完成鍵以及OVERLAPPED結(jié)構(gòu)的地址。GetQueuedCompletionStatus（）函數(shù)定義如下：

BOOL GetQueuedCompletionStatus（

HANDLE CompletionPort， //指定的IOCP，該值由CreateIoCompletionPort函數(shù)創(chuàng)建

LPDWORD lpNumberOfBytes， //一次完成后的I/O操作所傳送數(shù)據(jù)的字節(jié)數(shù)

PULONG_PTR lpCompletionKey，//當(dāng)文件I/O操作完成后，用于存放與之關(guān)聯(lián)的CK（套接字信息結(jié)構(gòu)體指針）

LPOVERLAPPED *lpOverlapped，//為調(diào)用IOCP機(jī)制所引用的OVERLAPPED結(jié)構(gòu)

DWORD dwMilliseconds，//用于指定調(diào)用者等待CP的時(shí)間

）；

當(dāng)一個(gè)工作者線程從GetQueuedCompletionStatus調(diào)用中接收到I/O完成通知后，在lpCompletion和lpOverlapped參數(shù)中，會(huì)包含一些必要的套接字信息。利用這些信息，可通過完成端口，繼續(xù)在一個(gè)套接字上進(jìn)行I/O處理。通過這些參數(shù)，可獲得兩種重要的套接字?jǐn)?shù)據(jù)類型：?jiǎn)尉浔鷶?shù)據(jù)以及單I/O操作數(shù)據(jù)。單I/O操作數(shù)據(jù)是CompletionKey（完成鍵）參數(shù)標(biāo)識(shí)的是某個(gè)特定的套接字句柄數(shù)據(jù)，相當(dāng)于用一個(gè)標(biāo)志來綁定每一個(gè)I/O操作，這樣收到網(wǎng)絡(luò)操作完成的通知后，可以通過這個(gè)標(biāo)志來找出返回的數(shù)據(jù)對(duì)應(yīng)的I/O操作。該標(biāo)志可以定義如下：

typedef struct _PER_IO_CONTEXT{

OVERLAPPED m_Overlapped； // 每一個(gè)重疊I/O

網(wǎng)絡(luò)操作都要有一個(gè)

SOCKET m_sockAccept； // 這個(gè)I/O操作所使用的

Socket，每個(gè)連接的都是一樣的

WSABUF m_wsaBuf； //存儲(chǔ)數(shù)據(jù)的緩沖區(qū)，用來給

重疊操作傳遞參數(shù)的

char m_szBuffer[MAX_BUFFER_LEN]； // 對(duì)應(yīng)

WSABUF里的緩沖區(qū)

OPERATION_TYPE m_OpType； // 標(biāo)志這個(gè)重疊I/

O操作是做什么的，例如Accept/Recv等

} PER_IO_CONTEXT， *PPER_IO_CONTEXT；

該結(jié)構(gòu)關(guān)聯(lián)了與I/O操作的某些重要數(shù)據(jù)元素，例如完成I/O操作發(fā)送或接受請(qǐng)求的類型m_OpType。每一個(gè)I/O操作對(duì)應(yīng)了響應(yīng)的PER_IO_CONTEXT，我們還要定義單句柄數(shù)據(jù)來管理句柄上的所有I/O請(qǐng)求，如在Socket上投遞了多個(gè)AcceptEx請(qǐng)求，該結(jié)構(gòu)定義如下：

typedef struct _PER_SOCKET_CONTEXT{

SOCKET m_Socket；// 每一個(gè)客戶端連接的Socket

SOCKADDR_IN m_ClientAddr；// 這個(gè)客戶端的地址

CArray<_PER_IO_CONTEXT*> m_arrayIoContext； // 數(shù)組，所有客戶端IO操作的參數(shù)，也就是說對(duì)于每一個(gè)客戶端Socket是可以在上面同時(shí)投遞多個(gè)IO請(qǐng)求的

} PER_SOCKET_CONTEXT， *PPER_SOCKET_CONTEXT；

2.4 關(guān)閉IOCP

調(diào)用PostQueuedCompletionStatus函數(shù)，向每個(gè)工作者線程都發(fā)送一個(gè)特殊的完成數(shù)據(jù)包。可以喚醒那些還在等待完成端口但又沒有已完成的I/O請(qǐng)求，每個(gè)線程會(huì)對(duì)GetQueuedCompletionStatus的返回值進(jìn)行檢查，如果發(fā)現(xiàn)應(yīng)用程序正在終止，那么它就可以進(jìn)行清理工作并正常的退出。

3 IOCP程序流程

該程序調(diào)用高性能特性的AcceptEx函數(shù)用來完成端口異步，取消了阻塞方式的Accept調(diào)用。我們知道，AcceptEx是在客戶端連入之前就把客戶端的Socket建立好了，而不需要像Accept那樣在客戶端連入之后，再去時(shí)間去建立Socket。系統(tǒng)創(chuàng)建一個(gè)Socket的開銷是相當(dāng)高了，用Accept的話，系統(tǒng)可能來不及為更多的并發(fā)客戶端現(xiàn)場(chǎng)準(zhǔn)備Socket。另外，相比Accept只能阻塞方式建立一個(gè)連入接口，而AcceptEx可以同時(shí)在完成端口上投遞多個(gè)請(qǐng)求。圖2所示是其程序的整體流程圖。

4 結(jié) 語(yǔ)

采用I/O完成端口編寫的服務(wù)應(yīng)用程序，經(jīng)過Process Explorer測(cè)試發(fā)現(xiàn)當(dāng)服務(wù)器收到3 000個(gè)并發(fā)線程的時(shí)候CPU占有率約為4%，而采用了多個(gè)并發(fā)線程的客戶端程序CPU占有率約為12%。所以，如果預(yù)計(jì)到自己的服務(wù)器在任何給定的時(shí)間，都會(huì)為大量I/O請(qǐng)求提供服務(wù)，便應(yīng)考慮使用I/O完成端口模型，從而獲得更好的性能。但是在編寫基于完成端口的服務(wù)應(yīng)用程序時(shí)，還應(yīng)注意重疊操作可確保按照應(yīng)用程序安排好的順序執(zhí)行。然而，不能確保從完成端口返回的完成通知也按照上述順序執(zhí)行。在對(duì)數(shù)據(jù)包有要求的時(shí)候，比如傳送大數(shù)據(jù)的時(shí)候，要注意這個(gè)順序。

參 考 文 獻(xiàn)

[1] RICHTER J，NASARRE C. Windows 核心編程[M].Fifth Edition，葛子敖，周靖，等，譯.北京：清華大學(xué)出版社，2008.

[2] BEVERIDGE J，WIENER R.Wind32多線程程序設(shè)計(jì)[M].侯捷，譯.武漢：華中科技大學(xué)出版社，2006.

[3] ANTHONY Jones， JIM Ohlund. Network programming for Microsoft Windows [M]. 北京： 清華大學(xué)出版社，2002.

[4] 周鵬，黃燦，江楠. 完成端口模型的使用與分析[J]. 軟件， 2012（2）： 37-38.

[5] 林延君. 局域網(wǎng)企業(yè)信息安全系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 大連：大連理工大學(xué)，2006.

已傳輸?shù)淖止?jié)數(shù)、完成鍵以及OVERLAPPED結(jié)構(gòu)的地址。GetQueuedCompletionStatus（）函數(shù)定義如下：

BOOL GetQueuedCompletionStatus（

HANDLE CompletionPort， //指定的IOCP，該值由CreateIoCompletionPort函數(shù)創(chuàng)建

LPDWORD lpNumberOfBytes， //一次完成后的I/O操作所傳送數(shù)據(jù)的字節(jié)數(shù)

PULONG_PTR lpCompletionKey，//當(dāng)文件I/O操作完成后，用于存放與之關(guān)聯(lián)的CK（套接字信息結(jié)構(gòu)體指針）

LPOVERLAPPED *lpOverlapped，//為調(diào)用IOCP機(jī)制所引用的OVERLAPPED結(jié)構(gòu)

DWORD dwMilliseconds，//用于指定調(diào)用者等待CP的時(shí)間

）；

當(dāng)一個(gè)工作者線程從GetQueuedCompletionStatus調(diào)用中接收到I/O完成通知后，在lpCompletion和lpOverlapped參數(shù)中，會(huì)包含一些必要的套接字信息。利用這些信息，可通過完成端口，繼續(xù)在一個(gè)套接字上進(jìn)行I/O處理。通過這些參數(shù)，可獲得兩種重要的套接字?jǐn)?shù)據(jù)類型：?jiǎn)尉浔鷶?shù)據(jù)以及單I/O操作數(shù)據(jù)。單I/O操作數(shù)據(jù)是CompletionKey（完成鍵）參數(shù)標(biāo)識(shí)的是某個(gè)特定的套接字句柄數(shù)據(jù)，相當(dāng)于用一個(gè)標(biāo)志來綁定每一個(gè)I/O操作，這樣收到網(wǎng)絡(luò)操作完成的通知后，可以通過這個(gè)標(biāo)志來找出返回的數(shù)據(jù)對(duì)應(yīng)的I/O操作。該標(biāo)志可以定義如下：

typedef struct _PER_IO_CONTEXT{

OVERLAPPED m_Overlapped； // 每一個(gè)重疊I/O

網(wǎng)絡(luò)操作都要有一個(gè)

SOCKET m_sockAccept； // 這個(gè)I/O操作所使用的

Socket，每個(gè)連接的都是一樣的

WSABUF m_wsaBuf； //存儲(chǔ)數(shù)據(jù)的緩沖區(qū)，用來給

重疊操作傳遞參數(shù)的

char m_szBuffer[MAX_BUFFER_LEN]； // 對(duì)應(yīng)

WSABUF里的緩沖區(qū)

OPERATION_TYPE m_OpType； // 標(biāo)志這個(gè)重疊I/

O操作是做什么的，例如Accept/Recv等

} PER_IO_CONTEXT， *PPER_IO_CONTEXT；

該結(jié)構(gòu)關(guān)聯(lián)了與I/O操作的某些重要數(shù)據(jù)元素，例如完成I/O操作發(fā)送或接受請(qǐng)求的類型m_OpType。每一個(gè)I/O操作對(duì)應(yīng)了響應(yīng)的PER_IO_CONTEXT，我們還要定義單句柄數(shù)據(jù)來管理句柄上的所有I/O請(qǐng)求，如在Socket上投遞了多個(gè)AcceptEx請(qǐng)求，該結(jié)構(gòu)定義如下：

typedef struct _PER_SOCKET_CONTEXT{

SOCKET m_Socket；// 每一個(gè)客戶端連接的Socket

SOCKADDR_IN m_ClientAddr；// 這個(gè)客戶端的地址

CArray<_PER_IO_CONTEXT*> m_arrayIoContext； // 數(shù)組，所有客戶端IO操作的參數(shù)，也就是說對(duì)于每一個(gè)客戶端Socket是可以在上面同時(shí)投遞多個(gè)IO請(qǐng)求的

} PER_SOCKET_CONTEXT， *PPER_SOCKET_CONTEXT；

2.4 關(guān)閉IOCP

調(diào)用PostQueuedCompletionStatus函數(shù)，向每個(gè)工作者線程都發(fā)送一個(gè)特殊的完成數(shù)據(jù)包?？梢詥拘涯切┻€在等待完成端口但又沒有已完成的I/O請(qǐng)求，每個(gè)線程會(huì)對(duì)GetQueuedCompletionStatus的返回值進(jìn)行檢查，如果發(fā)現(xiàn)應(yīng)用程序正在終止，那么它就可以進(jìn)行清理工作并正常的退出。

3 IOCP程序流程

該程序調(diào)用高性能特性的AcceptEx函數(shù)用來完成端口異步，取消了阻塞方式的Accept調(diào)用。我們知道，AcceptEx是在客戶端連入之前就把客戶端的Socket建立好了，而不需要像Accept那樣在客戶端連入之后，再去時(shí)間去建立Socket。系統(tǒng)創(chuàng)建一個(gè)Socket的開銷是相當(dāng)高了，用Accept的話，系統(tǒng)可能來不及為更多的并發(fā)客戶端現(xiàn)場(chǎng)準(zhǔn)備Socket。另外，相比Accept只能阻塞方式建立一個(gè)連入接口，而AcceptEx可以同時(shí)在完成端口上投遞多個(gè)請(qǐng)求。圖2所示是其程序的整體流程圖。

4 結(jié) 語(yǔ)

采用I/O完成端口編寫的服務(wù)應(yīng)用程序，經(jīng)過Process Explorer測(cè)試發(fā)現(xiàn)當(dāng)服務(wù)器收到3 000個(gè)并發(fā)線程的時(shí)候CPU占有率約為4%，而采用了多個(gè)并發(fā)線程的客戶端程序CPU占有率約為12%。所以，如果預(yù)計(jì)到自己的服務(wù)器在任何給定的時(shí)間，都會(huì)為大量I/O請(qǐng)求提供服務(wù)，便應(yīng)考慮使用I/O完成端口模型，從而獲得更好的性能。但是在編寫基于完成端口的服務(wù)應(yīng)用程序時(shí)，還應(yīng)注意重疊操作可確保按照應(yīng)用程序安排好的順序執(zhí)行。然而，不能確保從完成端口返回的完成通知也按照上述順序執(zhí)行。在對(duì)數(shù)據(jù)包有要求的時(shí)候，比如傳送大數(shù)據(jù)的時(shí)候，要注意這個(gè)順序。

參 考 文 獻(xiàn)

[1] RICHTER J，NASARRE C. Windows 核心編程[M].Fifth Edition，葛子敖，周靖，等，譯.北京：清華大學(xué)出版社，2008.

[2] BEVERIDGE J，WIENER R.Wind32多線程程序設(shè)計(jì)[M].侯捷，譯.武漢：華中科技大學(xué)出版社，2006.

[3] ANTHONY Jones， JIM Ohlund. Network programming for Microsoft Windows [M]. 北京： 清華大學(xué)出版社，2002.

[4] 周鵬，黃燦，江楠. 完成端口模型的使用與分析[J]. 軟件， 2012（2）： 37-38.

[5] 林延君. 局域網(wǎng)企業(yè)信息安全系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 大連：大連理工大學(xué)，2006.