引言：筆者單位網(wǎng)絡(luò)分業(yè)務(wù)內(nèi)網(wǎng)和外網(wǎng)，在外網(wǎng)設(shè)備上投入有限，只有一個(gè)接入路由和若干交換機(jī)。網(wǎng)絡(luò)整體架構(gòu)為網(wǎng)絡(luò)辦公區(qū)和服務(wù)器區(qū)，局域網(wǎng)辦公區(qū)就是上互聯(lián)網(wǎng)和內(nèi)部辦公使用，而服務(wù)區(qū)內(nèi)有服務(wù)器提供網(wǎng)站服務(wù)。隨著分支機(jī)構(gòu)建立和接入終端的數(shù)量增多，增加了三個(gè)VLAN。本以為一切會(huì)平滑過(guò)渡，但實(shí)際實(shí)施之后，內(nèi)部網(wǎng)站不能訪問(wèn)。本文就向大家介紹故障的排查過(guò)程。

筆者所在單位為一小型單位，網(wǎng)絡(luò)分業(yè)務(wù)內(nèi)網(wǎng)和外網(wǎng)。內(nèi)外網(wǎng)分離于去初才完成，因此在外網(wǎng)設(shè)備上投入有限，只有一個(gè)接入路由和若干交換機(jī)。網(wǎng)絡(luò)整體架構(gòu)為網(wǎng)絡(luò)辦公區(qū)和服務(wù)器區(qū)，局域網(wǎng)辦公區(qū)就是上互聯(lián)網(wǎng)和內(nèi)部辦公使用，而服務(wù)區(qū)內(nèi)有服務(wù)器提供網(wǎng)站服務(wù)；因網(wǎng)站要同時(shí)提供對(duì)內(nèi)和對(duì)外服務(wù)（如圖1）。

整個(gè)網(wǎng)絡(luò)中，路由器R1起路由互聯(lián)和NAT作用；將172.16.15網(wǎng)段的地址NAT，其中將公網(wǎng)的IP的80端口靜態(tài)轉(zhuǎn)換成172.16.15.33網(wǎng)站服務(wù)器地址的80端口，以便提供WWW服務(wù)。為便于內(nèi)部人員通過(guò)域名也能訪問(wèn)內(nèi)部網(wǎng)站，所以又在服務(wù)器區(qū)的服務(wù)器上搭建了DNS服務(wù)，只對(duì)網(wǎng)站服務(wù)www.abc.gov.cn進(jìn)行解析成172.16.15.33內(nèi)網(wǎng)地址，這樣網(wǎng)絡(luò)辦公區(qū)的人員無(wú)論訪問(wèn)互聯(lián)網(wǎng)時(shí)還是內(nèi)部網(wǎng)站都比較順利。網(wǎng)絡(luò)辦公區(qū)和服務(wù)區(qū)為同一網(wǎng)段，在以太網(wǎng)內(nèi)相互通訊不需要通過(guò)網(wǎng)關(guān)，直接通過(guò)ARP廣播即可尋找到對(duì)方，然后在二層的數(shù)據(jù)鏈接路進(jìn)行通訊。

圖1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

故障現(xiàn)象

隨著本單位分支機(jī)構(gòu)建立和接入終端的數(shù)量增多，對(duì)接入的數(shù)量（一個(gè)網(wǎng)段限制在256個(gè)）還是安全性提出了分段管理的要求，于是提出了VLAN方案，將SW1從二層交換機(jī)變成三層交換機(jī)（172.16.15.2），并在此機(jī)上增加了三個(gè)VLAN，ID 為 16（172.16.16.x）、17（172.16.17.x）、18（172.16.18.x），然后將三個(gè)網(wǎng)絡(luò)的網(wǎng)關(guān)都設(shè)在SW1上，即將網(wǎng)絡(luò)辦公室劃分為三個(gè)區(qū)，整體網(wǎng)絡(luò)架構(gòu)和原有172.16.15網(wǎng)段保持不變。

本以為一切會(huì)平滑過(guò)渡，但實(shí)際實(shí)施之后，網(wǎng)絡(luò)辦公區(qū) PC（172.16.16.2）訪 問(wèn)外網(wǎng)沒(méi)有任何問(wèn)題，內(nèi)部網(wǎng)站http://www.abc.gov.cn不能訪問(wèn)，表現(xiàn)為ping www.abc.gov.cn request Timed out 超時(shí)。考慮到Server1到網(wǎng)絡(luò)辦公室的回路問(wèn)題，所以在Server1上加了一段路由：

ip route 172.16.16.0 255.255.255.0 172.16.15.2

然后，再在服務(wù)器上traceroute，反饋如下：

還是不通!應(yīng)該不是簡(jiǎn)單的網(wǎng)絡(luò)回路問(wèn)題了。

故障分析

PC訪問(wèn)服務(wù)器（Server1）時(shí)， 網(wǎng)絡(luò)流量包的走向和動(dòng)作為：

1 7 2.1 6.1 6.X(P C)172.16.16.1（SW1） → 除入口包發(fā)查找MAC表或以太網(wǎng)廣播包→172.16.15.33（Server1）去的通路正常，但返回時(shí)（即從Server1服務(wù)器返回PC），網(wǎng)絡(luò)流量包的走向和動(dòng)作為：

172.16.15.33（Server1）→172.16.15.1（R1）→在路由上找不到相應(yīng)的IP路由→throw（丟棄），導(dǎo)致辦公區(qū)訪問(wèn)服務(wù)區(qū)服務(wù)器時(shí)出現(xiàn)異常。這是由于TCP/IP在802.3以太網(wǎng)的實(shí)現(xiàn)機(jī)制造成的。

以太網(wǎng)IEEE 802.3即具有CSMA/CD（載波監(jiān)聽(tīng)多路訪問(wèn)/沖突檢測(cè)）的網(wǎng)絡(luò)。CSMA/CD是IEEE 802.3采用的媒體接入控制技術(shù)，或稱介質(zhì)訪問(wèn)控制技術(shù)。一般的兩層交換機(jī)是工作在數(shù)據(jù)鏈路層，也就是第二層，工作原因比較簡(jiǎn)單，只解析以太網(wǎng)幀，即MAC層的Frame，根據(jù)以太網(wǎng)幀的MAC地址來(lái)轉(zhuǎn)發(fā)報(bào)文。由于MAC地址是物理地址，而且采用平坦的地址結(jié)構(gòu)，只能通過(guò)廣播來(lái)進(jìn)行識(shí)別而不能用于劃分子網(wǎng)。而路由器工作在TCP/IP的網(wǎng)絡(luò)層，路由器識(shí)別IP地址，IP地址是邏輯地址且IP地址具有層次結(jié)構(gòu)，被劃分成網(wǎng)絡(luò)號(hào)和主機(jī)號(hào)，可以非常方便地用于劃分子網(wǎng)，路由器的主要功能就是用于連接不同的網(wǎng)絡(luò)。

信息在網(wǎng)絡(luò)流通時(shí)，數(shù)據(jù)包（三層）或數(shù)據(jù)幀（二層）都需要知道終點(diǎn)地址（Final destination address）和下一跳的地址（Next hop address）。IP地址本質(zhì)上是終點(diǎn)地址，它在跳過(guò)路由器（hop）的時(shí)候不會(huì)改變，而MAC地址則是下一跳的地址，每跳過(guò)一次路由器都會(huì)改變。

假設(shè)主機(jī)A訪問(wèn)主機(jī)B，首先A知道B的IP地址，主機(jī)A首先會(huì)發(fā)ARP報(bào)文，ARP報(bào)文最終在MAC層被封裝成以太網(wǎng)幀，其源MAC地址是主機(jī)A自己，目的MAC地址是廣播地址，就是向外廣播詢問(wèn)，請(qǐng)求主機(jī)B回答。交換機(jī)接收到主機(jī)A的包含ARP廣播報(bào)文的數(shù)據(jù)幀（Frame），會(huì)解析該Frame，發(fā)現(xiàn)目的MAC地址是廣播地址，就是向自己的所有端口廣播該Frame，源MAC地址依然是主機(jī)A，目的MAC地址依然是廣播地址。同時(shí)，如果源MAC地址，交換機(jī)之前沒(méi)有學(xué)習(xí)過(guò)，就會(huì)添加到自己的MAC地址表中，也就是交換機(jī)學(xué)習(xí)到主機(jī)A的MAC地址。

如果是主機(jī)，發(fā)現(xiàn)目的MAC不是自己，就會(huì)丟棄該報(bào)文。最后，經(jīng)交換機(jī)廣播后，ARP報(bào)文被主機(jī)B接收到，主機(jī)B發(fā)現(xiàn)被請(qǐng)求的IP是自己，就會(huì)按報(bào)文要求處理，發(fā)一個(gè)回應(yīng)報(bào)文，同樣在MAC層被封裝成以太網(wǎng)幀，源MAC地址是主機(jī)B，目的MAC地址是主機(jī)A，告訴主機(jī)A你請(qǐng)求的IP就是自己，最后發(fā)報(bào)文到交換機(jī)，交換機(jī)就會(huì)學(xué)習(xí)到B的MAC地址。同時(shí)主機(jī)A接收到主機(jī)B的回應(yīng)后，就知道主機(jī)B的MAC，添加到自己的ARP表中，下次再和B通信就不需要再發(fā)ARP報(bào)文了。簡(jiǎn)單的總結(jié)如圖2所示。

那么在A與B跨網(wǎng)段（即路由器R）通訊時(shí)，交換機(jī)SW1開(kāi)了代理arp，則把自己的端口MAC地址告訴A，A得知后，開(kāi)始向B發(fā)送報(bào)文，報(bào)文的三層目標(biāo)IP為B的IP，報(bào)文的二層目標(biāo)MAC地址為剛交換機(jī)給它的MAC。交換機(jī)收到報(bào)文首先看二層，是發(fā)給自己的這個(gè)端口的，再看三層，是另一個(gè)接口所連接的路由R，則直接發(fā)過(guò)去，報(bào)文的二層目標(biāo)為交換機(jī)MAC地址表里學(xué)習(xí)到的R的MAC，三層目標(biāo)為B的IP，而路由器R在接到交換機(jī)的報(bào)文后，將報(bào)文的二層目標(biāo)改為交換機(jī)SW2的端口MAC，IP地址不變，這是正常情況，傳輸過(guò)程中源目IP沒(méi)有變化，MAC地址發(fā)生了變化。

正常情況下就會(huì)出現(xiàn)A→報(bào)文格式（源：ipA macA 目標(biāo)：ipB macSW）→SW（交換機(jī)）→報(bào)文格式（源：ipA macA 目 標(biāo)：ipB macR））路由器R）報(bào)文格式（源：ipA macA 目標(biāo) ：ipB macB），反之亦然。

圖2 網(wǎng)絡(luò)主干

圖3 修改網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

注：一般來(lái)說(shuō)，IP地址經(jīng)過(guò)路由器是不變的，不過(guò)NAT（Network address translation）例外。

解決步驟

知道了以上的原因，解決方案有兩個(gè)。

1.單獨(dú)為此條通訊設(shè)置一條“專線”網(wǎng)絡(luò)，即在圖1的R1和SW1相連的端口處單獨(dú)加一個(gè)互聯(lián)的地址，可以類似于192.168.222.1/30，然后在三層交換機(jī)SW和Server1上做策略路由，讓172.16.15網(wǎng)段與172.16.16-18網(wǎng)段相通時(shí)不用通過(guò)172.16.15.1這個(gè)網(wǎng)關(guān)，此網(wǎng)關(guān)只負(fù)責(zé)用于Server1提供互聯(lián)網(wǎng)服務(wù)用即可。

2.對(duì)網(wǎng)絡(luò)進(jìn)行全新規(guī)劃，加裝防火墻取代路由器R1，服務(wù)器區(qū)位于防火墻的DMZ區(qū)，IP地址進(jìn)行重新劃分，內(nèi)部網(wǎng)絡(luò)架構(gòu)互聯(lián)用14網(wǎng)段，而服務(wù)器區(qū)因?yàn)橄到y(tǒng)安裝的原因保持原15網(wǎng)段不變，進(jìn)行平滑升級(jí)（如圖3）。

經(jīng)驗(yàn)總結(jié)

故障看上去不大，但其實(shí)非常有意義，這個(gè)故障還可以進(jìn)一步通過(guò)traceroute、pathping、arp等讓網(wǎng)絡(luò)管理員對(duì)于什么是TCP/IP、以太網(wǎng)有更多更深的認(rèn)識(shí)，在排除故障和升級(jí)網(wǎng)絡(luò)的過(guò)程有以下心得。

1.對(duì)于網(wǎng)絡(luò)要有總體規(guī)則，對(duì)于功能區(qū)和安全性都要有所考慮，特別是IP地址規(guī)劃和VLAN劃分。為了生產(chǎn)網(wǎng)絡(luò)環(huán)境的安全性，推薦使用IOU Web等模擬器進(jìn)網(wǎng)絡(luò)架構(gòu)進(jìn)行模擬測(cè)試，然后再對(duì)關(guān)鍵的設(shè)備進(jìn)行配置，以保證設(shè)計(jì)的科學(xué)性和有效性。

2.要對(duì)網(wǎng)絡(luò)中各個(gè)設(shè)備，路由器、三層交換機(jī)和二層交換機(jī)、防火墻都要了解相應(yīng)的功能，要學(xué)習(xí)理解時(shí)最好通過(guò)各個(gè)設(shè)備之間功能的對(duì)比進(jìn)行，在應(yīng)用中要結(jié)合現(xiàn)實(shí)的網(wǎng)絡(luò)環(huán)境，特別是三層的交換機(jī)什么時(shí)候作用于二層，什么時(shí)候要啟用三層。

3.要學(xué)會(huì)使用各類網(wǎng)絡(luò)工具，包括實(shí)驗(yàn)工具。理論有時(shí)候?qū)W的很清楚，但在現(xiàn)實(shí)中由于操作的方便性或者為了平滑過(guò)渡，在現(xiàn)有的基礎(chǔ)上進(jìn)行新的擴(kuò)展時(shí)會(huì)想當(dāng)然，當(dāng)出現(xiàn)問(wèn)題時(shí)，要學(xué)會(huì)Wireshark抓包軟件對(duì)網(wǎng)絡(luò)流量進(jìn)行分析。