1事件經過

某日某廠#5燃機停運。4時30分T3000系統OM界面出現“errorsubscribing plant display connection timed out :connect”報警，公用系統畫面出現“U”報警，ASD無異常報警,同時#5機組公用系統及#5機組部分界面無法操作。

4時50分#5機組公用系統所有界面以及總覽目錄中公用系統設備目錄消失，現場檢查發現公用系統上層網SCALANCE網絡交換機T01、T02均存在故障報警。5時50分熱工人員將T01網絡交換機進行斷電重啟，T01重啟結束后T01、T02故障報警信號消失，公用系統設備在界面中恢復正常。

圖1 網絡交換機狀態顯示

圖2 #5機組公用系統上層網網絡結構

2原因調查

2.1 設備檢查

(1)公用網絡交換機T01重啟后，T01、T02無故障報警信號，F燈未亮。

(2)檢查公用系統網絡交換機T01發現當光纖數據端口P13處于通信狀態，P14處于備用狀態時，P14燈標狀態閃爍異常，存在故障。

(3)檢查公用系統網絡交換機T01、T02之間的連接光纖通信無異常。

(4)檢查T01、T02之間的連接通信光纖發現光纖存在彎折痕跡。

使用測試光纖工具測試光纖性能，從測試結果可以判斷彎折后的光纖通信能力有較大幅度下降，但還是在允許范圍內。

圖3(正常光纖測試)

圖4(彎折光纖測試)

(5)檢查赫斯曼路由器MARCH 4000，無異常。

(6)停#5機組公用系統網絡交換機T01電源，網絡通信正常。

(7)恢復#5機組公用系統T01電源，停T02電源，網絡通信正常。

(8)保持#5機組公用系統T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，設置公用系統服務器CoServer01為主控，#5機組公用系統及機組部分界面無法操作的情況出現。

(9)保持#5機組公用系統T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，設置公用系統服務器CoServer02為主控，網絡通信正常。

(10)保持#5機組公用系統T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，拔除T01上連接赫斯曼路由器的通信網線，網絡通信正常。

(11)保持#5機組公用系統T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，恢復T01上連接赫斯曼路由器的通信網線，拔除T02上連接赫斯曼路由器的通信網線，網絡通信正常。

2.1日志檢查

(1)檢查#5機組公用系統網絡交換機T01、T02日志，發現出現網絡通信故障的時候，T01和T02之間的兩路通信均中斷。

(2)檢查#5機組公用系統網絡交換機T01、T02日志，發現出現網絡通信故障的時候，用于T01和T02之間通信的光纖數據端口P13已被禁用，報警信息“Link Check:Broken link on port 13 indicated by 100% packet loss.Portdisabled”。

(3)檢查#5機組公用系統網絡交換機T01、T02日志，發現出現網絡通信故障的時候，用于T01和T02之間通信的光纖數據端口P14已被禁用，報警信息“Link Check:Broken link on port 14 indicated by 100% packet loss.Portdisabled”。

3原因分析

由于#5機組公用系統T01存在故障，導致T01和T02之間通信的光纖數據端口P13、P14的丟包率較高，最終由于高丟包率導致P13、P14端口均被屏蔽，T01和T02之間通信中斷。

T01、T02之間的連接通信光纖發現光纖有彎折痕跡，通信能力下降存在安全隱患。

根據測試結果，當赫斯曼路由器選擇T02作為主控通信路徑時，如果發生環網全部中斷，那么只有與T02連接的CoServer02服務器處在主控模式時才能保證通信正常。如果路由器選擇T01作為主控通信路徑時，發生環網全部中斷，那么只有與T01連接的CoServer01服務器處在主控模式時才能保證通信正常。發生#5機組公用系統通信故障期間，路由器選擇T02作為主控通信路徑，但當時CoServer01服務器處在主控模式，因此路由器無法讀取到公用系統服務器的數據，導致畫面壞點。

操作員站通過網絡同時讀取單元機組和公用系統的操作界面數據，當無法讀取到公用系統的數據時候，會耗費較多的網絡資源用于讀取公用系統的數據，導致操作員站的操作界面響應變慢。

4防范措施

(1)更換#5機組公用系統T01網絡交換機;

(2)更換#5機組公用系統T01、T02之間的連接通信光纖;

(3)#5機組公用系統上層網絡目前是T02作為主控通信路徑，已經將CoServer02作為主控服務器;

(4)為確保單元機組的系統畫面不受影響，需要確保機組DCS的容錯服務器主控服務器也處在主控通信路徑，目前#5機組單元機組系統上層網絡是T01作為主控通信路徑，已經將容錯服務器A側作為主控服務器。

附：#5機組公用系統上層網絡故障應急預案

一、 #5機組公用系統上層網絡出現網絡數據中斷故障的應急處置步驟

1)通過公用系統服務器檢查公用系統上層網T01、T02網絡交換機的事件日志內容。

2)通過公用系統服務器檢查CoServer01、CoServer02是否正常。

3)檢查Coserver服務器的網線是否緊固。

4)停#5公用系統T3000上層網交換機T01電源。

5)第四步沒有效果的情況下恢復#5公用系統T3000上層網交換機T01電源，停T02電源。

6)第五步沒有效果的情況下將CoServer01上層網絡接入T02，將CoServer02上層網絡接入T01，給T02送電，然后重復第四步和第五步內容。

7) 第六步沒有效果的情況下，恢復CoServer服務器上層網絡接入位置，停T01電源，更換T02網絡交換機。

二、#5機組單元機組上層網絡出現網絡數據中斷故障的應急處置步驟

1)通過單元機組服務器檢查單元機組上層網T01、T02網絡交換機的事件日志內容。

2)通過單元機組服務器檢查冗錯服務器A、冗錯服務器B是否正常。

3)檢查冗錯服務器的網線是否緊固。

4)停#5單元機組T3000上層網交換機T02電源。

5)第四步沒有效果的情況下恢復#5單元機組T3000上層網交換機T02電源，停T01電源。

6)第五步沒有效果的情況下將冗錯服務器A側上層網絡接入T02，將冗錯服務器B側上層網絡接入T01，給T01送點，然后重復第四步和第五步內容

7)第六步沒有效果的情況下，恢復冗錯服務器上層網絡接入位置，停T02電源，更換T01網絡交換機。