某電廠公用系統(tǒng)網絡故障分析及處理

2018-03-09 11:59:43 大云網　點擊量：評論 (0)

1事件經過某日某廠 5燃機停運。4時30分T3000系統(tǒng)OM界面出現(xiàn)errorsubscribing plant display connection timed out :connect報警，公

1事件經過

某日某廠#5燃機停運。4時30分T3000系統(tǒng)OM界面出現(xiàn)“errorsubscribing plant display connection timed out :connect”報警，公用系統(tǒng)畫面出現(xiàn)“U”報警，ASD無異常報警,同時#5機組公用系統(tǒng)及#5機組部分界面無法操作。

4時50分#5機組公用系統(tǒng)所有界面以及總覽目錄中公用系統(tǒng)設備目錄消失，現(xiàn)場檢查發(fā)現(xiàn)公用系統(tǒng)上層網SCALANCE網絡交換機T01、T02均存在故障報警。5時50分熱工人員將T01網絡交換機進行斷電重啟，T01重啟結束后T01、T02故障報警信號消失，公用系統(tǒng)設備在界面中恢復正常。

圖1 網絡交換機狀態(tài)顯示

圖2 #5機組公用系統(tǒng)上層網網絡結構

2原因調查

2.1 設備檢查

(1)公用網絡交換機T01重啟后，T01、T02無故障報警信號，F(xiàn)燈未亮。

(2)檢查公用系統(tǒng)網絡交換機T01發(fā)現(xiàn)當光纖數據端口P13處于通信狀態(tài)，P14處于備用狀態(tài)時，P14燈標狀態(tài)閃爍異常，存在故障。

(3)檢查公用系統(tǒng)網絡交換機T01、T02之間的連接光纖通信無異常。

(4)檢查T01、T02之間的連接通信光纖發(fā)現(xiàn)光纖存在彎折痕跡。

使用測試光纖工具測試光纖性能，從測試結果可以判斷彎折后的光纖通信能力有較大幅度下降，但還是在允許范圍內。

圖3(正常光纖測試)

圖4(彎折光纖測試)

(5)檢查赫斯曼路由器MARCH 4000，無異常。

(6)停#5機組公用系統(tǒng)網絡交換機T01電源，網絡通信正常。

(7)恢復#5機組公用系統(tǒng)T01電源，停T02電源，網絡通信正常。

(8)保持#5機組公用系統(tǒng)T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，設置公用系統(tǒng)服務器CoServer01為主控，#5機組公用系統(tǒng)及機組部分界面無法操作的情況出現(xiàn)。

(9)保持#5機組公用系統(tǒng)T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，設置公用系統(tǒng)服務器CoServer02為主控，網絡通信正常。

(10)保持#5機組公用系統(tǒng)T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，拔除T01上連接赫斯曼路由器的通信網線，網絡通信正常。

(11)保持#5機組公用系統(tǒng)T01、T02正常工作，拔除T01、T02之間的互為冗余的通信光纖，恢復T01上連接赫斯曼路由器的通信網線，拔除T02上連接赫斯曼路由器的通信網線，網絡通信正常。

2.1日志檢查

(1)檢查#5機組公用系統(tǒng)網絡交換機T01、T02日志，發(fā)現(xiàn)出現(xiàn)網絡通信故障的時候，T01和T02之間的兩路通信均中斷。

(2)檢查#5機組公用系統(tǒng)網絡交換機T01、T02日志，發(fā)現(xiàn)出現(xiàn)網絡通信故障的時候，用于T01和T02之間通信的光纖數據端口P13已被禁用，報警信息“Link Check:Broken link on port 13 indicated by 100% packet loss.Portdisabled”。

(3)檢查#5機組公用系統(tǒng)網絡交換機T01、T02日志，發(fā)現(xiàn)出現(xiàn)網絡通信故障的時候，用于T01和T02之間通信的光纖數據端口P14已被禁用，報警信息“Link Check:Broken link on port 14 indicated by 100% packet loss.Portdisabled”。

3原因分析

由于#5機組公用系統(tǒng)T01存在故障，導致T01和T02之間通信的光纖數據端口P13、P14的丟包率較高，最終由于高丟包率導致P13、P14端口均被屏蔽，T01和T02之間通信中斷。

T01、T02之間的連接通信光纖發(fā)現(xiàn)光纖有彎折痕跡，通信能力下降存在安全隱患。

根據測試結果，當赫斯曼路由器選擇T02作為主控通信路徑時，如果發(fā)生環(huán)網全部中斷，那么只有與T02連接的CoServer02服務器處在主控模式時才能保證通信正常。如果路由器選擇T01作為主控通信路徑時，發(fā)生環(huán)網全部中斷，那么只有與T01連接的CoServer01服務器處在主控模式時才能保證通信正常。發(fā)生#5機組公用系統(tǒng)通信故障期間，路由器選擇T02作為主控通信路徑，但當時CoServer01服務器處在主控模式，因此路由器無法讀取到公用系統(tǒng)服務器的數據，導致畫面壞點。

操作員站通過網絡同時讀取單元機組和公用系統(tǒng)的操作界面數據，當無法讀取到公用系統(tǒng)的數據時候，會耗費較多的網絡資源用于讀取公用系統(tǒng)的數據，導致操作員站的操作界面響應變慢。

4防范措施

(1)更換#5機組公用系統(tǒng)T01網絡交換機;

(2)更換#5機組公用系統(tǒng)T01、T02之間的連接通信光纖;

(3)#5機組公用系統(tǒng)上層網絡目前是T02作為主控通信路徑，已經將CoServer02作為主控服務器;

(4)為確保單元機組的系統(tǒng)畫面不受影響，需要確保機組DCS的容錯服務器主控服務器也處在主控通信路徑，目前#5機組單元機組系統(tǒng)上層網絡是T01作為主控通信路徑，已經將容錯服務器A側作為主控服務器。

附：#5機組公用系統(tǒng)上層網絡故障應急預案

一、 #5機組公用系統(tǒng)上層網絡出現(xiàn)網絡數據中斷故障的應急處置步驟

1)通過公用系統(tǒng)服務器檢查公用系統(tǒng)上層網T01、T02網絡交換機的事件日志內容。

2)通過公用系統(tǒng)服務器檢查CoServer01、CoServer02是否正常。

3)檢查Coserver服務器的網線是否緊固。

4)停#5公用系統(tǒng)T3000上層網交換機T01電源。