電力企業數據中心監控管理一體化系統成功示例

2013-09-25 10:46:30 大云網　點擊量：評論 (0)

國內某知名電力企業上線了監控管理一體化系統。

引言
企業核心應用宕機，機關、下屬單位等不滿意，主管領導質疑!雖然技術人員做了很多工作，但仍然無法分清輕重緩急，也很難快速定位問題根源，迅速解決問題。網管說網絡是好的，開發人員說近期代碼沒有改動，數據庫管理員說數據庫所有組件運行正常，也許租用的基礎服務也在說所有服務都在正常運行。這些現象在當今電力企業數據中心屢見不鮮，對信息中心的服務、管理提出了一系列挑戰!因此，對信息系統的管控與運行就顯得格外重要。
為了實現上述目標，具備關鍵系統全面監控能力，國內某知名電力企業上線了監控管理一體化系統。經過一年左右的運行，基本實現了初步目標，下文就通過一些文字說明和總結演示，說明該系統的特性與成果。

建設目標
借鑒電力企業生產的成熟管理經驗和國際先進的信息服務最佳實踐，全面構建電力企業信息系統調度運行體系，規范優化組織結構，實現統一指揮、分級管理;建立健全高度符合集團一體化信息系統運行的制度、規程和標準，實現管理規范化、流程標準化;建成符合智能化需求的信息運行支持平臺，實現運行的可視化、可控化、自動化;使企業信息系統運行達到國際領先水平，目前已經成為信息系統監管運行的基本目標。
一個理想的企業信息系統監控與管理體系，除了需要借鑒ITIL最佳實踐來指導企業信息服務體系建設以外，對整個數據中心所負責的基礎架構、應用系統與業務系統的全面、統一監控也是現代企業信息管理必不可少的基礎建設之一。一個全面、統一的數據中心運維監控系統，至少需要具備下面幾種關鍵能力：
擁有能滿足現在與將來革命性變化需求的體系架構，擁有良好伸縮性與擴展性;
全面的數據采集能力，覆蓋面要廣，同時應具備API接口使集成、部署工作簡單化;
業務系統適應能力，不僅僅能從各種IT系統中采集、分析數據，更可以從各種業務系統中采集、分析數據
靈活的報表與可視化能力，整個系統應該基于可定制策略的用戶組機制，對所有儀表板、報表、報警都可以靈活定制;
管控平臺的建設范圍
本電力企業的監控管理一體化系統建設范圍包括如下幾個方面：
統一運維管理門戶建設
通過統一運維管理門戶，用戶可以靈活的訪問各種管理應用，或者針對任何一個故障進行深入挖掘，得到詳細的實時和歷史性能信息。
統一運維管理門戶還提供了豐富的視圖呈現方式，如線圖、柱圖、陰影圖等。統一運維管理門戶還支持根據不同維護人員角色的不同，提供不同權限的管理視圖。維護人員可以通過拖拽的方式靈活的定義管理門戶和各類報表。報表呈現方式多樣靈活。
提供多種層級的視圖展示
監控管理一體化系統可以直觀、準確地體現各層面的系統運行狀態，分別展示不同管理層次和范圍的系統運行狀態。根據客戶的系統特點和管理習慣，可將展示視圖分成根視圖、一級視圖、二級視圖和三級視圖，分別展示不同管理層次和范圍的系統運行狀態。
一級視圖也稱為系統整體健康度總體視圖。主要針對CIO的運維管理需要，提供企業系統整體運行狀態的查詢和管理。在這張視圖上，管理員可以清晰地看到企業網中所有系統的整體健康狀態，當某個系統內的監控對象出現性能問題或告警時，將會有紅色或黃色的告警提示符出現。通過這張視圖管理員可以快速定位和判斷系統總體健康狀態。

圖1、一級視圖——全業務視圖

二級視圖也稱為特定系統或設備類型監控視圖。主要針對IT主管的運維管理需要，提供針對關鍵IT系統的狀態查詢和監控管理。在這張視圖上，管理員可以清晰地看到企業網中某個特定系統的整體健康狀態，當某個系統內的監控對象出現性能問題或告警時，將會有紅色或黃色的告警提示符出現。通過這張視圖管理員可以快速定位和判斷該系統中的哪個被管對象出現問題或故障。

圖2、二級視圖特定業務系統視圖

三級視圖也稱為資源監控視圖。主要針對設備運維人員的運維管理需求，提供針對具體設備組件性能指標的告警管理和性能分析。在這張視圖上，管理員可以清晰地看到企業網中特定被監控對象的健康狀態，當出現性能問題或告警時，管理員可以在這張視圖上查看告警狀態、分析歷史性能數據、執行系統命令或者自動發出告警等。

圖3：三級視圖資源監控視圖

統一監控平臺建設
統一監控平臺的建設包括三方面的建設內容：集中的監控管理、事件管理功能、性能管理功能。
監控管理一體化系統提供了豐富的事件管理功能，事件管理可以覆蓋所有需要管理的設備，快速捕捉到服務器、網絡、存儲、數據庫和中間件的日志和消息等事件。
監控管理一體化系統提供的解決方案實現了全面的性能管理，包括各種設備性能管理，維護人員可以根據需要靈活的設定性能閥值，生成相應的性能告警。
集中的監控管理介紹
通過監控管理一體化系統可以實現集中的監控管理，監控管理一體化系統提供了豐富的監控探針，覆蓋了監控系統的各個層面，包括：服務器管理、虛擬化管理、存儲管理、網絡管理、機房環境管理、中間件管理和數據庫管理。通過對各個層面的監控，全面監控和分析系統的性能狀態。

服務器監控介紹
監控管理一體化系統以服務器為中心的監控理念能夠監控包括Cisco UCS、AS400、Linux、Unix、Netware、Windows等在內的所有主要操作系統，可以從單一控制臺方便容易的完成對服務器關鍵資源(如CPU，內存，磁盤，事件日志，計數器等)的完美監控，允許管理員從集中的控制臺對遠程的服務和進程進行客中操作如自動或手動啟動、重啟、停止等。同時，對于承載在服務器上的各種商業軟件，如Web，數據庫系統，郵件系統等提供了開箱即用的缺省配置模板。

虛擬化環境監控介紹
針對虛擬化建設所面臨的困難，企業需要引入先進的虛擬化健康度管理方法來逐步改進和完善虛擬化建設的不足。
過去的僅僅是強調對虛擬機自身管控的管理思路，已經不適合當前企業對虛擬化健康度管理的需要。當前，國外先進的虛擬化健康度管理方法強調對整個虛擬化環境進行統一的管控。從用戶體驗的角度，自上而下的全面評估虛擬化環境的健康度，從而提高虛擬化環境的可用性和性能，擴大虛擬化環境的適用范圍。
一方面，這種全新的虛擬化健康度管理方法覆蓋了虛擬化環境所涉及到的軟硬件的各個層面，統一運維，綜合分析，從而全面保障了虛擬化環境的健康度。另一方面，企業通過引入先進的健康度管理方法，還可以使得業務人員和IT運維人員可以更好地明確自己的管理職責，更好地合作，提高了工作效率，同是也優化的虛擬化環境的可用性。

圖4、虛擬系統資源利用率

存儲監控介紹
監控管理一體化系統提供了針對存儲設備的管理探針，可以快速實現對存儲設備的監控管理。該平臺基于標準設計，通過Web 控制臺整合不同廠商的存儲設備資源，包括存儲局域網(SAN)，網絡附加存儲(NAS)和直接附加存儲(DAS)。
監控管理一體化系統支持SAN交換機，存儲設備和磁帶庫的管理。能夠管理存儲分配情況，存儲利用率，對于超過性能閥值的性能指標系統能夠進行故障告警或者預警通知到相應的運維管理人員，生成錯誤日志。

網絡設備監控介紹
監控管理一體化系統支持通過SNMP V1、V2、V3協議，對網絡設備的拓撲管理、事件管理和性能管理功能。

圖5、公司本部所有關鍵交換機運行狀態

機房環境監控介紹
機房環境作為集中監控系統的一部分，針對機房環境、精密空調和UPS設備的監控，監控管理一體化系統通過Web Service接口與相應的傳感器相連或者采用SNMP的方式，來采集相關數據，并根據用戶需要提供相應的運維管理報表。

中間件監控介紹
中間件是重要的應用組件，也是此次項目監控的重點。監控管理一體化系統支持對所有主要流行的中間件系統的監控，主要包括：Weblogic、Websphere、Tomcat、JBOSS等等。
監控管理一體化系統可以監控中間件的主要事件和性能指標，從而有效保障中間件的可用性，從而保障系統的正常使用。

數據庫監控介紹
數據庫作為應用系統基礎的組成部分，其重要性不言而喻。對于系統而言，一旦數據庫崩潰或者數據庫的性能降低，那么會直接導致依賴于數據庫的應用系統運行速度緩慢或者根本無法使用，其最終結果不僅僅是會影響應用系統的使用效率，甚至會造成客戶和利潤的流失。
數據庫在使用中所出現的問題，可能由表空間、文件系統、數據文件、進程等組件當中的任意一個造成，甚至有可能是由于某一個SQL語句的性能太差造成。
因此，當數據庫出現問題，徹查問題的根本原因成為重復、繁雜的勞動，監控管理一體化系統將管理員從重復勞動中脫離出來，以主動管理的方式，為管理員提供自動化的監控管理，一旦數據庫出現問題，可以馬上通知相關的管理員。

應用系統監控
SAP ERP是公司最重要的應用之一，本系統將復雜的ERP系統進行了簡約化管理，通過簡單的界面就可以完整看到ERP的運行總體態勢和性能曲線

圖6、SAP ERP應用系統監控

用戶和權限管理
對于監控系統本身，由于其特殊性，即具有管理其他網絡設備和主機的權限，因此其自身的安全性更加重要，管理系統具有多級操作員權限控制，不同的操作員管理不同的對象，并且具有不同的權限。可以考慮特定的管理員只能管理職權范圍內的設備，根據人員的多少，可以細分為各種管理員，如網絡管理員、服務器管理員、存儲管理員、數據庫管理員等。監控管理一體化系統完全支持這種靈活的用戶和權限管理方式。
監控管理一體化系統具有完善的用戶管理功能，包括用戶的認證與授權機制，首先在系統中創建用戶，對于每一個用戶，都可以指定管理的設備，收到的消息，可以使用的應用程序。不同的用戶有以上不同的設置和權限，每個用戶在登錄系統時，需要通過用戶口令的認證。不同的用戶可以有自己的視圖，只接收自己的事件，例如，我們給不同的管理人員建立一個用戶，他們登錄到網管系統上，看到的是自己關心的設備、應用的拓撲圖，收到的消息全部是關于相應設備、應用的消息，并可以也只能對這些對象進行查看或配置。

考核指標和服務水平管理
監控管理一體化系統的SLA管理包括了用戶自定義的考核指標以保障SLA滿足要求，下面也一個實例來說明監控管理一體化系統的SLA報告系統的功能。
例如電子商務系統的SLA報告系統：
以該電力企業的電子商務系統為例，要求按周考核的CRM系統指標在98%以上：
電子商務系統所有操作時間不超過6秒鐘
電子商務登陸時間不超過5秒鐘
電子商務系統查詢公司時間不超過5秒鐘
實際生成的SLA報告如下：

管控平臺的建設需求分析

研究分析電力企業的IT管理特點和業務特點，本監控管理一體化系統應具有如下特點：
監控面廣
對集團內網數百臺服務器、近兩百臺網絡設備、數套存儲系統、數十套虛擬系統進行了基礎架構層面的全面監控;
主要服務器平臺包括Intel服務器、IBM Power小型機，承載的操作系統主要包括了windows、Linux和AIX;同時，該企業全面部署了VMWARE虛擬系統，運行的客戶機近百臺，越來越多的重要業務在逐步遷入到虛擬化平臺中。該監控系統統一完成了跨平臺、跨系統的健康度監控檢查。
對多種數據庫(ORACLE、DB2、SYBASE、SQL SERVER、MySQL)、中間件(IIS、TOMCAT、WebSphere、WebLogic)等以及其承載的業務系統進行了有針對性的個性化監控，突出了組件間的關聯關系與性能狀態。
該監控系統擁有近200中不同功能的探針，既能夠以Agent方式駐留服務器獲取詳細的監控指標，也能夠以Agentless方式通過ssh、SNMP、SYSLOG、ODBC、CLI等多種技術手段無干擾獲取遠程設備系統的關鍵運行狀態。

擴展性好
該系統是一個典型的分布式統一監控系統，采用了與眾不同的廣播/訂閱機制，可以像部署網絡設備一樣靈活組網構建面向多單位、多中心、多部門的監控系統，不僅很好的滿足了當前本部機房監控的需求，將來也可以基于本系統對下屬分支單位進行快速的運維監控。
該系統擁有全面開放的API，可以對整個監控系統的安裝部署、配置調度、告警策略、展示統計等進行個性化的定制，支持Java、Perl、LUA、Script等多種編程語言接口，使新功能開發、定制變得更加容易。
在本項目中，創新地引入了Zigbee無線傳感設備，其先天的低功耗、高可靠、超穩定特征使得對機房溫濕度、光感等場地監控功能達到了無需重新布線、靈活部署監控地點、精確獲取機房環境狀態的目標。

展示效果好
監控系統基于企業級門戶技術Liferay，內置了統一告警控制臺、統一性能報表、統一監控列表、統一架構管理等多種展示組件;同時，獨特的參數級自定義儀表板設計器可以像VisualBasic編制新程序一樣為每一個用戶定制所需要的各種個性化儀表板。

專業的報表服務引擎能夠滿足電力企業苛刻的報表定制需求，其內置的數百套通用報表涵蓋了系統監控所需的主要功能，獨有的SLA報表生成器更可以按照國際流行規范制定本單位服務品質承諾指標。
無論是發電企業亦或其他行業，專門的短信告警成了監控系統必備的功能要求，該系統針對提供了適合中國監控特色的短信引擎，可以靈活制定告警規則，規避敏感詞匯，批量發送不同短信內容。

管控平臺實施效果
該電力企業通過本監控系統的有效部署，經過近一年的穩定運行，該企業監控管理一體化平臺初步具備了如下能力，初步達到了提前發現、準確定位、深入診斷的監控目標：
基礎服務器監控能力──包括且不限于Linux、Windows、UNIX服務器等等;
應用服務器監控能力──包括且不限于如下應用服務器，IIS、TOMCAT、APACHE、WEBSPHERE、WEBLOGIC等等;
數據庫系統監控能力──包括且不限于如下系列數據庫系統，ORACLE、SQLSERVER、SYBASE、MYSQL等等;
網絡系統監控能力──包括且不限于如下網絡設備及網絡系統的監控， Cisco IPSLA、DNS、DHCP、 LDAP、SNMP設備、路由器、交換機等等;
存儲系統監控能力──包括且不限于如下存儲設備的監控，EMC，IBM,HP,SUN,HDS等等;
場地監控能力──包括且不限于如下動力設備：高、低壓配電屏、整流設備、開關電源、UPS、油機、蓄電池組等。
在上述成功實踐的基礎上，該企業正全面梳理數據中心監控需求，結合企業未來業務系統建設目標，制定了本監控平臺的下一步規劃，主要內容包括了：
完善現有系統監控內容
將機房內網所有設備及軟件進行納管，不留盲點;
完善移動辦公軟件的監控統計功能，增加客戶體驗管理;
完善機房中環境信息、場地系統、安防系統的監控指標，消除死角。
增加目前系統監控功能
增強與ITIL管理平臺、新一代呼叫中心等系統的全面集成能力;
增加機房與辦公區域等大屏幕展示，動態展示數據中心運行狀態;
增加移動終端如IPAD、智能手機等的監控功能，實現移動監控目標。
深度監控核心業務系統
針對企業核心應用SAP ERP HR系統、SAP財務資產一體化系統等，引入專業監控模塊，按照SAP BASIS運維規范進行完整監控，確保核心業務運行的可靠、平穩、高效。