時空飛越千萬倍 內存計算奇驚天
IDC發布《數字宇宙研究報告》稱:2011年全球被創建和復制的數據總量將達到1 8ZB,與2010年同期相比,上漲超過1ZB。如果按照全球人口總數70億換算,相當于人手一塊容量為100GB的硬盤。報告預計到2015年,
SAP HANA 除了提供完善的數據庫功能外,其內置的計算引擎可以將原本在應用層進行的運算轉移到數據庫層面進行處理,這在數據密集型運算的場景,能夠優化應用層和數據庫層之間的數據交互,從而從整體上提升系統的效率。傳統上,數據密集型運算包括計劃、預測、模擬等,在HANA中首先將計劃(Planning)引擎植入計算引擎中,從而使得基于HANA的計劃應用的性能得到極大提升。
電力信息化用戶參考:大數據處理技術在現有ERP系統情況下呈現出的數據還有哪些特點?
潘明惠:內存計算技術可以與SAPERP緊密整合,實時提供的數據可視性更強。SAP HANA能夠和SAP ERP緊密集成,將ERP中的數據利用SLT (SAP Landscape Transformation)技術實時的復制到HANA的內存中,并基于這些數據建立數據分析的應用,從而為業務帶來幾個主要的好處;一是充分利用HANA的內存計算技術,基于大數據量進行高效、高速的數據分析和處理;二是減少傳統在ERP直接分析這些數據給ERP系統帶來的額外性能壓力;三是利用基于HANA上的BI工具可以進行靈活的數據分析;四是基于實時數據進行分析,帶來實時的業務洞察力。五是利用觸發機制將SAP ERP中的數據能夠實時同步到HANA中。
同時,HANA與BOBJ Data Service整合提升數據質量。SAP HANA和 BOBJ Data Service緊密整合,從第三方系統獲取數據。Data Service中提供可視化的數據抽取、清洗、加載以及數據質量管理的功能,能夠保證進入HANA的數據都是高質量的數據,從而確保基于HANA進行數據分析的準確性,為業務決策提供更好的支持。
電力信息化用戶參考:遼電內存計算技術驗證項目的具體目標是什么?
潘明惠:遼電內存計算技術驗證項目的驗證目標包括好幾個方面。首先是實現全面覆蓋場景。驗證場景覆蓋遼寧電力主要核心業務,包括營銷、計劃、項目、財務、物資、設備、生產、人力資源;覆蓋主要的業務系統,包括ERP系統、營銷系統、PMS系統、GIS系統、BW系統,以檢驗HANA的應用效果。
其次是充分驗證技術。充分驗證各個場景下HANA在分析效率上的提升,即對比源系統場景與HANA系統場景在速度上的差距,了解HANA的應用效果,充分了解HANA在技術環境上的要求。驗證HANA各技術特點在速度提升上的貢獻的具體效果,包括多核硬件并行效果、行/列儲存混合應用情況、數據壓縮效果、數據分區情況、取消聚集表的真實性、實時數據同步效果,充分了解HANA產品的各項特性。
同時我們也想在此過程中深入總結我們的信息化經驗,詳細記錄驗證過程中產生的問題,將問題進行分類,跟蹤問題解決情況,問題解決后需要詳細記錄問題解決方案。通過對這些問題的總結,積累HANA實施經驗,為HANA在遼寧電力的全面推廣打下堅實基礎。
為確保用戶在使用分析報表時能夠看到真實的分析效果,我們還接入了各個源系統的真實數據,范圍涉及生產、營銷等公司核心業務,橫跨營銷管理系統、GIS、PMS、ERP等多個系統,共有人力資源、財務、物資、計劃、項目、設備、營銷、生產、營銷、地理空間數據等10個業務主題。36個場景,具體包含ERP系統14個場景、BW系統8個場景、營銷系統6個場景、地理空間數據庫5個場景、生產管理系統3個場景。
電力信息化用戶參考:請簡單介紹一下該驗證項目的歷程及規劃?
潘明惠:項目包括三個階段。第一階段從2011年5月到2011年10月,我們成立了SAP內存計算技術驗證項目組,對HANA產品進行了詳細的調研,會同SAP公司召開了多次研討會,探討HANA的技術特性和在遼寧電力的適用性,明確了HANA的技術特點和適用領域,同時也制定了計劃,完成人員組織安排、辦公環境準備等相關工作。
在環境搭建過程中,我們選擇HANA 10.0.14,并協調IBM公司獲得SAP認證的X3850作為HANA服務器,安裝HANA數據庫系統,并將SAP Business Object BI 4.0安裝在HANA服務器中,充分利用現有服務器,安裝實時數據抽取工具(SLT)。
基于需求進行了HANA數據建模,即根據確定的業務場景,在HANA中進行建模操作測試,確保HANA數據建模的成功,為全面開展驗證打下基礎。之后進行相關應用數據抽取,根據已確定的業務場景需求,抽取源系統數據至HANA,驗證數據抽取服務的有效性,為全面開展驗證打下基礎。
第二階段從2011年10月至2011年12月結束,一共實現了ERP系統14個業務場景。以ERP系統作為數據源,選取計劃、財務、項目、物資、設備、人資6大核心業務的典型分析場景,在HANA中實現分析展示,驗證HANA性能和業務適應性。另外還實現了BW系統8個業務場景。以BW系統作為數據源,重點選取跨專業領域的分析場景,在HANA中實現分析展示,驗證HANA性能和對跨專業分析主題的適應性。營銷系統6個業務場景也全部完成,我們選取營銷系統中性能問題最嚴重的兩個分析主題,將相應數據抽取至HANA中進行分析展示,驗證HANA對于營銷系統場景效率的提升以及對營銷業務的適應性。GIS系統5個業務場景也在項目目標之內,我們選取GIS系統中考核指標統計場景以及數據質量核查場景,將相應數據抽取至HANA中進行分析展示,驗證HANA對于GIS系統場景效率的提升以及對GIS業務的適應性。
在此期間,我們還實現了PMS系統3個業務場景。具體選取了PMS系統中性能要求最高的設備統計以及工單統計場景,將相應數據抽取至HANA中進行分析展示,驗證HANA對于PMS系統場景效率的提升以及對PMS業務的適應性。
第三階段進入基于HANA的推廣應用,2012年1月開始,預計2012年12 月完成。這一階段的重要目標之一是實現高級應用BW,即采用SP3增強包,HANA1.0 SP3,直接作為數據抽取與分析工具,替代BW數據倉庫作用,更加有效的提升數據分析性能,實現實時商務智能分析。其次是實現GIS專題應用。GIS相關的服務需要分析海量的數據,如基礎地理空間數據、電網資源空間數據、基礎地理矢量數據、遙感影像數據、導航等。總結出實時性要求高的場景,利用HANA實現實時分析,加速企業應用;根據GIS與HANA的產品特性,設計適用實用工具,充分發揮GIS與HANA的作用,全面提升業務處理效率。實現營銷專題應用也是我們的目標之一。營銷業務涉及的用戶數據、用電情況等數據量巨大。對營銷數據的分析運用,對于電網收入的及時性、電網負荷預測的有效性等有重要影響。利用HANA“實時”、“極速”的特點,設計有效的分析場景。財務專題應用也是不可或缺的一部分。利用HANA分析海量的財務數據,使財務數據進行更為全面、復雜的分析,做到對復雜業務的快速、實時分析。設計適用企業實際的財務主題分析應用,充分發揮HANA“實時”、“極速”的特點,提高財務監控能力,從而從根本上改善企業經營。
電力信息化用戶參考:一年以來,遼電在大數據處理領域取得了哪些主要成果?
潘明惠:在遼寧電力SAP HANA技術驗證,實現了10類業務36個場景的驗證中,速度平均提升36倍,普遍提升20倍左右,最高可達到863倍。在同一場景下,數據量越大,提升效率越明顯。在已知的零售業驗證中,報表的查詢與執行速度提升了1000倍;物資項目管理從15小時降低到4.8秒;訂單到付款分析,從30天降低到28秒。在IT領域有了重要突破。例如在驗證查詢所有(36個)ERP上線單位的全部資產和設備(9.86G)條件下,使用HANA查詢時間為9秒,使用ERP前臺查詢超時,通過后臺作業查詢時間為7,769秒(2.16小時)(ERP測試系統),性能提升863倍 ,在ERP實時正式運行系統,查詢時間5,574秒(1.58小時),性能提升619倍。 在營銷系統中,在HANA系統中,各個單位可以隨時、實時地查看數據;不僅節省了操作流程,而且查詢的時候,只有初始刷新數據的實時需要等待5秒,隨后更換查詢條件的時候,一點擊,報表立刻就運行出來,不需要等待時間,所以報表整體性能的提升遠大于181倍。
電力信息化用戶參考:大數據處理技術在現有ERP系統情況下呈現出的數據還有哪些特點?
潘明惠:內存計算技術可以與SAPERP緊密整合,實時提供的數據可視性更強。SAP HANA能夠和SAP ERP緊密集成,將ERP中的數據利用SLT (SAP Landscape Transformation)技術實時的復制到HANA的內存中,并基于這些數據建立數據分析的應用,從而為業務帶來幾個主要的好處;一是充分利用HANA的內存計算技術,基于大數據量進行高效、高速的數據分析和處理;二是減少傳統在ERP直接分析這些數據給ERP系統帶來的額外性能壓力;三是利用基于HANA上的BI工具可以進行靈活的數據分析;四是基于實時數據進行分析,帶來實時的業務洞察力。五是利用觸發機制將SAP ERP中的數據能夠實時同步到HANA中。
同時,HANA與BOBJ Data Service整合提升數據質量。SAP HANA和 BOBJ Data Service緊密整合,從第三方系統獲取數據。Data Service中提供可視化的數據抽取、清洗、加載以及數據質量管理的功能,能夠保證進入HANA的數據都是高質量的數據,從而確保基于HANA進行數據分析的準確性,為業務決策提供更好的支持。
電力信息化用戶參考:遼電內存計算技術驗證項目的具體目標是什么?
潘明惠:遼電內存計算技術驗證項目的驗證目標包括好幾個方面。首先是實現全面覆蓋場景。驗證場景覆蓋遼寧電力主要核心業務,包括營銷、計劃、項目、財務、物資、設備、生產、人力資源;覆蓋主要的業務系統,包括ERP系統、營銷系統、PMS系統、GIS系統、BW系統,以檢驗HANA的應用效果。
其次是充分驗證技術。充分驗證各個場景下HANA在分析效率上的提升,即對比源系統場景與HANA系統場景在速度上的差距,了解HANA的應用效果,充分了解HANA在技術環境上的要求。驗證HANA各技術特點在速度提升上的貢獻的具體效果,包括多核硬件并行效果、行/列儲存混合應用情況、數據壓縮效果、數據分區情況、取消聚集表的真實性、實時數據同步效果,充分了解HANA產品的各項特性。
同時我們也想在此過程中深入總結我們的信息化經驗,詳細記錄驗證過程中產生的問題,將問題進行分類,跟蹤問題解決情況,問題解決后需要詳細記錄問題解決方案。通過對這些問題的總結,積累HANA實施經驗,為HANA在遼寧電力的全面推廣打下堅實基礎。
為確保用戶在使用分析報表時能夠看到真實的分析效果,我們還接入了各個源系統的真實數據,范圍涉及生產、營銷等公司核心業務,橫跨營銷管理系統、GIS、PMS、ERP等多個系統,共有人力資源、財務、物資、計劃、項目、設備、營銷、生產、營銷、地理空間數據等10個業務主題。36個場景,具體包含ERP系統14個場景、BW系統8個場景、營銷系統6個場景、地理空間數據庫5個場景、生產管理系統3個場景。
電力信息化用戶參考:請簡單介紹一下該驗證項目的歷程及規劃?
潘明惠:項目包括三個階段。第一階段從2011年5月到2011年10月,我們成立了SAP內存計算技術驗證項目組,對HANA產品進行了詳細的調研,會同SAP公司召開了多次研討會,探討HANA的技術特性和在遼寧電力的適用性,明確了HANA的技術特點和適用領域,同時也制定了計劃,完成人員組織安排、辦公環境準備等相關工作。
在環境搭建過程中,我們選擇HANA 10.0.14,并協調IBM公司獲得SAP認證的X3850作為HANA服務器,安裝HANA數據庫系統,并將SAP Business Object BI 4.0安裝在HANA服務器中,充分利用現有服務器,安裝實時數據抽取工具(SLT)。
基于需求進行了HANA數據建模,即根據確定的業務場景,在HANA中進行建模操作測試,確保HANA數據建模的成功,為全面開展驗證打下基礎。之后進行相關應用數據抽取,根據已確定的業務場景需求,抽取源系統數據至HANA,驗證數據抽取服務的有效性,為全面開展驗證打下基礎。
第二階段從2011年10月至2011年12月結束,一共實現了ERP系統14個業務場景。以ERP系統作為數據源,選取計劃、財務、項目、物資、設備、人資6大核心業務的典型分析場景,在HANA中實現分析展示,驗證HANA性能和業務適應性。另外還實現了BW系統8個業務場景。以BW系統作為數據源,重點選取跨專業領域的分析場景,在HANA中實現分析展示,驗證HANA性能和對跨專業分析主題的適應性。營銷系統6個業務場景也全部完成,我們選取營銷系統中性能問題最嚴重的兩個分析主題,將相應數據抽取至HANA中進行分析展示,驗證HANA對于營銷系統場景效率的提升以及對營銷業務的適應性。GIS系統5個業務場景也在項目目標之內,我們選取GIS系統中考核指標統計場景以及數據質量核查場景,將相應數據抽取至HANA中進行分析展示,驗證HANA對于GIS系統場景效率的提升以及對GIS業務的適應性。
在此期間,我們還實現了PMS系統3個業務場景。具體選取了PMS系統中性能要求最高的設備統計以及工單統計場景,將相應數據抽取至HANA中進行分析展示,驗證HANA對于PMS系統場景效率的提升以及對PMS業務的適應性。
第三階段進入基于HANA的推廣應用,2012年1月開始,預計2012年12 月完成。這一階段的重要目標之一是實現高級應用BW,即采用SP3增強包,HANA1.0 SP3,直接作為數據抽取與分析工具,替代BW數據倉庫作用,更加有效的提升數據分析性能,實現實時商務智能分析。其次是實現GIS專題應用。GIS相關的服務需要分析海量的數據,如基礎地理空間數據、電網資源空間數據、基礎地理矢量數據、遙感影像數據、導航等。總結出實時性要求高的場景,利用HANA實現實時分析,加速企業應用;根據GIS與HANA的產品特性,設計適用實用工具,充分發揮GIS與HANA的作用,全面提升業務處理效率。實現營銷專題應用也是我們的目標之一。營銷業務涉及的用戶數據、用電情況等數據量巨大。對營銷數據的分析運用,對于電網收入的及時性、電網負荷預測的有效性等有重要影響。利用HANA“實時”、“極速”的特點,設計有效的分析場景。財務專題應用也是不可或缺的一部分。利用HANA分析海量的財務數據,使財務數據進行更為全面、復雜的分析,做到對復雜業務的快速、實時分析。設計適用企業實際的財務主題分析應用,充分發揮HANA“實時”、“極速”的特點,提高財務監控能力,從而從根本上改善企業經營。
電力信息化用戶參考:一年以來,遼電在大數據處理領域取得了哪些主要成果?
潘明惠:在遼寧電力SAP HANA技術驗證,實現了10類業務36個場景的驗證中,速度平均提升36倍,普遍提升20倍左右,最高可達到863倍。在同一場景下,數據量越大,提升效率越明顯。在已知的零售業驗證中,報表的查詢與執行速度提升了1000倍;物資項目管理從15小時降低到4.8秒;訂單到付款分析,從30天降低到28秒。在IT領域有了重要突破。例如在驗證查詢所有(36個)ERP上線單位的全部資產和設備(9.86G)條件下,使用HANA查詢時間為9秒,使用ERP前臺查詢超時,通過后臺作業查詢時間為7,769秒(2.16小時)(ERP測試系統),性能提升863倍 ,在ERP實時正式運行系統,查詢時間5,574秒(1.58小時),性能提升619倍。 在營銷系統中,在HANA系統中,各個單位可以隨時、實時地查看數據;不僅節省了操作流程,而且查詢的時候,只有初始刷新數據的實時需要等待5秒,隨后更換查詢條件的時候,一點擊,報表立刻就運行出來,不需要等待時間,所以報表整體性能的提升遠大于181倍。
責任編輯:何健
免責聲明:本文僅代表作者個人觀點,與本站無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊
-
曹志剛:我們期待風電成為中國的主力能源
2020-11-17風電,能源,主力能源 -
張鈞:未來配電網內涵特征與發展框架研究
2020-11-03配電網,智能配電網,智能配電網建設研討會 -
習近平:持續增強電力裝備、新能源等領域的全產業鏈優勢
2020-11-02電力裝備,新能源,通信設備
-
曹志剛:我們期待風電成為中國的主力能源
2020-11-17風電,能源,主力能源 -
張鈞:未來配電網內涵特征與發展框架研究
2020-11-03配電網,智能配電網,智能配電網建設研討會 -
杜祥琬:創新觀念,推動能源高質量發展
2020-09-28能源,創新,觀點
-
PPT丨王繼業:電力系統儲能發展與挑戰
2020-10-14儲能,電力儲能,儲能應用 -
奮斗姿態書寫人生底色 銀隆儲能“小哥哥”的職場進擊姿勢
2020-10-12銀隆新能源,儲能,新能源汽車 -
鄒驥:通過發展清潔能源 提高中國公信力
2020-06-28鄒驥,清潔能源,綠色低碳能源
-
習近平:持續增強電力裝備、新能源等領域的全產業鏈優勢
2020-11-02電力裝備,新能源,通信設備 -
重磅 | 發改委發文7月起電價降5%
2020-06-29國家發改委,企業,用電成本,電費 -
李克強:放寬配售電業務市場準入 推動建立市場決定能源價格機制
2019-10-12配售電業務市場準入