據庫中臺賬數據標準規范表進行對比。先判斷是否為空,如果為空則是必填數據,需存入錯誤信息數組;不為空則必填數據不用檢測。完成一個臺賬數據的質量檢測后,對下一個臺賬數據進行質量檢測,最后將結果保存、統計、匯總,關鍵代碼如下：

//把結果數組中的xml格式字符串轉為SimpleXML對象

$result = simplexml_load_string($result[‘Get’.$type.’AccountListResult’]);

$element = $result->$type.’InfoList’->$type.’Account’;

$element = $this->formatSimpleXML($element); //規范格式方便質量檢測

$scheme = M(“sy_scheme”);//將數據規范表實例化

……

//檢測判斷

if(empty($data[0])){//沒有填數據,不再執行check_type

if($is_fill){

$array = $check->addErrorArray($type,$account_id, $label,

$scheme[$i][‘para_name’],$data,0,’為空',$array); //存入錯誤信息數組}}

elseif($check_type){//判斷是否填寫正確

settype($data,”string”);

$array = $check->checkType($check_type,$data,$type,$account_id,$scheme[$i],$array);}

else//不是必填項為空或填寫正確

continue;

}

return $array;

}

在CheckController中用checkType函數判斷是否填寫正確,分為幾種標準規范：無其他要求,有閾值,不能有中文,必須是中文,判斷日期,不帶單位,匹配標準格式,匹配生產廠家編碼,匹配部門編碼。

4.3 實驗結果與分析

在臺賬數據質量檢測功能界面（見圖4）,設計了用戶選擇臺賬數據類型的選項卡,在Web服務地址輸入框,點擊“開始檢測”按鈕,對相應的臺賬數據進行檢測,檢測出的異常數據顯示在表格中（為空的是白色,錯誤的是紅色）;點擊“缺失數據”按鈕只顯示錯誤類型為空的數據,點擊“錯誤數據”按鈕顯示錯誤類型為填錯的數據。

圖4 臺賬數據質量檢測界面Fig.4 Accountdata quality detection interface

點擊“生成報表”,對異常數據進行統計,生成的臺賬數據檢測報表如圖5所示。

圖5 臺賬數據檢測報表Fig.5 Account data detection report

 5 數據質量提升對策

1）集中對PMS數據錄入人員展開培訓,重點關注PMS系統中對輸入規范沒有明確要求的相關屬性,將培訓考核結果與后續工作完成質量同時納入日常工作考核范圍,提升后續工作效率。

2）PMS系統根據各類數據的格式要求,明確數據填寫規范,包括填寫內容的格式、上下限、統一命名及編碼規范等,同時還可設置數據過濾功能,在數據入庫前進行多次問題反饋與整改。

3）根據不同類型數據的需求,在系統內添加部分數據修復與缺失數據填充的功能,例如字段要求為不可添加單位,則可以自動將錯誤值后綴字母部分去除;缺失字段若有填寫正確的關聯字段,可通過固定關聯關系進行填補。需要注意的是,在數據修復與填補功能準確度不夠高的情況下,需要生成報表進行人工確認后才可對實際數據進行操作。

 6 結語

隨著國家電網公司臺賬數據量的日益增加,臺賬數據質量的檢測耗時變得越來越長,本文設計開發了一套PMS臺賬數據服務及數據質量檢測軟件,用自動化的檢測替代人工檢查方式,提高供電企業數據質量檢測工作的檢測速度,解決臺賬數據質量檢測難題,能夠將缺失數據和錯誤數據成功并精確地檢測出來。系統還需要進一步的完善,在提高檢測性能的同時,補充對更多類型臺賬數據檢測的功能,最終實現系統功能完備、操作便捷的目標。

(編輯:張欽芝)

參考文獻

[1] 張玉環, 李德超, 趙輝. PMS系統設備臺賬數據準確性核查方法研究[J]. 現代工業經濟和信息化, 2016, 6(22): 99-100.

ZHANG Yu-huan, LI De-chao, ZHAO Hui.Study on checking method for data veracity of PMS system’s equipment accounts[J]. Modern Industrial Economy and Informationization, 2016, 6(22): 99-100.

[2] 包陽, 齊璇, 李海龍. 大型軟件系統數據質量問題研究[J]. 計算機工程與設計, 2011, 32(3): 963-967, 987.

BAO Yang, QI Xuan, LI Hai-long.Research on data quality of large-scale software system[J]. Computer Engineering and Design, 2011, 32(3): 963-967, 987.

[3] 孫鵬, 馬素霞. 基于IEC 61970標準及Web服務的電能質量異常數據檢測系統研究[J]. 電力信息與通信技術, 2015, 13(6): 87-91.

SUN Peng, MA Su-xia.Research on the power quality outlier data detection system based on IEC 61970 and web service[J]. Electric Power Information and Communication Technology, 2015, 13(6): 87-91.

[4] 趙秀平, 吳爽, 馬素霞. 電能質量基礎數據服務質量檢測系統研究[J]. 電力信息與通信技術, 2016, 14(2): 113-118.

ZHAO Xiu-ping, WU Shuang, MA Su-xia.Research on power quality basic data service quality detection system[J]. Electric Power Information and Communication Technology, 2016, 14(2): 113-118.

[5] 趙曉鋒, 周慶捷, 王志利, 等. PMS實用化分析評價體系和數據質量提升的研究[J]. 電力信息與通信技術, 2015, 13(7): 101-106.

ZHAO Xiao-feng, ZHOU Qing-jie, WANG Zhi-li, et al.Research on the PMS practical analysis and evaluation system and the improvement of data quality[J]. Electric Power Information and Communication Technology, 2015, 13(7): 101-106.

[6] 欒富君. 電能質量基礎數據服務及檢測系統研究[D]. 北京: 華北電力大學, 2014.

[7] 陳孟婕. 數據質量管理與數據清洗技術的研究與應用[D]. 北京: 北京郵電大學, 2013.

[8] 張亮. 電力調度數據中心數據質量問題研究[J]. 華東電力, 2009, 38(3): 403-406.

ZHANG Liang.Research on data quality for electric power dispatch data centers[J]. East China Electric Power, 2009, 38(3): 403-406.

[9] 王晶. 電力系統異常數據檢測辨識方法綜述[J]. 電力與能源, 2015, 36(6): 813-817.

WANG Jing.A survey on power system bad data detection and identification[J]. Power & Energy, 2015,36(6): 813-817.

[10] 楊沖. 電能質量數據服務檢測系統研究[D]. 北京: 華北電力大學, 2015.

[11] 朱靜然. 多系統GNSS實時數據質量分析及軟件實現[D]. 南京: 東南大學, 2015.

[12] 凌云. 數據質量評估方法研究[D]. 成都: 四川師范大學, 2015.