辨析氣象大數(shù)據(jù)
2015年9月5日,《國務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知》正式發(fā)布,在全社會(huì)引起廣泛影響。在此前后,社會(huì)上的大數(shù)據(jù)浪潮洶涌澎湃,推動(dòng)著每一個(gè)行業(yè)、部門和企業(yè)。一些單位和部門急于“搶占大數(shù)據(jù)制高點(diǎn)”,紛紛出臺(tái)了一系列政策、措施、機(jī)構(gòu)和項(xiàng)目。氣象部門也不例外,以氣象大數(shù)據(jù)為名上項(xiàng)目、搞工程的苗頭已經(jīng)出現(xiàn)。
如何認(rèn)識(shí)大數(shù)據(jù),大數(shù)據(jù)是否適用于氣象部門,以及適用于哪些領(lǐng)域,是氣象部門決策機(jī)構(gòu)需要思考、分析和綜合歸納的問題,因?yàn)槔迩暹@些問題有助于避免工作中的盲目性并減少失誤。
從應(yīng)用看數(shù)據(jù)
數(shù)據(jù)是服務(wù)于應(yīng)用的,大數(shù)據(jù)也不例外。
當(dāng)一個(gè)新的應(yīng)用出現(xiàn),現(xiàn)有業(yè)務(wù)數(shù)據(jù)無法滿足其數(shù)據(jù)需求時(shí),必須尋找新的數(shù)據(jù)源。在尋找過程中,如果自行采集數(shù)據(jù)能夠滿足需求,且成本能夠接受,則采取該方式是最好的選擇,因?yàn)椴杉倪^程和方法受需求者控制,所采集的數(shù)據(jù)最接近需求(如“十一五”、“十二五”期間氣象部門建設(shè)的全國天氣雷達(dá)站網(wǎng)及遍布全國所有鄉(xiāng)鎮(zhèn)的地面自動(dòng)氣象站等)。
而當(dāng)自行采集的成本過于昂貴,以致無法承受時(shí),選用替代數(shù)據(jù)便是將工作繼續(xù)進(jìn)行下去的唯一選擇了。
以往信息相對(duì)貧乏的年代,可供選擇的合適的替代數(shù)據(jù)不多,許多工作因而無法開展。互聯(lián)網(wǎng)時(shí)代信息量暴增,替代數(shù)據(jù)的選擇范圍有了很大改善,使得許多過去無法開展的工作,現(xiàn)在有可能開展起來了。
然而,由于這些替代數(shù)據(jù)自身不是因本需求而產(chǎn)生的,故不可避免地存在諸如體量雖大但針對(duì)本需求所需的信息稀薄,信息質(zhì)量不高,故難以得到確切結(jié)論,許多現(xiàn)象和結(jié)論難以解釋等痼疾。
于是,“是全體數(shù)據(jù)而不是樣本數(shù)據(jù)、是模糊結(jié)論而不是精確結(jié)論、是相關(guān)關(guān)系而不是因果關(guān)系”的大數(shù)據(jù)的理念和方法由此產(chǎn)生。
從應(yīng)用的角度評(píng)價(jià)大數(shù)據(jù),我們可以得出以下結(jié)論:
雖然就數(shù)據(jù)血統(tǒng)而言,大數(shù)據(jù)在實(shí)際應(yīng)用中往往不屬于專為本應(yīng)用采
集的血統(tǒng)純正的數(shù)據(jù),但它的存在和被使用卻是使得眾多創(chuàng)新應(yīng)用得以實(shí)現(xiàn)。因此大數(shù)據(jù)是資源。
當(dāng)今新的時(shí)代已經(jīng)進(jìn)入信息經(jīng)濟(jì)和知識(shí)經(jīng)濟(jì)的新時(shí)代,這是一個(gè)以信息和知識(shí)為基礎(chǔ)的經(jīng)濟(jì),是一個(gè)在更大程度上依賴于在生產(chǎn)、分配和使用等各個(gè)環(huán)節(jié)中知識(shí)和信息所作貢獻(xiàn)的新的經(jīng)濟(jì)。因此大數(shù)據(jù)是新的生產(chǎn)力要素。
大數(shù)據(jù)可能提供有價(jià)值的參考信息,包括:
■大數(shù)據(jù)可能為政府的科學(xué)決策提供有價(jià)值的參考信息。
■大數(shù)據(jù)可能對(duì)企業(yè)的業(yè)務(wù)改進(jìn)提供數(shù)據(jù)支持和信息支持。
■大數(shù)據(jù)可能為一些社會(huì)科學(xué)領(lǐng)域的學(xué)科研究提供有價(jià)值的信息。
■大數(shù)據(jù)甚至有可能對(duì)自然科學(xué)研究中的一些新的科學(xué)機(jī)理的發(fā)現(xiàn)提供參考信息。
與此同時(shí),不能指望單靠大數(shù)據(jù)就能全面提高政府決策水平。因?yàn)闆Q策依賴于多方面信息的綜合,大數(shù)據(jù)只是提供信息的途徑之一,僅靠它是無法解決政府決策的諸多問題的。
高層決策主要面對(duì)的是諸多不確定性環(huán)境,需要廣闊的視野與豐富的經(jīng)驗(yàn)。深厚的歷史背景、細(xì)微的地緣差異、復(fù)雜的宗教派系之爭(zhēng)以及民族間的矛盾等,這些因素交織在一起,關(guān)系復(fù)雜而頭緒繁多,遠(yuǎn)非數(shù)據(jù)統(tǒng)計(jì)分析那樣簡(jiǎn)單。
大數(shù)據(jù)能夠?yàn)樾姓Q策提供一項(xiàng)或多項(xiàng)較為準(zhǔn)確的參考信息,改善影響決策的信息的質(zhì)量,但信息的綜合和最終的決策必須依靠人。
另外,大數(shù)據(jù)不可能直接解決科學(xué)機(jī)理問題。從大數(shù)據(jù)“模糊而非精確”、“只求相關(guān)而非探究因果”的理念可以看出,大數(shù)據(jù)只關(guān)注于現(xiàn)象之間的關(guān)聯(lián)性,但不探究這些關(guān)聯(lián)背后的因果關(guān)系,但求知其然,而不愿,甚至不屑探究其所以然。
之所以如此,是與大數(shù)據(jù)的理論構(gòu)建者所固有的對(duì)世界的認(rèn)知:“混亂構(gòu)成了世界的本質(zhì),也構(gòu)成了人腦的本質(zhì)”的哲學(xué)觀所決定的。
本文無意在此探討哲學(xué)問題,但由此可以推斷:就認(rèn)識(shí)論而言,大數(shù)據(jù)屬于經(jīng)驗(yàn)主義范疇,它無法直接解決科學(xué)問題,尤其是以科學(xué)機(jī)理(即所謂因果關(guān)系)為核心的氣象預(yù)報(bào)科學(xué)問題。
在氣象理論研究領(lǐng)域,大數(shù)據(jù)可能的貢獻(xiàn)在于提供參考信息(如具有一定關(guān)聯(lián)度的氣象要素組合等),以供氣象科學(xué)家們分析研究。
數(shù)據(jù)的管理和處理技術(shù)不是問題
就數(shù)據(jù)本身而言,氣象大數(shù)據(jù)是指所有與氣象工作相關(guān)的數(shù)據(jù)總和;從來源渠道劃分,氣象大數(shù)據(jù)可分為“氣象行業(yè)大數(shù)據(jù)”和“氣象互聯(lián)網(wǎng)大數(shù)據(jù)”兩類。
其中,“氣象行業(yè)大數(shù)據(jù)”由與氣象部門各項(xiàng)工作相關(guān)、且產(chǎn)生自氣象部門內(nèi)部的所有數(shù)據(jù)組成,包括由氣象部門建設(shè)的、具有國內(nèi)最高專業(yè)水準(zhǔn)的氣象探測(cè)體系所產(chǎn)生的氣象專業(yè)探測(cè)數(shù)據(jù),其他部門自行采集、通過數(shù)據(jù)共享/交換等方式匯聚到氣象部門、且經(jīng)過氣象部門嚴(yán)格質(zhì)量控制的氣象要素探測(cè)數(shù)據(jù),由氣象業(yè)務(wù)部門和業(yè)務(wù)系統(tǒng)產(chǎn)生的各類氣象服務(wù)產(chǎn)品數(shù)據(jù)、派生數(shù)據(jù)及中間產(chǎn)品數(shù)據(jù),職能部門各管理系統(tǒng)(如財(cái)務(wù)系統(tǒng)、人力資源系統(tǒng)、項(xiàng)目管理系統(tǒng)等)所產(chǎn)生和管理的數(shù)據(jù),各業(yè)務(wù)和管理系統(tǒng)的狀態(tài)數(shù)據(jù)和日志數(shù)據(jù)等。
“氣象互聯(lián)網(wǎng)大數(shù)據(jù)”由互聯(lián)網(wǎng)上與氣象相關(guān)的所有數(shù)據(jù)組成,包括移動(dòng)終端搭載的氣象要素傳感設(shè)備的探測(cè)數(shù)據(jù),網(wǎng)友隨手拍并上傳的天氣狀態(tài)照片,搜索引擎對(duì)氣象相關(guān)敏感詞的統(tǒng)計(jì)分析數(shù)據(jù),其他所有可供氣象部門業(yè)務(wù)和服務(wù)應(yīng)用的互聯(lián)網(wǎng)數(shù)據(jù)等。
“氣象行業(yè)大數(shù)據(jù)”與“氣象互聯(lián)網(wǎng)大數(shù)據(jù)”間存在很大差異,簡(jiǎn)言之,“氣象行業(yè)大數(shù)據(jù)”屬于氣象業(yè)務(wù)數(shù)據(jù),其生成的直接目標(biāo)是服務(wù)于氣象業(yè)務(wù)和工作的,故其氣象信息濃度高、各種技術(shù)指標(biāo)亦最為符合氣象業(yè)務(wù)和工作的各項(xiàng)要求。“氣象互聯(lián)網(wǎng)大數(shù)據(jù)”則不然,它不是專為氣象工作而生成的,它產(chǎn)自于其他非氣象部門的行業(yè)、企業(yè),是為滿足這些行業(yè)和企業(yè)自身業(yè)務(wù)目標(biāo)而生成的。這些數(shù)據(jù)之所以被納入“氣象互聯(lián)網(wǎng)大數(shù)據(jù)”的范圍,是因?yàn)檫@些數(shù)據(jù)包含有與特定氣象應(yīng)用相關(guān)的信息內(nèi)容,而這些內(nèi)容是氣象行業(yè)大數(shù)據(jù)所缺乏的;也就是說,這些數(shù)據(jù)是為彌補(bǔ)氣象行業(yè)大數(shù)據(jù)在內(nèi)容和時(shí)空密度等方面的不足而從互聯(lián)網(wǎng)上收集來的;故其氣象信息的濃度、數(shù)據(jù)質(zhì)量等參差不齊,各項(xiàng)技術(shù)指標(biāo)也往往差強(qiáng)人意。
即便就氣象要素而言,兩者之間也存在明顯差異。從性質(zhì)上考察,氣象行業(yè)大數(shù)據(jù)屬于“氣象業(yè)務(wù)數(shù)據(jù)”范疇,即每類數(shù)據(jù)都有其特定的使用目的、使用對(duì)象及數(shù)據(jù)形態(tài),且所有數(shù)據(jù)的初始目的都是圍繞滿足氣象部門自身運(yùn)轉(zhuǎn)所特有的數(shù)據(jù)需求的。
從體量上衡量,“氣象行業(yè)大數(shù)據(jù)”雖可勉強(qiáng)躋身大數(shù)據(jù)行列(PB級(jí)),但較之互聯(lián)網(wǎng)公司而言,仍有至少2~4個(gè)數(shù)量級(jí)之間的差距。以目前業(yè)界現(xiàn)有處理技術(shù),完全可以滿足“氣象行業(yè)大數(shù)據(jù)”在分析處理方面的時(shí)效要求(數(shù)值預(yù)報(bào)除外)。因此對(duì)于“氣象行業(yè)大數(shù)據(jù)”而言,單純的管理和處理技術(shù)不是問題所在。
不是提高預(yù)報(bào)準(zhǔn)確率的終南捷徑
將大數(shù)據(jù)理念和方法全面應(yīng)用到氣象部門,在部門內(nèi)開展氣象大數(shù)據(jù)工作,能否有效提高預(yù)報(bào)準(zhǔn)確率,這是我們首先必須正面回答的問題。
觀測(cè)數(shù)據(jù)和科學(xué)研究是氣象學(xué)科的主要支撐。如果沒有氣象科學(xué)家天才卓越的分析研究成果,氣象觀測(cè)資料便僅僅是一堆天氣現(xiàn)象的記錄數(shù)據(jù)。因此對(duì)于氣象學(xué)科而言,觀測(cè)數(shù)據(jù)/產(chǎn)品和科學(xué)分析研究,二者缺一不可。
氣象業(yè)務(wù)的現(xiàn)代化水平最終體現(xiàn)在氣象預(yù)報(bào)的準(zhǔn)確率,所追求的恰恰就是精確和及時(shí)。如果不掌握天氣變化的內(nèi)在規(guī)律,單憑現(xiàn)象要素之間相關(guān)性的強(qiáng)弱,是很難達(dá)到及時(shí)精確預(yù)報(bào)的要求的。
“大數(shù)據(jù)”所推崇的統(tǒng)計(jì)分析方法,氣象部門早在數(shù)十年前便已悉數(shù)使用,并不陌生。
但這并不意味著氣象部門在該領(lǐng)域的科學(xué)研究止步于此。事實(shí)上,目前基于動(dòng)力框架的氣候數(shù)值預(yù)報(bào)模式(尤其是集合預(yù)報(bào)模式等)等方法一直在積極地試驗(yàn)和嘗試使用之中,目的就在于探索能夠有效發(fā)現(xiàn)氣候變化規(guī)律的路徑和方法——雖然氣候統(tǒng)計(jì)預(yù)測(cè)方法仍在使用之中。目前數(shù)值天氣預(yù)報(bào)和數(shù)值氣候預(yù)測(cè)中所大量采用的集合預(yù)報(bào)方法,就是“因果”與“相關(guān)”、機(jī)理與統(tǒng)計(jì)之間有機(jī)結(jié)合的一種嘗試。
與一般大數(shù)據(jù)所使用的數(shù)據(jù)源不同,氣象行業(yè)大數(shù)據(jù)中的氣象觀測(cè)數(shù)據(jù)及產(chǎn)品是專門為氣象預(yù)報(bào)業(yè)務(wù)工作而采集的,其時(shí)空分布、數(shù)據(jù)質(zhì)量及其他各種技術(shù)指標(biāo)最符合氣象業(yè)務(wù)的各項(xiàng)要求,氣象業(yè)務(wù)所需信息的濃度也最高。
比較而言,氣象互聯(lián)網(wǎng)大數(shù)據(jù)的氣象信息密度不高,數(shù)據(jù)質(zhì)量也難以保證,其他技術(shù)指標(biāo)更是難以保證滿足氣象應(yīng)用的需求。因此,從氣象行業(yè)大數(shù)據(jù)中的氣象觀測(cè)數(shù)據(jù)和產(chǎn)品產(chǎn)生出來的統(tǒng)計(jì)分析結(jié)論以及學(xué)科科學(xué)機(jī)理的發(fā)現(xiàn)是具有權(quán)威性的。就預(yù)報(bào)準(zhǔn)確率而言,氣象觀測(cè)數(shù)據(jù)/產(chǎn)品是所有數(shù)據(jù)中最重要的貢獻(xiàn)者,氣象互聯(lián)網(wǎng)大數(shù)據(jù)是它的補(bǔ)充而絕非替代者。
大數(shù)據(jù)理念和方法并非提高預(yù)報(bào)準(zhǔn)確率的終南捷徑。當(dāng)然,筆者并不否認(rèn)大數(shù)據(jù)方法在客觀預(yù)報(bào)產(chǎn)品解釋應(yīng)用方面對(duì)預(yù)報(bào)效果的改善有所幫助等正面作用,但這終究是輔助性、修飾性的,不是提高預(yù)報(bào)準(zhǔn)確率的根本途徑,且效果難以具體量化。
追求預(yù)報(bào)準(zhǔn)確率只能靠觀測(cè)數(shù)據(jù)和產(chǎn)品在時(shí)空密度和質(zhì)量上的不斷提高以及科學(xué)家們辛勤的分析研究。對(duì)提高預(yù)報(bào)準(zhǔn)確率貢獻(xiàn)價(jià)值最高的仍然是氣象觀測(cè)數(shù)據(jù)及產(chǎn)品,因此研制出高質(zhì)量、高時(shí)空密度的氣象觀測(cè)產(chǎn)品數(shù)據(jù),仍將是提高預(yù)報(bào)準(zhǔn)確率以及氣象科學(xué)研究最重要的基礎(chǔ)性工作。科學(xué)研究工作,沒有捷徑可走,在這里“工匠精神”永遠(yuǎn)不會(huì)過時(shí)。
價(jià)值分析
氣象部門之所以引進(jìn)大數(shù)據(jù)理念和方法,并非為了大數(shù)據(jù)而大數(shù)據(jù),而是為了解決實(shí)際工作中存在的問題。因此,氣象大數(shù)據(jù)必須以業(yè)務(wù)和工作需求為引領(lǐng)。當(dāng)業(yè)務(wù)或工作中出現(xiàn)的問題沒有合適的數(shù)據(jù)信息,或者雖有數(shù)據(jù)但常規(guī)處理方法無助于問題的解決時(shí),氣象大數(shù)據(jù)也許是一種可以嘗試的解決途徑。
“氣象行業(yè)大數(shù)據(jù)”產(chǎn)生自氣象部門,是氣象部門賴以運(yùn)轉(zhuǎn)的最主要資源,同時(shí)也是氣象部門各項(xiàng)工作的記錄載體,在所有數(shù)據(jù)資源中,它所含有的氣象信息最濃;故其應(yīng)用領(lǐng)域首先應(yīng)在于氣象部門業(yè)務(wù)工作的有效運(yùn)轉(zhuǎn),其次才是社會(huì)服務(wù)。“氣象行業(yè)大數(shù)據(jù)”潛在價(jià)值的挖掘和發(fā)揮,也應(yīng)當(dāng)以提高氣象部門工作能力為首要目標(biāo)。用好“氣象行業(yè)大數(shù)據(jù)”,是開展氣象大數(shù)據(jù)工作的重要內(nèi)容和檢驗(yàn)指標(biāo)。
與此同時(shí),“氣象行業(yè)大數(shù)據(jù)”與“氣象互聯(lián)網(wǎng)大數(shù)據(jù)”之間的有效融合,有可能大幅提高氣象觀探測(cè)的時(shí)空密度。
數(shù)據(jù)是為應(yīng)用服務(wù)的,氣象大數(shù)據(jù)必須將業(yè)務(wù)和工作做為最主要的引領(lǐng)。氣象大數(shù)據(jù)戰(zhàn)略的首要內(nèi)容,不是數(shù)據(jù)的收集、數(shù)據(jù)源的拓展以及海量數(shù)據(jù)的管理技術(shù),而是氣象工作的持續(xù)創(chuàng)新。在技術(shù)創(chuàng)新、原理創(chuàng)新、概念創(chuàng)新和思想創(chuàng)新的氛圍中,不斷涌現(xiàn)出新的應(yīng)用,根據(jù)新應(yīng)用在信息和數(shù)據(jù)需求方面的特點(diǎn),充分發(fā)掘現(xiàn)有數(shù)據(jù)資源的價(jià)值,同時(shí)有針對(duì)性地尋找并拓展新的數(shù)據(jù)資源,合理運(yùn)用大數(shù)據(jù)有關(guān)技術(shù),處理并提煉出新的有價(jià)值的信息,以推進(jìn)創(chuàng)新的不斷實(shí)現(xiàn)。與此同時(shí),由于創(chuàng)新本身是不同概念之間的有機(jī)連接和融合,多角度的觀察會(huì)增加概念連接的機(jī)會(huì),大數(shù)據(jù)所固有的關(guān)聯(lián)分析以及由此產(chǎn)生的相關(guān)事物的現(xiàn)象信息,對(duì)開拓概念連接的范圍會(huì)有所幫助,對(duì)氣象部門在新形勢(shì)下的創(chuàng)新當(dāng)有所裨益。
于是,初始創(chuàng)新啟動(dòng)大數(shù)據(jù)應(yīng)用,大數(shù)據(jù)應(yīng)用促進(jìn)新的創(chuàng)新——這應(yīng)該是氣象大數(shù)據(jù)戰(zhàn)略的基本輪廓。
責(zé)任編輯:大云網(wǎng)
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計(jì)落地:鼓勵(lì)“光儲(chǔ)充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計(jì) -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng)
-
新基建助推 數(shù)據(jù)中心建設(shè)將迎爆發(fā)期
2020-06-16數(shù)據(jù)中心,能源互聯(lián)網(wǎng),電力新基建 -
泛在電力物聯(lián)網(wǎng)建設(shè)下看電網(wǎng)企業(yè)數(shù)據(jù)變現(xiàn)之路
2019-11-12泛在電力物聯(lián)網(wǎng) -
泛在電力物聯(lián)網(wǎng)建設(shè)典型實(shí)踐案例
2019-10-15泛在電力物聯(lián)網(wǎng)案例
-
新基建之充電樁“火”了 想進(jìn)這個(gè)行業(yè)要“心里有底”
2020-06-16充電樁,充電基礎(chǔ)設(shè)施,電力新基建 -
燃料電池汽車駛?cè)雽こ0傩占疫€要多久?
-
備戰(zhàn)全面電動(dòng)化 多部委及央企“定調(diào)”充電樁配套節(jié)奏
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計(jì)落地:鼓勵(lì)“光儲(chǔ)充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計(jì) -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長(zhǎng)期助力儲(chǔ)能行業(yè)發(fā)展
-
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng) -
5G新基建助力智能電網(wǎng)發(fā)展
2020-06-125G,智能電網(wǎng),配電網(wǎng) -
從智能電網(wǎng)到智能城市
-
山西省首座電力與通信共享電力鐵塔試點(diǎn)成功
-
中國電建公司公共資源交易服務(wù)平臺(tái)摘得電力創(chuàng)新大獎(jiǎng)
-
電力系統(tǒng)對(duì)UPS的技術(shù)要求