“大數(shù)據(jù)”時(shí)代的計(jì)算機(jī)信息處理技術(shù)及其應(yīng)用

李超

(江西外語(yǔ)外貿(mào)職業(yè)學(xué)院，江西南昌330099)

摘要：本文提出基于大數(shù)據(jù)技術(shù)應(yīng)用于計(jì)算機(jī)信息處理技術(shù)的設(shè)想。

關(guān)鍵詞：大數(shù)據(jù)時(shí)代;計(jì)算機(jī)信息處理

隨著計(jì)算機(jī)信息處理技術(shù)與各行各業(yè)傳統(tǒng)技術(shù)的廣泛和深度的融合，產(chǎn)生了各種各樣獨(dú)具特色的生產(chǎn)生活工具和設(shè)備，都不同程度的具有數(shù)字化、自動(dòng)化、信息化、智能化特征，正在并且繼續(xù)深刻影響和改變?nèi)祟惖纳a(chǎn)生活方式。現(xiàn)代社會(huì)的高速發(fā)展到現(xiàn)階段的顯著特征是，人類自身及其他各種事物隨時(shí)產(chǎn)生、高速傳遞極具爆炸性增長(zhǎng)的海量的多樣化的信息數(shù)據(jù)，這就是現(xiàn)階段人類所處的大數(shù)據(jù)時(shí)代。

面對(duì)海量的信息數(shù)據(jù)資源，人類憑借傳統(tǒng)的經(jīng)驗(yàn)和直覺作出行為決策的方式，往往導(dǎo)致效率低下，無(wú)所適從。

大數(shù)據(jù)時(shí)代基于大數(shù)據(jù)分析技術(shù)的海量信息數(shù)據(jù)量化分析理念與成果以及信息數(shù)據(jù)安全性，無(wú)論是對(duì)于國(guó)家治理發(fā)展的戰(zhàn)略決策、對(duì)于各領(lǐng)域企業(yè)事業(yè)單位的創(chuàng)新發(fā)展管理模式制定，還是對(duì)于個(gè)人職業(yè)生活發(fā)展規(guī)劃，都有極其重要的引領(lǐng)指導(dǎo)意義和現(xiàn)實(shí)意義。

本文提出基于云技術(shù)的大數(shù)據(jù)技術(shù)應(yīng)用于計(jì)算機(jī)信息處理技術(shù)的設(shè)想，以不斷創(chuàng)新的計(jì)算機(jī)信息處理技術(shù)模式和方法，實(shí)現(xiàn)大數(shù)據(jù)時(shí)伐海量信息數(shù)據(jù)量化分析優(yōu)化。

一、大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息處理技術(shù)基本知識(shí)簡(jiǎn)介

(一)大數(shù)據(jù)概念

大數(shù)據(jù)(big date)是指現(xiàn)階段規(guī)模大到在獲取、存儲(chǔ)、管理、分析等方面大大超出傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的、對(duì)所有海量數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析法處理的數(shù)據(jù)集合。是計(jì)算機(jī)互聯(lián)網(wǎng)技術(shù)與應(yīng)用發(fā)展到現(xiàn)階段的海量信息數(shù)據(jù)特征表現(xiàn)。

(二)大數(shù)據(jù)信息特征

大數(shù)據(jù)信息具有數(shù)據(jù)海量(Volume)、高速流轉(zhuǎn)(Velocity)、數(shù)據(jù)類型多樣(Velocity)、價(jià)值密度低(Value)、真實(shí),(Vemcity)的特點(diǎn)。大數(shù)據(jù)時(shí)代對(duì)于信息數(shù)據(jù)獲取、存儲(chǔ)、搜索、共享、分析、數(shù)據(jù)可視化呈現(xiàn)，都有前所未有的更高要求。

1)數(shù)據(jù)海量(Volume)：現(xiàn)階段大數(shù)據(jù)的基本計(jì)量單位是PB，數(shù)據(jù)量越大包含有價(jià)值的就越多。

1DB=1024NB,lNB=1 024BB.1BB=1 024YB.

1YB=1024ZB.1ZB=1024EB.1EB=1024PB.

1PB=1024TB.1TB=1024GB.1GB=1024MB.

1MB=1024KB.1KB=1024B.1B=8bit

2)數(shù)據(jù)類型多樣(Varietv)：包括多媒體信息、網(wǎng)絡(luò)日志、地理位置等，對(duì)數(shù)據(jù)處理能為有更高要求。

3)價(jià)值密度低(Value)：信息量巨大，單個(gè)信息數(shù)據(jù)價(jià)值密度低，對(duì)機(jī)器算法快速性和有效性有更高要求。

4)高速流轉(zhuǎn)(Velocity)：對(duì)于信息數(shù)據(jù)采集挖掘處理速度和時(shí)效性有更高要求。

5)數(shù)據(jù)可視化呈現(xiàn)：把數(shù)據(jù)及其規(guī)律以圖形圖像直觀表示并隨時(shí)間和空間變化。

(三)大數(shù)據(jù)時(shí)代計(jì)算機(jī)信想處理基本思想

1)是全體信息數(shù)據(jù)，而不是隨機(jī)采樣數(shù)據(jù)。面對(duì)海量信息數(shù)據(jù)，利用計(jì)算機(jī)信息處理技術(shù)對(duì)全體信息數(shù)據(jù)進(jìn)行相關(guān)分析，而不是依賴于傳統(tǒng)的在一定時(shí)間范圍內(nèi)用隨機(jī)采樣信息分析法。

2)是宏觀發(fā)展態(tài)勢(shì)，而不是微觀精細(xì)準(zhǔn)確。面對(duì)海量信息數(shù)據(jù)，掌握特征事物宏觀層面發(fā)展態(tài)勢(shì)，而不追究微觀層面精細(xì)準(zhǔn)確。

3)是相關(guān)關(guān)系，而不是因果關(guān)系。在大數(shù)據(jù)時(shí)代，通過尋求事物之間的相關(guān)關(guān)系，研判特征事物正在發(fā)生的事態(tài)。而不是追尋事物之間的因果關(guān)系。

(四)大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息處理技術(shù)基本方法

大數(shù)據(jù)時(shí)代海量的信息數(shù)據(jù)處理需求，直接催生了全新的云技術(shù)、云計(jì)算信息數(shù)據(jù)處理模式的產(chǎn)生。云技術(shù)、云計(jì)算是基于互聯(lián)網(wǎng)的、根據(jù)需求虛擬優(yōu)化配置共享計(jì)算機(jī)硬件軟件資源的計(jì)算方法，云技術(shù)、云計(jì)算是分布式計(jì)算、并行計(jì)算、效用計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、虛擬化、負(fù)債均衡、熱備份冗余等專業(yè)技術(shù)的綜合集合。云技術(shù)、云計(jì)算為大數(shù)據(jù)處理提供技術(shù)支撐平臺(tái)。云技術(shù)的思維模式基于太陽(yáng)電腦( Sun Microsystems)在1983年提出的“網(wǎng)絡(luò)就是計(jì)算機(jī)”的理念(TheNetwork is the Computer J.

大數(shù)據(jù)時(shí)代信息處理技術(shù)就是針對(duì)分布式構(gòu)架下計(jì)算機(jī)互聯(lián)網(wǎng)絡(luò)中的海量信息數(shù)據(jù)，首先是建立云數(shù)據(jù)庫(kù)并進(jìn)行分布式特征信息數(shù)據(jù)挖掘和存儲(chǔ)，其次根據(jù)需求建立數(shù)據(jù)模型體系，然后綜合運(yùn)用云計(jì)算、云存儲(chǔ)、云安全和虛擬化技術(shù)根據(jù)需求優(yōu)化配置網(wǎng)絡(luò)資源，進(jìn)行云計(jì)算處理分析并產(chǎn)生特征信息數(shù)據(jù)規(guī)律性呈現(xiàn)結(jié)果的綜合高效信息數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)側(cè)重于資源處理，云計(jì)算側(cè)重于資源分配。

二、大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息處理技術(shù)應(yīng)用

面對(duì)大數(shù)據(jù)時(shí)代的海量信息數(shù)據(jù)的采集、處理、存儲(chǔ)、傳輸需求，全面提升優(yōu)化計(jì)算機(jī)信息處理系統(tǒng)的信息處理能力和存儲(chǔ)能力，是廣大從業(yè)者努力工作的方向和目標(biāo)。

運(yùn)用云技術(shù)從海量信息數(shù)據(jù)中，通過對(duì)特征相關(guān)信息數(shù)據(jù)采集準(zhǔn)備、數(shù)據(jù)規(guī)律性尋找、數(shù)據(jù)規(guī)律性可視化表示等環(huán)節(jié)，掌握事物各方面發(fā)展的規(guī)律性，為掌握事物歷史和現(xiàn)在狀態(tài)以及后續(xù)發(fā)展研判，提供科學(xué)高效規(guī)劃決策依據(jù)。

(一)大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息數(shù)據(jù)挖掘采集加工傳輸技術(shù) 面對(duì)大數(shù)據(jù)時(shí)代的海量信息數(shù)據(jù)，通過分布式數(shù)據(jù)挖掘和存儲(chǔ)技術(shù)，對(duì)特征信息數(shù)據(jù)進(jìn)行搜索、篩選、分類、分析、整理、存儲(chǔ)、傳播和實(shí)時(shí)監(jiān)控等一系列采集加工傳輸處理技術(shù)，發(fā)現(xiàn)數(shù)據(jù)之間的相關(guān)關(guān)系，篩選保留有用數(shù)據(jù)，剔除無(wú)用數(shù)據(jù)，為后續(xù)數(shù)據(jù)分析處理提供豐富準(zhǔn)確可靠的原始信息數(shù)據(jù)。

(二)大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息數(shù)據(jù)存儲(chǔ)技術(shù)

一方面是對(duì)現(xiàn)有互聯(lián)網(wǎng)平臺(tái)借助云技術(shù)云存儲(chǔ)技術(shù)，實(shí)現(xiàn)存儲(chǔ)資源動(dòng)態(tài)優(yōu)化配置。把廣域分布式的數(shù)據(jù)文件進(jìn)行集群應(yīng)用，使得不同類型廣域分布的存儲(chǔ)設(shè)備協(xié)同工作。也就是把互聯(lián)網(wǎng)中的所有存儲(chǔ)設(shè)備，通過應(yīng)用軟件協(xié)調(diào)管理并共同對(duì)互聯(lián)網(wǎng)用戶提供數(shù)據(jù)存儲(chǔ)與業(yè)務(wù)訪問功能的技術(shù)。

另一方面積極開發(fā)新型計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)，提高儲(chǔ)存容量。

(三)大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息數(shù)據(jù)計(jì)算處理技術(shù)

一方面是對(duì)現(xiàn)有互聯(lián)網(wǎng)平臺(tái)借助云技術(shù)云計(jì)算技術(shù)，實(shí)現(xiàn)計(jì)算能力資源動(dòng)態(tài)優(yōu)化配置。把廣域分布式的計(jì)算機(jī)進(jìn)行集群應(yīng)用，使得不同類型廣域分布的計(jì)算機(jī)協(xié)同工作。也就是把互聯(lián)網(wǎng)中的所有計(jì)算機(jī)，通過應(yīng)用軟件協(xié)調(diào)管理并共同對(duì)互聯(lián)網(wǎng)用戶提供數(shù)據(jù)計(jì)算處理功能的技術(shù)。

另一方面積極開發(fā)各種新的現(xiàn)代計(jì)算機(jī)智能算法，通過對(duì)自然界生物生存機(jī)理和策略的模擬過程，啟迪開發(fā)適用于特定領(lǐng)域的具有特定功能的現(xiàn)代計(jì)算機(jī)智能算法，有效提高信息計(jì)算處理應(yīng)用領(lǐng)域。

(四)大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息數(shù)據(jù)安全技術(shù)

一方面積極開發(fā)新一代防火墻技術(shù)，通過在不同功能網(wǎng)絡(luò)之間加裝防火墻安全隔離設(shè)備，防止未經(jīng)授權(quán)的用戶登錄，防止各種計(jì)算機(jī)病毒和黑客的非法入侵，確保信息數(shù)據(jù)安全。

另一方面，采用對(duì)信息數(shù)據(jù)多重加密算法加密處理的安全防護(hù)技術(shù)，增加解密復(fù)雜難度，保證信息數(shù)據(jù)安全。

三、結(jié)束語(yǔ)

以上關(guān)于基于大數(shù)據(jù)技術(shù)應(yīng)用于現(xiàn)代無(wú)線移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的設(shè)想，是本人結(jié)合自己在工作實(shí)踐中的心得體會(huì)提出的基本設(shè)想，限于本人學(xué)識(shí)水平，不足之處，懇請(qǐng)批評(píng)指正。

作者簡(jiǎn)介：

李超，江西外語(yǔ)外貿(mào)職業(yè)學(xué)院。