城市多媒體大數據高效存儲與處理技術

2015-07-04 10:56:00 中國信息化周報　點擊量：評論 (0)

中國工程院院士高文智能城市是一個復雜信息生態系統。智能城市的基礎，是城市大數據傳感網絡和大數據中心；智能城市成功的前提，是政府決策的主要依據來自大數據中心。最新的圖靈獎獲獎人是Dr Michael Ston

中國工程院院士高文

智能城市是一個復雜信息生態系統。智能城市的基礎，是城市大數據傳感網絡和大數據中心；智能城市成功的前提，是政府決策的主要依據來自大數據中心。

最新的圖靈獎獲獎人是Dr. Michael Stonebraker，數據庫領域非常著名的專家之一，這也證明了大數據技術對產業而言非常重要，而智慧城市作為大數據實踐很有代表性。

大數據是智能城市發展的助推劑

很多人經常把智慧城市理解為城市信息化，實際上，智慧城市的含義遠不止于此。它應該是一個復雜的信息生態系統。這個生態系統包括三個環節，第一個環節就是感知，首先它能對大數據和城市信息進行感知。第二個環節就是要有一個計算能力超強的數據中心，能把感知到的數據進行處理。第三個環節往往是被忽略的，就是要有一個決策中心。我們現在在進行城市信息化建設時，往往是先定下來一個決策或規劃，然后再去實施，所有的系統是按照前期響應的目標逼近，這個思路是錯的，這也是智慧城市要遠遠大于城市信息化的原因。決策應該在后，就像人一樣，他首先要對周圍環境有一個感知，然后經過大腦的處理，最后決定事情怎么做。所以我們現在的智慧城市或者智能城市，應該按照和人較類似的思路去對它進行管理和控制，這三個部分，特別是最后一個部分對于今后城市的管理是很有挑戰的事情。

以廣州外地車限行對策為例，2012年廣州就想解決擁堵問題，此前很多人認為擁堵原因在于路上行駛的車輛很多并不是本地牌照，廣州希望效仿北京的做法，在入京之前辦理通行證，限制外地車輛在京的逗留時間，以此來緩解交通壓力。廣州有關部門通過大數據的分析得知外地車在廣州可分成四類，一類是本地化使用，譬如深圳的車牌在廣州使用；第二是候鳥型；第三是偶發過境；第四是常發過境。分類之后，人們發現真正對本地早晚交通造成擁堵的，實際上是第一類。外地車的本地化使用數量約4.7萬輛/月，只占所有外地車（約357萬輛/月）的1.31%，基本可忽略不計。實際上即使把這些外地車限制住了，高峰時間只能解決1.31%的擁堵，因此上述政策的實施與否對解決交通擁堵現象并沒有太大意義。這也體現了大數據在做決策上的重要作用。

傳感器網絡是智能城市的基礎

在整個智慧城市的生態鏈里，城市大數據傳感網絡和大數據中心是基礎。在這個系統里最主要的就是把數據實時、全方位地搜集，隨時隨地地感知，然后輸送到數據中心處理。

目前的智慧城市，其網絡都是碎片式的，沒有完全連起來，這是有問題的。所以一個比較理想的感知網它應包括剛才說的所有的數據和網絡，這其中每個單獨的信息都應實時匯聚到數據中心，真正形成一個網絡。

現在很多網絡大部分都是單獨存在的，最終要全連接起來需要不小的投入。譬如在感知網絡里，大家很容易想到交通系統里的一卡通以及各種交通工具的運行情況，把它們全部放到城市的數據中心里。現實中經常出現一些套牌車的事情，中途一旦換掉了車牌，基本上目標就丟掉了。但是，如果用剛才所說的感知系統，我們就有辦法不僅感知車牌，而且感知車型等。

交通狀況的感知現在已經深入到每一個人的生活當中了，如果我們想查查是否堵車，哪條路堵車，馬上打開導航，打開GPS，打開相關地圖軟件就能看到。這些信息都是從后臺統計而來的，后臺把包括出租車在內的一些GPS信息或者個人的GPS信息，做一個數據統計分析，查看在某個區段，這些移動的物體的平均速度是多少，進而把整個交通狀況統計出來，有了這些我們對整個交通狀況就很容易感知。據統計分析，在所有的感知系統里，最大量的數據就是視頻數據。但這些數據現在都還沒有很好地利用起來。如果今后能加入攝像頭的監控統計，以及地下的傳感器數據，把這些數據都加在一起做更準確的分析。

另外，城市里總有各種各樣的流行病的產生，流行病發展到什么程度，都是通過新聞里知道，但是現在通過醫保的統計可以分析這些情況。

污染是我們當前面臨的一個很大的問題，現在大家得知污染的情況更多的是從空氣指數，或從網站和手機軟件上看到的，但是信息量太小。現在通過大數據，把個人發動起來，在每個人家里裝一些檢測設備，讓可信的數據入網，通過采集的大數據準確定位污染源。

因此怎么樣把這個傳感器網絡真正建好，確是一個很大的挑戰。

大數據中心形成決策依據

當我們從感知網絡獲得了大量數據，就應當送到數據中心，這一過程并不難，但是到中心的數據怎樣形成決策，也就是怎樣把海量數據變成大數據，只有經過整理可以使用的大規模的數據才能叫做大數據，否則只是海量數據，只是一個簡單的堆積。從技術上看，就是要過“三關”。

存儲現在的存儲系統還不能做到把所有數據存儲下來，譬如現在大多數像智慧城市里的系統，都不敢存太多監控視頻的數據，最大的系統大概也就存三個月就會被覆蓋。怎么樣讓數據能夠保存下來，這是一個技術挑戰，要么把數據文件壓縮到很小，要么把沒有用的數據丟棄。怎么樣壓的更小，就是做視頻編碼或者視頻壓縮，現在經過30年的攻關，現在技術上應該說已經做到每10年翻一番。從壓縮效率來看，每一代是前一代一倍，高清視頻第一代壓到150分之一，到第三代已經做到300分之一，我們希望第四代壓到600分之一。這些技術還在進展，也確有做的不錯的。比如說在AVS這個領域，視頻編碼里我們在監控視頻已經比國外同樣水平效率更高一倍。HEVC就是第三代編碼技術，在極端的情況下，或比較苛刻的情況下，使壓縮效率提升40%，在寬松的情況下基本上就是兩倍了。

表達存儲的數據要進行特征的抽取、比對和分析，就需要表達。特征的提取也是很關鍵的，比如機器學習或數據挖掘，其實這些算法最后效率的高與低都取決于表達能力強與弱。現在對于汽車的表達，已經有一些很好的技術，譬如一些加強的SIFT特征的技術，可以把車牌和車型組合到一起進行表達，當出現車牌被換或者套牌車等，用這個技術表達一下就能識別，通過這種辦法也可以在更高層面進行壓縮。有了高效的存儲和表達，就可以做非常快速的檢索或搜索。

計算此外，最頂層我們就要進行場景的分析，最后形成決策的輔助，這就是大數據的處理，這個處理最核心的就是數據的關聯。因為傳感器的數據來自不同的攝像頭、不同的地點，怎么樣把時間、空間都關聯到一個空間上，這是非常難但是卻很重要的問題。譬如通過這種關聯我們可以進行分析跟蹤的技術，另外就是對多個攝像機進行對像的標識。

總而言之，整個智慧城市的生態鏈有三個比較重要的部分：傳感系統、大數據中心以及決策的環節。最后也是最關鍵的環節是決策形成的流程，它已經超出了技術范疇，而是管理范疇，必須要由政策的制定者基于大數據形成決策，并進行落實，這是一個很大的挑戰，但我們做大數據的人要經常向管理者灌輸這個理念，使他們對第三環節更重視，讓大數據真正體現它的好處。

（以上內容系根據高文院士在“2015第七屆云計算大會”上的演講整理而成）