【數(shù)據(jù)】即使不會爬蟲技術(shù),也能輕松獲取的重要數(shù)據(jù)
1 對于具體的業(yè)務(wù)問題,如何做好數(shù)據(jù)準(zhǔn)備?
很多做數(shù)據(jù)分析的同學(xué),對數(shù)據(jù)的獲取有一個誤區(qū),覺得在互聯(lián)網(wǎng)上獲取數(shù)據(jù),必須通過爬蟲進(jìn)行爬取。殊不知,有些必須知道的數(shù)據(jù),即使不會爬蟲的技能,也可以輕松獲取。
根據(jù)這些數(shù)據(jù)類型的不同,我把它們劃分為實時數(shù)據(jù)、趨勢數(shù)據(jù)以及關(guān)聯(lián)數(shù)據(jù),這里,我們先來了解一下,互聯(lián)網(wǎng)上,有哪些基于地理位置信息的實時數(shù)據(jù)。
一、實時數(shù)據(jù)
實時數(shù)據(jù),顧名思義,是事物當(dāng)前狀態(tài)的數(shù)據(jù)。更好的,經(jīng)過整合的實時數(shù)據(jù),可以為我們盡早地處理問題,提供最佳的契機(jī)。
那么,互聯(lián)網(wǎng)上,有哪些實時數(shù)據(jù)可以唾手可得呢,下面我們先來看看,和地圖,也就是地理位置有關(guān)的實時數(shù)據(jù)吧?
1、高德地圖交通大數(shù)據(jù),網(wǎng)址:http://report.amap.com
高德地圖在所有的導(dǎo)航App中,目前市場占有量第一,通過高德地圖交通大數(shù)據(jù),我們可以得到很多關(guān)于交通方面的實時數(shù)據(jù)。
1)城市交通詳情,通過高德地圖交通大數(shù)據(jù),我們可以輕松從網(wǎng)站上面,查出目前每個城市的擁堵指數(shù),如下圖所示:
點擊到具體的城市里面,還可以看到每個城市的每個區(qū)域,交通的擁堵情況,如下圖所示:
甚至還可以知道每條主干道的交通指數(shù)情況:
2)交通生活圈,通過高德地圖交通大數(shù)據(jù),我們可以輕松從網(wǎng)站上面,查出我國各大城市地標(biāo)建筑在20、30、45、60、90分鐘內(nèi),可以到達(dá)的地方,例如如果選擇了廣州的北京路作為出發(fā)地,30分鐘內(nèi)可達(dá)到的地區(qū),如下圖所示:
3)擁堵榜,通過高德地圖交通大數(shù)據(jù),我們可以輕松從網(wǎng)站上面,查出我國每個火車站、機(jī)場、收費站以及高速公路的擁堵指數(shù),例如選擇沈海高速,即可得到沈海高速目前每一段的擁堵情況顯示,如下圖所示:
4)交通預(yù)測,通過高德地圖交通大數(shù)據(jù),我們可以輕松從網(wǎng)站上面,查出我國主要城市未來一周的交通預(yù)測情況,例如選擇廣州市,廣州市未來一周的交通情況,即可通過下圖進(jìn)行了解。
5)交通報告,通過高德地圖交通大數(shù)據(jù),我們可以輕松從網(wǎng)站上面,下載到城市或者省份對應(yīng)的交通報告,如下圖所示:
6)跨城出行,通過高德地圖交通大數(shù)據(jù),我們可以輕松從網(wǎng)站上面,查看到某兩個城市之間,遷入、遷出的情況,例如選擇遷出為廣州,得到的數(shù)據(jù)如下圖所示:
2、騰訊位置大數(shù)據(jù),網(wǎng)址:https://heat.qq.com
眾所周知,騰訊擁有移動互聯(lián)網(wǎng)時代人人都安裝的軟件微信,因此,在位置大數(shù)據(jù)方面,騰訊提供的位置大數(shù)據(jù),必須是最準(zhǔn)確的。
1)位置流量趨勢,通過騰訊位置大數(shù)據(jù),可以得到一個地區(qū),例如下圖廣東省廣州市廣州長隆區(qū)域的位置流量信息,可以看到,除了提供歷史的流量數(shù)據(jù),騰訊位置大數(shù)據(jù)還提供了一天接下來的時間段的預(yù)測數(shù)據(jù),可以通過預(yù)測數(shù)據(jù),避免高峰出行。
2)區(qū)域熱力圖,通過騰訊位置大數(shù)據(jù),可以得到一個地區(qū)內(nèi),每個時間點的人數(shù)人力圖,如下圖所示。
3)人口遷徙圖,輸入遷出/遷入的位置,即可得到遷徙圖,如下圖所示,類似高德出行大數(shù)據(jù)中的跨城出行的數(shù)據(jù)。
4)數(shù)據(jù)接口,騰訊位置大數(shù)據(jù),為數(shù)據(jù)分析師提供了友好的數(shù)據(jù)接口,我們可以直接使用對應(yīng)的數(shù)據(jù)接口進(jìn)行數(shù)據(jù)的訪問呢,簡單實用,如下圖所示。
3、百度遷徙地圖,網(wǎng)址:http://qianxi.baidu.com/
百度基于百度地圖做的百度遷徙地圖,可以獲取到路況、遷徙、景區(qū)、樞紐、購物以及游樂場的實時數(shù)據(jù)。
1)路況,可以從中查看每條高速公路上的交通情況,如下圖所示:
2)遷徙,只能看到全國的遷徙情況,如下圖所示。
3)景區(qū)、樞紐、購物、游樂場,都是根據(jù)某個區(qū)域進(jìn)行熱力圖的展現(xiàn),如下圖所示,就是杭州西湖的人流熱力圖。
4)PM2.5空氣質(zhì)量,網(wǎng)址:http://www.pm25.in/
PM2.5作為空氣污染的重要指標(biāo),在pm25.in網(wǎng)站中,可以查詢到,每個城市的PM2.5值,例如,從首頁進(jìn)去之后,選擇廣州,即可得到廣州每個監(jiān)測點的PM2.5指標(biāo)數(shù)據(jù),如下圖所示:
作為一個開源項目,PM25.in還為開發(fā)者提供給了API調(diào)用接口,真是一個良心項目。
5)電視實時關(guān)注度,網(wǎng)址:http://eye.kuyun.com/web/
酷云EYE網(wǎng)站可以查看當(dāng)時全國每個電視臺播放節(jié)目的關(guān)注情況,如下圖所示:
6)票房實時大數(shù)據(jù),網(wǎng)址:http://piaofang.maoyan.com
貓眼票房專業(yè)版,可以查看當(dāng)前所有播放電影的實時票房情況,如下圖所示:
二、趨勢數(shù)據(jù)
要了解趨勢數(shù)據(jù),首先要知道什么是趨勢分析。當(dāng)我們要分析的數(shù)據(jù),是由兩個時間點限定時,這類的分析,我們稱為趨勢分析。
下面我們來看看,有哪些現(xiàn)成的互聯(lián)網(wǎng)數(shù)據(jù),可以實現(xiàn)趨勢分析。包括:
- 微信指數(shù)(網(wǎng)址:小程序)
- 微博指數(shù)(網(wǎng)址:http://data.weibo.com/index)
- 百度指數(shù)(網(wǎng)址:http://index.baidu.com/)
- 頭條指數(shù)(網(wǎng)址:https://index.toutiao.com/)
- 360趨勢(網(wǎng)址:http://trends.so.com/index)
- 騰訊瀏覽指數(shù)(網(wǎng)址:http://tbi.tencent.com/)
- 谷歌探索(網(wǎng)址:https://trends.google.com/trends/explore)
- 高德指數(shù)(網(wǎng)址:http://i.amap.com)
- 阿里指數(shù)(網(wǎng)址:https://alizs.taobao.com)
- 谷歌探索(網(wǎng)址:https://trends.google.com/trends/explore)
- 學(xué)術(shù)趨勢(網(wǎng)址:http://trend.cnki.net/TrendSearch/index.htm)
- 飛常準(zhǔn)航空數(shù)據(jù)(網(wǎng)址:http://www.variflight.com)
- 農(nóng)業(yè)大數(shù)據(jù)應(yīng)用云平臺(網(wǎng)址:http://www.dataagri.com/agriculture/index.action)
下面以百度指數(shù)為例,演示一下如何使用趨勢數(shù)據(jù)。
最近,有兩位名人去世了,分別是物理學(xué)家霍金以及文學(xué)家李敖,我們來查詢一下,網(wǎng)民對兩位名人的去世的關(guān)注程度是怎樣的。
在關(guān)鍵字那里先輸入霍金,然后添加對比詞,輸入李敖,點擊確定,即可得到兩個單詞的熱度對比圖。從上圖我們可以看到,霍金去世網(wǎng)友的關(guān)注度的最高點(藍(lán)色曲線),遠(yuǎn)高于李敖去世網(wǎng)友關(guān)注度的最高點(綠色曲線)。
三、關(guān)聯(lián)數(shù)據(jù)
要了解關(guān)聯(lián)數(shù)據(jù),首先要知道什么是關(guān)聯(lián)分析。關(guān)聯(lián)分析的目的,是發(fā)現(xiàn)存在于大量數(shù)據(jù)集中的關(guān)聯(lián)性或相關(guān)性,從而描述了一個事物中某些屬性同時出現(xiàn)的規(guī)律和模式。
關(guān)聯(lián)數(shù)據(jù)可以通過百度指數(shù)提供的需求圖譜進(jìn)行查閱,同樣,我們使用霍金和李敖兩個關(guān)鍵字,來查閱他們的需求圖譜是什么。
除了圖形,往下拉還可以查看具體的相關(guān)詞以及對應(yīng)的熱度列表。
以上,就是數(shù)據(jù)分析師必須知道的互聯(lián)網(wǎng)中常用的數(shù)據(jù)了,趕緊收藏分享吧!!
責(zé)任編輯:售電衡衡
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計落地:鼓勵“光儲充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計 -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng)
-
新基建助推 數(shù)據(jù)中心建設(shè)將迎爆發(fā)期
2020-06-16數(shù)據(jù)中心,能源互聯(lián)網(wǎng),電力新基建 -
泛在電力物聯(lián)網(wǎng)建設(shè)下看電網(wǎng)企業(yè)數(shù)據(jù)變現(xiàn)之路
2019-11-12泛在電力物聯(lián)網(wǎng) -
泛在電力物聯(lián)網(wǎng)建設(shè)典型實踐案例
2019-10-15泛在電力物聯(lián)網(wǎng)案例
-
新基建之充電樁“火”了 想進(jìn)這個行業(yè)要“心里有底”
2020-06-16充電樁,充電基礎(chǔ)設(shè)施,電力新基建 -
燃料電池汽車駛?cè)雽こ0傩占疫€要多久?
-
備戰(zhàn)全面電動化 多部委及央企“定調(diào)”充電樁配套節(jié)奏
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計落地:鼓勵“光儲充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計 -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業(yè)發(fā)展
-
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng) -
5G新基建助力智能電網(wǎng)發(fā)展
2020-06-125G,智能電網(wǎng),配電網(wǎng) -
從智能電網(wǎng)到智能城市