一、hadoop相關工具

1.Hadoop

Apache的Hadoop項目已幾乎與大數據劃上了等號。它不斷壯大起來，已成為一個完整的生態系統，眾多開源工具面向高度擴展的分布式計算。

支持的操作系統：Windows、Linux和OSX。

2.Ambari

作為Hadoop生態系統的一部分，這個Apache項目提供了基于Web的直觀界面，可用于配置、管理和監控Hadoop集群。有些開發人員想把Ambari的功能整合到自己的應用程序當中，Ambari也為他們提供了充分利用REST(代表性狀態傳輸協議)的API。

支持的操作系統：Windows、Linux和OSX。

3.Avro

這個Apache項目提供了數據序列化系統，擁有豐富的數據結構和緊湊格式。模式用JSON來定義，它很容易與動態語言整合起來。

4.Cascading

Cascading是一款基于Hadoop的應用程序開發平臺。提供商業支持和培訓服務。

5.Chukwa

Chukwa基于Hadoop，可以收集來自大型分布式系統的數據，用于監控。它還含有用于分析和顯示數據的工具。

支持的操作系統：Linux和OSX。

6.Flume

Flume可以從其他應用程序收集日志數據，然后將這些數據送入到Hadoop。官方網站聲稱：“它功能強大、具有容錯性，還擁有可以調整優化的可靠性機制和許多故障切換及恢復機制。”

支持的操作系統：Linux和OSX。

7.HBase

HBase是為有數十億行和數百萬列的超大表設計的，這是一種分布式數據庫，可以對大數據進行隨機性的實時讀取/寫入訪問。它有點類似谷歌的Bigtable，不過基于Hadoop和Hadoop分布式文件系統(HDFS)而建。

8.Hadoop分布式文件系統(HDFS)

HDFS是面向Hadoop的文件系統，不過它也可以用作一種獨立的分布式文件系統。它基于Java，具有容錯性、高度擴展性和高度配置性。

支持的操作系統：Windows、Linux和OSX。

9.Hive

ApacheHive是面向Hadoop生態系統的數據倉庫。它讓用戶可以使用HiveQL查詢和管理大數據，這是一種類似SQL的語言。

10.Hivemall

Hivemall結合了面向Hive的多種機器學習算法。它包括諸多高度擴展性算法，可用于數據分類、遞歸、推薦、k最近鄰、異常檢測和特征哈希。

11.Mahout

據官方網站聲稱，Mahout項目的目的是“為迅速構建可擴展、高性能的機器學習應用程序打造一個環境。”它包括用于在HadoopMapReduce上進行數據挖掘的眾多算法，還包括一些面向Scala和Spark環境的新穎算法。

12.MapReduce

作為Hadoop一個不可或缺的部分，MapReduce這種編程模型為處理大型分布式數據集提供了一種方法。它最初是由谷歌開發的，但現在也被本文介紹的另外幾個大數據工具所使用，包括CouchDB、MongoDB和Riak。

13.Oozie

這種工作流程調度工具是為了管理Hadoop任務而專門設計的。它能夠按照時間或按照數據可用情況觸發任務，并與MapReduce、Pig、Hive、Sqoop及其他許多相關工具整合起來。

支持的操作系統：Linux和OSX。

14.Pig

ApachePig是一種面向分布式大數據分析的平臺。它依賴一種名為PigLatin的編程語言，擁有簡化的并行編程、優化和可擴展性等優點。

15.Sqoop

企業經常需要在關系數據庫與Hadoop之間傳輸數據，而Sqoop就是能完成這項任務的一款工具。它可以將數據導入到Hive或HBase，并從Hadoop導出到關系數據庫管理系統(RDBMS)。

16.Spark

作為MapReduce之外的一種選擇，Spark是一種數據處理引擎。它聲稱，用在內存中時，其速度比MapReduce最多快100倍;用在磁盤上時，其速度比MapReduce最多快10倍。它可以與Hadoop和ApacheMesos一起使用，也可以獨立使用。

支持的操作系統：Windows、Linux和OSX。

17.Tez

Tez建立在ApacheHadoopYARN的基礎上，這是“一種應用程序框架，允許為任務構建一種復雜的有向無環圖，以便處理數據。”它讓Hive和Pig可以簡化復雜的任務，而這些任務原本需要多個步驟才能完成。

支持的操作系統：Windows、Linux和OSX。

18.Zookeeper

這種大數據管理工具自稱是“一項集中式服務，可用于維護配置信息、命名、提供分布式同步以及提供群組服務。”它讓Hadoop集群里面的節點可以彼此協調。

支持的操作系統：Linux、Windows(只適合開發環境)和OSX(只適合開發環境)。

　　二、大數據分析平臺和工具

19.Disco

Disco最初由諾基亞開發，這是一種分布式計算框架，與Hadoop一樣，它也基于MapReduce。它包括一種分布式文件系統以及支持數十億個鍵和值的數據庫。

支持的操作系統：Linux和OSX。

20.HPCC

作為Hadoop之外的一種選擇，HPCC這種大數據平臺承諾速度非常快，擴展性超強。除了免費社區版外，HPCCSystems還提供收費的企業版、收費模塊、培訓、咨詢及其他服務。

支持的操作系統：Linux。

21.Lumify

Lumify歸Altamira科技公司(以國家安全技術而聞名)所有，這是一種開源大數據整合、分析和可視化平臺。你只要在Try.Lumify.io試一下演示版，就能看看它的實際效果。

支持的操作系統：Linux。

22.Pandas

Pandas項目包括基于Python編程語言的數據結構和數據分析工具。它讓企業組織可以將Python用作R之外的一種選擇，用于大數據分析項目。

支持的操作系統：Windows、Linux和OSX。

23.Storm

Storm現在是一個Apache項目，它提供了實時處理大數據的功能(不像Hadoop只提供批任務處理)。其用戶包括推特、美國天氣頻道、WebMD、阿里巴巴、Yelp、雅虎日本、Spotify、Group、Flipboard及其他許多公司。

支持的操作系統：Linux。

　　三、數據庫/數據倉庫

24.Blazegraph

Blazegraph之前名為“Bigdata”，這是一種高度擴展、高性能的數據庫。它既有使用開源許可證的版本，也有使用商業許可證的版本。

25.Cassandra

這種NoSQL數據庫最初由Facebook開發，現已被1500多家企業組織使用，包括蘋果、歐洲原子核研究組織(CERN)、康卡斯特、電子港灣、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit及其他機構。它能支持超大規模集群;比如說，蘋果部署的Cassandra系統就包括75000多個節點，擁有的數據量超過10PB。

26.CouchDB

CouchDB號稱是“一款完全擁抱互聯網的數據庫”，它將數據存儲在JSON文檔中，這種文檔可以通過Web瀏覽器來查詢，并且用Java來處理。它易于使用，在分布式上網絡上具有高可用性和高擴展性。

支持的操作系統：Windows、Linux、OSX和安卓。

27.FlockDB

由推特開發的FlockDB是一種非常快、擴展性非常好的圖形數據庫，擅長存儲社交網絡數據。雖然它仍可用于下載，但是這個項目的開源版已有一段時間沒有更新了。

28.Hibari

這個基于Erlang的項目自稱是“一種分布式有序鍵值存儲系統，保證擁有很強的一致性”。它最初是由GeminiMobileTechnologies開發的，現在已被歐洲和亞洲的幾家電信運營商所使用。

29.Hypertable

Hypertable是一種與Hadoop兼容的大數據數據庫，承諾性能超高，其用戶包括電子港灣、百度、高朋、Yelp及另外許多互聯網公司。提供商業支持服務。

支持的操作系統：Linux和OSX。

30.Impala

Cloudera聲稱，基于SQL的Impala數據庫是“面向ApacheHadoop的領先的開源分析數據庫”。它可以作為一款獨立產品來下載，又是Cloudera的商業大數據產品的一部分。

支持的操作系統：Linux和OSX。

31.InfoBright社區版

InfoBright為數據分析而設計，這是一種面向列的數據庫，具有很高的壓縮比。InfoBright.com提供基于同一代碼的收費產品，提供支持服務。

支持的操作系統：Windows和Linux。

32.MongoDB

mongoDB的下載量已超過1000萬人次，這是一種極其受歡迎的NoSQL數據庫。MongoDB.com上提供了企業版、支持、培訓及相關產品和服務。

支持的操作系統：Windows、Linux、OSX和Solaris。