大数据分析到底需要多少种工具，大数据分析一般用什么工具分析

很多朋友对大数据分析到底需要多少种工具，大数据分析一般用什么工具分析不是很了解，每日小编刚好整理了这方面的知识，今天就来带大家一探究竟。

随着大数据越来越流行，大数据这个词越来越流行，同时大数据应用的领域也越来越广泛。那么大数据分析工具有哪些呢？

大数据是一个广义的术语，指的是数据集如此庞大和复杂，以至于需要专门设计的硬件和软件工具来处理。该数据集的大小通常为数万亿或艾字节。这些数据集是从各种来源收集的：传感器、气候信息、杂志、报纸、文章等公开信息。大数据的其他例子包括购买交易记录、网络日志、医疗记录、事件监控、视频和图像档案以及大规模电子商务。大数据分析是研究大量数据以发现模式、相关性和其他有用信息的过程，这些信息可以帮助企业更好地适应变化并做出更明智的决策。

一、HadoopHadoop是一个能够分布式处理大量数据的软件框架。但Hadoop 以可靠、高效且可扩展的方式做到这一点。 Hadoop 是可靠的，因为它假设计算元素和存储将发生故障，因此它维护工作数据的多个副本，确保可以在故障节点之间重新分配处理。 Hadoop之所以高效，是因为它以并行方式工作，通过并行处理来加快处理速度。 Hadoop 还具有可扩展性，能够处理PB 级的数据。另外，Hadoop依赖于社区服务器，因此成本相对较低，任何人都可以使用。

Hadoop是一个分布式计算平台，允许用户轻松构建和使用它。用户可以轻松开发和运行在Hadoop 上处理海量数据的应用程序。它主要有以下优点：

可靠性高。 Hadoop逐位存储和处理数据的能力值得信赖。

高扩展性。 Hadoop在可用的计算机集群之间分发数据并完成计算任务，这些计算机集群可以轻松扩展到数千个节点。

效率。 Hadoop可以在节点之间动态移动数据并保证各个节点的动态平衡，因此处理速度非常快。

容错性高。 Hadoop可以自动保存数据的多份副本并自动重新分配失败的任务。

Hadoop带有一个用Java语言编写的框架，因此它非常适合在Linux生产平台上运行。

Hadoop 上的应用程序也可以用其他语言编写，例如C++。

二、HPCCHPCC，高性能计算与通信的缩写。

1993年，美国科学、工程和技术联邦协调委员会向国会提交了一份关于“大挑战项高性能计算和通信”的报告，也称为HPCC计划的报告，这是美国总统的科学战略项目。目的是通过加强研究开发，解决一批重要科技挑战。 HPCC是美国为实施信息高速公路而实施的一项计划。该计划的实施将耗资数百亿美元。其主要目标是实现：开发可扩展的计算系统和相关软件以支持太比特级的网络传输性能，并开发数千兆比特的网络技术以扩展研究和教育机构的网络连接能力。

该项目主要由五部分组成：

1、 高性能计算机系统（HPCS），包括下一代计算机系统研究、系统设计工具、先进典型系统和原有系统评估等；

2、 先进软件技术与算法（ASTA），包括应对巨大挑战的软件支撑、新算法设计、软件分支和工具、计算计算和高性能计算研究中心等；

3、 国家研究教育网（NREN），涵盖中间站研发和10亿比特级传输；

4、 基础研究和人力资源(BRHR)，一系列基础研究、培训、教育和课程材料，旨在通过奖励研究者发起的可扩展高性能计算流的长期研究来增加创新，以增加通过改善教育和高性能计算培训和通信来培养熟练和训练有素的人员，并提供必要的基础设施来支持这些调查和研究活动；

5、 信息基础设施技术和应用（IITA），旨在确保美国在先进信息技术发展方面的领导地位。

三、StormStorm是免费的开源软件，一个分布式、容错的实时计算系统。 Storm可以非常可靠地处理巨大的数据流，用于处理Hadoop批量数据。 Storm简单，支持多种编程语言，而且用起来非常有趣。 Storm由Twitter开源，其他知名应用公司包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等。

Storm有很多应用领域：实时分析、在线机器学习、不间断计算、分布式RPC（远程过程调用协议，一种通过网络向远程计算机程序请求服务的方法）、ETL（Extraction-Transformation-的缩写） Storm的处理速度惊人：经测试，每个节点每秒可以处理100万个数据元组。 Storm 具有可扩展性、容错性，并且易于设置和操作。

四、Apache Drill 为了帮助企业用户找到更有效、更快速的查询Hadoop 数据的方法，Apache 软件基金会最近推出了一个名为“Drill”的开源项目。 Apache Drill 实现了Google 的Dremel。

Hadoop供应商MapR Technologies的产品经理Tomer Shiran表示，“Drill”已作为Apache孵化器项目运营，并将继续向全球软件工程师推广。

该项目将创建谷歌Dremel Hadoop工具的开源版本，谷歌用它来加速Hadoop数据分析工具的互联网应用。而“钻”将帮助Hadoop用户更快地实现查询海量数据集的目的。

“Drill”项目实际上受到了谷歌Dremel项目的启发：该项目帮助谷歌分析和处理海量数据集，包括分析和爬取网页文档、跟踪Android Market上安装的应用程序数据、分析垃圾邮件以及分析谷歌分布式上的测试结果。构建系统等等。

通过开发“Drill”Apache 开源项目，组织将能够基于Drill 的API 和灵活而强大的架构进行构建，以帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMinerRapidMiner是世界领先的数据挖掘解决方案，技术非常先进。它涵盖了广泛的数据挖掘任务，包括各种数据艺术，并且可以简化数据挖掘过程的设计和评估。

功能及特点：

免费的数据挖掘技术和库

100% Java代码（可以在操作系统上运行）

数据挖掘过程简单、强大、直观

内部XML 确保标准化格式来表示交换数据挖掘过程

可以使用简单的脚本语言实现大规模流程的自动化

多级数据视图，确保数据有效透明

图形用户界面的交互原型

命令行（批处理模式）自动化批量应用

Java API（应用程序编程接口）

简单的插件和推广机制

强大的可视化引擎，众多前沿的高维数据可视化建模

支持超过400 家数据挖掘运营商

Yale已成功应用于许多不同的应用领域，包括文本挖掘、多媒体挖掘、特征设计、数据流挖掘、集成开发方法和分布式数据挖掘。

六、 Pentaho BIPentaho BI平台不同于传统的BI产品。它是一个以流程为中心、以解决方案为导向的框架。其目的是集成一系列企业级BI产品、开源软件、API等组件，以方便商业智能应用的开发。它的出现使得一系列独立的商业智能产品，如Jfree、Quartz等能够集成在一起，形成复杂而完整的商业智能解决方案。

Pentaho BI 平台是Pentaho Open BI 套件的核心架构和基础，它以流程为中心，因为它的中心控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。可以轻松定制流程并添加新流程。 BI 平台包括用于分析这些流程的性能的组件和报告。目前，Pentaho的主要元素包括报告生成、分析、数据挖掘、工作流管理等。这些组件通过J2EE、WebService、SOAP、HTTP、Java、JavaScript和Portals等技术集成到Pentaho平台中。 Pentaho的发行版主要以Pentaho SDK的形式。

Pentaho SDK包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和预配置的Pentaho网络服务器。其中，Pentaho平台是Pentaho平台最重要的部分，包括Pentaho平台源代码的主体； Pentaho数据库为Pentaho平台的正常运行提供数据服务，包括配置信息、解决方案相关信息等，对于Pentaho平台来说，它不是必需的，可以通过配置替换为其他数据库服务；可独立运行的Pentaho平台是Pentaho平台独立运行模式的示例，演示了如何让Pentaho平台在没有应用服务器支持的情况下独立运行； Pentaho 解决方案示例是一个Eclipse 项目，演示了如何为Pentaho 平台开发相关的商业智能解决方案。

Pentaho BI 平台构建在服务器、引擎和组件的基础上。这些提供了系统的J2EE服务器、安全性、门户、工作流、规则引擎、图表、协作、内容管理、数据集成、分析和建模功能。这些组件大多数都是基于标准的，可以用其他产品替换。

七、SplunkSplunk主要有三个功能组件：Forwarder、Serch Head、Indexer。还支持查询搜索、仪表盘、报表（效果确实不咋地，很精致）。它还支持SaaS服务模式。其中Splunk支持多种类型的数据源，基本可以满足客户的需求。

目前支持Hadoop集群日志数据源的采集，有三个版本：hadoop1.1.1。一些数据驱动的公司也正在采用Splunk的日志管理和运营服务。

八、EverString Everstring主要为企业提供SaaS服务，通过大数据预测分析建模进行客户推荐。获取并积累了两个数据信息资源库，一个是行业外部的（公共SaaS收费形式），一个是行业自己的内部资源库（私有），然后利用机器学习和人工智能的方法对行业内的数据进行建模。相应的行业或领域，最终得到一个比较好的结果，优化到手动可以得到的结果，Everstring也成为了初创大数据公司中估值较高的公司。

以上知识分享希望能够帮助到大家！