Hadoop

大数据代表技术:Hadoop、Spark、Flink、Beam
JAVA

大数据代表技术:Hadoop、Spark、Flink、Beam

641 0

大数据代表技术:Hadoop、Spark、Flink、BeamHadoop:从2005年到2015年,说到大数据都是讲hadoop。Hadoop是一整套的技术框架,不是一个单一软件,它是一个生态系统。Hadoop有两大核心:第一个是它解决了分布式存储的框架叫HDFS,这是一个分布式存储系统。第二个是解决了分布式计算框架...

Hadoop集群搭建
JAVA

Hadoop集群搭建

1100 0

1.什么是HA集群HA:HighAvailable问题:对于只有一个namenode的集群,如果namenode的集群出现故障,集群将无法使用直到重新启动。方法:开启HDFS的HA功能,通过在不同节点上设置Active/Standby两个namenode,当其中一个出现故障,可以很快的把namenode切换到另外一台机...

用 Hadoop MapReduce 进行大数据分析
JAVA

用 Hadoop MapReduce 进行大数据分析

1069 0

关于HadoopApache的Hadoop框架本质上是一个用于分析大数据集的机制,不一定位于数据存储中。Hadoop提取出了MapReduce的大规模数据分析引擎,更易于开发人员理解。Hadoop可以扩展到无数个节点,可以处理所有活动和相关数据存储的协调。Hadoop的众多特性和配置使其成为一个十分有用且功能强大的框架...

Hadoop- MapReduce分布式计算框架原理
JAVA

Hadoop- MapReduce分布式计算框架原理

1003 0

分布式计算:  原则:移动计算而尽可能减少移动数据(减少网络开销)分布式计算其实就是将单台机器上的计算拓展到多台机器上并行计算。MapReduce是一种编程模型。HadoopMapReduce采用Master/slave结构。只要按照其编程规范,只需要编写少量的业务逻辑代码即可实现一个强大的海量数据并发处理程序。核心思...

Hadoop分布式集群环境搭建
JAVA

Hadoop分布式集群环境搭建

735 0

分布式环境搭建之环境介绍之前我们已经介绍了如何在单机上搭建伪分布式的Hadoop环境,而在实际情况中,肯定都是多机器多节点的分布式集群环境,所以本文将简单介绍一下如何在多台机器上搭建Hadoop的分布式环境。我这里准备了三台机器,IP地址如下:192.168.77.128192.168.77.130192.168.77...