Hadoop 教程

一起看海

什么是Hadoop
Hadoop 是使用 Java 编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache 的开源框架。 Hadoop 框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop 是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。

Hadoop 可以用单节点模式安装，但是只有多节点集群才能发挥 Hadoop 的优势，我们可以把集群扩展到上千个节点，而且扩展过程中不需要先停掉集群。

Hadoop 由三个关键部分组成：
HDFS：Hadoop 分布式文件系统，它是 Hadoop 数据存储层。
MapReduce：数据计算框架
YARN：负责资源管理和任务调度。

Hadoop 架构
在了解了什么是 Hadoop 之后，再来详细了解一下 Hadoop 的架构。

Hadoop 以主从的方式工作。一个 Master 节点和多个 Slave 节点，slave 节点可以扩招到1000个。Master 节点管理，维护和监控 slave 节点， slave 节点是真正在干活的机器。Master 节点应该部署在配置较高的机器上面，因为它是 hadoop 集群的核心。Maste r存储元数据（即数据的数据），slave 是真正存储数据的机器。客户端通过master 节点来分发任务。