安装Hadoop

一起看海

下载Hadoop
可以通过下面链接下载到 hadoop2.0 版本：
http://archive.cloudera.com/cdh5 ... 5.0-cdh5.3.2.tar.gz

下载完成后，把它上传到虚拟机，并放在home目录下：

mv Desktop/hadoop-2.5.0-cdh5.3.2.tar.gz /home/dataflair/

解压tar包
tar xzf hadoop-2.5.0-cdh5.3.2.tar.gz

配置环境变量
编辑.bashrc文件，该文件是你的home目录下本身就存在的用于设置环境变量的配置文件。

nano .bashrc

添加以下配置

export HADOOP_PREFIX="/home/dataflair/hadoop-2.5.0-cdh5.3.2"
export PATH=$PATHHADOOP_PREFIX/bin
export PATH=$PATHHADOOP_PREFIX/sbin
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export YARN_HOME=${HADOOP_PREFIX}
注意：要确保路径都是正确的。/home/dataflair/hadoop-2.5.0-cdh5.3.2 这个是我的 home 目录，你可以用cd;pwd命令查看你自己的 home 目录，并把路径替换成你自己的。

配置完之后按 Ctrl+X 保存文件。为了使环境变量生效，可以退出终端，再重新登录。

配置hadoop-env.sh文件
编辑配置文件 hadoop-env.sh，该文件位于 $HADOOP_HOME/etc/hadoop 目录下，并在上面配置JAVA_HOME。

cd hadoop-2.5.0-cdh5.3.2/
cd etc/hadoop
nano hadoop-env.sh
在该文件设置 JAVA_HOME：

export JAVA_HOME=/usr/lib/jvm/java-8-oracle/

配置完记得保存文件。
注意：“/usr/lib/jvm/java-8-oracle/”该目录是java默认安装路径。

配置core-site.xml文件
编辑core-site.xml文件，路径在$HADOOP_HOME/etc/hadoop下面。

cd $HADOOP_HOME/etc/hadoop
nano core-site.xml
在<configuration> </configuration>里面的末尾增加下面的配置。

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/dataflair/hdata</value>
</property>
Ctrl+X 保存文件。

配置hdfs-site.xml文件
编辑配置文件 hdfs-site.xml，路径在 $HADOOP_HOME/etc/hadoop 下面。

cd $HADOOP_HOME/etc/hadoop
nano hdfs-site.xml
在<configuration> </configuration>里面的末尾增加如下配置并保存：

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
配置mapred-site.xml文件
在$HADOOP_HOME/etc/hadoop目录下，需要从模板文件mapred-site.xml.template拷贝一个并命名为mapred-site.xml。

cd $HADOOP_HOME/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
编辑mapred-site.xml
nano mapred-site.xml

在文件末尾增加下面配置：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
配置yarn-site.xml文件
进入到$HADOOP_HOME/etc/hadoop目录下，编辑yarn-site.xml文件：

cd $HADOOP_HOME/etc/hadoop
nano yarn-site.xml
在文件末尾增加如下配置：

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>