LinuxSir.cn,穿越时空的Linuxsir!

 找回密码
 注册
搜索
热搜: shell linux mysql
查看: 268|回复: 0

Hadoop Ubuntu 安装 Hadoop 2.0(伪分布式)

[复制链接]
发表于 2024-1-2 16:25:26 | 显示全部楼层 |阅读模式
本节教程主要介绍了如何在 Ubuntu 16.0.4 操作系统上安装 Hadoop 2.0 单机器集群,也叫伪分布式模式。

准备
软件版本
操作系统:Ubuntu 16.04 及以上版本,其他 Linux 系统也可以,如 CentOS,RedHat 等。
Hadoop:Cloudera 公司发布的Hadoop版本 CDH5.x,你也可以使用 Apache Hadoop 2.x。

操作系统安装
如果你使用的是 Windows 或者 Mac 操作系统,可以安装个虚拟机来模拟 Linux 环境。
http://data-flair.training/blogs/install-ubuntu-vmware-player/
http://data-flair.training/blogs ... ntu-on-virtual-box/

环境配置
在 Ubuntu 系统下安装 Hadoop 前需要配置一下系统环境。

安装Java8
安装 python-software-properties
为了添加 Java 软件源,我们需要下载 python-software-properties。使用 apt-get 命令安装即可:

sudo apt-get install python-software-properties

添加软件仓库
现在手动添加一个软件仓库,Ubuntu将会在这里安装Java。

sudo add-apt-repository ppa:webupd8team/java

更新资源列表
建议定期更新资源列表,资源列表是Ubuntu可以下载和安装软件的地方。

sudo apt-get update

安装Java
现在我们可以下载并安装Java了。

sudo apt-get install oracle-java8-installer

命令执行完之后,用下面命令验证是否安装成功。

java –version
配置SSH
SSH 用于远程登录系统。现在需要配置免密 SSH,即不需要密码就可以登录到远程的机器。免密 SSH 用于远程脚本调用,master 可以自动远程启动 slave 节点进程。

安装 openssh-server 和 openssh-client
这两个是SSH工具。

sudo apt-get install openssh-server openssh-client

生成秘钥
ssh-keygen -t rsa -P ""

该命令会提示输入保存秘钥的文件名,这里保持默认值即可。直接一路 enter 之后,生成的秘钥将保存在默认路径下,比如“.ssh”目录。用ls .ssh/检查默认路径,你可以找到两个文件,一个是保存私钥的文件 id_rsa,一个是保存公钥的 id_rsa.pub。

配置免密码SSH
把 id_rsa.pub 文件的内容拷贝到authorized_keys文件里面。

cat $HOME/.ssh/id_rsa.pub>>$HOME/.ssh/authorized_keys

本地检查SSH
ssh localhost

如果配置正常的话,该命令是不会提示你输入密码的。说明免密SSH配置成功。

您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部 返回列表