由于毛毛多原因一直没机会跑一个完全分布式,上次由于网络不稳定失败后就一直没在搞过,想想还是做点笔记备忘下。
已经安装好hadoop环境下:
1、配置host文件,即确定各结点ip
2、配置ssh无密码登录
3、配置namenode,修改site
4、配置hadoop-env.sh文件,导入 jdk 就好
5、配置maste与slaves结点文件
6、一致hadoop,分别向各结点复制hadoop
7、格式化namenode
8、启动hadoop,用 jps 检测各进程是否运行成功
9、通过网络查看集群,端口50070查看 namenode 及整个分布式系统,50030查看 jobtracker。
纸上谈兵说下比较重要的几点:
1、ifconfig:查看及修改ip
2、第二步比较重要,成功与否关乎后续步骤的进行。
首先产生公私密钥:ssh-keygen -t dsa -p ' ' -f ~/.ssh/id_dsa
然后将公钥文件复制成authorized_keys:cat id_dsa.pub >> authorized_keys
各个slaves结点要包含主结点公钥信息:scp ***@master:~/.ssh/id_dsa.pub ./master_dsa.pub
这里最好也对master结点也做上述操作,因为jobtracker有不存在master 结点上的可能。
3、配置master与slaves
在 master 文件中输入主结点名,在 slaves 文件中输入各个从结点名
4、向各结点复制hadoop
scp -r ./hadoop 各结点名:~
5、格式化namenode
如单机模式,hadoop namenode -format
6、启动hadoop
start-all.sh
最后或用 jps 检查或者通过网络端口都可以查看运行情况。
下星期来集群到位,可以好好玩一把啦~~
相关推荐
史上最详细的hadoop完全分布式集群搭建,适合初学大数据的新手。由于涉及到linux的安装什么的,需要另外linux系统安装详解资源的可以联系我,免费给q:1487954071
hadoop完全分布式集群搭建笔记
本人搭建hadoop完全分布式集群时,写的文档,内有详细步骤,
Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程 按照文档中的操作步骤,一步步操作就可以完全实现hadoop2.2.0版本的完全分布式集群搭建过程
Hadoop完全分布式环境搭建文档,绝对原创,并且本人亲自验证并使用,图文并茂详细介绍了hadoop完全分布式环境搭建所有步骤,条例格式清楚,不能成功的,请给我留言!将给与在线支持!
VM+CentOS+hadoop2.7搭建hadoop完全分布式集群,自己实际实用过程的总结
centos6.2下hadoop全分布式集群配置
实验3—Hadoop 完全分布式模式搭建
完全基于自己总结的hadoop完全分布式集群配置文档 hadoop完全分布式集群搭建笔记
对于想学习 Spark 的人而言,如何构建 Spark 集群是其最大的难点之一, 为了解决大家构建 Spark 集群的一切困难,Spark 集群的构建分为了五个步骤,从 零起步,不需要任何前置知识,涵盖操作的每一个细节,构建完整...
Hadoop搭建完全分布式集群
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
见文章:Deepin Linux下快速Hadoop完全分布式集群搭建https://blog.csdn.net/lzw2016/article/details/86618345 ,文章中所提及的配置文件
Hadoop集群的完全分布式搭建
文章目录Hadoop完全分布式集群搭建一、新建虚拟机二、规划集群与服务1、逻辑结构2、物理结构3、总结构三、配置集群1、主节点基础网络配置1.1、配置固定ip地址1.2、修改主机名1.3、配置dns1.4、配置 ip 地址和主机名...
【向Linux迁移记录】Deepin Linux下快速Hadoop完全分布式集群搭建-附件资源
欢迎下载