博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
在单机Hadoop上面增加Slave
阅读量:5743 次
发布时间:2019-06-18

本文共 5394 字,大约阅读时间需要 17 分钟。

之前的文章已经介绍了搭建单机Hadoop, HBase, Hive, Spark的方式:

现在希望在单机的基础上,加一个slave。

首先需要加上信任关系,加信任关系的方式,见前一篇文章:

把05和06这两台机器,分别和对方添加上信任关系。

 

把05上面的目录 /home/work/data/installed/hadoop-2.7.3/ 拷贝到06机器,

把 etc/hadoop 里面的 IP 10.117.146.12 都改成 11

 

然后06机器 要安装 jumbo 和 Java1.8

安装好之后,JAVA_HOME应该和05机器上配置的一样:

export JAVA_HOME=/home/work/.jumbo/opt/sun-java8

 

另外要创建这个目录 /home/work/data/hadoop/dfs

 

然后启动下面这些服务:

首先格式化hdfs:

./bin/hdfs namenode -format myclustername 16/11/04 16:00:44 INFO util.ExitUtil: Exiting with status 0

在slave上面要部署的服务有 datanode, node_manager(没有namenode)

启动datanode

$ ./sbin/hadoop-daemon.sh --script hdfs start datanode starting datanode, logging to /home/work/data/installed/hadoop-2.7.3/logs/hadoop-work-datanode-gzns-ecom-baiduhui-201605-m42n06.gzns.baidu.com.out

启动node manager

$ ./sbin/yarn-daemon.sh start nodemanagerstarting nodemanager, logging to /home/work/data/installed/hadoop-2.7.3/logs/yarn-work-nodemanager-gzns-ecom-baiduhui-201605-m42n06.gzns.baidu.com.out

在master上面增加slave (etc/hadoop/slaves) :

localhost10.117.146.11

然后看下master的几个管理平台:

Overview:  

Yarn: 

Job History: 

Spark: 

 

上网搜了一个,用root帐号将两台机器的 /etc/hosts都改成了

127.0.0.1               localhost.localdomain localhost10.117.146.12           master.Hadoop10.117.146.11           slave1.Hadoop以下一样:127.0.0.1               localhost.localdomain localhost10.117.146.12           master.Hadoop10.117.146.11           slave1.Hadoop

然后把 etc/hadoop/slaves里的内容都改成:

slave1.Hadoop

加了一个文件  etc/hadoop/masters

master.Hadoop

但是,还是始终发现master和slave是各自独立的,然后在slave上起了namenode 和 yarn之后,slave就知看到自己一个live node了。

 

看了一下,把所有的服务都停掉,看是否能用 ./sbin/start-all.sh ,跑了一下,发现有提示输入 work@localhost密码的,然后grep了一下localhost,发现在core-site.xml有localhost的配置:

fs.defaultFS
hdfs://localhost:8390

感觉需要把slave的这里也改掉。然后试了一下,把master和slave的这个地方都改成如下:

fs.defaultFS
hdfs://master.Hadoop:8390

然后,在slave启动datanode报错,错误日志:

2016-11-04 17:44:39,160 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/home/work/data/hadoop/dfs/data/java.io.IOException: Incompatible clusterIDs in /home/work/data/hadoop/dfs/data: namenode clusterID = CID-9808571a-21c3-4aeb-a114-19b99b4722d2; datanode clusterID = CID-c2a59c40-0a4b-4aba-bbab-31ec15b8d64d

貌似是namenode和datanode冲突了。用 rm -rf /home/work/data/hadoop/dfs/data/ 把data node目录整体删掉。

 

重新启动master上面的所有服务。

然后在slave上面重新启动datanode:

./sbin/hadoop-daemon.sh --script hdfs start datanode在日志里能看到heartbeat的内容,看起来通信成功了。

再打开master的管理界面:

http://10.117.146.12:8305/dfshealth.html 能够看到两台node了:

现在再把slave的node manager也启动:

$ ./sbin/yarn-daemon.sh start nodemanagerstarting nodemanager, logging to /home/work/data/installed/hadoop-2.7.3/logs/yarn-work-nodemanager-gzns-ecom-baiduhui-201605-m42n06.gzns.baidu.com.out

然后观察下管理界面的各个指标。

发现yarn里面还是只看到一台机器。感觉还是配置的地方有问题。

首先master和slave的配置应该是一样的。改了如下的地方:

hdfs-site.xml

dfs.namenode.http-address
master.Hadoop:8305
dfs.namenode.secondary.http-address
master.Hadoop:8310

mapred-site.xml

mapreduce.jobhistory.address
master.Hadoop:8330
mapreduce.jobhistory.webapp.address
master.Hadoop:8332

yarn-site.xml

yarn.resourcemanager.hostname
master.Hadoop
yarn.resourcemanager.webapp.address
master.Hadoop:8320

<property>

<name>yarn.log.server.url</name>
<value>http://master.Hadoop:8325/jobhistory/logs/</value>
</property>

然后重启master和slave的所有服务。

启动完成之后,在以上各个管理界面能够正常看到两个节点啦。

http://10.117.146.12:8305/dfshealth.html#tab-overview

http://10.117.146.12:8332/jobhistory

http://10.117.146.12:8320/cluster/nodes

 

跑一条命令试试:

$ ./bin/hadoop jar ./share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar -input /input -output /output -mapper cat -reducer wcpackageJobJar: [/tmp/hadoop-unjar8343786587698780884/] [] /tmp/streamjob8627318309812657341.jar tmpDir=null16/11/04 18:21:44 INFO client.RMProxy: Connecting to ResourceManager at master.Hadoop/10.117.146.12:803216/11/04 18:21:45 INFO client.RMProxy: Connecting to ResourceManager at master.Hadoop/10.117.146.12:803216/11/04 18:21:45 ERROR streaming.StreamJob: Error Launching job : Output directory hdfs://master.Hadoop:8390/output already existsStreaming Command Failed!

发现失败。要删除output目录,但是像以前那样删不行,要加上hdfs的前缀:

$ ./bin/hadoop fs -rm outputrm: `output': No such file or directory$ ./bin/hadoop fs -rm -r hdfs://master.Hadoop:8390/output16/11/04 18:22:54 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.Deleted hdfs://master.Hadoop:8390/output

然后重新跑:

$ ./bin/hadoop jar ./share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar -input /input -output /output -mapper cat -reducer wc命令成功$ ./bin/hadoop fs -ls hdfs://master.Hadoop:8390/outputFound 2 items-rw-r--r--   3 work supergroup          0 2016-11-04 18:32 hdfs://master.Hadoop:8390/output/_SUCCESS-rw-r--r--   3 work supergroup         25 2016-11-04 18:32 hdfs://master.Hadoop:8390/output/part-00000$ ./bin/hadoop fs -cat hdfs://master.Hadoop:8390/output/part-00000      5       5      15

得到了结果。也不太看的出来是哪台机器上跑的。

 

转载于:https://www.cnblogs.com/charlesblc/p/6030008.html

你可能感兴趣的文章
我的丈夫是个程序员
查看>>
软件正在改变世界,为什么程序员却得不到足够的尊重?
查看>>
C# .NET4.0 改为 到.NET2.0 时 TypedTableBase 报错解决方法
查看>>
SQL点滴32—Excel中CONCATENATE函数生成SQL语句
查看>>
oninput,onpropertychange,onchange的用法和区别【转载】
查看>>
WebService原理
查看>>
Nginx学习之三-ngx_http_request_t结构体
查看>>
JS里写入(混写)php asp
查看>>
安卓开发_浅谈SubMenu(子菜单)
查看>>
Android 编程下的代码混淆
查看>>
python插入oracle数据
查看>>
常见的Hadoop十大应用误解
查看>>
App开发所要注意的几个法务问题(转)
查看>>
微信分享JS接口失效说明及解决方案
查看>>
POJ3176:Cow Bowling(数字三角形问题)
查看>>
简易扩展Visual Studio UnitTesting支持TestMethodCase
查看>>
TypeError: document.formname.submit is not a function
查看>>
android 获取当前 activity
查看>>
修改UIView的默认Layer后,修改View的值会动态修改Layer的值
查看>>
AndroidStudio小技巧--依赖库
查看>>