之前的文章已经介绍了搭建单机Hadoop, HBase, Hive, Spark的方式:
现在希望在单机的基础上,加一个slave。
首先需要加上信任关系,加信任关系的方式,见前一篇文章:
把05和06这两台机器,分别和对方添加上信任关系。
把05上面的目录 /home/work/data/installed/hadoop-2.7.3/ 拷贝到06机器,
把 etc/hadoop 里面的 IP 10.117.146.12 都改成 11
然后06机器 要安装 jumbo 和 Java1.8
安装好之后,JAVA_HOME应该和05机器上配置的一样:
export JAVA_HOME=/home/work/.jumbo/opt/sun-java8
另外要创建这个目录 /home/work/data/hadoop/dfs
然后启动下面这些服务:
首先格式化hdfs:
./bin/hdfs namenode -format myclustername 16/11/04 16:00:44 INFO util.ExitUtil: Exiting with status 0
在slave上面要部署的服务有 datanode, node_manager(没有namenode)
启动datanode
$ ./sbin/hadoop-daemon.sh --script hdfs start datanode starting datanode, logging to /home/work/data/installed/hadoop-2.7.3/logs/hadoop-work-datanode-gzns-ecom-baiduhui-201605-m42n06.gzns.baidu.com.out
启动node manager
$ ./sbin/yarn-daemon.sh start nodemanagerstarting nodemanager, logging to /home/work/data/installed/hadoop-2.7.3/logs/yarn-work-nodemanager-gzns-ecom-baiduhui-201605-m42n06.gzns.baidu.com.out
在master上面增加slave (etc/hadoop/slaves) :
localhost10.117.146.11
然后看下master的几个管理平台:
Overview:
Yarn:
Job History:
Spark:
上网搜了一个,用root帐号将两台机器的 /etc/hosts都改成了
127.0.0.1 localhost.localdomain localhost10.117.146.12 master.Hadoop10.117.146.11 slave1.Hadoop以下一样:127.0.0.1 localhost.localdomain localhost10.117.146.12 master.Hadoop10.117.146.11 slave1.Hadoop
然后把 etc/hadoop/slaves里的内容都改成:
slave1.Hadoop
加了一个文件 etc/hadoop/masters
master.Hadoop
但是,还是始终发现master和slave是各自独立的,然后在slave上起了namenode 和 yarn之后,slave就知看到自己一个live node了。
看了一下,把所有的服务都停掉,看是否能用 ./sbin/start-all.sh ,跑了一下,发现有提示输入 work@localhost密码的,然后grep了一下localhost,发现在core-site.xml有localhost的配置:
fs.defaultFS hdfs://localhost:8390
感觉需要把slave的这里也改掉。然后试了一下,把master和slave的这个地方都改成如下:
fs.defaultFS hdfs://master.Hadoop:8390
然后,在slave启动datanode报错,错误日志:
2016-11-04 17:44:39,160 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/home/work/data/hadoop/dfs/data/java.io.IOException: Incompatible clusterIDs in /home/work/data/hadoop/dfs/data: namenode clusterID = CID-9808571a-21c3-4aeb-a114-19b99b4722d2; datanode clusterID = CID-c2a59c40-0a4b-4aba-bbab-31ec15b8d64d
貌似是namenode和datanode冲突了。用 rm -rf /home/work/data/hadoop/dfs/data/ 把data node目录整体删掉。
重新启动master上面的所有服务。
然后在slave上面重新启动datanode:
./sbin/hadoop-daemon.sh --script hdfs start datanode在日志里能看到heartbeat的内容,看起来通信成功了。
再打开master的管理界面:
http://10.117.146.12:8305/dfshealth.html 能够看到两台node了:
现在再把slave的node manager也启动:
$ ./sbin/yarn-daemon.sh start nodemanagerstarting nodemanager, logging to /home/work/data/installed/hadoop-2.7.3/logs/yarn-work-nodemanager-gzns-ecom-baiduhui-201605-m42n06.gzns.baidu.com.out
然后观察下管理界面的各个指标。
发现yarn里面还是只看到一台机器。感觉还是配置的地方有问题。
首先master和slave的配置应该是一样的。改了如下的地方:
hdfs-site.xml
dfs.namenode.http-address master.Hadoop:8305 dfs.namenode.secondary.http-address master.Hadoop:8310
mapred-site.xml
mapreduce.jobhistory.address master.Hadoop:8330 mapreduce.jobhistory.webapp.address master.Hadoop:8332
yarn-site.xml
yarn.resourcemanager.hostname master.Hadoop yarn.resourcemanager.webapp.address master.Hadoop:8320
<property>
<name>yarn.log.server.url</name> <value>http://master.Hadoop:8325/jobhistory/logs/</value> </property>然后重启master和slave的所有服务。
启动完成之后,在以上各个管理界面能够正常看到两个节点啦。
http://10.117.146.12:8305/dfshealth.html#tab-overview
http://10.117.146.12:8332/jobhistory
http://10.117.146.12:8320/cluster/nodes
跑一条命令试试:
$ ./bin/hadoop jar ./share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar -input /input -output /output -mapper cat -reducer wcpackageJobJar: [/tmp/hadoop-unjar8343786587698780884/] [] /tmp/streamjob8627318309812657341.jar tmpDir=null16/11/04 18:21:44 INFO client.RMProxy: Connecting to ResourceManager at master.Hadoop/10.117.146.12:803216/11/04 18:21:45 INFO client.RMProxy: Connecting to ResourceManager at master.Hadoop/10.117.146.12:803216/11/04 18:21:45 ERROR streaming.StreamJob: Error Launching job : Output directory hdfs://master.Hadoop:8390/output already existsStreaming Command Failed!
发现失败。要删除output目录,但是像以前那样删不行,要加上hdfs的前缀:
$ ./bin/hadoop fs -rm outputrm: `output': No such file or directory$ ./bin/hadoop fs -rm -r hdfs://master.Hadoop:8390/output16/11/04 18:22:54 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.Deleted hdfs://master.Hadoop:8390/output
然后重新跑:
$ ./bin/hadoop jar ./share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar -input /input -output /output -mapper cat -reducer wc命令成功$ ./bin/hadoop fs -ls hdfs://master.Hadoop:8390/outputFound 2 items-rw-r--r-- 3 work supergroup 0 2016-11-04 18:32 hdfs://master.Hadoop:8390/output/_SUCCESS-rw-r--r-- 3 work supergroup 25 2016-11-04 18:32 hdfs://master.Hadoop:8390/output/part-00000$ ./bin/hadoop fs -cat hdfs://master.Hadoop:8390/output/part-00000 5 5 15
得到了结果。也不太看的出来是哪台机器上跑的。