A.HADOOP 启动和停止
第一次启动Hadoop,必须先格式化namenode
#cd $HADOOP_HOME /bin
#hadoop namenode –format
启动Hadoop
#cd $HADOOP_HOME/bin
#./start-all.sh
如果启动过程,报错safemode相关的Exception
执行命令
# hadoop dfsadmin -safemode leave
然后再启动Hadoop
停止Hadoop
cd $HADOOP_HOME/bin
#./stop-all.sh
B.增加节点
1.修改新节点的/etc/hosts,增加namenode的主机名与IP
2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host
3.在新节点的机器上,启动服务
#cd $HADOOP_HOME/bin
#./hadoop-daemon.sh start datanode
#./hadoop-daemon.sh start tasktracker
4.在NameNode节点执行
# hadoop dfsadmin -refreshNodes
5.均衡block
在新节点上执行(如果是增加多个节点,只需在一个新节点)
#cd $HADOOP_HOME/bin
# ./start-balancer.sh
C.删除节点
在hadoop0上修改conf/hdfs-site.xml文件
<property>
<name>dfs.hosts.exclude</name>
<value>/usr/local/hadoop/conf/excludes</value>
</property>
确定要下架的机器
dfs.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。
强制重新加载配置
#hadoop dfsadmin -refreshNodes
关闭节点
hadoop dfsadmin -report
可以查看到现在集群上连接的节点
正在执行Decommission,会显示:
Decommission Status : Decommission in progress
执行完毕后,会显示:
Decommission Status : Decommissioned
再次编辑excludes文件
一旦完成了机器下架,它们就可以从excludes文件移除了
登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下
D.常用命令
hadoop job –list #列出正在运行的Job
hadoop job –kill <job_id> #kill job
hadoop fsck / #检查HDFS块状态,是否损坏
hadoop fsck / -delete #检查HDFS块状态,删除损坏块
hadoop dfsadmin –report #检查HDFS状态,包括DN信息
hadoop dfsadmin –safemode enter | leave
分享到:
相关推荐
hadoop 笔记
hadoop学习笔记,分天学习,原创,亲测,放心使用,没问题。
Hadoop从安装到配置
Hadoop架构分析之集群结构分析,Hadoop架构分析之HDFS架构分析,Hadoop架构分析之NN和DN原生文档解读,Hadoop MapReduce原理之流程图.Hadoop MapReduce原理之核心类Job和ResourceManager解读.Hadoop MapReduce原理之...
hadoop平台搭建相关资料,如何利用hadoop搭建大数据平台,以及一些基本的Linux命令。shell编程
hadoop学习资料下载.包括hdfs,集群,MapReduce,HBase,Hive等等.完全收录.
IT十八掌徐培成HADOOP笔记
IT十八掌HADOOP笔记.docx
云计算,hadoop,学习笔记, dd
尚硅谷大数据技术之Hadoop笔记加代码
hadoop的学习笔记,web页边版本,学习分布式文件系统的好材料
大数据之Hadoop学习教程+笔记合计_超详细完整.zip
我学习hadoop的笔记,并在公司做的报告,给大家共享下
大数据hadoop配置的学习笔记,包含HDFS的基本操作指令等
传智黑马赵星老师hadoop七天课程资料笔记-第一天(全)
传智黑马赵星老师hadoop七天课程资料笔记-第二天(全)
Haddop学习笔记,涉及HDFS的详细说明文档,MapReduce的详细说明文档