原创:
第一部分: 如何设置Secondary NameNode节点(单独的)
1. 在masters文件中添加 Secondary节点的主机名。
2. 修改hdfs-default.xml 文件
<property>
<name>dfs.http.address</name>
<value>client148.hadoop.local:50070</value>
</property> (NameNode节点开放的HTTP服务,是由Secondary 节点获取fsimage ,edits 文件的通道)
<property>
<name>dfs.secondary.http.address</name>
<value>client147.hadoop.local:50090</value>
</property> (Secondary 节点开放的HTTP服务,是由NameNode节点获取新的fsimage 文件的通道)
如果dfs.secondary.http.address 第二项不设置会产生一下错误:
17 13:31:57,434 WARN org.mortbay.log: /getimage: java.io.IOException: GetImage failed. java.net.ConnectException: Connection refused
更详细的错误描述: http://blog.csdn.net/chlaws/article/details/6981574
两个参数:
<name>fs.checkpoint.period</name>
<value>3600</value> // fs.checkpoint.period表示多长时间记录一次hdfs的镜像。默认是1小时
<name>fs.checkpoint.size</name>
<value>67108864</value> // fs.checkpoint.size定义了edits日志文件的最大值,一旦超过这个值会导致强制执行备份(即使没到检查点的最大时间间隔)。默认值是64MB。
第二部分: NameNode节点无法恢复的时候,如何新建一个NameNode节点
1. 新建 dfs.name.dir 一个目录
例如: mkdir {/opt/data/test}
2. 把SecondaryNameNode节点中 {fs.checkpoint.dir} 的所有内容拷贝到新的NameNode节点的{fs.checkpoint.dir} 目录中
<name>fs.checkpoint.dir</name>
<value>${hadoop.tmp.dir}/dfs/namesecondary</value> // 默认设置
3. 在新的NameNode节点中执行命令 hadoop namenode -importCheckpoint
4. 检查 {dfs.name.dir} 此目录中是否有了文件,hadoop fsck / 查看文件内容是否正常。
如果一切OK,NameNode节点恢复正常。 Good Luck!
如对以上有疑问或建议请Mail to: biansutao# gmail # com
重要提示: 在一小间隔中间添加到HDFS中的数据将在恢复数据的时候丢失。
如果想减少这种数据丢失,可以把Checkpoint 的时间调低一点,比方说5分钟,15分钟。
这个需要综合考虑数据量和集群规模。
通过设置 {dfs.name.dir} 设置多个目录(例如:NFS)可以保存NameNode节点的fsimage和edits文件。
这样减少数据的损失。
<property>
<name>dfs.name.dir</name>
<value>${hadoop.tmp.dir}/dfs/name</value>
<description>Determines where on the local filesystem the DFS name node
should store the name table(fsimage). If this is a comma-delimited list
of directories then the name table is replicated in all of the
directories, for redundancy. </description>
</property>
- 大小: 124.2 KB
分享到:
相关推荐
我是搬运工,适合不方便连接外网的朋友使用,O(∩_∩)O多谢!
我是搬运工,适合不方便连接外网的朋友使用O(∩_∩)O多谢!
大数据技术之Hadoop(优化&新特性).doc详细文档
HADOOP&ZK&HBASE&YCSB集群搭建验证
文档详细介绍了hadoop在单节点工作模式下的配置,以及hadoop具有的测试用例对安装的hadoop进行测试
hadoop高可用&新特性&优化思维导图笔记
ubuntu搭建hadoop单节点.docx
Hadoop单节点安装教程 手册 环境搭建
大数据技术之Hadoop(MapReduce&Yarn).docx详细文档
王家林一站式全系列云计算大数据Hadoop&Android&HTML5&iOS&Linux训练课程第三个版本,经典的内容设计,深入浅出的课程讲解,让人耳目一新。
在网上搜集的以及本人自己总结的hadoop集群常见问题及解决办法,融合了网上常常搜到的一些文档以及个人自己的经验。
1. Hadoop 2.0 2. 部署在2个Ubuntu上 3. 2个namenode 2个datanode
hadoop-3.0.0.jar安装包;spark-2.4.0.gz安装包;scala-2.13.3.zip安装包;apache-maven-3.6.3-bin.zip安装包
hadoop2.7版本本地安装运行必须的winutils.exe和hadoop.dll以及Hadoop-2.7.7-Windows10x64位需要的bin、hadoop-eclipse-plugin-2.7.7.jar
搬运工,适合不方便连接外网的朋友使用。O(∩_∩)O! 多谢
Hadoop三节点集群安装 使用VMare 虚拟机创建三台CentOS7Linux机器
Centos7.0系统下配置Hadoop集群(以3节点为例)超详细过程
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第九讲Hadoop图文训练课程:剖析NameNode和Secondary NameNode的工作机制和流程. 此教程来自于王家林免费发布的3本Hadoop教程:云计算分布式大数据...
RPC(RemoteProcedureCall)——远程过程调用,它是一种通过...具体步骤:处理Call调用负责处理Call队列中的每个调用请求,由Handler线程完成:交互过程如下图所示:图RPC交互过程图这里还需要提到的是,在namenode的高
我是搬运工,适合不方便连接外网的朋友使用,O(∩_∩)O多谢!