- 浏览: 70869 次
- 性别:
- 来自: 北京
最新评论
Hadoop SecondaryNameNode 异常
- 博客分类:
- Hadoop
异常信息
2012-03-15 16:52:01,150 WARN org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Checkpoint Period :3600 secs (60 min)
2012-03-15 16:52:01,151 WARN org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger :67108864 bytes (65536 KB)
2012-03-15 16:57:01,389 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint:
2012-03-15 16:57:01,391 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: java.net.ConnectException: Connection refused
at java.net.PlainSocketImpl.socketConnect(Native Method)
at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)
at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:198)
at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)
at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:391)
at java.net.Socket.connect(Socket.java:579)
at java.net.Socket.connect(Socket.java:528)
at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:388)
at sun.net.www.http.HttpClient.openServer(HttpClient.java:483)
at sun.net.www.http.HttpClient.<init>(HttpClient.java:213)
at sun.net.www.http.HttpClient.New(HttpClient.java:300)
at sun.net.www.http.HttpClient.New(HttpClient.java:316)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:992)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:928)
at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:846)
at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1296)
at org.apache.hadoop.hdfs.server.namenode.TransferFsImage.getFileClient(TransferFsImage.java:160)
at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode$3.run(SecondaryNameNode.java:347)
at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode$3.run(SecondaryNameNode.java:336)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.downloadCheckpointFiles(SecondaryNameNode.java:336)
at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doCheckpoint(SecondaryNameNode.java:411)
at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doWork(SecondaryNameNode.java:312)
at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.run(SecondaryNameNode.java:275)
at java.lang.Thread.run(Thread.java:722)
原因:
hdfs-site.xml
<name>dfs.http.address</name>
<value>{your_namenode_ip}:50070</value>
文件中此属性没有配置,second NameNode 无法从NameNode 获取数据。(HTTP的方式获取数据)
此时second NameNode 节点下 :{hadoop.tmp.di}/dfs/namesecondary/current/ 目录下的数据为空
因为无法完成和NameNode 节点之间的数据同步。
发表评论
-
Hadoop 自动安装脚本
2012-05-08 16:57 1896Email:biansutao[@]gmail[DOT]com ... -
HDFS 中读取数据的方法
2012-04-13 13:53 1622方法之一: 通过URL import java. ... -
使用Jconsole对Hadoop的JVM进行监控
2012-04-01 15:11 0在Java 选项中添加如下内容,可以在远程进行Jcons ... -
Hadoop 任务调度
2012-03-30 14:52 1436mapred-site.xml 文件 ... -
Hadoop 运行硬件的选择
2012-03-16 11:16 1081Hadoop权威指南上推荐的硬件配置: CPU:2个四 ... -
如何配置Hadoop的 Secondary节点 & NameNode节点失效恢复
2012-03-16 09:58 4720原创: 第一部分: ... -
Warning: $HADOOP_HOME is deprecated. 关闭
2012-03-15 16:02 6006添加 export HADOOP_HOME_WARN_SU ... -
Hadoop Hive 中的排序 Order by ,Sort by ,Distribute by, Cluster By,
2012-03-09 12:43 19164Hive 中 Order by, Sort by ,Drist ... -
Hadoop Hive 复合数据结构Array,Struct,Maps
2012-03-07 16:43 5021在Hive 中如何使用符合数据结构 maps,array,s ... -
Hadoop 安装配置
2012-03-01 16:27 1112主要安装流程和注意事项 红色两天要特别注意 ... -
Hadoop 各参数优化
2012-03-01 11:18 1303<property> ... -
MapReduce 执行过程分析
2012-03-01 11:12 901问题: 一个或多个文件是怎么样经历Map / Reduc ... -
Hadoop 分区函数Partitioner
2012-03-01 10:45 5004分区函数 MapReduce的使用者通常会指定R ... -
Hadoop: The Definitive Guide, 3rd Edition (Early Release)
2012-02-24 10:48 1862Hadoop: The Definitive Guid ... -
Hbase 介绍
2012-02-23 15:44 556http://www.slideshare.net/BlueD ... -
MapReduce 的最简单解释
2012-02-23 14:45 1019Map 是什么 We want to count all t ...
相关推荐
Windows下hadoop3.1.0 64位hadoop.dll和...start "Apache Hadoop Distribution" hadoop secondarynamenode Taskkill /FI "WINDOWTITLE eq Apache Hadoop Distribution - hadoop secondarynamenode"。 hadoop winutils。
Hadoop常见异常,以及hadoop配置,等资料
云计算Hadoop平台的异常数据检测算法研究.pdf
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf...
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
Hadoop安装及常见异常处理,记录了在Hadoop安装中可能出现的几类常见异常及其解决方案
本书从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hado叩这一高性能处理海量数据集的理想工具。全书共14章,3个附录,涉及的主题包括:haddoop简介:mapreduce简介:hadoop分布式文件系统;hadoop的i...
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
SecondaryNameNode职责
Apache Hadoop (hadoop-3.3.4.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢,因此将hadoop-3.3.4 版本放在这里,欢迎大家来下载使用! Hadoop 架构是一个开源的、基于 Java 的编程...
调用保存文件的算子,需要配置Hadoop依赖 将文件夹中的 hadoop-3.0.0 解压到电脑任意位置 在Python代码中使用os模块配置:os.environ[‘HADOOP_HOME’] = ‘HADOOP解压文件夹路径’ winutils.exe,并放入Hadoop解压...
Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...
hadoop2.7.3 Winutils.exe hadoop.dll
hadoop的dll文件 hadoop.zip
hadoop_tutorial hadoop入门经典 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。...
支持如下版本的Hadoop hadoop-2.6.0 hadoop-2.6.3 hadoop-2.6.4 hadoop-2.7.1 hadoop-2.8.1 hadoop-2.8.3 hadoop-3.0.0
内容概要:本研究基于Hadoop平台提出了一种网络异常流量分布式检测方法,利用MapReduce框架和机器学习算法实现对大规模网络数据的高效处理和准确分析。 适用人群:网络安全从业人员、网络管理员、数据分析师等对...