ITeye博客

metooxi的博客

metooxi · 共 23 篇文章

Hadoop 自动安装脚本

Email:biansutao[@]gmail[DOT]com 还不能实现完全自动安装,只能算半自动的。 进行交互主要障碍有两点: 1. ssh-keygen的时候需要点击回车。 2. passwd 需要设置密码 如果谁能解决以上两点,欢迎email给我。 另外:需要JDK和Hadoop压缩包 第一步: 设置Root用户的SSH 无密码访问 为了之后修改Hosts文件,配置环境变量,拷贝数据方便 ssh root@192.168.1.148 'sh -c "ssh-keygen -t rsa"' cat ~/.ssh/id_rsa.pub | ssh root@192.168.1.148 '…

2012-05-08T16:57:39Z · 开源软件 · 评论(0)

HDFS 中的其他操作

1. 创建目录 public static void main(String[] args) throws IOException{ String hdfsDest = "hdfs://192.168.1.150:9000/tmp/123/321"; // HDFS中存储的文件名 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(hdfsDest), conf); fs.mkdirs(new Path(hdfsDest)); fs.close(); } // 父目录可能不存在…

2012-04-13T14:47:20Z · 开源软件 · 评论(0)

HDFS 中写入数据

import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import…

2012-04-13T14:43:04Z · 开源软件 · 评论(0)

HDFS 中读取数据的方法

方法之一: 通过URL import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.MalformedURLException; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; public class T…

2012-04-13T13:53:57Z · 开源软件 · 评论(0)

Hadoop 任务调度

mapred-site.xml 文件 <property> <name>mapred.jobtracker.taskScheduler</name> <value>org.apache.hadoop.mapred.FairScheduler</value> // 确保存在此Jar包 </property> <property> <name>mapred.fairscheduler.allocation.file</name> <value>/opt/hadoop/conf/fair-scheduler.xml</value> // </property> <property> <name>m…

2012-03-30T14:52:27Z · 开源软件 · 评论(0)

Hadoop 运行硬件的选择

Hadoop权威指南上推荐的硬件配置: CPU:2个四核的 intel Xeon 2.0GHZ Memory: 8GB ECC RAM Disk: 4 TB SATA 硬盘 Network:千兆以太网 最少3台 DataNode 节点否则Replication = 3 不能实现。

2012-03-16T11:16:49Z · 开源软件 · 评论(0)

如何配置Hadoop的 Secondary节点 & NameNode节点失效恢复

原创: 第一部分: 如何设置Secondary NameNode节点(单独的) 1. 在masters文件中添加 Secondary节点的主机名。 2. 修改hdfs-default.xml 文件 <property> <name>dfs.http.address</name> <value>client148.hadoop.local:50070</value> </property> (NameNode节点开放的HTTP服务,是由Secondary 节点获取fsimage ,edits 文件的通道) <property> <name>dfs.secondary.http.address<…

2012-03-16T09:58:25Z · 开源软件 · 评论(0)

Hadoop SecondaryNameNode 异常

异常信息 2012-03-15 16:52:01,150 WARN org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Checkpoint Period :3600 secs (60 min) 2012-03-15 16:52:01,151 WARN org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger :67108864 bytes (65536 KB) 2012-03-15 16:57:01,389 ERROR org.apac…

2012-03-15T17:21:15Z · 开源软件 · 评论(0)

Warning: $HADOOP_HOME is deprecated. 关闭

添加 export HADOOP_HOME_WARN_SUPPRESS=TRUE 到 hadoop-env.sh 中 注意要添加到集群中每一个节点中。 版本:hadoop 0.20.205 原因: Hadoop 在bin/hadoop-config.sh 中对HADOOP_HOME 进行了判断 判断发生的地方: # the root of the Hadoop installation export HADOOP_PREFIX=`dirname "$this"`/.. export HADOOP_HOME=${HADOOP_PREFIX} 报出错误的地方: bin /hadoop if [ …

2012-03-15T16:02:23Z · 开源软件 · 评论(0)

Hive 中写Transform

#!/usr/bin/python #coding:utf8 import sys for line in sys.stdin: line = line.strip('\n') arr = line.split('\t') arr[1] = arr[1].replace("sutao","biansutao").replace("bian","biansutao") print '\t'.join([arr[0],arr[1]]) ''' add file /home/hadoop/demo.py select transform(t.id,t.name) using '/usr/bin/p…

2012-03-09T18:05:58Z · 开源软件 · 评论(0)

Hadoop Hive 中的排序 Order by ,Sort by ,Distribute by, Cluster By,

Hive 中 Order by, Sort by ,Dristribute by, Cluster By 的作用和用法 1. order by set hive.mapred.mode=nonstrict; (default value / 默认值) set hive.mapred.mode=strict; order by 和数据库中的Order by 功能一致,按照某一项 & 几项 排序输出。 与数据库中 order by 的区别在于在hive.mapred.mode = strict 模式下 必须指定 limit 否则执行会报错。 hive> select * from test or…

2012-03-09T12:43:12Z · 开源软件 · 评论(0)

Hadoop Hive 复合数据结构Array,Struct,Maps

在Hive 中如何使用符合数据结构 maps,array,structs 1. Array的使用 创建数据库表,以array作为数据类型 create table person(name string,work_locations array<string>) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' COLLECTION ITEMS TERMINATED BY ','; 数据 biansutao beijing,shanghai,tianjin,hangzhou linan changchu,chengdu,wuhan 入库数据 LOAD…

2012-03-07T16:43:50Z · 开源软件 · 评论(0)

Hadoop RPC 机制和流程和实现

什么是RPC RPC(Remote Procedure Call) 远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术。RPC假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。 RPC使得开发包括网络分布式程序在内的应用程序更加容易 Hadoop 中的RPC RPC 分为 Server & Client 两种角色。Server 提供方法调用,Client通过网络来调用Server端的方法,处理返回的数据。 RPC Server 分为以下几种对象 结构 功能 Server.Listener RPC Server的监听者,用来接收RPC Cli…

2012-03-01T18:40:17Z · 开源软件 · 评论(0)

Hadoop 安装配置

主要安装流程和注意事项 红色两天要特别注意 1. 安装JDK,JRE (jdk-7u3-linux-x64.tar.gz) 64位操作系统 2. 设置环境变量JAVA_HOME and PATH (/etc/profile) 对所有用户都生效 JAVA_HOME=/usr/local/jdk1.7.0_03 export JAVA_HOME PATH=$JAVA_HOME/bin:/opt/hadoop/bin:$PATH export PATH 如果更改.basrc 文件只会对当前用户生效 3. SSH 无密码访问 (从NameNode,JobTracker 节点无密码 SSH 到Data…

2012-03-01T16:27:22Z · 开源软件 · 评论(0)

Hadoop 各参数优化

<property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>4</value> </property> // 单机Map端最大可执行的Map任务数 <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>6</value> </property> // 单机Reduce端最大可执行的Reduce任务数目 <property> <name>mapred.local.dir</name> <value>${hadoop.tmp.dir}…

2012-03-01T11:18:39Z · 开源软件 · 评论(0)