主要安装流程和注意事项
红色两天要特别注意
1. 安装JDK,JRE (jdk-7u3-linux-x64.tar.gz) 64位操作系统
2. 设置环境变量JAVA_HOME and PATH (/etc/profile) 对所有用户都生效
JAVA_HOME=/usr/local/jdk1.7.0_03
export JAVA_HOME
PATH=$JAVA_HOME/bin:/opt/hadoop/bin:$PATH
export PATH
如果更改.basrc 文件只会对当前用户生效
3. SSH 无密码访问 (从NameNode,JobTracker 节点无密码 SSH 到DataNode节点,TaskTracker节点)
无密码访注意chmod 700 -R .ssh 目录 ,其实主要是authorized_keys 文件更改权限为 700 否则会无法正常SSH,虽然设置了SSH但还是需要密码。(注意)
4. 修改Host 文件 /etc/hosts 添加IP 和 主机名称的对应关系
5. 修改主机名称 hostname 查看更改结果
修改 /etc/sysconfig/network 文件
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=hadoop75 // 修改主机名称
再用hostname 修改主机名称
6.拷贝Hadoop 软件到每个主机,并修改配置文件,创建需要的目录
目录设置参考: (安装到/opt 目录下)
[hadoop@hadoop75 opt]$ ll /opt/
total 48
drwxrwxr-x 3 hadoop hadoop 4096 Feb 28 14:47 data (数据存储目录,NameNode节点和 DataNode节点)
lrwxrwxrwx 1 hadoop hadoop 23 Feb 27 18:52 hadoop -> /opt/hadoop-0.20.205.0/
drwxr-xr-x 17 hadoop hadoop 4096 Feb 28 10:40 hadoop-0.20.205.0
lrwxrwxrwx 1 hadoop hadoop 16 Feb 28 16:06 hive -> /opt/hive-0.8.1/
drwxrwxr-x 9 hadoop hadoop 4096 Feb 28 16:06 hive-0.8.1
drwxrwxr-x 3 hadoop hadoop 4096 Feb 28 10:27 mapred
drwxr-xr-x 3 hadoop hadoop 4096 Feb 29 17:07 tmp
<name>hadoop.tmp.dir</name> (Hadoop临时文件存储目录)
<value>/opt/tmp</value>
<name>dfs.name.dir</name>
<value>/opt/data/name</value> (NameNode 节点的数据存储目录) 注意: 此目录在Linux文件系统中不要创建留给Hadoop来创建否则会有错误。
<name>dfs.data.dir</name>
<value>/opt/data/data</value> (DataNode 节点的数据存储目录,实际分块数据的存储位置)
<name>mapred.local.dir</name> (MapReduce 在本地的临时文件的存储目录)
<value>/opt/mapred/local</value>
<name>mapred.system.dir</name> (MapReduce 在Hadoop文件系统HDFS中存储临时数据的目录)
<value>/hadoop/mapred/system</value>
<name>mapred.job.tracker</name> (JobTracker 的节点)
<value>hadoop75:9001</value>
<name>fs.default.name</name> (NameNode 的节点)
<value>hdfs://hadoop75:9000</value>
7 其他各机器配置文件拷贝一份,而后执行hadoop namenode -format 即可生成HDFS文件系统
start-all.sh 即可启动Hadoop, jps 查看是否有相应进程
jps
4316 JobTracker
5484 Jps
4058 NameNode
4229 SecondaryNameNode // NameNode 节点
jps
2867 DataNode // DataNode 节点
21479 Jps
2977 TaskTracker
Good Luck!
分享到:
相关推荐
Hadoop安装配置过程和注意事项
hadoop安装配置文档,hadoop是云计算的基础。绝大部分的云计算中的分布式存储和计算都是使用hadoop的。简单的理解的话,云计算是系统工程的蓝图,hadoop是基础层面的重要的必不可少的工具
hadoop安装配置,轻松搞定hadoop集群配置安装
很棒棒的hadoop安装配置步骤超级详细,只要有手并且认识字就能学会
在VMWare中安装好Linux操作系统,并自动配置好VMWare tools后。 需要设置共享文件夹以便与windows系统互相传输文件,Hadoop安装配置流程图解
伪分布式Hadoop安装配置测试全过程
hadoop安装配置步骤。 转载网上步骤。
CentOS7-hadoop安装配置
HADOOP 安装配置实践手册 0 Linux 基础 1 Hadoop 安装配置 2 HDFS 编程 3 MYSQL 4 HIVE 5 Sqoop 6 Storm 7 Kafka 8 RDS 9 词云
hadoop大数据培训Hadoop安装配置每一小步都写得,50页
hadoop安装配置共51页.pdf.zip
细细品味Hadoop_Hadoop集群(第5期)_Hadoop安装配置
Hadoop安装配置 自己工作中 总结的Hadoop安装的步骤 有效使用
Hadoop安装配置归类.pdf
windows+linux双系统的安装,hadoop集群的安装配置,单机环境和多机环境的配置安装
Hadoop安装配置超详细步骤,非常好的资源哦,欢迎大家下载
hadoop大数据培训Hadoop安装配置每一小步都写得
大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第5期_Hadoop安装配置 共44页.pdf
009.CentOS下JDK与Hadoop安装配置.pptx!!