`
metooxi
  • 浏览: 70867 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop 运行硬件的选择

阅读更多

Hadoop权威指南上推荐的硬件配置:

 

CPU:2个四核的 intel Xeon 2.0GHZ 

 

Memory: 8GB ECC RAM

 

Disk: 4 TB  SATA 硬盘

 

Network:千兆以太网

 

 

 

最少3台 DataNode 节点否则Replication = 3 不能实现。

 

 

分享到:
评论

相关推荐

    Hadoop完全分布式配置.txt

    当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要与其他节点交互,单机模式就不...

    Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件.zip

    Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...

    Hadoop实战中文版.PDF

    2011年10月版次:1.1开本:16开装帧:平装字数:417千字页数:253页内容简介编辑作为云计算所青睐的分布式架构,Hadoop是一个用Java语言实现的软件框架,在由大量计算机组成的集群中运行海量数据的分布式计算,是...

    Hadoop+Hbase技术使用文档(整理过的)

    2 运行环境要求 4 2.1 支持的平台 4 2.2 硬件环境 4 2.3 软件环境 4 2.4 其他要求 5 3 安装jdk 5 3.1 查看本机的jdk版本 5 3.2 卸载低版本jdk 5 3.3 安装jdk 6 3.4 配置JDK1.6.0_27 6 4 安装ssh 7 4.1 ssh连接查看 7...

    hadoop-2.7.3.tar.gz.zip

    它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该由框架自动处理。

    hadoop-0.21.0.tar.gz

    简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性(fault-tolerent)的特点,并且设计...

    Hadoop集群规划.pptx

    1.Hadoop运行的软硬件环境 2.节点分配 3.硬件配置,内存,cpu,硬盘

    hadoop 1.2.1 api 最新chm 伪中文版

    Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce 作业(job) 通常会把输入的...

    hadoop文件2.10.1

    hadoop文件2.10.1安装文件。Apache Hadoop 软件库是一个框架,它允许...库本身不是依靠硬件来提供高可用性,而是用于检测和处理应用程序层的故障,因此在计算机群集上提供高可用性服务,每个计算机群集都容易发生故障。

    hadoop环境搭建.jpg

    HDFS是一个高度容错性的分布式文件系统,可以被部署在低廉的硬件上。它提供高吞吐量来访问应用程序的数据,并适合处理超大数据集的应用程序。HDFS放宽了POSIX的要求,可以以流的形式访问文件系统中的数据 Hadoop的...

    hadoop集群建立

    必须安装并且保证 sshd一直运行,以便用Hadoop 脚本管理远端Hadoop守护进程。 1.3. 免密码ssh设置 作为一个安全通信协议,使用时需要密码,因此我们要设置成为免密码登录。 2. hadoop配置 2.1. 安装 安装hadoop...

    Hadoop实战(第2版)

    Hadoop是一个开源的MapReduce平台,设计运行在大型分布式集群环境中,提供查询和分析服务。尤其适用于大数据系统,Hadoop为苹果、eBay、LinkedIn、雅虎和Facebook等公司提供重要软件环境。它为开发者进行数据存储、...

    01.分布式文件系统HDFS.pptx

    Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...

    Hadoop平台搭建 1.搭建 步骤文档 2.搭建时要用到的组件安装包

    安装Java环境:Hadoop需要Java运行环境,因此需要先安装Java。 下载并解压Hadoop安装包:从官方网站或其他可靠来源下载Hadoop安装包,并解压到指定目录。 配置Hadoop环境变量:设置Hadoop的相关环境变量,以便系统...

    Hadoop源码的入门解析

    简单地说来,Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。下面列举hadoop主要的一些特点: 1 扩容能力(Scalable):能可靠地(reliably)存储和处理千兆字节(PB)数据。 2 成本低(Economical)...

    Hadoop分布式文件系统

    Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错...

    云计算虚拟化hadoop实验报告.doc

    四 川 大 学 计 算 机 学 院、软 件 学 院 实 验 报 告 学号: 姓名: 专业: 班级: 9 第 15 周 "课程" 云计算与分布式系统 "实验课时 "6 " "名称" " " " "实验"在最终部署的Hadoop上运行WordCount程序 "实验时间 ...

    Greenplum Hadoop分布式平台的大数据解决方案及商业应用

    GREENPLUM运行在X86架构的硬件平台上,目前支持的操作系统包括32/64位的 LINUX(REDHAT/SUSE)/SOLARIS/MAC OS GREENPLUM的前景: GREENPLUM 诞生于2003年硅谷,2010/07 EMC收购了GREENPLUM,并把GREENPLUM作为...

    基于Hadoop的集群部署与管理系统的设计与实现毕业论文(62页27073字数).doc

    2.研究Hadoop相关系统发展概况,说明现有的Hadoop集群部署管理技术,并对比分析它们的优缺点,为技术的选择和系统的设计提供依据。 3.深入分析Hadoop及其相关系统的设计思想和基本框架。重点研究 HDFS、MapReduce、...

Global site tag (gtag.js) - Google Analytics