import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
public class FileCopyWithProgress {
public static void main(String[] args) throws IOException{
String localSrc = "e://45025778_18.txt";
String hdfsDest = "hdfs://192.168.1.150:9000/tmp/a.txt"; // HDFS中存储的文件名
InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(hdfsDest), conf);
OutputStream out = fs.create(new Path(hdfsDest),new Progressable(){
public void progress(){
System.out.println(".");
}
});
IOUtils.copyBytes(in, out, 4096,true);
}
}
分享到:
相关推荐
HDFS 的读写数据流程:
hdfs写的原理,描述客户端如何将数据写的hdfs中的详细过程
java操作Hbase之从Hbase中读取数据写入hdfs中源码,附带全部所需jar包,欢迎下载学习。
HDFS读写数据流程描述,脑图展示,易于理解与记忆,仅供学习使用。HDFS分布式文件系统是一个主从架构,主节点是NameNode,负责管理整个集群以及维护集群的元数据信息;从节点是DataNode,主要负责文件数据存储。
05.HDFS的写数据到文件的输出流使用示例.mp4
由于 HDFS 中存在多个角色,且对应的应用场景主要为一次写入、多次读取的场景,因此其读和写的方式有较大不同。读/写操作都由客户端发起,并且由客户端进行整个流程的控制,NameNode 和 DataNode 都是被动式响应。 ...
为了简化文件系统的实现,支持超大规模数据集的流式访问,HDFS牺牲了文件的随机访问功能,而在实际场景中很多应用都需要对文件进行随机访问。在深入分析HDFS数据读写原理的基础上,提出了一种面向HDFS的数据随机访问...
HDFS具有高容错性,可以部署在通用硬件设备上,适合数据密集型应用,并且提供对数据读写的高吞 吐量。HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持...
请管理员删除 有敏感信息。请管理员删除 有敏感信息。
Hadoop技术HDFS数据读写流程共7页.pdf.zip
HDFS的写入数据过程细节上比较复杂,我们先来看一看具体代码是怎样实现写入数据过程的,然后再根据代码进行分析: import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; ...
基于差别概率的HDFS数据放置策略,朱亮亮,卢美莲,HDFS默认的数据放置策略是以均等概率选择数据节点来保证数据均衡地写入数据节点。然而在数据节点性能存在较大差异的实际HDFS集群应�
1. 分布式文件系统与HDFS 2. HDFS 的shell 操作 3. HDFS 体系结构与基本概念 4 HDFS 的web 接口 5. HDFS 的java 访问接口 6. HDFS 的RPC 机制 ...9. HDFS 的写数据过程分析 10. HDFS 的读数据过程分析
4.5.6 写数据(done) 423 4.5.7 数据块替换、数据块拷贝和读数据块校验 437 4.5.8 短路读操作 437 4.6 数据块扫描器 437 4.6.1 DataBlockScanner实现 438 4.6.2 BlockPoolSliceScanner实现 439 4.7 ...
自己研究大数据多年,写的一个日志数据采集方案笔记,可快速熟悉Flume,Kafka,Hdfs的操作使用,以及相互的操作接口。
(1)理解 HDFS在Hadoop体系结构中的角色。(2)熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1)操作系统:Linux(建议Ubuntu 16.04)。(2) Hadoop版本:2.7.1。 (3)JDK版本:1.7...
SparkSQL HDFS JAVA调用完整实例,使用Maven管理,项目很小,里面实例很多。敬请下载。
4.1 HDFS 写数据流程 4.1.1 剖析文件写入 4.1.2 网络拓扑概念 4.1.3 机架感知(副本节点选择) 4.2 HDFS 读数据流程
NULL 博文链接:https://chengjianxiaoxue.iteye.com/blog/2169989
HDFS采用了主从(Master/Slave)结构模型,一个HDFS集群包括一个名称节点和若干个数据节点。名称节点负责管理分布式文件系统的命名空间;数据节点是分布式文件系统HDFS的工作节点,负责数据的存储和读取 HDFS采用了...