metooxi
- 浏览: 70871 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
MapReduce 执行过程分析
- 博客分类：
- Hadoop
问题： 一个或多个文件是怎么样经历Map / Reduce 的执行而得出结果的呢 ？
MapReduce 执行流程图
Hadoop 分区函数Partitioner
- 博客分类：
- Hadoop
分区函数
MapReduce的使用者通常会指定Reduce任务和Reduce任务输出文件的数量（R）。我们在中间key上使用分区函数来对数据进行分区，之后再输入到后续任务执行进程。一个缺省的分区函数是使用hash方法(比如，hash(key) mod R)进行分区。hash方法能产生非常平衡的分区。然而，有的时候，其它的一些分区函数对key值进行的分区将非常有用。比如，输出的key值是URLs，我们希望每个主机的所有条目保持在同一个输出文件中。为了支持类似的情况，MapReduce库的用户需要提供专门的分区函数。例如，使用“hash(Hostname(urlkey)) mod R” ...
如果要从一台服务器（ServerA)SSH到另一个服务器(ServerB)，并且不需要每次输入（ServerB机器上的）密码
1.在ServerA执行
# ssh-keygen -t rsa (一路回车)
会生成
id_rsa （私钥）
id_rsa.pub （公钥）
两个文件
2.将公钥（id_rsa.pub）内容拷贝到 ServerB 主机的.ssh目录下authorized_keys文件中，没有此文件就重建。
3. chmod 700 authorized_keys 文件。 此项至关重要。（ROOT 用户好像就不需要，其他普通用 ...
jconsole远程监控Java进程
- 博客分类：
- JAVA
JDK中的工具jconsole可以很好地监控Java进程及其运行环境的情况。这里着重讲讲远程监控。
1、远程Java程序运行参数中增加
-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8888 （一个没有占用的端口) -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=true -Dcom.sun.management.jmxremote.passwor ...
Hadoop: The Definitive Guide, 3rd Edition (Early Release)
Book Description
With this digital Early Release edition of Hadoop:
from：http://wiki.huihoo.com/wiki/Zeus
Zeus：是恶意程序工具包，是臭名昭著但名声卓著的黑客工具包。
安全公司CSIS的研究人员从论坛上下载了一份拷贝，证实是Zeus的完整源代码。
Zeus可用于制作木马，创建僵尸网络。
源码下载：http://krash.in/real2/zeus.rar （解压密码：zeus）// 因为本身是木马，所以会被扫描很多出来，请谨慎Hack
以下信息来自：赛门铁克攻击工具包和恶意网站报告
http://www.slideshare.net/BlueDavy/hbase-7532180
http://www.searchtb.com/2011/01/understanding-hbase.html
http://www.tbdata.org/archives/1509
MapReduce 的最简单解释
- 博客分类：
- Hadoop
Map 是什么
We want to count all the books in the library. You count up shelf #1, I count up shelf #2. That’s map. The more people we get, the faster it goes.
我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map”。我们人越多，数书就更快。
Reduce 是什么
Now we get together and add our individual counts. That’s reduce.
现在我们到一起，把所有人的统计数 ...