Month: November 2012

摘自象书 宁要少量大文件，不要大量小文件（比如HDFS block还小若干量级） 因为：   1.一个文件就要一个map task   2.文件太多就需要很多map task   3.运行map task有额外开销   4.运行大量map task会带来过多开销 所以：   不要大量小文件

摘自象书： 引用 map: (K1,V1) => list(K2,V2) reduce: (K2,list(V2)) => (K3, V3)

在 上一篇文章里我们说了怎么搭建Pseudo环境本身，现在应该在这个环境上真正跑一下MapReduce任务了。 关于MapReduce程序，我们可以直接用 这里贴的代码，有些地方要改一下： 将输入、输出文件改成hdfs://localhost/… //Coupon11LogJobMain String inputFile = “hdfs://localhost/home/kent/coupon11/coupon11.log”; String outDir = “hdfs://localhost/home/kent/coupon11/output” + System.currentTimeMillis(); 当然，你要把输入文件复制到hdfs系统中 $hadoop dfs -copyFromLocal /home/kent/coupon11/coupon11.log hdfs://localhost/home/kent/coupon11/coupon11.log 配置maven assembly插件，以便把程序以及所有lib打包成一个单个的jar文件 <!– pom.xml –> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <version>2.3</version> <configuration> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> </plugin> 编译打包 $mvn assembly:assembly 将jar文件提交给MapReduce执行 $hadoop jar coupon11logs-1.0-SNAPSHOT-jar-with-dependencies.jar coupon11log.Coupon11LogJobMain 最后，从web控制台监控job/task的状态： http://localhost:50030/

我按pseudo mode启动了hadoop, 在java代码里将input/output文件都改成了hdfs://localhost/…, 在eclipse里启动Job也成功了，但为什么 http://localhost:50030/jobtracker.jsp里看不到我的job呢？ 这个错误的确很低级。对hadoop服务器来说，hdfs服务和mapreduce服务是两个独立的服务，你启动Job成功了，只意味着你的客户端成功连上了hdfs服务，不代表你正在使用hadoop的mapreduce服务。。。

http://hadoop.apache.org/docs/r0.17.2/hdfs_shell.html copyFromLocal Usage: hadoop dfs -copyFromLocal <localsrc> URI ls Usage: hadoop dfs -ls <args> cat Usage: hadoop dfs -cat URI [URI …] copyToLocal Usage: hadoop dfs -copyToLocal [-ignorecrc] [-crc] URI <localdst> 待续

抄自象书