MAPREDUCE JAVA API(version 2.7.3)
Name | Description |
---|---|
org.apache.hadoop.mapreduce.Mapper | Mapper类,编写hadoop mr程序的Map过程时候需要继承这一个类实现其中的map方法。 |
org.apache.hadoop.mapreduce.Reducer | Reducer类,编写Hadoop mr程序的Reduce过程时候需继承的一个类,需要实现其中的reduce方法 |
org.apache.hadoop.mapreduce.Mapper.Context | 用于将Map产生的结果当中间值输出,一般是输出key/value值 |
org.apache.hadoop.mapreduce.Reducer.Context | 同Mapper.Context。将Reducer处理的结果进行输出 |
org.apache.hadoop.io.Text | 可以理解为Hadoop中专门处理字符串的类型 |
org.apache.hadoop.io.IntWritable | 可以理解为hadoop中专门处理整数的类型 |
org.apache.hadoop.mapreduce.Job | 这个类也是Hadoop mr中非常重要的类型。用于定义任务以及提交任务到Hadoop mr集群处理。setJarClass()设置main函数所在的类,程序入口。setInputFormatClass()设置输入类型的类,setOutputFormatClass()设置输出类型的类。setMapOutputKeyClass()设置Map处理输出的键类型,setMapOutputValueClass()设置Map处理输出的值类型,setOutputKeyClass()设置reduce输出的key类型,setOutputValueClass()设置reduce输出的value类型。waitForCompletion()提交任务运行。 |
org.apache.hadoop.hbase.mapreduce.TableReducer | 故名思意,当MR 的reduce处理结果需要放置在HBase中的时候,那么Reduce应该从这个类型继承 |
核心是编写继承的Mapper类与Reducer类,以及Job实例完成类型设置,提交任务运行。