0
点赞
收藏
分享

微信扫一扫

Hadoop开发常用的API汇总

南陵王梁枫 2023-06-21 阅读 41

MAPREDUCE JAVA API(version 2.7.3)

Name Description
org.apache.hadoop.mapreduce.Mapper Mapper类,编写hadoop mr程序的Map过程时候需要继承这一个类实现其中的map方法。
org.apache.hadoop.mapreduce.Reducer Reducer类,编写Hadoop mr程序的Reduce过程时候需继承的一个类,需要实现其中的reduce方法
org.apache.hadoop.mapreduce.Mapper.Context 用于将Map产生的结果当中间值输出,一般是输出key/value值
org.apache.hadoop.mapreduce.Reducer.Context 同Mapper.Context。将Reducer处理的结果进行输出
org.apache.hadoop.io.Text 可以理解为Hadoop中专门处理字符串的类型
org.apache.hadoop.io.IntWritable 可以理解为hadoop中专门处理整数的类型
org.apache.hadoop.mapreduce.Job 这个类也是Hadoop mr中非常重要的类型。用于定义任务以及提交任务到Hadoop mr集群处理。setJarClass()设置main函数所在的类,程序入口。setInputFormatClass()设置输入类型的类,setOutputFormatClass()设置输出类型的类。setMapOutputKeyClass()设置Map处理输出的键类型,setMapOutputValueClass()设置Map处理输出的值类型,setOutputKeyClass()设置reduce输出的key类型,setOutputValueClass()设置reduce输出的value类型。waitForCompletion()提交任务运行。
org.apache.hadoop.hbase.mapreduce.TableReducer 故名思意,当MR 的reduce处理结果需要放置在HBase中的时候,那么Reduce应该从这个类型继承

核心是编写继承的Mapper类与Reducer类,以及Job实例完成类型设置,提交任务运行。

举报

相关推荐

0 条评论