我想从oozie调度程序运行Hbase TableMapReduce作业 . 我有一个驱动程序,映射器和没有reducer类 . 从具有最佳性能的hadoop生态系统的oozie开始这项工作的最佳方式是什么?目前我正在oozie工作流中为驱动程序类使用Java操作 .
<action name="custom-java-action-mr">
<java>
<main-class>com.mr.sample.MyJobDriver</main-class>
<capture-output/>
</java>
<ok to="fork1"/>
<error to="kill"/>
</action>
使用它作为map-reduce动作会有好处吗?如果是,那么请举例说明 .
Job job = Job.getInstance();
job.setJobName("My Custom Job");
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(NullOutputFormat.class);
job.setJarByClass(MyJobDriver.class);
Scan scan = new Scan();
scan.addFamily(Bytes.toBytes(Entity.FAMILY_NAME));
scan.setCaching(10000);
scan.setCacheBlocks(false);
TableMapReduceUtil.initTableMapperJob(Entity.TABLE_NAME, scan,
MyJobMapper.class, ImmutableBytesWritable.class, Result.class, job);
目前Hbase连接不安全,但我们在 生产环境 环境中确实有hbase安全连接 . 谢谢