首页 文章

在Cloudera Hue中为Oozie配置正确的端口（调用PIG脚本）

提问于
浏览 次
0

我是CDH4 Oozie工作流编辑器的新手 . 在尝试从Oozie工作流编辑器调用pig脚本时，我收到以下错误 .

HadoopAccessorException: E0900: Jobtracker [mymachine:8032] not allowed, not in Oozies whitelist

看起来Oozie正在向Yarn端口（8032）提交作业 . 我希望它提交到8021（MR jobtracker）端口 . 有人可以帮助我确定在哪里设置作业跟踪器URL或端口，以便oozie选择正确的（使用Hue或Cloudera管理器） .

以前我尝试了以下但没有一个帮助

  • 修改了workflow.xml文件/user/hue/oozie/workspaces/../workflow.xml文件 . 但是，当我从工作流编辑器提交作业时，它会被覆盖 .

  • 在cloudera Manager - > oozie - > configuration - > Oozie Server（高级） - > Oozie服务器配置oozie-site.xml属性的安全阀我设置如下 -

<property>
    <name>oozie.service.HadoopAccessorService.nameNode.whitelist</name>
<value>mymachine:8020</value>

oozie.service.HadoopAccessorService.jobTracker.whitelist mymachine：8021

并重新启动oozie服务 . 3.尝试在配置pig任务时覆盖'jobTracker'属性 . 这在工作流文件中显示如下，但它不会生效（或不会覆盖）仍然使用8032端口 .

<global>
            <configuration>
                <property>
                    <name>jobTracker</name>
                    <value>mymachine:8021</value>
                </property>
            </configuration>
 </global>

我正在使用CDH4版本 .

感谢您查看我的问题 .

apache-pig oozie hue

2 回答

  • 1

    如果它使用8032，则表示Hue配置为Yarn / MR2 . 你在/ about页面上有任何警告吗？你确定你没有使用MR2代替MR1吗？

    More info

    在我的设置上，我把它留空：

    <property>
    <name>oozie.service.HadoopAccessorService.jobTracker.whitelist</name>
    <value> </value>
    <description>
        Whitelisted job tracker for Oozie service.
    </description>
</property>
    回复于
  • 0

    我的新cloudera集群和我在vmware中运行的本地hadoop盒有同样的问题 . 我做了什么 - 我查看Cloudera Manager找到mapreduce1服务的主机名，并将其放入我的workflow.properties中的jobTracker属性中，

    <action name="report">
  <java>
    <job-tracker>${jobTracker}</job-tracker>
    ...
  </java>
</action>

    如果我的本地hadoop框在vmware中正确的值是 localhost.localdomain

    回复于

相关问题