首页 文章

在HDP Hue Pig UI中运行任何Pig作业时出错 . 错误：“请初始化HIVE_HOME”

提问于
浏览 次
0

当我尝试从Hue Pig UI启动Pig Script Job时，该过程启动一个作业，然后进度条在那里停留1-3分钟并最终全部变为红色，唯一的输出是：“请初始化HIVE_HOME” .

我试图运行的我的猪脚本来自Pig validation in the HDP installation manual .

猪脚本：
A =使用PigStorage加载'passwd'（':'）;
B = foreach A生成\ $ 0作为id;将B存入'/tmp/id.out';

我_2484469_的Hue版本（v2.3根据他们的website）工作 . 我'm doing this by hand, installing the packages I need using yum and manually setting the configuration. I'm使用CentOS 6.4在亚马逊AWS机器上工作 . 我关注this installation documentation .

最初我认为我需要Oozie运行才能从Hue执行Pig Job，但是在遵循Hue日志时我发现它在执行Pig Script时启动了WebHCat，因此我安装并验证了WebHCat正在工作到http：//$WebHCat.server.full.hostname：50111 / templeton / v1 / status并验证我收到了一个非错误的响应 . 因此，我完全相信WebHCat正常工作 . 我还必须注意，由于core-site.xml中的配置允许Hue用户在运行作业时将其作为hdfs用户，因此Hune用户正在运行WebHCat服务器，这是我之前遇到的错误试图在Hue UI中运行Pig Script .

到目前为止，我已将错误跟踪到实际Pig program file中的代码块 . 有问题的代码块是：

# CLASSPATH initially contains $PIG_CONF_DIR
CLASSPATH="${PIG_CONF_DIR}"
CLASSPATH=${CLASSPATH}:$JAVA_HOME/lib/tools.jar
if [ "$includeHCatalog" == "true" ]; then
  # need to provide the hcatalog jar file path as well as
  # the location of the hive jars on which hcatalog depends
  hiveMetaStoreJar=hive-metastore-*.jar
  thriftJar=libthrift-*.jar
  hiveExecJar=hive-exec-*.jar
  fbJar=libfb303-*.jar
  jdoECJar=jdo*-api-*.jar
  slfJar=slf4j-api-*.jar
  hbaseHiveJar=hive-hbase-handler-*.jar
  if [ "$HIVE_HOME" == "" ]; then
    if [ -d "/usr/lib/hive" ]; then
      HIVE_HOME=/usr/lib/hive
    else
      echo "Please initialize HIVE_HOME"
      exit -1
    fi
  fi

此代码块导致问题的事实非常混乱，并且错误对我自己无法追踪 .

我知道这个if-else子句：if [-d“/ usr / lib / hive”];那么HIVE_HOME = / usr / lib / hive else echo“请初始化HIVE_HOME”退出-1 fi是错误源于何处，但我不明白为什么它没有意识到安装了Hive的lib目录确实存在 .

这是我被困的地方 . 我知道“/ usr / lib / hive”存在，因为我已经确认该目录存在于Hue，WebHCat和Pig都运行的机器上 . 我不知道如何调试这里出了什么问题 . 我考虑手动设置HIVE_HOME，但这可能没有实际意义，因为Pig没有认识到该目录存在于文件系统中，因此如果它稍后尝试访问代码中的路径则会出错 .

在这一点上，我可能会遗漏一些明显的东西，但我非常感谢能得到的任何帮助 .

hadoop hive apache-pig hue hcatalog

2 回答

  • 0

    我有同样的问题，但有一个略有不同的错误信息 . 这就是我修复它的方式 .

    您应该已经在/ etc / passwd中拥有“hue”用户 . 该用户的主目录应为“/ usr / lib / hue” . 这是Hue在安装期间分配的默认主目录 .

    • 为“hue”用户创建主目录 .
    sudo mkdir /home/hue
    • 更改目录权限
    sudo chown hue:hadoop /home/hue
    • 将/ etc / passwd中的主目录从“/ usr / lib / hue”更改为“/ home / hue”用户“hue”
    hue:x:1013:492:Hue:/home/hue:/bin/bash

    而已 . 现在应该没问题 .

    回复于
  • 1

    我通过在HUE的Pig页面的“Pig script”textarea下的de arguments列表中删除“-useHCatlog”参数解决了类似的问题 .

    回复于

相关问题