首页 文章
  • 5 votes
     answers
     views

    从oozie到Hue运行shell脚本

    我在Hue使用oozie编辑器调用bash shell脚本 . 我在工作流中使用了shell动作,并在shell命令中尝试了以下不同的选项: 使用'choose a file'上传shell脚本 提供存在shell脚本的本地目录路径 给出了存在shell脚本的HDFS路径 但所有这些选项都给出了以下错误: 不能运行程序 “sec_test_oozie.sh”(在目录 “/数据/ ...
  • 0 votes
     answers
     views

    使用“添加文件”部分(shell脚本)时,Hortonworks Hue Oozie流式处理作业失败

    我安装了HDP 2.x和hue . (2位房东) 我需要解决这个问题,因为我是oozie工作流程的新手 . 我在这里按照示例:http://www.oraclealchemist.com/news/hadoop-streaming-hue-oozie-workflows-hive/如果我只在相应路径的所有主机中都有mapper和reducer,那么它的工作正常 . 我看到oozie的ambari...
  • 1 votes
     answers
     views

    如何使用hue接口将Java Action作为oozie工作流运行

    我创建了一个java main方法的测试可执行jar,它接受args [0] = Hadoop . java程序接受此参数并将以下字符串写入文本文件中; “currentTimeStamp / t欢迎来到Hadoop !! / n”100,000次 . 我使用hue接口为java动作创建了一个oozie-workflow . 请参阅下面的workflow.xml . 然而,oozie-workf...
  • 2 votes
     answers
     views

    SparkAction用于纱线簇

    使用Hortonworks HDP 2.3预览沙箱(oozie:4.2.0.2.3.0.0-2130,spark:1.3和Hadoop:2.7.1.2.3.0.0-2130),我试图使用"yarn-cluster"调用oozie spark动作主 . Oozie Spark Action中提供的示例用于在"local" master上运行spark操作 ....
  • 3 votes
     answers
     views

    Oozie:从Oozie <java>行动中启动Map-Reduce?

    我正在尝试使用 &lt;java&gt; 操作在Oozie工作流中执行Map-Reduce任务 . O 'Reilley' s Apache Oozie(Islam and Srinivasan 2015)指出: 虽然不推荐,但可以使用Java操作来运行Hadoop MapReduce作业,因为MapReduce作业毕竟只是Java程序 . 调用的主类可以是Hadoop MapReduce驱动程...
  • 5 votes
     answers
     views

    Oozie shell脚本动作

    我正在探索Oozie管理Hadoop工作流的功能 . 我正在尝试设置一个shell动作来调用一些配置单元命令 . 我的shell脚本hive.sh看起来像: #!/bin/bash hive -f hivescript hive脚本(已经独立测试)创建了一些表等等 . 我的问题是在哪里保留hivescript,然后如何从shell脚本中引用它 . 我尝试了两种方法,首先使用本地路径,如 hive...
  • 1 votes
     answers
     views

    Oozie:Hue:运行shell脚本时拒绝权限

    我在HDFS /user/user 中有一个shell脚本 sample_shell.sh ,如下所示: source /user/user/params_new.cfg echo &quot;HELLO WORLD&quot; echo $layer params_new.cfg也在HDFS /user/user 目录中,其内容为: layer=&quot;S&quot; 我是ooz...
  • 2 votes
     answers
     views

    尝试在Hue中运行工作流时出现Oozie错误

    我目前无法让Oozie在我的hadoop安装上正常工作 . 任何输入都是值得赞赏的,因为我是一个完整的初学者 . 我使用:hadoop 2.6.0(使用Yarn),oozie 4.0.1,hive 1.0.0,hue 3.7.1,pig 0.12它是我在伪分布式运行的本地安装 . 我从tars安装了所有内容并手动配置它,因为很遗憾,cloudera的一键安装在OS X中不起作用 . 在CLI和Hu...
  • 1 votes
     answers
     views

    使用Hue通过Shell脚本在oozie中调度sqoop作业

    我可以使用Hue在Oozie中运行sqoop命令 . 但是,当我尝试通过将它放在shell脚本中运行相同的sqoop命令时,我收到如下错误 Stdoutput 2016-05-20 10:52:13,241 ERROR [main] sqoop.Sqoop (Sqoop.java:runSqoop(181)) - Got exception running Sqoop: java.lang.R...
  • 0 votes
     answers
     views

    Hue上的Pig脚本错误

    HUE版本:hue-3.9.0 cdh5.11.2 5098-1.cdh5.11.2.p0.7.el6.x86_64 CDH版本:2.6.0-cdh5.11.2 猪脚本: A = LOAD'/ user / hdfs / test_data'; DUMP A; 在shell上运行此脚本时,它成功运行 但是当在Hue上运行它会挂起50%的检查日志 ��h��׶9�A@���P VERSIONAPP...
  • 0 votes
     answers
     views

    在job.properties文件中进行更改后遇到运行配置单元操作的问题

    我在使用oozie运行hive2动作时遇到问题 . 我需要添加自己的 jar 的路径,为此我已经使用过了 . oozie.use.system.libpath=true oozie.libpath=path of my jar file. 但是现在我的hive2动作失败了以下日志 . SLF4J:类路径包含多个SLF4J绑定 . SLF4J:在[jar:file:/opt/cloudera/p...
  • 1 votes
     answers
     views

    多个MapReduce作业,包含多个文件作为输入和多个reducer

    我需要链接多个MapReduce流作业,以便在大型数据集上执行一些计算 . 我打算为每项工作使用多个减速器,以加快整体工作 . 作为工作流程调度程序,我使用Oozie . 这是一个说明我的问题的例子:假设我有两个文件 File 1: File 2: A B 1 A B 3 A C 4 C D 6 B D 2 B D...
  • 0 votes
     answers
     views

    是否应该在单个hadoop集群内的所有hadoop节点上安装oozie?

    我在hadoop 1.0.3上运行oozie . 我想知道是否必须在单个集群内的所有hadoop节点上安装oozie?仅在主节点(hadoop)上安装它是否足够?我搜索了oozie文档,但找不到我的问题的答案 . 感谢,Mohsin .
  • 2 votes
     answers
     views

    在oozie Java Action中传递HBase凭据

    我需要安排一个与安全的hbase交互的oozie Java操作,所以我需要为Java操作提供hbase凭据 . 我使用的是安全的hortonworks 2.2环境,我的工作流XML如下所示 &lt;workflow-app xmlns=&quot;uri:oozie:workflow:0.4&quot; name=&quot;solr-wf&quot;&gt; &lt;credential...
  • 1 votes
     answers
     views

    运行Oozie SSH Java Action

    如何运行 SSH+JAVA Action ? . 我需要对远程机器运行SSH操作 . 在我的远程机器中我有一个jar文件属性文件必须执行 . 如何为此编写工作流程? 在这种情况下,是否将jar文件从oozie lib文件夹复制到远程计算机 . 如果是这样,它将被复制 /home/user/oozie-oozi/ 我写了一个像下面这样的工作流程 &lt;action name=&quot;ssh-...
  • 0 votes
     answers
     views

    Oozie java动作被群集杀死然后重新启动

    我正在使用oozie java动作步骤来启动java main . 这个java应用程序执行一些计算,然后根据该数据运行另一个map-reduce作业 . 由于oozie java操作作为仅限 Map 的作业运行,因此也可以在作业跟踪器中看到它 . 我们的一个节点内存不足,因此任务跟踪器杀死了oozie map-only作业并在另一个节点上重新启动它 . 但是在杀死它之前,java应用程序已经产生...
  • 1 votes
     answers
     views

    Oozie从最后一次杀死它的节点重新运行工作流程

    我在oozie中使用MR动作 . 并希望使用oozie在MR上提供的暂停/恢复功能 . 问题 - 然而,当我们在Oozie上调用'suspend'而不会杀死hadoop作业时,它只更新oozie状态,而hadoop作业继续运行完成 . 我希望在oozie工作流程暂停时立即杀死hadoop作业 . 猜猜那是不对的吗? 所以,我想我可以杀死oozie工作流程并重新运行它 . 但现在的问题是,如果我的工...
  • 0 votes
     answers
     views

    在Oozie Java操作中使用JobControl

    你可以在Oozie Java动作中使用JobControl来启动一系列作业吗?你觉得它“自然”吗? 我有一系列工作,其中一个作业的输出输入到另一个作业,我正在考虑使用JobControl来组织作业流程,Oozie从集群中的节点(而不是从客户端)开始工作并执行安排工作 . 另一方面,我不想使用Oozie组织复杂的工作流,这就是我想要运行单个Java操作的原因 .
  • 0 votes
     answers
     views

    Java作业的MR Job从Oozie本地运行

    我正在尝试使用Java动作为Oozie中的驱动程序运行一系列MR作业 . 问题是MR作业是在本地运行而不是在Hadoop集群上运行 . 如何解决这个问题? 以下是使用默认构造函数创建配置时的配置 Configuration conf = new Configuration() mapreduce.jobtracker.address = local mapreduce.framework.name...
  • 5 votes
     answers
     views

    为oozie工作流运行单个应用程序主机

    (根据Why does the oozie luncher consume 2 yarn containers?) 我有1900核心和11TB RAM的集群 . 我有我的Oozie WF的下一个工作流程结构: 大约300-400个具有相同结构的子工作流并行运行(通过fork控制节点) 在这些子流中逐个运行几个任务(java动作,spark任务,shell动作) 一些子流程可以在3-5分...
  • 0 votes
     answers
     views

    在Cloudera Hue中为Oozie配置正确的端口(调用PIG脚本)

    我是CDH4 Oozie工作流编辑器的新手 . 在尝试从Oozie工作流编辑器调用pig脚本时,我收到以下错误 . HadoopAccessorException: E0900: Jobtracker [mymachine:8032] not allowed, not in Oozies whitelist 看起来Oozie正在向Yarn端口(8032)提交作业 . 我希望它提交到8021(MR...
  • 0 votes
     answers
     views

    如何使用oozie执行shellScript

    我跟随我在 sqoopJob.sh 写的sqoop工作 ----------- myscript.sh ------------------ TARGET_DIR=date+&quot;%Y_%m_%d&quot; sqoop import --connect jdbc:mysql://localhost/mydb --username root --password root --table ...
  • 0 votes
     answers
     views

    火花工作(oozie - hue)陷入运行状态

    我有一个火花工作将csv转换为镶木地板 . 我试图通过色调的oozie工作流来运行它 . 这是最简单的工作流程,包括一个步骤(一个火花程序) . 当我为一个简单的程序jar运行它时(比如hello spark types示例),它通过hue提交时工作正常 . 但是当我有一个更大的jar(~96 MB)时,工作就会陷入运行状态 . 代码没有问题,因为同一个jar在同一个环境中与spark-submi...
  • 0 votes
     answers
     views

    Hadoop Streaming Job无法在OOzie中运行

    我正在尝试编写一个简单的 Map ,只有hadoop流式传输作业从hdfs读取数据并将其推送到vertica . 我编写了一个shell脚本,如下所示 ./vsql -c &quot;copy $TABLE from stdin delimiter E'\t' direct null '\\N';&quot; -U $DBUSER -w $DBPWD -h $DBHOST -p $DBPORT ...
  • 1 votes
     answers
     views

    通过Knox / Oozie shell操作提交Spark作业时的FileNotFoundException

    我试图通过Oozie(在Knox上)提交Spark作为shell动作(因为我们正在使用HDP) . 提交在Yarn应用程序日志中停止并显示以下错误: 17/11/09 10:58:37 INFO Client: Using the spark assembly jar on HDFS because you are using HDP, defaultSparkAssembly:hdfs://ie...
  • 0 votes
     answers
     views

    提交色调生成的oozie脚本时,Launcher ERROR

    我在使用hue通过oozie运行pyspark脚本时遇到问题 . 我可以通过笔记本运行脚本中包含的相同代码,或者使用spark-submit运行相同的代码而不会出错,这让我怀疑我的oozie工作流中的某些内容配置错误 . 为我的工作流xml生成的spark动作部分是: &lt;action name=&quot;spark-51d9&quot;&gt; &lt;spark xmln...
  • 1 votes
     answers
     views

    Oozie工作流hive动作陷入RUNNING

    我从Hortonworks发行版运行Hadoop 2.4.0,Oozie 4.0.0,Hive 0.13.0 . 我有多个Oozie协调员工作,可以在同一时间启动工作流程 . 每个协调器作业都会监视不同的目录,当_SUCCESS文件显示在这些目录中时,将启动工作流程 . 工作流运行Hive操作,该操作从外部目录读取并复制内容 . SET hive.exec.dynamic.partition=tr...
  • 3 votes
     answers
     views

    如何将Jar文件传递给OOZIE shell节点中的shell脚本

    嗨我在脚本中运行java程序时遇到错误,该脚本正在oozie shell action workflow中执行 . Stdoutput 2015-08-25 03:36:02,636 INFO [pool-1-thread-1] (ProcessExecute.java:68) - Exception in thread &quot;main&quot; java.io.IOException:...
  • 2 votes
     answers
     views

    如何将Oozie配置传递给工作流操作,例如Hive?

    如何将Oozie配置值传递给工作流操作? 例如,Oozie知道作业跟踪器URL: # oozie admin -oozie localhost:10000 -configuration | fgrep tracker oozie.actions.default.job-tracker : server1:8080 现在在workflow.xml中,我们发现: &lt;action name=&q...
  • 0 votes
     answers
     views

    oozie工作流程中的Pyspark错误

    我只能访问HUE(3.7.0)界面,通过这个我试图运行一个oozie工作流,其中只包含一个Spark动作来执行python脚本,如下图所示: my simple oozie workflow consoli.py文件位于工作区“/user/hue/oozie/workspaces/hue-oozie-1470040761.25/lib”不幸的是,我有这个问题(如果我用jar文件而不是一个pytho...

热门问题