-
0 votesanswersviews
我无法访问Hive - 线程“main”中的异常java.lang.NoSuchMethodError:org.apache.hadoop.security.UserGroupInformation.login
我试图在我的Ubuntu机器上启动Hive(Cloudera安装Hadoop),我收到此错误: hdp@DevBox:/$ hive Hive history file=/tmp/hdp/hive_job_log_hdp_201304271931_185450475.txt Exception in thread "main" java.lang.NoSuchMethodErr... -
1 votesanswersviews
Oozie工作流hive动作陷入RUNNING
我从Hortonworks发行版运行Hadoop 2.4.0,Oozie 4.0.0,Hive 0.13.0 . 我有多个Oozie协调员工作,可以在同一时间启动工作流程 . 每个协调器作业都会监视不同的目录,当_SUCCESS文件显示在这些目录中时,将启动工作流程 . 工作流运行Hive操作,该操作从外部目录读取并复制内容 . SET hive.exec.dynamic.partition=tr... -
0 votesanswersviews
配置单元启动时出错 - 线程“main”中的异常java.lang.NoClassDefFoundError:org / apache / hadoop / util / PlatformName
我试图在CDH 4.2中启动Hive,我遇到了以下问题 hive Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/util/PlatformName Caused by: java.lang.ClassNotFoundException: org.apache.hadoop... -
3 votesanswersviews
无法创建数据库路径文件:/ user / hive / warehouse错误
我有一个3节点集群,我在运行一些HIVE查询时遇到以下错误 FAILED:元数据错误:MetaException(消息:无法创建数据库路径文件:/user/hive/warehouse/db_dut.db,无法创建数据库db_dut)FAILED:执行错误,从org.apache.hadoop返回代码1 . hive.ql.exec.DDLTask 我的hive-site.xml包含以下属性... -
2 votesanswersviews
从spark连接时,Hive权限被拒绝错误
我从Spark连接到Hive Metastore并执行“创建外部表”语句 . 我收到这个错误 org.apache.hadoop.hive.ql.metadata.HiveException:MetaException(消息:java.security.AccessControlException:Permission denied:user = hive,access = WRITE,inod... -
2 votesanswersviews
在配置单元中通过Java创建数据库时权限被拒绝错误
我试图使用java在hive中创建数据库 . 但是我在运行代码时遇到了这个错误: 线程“main”中的异常java.sql.SQLException:处理语句时出错:FAILED:执行错误,从org.apache.hadoop.hive.ql.exec.DDLTask返回代码1 . MetaException(消息:得到异常:org.apache.hadoop.security.AccessC... -
0 votesanswersviews
带分区的外部配置单元 - 当我添加具有读访问权限的数据的分区时,权限错误
我收到以下错误:FAILED:执行错误,从org.apache.hadoop.hive.ql.exec.DDLTask返回代码1 . MetaException(消息:得到异常:org.apache.hadoop.security.AccessControlException权限被拒绝: 当我尝试在hdfs中使用数据外部创建hive表时 . 我只是具有读访问权限而不是写访问权限,这是一个问题吗?... -
2 votesanswersviews
PIG - 找到接口org.apache.hadoop.mapreduce.JobContext,但是期望了类
我试图从蜂巢中加载一张 table . 我正在使用Hcatalog . 我使用登录hive pig -useHCatalog 我从蜂房和hadoop出口几乎所有的 jar register 'hdfs://localhost:8020/user/pig/jars/hive-jdbc-0.10.0-cdh4.5.0.jar'; register 'hdfs://localhost:8020/us... -
1 votesanswersviews
Hadoop 2.4:java.lang.NoClassDefFoundError:org / apache / hcatalog / mapreduce / InputJobInfo
我已经从Hortonworks升级到最近的Hadoop: Hadoop 2.4.0.2.1.2.1-471 Subversion git@github.com:hortonworks/hadoop.git -r 9e5db004df1a751e93aa89b42956c5325f3a4482 Compiled by jenkins on 2014-05-27T18:57Z Compiled wit... -
1 votesanswersviews
Hcatalog蜂巢问题
我试图通过以下链接执行此操作 hcatalog 示例: http://www.cloudera.com/content/cloudera/en/documentation/cdh4/v4-2-0/CDH4-Installation-Guide/cdh4ig_topic_19_6.html 我在运行这份工作时遇到以下异常 . Exception in thread "main" ... -
1 votesanswersviews
猪没有使用Hcatalog找到Hive Table
我使用PIG访问通过HCatalog创建的表batting_data . 在这样做时,我面临一个错误,说没有找到提到的表 . 但是,这个batting_data表可用于HIVE . 我也明白,如果没有提到数据库名称,则假定为default . ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1115: Table not found : default... -
0 votesanswersviews
HCatalog:线程“main”java.lang.IncompatibleClassChangeError中的异常
我试图使用HCatalog读取和写入数据,我读到我得到的以下错误是因为版本不匹配,尝试更改hive和hadoop的版本,但没有运气 . 任何帮助高度赞赏 . 信息: INFO: output schema explicitly set for writing:groupname:org.apache.hive.hcatalog.data.schema.HCatFieldSchema@17c565b... -
0 votesanswersviews
Hive进程内存大小
请问你能帮我理解Hive上下文中的512mb(以粗体显示)吗?它的内存大小是多少?我在 hive-site.xml 文件中设置了 export HADOOP_HEAPSIZE=4192 hadoop@master:~/hive/conf$ ps -ef | grep 'hive' hadoop 5587 1 0 Feb14? 00:05:27 / usr / lib / jvm / defaul... -
1 votesanswersviews
使用Json进行Hive查询错误
我正在使用twitter cloudera示例创建一个表,而我已成功创建表并获取数据,我遇到了问题 . 我可以执行 select * from tweets; 并返回数据,但是当我像_2543003更深入时,我收到错误 . 这是创建的表: ADD JAR /cdh-twitter-example/hive-serdes/target/hive-serdes-1.0-SNAPSHOT.jar; C... -
1 votesanswersviews
没有Kerberos的第二个Spark thrift Server
我有一个带有运行Spark Thrift Server(Spark 1.6.2)的kerberized HDP 2.5集群 . 同事希望使用不支持传递Kerberos参数的客户端连接到thrift服务器 . 是否有可能在另一个节点上启动第二个不需要kerberos进行身份验证的thrift服务器? -
2 votesanswersviews
Sqoop Import已成功完成 . 如何在Hive中查看这些表
我正在尝试hadoop及其相关的东西 . 为此,我在Ubuntu机器中配置了hadoop,hase,hive,sqoop . raghu@system4:~/sqoop$ bin/sqoop-import --connect jdbc:mysql://localhost:3306/mysql --username root --password password --table user --hi... -
0 votesanswersviews
使用Hive Metastore实现客户端应用程序性能
我是hadoop的新手 . 请帮我以下概念 . 为了 生产环境 目的,使用hive Metorore(进入其他数据库,如mysql等)总是很好的做法 . 在RDBMS上存储肉类数据的确切角色和需求是什么?如果我们创建一个客户端应用程序来获取UI上的hive数据,这个元数据存储是否有助于提高获取数据的性能?如果是这样的客户端应用程序的架构是什么?它会首先击中RDBMS的Metastore吗?如何使用... -
0 votesanswersviews
HIVE - 如果没有元存储它是如何工作的?
我安装了Hive 1.2.1并配置为使用Hadoop 2.7 . 但是我没有使用Derby或MySQL为Hive设置元存储 . 而且我在$ HIVE_HOME / conf下没有hive-site.xml的副本 . 我的问题是我如何能够在Hive中创建数据库和表 . 所有这些元数据都存储在哪里? 欣赏您的洞察力 . 提前致谢 . -
2 votesanswersviews
如何将Oozie配置传递给工作流操作,例如Hive?
如何将Oozie配置值传递给工作流操作? 例如,Oozie知道作业跟踪器URL: # oozie admin -oozie localhost:10000 -configuration | fgrep tracker oozie.actions.default.job-tracker : server1:8080 现在在workflow.xml中,我们发现: <action name=&q... -
0 votesanswersviews
运行Hive On Spark的SPARK_RPC_CLIENT_CONNECT_TIMEOUT - YARN群集模式
我正在使用HDP2.3并尝试使用Spark(1.3.1)作为运行配置单元查询的执行引擎 . hive / lib文件夹中也提供了spark-assembly jar . 我可以在spark-master:local中运行查询,但在使用spark-master:yarn-cluster时遇到以下问题 . 命令运行, hive -e“set hive.execution.engine = spar... -
0 votesanswersviews
Cron执行从HDFS到本地的传输,但结果不可见
我正在尝试将Hive Warehouse文件夹( /user/hive/warehouse/ )的自动备份设置为外部硬盘 . 我为此任务设置了一个正确执行的cron(它不会根据日志抛出任何错误),但无法在输出文件夹中看到结果 . 以下是步骤: sudo vim /etc/crontab 8 12 * * * root /opt/hadoop-2.7.1/bin/hadoop fs -cop... -
2 votesanswersviews
WSO2外部hadoop
我们希望将我们的WSO2 BAM 2.0.1连接到外部hadoop集群(完全分布式) . 我按照此链接进行设置 Configuring Apache Hive 但是,当我运行我的Hive脚本时,我得到以下错误 java.sql.SQLException:查询返回非零代码:9,原因:FAILED:执行错误,从org.apache.hadoop.hive.ql.exec.MapRedTask返回代码... -
-1 votesanswersviews
在Windows Azure中的Hive表中插入数据
我需要在Windows Azure中的hive表中插入数据 . 我用谷歌搜索但不知道从哪里开始 . 请告诉我应该从哪里开始 . 请提供任何链接(如果可能) . 提前致谢 -
0 votesanswersviews
当我添加hive-site.xml时,Hive Shell无法打开
我是Hadoop Ecosystem和HDFS的新手 我按照this链接安装了Hive只有差异就是我安装了1.2.1版本 . 但是,当我提取tar文件时,我无法在任何地方找到 hive-site.xml 文件 . 在这个时间点,当我在终端中输入 hive 时,我可以成功启动配置单元Shell . hduser@apache-hadoop:~$ hive Logging initialized u... -
0 votesanswersviews
Oozie的Sqoop工作无法运行Hive导入
我在使用Hue在Oozie中运行sqoop作业时遇到了问题 . 我有基于Hortonworks HDP的4个节点集群 . 我的Sqoop工作如下所示: import --options-file ./dss_conn_parms.txt --table BD.BD_TABLE --target-dir /user/user_1/DMS --m 1 --hive-import --hive-... -
0 votesanswersviews
有关使用Hive Build Spark“(CDH 4.2.0),纱线(Hadoop 2.4.0)”的信息?
我打算将Spark打造成EC2 . 默认的spark_ec2.py下载了一个预构建的软件包(Hadoop 1.0.4为1,CDH 4.2.0为2,yarn(Hadoop 2.4.0)),但它没有'-Phive -Phive-thriftserver'选项 . 大多数情况下,我需要使用Hive UDF,它必须从源代码构建 . (我也需要YARN,因为'Hive on Spark支持YARN模式下的... -
2 votesanswersviews
有没有人在Cassandra上成功运行Apache Spark&Shark
我正在尝试配置一个5节点cassandra集群来运行Spark / Shark来测试一些Hive查询 . 我安装了Spark,Scala,Shark并根据Amplab [在集群上运行Shark] https://github.com/amplab/shark/wiki/Running-Shark-on-a-Cluster进行配置 . 我能够进入Shark CLI,当我尝试从我的一个Cassandr... -
1 votesanswersviews
Scala Spark / Shark:如何访问Hortonworks中现有的Hive表?
我正在尝试找到关于这个主题的方法的一些文档/描述,请帮忙 . 我从Hortonworks安装了Hadoop 2.2.0,并安装了一些我需要查询的现有Hive表 . Hive SQL在单个节点和集群上工作极其缓慢且不合理地慢 . 我希望Shark能更快地工作 . 从Spark / Shark文档中我无法弄清楚如何使Shark与现有的Hive表一起工作 . 任何想法如何实现这一目标?谢谢! -
1 votesanswersviews
在DSE上配置Spark / Shark时出错
,我已经安装好了1)scala-2.10.3 2)spark-1.0.0用以下变量改变spark-env.sh export SCALA_HOME=$HOME/scala-2.10.3 export SPARK_WORKER_MEMORY=16g 我可以看到Spark大师 . 3)shark-0.9.1-bin-hadoop1 Changed shark-env.sh with below v... -
0 votesanswersviews
在现有Hadoop集群上安装Spark(带HIVE的ISSUE)
我想要一个Spark / Shark集群,但仍然遇到同样的问题 . 我已按照https://github.com/amplab/shark/wiki/Running-Shark-on-a-Cluster上的说明进行操作,并按照说明对Hive进行了处理 . 以下是详细信息,任何帮助都会很棒 . 我已经安装了以下软件包: Spark / Shark 1.0.0 Apache Hadoop 2.4.0 ...