-
13 votesanswersviews
在没有Cloudera的情况下安装Hue
有没有人尝试/成功在没有Cloudera的情况下在Hadoop上安装Hue? 我已经到了能够可靠地重现带有hbase和hive的hadoop集群的地步,并且可以在大约15分钟内完成所有设置 . 我很想拥有Hue以及所有这一切,而无需返回并重新设置Cloudera . -
1 votesanswersviews
Hue无法访问CDH中的Solr Collections
我正在使用CDH 4并设置Hue和Solr . 我还在Solr中创建了可以从Solr UI访问的集合 . 但我无法在顺化看到这个系列 . 当我检查Hue日志时,我看到以下错误: User [hue] not defined as proxyuser 我用Google搜索,发现它与hue.ini中的某些proxyuser设置有关 . 即使在建议进行更改之后,我也无法使其正常工作 . 请帮我解决这个问... -
0 votesanswersviews
HUE共享工作流作业的权限问题
在cloudera HUE使用用户A创建工作流作业时,作业将共享给一个组 . 用户A可以提交作业 . 用户B尝试为工作区提交作业 - 权限错误 . 试图给出不同的路径 "/user/jadhavsa/fallout/workspace" 并且还获得了1777的许可 . 作业启动时,作业重置文件夹对所有者的权限再次出现相同的错误 Failed to creat... -
0 votesanswersviews
错误2118:输入路径不存在
我从shell脚本运行猪脚本,我连接50个文件并将其放入hdfs,但当我尝试使用猪脚本加载文件时,我收到错误 ERROR 2118:输入路径不存在: 但文件在那里,当我尝试删除文件时,我收到的色调错误信息是: 无法执行操作 . 注意:您是Hue管理员,但不是HDFS超级用户,“hdfs”或HDFS超级组的一部分,“超级组” . [Errno 2]找不到文件/ user / cloudera... -
0 votesanswersviews
如何在没有CDH的情况下安装和配置Hue来管理HDFS
我想安装和配置Hue来使用网络管理我的HDFS文件? 我在本地计算机上安装了单节点Hadoop集群 . 我找到了这个Hue Install Guide,它通过Cloudera管理器和CDH安装Hue,但我想在不使用Cloudera管理器和CDH的情况下安装它 . 我怎么解决这个问题? -
1 votesanswersviews
在Docker上扩展Cloudera QuickStart中的HDFS内存
我尝试使用Cloudera QuickStart Docker Image,但似乎hdfs(0字节)上没有可用空间 . 启动Container后 docker run --hostname=$HOSTNAME -p 80:80 -p 7180:7180 -p 8032:8032 -p 8030:8030 -p 8888:8888 -p 8983:8983 -p 50070:50070 -... -
0 votesanswersviews
使用CDH4.3配置Hue
我正在尝试使用CDH 4.3配置hue . 我正面临着HDFS的配置错误 . 它说 "Current value: http://XXX.XX.XX.XXX:50070/webhdfs/v1/ Filesystem root '/' should be owned by 'hdfs'" 但在我的情况下,所有者根文件夹是用户,那么我怎么能告诉hue根文件夹的所有者是用户 . -
0 votesanswersviews
使用spark 1.6.0通过thrift连接远程不同Kerberized集群中的hive表
我有一个场景,使用spark 1.6.0使用hivecontext.sql()连接远程集群中的两个不同的hive表? 我有cloudera env,其中整个集群Auth机制是Kerboros,需要使用spark的解决方案我应该连接到两个不同的远程环境(DEV-UAT,DEV-PRD,UAT-SIT)? 已经在Stackoverflow中提到了很多例子并尝试了很多样本,但直到现在还没有解决方案? 欢... -
0 votesanswersviews
将新的namenode数据目录添加到现有集群
为了将新的NameNode数据目录(dfs.name.dir,dfs.namenode.name.dir)正确添加到现有 生产环境 群集,我需要遵循哪些步骤?我已将新路径添加到hdfs-site.xml文件中以逗号分隔的列表中,但是当我尝试启动namenode时,我收到以下错误: 目录/ data / nfs / dfs / nn处于不一致状态:存储目录不存在或无法访问 . 在我的情况下,我已... -
3 votesanswersviews
将Solr HDFS数据复制到另一个群集
我有一个solr cloud(v 4.10)安装,位于Cloudera(CDH 5.4.2)HDFS之上,有3个solr实例,每个实例托管一个每个内核的分片 . 我正在寻找一种方法来逐步将solr数据从我们的 生产环境 集群复制到我们的开发集群 . 有3个核心,但我只对复制其中一个感兴趣 . 我曾尝试使用Solr复制 - 备份和还原,但似乎没有将任何内容加载到开发群集中 . http://host... -
7 votesanswersviews
具有Docker的多节点Hadoop集群
我正在基于 Docker 的环境中规划多节点 Hadoop 群集的阶段 . 所以它应该基于轻量级易用的虚拟化系统 . 当前架构(关于文档)包含1个主节点和3个从节点 . 该主机使用 HDFS 文件系统和 KVM 进行虚拟化 . 整个 Cloud 由 Cloudera Manager 管理 . 此群集上安装了多个Hadoop模块 . 还有一个 NodeJS 数据上传服务 . 这次我应该以 Docke... -
1 votesanswersviews
Cloudera到HDP SOLR(版本5.5.2)数据迁移|在solr Cloud 上恢复后无法更新solr索引
SOLR版本 - 5.5.2 我的项目要求是将solu Cloud 索引从cloudera集群转移到HDP集群 . 数据量很大( 生产环境 中有10亿个索引记录),因此重新编制索引不是一种选择 . 我们尝试过solr还原和备份API,但数据在 Cloud 上不可见 . 请检查我们是否遗漏了以下任何步骤==> 1) Allowed snapshot (Cloudera集群):sudo -... -
0 votesanswersviews
Kafka Remote Producer - advertised.listeners
我在CDH 5.9上运行Kafka 0.10.0,集群是kerborized . 我想要做的是将消息从远程机器写入我的Kafka经纪人 . 群集(安装Kafka的位置)具有内部和外部IP地址 . 群集中的计算机主机名解析为专用IP,远程计算机将相同的主机名解析为公共IP地址 . 我从远程机器打开了必要的端口9092(我正在使用SASL_PLAINTEXT协议)到Kafka Broker,验证了使用... -
0 votesanswersviews
关于迁移到大数据的疑虑
我对hadoop有些怀疑 在cloudera发布的一个视频中,一位指导员告诉我,在hadoop中有HDFS . 每个文件都将存储为一组卡盘或块 . 每个块将在不同的机器中复制三次,以最大限度地减少故障点 . 每个映射器将处理单个hdfs块 . 从这些逻辑中我发现,如果我有一个服务器有大约100 peta字节的日志,这些日志不像hdfs那样存储在传统的文件系统中 . 主要疑问1.现在,如果我想使... -
0 votesanswersviews
Cloudera Hadoop:文件读取/写入HDFS
我在Cloudera平台上的Spark中运行了这个scala和Java代码,其简单的任务是对HDFS中的文件执行Word计数 . 我的问题是:使用此代码片段读取文件有何不同 - sc.textFile( “HDFS://quickstart.cloudera:8020 /用户/火花/ INPUTFILE / inputText.txt”) 而不是通过cloudera平台从本地驱动器读取? sc.t... -
1 votesanswersviews
Oozie Spark Action java.lang.NoClassDefFoundError:org / apache / spark / Logging
我正在使用Oozie Spark Action和纱线群集模式在CDH 5.7.4上使用Kerberos启动我的Spark应用程序(版本:1.6.0) . 我还是收到一个错误: Error: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/Logging at java... -
0 votesanswersviews
Sqoop出口工作失败
无法将HDFS内容导出到oracle DB . Oracle: create table DB1.T1 ( id1 number, id2 number ); Hive: create table DB1.T1 ( id1 int, id2 int ); insert into table values(0,... -
0 votesanswersviews
Sparklyr错误:'na.omit'调用没有丢弃任何行
当我尝试将ml_decision_tree或ml_logistic_regresion与Sparklyr包一起使用时,我收到以下错误 . 我在cloudera集群上使用spark2.1.0 . > No rows dropped by 'na.omit' call. Error in > stop(simpleError(sprintf(fmt, ...), if (call.) &... -
-1 votesanswersviews
sqoop导入 - GSS启动失败 - 无法找到任何Kerberos tgt
sqoop import - 错误out sqoop list-tables / eval工作正常 . 分布:Cloudera安全问题: GSS启动失败[由GSS异常引起:未提供有效凭据(机制级别:无法找到任何Kerberos tgt)] WARN security.UserGroupInformation:PriviledgedActionException as:pars7611(auth... -
2 votesanswersviews
Hive与MySQL的连接:用户'hive' @ 'localhost' hive拒绝访问
我在CentOS上设置了Hive,我在同一台服务器上安装了hadoop,hive和MySQL . 我还在mySQL和用户ID上设置了Metastore数据库 - hive可以访问数据库 . 我有以下问题 - 错误消息如下 . 有人可以帮助解决这个问题吗? 展示数据库; FAILED:元数据错误:MetaException(消息:得到异常:org.apache.hadoop.hive.metas... -
1 votesanswersviews
Hue访问HDFS权限问题
我已经按照cloudera路径C安装指南安装了 http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_vd_cdh_package_tarball.html 中的hadoop和一些组件 . 如果我通过CLI访问hdfs,我可以创建/ put / delete等没有任何问题 但在HUE文件浏览... -
4 votesanswersviews
HDFS作为cloudera quickstart docker中的音量
我对hadoop和docker都很新 . 我一直在努力扩展cloudera / quickstart docker image docker文件,并希望安装目录表单主机并将其映射到hdfs位置,以便提高性能并且数据在本地持久存在 . 当我用 -v /localdir:/someDir 装载音量时一切正常,但这不是我的目标 . 但当我做 -v /localdir:/var/lib/hadoop-hd... -
10 votesanswersviews
在CDH4.0.1 VM上使用MRV1运行wordcount示例
我从https://downloads.cloudera.com/demo_vm/vmware/cloudera-demo-vm-cdh4.0.0-vmware.tar.gz下载了VM 我发现系统启动后,下面列出的服务正在运行 . MRV1服务 Hadoop的0.20-MapReduce的JobTracker的Hadoop的0.20-MapReduce的的TaskTracker MRV2服务... -
0 votesanswersviews
节点管理器在几个momentes之后停止运行
得到以下错误 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl:意外的错误起始NodeStatusUpdater org.apache.hadoop.yarn.exceptions.YarnRuntimeException:收到关机信号从ResourceManager中,节点管理器的注册失败,从Resourc... -
0 votesanswersviews
Spark2 shell退出时出现`在线程中的异常“主”java.lang.IllegalArgumentException:MALFORMED`错误
Spark shell无法启动 . 我们正在使用cloudera cdh 5.14.2和java 1.8.0_91 . 我们不确定哪个jar文件解压缩有问题 . $ spark2-shell --version Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_... -
0 votesanswersviews
如何在Cloudera中配置Yarn以在所有集群节点上运行Spark执行程序?
我们有一个Cloudera集群,它有3个数据节点和相应的纱线节点管理器 . 然而,当我们以yarn-client模式向集群提交spark脚本时,其中一个节点作为应用程序主机处理,而另外两个节点作为Spark执行程序处理 . 这在以下spark日志中显示,其中只有节点2和3被设置为执行程序: Using properties file: /opt/cloudera/parcels/CDH-5.3.0... -
0 votesanswersviews
使用Sqoop将Hive Table导出到包含CLOB的Oracle
我正在尝试使用Sqoop导出Hive表 . 目前我的Hive表有一个包含冗长字符串内容的列,其中包含超过4000个字节的字符,因此我们必须将Oracle中的该列映射为CLOB,因为varchar最大长度为4000字节 . 但是当我运行sqoop导出时,虽然我看到在Oracle中填充了CLOB列为null,但是成功完成了Jobs . 用于导出的命令: sqoop export --connect x... -
0 votesanswersviews
AWS EMR - 使用Cloudera Teradata连接器导入Sqoop无法以AVRO格式加载数据
我在EMR集群上安装了cloudera sqoop teradata连接器,并尝试以avro格式导入数据 . 但是我的sqoop作业失败了以下错误 . 我在这个问题上需要你的帮助 . 我正在使用Sqoop 1.4.6版本和Teradata驱动程序14.0版本 . 通过将一些博客复制到avro jars下面的/ usr / lib / sqoop / lib / avro-mapred-1.7.... -
0 votesanswersviews
Cloudera Cluster中的Python Kafka Producer和Consumer
我在3台不同的机器上有3个经纪人的cloudera集群 . 我正在从集群内的第四个开发 . 我创建了我的主题如下:创建主题/ usr / bin / kafka-topics --zookeeper host:2181,host2:2181,hosts3:2181 / kafka --create --partitions 10 --rerelication-factor 2 --topic to... -
0 votesanswersviews
尝试通过Cloudera Data Science Workbench连接Kafka时没有经纪人可用
我正在尝试通过Cloudera Data Science Workbench在我们的内部Hadoop集群上实现GitHub项目(https://github.com/tomatoTomahto/CDH-Sensor-Analytics) . 在Cloudera Data Science Workbench上运行项目时,我在尝试通过Python api KafkaProducer(bootstrap...