首页 文章
  • 6 votes
     answers
     views

    Apache Phoenix vs Hive-Spark

    什么更快/更容易转换为SQL,接受SQL脚本作为输入:Spark SQL作为Hive高延迟查询或Phoenix的一层速度?如果是这样,怎么样?我需要对数据进行大量的upserts / join / grouping . [HBase的] 在Cassandra CQL之上是否有任何替代方案可以支持上述(以实时方式加入/分组)? 因为我想利用MLlib,所以我很可能一定要使用Spark . 但是为了...
  • 0 votes
     answers
     views

    使用phoenix在Hbase上保存数据帧

    正如 Headers 所说,我想用凤凰保存我的DataFrame . 我在scala上有一个spark代码,我在intellij IDEA上运行 . 这很简单: import org.apache.spark.sql.SparkSession import org.apache.phoenix.spark._ object MainTest extends App { val sparkSe...
  • 0 votes
     answers
     views

    尝试从SQuirrel客户端连接到Phoenix时出错

    我无法从SQuirrel Client连接到Phoenix . 使用的版本: Hortonworks HDP 2.5.3.0,phoenix-4.7.0.2.5.3.0-37,Hbase 1.1.2,SQuirrel Client版本3.8.1 我在AWS EC2实例上使用Ambari安装(ambari - 2.5.1)创建了3个节点集群 . 群集是非kerberised(不安全) . 我可以...
  • 1 votes
     answers
     views

    使用pyspark从phoenix读取错误

    我正在尝试在HDP 2.6.3沙箱上组建一个数据管道 . (docker)我正在使用pyspark与phoenix(4.7)和HBase . 我已经从maven安装了phoenix项目并成功创建了一个包含测试记录的表 . 我也可以在Hbase中看到数据 . 现在我尝试使用pyspark从表中读取数据,代码如下: import phoenix from pyspark import SparkCo...
  • 1 votes
     answers
     views

    如何在spark sql聚合中添加三个整数列

    我遇到的一个问题是Spark sql聚合 . 我有一个数据帧,我正在从apache phoenix加载记录 . val df = sqlContext.phoenixTableAsDataFrame( Metadata.tables(A.Test), Seq("ID", "date", "col1", "col2"...
  • 1 votes
     answers
     views

    Phoenix视图没有正确读取HBase数值

    我的HBase表包含包含bigint的列 . 那些从Hive声明的bigint,我用Hive来generate all HBase's HFiles for bulk loading . 从HBase shell我可以打印行并查看相应的整数值: ... 00000020-079e-4e9f-800b-e71937a78b5d column=cf:p_le_id, timestamp=1428...
  • 1 votes
     answers
     views

    将Phoenix连接到MapR群集上的Secure HBase时出错

    每当我尝试连接到安全HBase时,我都会收到以下错误 . 使用命令启动Phoenix:./ sqlline.py:5181:/ hbase ::使用的端口是5181,因为它是MapR hadoop . HBase版本为1.1.1,Phoenix版本为4.8.1 . 在实施Kerberos之前,Phoenix没有遇到任何问题 . 我们传递给不安全集群的jdbc url是./sqlline.py:5...
  • 5 votes
     answers
     views

    松鼠客户端连接到凤凰城 - 超时例外

    我想通过Squirrel客户端连接到Phoenix . 我在Squirrel日志中收到以下日志 . 日志表明已 Build 到zooperkeeper的ClientConnection,但是当使用Timeout异常 Build SQLClient连接时,它会失败 . 我已将凤凰客户端jar复制到Squirrel的lib目录中,并且驱动程序已成功注册 . 此外,当我在localhost中运行SQLL...
  • 0 votes
     answers
     views

    无法连接到Kerberos安全的Phoenix数据源

    我想测试使用Java应用程序从Apache HBase中提取数据 . 该应用程序将通过JDBC使用类似SQL的查询到Apache Phoenix . 我使用Ambari和HortonWorks HDP 2.5平台在一台机器上设置了我的Hadoop“集群” . 我还使用Ambari的向导对环境进行了Kerberized,其中我的KDC是运行Windows Active Directory的单独机器 ...
  • 1 votes
     answers
     views

    通过SquirrelClient Remotely连接到作为docker镜像部署的Phoenix Hbase

    我已经在虚拟主机中部署了Hbase(独立),Zookeeper和Phoenix作为docker镜像 . 图像成功启动没有任何问题 . 此外,在配置文件中进行了一些更改之后,我可以通过docker镜像容器中的./sqlline.py 127.0.0.1:2181:/hbase-unsecure使用Phoenix连接到Hbase . 在成功创建表和测试的一些示例查询之后,我尝试通过抛出TimeOutE...

热门问题