-
1 votesanswersviews
Cassandra中的用户定义类型(UDT)行为
如果有人在使用UDT(用户定义类型)方面有一些经验,我想了解向后兼容性如何工作 . 说我有以下UDT CREATE TYPE addr ( street1 text, zip text, state text ); 如果我修改“addr”UDT以获得更多属性(例如zip_code2 int和name text): CREATE TYPE addr ( street1 text, ... -
1 votesanswersviews
DSE Cassandra审计日志未捕获DML中的UDT
我已在特定键空间上设置DSE Cassandra审核日志功能 . 通过参考以下文件 - https://docs.datastax.com/en/datastax_enterprise/5.0/datastax_enterprise/sec/auditConfigCassandraTable.html 这工作得非常好 . 但是,问题是在“operation”列中捕获的DML语句具有预准备语句的绑定... -
0 votesanswersviews
如何验证DSE Spark Shell是否在群集中分发
是否可以从Spark shell中验证shell是连接到群集还是仅在本地模式下运行的节点?我希望用它来调查以下问题: 我已经使用DSE来设置一个小的3节点Cassandra Analytics集群 . 我可以登录到3个服务器中的任何一个并运行 dse spark 并打开Spark shell . 我还验证了所有3台服务器都通过运行 dsetool sparkmaster 配置了Spark主服务器 ... -
1 votesanswersviews
在DSE上配置Spark / Shark时出错
,我已经安装好了1)scala-2.10.3 2)spark-1.0.0用以下变量改变spark-env.sh export SCALA_HOME=$HOME/scala-2.10.3 export SPARK_WORKER_MEMORY=16g 我可以看到Spark大师 . 3)shark-0.9.1-bin-hadoop1 Changed shark-env.sh with below v... -
0 votesanswersviews
如何在Datastax Enterprise中使用Cassandra启动Spark
我最近在我的5节点集群中安装了DataStax Enterprise(v5.0) . 我计划使用3个节点作为spark和2个节点作为cassandra多节点集群 . 现在每当我尝试在我的火花节点中启动火花时 - 我收到以下错误 - sudo dse spark线程“main”中的异常java.io.IOException:无法在{127.0.0.1}打开与Cassandra的本机连接:9042 a... -
2 votesanswersviews
DSE Spark Shell身份验证
我有一个DSE 4.5安装与火花运行 . 我需要一些帮助来传递来自Spark Shell的cassandra集群的用户名/密码 . 我已将这些属性添加到conf / spark-default.conf文件中 spark.cassandra.auth.username=user spark.cassandra..auth.password=pass 并启动我的火花壳使用 dse spark 但... -
0 votesanswersviews
安装dse-full之后Cassandra没有出现
我有一个工作3节点cassandra集群,我发现在安装过程中我没有安装dse . 所以我在所有三个节点中安装了dse-full和opscenter . 但是在安装之后我发现cassandra节点都没有启动,所以我重新启动了集群节点 . 重新启动后,当我尝试运行caassandra服务时,我面临以下异常: Fatal exception during initialization org.apach... -
0 votesanswersviews
在Cassandra上启用与同一节点上的Spark
我试图测试Spark,所以我可以总结一下我在Cassandra的一些数据 . 我已经浏览了所有的DataStax教程,他们对于如何实际启用spark非常模糊 . 我能找到的唯一指示是,在安装期间选择“Analytics”节点时会自动启用它 . 但是,我有一个现有的Cassandra节点,我不想使用不同的机器进行测试,因为我只评估笔记本电脑上的所有内容 . Is it possible to jus... -
1 votesanswersviews
Cassandra 和火花
嗨我有一个关于集群拓扑和数据复制的高级问题,关于在数据存储企业中一起使用的cassandra和spark . 我的理解是,如果群集中有6个节点,并且执行了大量计算(例如分析),那么如果需要,您可以拥有3个火花节点和3个cassandra节点 . 或者,您不需要三个节点进行分析,但您的作业运行速度不会很快 . 您不希望在cassandra节点上进行大量分析的原因是因为本地内存已经用于处理cassan... -
0 votesanswersviews
DataStax Enterprise:以正确的方式向DSE集群提交spark 0.9.1应用程序
我有一个包含8个节点的运行分析(Spark Enabled)dse集群 . Spark Shell工作正常 . 现在我想构建一个spark应用程序并使用命令“dse spark-class”将其部署到集群上,根据dse文档,我认为该命令是正确的工具 . 我用sbt程序集构建了应用程序,我得到了我的应用程序的胖 jar . 经过大量的挖掘后,我想出去导出env var $ SPARK_CLIEN... -
0 votesanswersviews
单击Spark控制台时,带有HTTPS的OpsCenter会终止会话
我有一个在2个AWS节点上运行的DataStax Enterprise集群 . DSE以企业模式安装,其中一个节点以分析模式配置 . 一切正常,直到我按照此处列出的步骤为OpsCenter启用HTTPS:http://docs.datastax.com/en/opscenter/5.0/opsc/configure/opscEnablingAuth.html OpsCenter身份验证现在正常运... -
1 votesanswersviews
无法使用SPARK_ENABLED = 1启动DSE
我们运行6节点集群: HADOOP_ENABLED=0 SOLR_ENABLED=0 SPARK_ENABLED=0 CFS_ENABLED=0 现在,我们想为所有人添加Spark . 似乎“添加”不是正确的术语,因为这不会失败 . 无论如何,我们已经完成的步骤:1 . 排空其中一个节点2.将/ etc / default / dse更改为SPARK_ENABLED = 1和HADOOP_ENA... -
1 votesanswersviews
DSE Spark和RStudio Sparklyr集成
我正在尝试将我的RStudio服务器连接到我的DSE Analytics集群 . 设置: CentOS 7 openjdk-1.8 RStudio Server v1.0.136(最新版本的sparklyr by >devtools::install_github("rstudio/sparklyr") ) DSE 5.0(火花1.6.2) 群集中的... -
2 votesanswersviews
Spark Master不以DSE 4.7和OpsCenter 5.1.3开头
我最近从Datastax 4.6.3 => 4.7升级,现在我无法运行Spark . 问题似乎是Spark Master未正确配置 . 我使用OpsCenter 5.1.3,并启动了一个三节点Analytics集群 . 奇怪的是,节点最初的设置SPARK_ENABLED = 0,我必须手动将其设置为1 . 但是,现在没有正确配置spark master . 在/var/log/cassand... -
0 votesanswersviews
本地的spark-cassandra连接器使Spark集群向下看
我很新兴火花和 Cassandra . 我正在尝试一个简单的java程序,我正在尝试使用datastax提供的spark-cassandra-connector向cassandra表添加新行 . 我正在我的笔记本电脑上运行dse . 使用java,我试图通过Spark将数据保存到cassandra DB . 以下是代码: Map<String, String> extra = new... -
0 votesanswersviews
Spark-Cassandra写入时间比预期的要长
我有一个spark作业,它运行从一个cassandra表中读取数据,并将结果转储回两个表中,稍作修改 . 我的问题是这项工作需要的时间比预期的要长 . 代码如下: val range = sc.parallelize(0 to 100) val rdd1 = range.map(x => (some_value, x)).joinWithCassandraTable[Event](keys... -
1 votesanswersviews
在分布式cassandra DSE spark集群上执行作业
我有三个节点Cassandra DSE集群和数据库模式,RF = 3 . 现在我正在创建一个要在DSE spark上执行的scala应用程序 . Scala代码如下: - package com.spark import com.datastax.spark.connector._ import org.apache.spark.SparkConf import org.apache.spar... -
0 votesanswersviews
如何从不属于群集的计算机启动spark shell或提交spark作业?
我有一个4个DSE 4.6节点的集群,其中Cassandra / Spark处于独立模式,提交作业以激活或打开其中一个集群节点的spark shell工作正常 . 我现在要做的是能够从不属于集群的机器打开火花壳,所以我在新机器上安装了DSE,但是当我尝试运行时 $ SPARK_MASTER=spark://MASTER_NODE dse spark 我得到一堆连接错误,看起来像火花壳试图连接到l... -
2 votesanswersviews
Datastax spark cassandra连接器 - 将DF写入cassandra表
我们最近使用Scala,Spark和Cassandra开始了大数据项目,我是所有这些技术的新手 . 我正在尝试写入简单的任务并从cassandra表中读取 . 如果我将属性名称和列名都保存为小写或蛇形(unserscores),我能够实现这一点,但我想在我的scala代码中使用camel case . 有没有更好的方法来实现这一点,使用Scala中的camel case格式和cassandra中的... -
1 votesanswersviews
在启用spark的DSE中可以为Cassandra分配多少内存?
目前我的DSE Cassandra耗尽了所有内存 . 因此,经过一段时间和增加的数据量,整个系统崩溃 . 但是火花和操作中心和代理等也需要几个G内存 . 我现在只想将一半的内存分配给cassandra,但不确定这是否有效 . 这是我的错误消息: kernel: Out of memory: Kill process 31290 (java) score 293 or sacrifice child... -
0 votesanswersviews
如何将vanilla Cassandra集群实时迁移到Datastax Enterprise Cluster
我们目前使用Cassandra 3.3.0在 生产环境 环境中启动并运行Cassandra集群 . 我们希望将其切换到DSE群集而不会有任何停机时间 . 我们已经有了一个用于迁移模式的工具,但是将数据从我们的Cassandra集群迁移到新的Datastax集群而没有任何停机时间的最佳方法是什么? 如果您使用常规Cassandra切换群集,则只能将新群集中的节点加入当前正在运行的群集,然后在添加所有... -
0 votesanswersviews
Cassandra Spark连接器
我的cassandra CF有date和id作为分区Key . 在查询时我只知道日期,所以我循环了id的范围 . 我的问题围绕连接器如何执行以下代码 . SparkDriver代码看起来像 - SparkConf conf = new SparkConf().setAppName("DemoApp") .conf.setMaster("local[*]") ... -
1 votesanswersviews
在cassandra复制键?
谁能告诉我如何检查cassandra中复制不足的密钥? 我知道如何检查密钥空间的复制因子和“nodetool修复”进行修复,但我无法找到我的集群中正在复制哪些密钥 . 谢谢 . -
0 votesanswersviews
OpsCenter密钥空间的推荐复制策略是什么?
我'm using OpsCenter to monitor and configure my Cassandra cluster (It'实际上是一个DSE集群)我有一个跨越多个数据中心的密钥空间 . 由OpsCenter创建和维护的OpsCenter密钥空间使用SimpleStrategy作为默认复制策略,这使我无法启用其修复服务(在OpsCenter的document中提到) . 由于Iso... -
0 votesanswersviews
DSE 4.7和spark-sql驱动程序
我正在尝试使用这些链接以使spark-sql和tableau工作: http://www.tableau.com/about/blog/2014/10/tableau-spark-sql-big-data-just-got-even-more-supercharged-33799 https://www.concur.com/blog/en-us/connect-tableau-to-sp... -
0 votesanswersviews
在DSE 4.8.4上使用“dse spark-submit”的netty / epoll错误
我们在DSE 4.8.4上使用“dse spark-submit”来处理Spark / Scala应用程序: scalaVersion := "2.10.5" libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "1.4.1", &... -
1 votesanswersviews
无法在重置Cassandra时启动DSE Graph
我正在单个节点上测试DSE Graph(使用DSE 5.0.7)并设法完全破坏它 . 结果我删除了所有数据文件,目的是从头开始重建所有内容 . 在第一次重启Cassandra时,我忘了包含-G选项,但是Cassandra很好,可以从Opscenter,nodetool等查看 . 我关闭了它,清除了数据目录并重新启动了Cassandra,这次使用-G选项 . 它启动然后自动关闭,并将以下警告写入日志... -
1 votesanswersviews
将单个令牌节点添加到现有数据集cassandra集群和数据传输不起作用
每个节点向现有数据集群集添加新的单个令牌并且数据传输无效 . 随后的过程如下所述 . 如果我所遵循的过程是错误的,请更新我 . 谢谢 我们的AWS EC2 Datacenter中有3个单令牌范围数据存储节点,启用了搜索和图形 . 我们计划在数据中心添加3个节点 . 我们目前正在为密钥空间使用DseSimpleSnitch和Simple网络拓扑 . Also our current replic... -
1 votesanswersviews
如果我没有在密钥空间创建中指定数据中心,则数据不会驻留在这些节点上
场景如下:我们在 生产环境 集群中有两个数据中心:一个PROD,另一个DR . 我们创建了复制到两个数据中心的密钥空间 . 没问题 . 这是思想/问题: 如果我们想要/创建一个类似Prod的环境(PL - 它是 生产环境 的复制品),利用现有服务器 - 但是 - 不影响 生产环境 ,我的想法是创建一个新的密钥空间,但只指定DR数据中心CREATE KEYSPACE命令 . 我们希望确保数据不会从... -
2 votesanswersviews
Cassandra将Keyspace存储到新磁盘
我刚刚设置了一个全新的Windows服务器,其中包括cassandra 1.2和opscenter 2.1.3 . 我已经尝试在cassandra wiki和datastax网站上找到这些问题的解决方案,但我只能找到unix特定信息或datastax API信息 . Cassandra默认使用C:驱动器(我从未被要求在安装过程中为cassandra选择驱动器) . 在同一个cassandra实...