-
0 votesanswersviews
Cassandra插入/写入失败
我已经在CentOS6.5服务器上安装了Cassandra 2.0,并且在测试简单记录时一切正常,现在我必须上传6000亿行,当我在cqlsh上使用COPY时,它在5分钟后失败,并且插入的大约行是20万行rpc超时,然后我选择了pycasso并解析了csv并尝试使用insert命令导入,在每10K记录之后,我们选择关闭连接并再次开发新连接 . 但在大约6万条记录之后,它因超时而失败 . 我的调试跟... -
1 votesanswersviews
使用安装在同一群集上的apache spark将数据从HDFS文件插入另一个群集中的DSE cassandra表
我们在Hadoop集群2.8上安装了Spark 1.6 . 我们有一个单独的Datastax Cassandra集群4.8.6(C * 3.x和spark 1.4.2) . 我们需要将数据从HDFS文件复制到DSE cassandra表中 . 在我们目前的工作中,我们在HDFS Spark集群上提交了一个spark作业(独立模式下的spark-submit),它将数据加载到DSE cassandr... -
3 votesanswersviews
Cassandra 2.0.7至2.1.2 sstable upgradedesstables,压实问题
我们将Cassandra(5 5个节点)2.0.9升级到2.1.2(二进制文件)并逐个运行nodetool upgradesstables(bash脚本),之后我们发现了一些问题: 在每个节点上我们观察到其中一个超过500的50个“待处理任务”,它持续了5天 - 当我们启动nodetool升级时,即使concurrent_compactors设置为8,cassandra也不会超过3-4个同时 ... -
0 votesanswersviews
驾驶Full Cassandra DSE
我刚刚在不知情的情况下填满了一个驱动器 . 我添加了一个新节点,重建很顺利 . 然后我尝试运行清理,但由于空间的原因,我得到普通的无法写入磁盘 . 什么是解决这个问题的最佳方法?我确实有复制,所以我可以格式化驱动器并重建,但不确定它是否是最佳方式 . 有没有办法通过检查新节点上存在的内容来手动删除文件?任何想法都会很棒,我不会再让它发生! 群集信息: Cassandra版本:2.1.11.908 ... -
1 votesanswersviews
无法使用SSL启动Cassandra 2.0
我正在尝试用SSL启动Cassandra . 我的山药文件有 server_encryption_options: internode_encryption: all keystore_password: changeme truststore_password: changeme truststore: /opt/certs/cassandra.truststo... -
2 votesanswersviews
Spark中的java.lang.NoSuchMethodError
我正在使用spark(spark版本1.2.1,scala版本:2.10.4)和cassandra(cassandra连接器1.2.0-rc3),我想使用 joinWithCassandraTable 函数 . 为此,我已经在spark-shell中尝试过它,它完美无缺 . val customersInteractions= customers.joinWithCassandraTable(ca... -
4 votesanswersviews
Cassandra一次在几台服务器上清理
我们有一个大型的Cassandra集群18台服务器(在一台服务器上靠近5T数据) http://docs.datastax.com/en/cassandra/2.0/cassandra/operations/ops_add_node_to_cluster_t.html - 我们在此文档后添加了新节点 . 添加新服务器后,我们开始清理数据的过程(nodetool cleanup) 在文档建议中:在... -
0 votesanswersviews
执行select时来自Cassandra的java.io.EOFException
Cassandra 2.06,Oracle Java版“1.7.0_51”,Linux Mint 16 我有一个cassandra键空间,大约有12个表都是一样的 . 如果我在Cassandra的几个表中加载100,000行左右,它可以正常工作 . 如果我加载一个更大的数据集,一段时间后其中一个表将不再进行查找(并不总是相同) . SELECT recv_time,symbol from tabl... -
2 votesanswersviews
Cassandra Tombstones没有被DTCS删除?
我有一个带有14个节点的Cassandra 2.1.4集群 . 我主要用它来存储通过KairosDB收集的时间序列数据 . 插入名为data_points(最大列族)的列族中的数据的默认TTL为12小时 . 我还将gc_grace_seconds设置为12小时 . 尽管如此,我的磁盘空间不断增加,看起来墓碑永远不会被丢弃 . 看起来压缩正在定期发生 . SSTable计数似乎也没有那么令人发指 ... -
0 votesanswersviews
在2节点cassandra集群中,如果RF = 1并且一个节点关闭,我可以用CL = 1写入但不能读取
我是cassandra的新手 . 我有一个包含两个节点的集群 . 我已将Replication因子设置为1.现在,如果一个节点出现故障,我可以插入没有错误且Consistency = ONE的数据 . 插入后,如果我尝试相同,那么它会给我一个错误 Unavailable: code=1000 [Unavailable exception] message="Cannot achieve ... -
2 votesanswersviews
Cassandra Cluster - 特定节点 - 特定表高丢弃突变
我在 生产环境 中的压缩策略是LZ4压缩 . 但我把它修改为Deflate 对于压缩更改,我们必须使用nodetool Upgradesstables来强制升级所有sstables上的压缩策略 但是,一旦在群集中的所有5个节点上完成了upgradedesstabloes命令,我的请求就开始失败,包括读写 该问题可追溯到5节点集群中的特定节点以及该节点上的特定表 . 我的整个群集具有大致相同数量的... -
0 votesanswersviews
为什么spark-submit在“-jars中使用Cassandra连接器无法加载数据源类:org.apache.spark.sql.cassandra”失败?
Spark版本:1.4.1 Cassandra 版本:2.1.8 Datastax Cassandra Connector:1.4.2-SNAPSHOT.jar 命令我跑了 ./spark-submit --jars /usr/local/src/spark-cassandra-connector/spark-cassandra-connector-java/target/scala-2.10/... -
0 votesanswersviews
在 生产环境 最佳实践中改变Cassandra压缩是nodetool upgradedesstables的首选吗?
我们有一个cassandra键空间,有2个表正在制作中 . 我们已将其压缩策略从 LZ4Compressor (默认值)更改为 DeflateCompressor 使用 ALTER TABLE "Keyspace"."TableName" WITH compression = {'class': 'DeflateCompressor'}; 因为我的cassa... -
2 votesanswersviews
在multidc cassandra cluster dc中显示彼此为DN
我的cassandra集群中有8个节点,它有两个数据中心,每个节点有4个节点 . 我在所有节点中使用cassandra版本2.0.9 . 在过去的10天里,发生了一些连接干扰 . 但它立即解决了 . 但DC1中的节点无法与DC2中的节点握手 . 消息显示为 INFO [HANDSHAKE-/172.21.142.249] 2016-06-08 15:19:23,022 OutboundTcpCon... -
6 votesanswersviews
Cassandra轻量级交易的一致性水平
我读到了Cassandra 2的轻量级交易 . 此类写入的一致性级别始终为QUORUM吗?这是否意味着即使我有一个拥有100个节点的多数据中心设置,那么整个集群的法定数量(大部分行's replicas across all data centers) is involved? Won' t这真的很慢而且不会影响可用性? 我们可以做LOCAL_QUORUM或EACH_QUORUM一致吗?如果跨多个... -
2 votesanswersviews
Cassandra分割复合键
据我所知,如果我们有一个主键,则使用此键来分区数据并将其存储在节点中(例如使用随机分区器) . 现在我不确定的是,如果我有多个 keys (也称为复合键),是用于分区数据的键的组合还是它将成为第一个主键? 例如,对于单个键列族,例如: CREATE TABLE IF NOT EXISTS users ( userid uuid, emailaddress text, bir... -
28 votesanswersviews
二级索引如何在Cassandra中运行?
假设我有一个列族: CREATE TABLE update_audit ( scopeid bigint, formid bigint, time timestamp, record_link_id bigint, ipaddress text, user_zuid bigint, value text, PRIMARY KEY ((scopeid, formid)... -
1 votesanswersviews
在Cassandra上使用计数器处理自动增量ID的方法?
这不是关于在Cassandra上使用主键自动增量整数而不是UUID的问题,在这种情况下我想在Cassandra上生成像PostgreSQL这样的自动增量效果,不需要一定是可扩展的 . 我正在使用UUID作为表中条目的主键,但我需要为这些条目生成一个像bitly一样的shortid . 所以我试图创建一个应用程序,它抓取特定条目的索引并根据该索引生成一个shortid,然后将shortid设置为条目... -
0 votesanswersviews
由于修复超时
对于使用LeveledCompactionStrategy设计的表,我得到了很多例外 . com.datastax.driver.core.exceptions.ReadTimeoutException:在com.datastax.driver.core.exceptions.ReadTimeoutException.copy(ReadTimeoutException.java:一致性读取查询期... -
1 votesanswersviews
使用QueryBuilder通过Cassandra进行分页
DataStax documentation表示要翻阅所有数据,以下CQL查询很有用: SELECT * FROM test WHERE token(k) > token(42); 是否可以使用 QueryBuilder 构建此查询?它提供了token方法,但这似乎只适用于列名,而不适用于值 . 理想情况下,值(在示例中为42)的类型为 Object ,就像在eq / gte / lte函... -
0 votesanswersviews
查询以获取cassandra中多个范围的记录
我有以下型号: CREATE TABLE IF NOT EXISTS log ( date varchar, timeid timeuuid, message varchar, ip varchar, time timestamp, user bigint, file varchar, line int, func varchar, level int, ... -
2 votesanswersviews
Cassandra CQL选择查询不返回时间戳为clusterkey的记录
Cassandra CQL:使用组合键和集群键创建的表 . 当我尝试从分区键执行select *然后我能够检索所有数据,它也适用于关系运算符(<或>) . 但是当我使用具有适当值的等于(=)运算符查询特定簇密钥时,它返回0行 . Table: CREATE TABLE entity_data ( received_date timestamp, entity text, receive... -
2 votesanswersviews
在CQL上使用IN运算符分区键和(聚类键或索引列)
我有一个警报表 . 我想在2列上使用IN运算符并在一列上使用大于运算符来查询它 . 我没试过下面的事情 . 有人可以告诉我DB设计使查询工作吗?我的环境细节:[cqlsh 5.0.1 | Cassandra 2.1.2 | CQL规范3.2.0 |原生协议v3] 在分区键中使用'type': CREATE TABLE alerts ( serialNumber text, time... -
1 votesanswersviews
使用复合分区键在Cassandra中进行CQL查询
我的主要问题是在具有复合分区键的表上对Cassandra结果集进行分页 . 但是,我试图通过一个简单的场景缩小范围 . 说,我有一张 table , CREATE TABLE numberofrequests ( cluster text, date text, time text, numberofrequests int, PRIMARY KEY ((cluster, date... -
0 votesanswersviews
Cassandra可编程列的多个准备语句
由于基础设施的限制,我们无法将运行的Cassandra版本升级到> 2.2,因此我们必须使用2.0.7 . 遗憾的是,此版本不支持使用 UNSET . 由于我们正在编写的数据具有可空列,据我所知,我们可以创建自己的 null 概念(即空字符串,空数据结构),或创建多个PreparedStatements(相同的查询,但忽略了包含 null 值,因为我们不希望将 null 绑定到Prepar... -
1 votesanswersviews
Cassandra 和火花
嗨我有一个关于集群拓扑和数据复制的高级问题,关于在数据存储企业中一起使用的cassandra和spark . 我的理解是,如果群集中有6个节点,并且执行了大量计算(例如分析),那么如果需要,您可以拥有3个火花节点和3个cassandra节点 . 或者,您不需要三个节点进行分析,但您的作业运行速度不会很快 . 您不希望在cassandra节点上进行大量分析的原因是因为本地内存已经用于处理cassan... -
1 votesanswersviews
cassandra - 高并发读写应用程序问题
我正在实现一个应用程序,它在4个线程中生成数十万行 . 每个线程都会打开一个与cassandra的单独连接 . 表的每个项都有一个唯一的哈希标识符(String),但主键是一个uuid . 该项目的持续过程如下: 1)创建项目并计算其哈希值 . 2)然后在第二个表中执行对哈希的查找,该表将哈希值与项目的uuids相对应 . 3)如果找到hash-uuid对,则正在执行uuid项的查找(第一个表... -
2 votesanswersviews
使用JMeter加载测试CassandraDB
我正在使用我已集成在apache-JMeter2.9中的Cassandra JMeter插件https://github.com/slowenthal/jmeter-cassandra#cassandra-jmeter-plugin-for-cassandra 我有一个Cassandra集群,每个数据中心包含2个数据中心和2个节点 . JMeter: Cassandra Connection: c... -
1 votesanswersviews
为什么Apache Spark在客户端上执行过滤器
作为新手上的apache引发了一些关于在Spark上获取Cassandra数据的问题 . List<String> dates = Arrays.asList("2015-01-21","2015-01-22"); CassandraJavaRDD<A> aRDD = CassandraJavaUtil.javaFunctions(s... -
4 votesanswersviews
使用spark cassandra连接器更新Cassandra表
我在更新键空间中的表时遇到了scala上的spark cassandra连接器问题 这是我的一段代码 val query = "UPDATE " + COLUMN_FAMILY_UNIQUE_TRAFFIC + DATA_SET_DEVICE + " SET a= a + " + b + " WHER...