-
0 votesanswersviews
使用python多处理插入到cassandra db中
我是python和cassandra的新手 . 我试图在cassandra中使用python multiproccessing,我在这个网站上得到它https://github.com/aholmberg/driver-multiprocessing/blob/py3/multiprocess_execute.py如何修复错误,请告诉我是否必须应用任何更改 . 这是我的代码: from multi... -
21 votesanswersviews
Cassandra的批量限制是多少?
我有一个Java客户端,批量推送(INSERT)记录到Cassandra集群 . 批处理中的元素都具有相同的行键,因此它们都将放在同一节点中 . 此外,我不需要事务是原子的,所以我一直在使用未记录的批处理 . 每个批处理中INSERT命令的数量取决于不同的因素,但可以是5到50000之间的任何值 . 首先,我只需要在一个批处理中输入尽可能多的命令并提交它 . 这扔了 com.datastax.dr... -
0 votesanswersviews
Cassandra:QueryBuilder.update包含UDT列表
我们有一个表,其中两列是: user_assignments frozen<list<shift_user_assignment>>, user_offers frozen<list<shift_user_assignment>>, 和 shift_user_assignment 是 CREATE TYPE IF NO... -
6 votesanswersviews
在Cassandra节点上迁移到增量修复后执行完全修复
我们目前在所有节点上运行Cassandra v 3.0.5 . 我们最近迁移了节点以执行增量修复 . 但是,在文档中,它指出应每天运行增量维修,每周或每月进行全面维修 . 我们通过运行在每个节点上执行并行的增量修复 nodetool修复 我们将通过运行在每个节点上执行顺序完整修复 nodetool repair -full -seq 我关心的是自迁移以来进行全面修复 . 我可以在每个节点上... -
1 votesanswersviews
Cassandra分区与NoSql分区
我已经了解了差异b / w Cassandra分区键,复合键,聚类键 . 但是没有找到足够的信息来理解cassandra中如何处理分区 .在cassandra中,分区键的范围存储在类似分区/分片的节点上 . 我的理解是否正确..?每个分区键在DB中是否有不同的文件(在系统级别)?如果是这样,读取会不会更慢..?如果每个分区键在DB中没有不同的文件 . 怎么处理..? -
0 votesanswersviews
TTL过期的sstables没有在Cassandra Nodes上掉线
我在下表中插入数据,TTL为2天 . 时间戳超过2天的SSTABLES应该已经被删除但是没有发生 . 没有删除也没有更新 . 窗口大小为1小时,gc_grace_seconds为7200. read_repair已设置为0.0 CREATE TABLE events."290" ( key text PRIMARY KEY, raw_log text ) WIT... -
0 votesanswersviews
由于物化视图,Cassandra nodetool退役很长时间
Cassandra版本3.7我在一个节点上运行nodetool decommission,它运行4天 . 我可以在群集中的其他节点中看到以下日志 WARN [SharedPool-Worker-8] 2018-08-09 06:34:41,454 StorageProxy.java:781 - 收到不属于此节点的密钥DecoratedKey(-353066083514647514,7a34030... -
0 votesanswersviews
将Apache Cassandra与Apache Ignite集成
我正在尝试将Apache Ignite与Apache Cassandra(3.11.2)集成,因为我想使用Ignite来缓存我现有的Cassandra数据库中存在的数据 . 通过在线资源后,我做了以下工作直到现在: 已下载Apache Ignite . 将"libs/optional/"中存在的所有文件夹复制到"libs/"(我不知道Cassandr... -
1 votesanswersviews
如何使用键空间禁用Cassandra Replication
我有一个Cassandra数据库和一个带有一些表的键空间,我不想重复 . 我知道,cassandra的一个关键特性是复制,但我不想复制 . 我有3个DataCenters:dc1,dc2,dc3 目前我在每个DC上创建像这样的Keyspace: CREATE KEYSPACE IF NOT EXISTS myKeyspace WITH replication={'class':'Networ... -
0 votesanswersviews
Cassandra复制问题:即使DC1的复制因子为0,我也可以看到密钥空间和表复制到DC2
我有两个DC: DC1: Node1:RAC1 Node2:RAC1 DC2: Node3:RAC1 我正在使用 GossipingPropertyFileSnitch 并且我已经删除了文件 cassandra-topology.properties 并且仅对每个节点使用带有以下配置的cassandra-rackdc.properties: DC = DC1 架= RAC1 pre... -
0 votesanswersviews
从pyspark DataFrame创建Cassandra表
我正在使用Apache Spark 2.2.1和Cassandra 3.11以及来自python / pyspark的Datastax spark-cassandra-connector . 我想从数据集结构创建Cassandra表 . 所以,我在Java中的DataSetFunction包中找到了一个函数 createCassandraTable ,但是我无法找到与pyspark包的对应关系 .... -
0 votesanswersviews
如何连接到具有多个节点的cassandra java客户端,而不使用jdbc或datastax驱动程序在java代码中提及节点详细信息
我是Cassandra的新手我希望通过Java客户端连接到Cassandra作为Cassandra api . 我可以通过使用datastax作为jdbc驱动程序连接到Cassandra,通过在我的java代码中给出节点详细信息 . 现在我想连接到Cassandra集群,我在集群中有4个节点,我想连接到Cassandra集群节点而没有在代码中给出节点详细信息,并且需要在集群中1个节点关闭时获得连接... -
3 votesanswersviews
Cassandra Java驱动程序错误 - 所有主机尝试查询失败连接已关闭
所有, 我在Digital Ocean中有一个3节点的集群cassandra . CQL中根据 SHOW VERSION 的cassandra版本如下所示 [cqlsh 5.0.1 | Cassandra 3.0.0 | CQL spec 3.3.1 | Native protocol v4] 我能够使用cqlsh从另一个节点连接到集群的一个节点并运行命令...但是当我尝试使用java驱动程序进... -
1 votesanswersviews
Cassandra分区键是否可以跨越一个键空间中的多个表?
在此示例中,批处理是单分区还是多分区? 使用logskeyspace; CREATE TABLE Log_User(LogDay timestamp,UserId int)PRIMARY KEY(Day,UserId) CREATE TABLE Log_Event(LogDay timestamp,EventId int)PRIMARY KEY(Day,EventId) 开始批量 INSERT I... -
1 votesanswersviews
Cassandra SSTableLoader字段不是此元数据中的列
我最近升级到cassandra版本3.3 . 我有一个程序,它读取CSV文件并使用CQLSSTableWriter生成SSTable文件 . 生成这些SSTable文件后,我使用SSTableLoader程序将文件流式传输到cassandra集群 . 我编写的程序使用以下maven依赖项: <groupId>org.apache.cassandra</groupId> &l... -
1 votesanswersviews
在Cassandra中显着增加了阅读行动
我在测试环境中玩Cassandra . 我在群集中有3个C *(版本3.11)节点,具有复制因子2和SizeTieredCompactionStrategy的3个列族 . 每个节点都部署到带有两个EBS gp2磁盘的AWS r4.large实例 - 100 GB用于提交日志,300 GB用于数据 . 2列系列是只写的,我们的应用程序写了很多这些表(总共每秒大约800-1000次插入),从不读它... -
0 votesanswersviews
无法运行Cassandra-Stress
我在运行cassandra-stress命令时遇到错误 ./cassandra-stress用户 Profiles = / home / cass / apache-cassandra-3.11.2 / tools / stress_test.yaml duration = 1m“ops(insert = 1,latest_event = 1,events = 1)” 我收到以下错误/警告: ... -
2 votesanswersviews
Cassandra Cluster - 特定节点 - 特定表高丢弃突变
我在 生产环境 中的压缩策略是LZ4压缩 . 但我把它修改为Deflate 对于压缩更改,我们必须使用nodetool Upgradesstables来强制升级所有sstables上的压缩策略 但是,一旦在群集中的所有5个节点上完成了upgradedesstabloes命令,我的请求就开始失败,包括读写 该问题可追溯到5节点集群中的特定节点以及该节点上的特定表 . 我的整个群集具有大致相同数量的... -
0 votesanswersviews
BoundStatement真的比Cassandra中的SimpleStatement更有效吗?
我分别使用SimpleStatement和BoundStatement从Cassandra中选择数据100次 .我发现BoundStatement并没有太大改进 . 但是,this link说: SimpleStatement:直接从字符串构建的简单实现 . 通常用于仅执行一次或几次的查询 . BoundStatement:通过将值绑定到预准备语句而获得 . 通常用于经常执行的查询,具有不同的... -
0 votesanswersviews
为什么BuiltStatement比Cassandra中的BoundStatement更有效?
This link说: BoundStatement:通过将值绑定到预准备语句获得 . 通常用于经常执行的查询,具有不同的值 . BuiltStatement:使用QueryBuilder DSL构建的语句 . 它可以像简单的声明一样直接执行,也可以准备好 . 所以在我看来,BuiltStatement等于BoundStatement . 在我的情况下,我发现BuiltStatement显然... -
0 votesanswersviews
Cassandra插入preparedStatement或mapper?
我们在Cassandra 3.0数据库中一次性插入几百万条记录 . 问题是:什么具有最佳性能:使用映射器(注释我们的对象'JPA'样式)或使用预准备语句,该语句只准备一次然后为每个插入绑定 . 我在这里读到映射器在后台执行隐式预处理语句,因此性能不应该有所不同 . 但我不明白他应该在哪里保留这份准备好的陈述?或者它是否为每个插入完成,这将消除做好准备语句的优势 . 那么问题:mapper(jpa样... -
11 votesanswersviews
Cassandra:批量写入优化
我得到批量写入请求,让我们说来自客户端的20个密钥 . 我可以在一个批处理中将它们写入C *,也可以以异步方式单独写入它们并等待将来完成它们 . 批量写入似乎不是一个goo选项,因为我的插入率很高,如果键属于不同的分区,协调员将不得不做额外的工作 . 在datastax java驱动程序中是否有一种方法,我可以使用该方法对可能属于同一分区的密钥进行分组,然后将它们分成小批量,然后在异步中进行不定... -
1 votesanswersviews
使用部分分区键从Cassandra中删除数据
假设我在Cassandra中有下表: customer_bought_product ( store_id uuid, product_id text, order_time timestamp, email text, first_name text, last_name text, PRIMARY KEY ((store_id, prod... -
1 votesanswersviews
cassandra 3.9冲洗失败
我们有一个运行cassandra 3.9的5节点cassandra集群 . 我们有一个键空间“ks”和一个表“cf” . 我们在表上创建了几个索引,如“cf_c1_idx”,“cf_c1_idx_1”,“cf_c2_idx” . 当我执行nodetool flush时,1个索引文件的刷新失败,并出现以下异常: -- StackTrace -- java.lang.RuntimeException:... -
0 votesanswersviews
加入两个数据帧时,CassandraSourceRelation不可序列化
我有一个带有spark-cassandra-connector 1.6.2的数据帧设置 . 我尝试用cassandra执行一些转换 . Datastax企业版为5.0.5 . DataFrame df1 = sparkContext .read().format("org.apache.spark.sql.cassandra") ... -
1 votesanswersviews
对话消息传递的Cassandra建模
我还在学习理解 Cassandra . 我已经阅读了有关会话消息的类似问题和答案但却不满意,因为它不符合我的需求 . 这些是我想要解决的问题 用户可以向一个或多个用户发送消息 会话表 - 在用户 - 用户之间保存消息 对话表 - 显示与您 Build 对话的所有用户的最近对话消息,标记为已读或未读日期 . 会话消息表 - 用户A可以加载与用户B或用户C的所有会话 会话消息表 ... -
0 votesanswersviews
使用spark作业在cassandra集群表之间进行数据迁移
我想使用Spark Job将数据从一个Cassandra集群表迁移到另一个 . 我写了下面的代码 . 如果源表和目标表都在同一个主机中,它工作正常,但是当源和目标位于不同的主机上时它不起作用 . 我能够从目标表中读取,但是当我尝试将结果写入目标表时,我收到类似“无效参数”的错误,暂存失败..我已经交叉检查了参数的数量 . 所有细节似乎都是正确的 . import org.apache.spark.... -
3 votesanswersviews
物化视图的Cassandra与基表不同步
我遇到了一个奇怪的问题,基表上4个物化视图中的1个在所有节点上都不同步 . 我尝试过以下选项,但仍然无法找出任何解决方案 . nodetool刷新所有节点 nodetool修复密钥空间 另外,我运行nodetool压缩来清除墓碑 . 最后,我删除并重新创建了物化视图,因为数据非常庞大,视图在构建过程中陷入困境 . 我可以在opCenter和system.views_builds_i... -
4 votesanswersviews
Cassandra DB . com.datastax.driver.core.exceptions.InvalidQueryException:未配置的表人员
The keyspace and 'person' table are exist 您好,我是Cassandra的新手,所以我只是尝试从我的java代码执行select查询,但我得到一个例外,表不存在(但它存在 . 检查上面的链接) . 请帮我弄清楚这个问题可能是什么原因 . 先感谢您 . public class DS_Cassandra implements DS { Cluster... -
2 votesanswersviews
引起:com.datastax.driver.core.exceptions.InvalidQueryException:对于date(13),预期长度为8或0字节
我正在尝试使用spring-data-cassandra插入数据 . 但是当我的应用程序运行SpringBoot(版本是1.5.3)时,我得到了吼叫错误 我在spring-data中添加了一个自定义的CallHistoriyRespority对象实现了CrudResposity,并使用save方法插入数据对象 我找不到任何理由,这个问题让我很困惑 完整堆栈跟踪: Caused by: com.da...