首页 文章
  • 2 votes
     answers
     views

    Akka集群分片的Cassandra性能问题

    My application: akka cluster 2.5.x; akka分片具有均匀分布的功能; cassandra插件"com.typesafe.akka" %% "akka-persistence-cassandra"(默认配置); 专用单节点Cassandra 3.3; 我的应用程序模拟了一种支持以下操作的帐户的财务应用程序...
  • 2 votes
     answers
     views

    如何计算ElasticSearch集群中每个分片所需的副本数?

    我必须设置一个ElasticSearch集群 . 对于高可用性方案,当提供主数据节点的数量时,是否有任何公式或方法来计算每个分片的最佳或最小所需分片数和副本数? 在我的场景中,我有一个包含3个节点的ES集群,每个节点都充当主节点和数据节点 . 我正在使用6个主要分片 . 谢谢 .
  • 135 votes
     answers
     views

    ElasticSearch:未分配的碎片,如何解决?

    我有一个包含4个节点的ES集群: number_of_replicas: 1 search01 - master: false, data: false search02 - master: true, data: true search03 - master: false, data: true search04 - master: false, data: true 我不得不重新启动sear...
  • 5 votes
     answers
     views

    摆脱未分配的碎片

    我有一个运行两个ElasticSearch节点的ELK堆栈,由于一些未分配的分片,我无法摆脱群集状态变为红色 . 查找未分配的碎片,resp . 不完整的索引: # curl -s elastic01.local:9200/_cat/shards | grep "logstash-2014.09.29" 显示: logstash-2014.09.29 4 p STARTED ...
  • 0 votes
     answers
     views

    Elasticsearch集群元数据和文档搜索

    我试图了解搜索查询的工作原理 . 根据文档,每当我查询弹性搜索节点时, 搜索请求命中节点 节点将此请求广播到索引中的每个分片(主分片或副本分片) 每个分片执行搜索查询并响应结果 结果在网关节点上合并,排序并返回给用户 (src:http://www.elasticsearch.org/blog/customizing-your-document-routing/) 当我查询节点...
  • 0 votes
     answers
     views

    Elasticsearch缩小了碎片?

    我正在运行一个节点(15GB RAM,一半在堆上分配)与ES(1.2.1)并分配了两个索引与16个分片一块没有副本 . 由于缺乏复制品,卫生总是报告黄色的“群集”,但除此之外,一切都很好,直到今天早上 . 总的来说,我正在徘徊在65M左右的文件中,当我今天早上检查ES的状态时,它仍然是黄色的,只有我现在每个索引有5个分片 . 所有文档似乎都已到位(奇迹中的计数仍然相同,查询返回正确的总数),但我的...
  • 2 votes
     answers
     views

    MongoDB在一台机器上按日期分片

    我们已经开始使用一个单一的mongodb但是我们没有一个集合增长到~300GB . 该集合包含具有日期字段的对象 . 但大多数情况下,我们只需要查询更近期的对象,然后查询历史性对象 . 所以我的问题是:是否可以通过日期字段在一台服务器上对此集合进行分片?更明确地说,我想将更新的对象分成一个节点,将旧对象分成另一个节点 . 而不是在n个分片上平均分配所有对象 . 是否有一个教程如何将现有的单个数据库...
  • 0 votes
     answers
     views

    如何在MongoDB分片上查找数据范围

    在使用范围分区对MongoDB集合进行分片并让MongoDB处理 balancer 时,如何确定每个分片上存储的数据范围(无需查询)? 例如,如果对带有值“A” - “Z”的字符串字段进行分区,我怎样才能找到每个节点上存储的字母? 我需要自动 balancer ,所以我也不能使用区域/标记
  • 0 votes
     answers
     views

    Akka集群分片:分片实体共享日志吗?

    我正在关注akka tutorial演示群集分片 . 在集群sharding example中,作者启动共享日记并发表以下评论: // Start the shared journal one one node (don't crash this SPOF) // This will not be needed with a distributed journal 使用的期刊is: journa...
  • 2 votes
     answers
     views

    MongoDB聚合管道$匹配顺序

    我有带有4个分片的MongoDB集群 . 我的分片键是:{client_id:1,date:1}使用过的集合有大约50M的文档 . 我将1个文档粘贴为样本数据: { "_id" : ObjectId("54e069353e9104db470065e6"), "campaign_name" : "S...
  • 0 votes
     answers
     views

    在MongoDB中是否有类似ElasticSearch路由的选项?

    根据ElasticSearch路由参数文档, 执行搜索时,它将广播到所有索引/索引分片(副本之间的循环) . 可以通过提供路由参数来控制将搜索哪些分片 . 例如,在索引推文时,路由值可以是用户名 . 在这种情况下,如果我们只想搜索特定用户的推文,我们可以将其指定为路由,从而导致搜索仅命中相关的分片 . $ curl -XGET 'http://localhost:9200/twitter/tw...
  • 0 votes
     answers
     views

    跨帐户分区DocumentDB的最佳做法是什么?

    我正在开发一个使用DocumentDB存储客户数据的应用程序 . 其中一个要求是我们按地理区域划分客户数据,以便美国客户的数据存储在美国,欧洲客户的数据存储在欧洲 . 我计划实现这一目标的方式是拥有两个DocumentDB帐户,因为帐户与数据中心/区域相关联 . 然后,每个帐户都有一个数据库,以及该数据库中的一个集合 . 我已经查看了有关客户端和服务器端分区的DocumentDB文档(例如1,2)...
  • 31 votes
     answers
     views

    数据库分区 - 水平与垂直 - 规范化和行分裂之间的区别?

    我试图掌握数据库分区的不同概念,这就是我对它的理解: Horizontal Partitioning/Sharding :将表拆分到不同的表中,该表将包含初始表中的行的子集(如果按大陆拆分Users表,我已经看到了很多示例,例如北美的子表,另一个用于北美的子表欧洲等......)每个分区都在不同的 physical location (了解'machine') . 据我所知,水平分区和分片是完全相...
  • 1 votes
     answers
     views

    启动多个节点不会分配副本分片

    所以,我刚开始在我的本地机器上使用Elasticsearch . 我已经启动了5个Elasticsearch节点实例 . (简单 ./bin/elasticsearch ) curl -s 'localhost:9200/_cat/nodes?v' 给出: host ip heap.percent ram.percent load node.role master nam...
  • 2 votes
     answers
     views

    Sharded集合和MongoDb

    我通过门户网站在Cosmos上创建了一个分片集合(用于C#MongoDB驱动程序) . 使用数据资源管理器创建 - >新建集合 - 此时设置了碎片密钥 . 我已将分片键设置为 partitionId . 作为尝试将此文档插入名为“data”的集合中的示例: db.data.insert({partitionId:"test"}) 我收到错误 Command inser...
  • 0 votes
     answers
     views

    spring-data-redis是否支持jedis分片池?

    我使用spring-data-redis作为Redis的数据访问层,对于数据分发,我试图使用jedis的分片功能,但看起来spring-data-redis不支持正式分片,是否有任何解决方法或第3派对库可以通过spring-data-reid支持分片吗? 谢谢,埃姆雷
  • 1 votes
     answers
     views

    使用mgo上传到分片的MongoDB错误“完整的分片键必须在更新对象中进行收集:...”

    使用MongoDB的Labix mgo API,我试图对分片集合执行增量操作 . 我可以使用通常的mgo.Change结构在非整数集合上做到这一点,但是当我尝试在分片集合上执行此操作时,我收到错误: full shard key must be in update object for collection: db_name.collection_name 适用于非分片集合的原始代码如下所示: c...
  • 64 votes
     answers
     views

    MongoDB查询超过500万条记录的性能

    我们最近为我们的一个主要系列创下了超过200万的记录,现在我们开始因该系列的主要性能问题而受到影响 . 他们在集合中的文档有大约8个字段,您可以使用UI进行过滤,结果应该按处理记录的时间戳字段进行排序 . 我添加了几个带有过滤字段和时间标记的复合索引,例如: db.events.ensureIndex({somefield: 1, timestamp:-1}) 我还添加了几个索引,可以同时使用多...
  • 1 votes
     answers
     views

    远程分片数据库群集出错

    我连接到远程分片数据库集群 . 它连接OK,但如果我插入文件我得到错误: File "/home/df/SlickJump/WishNuServer/server.py", line 522, in POST unit = wndb.pages.find_one({'pagehash': thash, 'version': Version}) File "...
  • 0 votes
     answers
     views

    提高mongodb全扫描查询性能:复制还是分片?

    我们目前面临的情况是我们无法避免进行全扫描收集 . 我们已经优化了查询和数据结构,但我们希望更进一步,充分利用分片和复制 . Configuration - mongodb version 3.2 - monogo-java-driver 3.2 - storageEngine: wiredTiger - compression level: snappy - database size : 6G...
  • 2 votes
     answers
     views

    如何构建简化的redis集群(支持数据分片和负载均衡)?

    由于redis集群仍在进行中,我想在当前阶段自己构建一个简单的集群 . 系统应支持数据分片,负载 balancer 和主从备份 . 初步计划如下: 主从:在不同位置使用多个主从对,以增强数据安全性 . Matsters负责写操作,而主设备和从设备都可以提供读取服务 . 在一次写操作期间,数据被发送到所有主设备 . 在主站和从站之间使用Keepalived来检测故障并自动切换主从站 . 数...
  • 0 votes
     answers
     views

    Solr Cloud:没有托管分片的服务器

    我们有一组独立的Solr内核(Solr 4.3),我们已经构建了一些自定义插件 . 我现在正在尝试将集群转换为Solr Cloud集群 . 这就是我尝试部署核心的方法(在4.7.2中) . 使用zookeeper嵌入启动solr . java -DzkRun -Djetty.port = 8985 -jar start.jar 将配置上传到Zookeeper(与独立核心相同的配置) zkc...
  • 1 votes
     answers
     views

    与zookeeper的Solrcloud多核主奴隶

    我不得不采用4.3.1单个solr索引并将其迁移到solrcloud 5.2.1 .新的5.2.1架构是2个分片,每个分片有1个主服务器和1个从服务器(副本服务器) . 我的步骤是: 设置新的单个分片solrcloud 5.2.1 . 获取大索引数据文件夹,将其迁移到单个分片solrcloud 5.2.1,带有1个分片/核心 . 拆分索引 . 将2个数据文件夹复制到新的solrcl...
  • 2 votes
     answers
     views

    在SolrCloud中添加分片副本

    每次我在Solr集群中启动一个新节点时,都会自动分配一个分片或分片副本 . 如何指定应在此新节点上复制哪些分片/分片? 我正在尝试使用3个分片,6个服务器进行配置 - 每个分片主服务器一个,副本服务器3个 - 并且shard1有3个副本,每个服务器一个,而shard1和shard2只有一个 . 怎么能实现这一目标?
  • 2 votes
     answers
     views

    SolrCloud上的自定义分片或自动分片?

    我想为超过一千万条新闻文章 Build 一个SolrCloud clsuter . 看完这篇文章后:Shards and Indexing Data in SolrCloud,我的计划如下: 添加前缀ED2001!记录ID,其中ED表示某些报纸来源,2001年是新闻文章发布日期的年份部分,即我想将特定年份发布的特定新闻纸源的所有新闻文章放入碎片 . 使用router.name设置为comp...

热门问题