-
1 votesanswersviews
与zookeeper的Solrcloud多核主奴隶
我不得不采用4.3.1单个solr索引并将其迁移到solrcloud 5.2.1 .新的5.2.1架构是2个分片,每个分片有1个主服务器和1个从服务器(副本服务器) . 我的步骤是: 设置新的单个分片solrcloud 5.2.1 . 获取大索引数据文件夹,将其迁移到单个分片solrcloud 5.2.1,带有1个分片/核心 . 拆分索引 . 将2个数据文件夹复制到新的solrcl... -
0 votesanswersviews
Solr 5.3 - 修复碎片
环境: 生产环境 Solr:5.3.1 我们在zookeeper集群(3节点)上设置了solrcloud(2个节点) . 这些是集群环境(不是集装箱化的) . 其中一个碎片在最后10个小时内停机 . 到目前为止,我们已经尝试重新启动zookeeper和solr(按此顺序),但没有帮助 . 接下来,卸载有故障的分片并尝试重新创建分片 . 卸载是从UI完成的并且正在运行 . 但是使用action = ... -
2 votesanswersviews
SolrCloud副本锁定相关错误
我们有三个虚拟机:在前两个系统上我们安装了Tomcat 6,Zookeeper 3.4.6和Solr 4.10 . 在第三个节点上安装了TOmcat 6和Zookeeper 3.4.6所以我们有两个节点的solrcloud集群和一个三节点的zookeeper集群 . 前两个VM是srvmsolr01和srvmsolr02 . 我们可以无错误地创建集合和分片 . 我们无法添加副本 . 例如,以下命令... -
2 votesanswersviews
为solr Cloud 创建远程Solr核心
我是solr cloud的新手,现在与外部zookeeper集成了solr cloud . 我想在4个不同的服务器上运行4个solr核心,并由zookeeper管理 . 因此,我在具有不同端口的89个不同的ip服务器上运行solr核心,8983,8984,8985,8986并与zookeeper绑定 . 没关系 但是当我在其中一个核心创建集合以及以下表达时 /opt/solr/bin/solr ... -
0 votesanswersviews
与外部动物园管理员的Solr Cloud
我正在学习本教程:https://gist.github.com/kalharbi/fd29661b9926eb087c45 配置2个节点的solr Cloud . 1.两台机器上的配置动物园管理员:192.168.1.56:2181(localadmin4),192.168.1.55:218(催眠动作8)当检查状态时,两者都正常: localadmin8@localadmin8:/opt/so... -
1 votesanswersviews
复制 生产环境 Solr Cloulds之间的备份Solr索引
我在 生产环境 服务器(UNIX机器)上设置了2个Solr Cloud . 它们每个都有8个Solr节点(tomcat服务器)和3个zookeeper节点 . 每个集合分为8个碎片和2个复制品 . 我使用Solr复制命令--11421822_在一个 Cloud 上为一个集合进行了快照备份 . 备份以shardXReplicaY格式形成 . 我的一个 Cloud 中共有16个备份索引文件夹(8个分... -
1 votesanswersviews
Solrcloud在幕后编写操作
我想详细了解SolrCloud的写操作,并对架构有一些问题: Zookeeper是否向所有领导者发送文档写入请求? solrwiki: Each shard can exist in multiple copies; these copies of the same shard are called replicas. One of the replicas within a shard is... -
2 votesanswersviews
无法存储Hive Metastore服务器和配置单元shell
我使用所有必需的属性更新了hive-site.xml,但是我无法理解发生此错误的位置 . 如何将Metastore连接到hive shell并启动配置单元?在更新元存储属性之前,hive shell正常工作 . 谁能解决这个错误? [hadoop @hduser conf] $ hive --service metastore启动Hive Metastore Server 17/01/02 18... -
1 votesanswersviews
Kafka - 消费者群体ID可以配置 spring 集成的简单消费者吗?
是否可以使用spring-integration简单消费者配置kafka consumer group -id - 消息驱动的通道选项?如果不是,如果需要一个主题作为队列(同一组ID的内部消费者)和经典主题(具有不同组ID的消费者之间),这将是最佳选择 . -
0 votesanswersviews
Kafka消费者 - 客户端没有在zookeeper上注册消费者群体的抵消
我正在尝试使用 kafka-clients v.0.10.2.1 创建具有不同消费者群组的多个消费者到kafka主题 . 虽然我无法检索消费者群体提交的最后一个偏移量 . 目前我的消费者属性看起来像这样 Properties cproperties = new Properties(); cproperties.put(ConsumerConfig.GROUP_ID_CONFIG, gro... -
3 votesanswersviews
Kafka High Level Consumer关闭了线程
我正在使用高级消费者,如下所述:https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example 我注意到我的消费者不会永远运行并在一段时间后结束 . 在zookeeper方面,我看到以下内容: INFO sessionid的已处理会话终止:0x144a4854325004d(org.apache.zookeeper... -
0 votesanswersviews
高级Kafka消费者只消耗 生产环境 者发送的一半消息
我已根据示例页面实现了高级消费者:https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example 代码运行时,它只消耗一半的消息 . 我有一个基本的3节点zookeeper集群和2个kafka经纪人 . 当我运行简单的消费者代码(不是高级消费者)时,将消耗所有消息 . 任何想法将不胜感激 . 消费者代码 public... -
-1 votesanswersviews
Kafka 's Consumer can' t开始
我按如下所示键入命令行 . 但它显示它无法连接到localhost:2181 . 我已经开始了动物园管理员 . bin / kafka-console-consumer.sh --zookeeper --localhost:2181 - 主题痛 - 从头开始 Exception in thread "main" org.I0Itec.zkclient.exception.Zk... -
2 votesanswersviews
Kafka意外地重置了最早的偏移量
当kafka崩溃时(由于硬件问题 - 存储空间不足或1个节点断开连接),我的kafka服务器会意外地将消费者群体的偏移重置为最早 . 这是我第二次遇到这个问题,并且没有简单的方法可以在事件发生前的最后一小时重新启动偏移量(我可以在zookeeper中手动设置每个分区的偏移量,但每个主题有100个分区,我们有20个主题) . 我不知道问题出在哪里(zookeeper?kafka?consumer?p... -
10 votesanswersviews
Kafka SASL zookeeper认证
我在Zookeeper和代理身份验证上启用SASL时遇到以下错误 . [2017-04-18 15:54:10,476] DEBUG Size of client SASL token: 0 (org.apache.zookeeper.server.ZooKeeperServer) [2017-04-18 15:54:10,476] ERROR cnxn.saslServer is null: ... -
1 votesanswersviews
是否可以对Kafka客户端使用SASL身份验证,但不要求它用于Zookeeper? [关闭]
我跟着这个:http://docs.confluent.io/current/kafka/sasl.html#sasl-configuration-for-kafka-brokers 为我的Kafka群集配置SASL身份验证 . 我想让所有客户通过SASL向经纪人进行身份验证 . 我不关心kafka < - > zookeeper . 原因是我需要在Kafka中创建ACL . 启动Ka... -
0 votesanswersviews
是否可以通过SSL连接zookeeper和kafka,通过SSL连接kafka代理及其客户端而不启用纯文本?
我使用的是Kafka版本0.10.1 . 我通过SSL连接Kafka经纪人及其客户并且工作正常 . 现在我有一些查询有一些限制 . 我的局限是 不允许进行纯文本通信 Kafka经纪人与其客户之间的联系是SSL . Kafka经纪人和zookeeper之间通过SASL Build 连接(因为zookeeper不支持SSL) . 由于所有代理间通信都设置为SSL . 我有一个问题,是否... -
8 votesanswersviews
启动kafka经纪人时出错
我昨天成功地成立了zookeeper和一名kafka经纪人 . 一切都按预期工作 . 我关闭了kafka(ctrl c)然后关闭了zookeeper . 今天我开始使用zookeeper,当我开始使用kafka( bin/kafka-server-start.sh config/server0.properties )时,我收到以下错误 . 我尝试了各种补救措施(完全删除我的kafka安装并从头开... -
2 votesanswersviews
从Flink的kafka主题开始消费
How do I make sure I always consume from the beginning of a Kafka topic with Flink? 由于Kafka 0.9.x consumer是Flink 1.0.2的一部分,它似乎不再是Kafka而是Flink来控制偏移量: Flink在内部将偏移量作为其分布式检查点的一部分进行快照 . 提交给Kafka / ZooKeep... -
0 votesanswersviews
无法从我的虚拟机客户端连接到我的虚拟机上的kafka
目标:我正在尝试从java cleint向kafka发送消息 .它一直很痛苦......让我简单介绍一下 . 我在centos VM上安装了kafka . 我运行了随附的zookeeper,服务器, 生产环境 者和带有所有默认属性文件的客户端 .我成功发送和接收消息 . 我的计算机连接到zookeeper(2181)端口和VM的kafka服务器(9092)端口 . 现在,我想编写j... -
0 votesanswersviews
ActiveMQ使用zookeeper复制了levelDB无法访问?
我有3台zookeeper机器和3台activemq机器 .这是配置 .饲养员:滚动时间= 2000initLimit = 10syncLimit = 2DATADIR =的/ var /动物园管理员/数据CLIENTPORT = 2181server.153 = 192.168.62.153:2888:3888server.156 = 192.168.62.156:2888:3888server... -
0 votesanswersviews
Zookeeper服务器启动/服务器连接问题
我正在尝试在我的Ubuntu机器上使用单服务器集合设置Zookeeper . 我用成功消息启动了服务器,并期待它开始 . akshay@akshay:~$ /var/zookeeper/zookeeper-3.4.9/bin/zkServer.sh start ZooKeeper JMX enabled by default Using config: /var/zookeeper/zookeep... -
2 votesanswersviews
将zookeeper服务器替换为zookeeper集合(使用SolrCloud)
我有一个SolrCloud集群(6.6)设置与5个节点的外部Zookeeper Ensemble(3.4.8) . 最近,运行1个Zookeeper且id = 1的一台机器(ip1:port1)关闭了 . 这就是我为取代zookeeper而做的事情: 在具有相同id(= 1)的另一台机器中启动zookeeper . 更改4 live zookeeper中的zoo.cfg以匹配新的zooke... -
-1 votesanswersviews
Apache风暴主管自动停止
我使用了两个系统来配置apache strom集群 . 系统1: Zookeeper服务器 Nimbus UI 系统2: Zookeeper客户端 风暴监督员 当我在power shell命令行启动风暴管理器时,它启动了,但几秒钟后它会自动停止 . 在多个系统中设置风暴群时,是否有人遇到同样的问题? 我错过了任何配置吗?或者我启动风暴监督员时应该通过任何命令行参数? 如... -
0 votesanswersviews
kafka与多个zookeeper配置
对集群设置有点困惑: Zookeeper可以通过在文件中配置myid(1,2,3 ...)并在zoo.cfg文件中具有例如zookeeper1:2888:3888,zookeeper2:2889:3889来设置为集群 对于Kafka,在server.properties文件中,是否必须为参数zookeeper.connect指定zookeeper服务器的完整列表,或者仅仅1就足够了?有什么... -
29 votesanswersviews
为什么Kafka消费者连接到zookeeper, 生产环境 者从经纪人那里获取元数据?
为什么消费者连接到zookeeper来检索分区位置?而且kafka 生产环境 者必须连接到其中一个代理来检索元数据 . 我的观点是,当每个经纪人已经拥有所有必要的元数据来告诉 生产环境 者发送他们的消息的位置时,使用zookeeper究竟是什么?经纪人难道不能向消费者发送同样的信息吗? 我可以理解为什么代理拥有元数据,每次向它们发送新消息时都不必与zookeeper Build 连接 . 动物园管... -
0 votesanswersviews
Kafka-node仅适用于Zookeeper端口(2181)
当我尝试创建一个新的 KafkaClient 时,我必须指定我的节点的IP和Node.js上的端口2181 . 我正在通过Kafka对我的数据库进行大量插入,每次我让它一夜之间运行我得到 CONNECTION_LOSS[-4] 错误,这必须与Zookeeper有关 . 在其他语言中,Kafka端口9092适用于 生产环境 /消费,而不是 Node.js . 如何解决此问题并避免这些连接错误,并使... -
1 votesanswersviews
在 生产环境 者/消费者客户端中绕过Zookeeper?
这是earlier discussion的后续问题 . 我认为Zookeeper是Kafka经纪人实例的协调者,或"message bus" . 我理解为什么我们可能希望 生产环境 者/消费者客户通过Zookeeper进行交易 - 因为Zookeeper具有内置的容错功能,以确定与之交易的Kafka经纪人 . 但是对于新模型 - 即0.10.1 - 我们是否应该始终在 生产环... -
1 votesanswersviews
如果测试群集中特定节点上的kafka服务已关闭,则组消费者无法使用消息
我有三台服务器: blade1(192.168.112.31),blade2(192.168.112.32)和blade3(192.168.112.33) . 在每台服务器上安装kafka_2.11-1.0.0 .在刀片3(192.168.112.33:2181)上也安装了zookeeper . 我创建了一个主题repl3part5,其中包含以下行: bin/kafka-topics.sh --z... -
0 votesanswersviews
如果ID = 0的代理已关闭,则Kafka群集不起作用
我有一个Kafka集群,其中包含3个代理配置如下: Broker-0 : broker.id=0 ; listeners=PLAINTEXT://localhost:9092 ; log.dirs=/opt/data/kafka/logs-0 Broker-1 : broker.id=1 ; listeners=PLAINTEXT://localhost:9093 ; log.dirs=/opt/...