-
1 votesanswersviews
Kafka Consumer收到的消息很少(不是全部)(之前已经处理过)
我们将主题保留设置为7天(168小时) . 当 生产环境 者发送消息时,消息实时消耗 . 一切都按预期工作 . 但是最近在 生产环境 服务器上,作为OS补丁的一部分,Devops意外地将时区从PST改为EST . 在Kafka服务器重新启动之后,我们看到消费者消耗的旧消息很少(不是全部,而是随机) . 我们要求Devops将其更改回PST并重新启动 . 同样,旧消息也在本周末重新出现 . 我们在较... -
1 votesanswersviews
尝试从kafka(0.10版本)访问kafka(0.90版本)时订阅方法抛出错误
这是我们的开发环境 1)kafka集群 - 版本是0.10 2)Spark集群 - 1.6有0.9 Kafka jar 我们试图在spark集群模式下生成()和consume() . (通过spark-submit) 在运行spark-submit工作时,spark选择了0.9版本的kafka . 以下是我们的观察 1) 生产环境 者 - 工作正常(0.9 api和0.10 api 生产环境 ... -
2 votesanswersviews
什么是在RabbitMQ的C#客户端中优雅地停止消息消费的优雅方法?
我正在设置一个标准的独立线程,在C#中监听RabbitMQ . 假设在线程中侦听的方法如下所示: public void Listen() { using (var channel = connection.CreateModel()) { var consumer = SetupQueues(channel); while (true) ... -
1 votesanswersviews
spring boot activemq使用者连接池
Spring Boot需要配置ActiveMQ消费者连接池吗?我在Spring启动应用程序中只有一个消费者(作为微服务), 生产环境 者在另一个应用程序中 . 我对以下内容感到困惑:(摘自http://activemq.apache.org/spring-support.html) 注意:虽然PooledConnectionFactory允许创建活动消费者的集合,但它并不是消费者 . 池化对于连接... -
6 votesanswersviews
Kafka高级消费者使用Java API从主题获取所有消息(相当于 - 从头开始)
我正在使用Kafka站点的ConsumerGroupExample代码测试Kafka High Level Consumer . 我想检索我在Kafka服务器配置中名为“test”的主题的所有现有消息 . 查看其他博客,auto.offset.reset应设置为“最小”,以便能够获取所有消息: private static ConsumerConfig createConsumerConfig(S... -
1 votesanswersviews
完整队列上的java blockqueue使用者阻止
我正在编写一个小程序,将Twitter公共流中的推文放入HBase数据库 . 该程序使用两个线程,一个用于收集推文,另一个用于处理它们 . 第一个线程使用twitter4j StatusListener来获取推文并将它们放入容量为100的ArrayBlockingQueue中 . 第二个线程从队列中获取状态,过滤所需的数据并将它们移动到数据库 . 处理需要比收集状态更多的时间 . 制片人看起来像这... -
2 votesanswersviews
Java中的 生产环境 者/消费者模式
我正在考虑如何在Java中实现 生产环境 者/消费者模式 . 假设我有3个线程和一个包含任务的List(比如它是大约5个任务) . 每个线程从列表中获取任务并同时执行它 . 我目前的方法是使用CountDownLatch int N = 3; CountDownLatch startSignal = new CountDownLatch(1); CountDownLatch doneSignal ... -
0 votesanswersviews
Wso2无法在Identity Server 5.0.0上的应用程序中查看使用者密钥/ ID
我们目前使用Mulesoft作为我们的中间件 . 我正在评估Wso2作为一种可能的替代方案 . 我们的主要关注点是移动客户 . 在大多数情况下,我们实施OAuth . 在我提供太多细节之前,当我在Wso2 Identity Server 5.0.0上注册OAuth2应用程序时,我希望看到一个消费者密钥/ ID . 但它不会显示一个 . 我只看到: 访问令牌网址 - https://localho... -
1 votesanswersviews
kafka消费者指定的输出
我在kafka docs中读过:Kafka还有一个命令行使用者,它会将消息转储到标准输出 . bin / kafka-console-consumer.sh --zookeeper localhost:2181 - topic test - from-beginning 我想知道如果我想消费者消息并将它们推送到另一个输出,那么要添加到上述命令的选项 . kafka-console-c... -
0 votesanswersviews
为什么kafka 0.10控制台 生产环境 者无法向kafka 0.9发送消息?
为什么kafka 0.10控制台 生产环境 者无法向kafka 0.9发送消息? 我在0.9版本(在服务器端)启动kafka控制台消费者 . 我在0.10版本(在客户端)启动kafka控制台 生产环境 者 . 然后我进入了 生产环境 者异常(下面) . 新制作人怎么可能无法向老消费者发送消息?是否有可能将新 生产环境 者设置为一种不推荐使用的模式,以便向旧 Kafka 发送消息? $ bin \ ... -
0 votesanswersviews
Kafka使用者偏移提交UNKNOWN_MEMBER_ID
在我清楚地解释这个问题之前,我想分享这些属性.Below是我用过的制作人的属性 . bootstrap.servers = XYZ:9092,的ack =所有,重试= 0,batch.size = 16384,auto.commit.interval.ms = 1000,linger.ms = 0,key.serializer = org.apache.kafka.common . seria... -
0 votesanswersviews
Apache Kafka - 消费者基础
我必须使用Apache Kafka连接到我公司的经纪人 . 问题是我之前从未使用过这种技术,这是我需要澄清的一点 . 实际上,我创建了一个带有Zookeeper / Server / Consumer的“本地”Kafka,它使用命令〜/ bin / kafka-console-consumer.sh --zookeeper localhost:2181 --topic testGaultier ... -
0 votesanswersviews
如何重新传递RabbitMQ已经发送给消费者的消息
我创建了一些连接到Rabbitmq中的队列的消费者,每次都需要10,50,100个消息,以避免不必要的连接 . 有时我们遇到队列几乎为空的情况,只有一个消费者获得了所有消息 . 不幸的是,其中一条消息可能处理缓慢(例如第三方Web服务超时),而其他所有消息都必须排队等待,即使它们更快 . 虽然这样,其他消费者都是空的,无所事事,但他们无法接收第一个仍未处理的消息 . 如果我可以向Rabbitmq发... -
1 votesanswersviews
虚拟主题中的消息未被消费者队列消耗
我试图在activemq中使用队列来从虚拟主题中出列消息 . 我尝试发送一些消息,它出现在“消息排队”下的主题中,但它无法被消费 . 我创建的虚拟主题名称是VirtualTopic.AA,消费者称为Consumer.client1.VirtualTopic.AA . 在consumer.client1.VirtualTopic.AA中,我可以看到有一个消费者,但它无法从虚拟主题中取消消息 . 谁知... -
1 votesanswersviews
Spring Boot:使用基本身份验证的Apache cxf SOAP服务
我正在使用Apache cxf和spring boot,使用基本身份验证来设置SOAP服务 . 我正在尝试使用此服务,但我不知道如何传递用户名和密码 . 这是我的消费者: public class Consumer { private Service service; public Consumer() throws MalformedURLException { ... -
0 votesanswersviews
OSGI捆绑服务使用者是否需要创建服务接口的“存根”?
我刚刚接触了OSGI技术并且我几乎没有基本的查询 . 这就是我所做的: 在名为“com.mypackage.osgi.bundle.service”的包中创建了一个HelloWorld接口 . 此接口将方法公开为:public String sayHello(String arg); 在名为“com.mypackage.osgi.bundle.service.impl”的包中创建了一个HelloW... -
0 votesanswersviews
KAFKA Java消费者无法工作
我无法让我的java消费者在本地主机上工作 . 控制台用户工作正常 . 以下是我的消费者代码 . public class TestConsumer {public static void main(String [] args)throws Exception { //Kafka consumer configuration settings String topicName = "... -
0 votesanswersviews
Kafka使用Burrow进行监控
使用Burrow监视Kafka时 1)主题分区中给定消费者群体的Burrow开始和结束偏移量是什么意思?我找不到任何关于此的文件 . 什么是匹配的 Kafka 术语? Kafka 术语:最后提交偏移,当前偏移,高水位标记偏移,对数结束偏移 . Burrow的开始和结束偏移图是什么?这是Kafka Current Offset和kafka Highwater mark offset吗? 例如 . ... -
0 votesanswersviews
使用spring amqp在RabbitMQ服务器中进行多线程的消费者配置?
我们正在使用Spring-AMQP实现RabbitMQ,我们的要求是在多个线程中运行使用者以使用来自单个队列的消息 . 是否需要执行任何服务器(RabbitMQ)端脚本或我们可以在消费者级别为单个队列运行多个线程的任何其他方式? 提前致谢! -
1 votesanswersviews
Spring Amqp Consumer在运行一段时间后暂停
我们有一个带有Ha-all策略的2节点RabbitMQ集群 . 我们在应用程序中使用Spring AMQP与RabbitMQ交谈 . 制作人部分工作正常,但消费者工作了一段时间并暂停 . 生产环境 者和消费者作为不同的应用程序运行 . 有关消费者部分的更多信息 我们使用 SimpleMessageListenerContainer 和 ChannelAwareMessageListener ... -
0 votesanswersviews
KAFKA REMOTE AWS consumer.poll
嗨,我一直在尝试学习KAFKA并与我的远程轮询器/消费者有问题 . 我在AWS EC2实例中使用私有和公共ip设置了KAFKA . 我的server.properties看起来像这样 . listeners = PLAINTEXT://172.31.31.58:9092 #AWS Private IP advertised.listeners = PLAINTEXT:// 35 . ?? . ??... -
9 votesanswersviews
生成消息时无法找到主题:UNKNOWN_TOPIC_OR_PARTITION
我有一个双节点kafka集群(EC2实例),其中每个节点都用作一个单独的代理 . 当我使用以下命令在leader实例上运行 生产环境 者时: kafka-console-producer.sh --broker-list localhost:9092 --topic test 我收到以下错误 . 测试消息[2017-01-09 13:22:39,483] WARN在获取具有相关ID 0的元... -
0 votesanswersviews
消费者 生产环境 者模式, 生产环境 者在重新触发之前等待所有消费者完成?
我试图在这种情况下(任何版本)找出Java的最佳方法来实现单个 生产环境 者多个使用者,其中我使用ExecutorService(优先,不需要),其中 生产环境 者需要“永远”运行,但每次都是运行时,它需要等待所有内容完全处理,例如所有消费者线程都已终止,队列为空,并且不会生成任何项目 . 生产环境 者也应该只以固定的间隔轮询其数据源 . 举个例子:每30分钟我希望我的 生产环境 者轮询其数据源...