-
-1 votesanswersviews
Apache风暴主管自动停止
我使用了两个系统来配置apache strom集群 . 系统1： Zookeeper服务器 Nimbus UI 系统2： Zookeeper客户端 风暴监督员 当我在power shell命令行启动风暴管理器时，它启动了，但几秒钟后它会自动停止 . 在多个系统中设置风暴群时，是否有人遇到同样的问题？ 我错过了任何配置吗？或者我启动风暴监督员时应该通过任何命令行参数？ 如... -
6 votesanswersviews
处理复杂事件
我有一系列离散事件进入我的系统，我需要根据每个事件的内容应用规则 . 此外，我想对这些流事件应用复杂的事件处理 . 约束1.这些规则由用户提供，并将动态更改 . 2.每当应用规则时，我都不想重新启动系统 . 3. HA 4.只有成熟的开源解决方案 可能的方法.. 1.在风暴螺栓内运行Esper CEP2.在暴风螺栓内部运行流氓 这会执行单事件规则处理以及复杂事件吗？规则更改是否需要我的风暴... -
1 votesanswersviews
使用Storm 0.10.x（KafkaSpout）从Kafka 0.10.x主题消费
我不确定这个论坛是否是一个正确的问题 . 我们使用Storm KafkaSpout连接器消耗了Storm的Kafka主题 . 到目前为止工作正常 . 现在我们应该连接到一个新的Kafka集群，该集群的升级版本 0.10.x 来自同一个版本 0.10.x 的Storm env . 从风暴文档（http://storm.apache.org/releases/1.1.0/storm-kafka-cli... -
84 votesanswersviews
Apache Kafka与Apache Storm
Apache Kafka：分布式消息传递系统Apache Storm：实时消息处理 我们如何在实时数据管道中使用这两种技术来处理事件数据？ 就实时数据管道而言，在我看来，两者都是相同的 . 我们如何在数据管道上使用这两种技术？ -
0 votesanswersviews
avro.io.AvroTypeException：数据<avro data>不是模式的示例{...}
我们正在努力将Apache Storm与Kafka的Confluent框架集成在一起 . 我们正在使用一个名为“Pyleus”的python风暴包装器 我们设置了一个监控数据库表的Confluent-Kafka JDBC连接器，每当DB发生变化时，新记录将以Avro格式发送为Kafka消息 . 在Pyleus bolt中，我们能够获得Kafka消息，但是，我们无法将其反序列化为JSON . 我们使... -
0 votesanswersviews
使用密钥'null'找不到HBase配置
我创建了具有hbase bolt的风暴拓扑，将元组写入hbase . 但是当我运行拓扑时，它总是显示下面的错误 . 有人知道如何解决这个问题吗？ java.lang.IllegalArgumentException: HBase configuration not found using key 'null' at org.apache.storm.hbase.bolt.AbstractHBase... -
0 votesanswersviews
为kerberos配置Storm
我正在尝试配置单节点风暴群集以运行kerberos身份验证 . 任何时候我尝试使用此curl访问ui：curl -i --negotiate -u：storm -b~ / cookiejar.txt -c~ / cookiejar.txt http://hadoop-machine1:8080/api/v1/cluster/summary我有以下错误：HTTP错误：403 GSSException... -
1 votesanswersviews
如何在linux系统启动脚本中启用java路径？
我正在尝试为Apache Storm创建一个启动脚本，它可以在启动时自动启动风暴管理程序 . 但我不断得到这个错误： 回溯（最近一次调用最后一次）：文件“./home/ec2-user/apache-storm-1.1.2/bin/storm.py”，第887行，在main（）文件“./home/ec2-user /apache-storm-1.1.2/bin/storm.py“，第884行，在... -
1 votesanswersviews
Kafka Storm - 满足依赖性
我正在尝试将我的第一个拓扑部署到风暴群集，作为我公司评估的一部分 . 拓扑只是从 kafka 获取值并将它们放入 cassandra 和 redis . 复制大量的.jar文件以尝试满足各种依赖项后，我遇到了一个问题，其中 storm 声称缺少依赖项，但日志中的启动类列表显示该类可用 . 这是例外： java.lang.NoClassDefFoundError：scaf / collectio... -
106 votesanswersviews
Flink和Storm之间的主要区别是什么？
Flink已经compared to Spark，我认为这是错误的比较，因为它将窗口事件处理系统与微批处理进行比较;同样，将Flink与Samza进行比较对我来说没有多大意义 . 在这两种情况下，它都会比较实时与批量事件处理策略，即使是在Samza的情况下较小的"scale" . 但我想知道Flink与Storm的比较，它在概念上看起来与它更相似 . 我发现this（幻灯片＃4... -
0 votesanswersviews
sockect 127.0.0.1的kafka服务器出错
我正在尝试运行kafka -storm-cassandra，在我的情况下，tail2kafka本身就是一个 生产环境 者，当我开始消耗主题的cosumer时，它会抛出提到错误 . 请帮帮我 . 谢谢 [2015-05-13 15：28：51,784]错误由于错误而关闭/127.0.0.1的套接字（kafka.network.Processor）java.lang.OutOfMemoryError：... -
5 votesanswersviews
Apache Ignite与Apache Storm（深入）
Apache Ignite和Apache Storm在很多方面都是两种截然不同的技术 - 特别是因为Storm有一个非常具体的用例，而Ignite在同一个屋檐下有相当多的工具 . 据我了解，Ignite的核心是它的内存存储 . Build 在它的数据局部敏感计算 . Build 在各种酷玩具上 . 我感兴趣的是Streaming功能，它基本上是对内存缓存不断变化的查询监听器 . 如果我将滑动窗... -
0 votesanswersviews
我有一个Kafka主题有3个Partitons和3个复制 . 我的Storm拓扑如何接受来自这3个分区和复制的数据
我创建了一个带有3个分区和3个重复的Kafka主题 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 并写了Kafka-Producer程序从API获取数据，它工作正常 . 我的数据成功存储在3个分区和3个复制中... -
4 votesanswersviews
Storm KafkaSpout停止使用来自Kafka Topic的消息
我的问题是Storm KafkaSpout在一段时间后停止使用来自Kafka主题的消息 . 在storm中启用调试时，我得到如下日志文件： 2016-07-05 03：58：26.097 oasdtask [INFO] Emitting：packet_spout __metrics [#object [org.apache.storm.metric.api.IMetricsConsumer $ ... -
0 votesanswersviews
性能问题：Kafka Storm Trident OpaqueTridentKafkaSpout
我们看到了Kafka Storm Trident OpaqueTridentKafkaSpout的一些性能问题 下面提到的是我们的设置细节： 风暴拓扑： Broker broker = Broker.fromString("localhost:9092") GlobalPartitionInformation info = new GlobalPartitionInfo... -
5 votesanswersviews
Spring Boot uber jar打包类到root而不是BOOT-INF / classes
嗨 Spring 季启动专家 - 我正在尝试创建一个需要部署到apache风暴集群的spring boot uber jar . 但是，问题在于，当使用“spring-boot-maven-plugin”打包时，Storm正在期望jar的根目录中的所有类文件，而打包的app文件在“BOOT-INF / classes”下 . 有没有办法让我的应用程序类直接打包在根目录下而不是“BOOT-INF /... -
2 votesanswersviews
Storm使用Spring AMQP从RabbitMq读取消息
我想从RabbitMq队列中消耗我的Storm Spout中的消息 . 现在，我们使用Spring AMQP异步发送和接收来自RabbitMq的消息 . Spring AMQP提供机制（创建监听器或使用注释@RabbitListner）从队列中读取消息 . 问题是我可以让一个监听器从队列中读取消息 . 但是如何将此消息发送到在Storm集群上运行的Storm Spout？ 拓扑将启动一个集群，但在... -
1 votesanswersviews
不同主题使用相同的偏移值
我们的拓扑使用 KafkaSpout 从kafka主题获取消息 . 我们有大约150个主题，包括12个分区，8个风暴 Actuator 和2个风暴节点上的任务 . Storm版本1.0.5，Kafka经纪人版本10.0.2，Kafka客户端版本0.9.0.1 . 我们不会删除Kafka主题 . 在某个时刻，我在worker.log中观察到大量重复的WARN消息 2018-05-29 14：36... -
5 votesanswersviews
Storm/Kafka - 无法获得 kafka 的偏移滞后
我正在运行一个 Storm Topology，它在 Kafka 上发布了有关 4 个节点的 AWS Ubuntu Server 14.04 LTS 实例的推文--Nimbus，一个 Supervisor，一个 Kafka-Zookeeper 节点，一个 Zookeeper(用于 Storm 集群)。我的 Storm UI 已启动并运行，我可以提交拓扑。我有两个经纪人，但我只使用 broker.id... -
1 votesanswersviews
Storm-kafka 用于实时数据流的 Hortonworks 教程
阅读问题陈述后欢迎任何想法。 背景：使用 Apache Kafka 发布消息：Kafka 代理正在运行。 Kafka 生成器是创建消息并将其发布到 Kafka 代理以供进一步使用的应用程序。因此，为了让 Kafka 消费者使用数据，Kafka 主题需要在 Kafka 生产者和消费者开始发布消息和消费消息之前创建 Kafka 测试成功，因为 Kafka 消费者能够使用 Kafka 主题和显示结果的数... -
1 votesanswersviews
当主题分区超过 1 时，Storm KafkaSpout 无法读取偏移量
我的 KafkaSpout 套装是 SpoutConfig spoutConf = new SpoutConfig(brokerHosts, topic, zkRoot,clientId); spoutConf.scheme = new SchemeAsMultiScheme(new StringScheme()); spoutConf.forceFromStart = false... -
1 votesanswersviews
来自 kafka 主题的 Java bean 的 Storm Kafkaspout KryoSerialization 问题
嗨，我是 Storm 和 Kafka 的新手。我正在使用 storm 1.0.1 和 kafka 0.10.0 我们有一个 kafkaspout，可以从 kafka 主题接收 java bean。我花了几个小时来寻找合适的方法。找到一些有用的文章，但迄今为止没有一种方法对我有用。 以下是我的代码： StormTopology： public class StormTopology { publi... -
1 votesanswersviews
为什么 Apache Storm KafkaSpout 会从 Kafka 话题中发出这么多项目？
我遇到了 Kafka 和 Storm 的问题。我不确定在这一点上是否存在我正在设置的 KafkaSpout 配置的问题，或者我是否正确无法确认或是什么。 我在我的 Kafka 主题上有 50 个项目，但是我的鲸鱼喷出了超过 1300 个(并计数)元组。此外，Spout 报告说几乎所有人都“失败了”。拓扑实际上并没有失败，它正在成功地写入数据库，但我只是不知道为什么它显然会重播所有内容(如果那就是它... -
0 votesanswersviews
Storm kafka 警告消息有多个任务比分区一些任务将空闲
我有风暴拓扑，使用 KafkaSpout 接收来自 Kafka 经纪人的消息。但我没有看到喷口处理任何消息。在工作日志中，我找到了以下代码段。风暴 version-0.9.3 2017-12-13T18:43:49.598+0000 s.k.ZkCoordinator [INFO] Task [1/2] Refreshing partition manager connections 2017-1... -
0 votesanswersviews
Apache 风暴 kafka spout 只读取主题分区的一半
在我们的生产 Storm 集群上开发的一个问题，我们无法弄清楚或解决。 在某些时候，似乎 kafka 鲸鱼喷水停止从一半的主题分区读取。有 40 个分区，它只读取其中的 20 个。我们无法在发生这种情况时找到我们对风暴集群或 kafka 所做的任何更改。 我们更改了使用者组 ID 并将 spout config startOffsetTime设置为OffsetRequest.LatestTime，... -
0 votesanswersviews
使 apache storm 拓扑使用来自 kafka 的最新偏移量
我有一个 kafkaspout，2 个用于处理数据的螺栓，2 个用于在 mongodb 中存储已处理数据的螺栓 我正在使用 apache flux 来创建拓扑，我正在从 kafka 将数据读入 spout。一切运行正常，但每次运行拓扑时，它都会从头开始处理 kafka 中的所有消息。一旦它处理完所有的消息，它就不会等待更多的消息和崩溃。 如何使风暴拓扑仅处理最新的消息. 这是我的拓扑文件.yam... -
0 votesanswersviews
在 Storm 服务器上部署拓扑错误：_N_的 NoNode
我正在尝试将 storm/flux 拓扑部署到远程服务器。拓扑成功部署，但在服务器风暴 UI 上，它显示了 spout lag 错误： 无法获得 kafka 的偏移滞后。原因：org.apache.zookeeper.KeeperException$NoNodeException：KeeperErrorCode = org.apache.zookeeper.keeperExceptiom.cre... -
1 votesanswersviews
storm-kafka-client spout 以不同的速度消耗不同分区的消息
我有一个 5 个节点的风暴集群和一个安装在相同节点上的 kafka 集群。 风暴版：1.2.1 卡夫卡版：1.1.0 我还有 10 个分区的 kafka 主题。 现在，我想要使用这个主题的数据并进行风暴处理。但消息消耗速度真的很奇怪。 出于测试原因，我的风暴拓扑只有一个组件 - kafka spout，我总是将 kafka spout 并行度设置为 10，这样一个分区只能由一个线程读取... -
1 votesanswersviews
卡夫卡制片人配额
以下是我们的 IoT 平台中的入站消息流： Device ---(MQTT)---> RabbitMQ Broker ---(AMQP)---> Apache Storm ---> Kafka 我希望实现一个有效 limits/throttles 每秒发布到 Kafka 的数据量的解决方案。 当前的策略使用 Guava 的 RateLimiter，其中每个设备都有自己的本地缓存... -
2 votesanswersviews
使用elasticsearch-hadoop库从storm到elasticsearch索引元组不起作用
我想将文档索引到Storm中的Elasticsearch，但我无法将任何文档编入索引到Elasticsearch . 在我的拓扑结构中，我有一个KafkaSpout，它将这样的json（{tweetId“：1，”text“：”hello“}）发送到一个EsBolt，它是来自elasticsearch-hadoop库的本机螺栓，它将Storm Tuples写入Elasticsearch（doc在这里...