首页 文章
  • 1 votes
     answers
     views

    如何断开连接,然后使用EasyNetQ从RabbitMQ重新连接?

    我处于需要断开与RabbitMQ的连接并使用EasyNetQ重新连接的情况 . 我是通过处理文档中描述的IBus来做到这一点的 . https://github.com/EasyNetQ/EasyNetQ/wiki/connecting-to-rabbitmq “要关闭连接,只需处理总线......这将关闭EasyNetQ使用的连接,通道,消费者和所有其他资源 . ” 但是当我打电话来创建一个新的...
  • 2 votes
     answers
     views

    kafka多经纪人的优势

    嗨,我对apache kafka很新,我不知道这会有多大意义 . 我做了很多研究,但却找不到多个经纪人的优势 . 通过整个kafka文档,无法找到答案 . 比方说,我从两个不同的设备接收数据,我应该操作和存储 . 根据从哪个设备数据到达,消费者将改变 . 我应该使用多个代理 - 单个主题 - 多分区或单个代理 - 单个主题 - 多分区或其他一些方法? 任何帮助或指南表示赞赏 .
  • 1 votes
     answers
     views

    使用Lambda的AWS多个计划任务

    我有以下应用场景 . 我需要根据多个用户操作和规则在我的服务器中调用API . 在我的网络应用程序中,用户可能会单击一个按钮,我需要在 X 时间之后安排一个事件,其中 X 值取决于用户配置 . 该事件必须触发对将处理某些数据的API的回调 . 为了实现这一目标,我使用 AWS 服务以多种方式思考 . 因此,一旦用户点击我的网络应用程序按钮服务器将: SQS Approach 创建 SQS 队列,...
  • 0 votes
     answers
     views

    Syscall param msgsnd(msgp-> mtext)指向未初始化的字节 - 消息队列 - Valgrind

    我做了一个C程序,测试并行进程上的一些消息队列 . 消息定义如下: typedef struct _Message{ long type; int some_number; char some_info[SIZE]; }Message; 在我的程序中, msqid 是我使用msgget获取的消息队列的标识符, msg 是Message的一个实例,所有字段都被初始化(超出字...
  • 0 votes
     answers
     views

    混 Contract 步/异步交互中的微服务和消息消耗

    我正在使用微服务架构开发文档管理系统(DMS) . 虽然大多数服务通过直接同步调用(Netflix Ribbon Hystrix)相互交互,但中间有消息系统(Apache Kafka)用于异步文档处理 . 我的 DocumentService ,处理文档(也使用其他服务)并提供公共API非常"fat"我无法决定是否值得使 DocumentService 使用文档或创建另一个微服...
  • 27 votes
     answers
     views

    在开始新活动后调用finish()

    在我的应用程序中加载的第一个Activity是一个初始化活动,一旦完成,它就会加载一个新的Activity . 我想确保如果用户按下'Back',他们会直接进入启动器,而不是初始化屏幕 . 旁注,这是最好的方法,还是用某种Intent Flag做得更好? 在新活动上调用startActivity()之后调用finish()是否正确? onCreate() { ... startActivity(n...
  • 3 votes
     answers
     views

    (Windows Azure)消息队列 - 在多台计算机上进行事件

    我正在Windows Azure中构建一个应用程序,并且需要一些建议来向多个实例提供事件,然后将它们推送到各自的事件订阅者 . 我在考虑使用消息队列(Azure队列存储) . 为了给出一些上下文,它是一个使用Comet实现将更改推送到客户端的Web应用程序 . 由于可扩展性要求,它需要在分布式环境中运行 . 这意味着客户端可以连接到不同的物理机器 . 当用户进行某些更改时,需要将其推送给某些其他用...
  • 59 votes
     answers
     views

    ActiveMQ vs Apollo vs Kafka

    我之前没有任何使用* MQ的经验,而且我希望通常能够构建有关JMS和消息队列的知识 . 这样,我想知道我是应该从ActiveMQ开始,还是只是“忽略”它,然后开始自学阿波罗 . Apollo是否像ActiveMQ一样功能齐全?它是否实现了JMS 2.0(我看到ActiveMQ卡在1.1中)?我会遗漏一些非常重要的东西吗? 另外,Kafka与这两种解决方案相比如何?
  • 0 votes
     answers
     views

    Activemq身份验证和授权与数据库

    我使用Activemq并且需要使用现有的mysql或mongo数据库进行用户身份验证和授权,以允许客户端发送或接收有关该主题的消息 . 但我不知道这是如何工作的
  • 5 votes
     answers
     views

    Spring作为Broker Relay使用外部Message Broker

    我想使用 Spring Messaging 为我的webapp为已登录用户创建实时通知系统 . 我将 AbstractWebSocketMessageBrokerConfigurer 定义如下: @Override public void registerStompEndpoints(StompEndpointRegistry registry) { registry.addEndpoin...
  • 3 votes
     answers
     views

    在Flask应用程序中,Celery应该在哪里实例化?

    我有一个Flask应用程序,这是一个非常基本的应用程序,具有POST处理程序和一些数据库插入 . 使用Celery将DB插入设置为任务 . 如果我将我的Celery实例创建和任务定义放在 tasks.py 文件中,并从我的 main.py 文件(也有Flask应用程序创建)调用函数,我得到 out of context error . tasks.py 文件中的任务又调用执行数据库插入的DB...
  • 18 votes
     answers
     views

    消息队列系统中的消息优先级本质上是不重要的吗?

    似乎我所看到的大多数消息传递系统都具有对优先级消息队列的基本支持(如果有的话) . 例如,AMQP只有specifies至少2个优先级 . RabbitMQ,一个AMQP实现,doesn't support任何优先级 . 在几天内,ActiveMQ将在版本5.4中为10个消息优先级getting support . 10个优先级是JMS spec指定的 . 在非消息传递意义上的单词中的prio...
  • 1 votes
     answers
     views

    消息队列和消息代理差异

    所以我一直试图了解消息队列和消息代理之间的区别,为什么要使用其中一个 . 所以从我的理解 . MESSAGE QUEUE有助于进程间通信,但它基本上只限于允许2个应用程序之间的通信?我问这个是因为例如MSMQ(如果我的理解是正确的)只将消息存储在队列中,直到第一个消费者处理它,之后它会自动将它从队列中删除 . 它是否正确 ? 现在MESSAGE BROKERS是MESSAGE QUEUE的某种延...
  • 11 votes
     answers
     views

    处理消息队列中的重复

    我一直在和我的程序员争论最好的解决方法 . 我们的数据以每秒约10000个对象的速度进入 . 这需要异步处理,但是松散排序就足够了,因此每个对象都循环插入到几个消息队列之一(还有几个 生产环境 者和消费者) . 每个对象约300个字节 . 它需要持久,因此MQ配置为持久存储到磁盘 . 问题是这些对象经常是重复的(因为它们不可避免地复制到 生产环境 者的数据中) . 它们具有10字节的唯一ID . ...
  • 1 votes
     answers
     views

    消息在队列中排序

    我在RabbitMQ设置中有一个场景,我很好奇如何解决 . 下图说明了它(为了简洁而删除了交换和大多数队列): Scenario 生产环境 者创建消息A(1),它由顶级消费者接收,它开始处理消息 . 生产环境 者创建消息A(2),它由底层消费者接收(假设两个消费者都在循环交换中) . 底部消费者发布消息B(2),该消息被放入消息B消费者的队列中 可怜的慢速消费者终于完成并发出消息...
  • 1 votes
     answers
     views

    Kubernetes消息消费者可扩展性

    如何在kubernetes中为kafka,amqp或任何其他可扩展和缩小的消息代理部署消息使用者?我的假设是消费者运行一个拉动消息的循环 . 我喜欢kubernetes当许多消息到达代理队列时创建更多pod,并且当队列中的消息太少时删除一些pod . 哪个组件有 beans 荚结束的主动权? pod本身因为它无法从队列中获取消息?或kubernetes因为pod不消耗CPU? 如果任何pod在队...
  • 2 votes
     answers
     views

    用于JVM的轻量级分布式单 生产环境 者多消费者消息服务

    我正在为jvm寻找一个轻量级的分布式单 生产环境 者多消费者消息服务 . 我希望该服务能够在与 生产环境 者相同的过程中运行 . 它只需要支持10个读卡器(最多可能低100个),但它需要能够具有高吞吐量 . 每条消息都需要只发送给一个消费者,哪个消息无关紧要 . 应该只有一个有界缓冲区, 生产环境 者应该阻止缓冲区已满 . 如果没有可用消息,消费者应该阻止 . 一旦所有消费者都收到数据信号的结束,...
  • 33 votes
     answers
     views

    如何保证Celery的邮件传递?

    我有一个python应用程序,我想在后台开始做更多工作,以便它变得更加繁忙,因为它变得更加繁忙 . 在过去,我使用Celery来完成正常的后台任务,这一点运作良好 . 这个应用程序和我过去做过的其他应用程序之间的唯一区别是我需要保证这些消息得到处理,它们不会丢失 . 对于这个应用程序,我不太关心我的消息队列的速度,我首先需要可靠性和耐用性以及formost . 为了安全起见,我希望有两个队列服务器...
  • 8 votes
     answers
     views

    Django-celery和RabbitMQ没有执行任务

    我们有一个 Django 1.3 应用程序 django-celery 2.5.5 已经在 生产环境 中运行了一个月,但突然之一芹菜任务现在无法执行 . RabbitMQ代理和Celery工作程序在单独的机器上运行,celeryconfig.py配置为使用该特定RabbitMQ实例作为后端 . 在应用程序服务器上,我尝试通过 python manage.py shell 手动触发芹菜任务 . 实际...
  • 50 votes
     answers
     views

    为什么使用Celery而不是RabbitMQ?

    根据我的理解,Celery是一个分布式任务队列,这意味着它应该做的唯一事情是将任务/作业分派给其他服务器并获得结果 . RabbitMQ是一个消息队列,仅此而已 . 但是,工作人员只能在收到消息时监听MQ并执行任务 . 这完全符合Celery的要求,为什么需要Celery呢?
  • 0 votes
     answers
     views

    用于多交换队列模型的RabbitMQ消费者设计

    我有一个RabbitMQ设置,配置如下 . 每个Exchange都是 FANOUT 类型 多个队列附加到每个Exchange . BlockingConnection 由消费者制作 . Single Consumer来处理所有回调 . 问题 - 某些有效负载比其他有效负载需要更长的时间来处理,这导致消费者即使在其他队列中存在有效负载时也保持空闲 . 题 - 我应该如何实施消...
  • 0 votes
     answers
     views

    Rabbit MQ消费者如何工作?

    我有2个关于rabbitmq消费者(接收者)的问题: 如何定义(从队列中静态地)注册到某个队列的消费者是什么,这样如果一个消费者关闭,消息将在该消费者再次启动之后仍然被传递,或者是否有任何其他方式实现这个? 消费者如何连接到仍未创建的队列,在rabbitmq教程中,我可以在 生产环境 者之前调用消费者并且它仍然可以工作,有人可以解释一下这是如何工作的吗? 谢谢
  • -1 votes
     answers
     views

    在RabbitMQ中队列Ghost消费者

    在测试环境中,即使应用程序停止,也有兔子消费者连接到 RELAY-* 队列 . 这导致消息被这些“幽灵”消费者消耗给队列,并且实际应用程序不接收任何数据,除非应用程序的消费者首先接收它 . 例如,rabbitTST队列 RELAY-TASK-PUBLISH-QUESTION-STORE RELAY(grails app)应该是唯一的消费者,它现在在服务器上关闭,但目前有14个消费者 . 不是兔子...
  • 1 votes
     answers
     views

    当RabbitMQ消费者崩溃时,获取的消息会发生什么?

    如果我有一个RabbitMQ使用者可以批量检索100条消息,但是在它将这些消息标记为已处理之前它会崩溃,这些消息会丢失吗?我希望队列中的每条消息至少处理一次 . 在确认消息之前,建议的方法是如何处理崩溃的消费者? RabbitMQ是否会以某种方式将它们放回队列中,或者我需要做些什么来实现它?
  • 3 votes
     answers
     views

    ActiveMQ主题与RabbitMQ Direct交换

    我们目前正在关注ActiveMQ . 以前我们使用过RabbitMQ,特别是 Direct exchanges , 生产环境 者可以向代理发送一条消息,然后将其传播到1:N其他队列 . 我们希望在ActiveMQ中进行类似的设置,其中代理保存消息进入其中的配置,而不是将消息直接发送到需要订阅特定主题的特定队列或消费者的服务 . 我已经挖掘了文档并找到了Virtual Topic Composite...
  • 4 votes
     answers
     views

    Java中的分布式数据结构[关闭]

    我将在Java中开发自己的消息队列实现,我需要在多个服务器之间分发队列内容,以便提供可靠性和冗余 . 除此之外,我还需要将队列内容保存到文件系统中 . 有人可以告诉我什么是最合适的分布式数据结构实现来保存我的队列内容? Note: 该数据结构必须为我提供消息订购工具 . 这意味着我需要根据他们到达的顺序接收消息 . 同时在阅读消息时,它应处于'locked'状态,以便其他消费者无法读取消息,直到第...
  • 4 votes
     answers
     views

    如何在确保每个实体的FIFO的同时并行处理消息?

    假设您的系统中有一个实体,比如“人物”,并且您希望处理修改各种Person实体的事件 . 重要的是: 同一人员的事件按FIFO顺序处理 多人事件流由不同的线程/进程并行处理 我们有一个实现使用共享数据库和锁来解决这个问题 . 线程竞争获取Person的锁定,然后在获取锁定后按顺序处理事件 . 我们希望转移到消息队列以避免轮询和锁定,我们认为这会减少数据库的负载并简化消费者代码的实现 ....
  • 0 votes
     answers
     views

    我可以在Kafka中与多个消费者实现订购处理吗?

    在 Kafka ,我有一个 生产环境 者排队客户的工作 . 每件作品都有一个客户ID . 可以不按时处理不同客户的工作,但必须按顺序处理一个客户的工作 . 为此,我打算(例如)有20个主题来实现并行性 . 生产环境 者将客户ID的工作排队到 topic[client ID mod 20] . 然后,我打算让许多消费者都能够处理任何客户的工作,但我仍然希望按顺序处理工作 . 这意味着该主题的下一...
  • 0 votes
     answers
     views

    双向消息队列

    这似乎是一个属于常见问题解答的问题,但我无法用短语来回答这个问题 .无论如何,我目前正在研究消息队列(通过ZeroMQ,RabbitMQ教程),我认为MQ非常适合转换数据流 - 在Q1上收听格式为F1的消息,转换为F2并将转换后的消息放在Q2上 . 如果转换本质上是双向的并且没有明确定义的消费者和 生产环境 者,例如,如果发生了什么,则会出现自然的问题 . yaml < - > js...
  • 0 votes
     answers
     views

    redis可靠的队列模式

    http://redis.io/commands/rpoplpush “RPOPLPUSH(或阻塞变体的BRPOPLPUSH)提供了一种避免此问题的方法:消费者获取消息并同时将其推送到处理列表中 . 它将使用LREM命令从处理中删除消息邮件处理后列出 . “ 建议使用这种可靠的队列模式 . 这里的关键是从队列中删除项目,除非进程完成 . 但我最大的困惑是为什么需要处理队列?通过仅保留一个队列可以实...

热门问题