-
0 votesanswersviews
Apache Kafka - 消费者不接收来自制作人的消息
我很感激你的帮助 . 我正在构建一个Apache Kafka消费者来订阅另一个已经运行的Kafka . 现在，我的问题是，当我的制作人将消息推送到服务器时...我的消费者没有收到它们...我在我的日志打印中得到以下信息:: 13/08/30 18:00:58 INFO producer.SyncProducer: Connected to xx.xx.xx.xx:6667:false for pr... -
5 votesanswersviews
使用未知大小的队列的Web爬网程序的 生产环境 者/使用者
我需要抓取父网页及其子网页，我遵循http://www.albahari.com/threading/part4.aspx#%5FWait%5Fand%5FPulse的 生产环境 者/消费者概念 . 另外，我使用5个线程将链接排队和出列 . 有关如何在队列长度未知的情况下，如果所有线程都已完成处理队列，我将如何结束/加入所有线程？ 以下是关于我如何编码的想法 . static void Main(... -
2 votesanswersviews
Python有过滤队列吗？
我有一种情况，我有一个 生产环境 者线程从网络上的各种不同设备接收消息 . 我还有多个消费者线程，只想从特定设备接收数据 . 我通常做的是让消费者线程自己“注册” 生产环境 者线程并创建他们自己的单独队列， 生产环境 者线程将相关数据插入其中 . 但是，我想要的是拥有 生产环境 者将消息放入的单个队列对象，然后让消费者从队列中“获取”数据但是使用过滤器，以便他们只接收他们感兴趣的消息 . Pyth... -
53 votesanswersviews
使用队列的 生产环境 者/消费者线程
我想创建一些 Producer/Consumer 线程应用程序 . 但我不确定在两者之间实现队列的最佳方法是什么 . 所以我有两个想法（两者都可能是完全错误的） . 我想知道哪个更好，如果它们都吮吸那么什么是实现队列的最佳方式 . 这主要是我在这些例子中实现的队列，我很关心 . 我正在扩展一个内部类的Queue类，并且是线程安全的 . 以下是两个示例，每个示例包含4个类 . 主类 - public... -
1 votesanswersviews
如何在Kafka 0.11中正确提交 生产环境 者并使用事务性消息？
我正在尝试Java中的Kafka Transnational制作人 . 喜欢 producer.initTransactions(); try { producer.beginTransaction(); producer.send(rec, new Callback() { public void onCompletion(Reco... -
0 votesanswersviews
扩大到消费者以满足每个 生产环境 者的需求？
我有以下套接字连接代码 . 每个连接的位置是一个新线程 . 在收到通过 生产环境 者完成的数据之后，我将一个队列放入下一个数据库处理器，即消费者 . 这样可以正常运行，但是当队列 Build 起来时，它可能会挂起甚至需要几个小时来清除原因，就像许多 生产环境 者和只有一个消费者一样 . 我想我有可能让一个消费者处理一个 生产环境 者，这意味着每个消息进入它自己的队列获取进程和它 . 我可以做些什么... -
1 votesanswersviews
生产环境 者 - 消费者和数据库队列
我有一个 生产环境 者消费者机制， I am forced to store produced items 在数据库中，这是一个要求 . 此外，我有几个 生产环境 者和几个消费者， 生产环境 者和消费者线程将访问几个数据库表中的记录; ProcessID列将确定哪个线程正在访问哪条记录 . 线程将通过Windows服务工作 . ProcessID的创建有三个原因 . 1-如果线程未正常终止，则... -
2 votesanswersviews
用于JVM的轻量级分布式单 生产环境 者多消费者消息服务
我正在为jvm寻找一个轻量级的分布式单 生产环境 者多消费者消息服务 . 我希望该服务能够在与 生产环境 者相同的过程中运行 . 它只需要支持10个读卡器（最多可能低100个），但它需要能够具有高吞吐量 . 每条消息都需要只发送给一个消费者，哪个消息无关紧要 . 应该只有一个有界缓冲区， 生产环境 者应该阻止缓冲区已满 . 如果没有可用消息，消费者应该阻止 . 一旦所有消费者都收到数据信号的结束，... -
0 votesanswersviews
使用MySql的消费者 - 生产环境 者模式
大家好，祝大家新年快乐！ :)我正在开发一个软件（Java，后端），它有3个组件，每个组件都是独立的Java应用程序（你甚至可以将它们视为单独的线程）：1）DB数据导入器1. 2）DB数据导入器2. 3）数据库数据导出器 . 现在，所有这些应用程序都在使用相同的MySql数据库，使用相同的2个InnoDB表 - “Orders”和“Items” . 每个订单可能包含0个或多个项目 . 所有数据库操... -
0 votesanswersviews
为什么使用队列作为 生产环境 者和消费者之间的通信缓冲区？
我看到许多使用队列作为共享数据缓冲区的 生产环境 者 - 消费者模式的描述和示例 . 使用队列而不是单个元素数据缓冲区的原因是什么？ 在每个 生产环境 者 - 消费者实现中， 生产环境 者将比消费者处理数据更快地生成数据，或者 生产环境 者将生成比消费者处理数据更慢的数据 . 这意味着队列最终将填充到其最大容量，或者在消费者使用该数据元素之前它将仅包含一个数据元素 . 一旦队列已满， 生产环境 者... -
1 votesanswersviews
消费者 - 生产环境 者有pthreads的赛车条件
我正在使用ubuntu 16.04中的pthreads在具有2个处理器的虚拟机上实现消费者 - 生产环境 者问题 . 我们有n个 生产环境 者和一个消费者，他们通过缓冲区从每个 生产环境 者那里读取数据 . 每个 生产环境 者都有自己的缓冲区 . 问题是，在某些时候我的代码死锁，无法找出原因 . 可能是我搞乱了条件变量和互斥锁 . typedef struct { Student* ... -
17 votesanswersviews
Java BlockingQueue与批处理？
我对与Java BlockingQueue相同的数据结构感兴趣，但它必须能够批处理队列中的对象 . 换句话说，我希望 生产环境 者能够将对象放入队列，但是在 take() 上使用消费者块，直到队列达到一定的大小（批量大小） . 然后，一旦队列达到批量大小， 生产环境 者必须阻止 put() 直到消费者已经消耗了队列中的所有元素（在这种情况下， 生产环境 者将再次开始 生产环境 并且消费者块直到再次... -
8 votesanswersviews
通用.Net 生产环境 者/消费者
我想在C＃中实现一个通用的 生产环境 者/消费者对处理队列的想法很有趣 . 我们的想法是你可以创建实现适当的IProducer和IConsumer接口的对象（提供的默认实现），它们主要由委托组成，将它们传递给 QueueProcessor 类实例，告诉它你想要多少消费者，然后去 . 但我对自己说，“自我，这肯定已经做过了 . ” 那么有没有人知道 good ，C＃中 生产环境 者/消费者模式的通用... -
1 votesanswersviews
生产环境 者 - 消费者与资源
我正在尝试使用一组资源实现 生产环境 者/消费者模式，因此每个线程都有一个与之关联的资源 . 例如，我可能有一个任务队列，其中每个任务都需要 StreamWriter 来写入其结果 . 每个任务还必须传递参数 . 我从Joseph Albahari的实现开始（参见下面的修改版本） . 我将 Action 的队列替换为 Action<T> 的队列，其中 T 是资源，并将与该线程关联的资源... -
3 votesanswersviews
生产环境 者/消费者：一个 生产环境 者，多个消费者，每个人都在相同的数据上工作
我有一个 生产环境 者/消费者场景，我不是一个 生产环境 者来提供产品和多个消费者来消费这些产品 . 但是，常见的情况是，交付的产品仅由一个消费者消费，而其他消费者从未看到此特定产品 . 我想要完成的是每个消费者只消费一次产品而没有任何阻塞 . 我的第一个想法是使用多个BlockingQueues，每个消费者一个，并使Producer将每个产品按顺序放在所有可用的BlockingQueues中 .... -
2 votesanswersviews
修改的 生产环境 者消费算法
我正在修改 生产环境 者/消费者问题 . 然而，有竞争条件，我正在讨论最好的方法 . 可能有更清洁的方式，我想知道是否有人做过类似的事情，如果可能的话，可以分享更好的解决方案 它使用队列作为普通的 生产环境 者/消费者开始 . 一个 生产环境 者线程从磁盘读取项目并在共享队列上排队 . 然后，多个消费者线程尝试将项目出列以进行处理 . 但是每个项目都有一个必须与消费者标签匹配的标签（如线程ID） ... -
4 votesanswersviews
使用线程和EventWaitHandle的 生产环境 者/消费者模式
我想这是一种代码审查，但这是我对 生产环境 者/消费者模式的实现 . 我想知道的是，在某种情况下， ReceivingThread() 或 SendingThread() 方法中的while循环可能会停止执行 . 请注意 EnqueueSend(DataSendEnqeueInfo info) 是从多个不同的线程调用的，我可能不能在这里使用任务，因为我必须在一个单独的线程中使用命令 . priva... -
32 votesanswersviews
作业队列为具有多个使用者的SQL表（PostgreSQL）
我有一个典型的 生产环境 者 - 消费者问题： 多个 生产环境 者应用程序将作业请求写入PostgreSQL数据库上的作业表 . 作业请求的状态字段在创建时包含QUEUED . 当 生产环境 者插入新记录时，规则会通知 multiple 个消费者应用程序： CREATE OR REPLACE RULE "jobrecord.added" AS ON INSERT TO jo... -
3 votesanswersviews
实施 生产环境 者消费模式
我正在尝试编写一个邮件实用程序，将邮件放在队列中，然后由消费者线程使用 . 我正在尝试实现典型的 生产环境 者 - 消费者模式，但出现了问题 . 我刚刚写了一个骨架，骨架没有按预期工作 . MailProducer.java public class MailProducer implements Callable<Void> { @Override public Void cal... -
0 votesanswersviews
消费者 生产环境 者算法的混合解
我试图表明 生产环境 者/消费者问题的以下解决方案不起作用，通过显示当消费者处于M1的开头时，有一种情况是它将无法在有限的范围内使某个项目出列时间和/或存在 生产环境 者处于L2的开头的情况，并且它将无法在有限时间内将项目排队 . 我只是找不到任何证明它的例子 . 该算法假设有10个 生产环境 者，10个消费者，缓冲区大小为10 . nf = 0; // counting semaphore, #... -
0 votesanswersviews
生产环境 者 - 消费者队列中的奇怪死锁
使用C的pthread库，我正在尝试实现一个简单的 生产环境 者 - 消费者模式 . 生产环境 者生成随机数并将它们放入这样的队列中 typedef struct { int q[MAX_QUEUE]; int head; int tail; } queue; 消费者只需逐个获取数字并将其打印到标准输出 . 使用一个 mutex 和两个条件变量完成同步： empty_qu... -
0 votesanswersviews
如何实现 生产环境 者的 生产环境 者 - 消费者模式
我正在尝试编写一个Windows服务，其 生产环境 者和消费者的工作方式如下： Producer: 在计划的时间，获取所有未处理的项目（在数据库中的行上 Processed = 0 ）并将每个项目添加到工作队列中尚未存在的工作队列中 Consumer: 不断从工作队列中提取项目并处理它们并更新数据库（行上的 Processed = 1 ） 我试图在C＃.NET中查找这个确切数据流的示例... -
2 votesanswersviews
确定性监视器脉冲/等待并在 生产环境 者 - 消费者集合中实现超时
我正在尝试实现支持消费者超时的并发 生产环境 者 - 消费者集合（多个 生产环境 者和消费者） . 现在实际的集合非常复杂（不幸的是，在System.Collections.Concurrent中没有任何工作），但我在这里有一个最小的示例来演示我的问题（看起来有点像 BlockingCollection<T> ） . public sealed class ProducerConsum... -
0 votesanswersviews
在 生产环境 者 - 消费者模型中关闭队列的最有效对象是什么？
在 生产环境 者 - 消费者模型中（一个生成项目的线程，将其置于阻塞队列中，另一个线程在无限循环中使用它们），建议通过发送导致循环中断的毒物对象来关闭线程 . Afaik，这可以通过使用： null （一般不鼓励， BlockingQueue 禁止） 生产环境 者不会创造的值（需要额外的测试，可能会蒸发一些脑细胞） 一个包装器类型，并将每个生成的值放在一个包含值作为唯一属性的类中，并设... -
3 votesanswersviews
在Java中实现多个使用者多 生产环境 者的问题
我用一个阻塞队列编写了一个简单的消费者 - 生产环境 者问题，该队列有多个 生产环境 者和多个消费者接受并将整数放在队列中 . 但是，当我尝试测试它时，结果并不理想，例如队列的大小不正确 . 我不认为消费者和 生产环境 者规模正在同步 . 此外，我对 生产环境 者和消费者都进行了2秒钟的睡眠，但在测试时，每两秒就打印出2个 生产环境 者和2个消费者的结果 . 有谁知道我做错了什么？也许我开始错误... -
17 votesanswersviews
是否可以向ThreadPoolExecutor的BlockingQueue添加任务？
用于ThreadPoolExecutor的JavaDoc不清楚是否可以将任务直接添加到支持执行程序的 BlockingQueue . The docs say调用 executor.getQueue() 是"intended primarily for debugging and monitoring" . 我正用自己的 BlockingQueue 构建一个 ThreadP... -
3 votesanswersviews
Java 生产环境 者/消费者，检测处理结束
我正在准备一个应用程序，其中一个 生产环境 者生成数百万个任务，然后由可配置数量的消费者处理 . 从 生产环境 者到消费者的通信（可能）将基于队列 . 从运行 生产环境 者/生成任务的线程，我可以使用什么方法等待所有任务的完成？我宁愿不恢复任何定期轮询，看看我的任务队列是否为空 . 在任何情况下，任务队列为空并不能保证最后的任务已完成 . 这些任务可能运行时间相对较长，因此在消费者线程仍处于愉快处... -
2 votesanswersviews
Java BlockingQueue Consumer Multithread notworking
我使用BlockingQueue实现了 生产环境 者消费者问题 . 在此， 生产环境 者以不同的间隔将一些任务发布到阻塞队列，并且多个消费者将该任务用于处理它 . 我的 生产环境 者代码工作正常，但我的消费者对象抛出错误 . 我是多线程的新手 . 我会感谢你的帮助 . 制片人 public class Producer_Events implements Runnable{ private ... -
2 votesanswersviews
用Java实现 生产环境 者消费者
这是家庭作业的 生产环境 者消费者模式的实现 . 以下实现有什么问题 . 我已经google了各种实现，但我无法理解我的错误 . 我有一个共享队列，我在同一个锁上同步 生产环境 者和消费者 履行 Shared Queue: class SharedQueue{ public static Queue<Integer> queue = new LinkedList<... -
1 votesanswersviews
增加线程数量会使 生产环境 者消费者的问题变得更快吗？
我使用无界链接阻塞队列实现了类似于消费者 - 生产环境 者问题的东西 . 我让 生产环境 者把对象放到队列中，消费者把它拿走 . 当我测试程序时，每次试验的线程数增加一倍，同时仍然处理相同数量的对象，所有试验的时间似乎是不变的 . 这是假设是不变的吗？或更多线程意味着更快的处理？不确定是否是我的代码导致共享资源的缓慢或同步 . 有任何想法吗？