-
0 votesanswersviews
使用wait（）和notify（）控制线程
(Problem solved, solution below)我有2个班：装备和指挥 . 装备是运行命令的设备，但我需要它能够同时运行1个命令 . 命令是一个在run（）函数上执行的线程，而Equip是一个不扩展任何东西的普通类 . 目前我有以下设置来运行命令： 命令类： @Override public void run() { boolean execute = equip.queu... -
121 votesanswersviews
Java执行程序：如何在任务完成时通知而不阻塞？
假设我有一个完整的任务队列，我需要提交给执行者服务 . 我希望他们一次处理一个 . 我能想到的最简单的方法是： 从队列中获取任务 将其提交给遗嘱执行人 在返回的Future上调用.get并阻塞，直到结果可用 从队列中取出另一个任务...... 但是，我试图完全避免阻塞 . 如果我有10,000个这样的队列，需要一次处理一个任务，我将耗尽堆栈空间，因为它们中的大多数将保持被阻塞的... -
121 votesanswersviews
Java执行程序：如何在任务完成时通知而不阻塞？
假设我有一个完整的任务队列，我需要提交给执行者服务 . 我希望他们一次处理一个 . 我能想到的最简单的方法是： 从队列中获取任务 将其提交给遗嘱执行人 在返回的Future上调用.get并阻塞，直到结果可用 从队列中取出另一个任务...... 但是，我试图完全避免阻塞 . 如果我有10,000个这样的队列，需要一次处理一个任务，我将耗尽堆栈空间，因为它们中的大多数将保持被阻塞的... -
2 votesanswersviews
ThreadPool对Executor来说就像Polling一样？
Java的Executor（据我所知）是对ThreadPool概念的抽象 - 可以接受和执行（执行）任务的东西 . 我正在为Polling概念寻找类似的例外 . 我需要不断地从特定的队列（没有实现 BlockingQueue ）中轮询（出列）项目，执行它们并休眠，并重复所有这些直到关闭 . 是否有现成的抽象或我应该自己写点什么？ （欢迎提出更好 Headers 的建议） -
2 votesanswersviews
YARN上的Spark：比通过spark-submit设置更少的执行程序内存
我在YARN集群（HDP 2.4）中使用Spark，具有以下设置： 1 Masternode 64 GB RAM（可用48 GB） 12个核心（可用8个核心） 5 Slavenodes 64 GB RAM（可用48 GB）每个 12个核心（可用8个核心） YARN设置 所有容器（一个主机）的内存：48 GB 最小容器大小=最大容器大小= 6 GB集群中的 v... -
0 votesanswersviews
ExecutorService.invokeAll并关闭
所以我有一些Callable任务， sensitive to interruptions ，我使用invokeAll提交给ExecutorService . 从另一个方法开始5秒后，我调用executorService.shutdownNow，然后调用awaitTermination，返回true，所以看起来都很好 . 问题是执行者永远不会终止 . Due to logging I know th... -
2 votesanswersviews
当ExecutorService上的所有任务完成或取消时，为什么awaitTermination无法可靠地返回
我是我的代码我将一些任务提交给ExecutorService，然后等待它们使用shutdown（）和awaitTermination（）完成 . 但是，如果任何一个任务花费的时间超过一定时间，我希望它在不影响其他任务的情况下取消 . 我使用ExecutorService that interrupts tasks after a timeout中的代码修改代码如下： package com.jth... -
0 votesanswersviews
Java执行程序不按顺序执行
如果这是一个基本问题，我提前道歉，但我是新材料 . 我有一个软件是由用户通过网站提交工作开始的 . 因为软件本身就是为了利用并行处理而设计的，所以我想要做的就是排队这些工作，这样他们就可以一个接一个地开始工作 . 为此，我试图利用Java内置的Executor框架 . 我开发的代码是： public JobManager() { mcpExecutor = Executors.newSin... -
1 votesanswersviews
当火花在客户端模式下任务数量太大时，容器无法启动
我在运行一些复杂的sql语句的hive上测试spark-sql . 当我的最大工作数太大时，在我的情况下超过70000，应用程序将停留一段时间，然后抛出以下错误消息： 6/07/06 17:53:20 WARN YarnSchedulerBackend $ YarnSchedulerEndpoint：标记为失败的容器：container_1466092136376_0229_01_000002在... -
5 votesanswersviews
如何在Java的ExecutorService中检索和处理异常
我试图找出一种方法来处理多线程设置中的异常 . 我想并行执行某些任务，每个任务都可能抛出一个我需要做出反应的异常（基本上，通过将失败的任务放回执行队列） . 但是，实际上从线程中获取异常的唯一方法是创建Future并调用其get（）方法 . 但是，这实际上将调用转换为同步调用 . 也许一些代码会说明这一点： ExecutorService executor = Executors.newFixed... -
0 votesanswersviews
Spark日志 - 使用的最大执行程序内存
我在晚上运行一系列spark-submit作业作为AWS / EMR集群上的步骤 . 完成后，火花簇将被拆除，但是日志会保存到S3 . 我想我还没有完全利用执行程序内存，我可以减少核心实例的大小或数量，但我想要聪明地做 . 基本上我想了解如何导航日志，以便找到最坏情况执行者使用的最大内存 . 理想情况下，我希望找到每个“步骤”（基本上每个spark-submit作业），但“步骤”日志中没有任何用处... -
2 votesanswersviews
火花 Actuator 记忆减少到1/2
我正在做一个像spark这样的spark-submit --class com.mine.myclass --master yarn-cluster --num-executors 3 --executor-memory 4G spark-examples_2.10-1.0.jar 在web ui中，我确实可以看到有3个 Actuator 节点，但每个节点都有2G内存 . 当我设置--execut... -
1 votesanswersviews
Spark Standalone 1.6 - 在AWS上为每个工作人员分配更多执行程序，但为所有群集分配更多内存
我在spark-env.sh中的spark独立集群中设置了以下配置 SPARK_WORKER_CORES = 15 SPARK_WORKER_INSTANCES = 10 在3个节点（3个工作者）1个主m4.4xlarge亚马逊ec2实例 . 我按照下面的步骤进行了操作 https://stackoverflow.com/questions/29955133/how-to-allocate-m... -
13 votesanswersviews
火花执行者失败了
我正在使用databricks spark cluster（AWS），并测试我的scala实验 . 使用LogisticRegressionWithLBFGS算法训练10 GB数据时遇到了一些问题 . 我遇到问题的代码块如下： import org.apache.spark.mllib.classification.LogisticRegressionWithLBFGS val algorithm... -
3 votesanswersviews
实施 生产环境 者消费模式
我正在尝试编写一个邮件实用程序，将邮件放在队列中，然后由消费者线程使用 . 我正在尝试实现典型的 生产环境 者 - 消费者模式，但出现了问题 . 我刚刚写了一个骨架，骨架没有按预期工作 . MailProducer.java public class MailProducer implements Callable<Void> { @Override public Void cal...