-
7 votesanswersviews
生产环境 者消费者 - 使用Executors.newFixedThreadPool
我对 生产环境 者 - 消费者模式的理解是，它可以使用 生产环境 者和消费者之间共享的队列来实现 . 生产环境 者将工作提交给共享队列，消费者检索它并处理它 . 它也可以由 生产环境 者直接提交给消费者来实现（ 生产环境 者线程直接提交给消费者的执行者服务） . 现在，我一直在查看Executors类，它提供了一些线程池的常见实现 . 根据规范，newFixedThreadPool方法“重用固定... -
1 votesanswersviews
newSingleThreadExecutor和使用ThreadFactory时的顺序
我试图了解一些关于 newSingleThreadExecutor 的内容 - 如果没有提到 ThreadFactory ，下面会说如何顺序执行任务 . public static ExecutorService newSingleThreadExecutor() 创建一个Executor，它使用一个在无界队列中运行的工作线程 . （但请注意，如果此单个线程由于在关闭之前执行期间的故障而终止，... -
2 votesanswersviews
Apache Spark：设置执行程序实例
我使用参数在YARN上运行我的Spark应用程序： 在spark-defaults.conf中： spark.master yarn-client spark.driver.cores 1 spark.driver.memory 1g spark.executor.instances 6 spark.executor.memory 1g 在yarn-site.xml中： yarn.nodeman... -
4 votesanswersviews
Spark：Executor Lost Failure（添加groupBy作业后）
我正在尝试在Yarn客户端上运行Spark工作 . 我有两个节点，每个节点都有以下配置 . 我得到“ExecutorLostFailure（遗失执行人1）” . 我已经尝试了大部分Spark调优配置 . 我已经减少了一个执行者丢失，因为最初我有6个 Actuator 失败 . 这些是我的配置（我的spark-submit）： HADOOP_USER_NAME = hdfs spark-subm... -
1 votesanswersviews
Executors中的数据结构
我们可以在定义ThreadPoolExecutors时提供BlockingQueue实现 . 但是，如果我使用工厂（Executors）创建一个如下所示的线程池，我想知道使用哪个阻塞队列 . 我猜这是一个LinkedBlockingQueue . 该文档讨论了无界队列，但它没有揭示实现 . ExectorService service = Executors.newSingleThreadExec...