-
6 votesanswersviews
使用Dispatcher的Spark Mesos集群模式
我只有一台机器,并希望使用mesos集群模式运行spark作业 . 使用节点集群运行可能更有意义,但我主要想首先测试mesos以检查它是否能够更有效地利用资源(同时运行多个spark作业而不进行静态分区) . 我尝试了很多方法但没有成功 . 这是我做的: 构建mesos并运行mesos主站和从站(同一台机器中的2个从站) . sudo ./bin/mesos-master.sh --ip=12... -
4 votesanswersviews
为什么向Mesos提交Spark应用程序失败并显示“无法解析主URL:'mesos://localhost:5050'”?
当我尝试将Spark应用程序提交到Mesos集群时,我收到以下异常: 17/01/31 17:04:21 WARN NativeCodeLoader:无法为您的平台加载native-hadoop库...在适用的情况下使用builtin-java类17/01/31 17:04:22错误SparkContext:初始化SparkContext时出错 . org.apache.spark.Spark... -
6 votesanswersviews
了解mesos上的spark作业的资源分配
我正在开发一个Spark项目,最近从使用Spark Standalone转向Mesos进行集群管理 . 我现在发现自己在如何在新系统下提交作业时分配资源时感到困惑 . 在独立模式下,我使用的是这样的东西(遵循this Cloudera blog post的一些建议: /opt/spark/bin/spark-submit --executor-memory 16G --executor-cores... -
0 votesanswersviews
在从站上添加容器设置后无法启动mesos-slave
我想通过marathon在mesos集群上运行docker容器,所以我在mesos-slave containerizers配置中使用下面的命令添加了docker . echo 'docker,mesos' > /etc/mesos-slave/containerizers 改变mesos-slave后它没有启动 . 我收到了错误 Docker版本不足!重启时请在slave日志中升级到&... -
3 votesanswersviews
Spark Mesos集群模式,谁上传jar?
我正在尝试使用Mesos集群模式运行Spark应用程序 . (我有客户端模式工作,但仍想尝试集群模式) 我在Mesos主节点上启动了 spark-mesos-dispatcher . 当我使用以下命令在本地路径 /tmp/assembly.jar 提交程序集时, bin/spark-submit --master mesos://dispatcher:7077 --deploy-mode cl... -
0 votesanswersviews
DC / OS自动扩展AWS EC2实例
我是DCOS和EC2自动扩展的新手,作为项目执行某些POC的一部分,并在以下链接中提出相同的问题 Autoscaling DC/OS agents on AWS 除了设置aws自动缩放组之外,有没有更好的方法Mesos可以将EC2实例配置为私有代理? -
1 votesanswersviews
如何启用Spark mesos docker executor?
我正在研究Mesos和Spark之间的集成 . 现在,我可以在docker中启动SlaveMesosDispatcher;我也喜欢在Mesos docker中运行Spark Actuator . 我为它做了以下配置,但是我收到了一个错误;有什么建议吗? 组态: Spark:conf / spark-defaults.conf spark.mesos.executor.docker.image ... -
0 votesanswersviews
执行者可以在spark中共享核心吗?
在配置spark作业时,我有时会看到人们建议每个执行程序的核心数大于核心总数除以执行程序数 . 值得注意的是,在这个example中,@ 0x0FFF建议如下: --num-executors 4 --executor-memory 12g --executor-cores 4 如果我们计算 Actuator 核心的总数,我们得到 4 cores per executor * 4 execu... -
0 votesanswersviews
尝试使用mesos监视kvm / qemu虚拟机的资源使用情况
我目前正在部署带有mesos / marathon的kvm / qemu虚拟机 . 在马拉松中,我使用内置的mesos命令执行程序并运行脚本 . virsh start centos7.0; while true; do echo 'centos 7.0 guest is running'; sleep 5; done 请注意,while循环仅用于保持任务运行 . 我的问题是我无法使用mesos... -
4 votesanswersviews
如何从DCOS Kafka删除主题?
我们通过DCOS运行Kafka . 我们有一个似乎有一些不良数据的话题 . 我想删除该主题 . 尝试运行:kafka-topics.sh --zookeeper --delete --topic 这说它已经标记了要删除的主题,但除非“delete.topic.enable = true”,否则它将无效 . 尝试使用以下每个代理设置: dcos kafka broker update 1 --opt... -
6 votesanswersviews
如何在Spark on Mesos上修复“Protomuf中的协议消息,因为它太大了”?
我通过Scala代码运行Spark 1.5.1并调用ALS训练方法(mllib) . 我的代码使用MESOS执行程序 . 由于数据很大,我收到以下错误: 15/11/03 12:53:45 INFO TaskSetManager:在阶段0.0中启动任务7.0(TID 7 ,, PROCESS_LOCAL,128730328字节)[libprotobuf错误google / protobuf / ... -
0 votesanswersviews
Kafka使用者无法找到主题为Set and Fetching的主题元数据,其主题元素为4,主题失败
所以我在单个kafka 0.8.2.0代理和运行在mesos中的java消费者时遇到此错误 . 我不得不说它曾经工作过,而AFAIK没有任何改变 . 消费者在mesos中运行时出现以下错误: 16/03/17 05:44:23 WARN ConsumerFetcherManager$LeaderFinderThread: [alertConsumer_secasprddb01-1-14581934... -
4 votesanswersviews
在Mesos上运行的Kafka消费者“无法添加分区的领导者”错误
我正在使用mesos/kafka库运行一个由6个代理组成的Kafka集群 . 我能够在6个不同的机器上添加和启动代理,并使用Python SimpleProducer和kafka-console-producer.sh脚本将消息发布到集群中 . 但是我无法使消费者正常工作 . 我正在运行以下使用者命令: bin/kafka-console-consumer.sh --zookeeper 192.1... -
1 votesanswersviews
Mesos Jenkins Framework注册但Jenkins Slaves离线
一直在努力让这个工作挣扎了好几天 . 我有一个工作的Jenkins Master在Marathon&mesos插件1 Mesos Master上运行,有6个Slave 当我使用mesos Cloud 运行我的Jobs时,我可以看到框架已经注册了优秀的优惠,但我的Jenkins Slaves永远不会上线 . 通过以下方式之一将代理连接到Jenkins:启动代理从浏览器启动代理从代理命令行运行:ja... -
0 votesanswersviews
jenkinci / mesos-plugin无法自动将jenkins slave连接到jenkins master
我按照安装指南,我仍然遇到 issues getting jenkins slaves to connect to the master . 我的mesos奴隶都有一个 jenkins 用户 . 使用UID 1000 JAVA_HOME 也进入了mesos slave路径 . 版本: mesos: 1.2.0-2.0.6 马拉松: 1.4.3-1.0.649.ubuntu1604 ...