首页 文章

如何设置cassandra和spark

提问于
浏览
1

我的目标是在同一个Cassandra节点上运行Spark worker,并为Spark master提供一个单独的节点 .

现在,我正在尝试Datastax . 在安装Cassandra datastax期间,我可以选择3种不同的节点类型 - Cassandra,搜索和分析 .

在我的3节点集群上,我应该选择2个节点上的事务节点类型和1个节点类型进行分析(Spark master)吗?如何在Cassandra节点上启用Spark工作程序?

感谢MarcintheCloud回答:

请记住,当DSE在分析模式下运行时,Cassandra仍在运行 . 您仍然可以像平常一样为Cassandra交易提供服务 .

1 回答

  • 3

    您将要以“分析”模式运行所有这些节点(特别是运行Spark) .

    您可以通过在dse默认文件中设置Spark标志(如果使用rpm)或使用-k参数(tarball)启动dse来查看:http://docs.datastax.com/en/datastax_enterprise/4.7/datastax_enterprise/spark/sparkStart.html

    如果您没有明确指定主服务器,DSE将自动为您选择主服务器 . Spark工作进程也将在所有节点上自动启动 .

    编辑:请记住,当DSE在分析模式下运行时,Cassandra仍在运行 . 您仍然可以像平常一样为Cassandra交易提供服务 .

    如果您有任何其他问题,请告诉我!

相关问题