在Cassandra上启用与同一节点上的Spark-Java 学习之路

我试图测试Spark，所以我可以总结一下我在Cassandra的一些数据 . 我已经浏览了所有的DataStax教程，他们对于如何实际启用spark非常模糊 . 我能找到的唯一指示是，在安装期间选择“Analytics”节点时会自动启用它 . 但是，我有一个现有的Cassandra节点，我不想使用不同的机器进行测试，因为我只评估笔记本电脑上的所有内容 .

Is it possible to just enable Spark on the same node and deal with any performance implications? If so how can I enable it so that it can be tested?

我在那里看到Spark的文件夹（虽然我并不肯定所有文件都存在）但是当我检查它是否设置为Spark master时，它表示没有启用任何spark节点 .

dsetool sparkmaster

我正在使用Linux Ubuntu Mint .

我有大量的数据，但我想避免为托管多台机器而付费（至少在测试时是这样） .

2 回答

3
是的，即使Spark不在所有节点上，它也能够与群集进行交互 .

包安装
```
Edit the /etc/default/dse file, and then edit the appropriate line 
to this file, depending on the type of node you want:
...

Spark nodes:
SPARK_ENABLED=1
HADOOP_ENABLED=0
SOLR_ENABLED=0
```
然后重新启动DSE服务

http://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/reference/refDseServ.html

焦油安装

在节点上停止DSE并使用以下命令重新启动它
```
From the install directory:
...
Spark only node: $ bin/dse cassandra -k - Starts Spark trackers on a cluster of Analytics nodes.
```
http://docs.datastax.com/en/datastax_enterprise/4.5/datastax_enterprise/reference/refDseStandalone.html
回复于 2024-04-27T17:28:09+08:00
0

使用以下命令更改 SPARK_ENABLED=1 启用spark： sudo nano /usr/share/dse/resources/dse/conf/dse.default

回复于 2024-04-27T17:28:09+08:00

在Cassandra上启用与同一节点上的Spark

2 回答

包安装

焦油安装

相关问题