Spark和scala仅扫描过滤后的数据

让我以简单的方式说明我使用spark从Cassandra表中读取并做一些选择并写入另一个Cassandra表但是写入另一个Cassandra表,为我拍摄了近15分钟的150万条记录,我该如何微调它 .

我正在尝试扫描Cassandra的过滤数据,因为我正在使用它

Spark.read.format( “org.apache.spark.sql.cassandra”) . 选项(密钥空间,表).load() . 过滤器(时间)

它读取过滤数据或扫描完整数据和过滤器

回答(0)