我正在使用Spark Cassandra Connector使用Spark Thrift服务器在Cassandra数据库上启用SQL查询 . 除SQL查询外，大多数SQL查询都适用于带有PushBack过滤器的Cassandra Partition Key . 如果我按下面的方式点击此查询，我看不到按下过滤器到Cassandra .

带有 IN 子句的示例 SQL SELECT 查询如下：

SELECT * from playlists where playerId=1 and song_id in (select songId from songlists and release_date=cast('2018-06-12' as date));

当我在Spark Thrift服务器上运行此SQL查询时，它在日志中没有显示回推过滤器，如下所示 -

C *过滤器：[]

表格架构：

CREATE TABLE playlists (
  playerId int,
  song_id int,
  title text,
  album text,
  artist text,
  release_date date,
  PRIMARY KEY  ((playerId, song_id),release_date));

CREATE TABLE songlists (
  songId int,
  release_date date
  PRIMARY KEY  (songId,release_date));

想要检查是否有任何方法可以将此过滤器推送到Spark Cassandra Connector中的Cassandra . 这是否需要自定义催化剂规则？我在哪里可以找到此类用例的示例规则？

apache-spark apache-spark-sql spark-cassandra-connector