我正在使用Kafka将数据流式传输到Spark Structured Streaming 2.1.1中,并使用writeStream()附加到镶木地板中 . 这很有效 .

我可以在镶木地板文件上创建一个临时表

spark.read.parquet ("/user/markteehan/interval24" ).registerTempTable("interval24")

然而,这仅在同一个火花会话中可见;并且必须重新运行“read.parquet”以收集新数据 . 为writeStream设置“.queryName()”不会在hive Metastore中创建表 .

在镶木地板数据上动态运行SQL的最佳技术是什么?