有没有办法可以通过附加到 pyspark 中的parquets来刷新正在创建的数据帧？
基本上我在追加模式中写入 parquet ，这是我每天得到的数据 . 如果我想检查创建的 parquet 文件，我会在 pyspark 中加载它并对数据进行计数 . 但是，如果将新数据附加到镶木地板上并且我再次尝试对数据帧进行计数而不重新加载数据帧，则不会获得更新的计数 . 基本上，每当我的镶木地板文件发生任何变化时，我都必须创建一个新的数据框 . Spark中是否有一种方法，一旦我的镶木地板更新后，更改会自动加载？