我遇到了pyspark sql模块的问题 . 我创建了一个分区表，并通过在多次转换后运行spark job将其作为镶木地板文件保存到hive表中 .
数据加载成功进入配置单元并且还能够查询数据 . 但是当我尝试从spark查询相同的数据时，它说文件路径不存在 .
java.io.FileNotFoundException：文件hdfs：//dhb2b-dv-cmsn0.cloud.corp.telstra.com:8020 / data / b2b / curated / legacy / idm / bill_details / source_application_code = 15f244ee8f48a2f98539d9d319d49d9c不存在
上述错误中提到的分区是现在甚至不存在的旧分区列数据 .
我已经运行了填充新分区值的spark作业 . 我搜索了解决方案，但我能看到的是人们说火花版本1.4中没有问题，并且1.6中存在问题
有人可以建议我解决这个问题 .