嘿，我在AWS上拥有1个Master和1个Slave Node Standalone Spark Cluster . 我的主目录名为〜/ Notebooks . 这是我启动jupyter笔记本并在浏览器中连接jupyter . 我还有一个名为people.json的文件（简单的json文件） .
我尝试运行此代码
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
conf = SparkConf().setAppName('Practice').setMaster('spark://ip-172-31-2-186:7077')
sc = SparkContext(conf=conf)
sqlContext = SQLContext(sc)
df = sqlContext.read.json("people.json")
当我运行最后一行时，我收到此错误 . 我不知道文件就在那里......有什么想法？ -
Py4JJavaError：调用o238.json时发生错误 . ：org.apache.spark.SparkException：作业因阶段失败而中止：阶段4.0中的任务1失败4次，最近失败：阶段4.0中丢失任务1.3（TID 37，ip-172-31-7-160.us -west-2.compute.internal）：java.io.FileNotFoundException：文件文件：/home/ubuntu/Notebooks/people.json不存在
1 回答
确保该文件在工作节点上可用 . 最好的方法是使用共享文件系统（NFS，HDFS） . 阅读External Datasets documentation