首页 文章

无法通过pyspark创建spark数据帧

提问于
浏览 次
0

我想使用PySpark创建spark数据帧，为此我在PyCharm中运行了这段代码：

from pyspark.sql import SparkSession
Spark_Session:SparkSession.builder\
.enableHiveSupport()\
.master("local"\
.getOrCreate()

但是，它会返回此错误：

使用Spark的默认log4j配置文件：org / apache / spark / log4j-defaults.properties将默认日志级别设置为“WARN” . 要调整日志记录级别，请使用sc.setLogLevel（newLevel） . 对于SparkR，请使用setLogLevel（newLevel） . 18/01/08 10:17:55 WARN NativeCodeLoader：无法为你的平台加载native-hadoop库...使用builtin-java类适用18/01/08 10:18:14 WARN ObjectStore：无法获取数据库global_temp，返回NoSuchObjectException

我该如何解决这个问题？

windows python-3.x apache-spark pycharm pyspark-sql

1 回答

  • 0

    你在哪里运行这个？是否安装了Hadoop？好像Spark无法找到它： Unable to load native-hadoop library for your platform... using builtin-java classes . 您需要确保提供正确的库 . 在Spark UI中，您可以检查上下文 .

    尝试：

    from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Spark Example") \
    .getOrCreate()

    这应该工作 .

    回复于

相关问题