我在Windows 10 64位VM上运行Spark 2.0 . 我能够运行spark-shell并且可以执行与RDD相关的Scala中的任何方法 . 当我输入以下内容时（我已经验证了toDF方法出现问题）：
val df = Seq(("one",1), ("two", 2), ("three", 3)).toDF("word", "count")
我得到一个以此信息开头的异常：
16/09/09 00:04:10 WARN一般：插件（Bundle）“org.datanucleus.api.jdo”已经注册 . 确保类路径中没有相同插件的多个JAR版本 . URL“file：/ C：/Spark/jars/datanucleus-api-jdo-3.2.6.jar”已经注册，您正在尝试注册位于URL“file：/ C：/ Spark /”的相同插件斌/../瓶/ DataNucleus将-API JDO-3.2.6.jar . ” 16/09/09 00:04:10 WARN一般：插件（Bundle）“org.datanucleus.store.rdbms”已经注册 . 确保类路径中没有相同插件的多个JAR版本 . URL“file：/ C：/Spark/jars/datanucleus-rdbms-3.2.9.jar”已经注册，您正在尝试注册位于URL“file：/ C：/ Spark / bin /”的相同插件../jars/datanucleus-rdbms-3.2.9.jar“ . 16/09/09 00:04:10 WARN一般：插件（Bundle）“org.datanucleus”已经注册 . 确保类路径中没有相同插件的多个JAR版本 . URL“file：/ C：/ Spark / bin /../ jars / datanucleus-core-3.2.10.jar”已经注册，您正在尝试注册位于URL“file：/ C的相同插件： /Spark/jars/datanucleus-core-3.2.10.jar“ . 16/09/09 00:04:13 WARN ObjectStore：无法获取数据库默认值，返回NoSuchObjectException 16/09/09 00:04:13 WARN Hive：无法访问Metastore . 不应在运行时访问此类 . org.apache.hadoop.hive.ql.metadata.HiveException：java.lang.RuntimeException：无法在org.apache.hadoop.hive.ql.metadata.Hive上实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient . .getAllDatabases（Hive.java:1236）org.apache.hadoop.hive.ql.metadata.Hive.reloadFunctions（Hive.java:174）at org.apache.hadoop.hive.ql.metadata.Hive . （Hive . java：166）org.apache.hadoop.hive.ql.session.SessionState.start（SessionState.java:503）at org.apache.spark.sql.hive.client.HiveClientImpl . （HiveClientImpl.scala：171）at at sun.reflect.NativeConstructorAccessorImpl.newInstance0（Native Method）位于sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:62）at sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:45）at java.lang.reflect.Constructor . 的newInstance（Constructor.java:423）...
这是我的环境变量：
-
SPARK_HOME | C：\星火
-
HADOOP_HOME | C：\星火
-
JAVA_HOME | C：\ Program Files \ Java \ jdk1.8.0_101
我在C：\ Spark \ bin文件夹中有winutils.exe
作为附加信息，当我执行spark-shell命令时，我注意到这个陈述，但是我的研究表明它并不重要 .
16/09/09 00:36:32 WARN NativeCodeLoader：无法为您的平台加载native-hadoop库...使用适用的builtin-java类