我最近能够使用本机64位支持构建Apache Hadoop 2.5.1 . 所以，我摆脱了烦人的本机库警告 .
我正在尝试配置Apache Spark . 当我启动spark-shell时，会出现相同的警告：
14/09/14 18:48:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
一些技巧：
我不得不下载一个预先构建的2.4版本的Spark，因为仍然没有配置Maven的Hadoop 2.5的配置文件 .
spark-env.sh中添加了以下导出：
export HADOOP_CONF_DIR=/opt/hadoop-2.5.1/etc/hadoop
export SPARK_LIBRARY_PATH=/opt/hadoop-2.5.1/lib/native
没有使用spark-shell和spark-submit . 我的Hadoop本地安装配置为伪分布式（ResourceManager YARN支持） .
1 回答
您应该将
HADOOP_HOME/lib/native添加到LD_LIBRARY_PATH：