首页 文章

HDFS datanode不是以kerberos开头的

提问于
浏览 次
2

在Windows 8中使用kerberos配置HDFS .

Namenode成功登录并启动 . Datanode没有启动但登录成功 .

Exception

14/12/10 17:51:55 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/12/10 17:52:00 INFO security.UserGroupInformation: Login successful for user kumar@KUMAR.COM using keytab file C:\kumar.keytab
14/12/10 17:52:00 INFO impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
14/12/10 17:52:00 INFO impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s).
14/12/10 17:52:00 INFO impl.MetricsSystemImpl: DataNode metrics system started
14/12/10 17:52:05 INFO datanode.DataNode: Configured hostname is hostname.WORKGROUP
14/12/10 17:52:05 FATAL datanode.DataNode: Exception in secureMainjava.lang.RuntimeException: Cannot start secure cluster without privileged resources.        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:737)

看link特别是下面的内容 . 我需要设置JSVC_HOME . 怎么设置？我在哪里可以获得JSVC包 . 我需要解决方案来解决这个问题 .

Secure DataNode

由于DataNode的数据传输协议不使用Hadoop的RPC框架，因此DataNode必须使用由dfs.datanode.address和dfs.datanode.http.address指定的特权端口对自身进行身份验证 . 此身份验证基于以下假设：攻击者无法获得root权限 .

以root身份执行hdfs datanode命令时，服务器进程首先绑定特权端口，然后删除特权并以HADOOP_SECURE_DN_USER指定的用户帐户运行 . 此启动过程使用安装到JSVC_HOME的jsvc . 您必须在启动时将HADOOP_SECURE_DN_USER和JSVC_HOME指定为环境变量（在hadoop-env.sh中） .

security hadoop kerberos

1 回答

  • 4

    似乎JSVC软件包不适用于Windows . 花了很长时间后，我找到了解决这个问题的方法 . 我们可以使用SASL而不是使用JSVC .

    Hadoop-2.6.0支持SASL验证数据传输协议 . 请参阅文档：Secure Datanode .

    引用该链接：

    从2.6.0版开始，SASL可用于验证数据传输协议 . 在此配置中，安全集群不再需要使用jsvc以root身份启动DataNode并绑定到特权端口 . 要在数据传输协议上启用SASL，请在hdfs-site.xml中设置dfs.data.transfer.protection，为dfs.datanode.address设置非特权端口，将dfs.http.policy设置为HTTPS_ONLY并确保HADOOP_SECURE_DN_USER环境变量未定义 . 请注意，如果将dfs.datanode.address设置为特权端口，则无法在数据传输协议上使用SASL . 出于向后兼容性原因，这是必需的 .

    回复于

相关问题