我正面临着 WebHDFS 的问题。

我的组织在端口 50470 上使用 WebHDFS,它既是“kerberized”又需要 HTTPS。

https://github.com/elastic/logstash/issues/8791中跟踪线程并克服 Kerberos 问题之后,我仍然面临使用带有 HTTPS for WebHDFS 的 Kerberos 身份验证的问题。

我收到以下日志:

[2018-12-10T23:08:27,237] [3] [4] Webhdfs 检查请求失败。 (namenode::50470,异常:无法连接到主机:50470,错误的状态行:“ x15x03x03x00x02x02”)

在网上搜索“\ x15\x03\x03\x00\x02\x02”,似乎 logstash 正在尝试通过 HTTP 而不是 HTTPS 进行通信。但是,我没有看到任何允许通过 HTTPS 进行通信的设置(不是在谈论 use_ssl_authentication,因为我不需要对我的客户端进行身份验证)。

我知道 WebHDFS 工作正常,因为 curl 工作(做完 kinit 之后):curl --negotiate -u : -s -k "https://[hostname]:50470/webhdfs/v1/?op=LISTSTATUS"

我是否可以通过 HTTPS 为 WebHDFS 进行通信?