我启动了Dataproc集群，在端口4040上使用Web UI时出现问题 . 首先，我展示了spark-shell显示的IP和端口 . 然后，当我在Spark UI端口上输入URL时，我会显示302错误代码 .
wilsonbill522 @ cluster-db78-m：〜$ spark-shell将默认日志级别设置为“WARN” . 要调整日志记录级别，请使用sc.setLogLevel（newLevel） . 对于SparkR，请使用setLogLevel（newLevel） . 在HIVE_HOME或HIVE_CONF_DIR中找不到ivysettings.xml文件，/ etc / hive / conf.dist / ivysettings.xml将在http://10.128.0.2:4040上使用Spark上下文Web UI
使用wget到端口4040，我获得了除了“jobs”URL之外的每个URL的HTTP代码302的响应，例如：
wget http://10.128.0.2:4040/proxy/application_1505052986245_0002/static/timeline-view.js
不幸的是我无法发布输出，因为stackoverflow决定我发布链接 . 但上述命令的结果是HTTP 302响应代码 .
上述wget在不同ssh会话中的主节点上执行 . 302响应重定向到“作业”URL（我不能在这里拼出实际的URL，因为它会在链接上触发一些限制stackoverflow位置），这没有任何意义 .
1 回答
看起来Spark Web UI将所有URL格式化为相对于YARN资源管理器代理，但是对于它的某些部分显示使用了错误的主机/端口（具体是spark-shell输出中显示的内容） . 我猜这是在YARN客户端模式下运行的工件，但还不确定 .
如Dennis Huo所提到的，您可以通过端口8088上的YARN RM代理访问重定向的URL .