首页 文章

Spring Boot YARN如何部署到Hadoop

提问于
浏览 次
1

我正在尝试运行Spring Boot YARN示例（Windows上为https://spring.io/guides/gs/yarn-basic/） . 但是示例使用本地hadoop . 在application.yml中，我将fsUri和resourceManagerHost更改为指向我的VM的主机192.168 ....

但它不起作用 . 当我将 jar 移动到VM并运行时 - 它可以工作 . 但我想从我的主机上运行另一个节点（在我的情况下是VM） .

还有一个问题：对于另一个真正的Hadoop YARN，而不是针对本地的应用程序，运行我的应用程序的正确方法是什么？

我搜索，阅读，观看了很多信息，但没有关于部署的明确解释 .

java spring hadoop spring-boot yarn

2 回答

  • 1

    问题中提供的教程链接适用于 single node cluster ，其中 Namenode ， Resourcemanager ， ApplicationManager ， datanode ， Nodemanager 和所有其他 YARN nodes 在同一台本地计算机上运行 . 地址 localhost:8020 在这种情况下有效 .

    但是当你提到意图是制作 cluster 时，你必须确保只有一个 namenode 和 resourcemanager .

    如果在 configuration files 中定义 localhost ，那么 cluster 中的每个节点都将 namenode 和 resourcemanager 和 hadoop 对报告和更新查询感到困惑 . 从而造成了暧昧的局面 .

    解决方案是只定义一个 namenode 和 resourcemanager ，这可以通过在配置文件中指定 IP 的 IP 或 hostname 来完成 .

    回复于
  • 1

    只需要正确配置Hadoop，在我的情况下它已在this帖子中修复 .

    回复于

相关问题