首页 文章

Spark工作在两个不同的HDFS环境中工作

提问于
浏览
0

我有一个要求,我需要编写一个spark作业来连接Prod(Source-Hive)Server A并将数据导入Local(Temp hive服务器)进行转换并将其加载回TargetProd(Server B)

在早期的情况下,我们将目标数据库作为Oracle,因此我们使用如下所示,这将覆盖表

AAA.write.format(“jdbc”) . option(“url”,“jdbc:oracle:thin:@ // uuuuuuu:0000 / gsahgjj.yyy.com”) . option(“dbtable”,“TeST.try_hty”) ).option(“user”,“aaaaa”) . option(“password”,“dsfdss”) . option(“Truncate”,“true”) . mode(“Overwrite”) . save() .

就从服务器A到B的SPARK覆盖而言,我们需要提供什么语法 .

当我尝试通过jdbc从一个配置单元(ServerA)到服务器B Build 连接时 . 它无法工作..请帮忙 .

1 回答

  • 0

    如果它是远程的,你可以使用jdbc连接到hive . 请获取您的hive thrift服务器URL和端口详细信息,并通过jdbc连接 . 它应该工作 .

相关问题