我正在尝试利用Hadoop Spark Cluster,使用SparkGraphComputer和BulkLoaderVertex程序将图形批量加载到Titan中,如here所示 . 这需要在属性文件中设置spark配置,告诉Titan Spark所在的位置,从哪里读取图形输入,在哪里存储其输出等 .

问题是所有示例似乎都通过选项指定了本地spark集合:

spark.master=local[*]

但是,我希望在远程Spark集群上运行此作业,该集群与托管titan实例的VM位于同一VNet上 . 从我所看到的,似乎这可以通过设置来完成

spark.master=<spark_master_IP>:7077

这给了我一个错误,即所有Spark主人都没有响应,这使我无法将作业发送到spark集群以分发批量加载计算 .

作为参考,我使用的是Titan 1.0.0和Spark 1.6.4集群,它们都托管在同一个VNet上 . Spark正在由纱线管理,这也可能导致这种困难 .

任何形式的帮助/参考将不胜感激 . 我确信我拥有正确的火花高手IP,并且我使用正确的gremlin命令通过SparkGraphComputer完成批量加载 . 我不确定的是如何正确配置Hadoop属性文件,以使Titan通过VNet与远程Spark集群通信 .