我有两百万个文件要在我们的集群上读取，当我提交作业来操作这些数据时，我们在“事件时间轴”上看到，在集群上添加Executor到“runJob”进程之间存在差距 .
差距大约是30-40分钟，同时事件时间表没有显示“runJob”进程，集群也没有创建任务阶段 .
问题是，有没有人知道事件时间表或阶段创建之前的过程是什么？我该如何识别“隐藏”过程 .
我猜这些进程正在读取2百万个数据文件的元数据，但我找不到明确显示该进程的日志 .
群集详细信息：
-
15名 Worker ，1名硕士
-
16核心cpu / worker
-
60 GB RAM /工作人员
-
45执行人，5核/执行人，3 GB /执行人