是否有任何方法可以确保新工作人员在加入群集时获取与upload_file一起发送的python包,就像dask-ml在散布数据时所做的那样:

# Serialize the training data only once to each worker
with parallel_backend('dask', scatter=[digits.data, digits.target]):
    search.fit(digits.data, digits.target)

如果新工作程序在作业运行时加入群集,则不会获得模块和错误 .

我想有一种方法可以处理使用EFS挂载加载R&D模块的问题,这些挂载符号链接到工作者,Jupyter笔记本服务器和调度程序安装的站点包 . 虽然单独使用upload_file的行是很好的 .