我在PySpark中使用训练有素的Keras模型时遇到了麻烦 . 使用以下版本的库：
tensorflow==1.1.0
h5py==2.7.0
keras==2.0.4
另外，我使用Spark 2.4.0 .
from pyspark.sql import SparkSession
import pyspark.sql.functions as func
from keras.models import load_model
spark = SparkSession \
.builder \
.appName("Test") \
.master("local[2]") \
.getOrCreate()
my_model = load_model("my_model.h5")
spark.sparkContext.addFile("my_model.h5")
my_model_bcast = spark.sparkContext.broadcast(my_model)
# ...
get_prediction_udf = func.udf(get_prediction, IntegerType())
ds = ds\
.withColumn("predicted_value", get_prediction_udf(my_model_bcast,
func.col("col1"),
func.col("col2"))))
函数 get_prediction 如下所示（简化代码）：
def get_prediction(my_model_bcast, col1, col2):
cur_state = np.array([col1,col2])
state = cur_state.reshape(1,2)
ynew = my_model_bcast.predict(state)
return np.argmax(ynew[0])
行 my_model_bcast = spark.sparkContext.broadcast(my_model) 触发以下错误：
File "/usr/local/spark-2.4.0-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/broadcast.py", line 110, in dump
pickle.dump(value, f, 2)
TypeError: can't pickle _thread.lock objects
我正在阅读类似的线程以找到解决方案 . 据我了解， keras 不支持应用 pickle . 但在这种情况下，如何使用经过训练的模型在PySpark中进行预测？
1 回答
似乎不可能序列化keras模型，所以可能只是分发文件并作为火花文件？那么在你的函数内（你希望模型作为输入）你可以从该路径读取文件并在其中创建模型吗？