Spark - 如何在 生产环境 中使用经过培训的推荐模型？

4 回答

• 2

  首先，您从Mahout引用的“模型”不是模型，而是预先计算的推荐列表 . 您也可以使用Spark执行此操作，并为用户计算批量建议，并将其保留在您喜欢的任何位置 . 这与序列化模型无关 . 如果您不想进行实时更新或评分，您可以停在那里，就像使用Mahout一样只使用Spark批处理 .

  但我同意在很多情况下你确实希望将模型运送到其他地方并提供服务 . 如您所见，Spark中的其他模型是 Serializable ，但不是MatrixFactorizationModel . （是的，即使它是序列化的 . ）同样，有一个名为PMML的预测模型的标准序列化，但它不包含因式矩阵模型的词汇表 .

  原因实际上是一样的 . 尽管许多预测模型（如SVM或逻辑回归模型）只是一小组系数，但是因式矩阵模型非常庞大，包含两个可能具有数十亿个元素的矩阵 . 这就是为什么我认为PMML没有任何合理的编码 .

  同样，在Spark中，这意味着实际的矩阵是 RDD s，无法直接序列化 . 您可以将这些RDD保存到存储中，使用Spark在其他地方重新读取它们，然后手动重新创建 MatrixFactorizationModel .

  但是，您无法使用Spark提供或更新模型 . 为此，您实际上正在编写一些代码来执行更新并动态计算建议 .

  我不介意在这里建议Oryx项目，因为它的目的是管理这方面，特别是对于ALS建议 . 实际上，Oryx 2项目基于Spark，虽然在alpha中，已经包含了序列化和提供 MatrixFactorizationModel 输出的完整管道 . 我不知道它是否符合您的需求，但至少可能是一个有趣的参考点 .

  回复于 2024-04-30T14:57:41+08:00
• 0

  使用Spark创建recs的另一种方法是搜索引擎方法 . 这基本上是Solr或Elasticsearch提供的共同推荐人 . 将因子分解与同时发生的比较超出了这个问题，因此我将仅描述后者 .

  您将交互（user-id，item-id）提供给Mahout的 spark-itemsimilarity . 这将为交互数据中显示的每个项目生成类似项目的列表 . 默认情况下它将作为csv出现，因此可以存储在任何地方 . 但它需要由搜索引擎索引 .

  在任何情况下，当您想要获取recs时，使用用户的历史记录作为查询，您将获得一个有序的项目列表作为recs .

  此方法的一个好处是可以根据需要为多个用户操作计算指标 . 可以使用用户采取的与您要推荐的内容相关的任何操作 . 例如，如果您想推荐购买，但也记录产品视图 . 如果您将产品视图视为与购买相同，那么您可能会得到更糟糕的回复（我已经尝试过了） . 但是，如果您计算购买指标和产品视图的另一个（实际上是交叉共生）指标，则它们同样可以预测购买 . 这具有增加用于recs的数据的效果 . 可以使用用户位置完成相同类型的操作，以将位置信息混合到购买记录中 .

  您还可以根据上下文偏向您的rec . 如果您在目录的“电子”部分，您可能希望recs偏向于电子产品 . 根据项目的“类别”元数据字段向查询添加电子设备，并在查询中提升它，并且您有偏见的recs .

  由于指标的所有偏差和混合都发生在查询中，因此recs引擎可以轻松调整到多个上下文，同时只保留一个通过搜索引擎进行的多字段查询 . 我们从Solr或Elasticsearch获得可扩展性 .

  两者的另一个好处分解或搜索方法是全新的用户和新的历史记录可用于创建recs，其中旧的Mahout推荐者只能向用户推荐并且在作业运行时已知的交互 .

  这里的描述：

  • Mahout docs

  • Slides

  • Mahout on Spark: What’s New in Recommenders, part 1

  • Mahout on Spark: What’s New in Recommenders, part 2

  • Practical Machine Learning ebook

  回复于 2024-04-30T14:57:41+08:00
• 0

  你应该在一个简化的RDD（一组用户，产品）对上运行model.predictAll（），就像在Mahout Hadoop Job中一样，并存储结果用于在线使用......

  https://github.com/apache/mahout/blob/master/mrlegacy/src/main/java/org/apache/mahout/cf/taste/hadoop/item/RecommenderJob.java

  回复于 2024-04-30T14:57:41+08:00
• 9

  您可以使用函数 .save(sparkContext, outputFolder) 将模型保存到您选择的文件夹中 . 在实时提供建议时，您只需使用 MatrixFactorizationModel.load(sparkContext, modelFolder) 函数将其作为MatrixFactorizationModel对象加载 .

  问题 @Sean Owen ：MatrixFactorizationObject不包含分解矩阵：用户特征和项目特征矩阵而不是建议/预测评级 .

  回复于 2024-04-30T14:57:41+08:00