-
1 votes1 answers203 views
PySpark 是否会调用 Java api，而 Java api 又会在 Apache Spark 中调用 scala api？
我试图了解 Apache PySpark 的工作方式。视频：Spark Python API-Josh Rosen 说 Python API 是 Java API 的包装。在内部它调用 Java 方法。查看时间戳记 6.41 http... -
-1 votes1 answers5766 views
pyspark vs python vs numpy 的理解？ [1]
我在理解 pyspark，spark 和 python 之间的关系时遇到了麻烦。我试图阅读有关操作系统的内容，但仍然有些困惑。 所以我搜索的是： Pyspark 是 spark 的 python 外壳。 Spark 是一个计算引擎，可... -
1 votes1 answers1735 views
运行独立 pyspark 时出现 Windows 错误
我正在尝试在 Anaconda 中导入 pyspark 并运行示例代码。但是，每当我尝试在 Anaconda 中运行代码时，都会收到以下错误消息。 尝试连接到 Java 服务器时发生 ERROR:py4j.java_gateway:A... -
3 votes0 answers928 views
pyspark 中的稀疏向量 RDD
我已经使用 mllib 中的功能通过 Python/Pyspark 实现了此处介绍的 TF-IDF 方法： https://spark.apache.org/docs/1.3.0/mllib-feature-extraction.ht... -
2 votes2 answers863 views
三重态损失的 softmax 版本的梯度计算
我一直在尝试实现 Caffe 中描述的三元组损失的 softmax 版本，具体说明如下： Hoffer 和 Ailon，《使用三重态网络进行深度度量学习》，ICLR 2015。 我已经尝试过了，但是由于指数的 L2 不平方，因此我发现... -
0 votes1 answers519 views
将 Logistic 回归损失函数转换为 Softmax
我目前有一个程序，该程序采用特征向量和分类，并将其应用于已知的权重向量，以使用 Logistic 回归生成损失梯度。这是该代码： double[] grad = new double[featureSize]; //... -
1 votes1 answers384 views
Pyspark 线性回归梯度下降交叉验证
我正在尝试在 pyspark 中的 SGD 模型上执行交叉验证，我正在使用pyspark.mllib.regression，ParamGridBuilder和CrossValidator都来自pyspark.ml.tuning库的Li... -
1 votes0 answers61 views
Movesense iOS API：设备自动断开连接
设备固件是根据 1.7.2 ios 应用程序使用 1.28.1 cocoapod for Movesense 定制的。 应用程序可以看到设备连接到它，并查询电池状态。一切正常，但是很多时候，查询电池状态后，设备会自动断开连接(如对 M... -
1 votes1 answers1478 views
如何从 PySpark 中的字符串获取列表
在 PySpark 中是否有类似eval的功能。 我正在尝试将 Python 代码转换为 PySpark 我正在查询一个数据框，并且其中一列具有数据，如下所示，但采用字符串格式。 [{u'date': u'2015-02-08', u... -
1 votes1 answers3090 views
PySpark Dataframes：如何使用紧凑代码在多种条件下进行过滤？
如果我有一个列名列表，并且如果这些列的值大于零，我想对行进行过滤，是否可以执行类似的操作？ columns = ['colA','colB','colC','colD','colE','colF'] new_df = df.filte...