首页 文章

pyspark加入多个条件

提问于
浏览
4

我想问一下,当我使用.join()时你是否知道如何在pyspark中指定很多条件

示例:with hive:

query= "select a.NUMCNT,b.NUMCNT as RNUMCNT ,a.POLE,b.POLE as RPOLE,a.ACTIVITE,b.ACTIVITE as RACTIVITE FROM rapexp201412 b \
    join rapexp201412 a where (a.NUMCNT=b.NUMCNT and a.ACTIVITE = b.ACTIVITE and a.POLE =b.POLE  )\

但是在pyspark我不知道怎么做,因为以下内容:

df_rapexp201412.join(df_aeveh,df_rapexp2014.ACTIVITE==df_rapexp2014.ACTIVITE and df_rapexp2014.POLE==df_aeveh.POLE,'inner')

不起作用!!

2 回答

  • 9

    引用spark文档:

    https://spark.apache.org/docs/1.5.2/api/python/pyspark.sql.html?highlight=dataframe%20join#pyspark.sql.DataFrame.join

    join(other,on = None,how = None)使用给定的连接表达式连接另一个DataFrame . 以下内容在df1和df2之间执行完全外部联接 . 参数:other - 连接的右侧 - 用于连接列名的字符串,列名列表,连接表达式(列)或列列表 . 如果on是字符串或表示连接列名称的字符串列表,则列必须存在于两侧,并执行内部等连接 . how - str,默认'inner' . 内部,外部,左侧,外部,右侧,半连接之一 .

    >>> df.join(df2, df.name == df2.name, 'outer').select(df.name, df2.height).collect()
     [Row(name=None, height=80), Row(name=u'Alice', height=None), Row(name=u'Bob', height=85)]
    
    
    >>> cond = [df.name == df3.name, df.age == df3.age]
    >>> df.join(df3, cond, 'outer').select(df.name, df3.age).collect()
    [Row(name=u'Bob', age=5), Row(name=u'Alice', age=2)]
    

    因此,您需要像上一个示例中那样使用“条件作为列表”选项 .

  • 1
    >>> cond = [df.name == df3.name, df.age == df3.age]
    >>> df.join(df3, cond, 'outer').select(df.name, df3.age).collect()
    [Row(name=u'Bob', age=5), Row(name=u'Alice', age=2)]
    

    这不适用于pyspark 1.3.1 . 我得到“AssertionError:joinExprs应该是列”

    相反,我使用原始sql加入数据帧,如下所示

    df.registerTempTable("df")
    df3.registerTempTable("df3")
    
    sqlContext.sql("Select df.name,df3.age from df outer join df3 on df.name = df3.name and df.age =df3.age").collect()
    

相关问题