首页 文章

Pandas DataFrame能否有效地计算PMI（Pointwise Mutual Information）？

提问于
浏览 次
3

尽管像Scikit-learn这样的库提供了整体互信息度量（通过直方图），但我发现很容易使用框架或现有代码来计算Pointwise Mutual Information（Wiki PMI） . 这是在Python和熊猫的背景下！

我的问题：

我有一个DataFrame，每行有一系列[x，y]示例，并希望根据公式（或更简单的公式）计算一系列PMI值：

PMI(x, y) = log( p(x,y) / p(x) * p(y) )

到目前为止，我的方法是：

def pmi_func(df, x, y):
    df['freq_x'] = df.groupby(x).transform('count')
    df['freq_y'] = df.groupby(y).transform('count')
    df['freq_x_y'] = df.groupby([x, y]).transform('count')
    df['pmi'] = np.log( df['freq_x_y'] / (df['freq_x'] * df['freq_y']) )

这会给出有效和/或有效的计算吗？

样本I / O：

x  y  PMI
0  0  0.176
0  0  0.176
0  1  0
python pandas dataframe entropy

2 回答

  • 0

    解决方案（使用SKlearn KDE替代方案）：

    请评论审查

    from sklearn.neighbors.kde import KernelDensity

# pmi function 
def pmi_func(df, x, y):
    freq_x = df.groupby(x).transform('count')
    freq_y = df.groupby(y).transform('count')
    freq_x_y = df.groupby([x, y]).transform('count')
    df['pmi'] = np.log( len(df.index) *  (freq_x_y / (freq_x * freq_y)) )

# pmi with kernel density estimation    
def kernel_pmi_func(df, x, y):
    # reshape data
    x = np.array(df[x])
    y = np.array(df[y])
    x_y = np.stack((x, y), axis=-1)

    # kernel density estimation
    kde_x = KernelDensity(kernel='gaussian', bandwidth=0.1).fit(x[:, np.newaxis])
    kde_y = KernelDensity(kernel='gaussian', bandwidth=0.1).fit(y[:, np.newaxis])
    kde_x_y = KernelDensity(kernel='gaussian', bandwidth=0.1).fit(x_y)

    # score
    p_x = pd.Series(np.exp(kde_x.score_samples(x[:, np.newaxis])))
    p_y = pd.Series(np.exp(kde_y.score_samples(y[:, np.newaxis])))
    p_x_y = pd.Series(np.exp(kde_x_y.score_samples(x_y)))   

    df['pmi'] = np.log( p_x_y / (p_x * p_y) )
    回复于
  • 8

    我会加三位 .

    def pmi(dff, x, y):
    df = dff.copy()
    df['f_x'] = df.groupby(x)[x].transform('count')
    df['f_y'] = df.groupby(y)[y].transform('count')
    df['f_xy'] = df.groupby([x, y])[x].transform('count')
    df['pmi'] = np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y']) )
    return df

    应使用

    • df.groupby(x)[x].transform('count') 和 df.groupby(y)[y].transform('count') ，以便仅重新计数 .

    • np.log(len(df.index) * df['f_xy'] / (df['f_x'] * df['f_y']) 要使用的概率 .

    • 处理数据帧的副本，而不是修改输入数据帧 .

    回复于

相关问题