2 回答

• 9

  好问题！

  我假设 df 和 dt 是易于/快速输入的对象名称 .

  df = datas.tbl
  dt = datas.dt
  

  Comparison at -O3 level optimisation:

  首先，这是我的系统在 dplyr 的当前CRAN版本和 data.table 的开发版本上的时间 . dplyr 的devel版本似乎遭受了性能回归（并且正由Romain修复） .

  system.time(df %>% group_by(id1, id2) %>% filter(datetime == max(datetime)))
  #  25.291   0.128  25.610 
  
  system.time(dt[dt[, .I[datetime == max(datetime)], by = c("id1", "id2")]$V1])
  #  17.191   0.075  17.349
  

  我跑了好几次，而且似乎改变了 . 但是，我使用 -O3 优化标志编译所有包（通过适当地设置 ~/.R/Makevars ） . 而且我观察到 data.table 性能比我在 -O3 上比较的其他软件包要好得多 .

  Grouping speed comparison

  其次，了解这种缓慢的原因很重要 . 首先让我们将时间与组合进行比较 .

  system.time(group_by(df, id1, id2))
  #   0.303   0.007   0.311 
  system.time(data.table:::forderv(dt, by = c("id1", "id2"), retGrp = TRUE))
  #   0.002   0.000   0.002
  

  即使总共有250,000行，您的数据大小约为38MB . 在这个尺寸下，分组速度不太可能出现显着差异 .

  data.table 的分组在这里更快 >100x ，显然不是这种缓慢的原因......

  Why is it slow?

  那么's the reason? Let' s打开 datatable.verbose 选项并再次检查：

  options(datatable.verbose = TRUE)
  dt[dt[, .I[datetime == max(datetime)], by = c("id1", "id2")]$V1]
  # Detected that j uses these columns: datetime 
  # Finding groups (bysameorder=TRUE) ... done in 0.002secs. bysameorder=TRUE and o__ is length 0
  # lapply optimization is on, j unchanged as '.I[datetime == max(datetime)]'
  # GForce is on, left j unchanged
  # Old mean optimization is on, left j unchanged.
  # Starting dogroups ... 
  #   memcpy contiguous groups took 0.097s for 230000 groups
  #   eval(j) took 17.129s for 230000 calls
  # done dogroups in 17.597 secs
  

  所以 eval(j) 单独占用了~97％的时间！我们在 j 中提供的表达式针对每个组进行了评估 . 既然你 eval() 对 eval() 的惩罚是一个惩罚，那就加起来了 .

  Avoiding the eval() penalty

  由于我们已经开始实施并开始实现一些常用函数的内部版本： sum ， mean ， min ， max . 这将/应该扩展到尽可能多的其他功能（当我们找到时间） .

  所以，让我们先尝试计算一下获取 max(datetime) 的时间：

  dt.agg = dt[, .(datetime = max(datetime)), by = .(id1, id2)]
  # Detected that j uses these columns: datetime 
  # Finding groups (bysameorder=TRUE) ... done in 0.002secs. bysameorder=TRUE and o__ is length 0
  # lapply optimization is on, j unchanged as 'list(max(datetime))'
  # GForce optimized j to 'list(gmax(datetime))'
  

  而且它是即时的 . 为什么？因为 max() 内部优化为 gmax() ，并且每个230K组都没有 eval() 调用 .

  那么为什么不是 datetime == max(datetime) 瞬间？因为解析这些表达式并在内部进行优化会更复杂，而我们还没有完成它 .

  Workaround

  所以现在我们知道了这个问题，以及一种绕过它的方法，让我们使用它 .

  dt.agg = dt[, .(datetime = max(datetime)), by = .(id1, id2)]
  dt[dt.agg, on = c("id1", "id2", "datetime")] # v1.9.5+
  

  我的Mac需要大约0.14秒 .

  请注意，这只是快速的，因为表达式被优化为 gmax() . 比较它：

  dt[, .(datetime = base::max(datetime)), by = .(id1, id2)]
  

  ---

  我同意优化更复杂的表达式以避免 eval() 惩罚是理想的解决方案，但我们还没有 .

  回复于 2024-04-29T21:07:43+08:00
• 21

  如何总结data.table和 join 原始数据

  system.time({
    datas1 <- datas.dt[, list(datetime=max(datetime)), by = c("id1", "id2")] #summarize the data
    setkey(datas1, id1, id2, datetime)
    setkey(datas.dt, id1, id2, datetime)
    datas2 <- datas.dt[datas1]
  })
  #  user  system elapsed 
  # 0.083   0.000   0.084
  

  这正确地过滤了数据

  system.time(dat1 <- datas.dt[datas.dt[, .I[datetime == max(datetime)], by = c("id1", "id2")]$V1])
  #   user  system elapsed 
  # 23.226   0.000  23.256 
  all.equal(dat1, datas2)
  # [1] TRUE
  

  Addendum

  setkey 参数是多余的，如果你使用 data.table 的devel version（感谢@akrun指针）

  system.time({
    datas1 <- datas.dt[, list(datetime=max(datetime)), by = c("id1", "id2")] #summarize the data
    datas2 <- datas.dt[datas1, on=c('id1', 'id2', 'datetime')]
  })
  

  回复于 2024-04-29T21:07:43+08:00