选择第n个观察值并使用data.table按组进行求和

2 回答

• 9

  您可以改进几件事：

  • fread 将返回一个data.table，因此无需将其包装在 data.table 中 . 你可以查看 class(DT) .

  • 读入数据时使用 na.strings 参数 . 请参阅下面的示例 .

  • 总结：

  DT[, .(a = a[.N], 
         b = b[.N], 
         c = c[1], 
         d = sum(d), 
         e = sum(e), 
         f = unique(na.omit(f))), 
     by = ID]
  

  然后你会得到：

  ID  a   b    c      d       e          f
  1:  1 11 111 1000  30030  300300  5/07/1977
  2:  2 22 222 2000  20000  200000  6/02/1980
  3:  3 33 333 3000  60010  600100 20/12/1978
  4:  4 44 444 4000 240150 2401500  7/06/1944
  5:  5 55 555 5000 100010 1000100 31/05/1976
  

  一些解释和其他说明：

  • 使用 [1] 进行子集将为您提供组的第一个值 . 您还可以使用 first 功能，该功能在 data.table 中进行了优化，因此速度更快 .

  • 使用 [.N] 进行子集将为您提供组的最后一个值 . 您还可以使用在 data.table 中优化的 last -function，因此速度更快 .

  • Don 't use variable names that are also functions in R (in this case, don' t使用 c 作为变量名称） . 有关 c -function的作用的解释，另请参见 ?c .

  • 为了总结 f -variable，我将 unique 与 na.omit 结合使用 . 如果 ID 有多个唯一日期，您也可以使用例如 na.omit(f)[1] .

  ---

  如果速度是一个问题，你可以优化上面的（thx到@Frank）：

  DT[order(f), .(a = last(a), 
                 b = last(b), 
                 c = first(c), 
                 d = sum(d), 
                 e = sum(e), 
                 f = first(f)), 
     by = ID]
  

  按 f 排序将使 NA -值最后 . 因此，现在内部GForce优化用于所有计算 .

  ---

  Used data:

  DT <- fread("ID   a    b    c        d        e          f
               1   10  100 1000    10000   100000  ?
               1   10  100 1001    10010   100100  5/07/1977
               1   11  111 1002    10020   100200  5/07/1977
               2   22  222 2000    20000   200000  6/02/1980
               3   33  333 3000    30000   300000  20/12/1978
               3   33  333 3001    30010   300100  ?
               4   40  400 4000    40000   400000  ?
               4   40  400 4001    40010   400100  ?
               4   40  400 4002    40020   400200  7/06/1944
               4   44  444 4003    40030   400300  ?
               4   44  444 4004    40040   400400  ?
               4   44  444 4005    40050   400500  ?
               5   55  555 5000    50000   500000  31/05/1976
               5   55  555 5001    50010   500100  31/05/1976", na.strings='?')
  

  回复于 2024-04-30T19:42:12+08:00
• 3

  我们可以使用 tidyverse . 在按'ID'分组后，我们 summarise 基于 first 或 last 观察的列

  library(dplyr) 
  DT %>% 
     group_by(ID) %>% 
     summarise(a = last(a),
               b = last(b), 
               c = first(c), 
               d = sum(d), 
               e = sum(e), 
               f = f[f!="?"][1])
  # A tibble: 5 × 7
  #     ID     a     b     c      d       e          f
  #  <int> <int> <int> <int>  <int>   <int>      <chr>
  #1     1    11   111  1000  30030  300300  5/07/1977
  #2     2    22   222  2000  20000  200000  6/02/1980
  #3     3    33   333  3000  60010  600100 20/12/1978
  #4     4    44   444  4000 240150 2401500  7/06/1944
  #5     5    55   555  5000 100010 1000100 31/05/1976
  

  回复于 2024-04-30T19:42:12+08:00