web-dev-qa-db-ja.com

data.tableに対する効率的な行単位の操作

行単位の最小値（+60）の比較的大きいdata.frame（〜250,000 x 3）を見つける必要があります（または、xtsでも同等に作業できます）。

set.seed(1000)
my.df <- sample(1:5, 250000*3, replace=TRUE)
dim(my.df) <- c(250000,3)
my.df <- as.data.frame(my.df)
names(my.df) <- c("A", "B", "C")

データフレームmy.dfは次のようになります

> head(my.df)

  A B C
1 2 5 2
2 4 5 5
3 1 5 3
4 4 4 3
5 3 5 5
6 1 5 3

私は試した

require(data.table)
my.dt <- as.data.table(my.df)

my.dt[, row.min:=0]  # without this: "Attempt to add new column(s) and set subset of rows at the same time"
system.time(
  for (i in 1:dim(my.dt)[1]) my.dt[i, row.min:= min(A, B, C)]
)

私のシステムでは、これには約400秒かかります。動作しますが、data.tableを使用する最良の方法であるとは確信していません。 data.tableを正しく使用していますか？単純な行ごとの操作を行うためのより効率的な方法はありますか？

rdata.table
34
Ryogi

または、pminだけです。

my.dt <- as.data.table(my.df)
system.time(my.dt[,row.min:=pmin(A,B,C)])
# user  system elapsed 
# 0.02    0.00    0.01 
head(my.dt)
#      A B C row.min
# [1,] 2 5 2       2
# [2,] 4 5 5       4
# [3,] 1 5 3       1
# [4,] 4 4 3       3
# [5,] 3 5 5       3
# [6,] 1 5 3       1
45
Matt Dowle

Rで行ごとの演算を行う古典的な方法は、applyを使用することです。

apply(my.df, 1, min)
> head(my.df)
  A B C min
1 2 5 4   2
2 4 3 1   1
3 1 1 5   1
4 4 1 5   1
5 3 3 4   3
6 1 1 1   1

私のマシンでは、この操作には約0.25秒かかります。

22
Andrie

data.tableの列シリーズからの行ごとの最初/最後の出現 についての議論の後、最初の融解が行ごとの計算よりも速いことが示唆されたので、ベンチマークすることにしました。

  • pmin（上記のマットダウルの回答）、以下はtm1
  • apply（上記のAndrieの回答）、以下はtm2
  • 最初に溶融し、次にグループごとに最小、以下tm3

そう：

library(microbenchmark); library(data.table)
set.seed(1000)
b <- data.table(m=integer(), n=integer(), tm1 = numeric(), tm2 = numeric(), tm3 = numeric())

for (m in c(2.5,100)*1e5){

  for (n in c(3,50)){
    my.df <- sample(1:5, m*n, replace=TRUE)
    dim(my.df) <- c(m,n)    
    my.df <- as.data.frame(my.df)
    names(my.df) <- c(LETTERS,letters)[1:n]   
    my.dt <- as.data.table(my.df)

    tm1 <- mean(microbenchmark(my.dt[, foo := do.call(pmin, .SD)], times=30L)$time)/1e6
    my.dt <- as.data.table(my.df)
    tm2 <- mean(microbenchmark(apply(my.dt, 1, min), times=30L)$time)/1e6
    my.dt <- as.data.table(my.df)sv
    tm3 <- mean(microbenchmark(
                melt(my.dt[, id:=1:nrow(my.dt)], id.vars='id')[, min(value), by=id], 
                times=30L
               )$time)/1e6
    b <- rbind(b, data.table(m, n, tm1, tm2, tm3) ) 
  }
}

（私は時間を使い果たしてより多くの組み合わせを試してみました）：

b
#          m  n        tm1       tm2         tm3
# 1: 2.5e+05  3   16.20598  1000.345    39.36171
# 2: 2.5e+05 50  166.60470  1452.239   588.49519
# 3: 1.0e+07  3  662.60692 31122.386  1668.83134
# 4: 1.0e+07 50 6594.63368 50915.079 17098.96169
c <- melt(b, id.vars=c('m','n'))

library(ggplot2)
ggplot(c, aes(x=m, linetype=as.factor(n), col=variable, y=value)) + geom_line() +
  ylab('Runtime (millisec)') + xlab('# of rows') +  
  guides(linetype=guide_legend(title='Number of columns'))

enter image description here

apply（tm2）のスケーリングが不十分であることはわかっていましたが、Rが行単位の演算用に実際に設計されていない場合、pmin（tm1）のスケーリングが非常に優れていることに驚いています。 pminをグループごとのメルト（tm3）よりも使用すべきではないケースを特定できませんでした。

16
C8H10N4O2