Rでdata.framesをマージ/結合する最速の方法は何ですか？

Question

例（ただし、最も代表的な例はわかりません）：

N <- 1e6 d1 <- data.frame(x=sample(N,N), y1=rnorm(N)) d2 <- data.frame(x=sample(N,N), y2=rnorm(N))

これは私がこれまでのところ持っているものです：

d <- merge(d1,d2) # 7.6 sec library(plyr) d <- join(d1,d2) # 2.9 sec library(data.table) dt1 <- data.table(d1, key="x") dt2 <- data.table(d2, key="x") d <- data.frame( dt1[dt2,list(x,y1,y2=dt2$y2)] ) # 4.9 sec library(sqldf) sqldf() sqldf("create index ix1 on d1(x)") sqldf("create index ix2 on d2(x)") d <- sqldf("select * from d1 inner join d2 on d1.x=d2.x") sqldf() # 17.4 sec

G. Grothendieck · Accepted Answer

一致アプローチは、最初のキー値ごとに2番目のデータフレームに一意のキーがある場合に機能します。 2番目のデータフレームに重複がある場合、一致とマージのアプローチは同じではありません。もちろん、マッチがそれほど速くないので、マッチは速くなります。特に、重複キーを探すことはありません。（コードの後に続く）

DF1 = data.frame(a = c(1, 1, 2, 2), b = 1:4) DF2 = data.frame(b = c(1, 2, 3, 3, 4), c = letters[1:5]) merge(DF1, DF2) b a c 1 1 1 a 2 2 1 b 3 3 2 c 4 3 2 d 5 4 2 e DF1$c = DF2$c[match(DF1$b, DF2$b)] DF1$c [1] a b c e Levels: a b c d e > DF1 a b c 1 1 1 a 2 1 2 b 3 2 3 c 4 2 4 e

質問に投稿されたsqldfコードでは、2つのテーブルでインデックスが使用されているように見えますが、実際には、sql selectが実行される前に上書きされたテーブルに配置され、その理由の一部が説明されていますとても遅い。 sqldfの考え方は、Rセッションのデータフレームがsqliteのテーブルではなくデータベースを構成するということです。したがって、コードが修飾されていないテーブル名を参照するたびに、sqliteのメインデータベースではなく、Rワークスペースで検索されます。したがって、表示されたselectステートメントは、ワークスペースからd1とd2をsqliteのメインデータベースに読み込み、そこに存在していたインデックスを破壊します。結果として、インデックスなしで結合を行います。 sqliteのメインデータベースにあるd1およびd2のバージョンを使用する場合は、d1およびd2ではなく、main.d1およびmain.d2として参照する必要があります。また、できるだけ速く実行しようとしている場合、単純な結合では両方のテーブルのインデックスを使用できないため、インデックスの1つを作成する時間を節約できることに注意してください。以下のコードでこれらのポイントを説明します。

正確な計算は、どのパッケージが最速かという点で大きな違いを生む可能性があることに注意する価値があります。たとえば、下でマージと集約を行います。 2つの結果はほぼ逆転していることがわかります。最速から最速までの最初の例では、data.table、plyr、merge、sqldfが得られますが、2番目の例では、sqldf、aggregate、data.table、plyrが最初の例とほぼ逆になります。最初の例では、sqldfはdata.tableより3倍遅く、2番目の例ではplyrより200倍、data.tableより100倍高速です。以下に、入力コード、マージの出力タイミング、および集約の出力タイミングを示します。また、sqldfはデータベースに基づいているため、Rが処理できるオブジェクト（sqldfのdbname引数を使用する場合）よりも大きいオブジェクトを処理できますが、他のアプローチはメインメモリでの処理に限定されます。また、sqliteでsqldfを示しましたが、H2およびPostgreSQLデータベースもサポートしています。

library(plyr) library(data.table) library(sqldf) set.seed(123) N <- 1e5 d1 <- data.frame(x=sample(N,N), y1=rnorm(N)) d2 <- data.frame(x=sample(N,N), y2=rnorm(N)) g1 <- sample(1:1000, N, replace = TRUE) g2<- sample(1:1000, N, replace = TRUE) d <- data.frame(d1, g1, g2) library(rbenchmark) benchmark(replications = 1, order = "elapsed", merge = merge(d1, d2), plyr = join(d1, d2), data.table = { dt1 <- data.table(d1, key = "x") dt2 <- data.table(d2, key = "x") data.frame( dt1[dt2,list(x,y1,y2=dt2$y2)] ) }, sqldf = sqldf(c("create index ix1 on d1(x)", "select * from main.d1 join d2 using(x)")) ) set.seed(123) N <- 1e5 g1 <- sample(1:1000, N, replace = TRUE) g2<- sample(1:1000, N, replace = TRUE) d <- data.frame(x=sample(N,N), y=rnorm(N), g1, g2) benchmark(replications = 1, order = "elapsed", aggregate = aggregate(d[c("x", "y")], d[c("g1", "g2")], mean), data.table = { dt <- data.table(d, key = "g1,g2") dt[, colMeans(cbind(x, y)), by = "g1,g2"] }, plyr = ddply(d, .(g1, g2), summarise, avx = mean(x), avy=mean(y)), sqldf = sqldf(c("create index ix on d(g1, g2)", "select g1, g2, avg(x), avg(y) from main.d group by g1, g2")) )

マージ計算を比較する2つのベンチマークコールからの出力は次のとおりです。

Joining by: x test replications elapsed relative user.self sys.self user.child sys.child 3 data.table 1 0.34 1.000000 0.31 0.01 NA NA 2 plyr 1 0.44 1.294118 0.39 0.02 NA NA 1 merge 1 1.17 3.441176 1.10 0.04 NA NA 4 sqldf 1 3.34 9.823529 3.24 0.04 NA NA

集計計算を比較するベンチマーク呼び出しからの出力は次のとおりです。

 test replications elapsed relative user.self sys.self user.child sys.child 4 sqldf 1 2.81 1.000000 2.73 0.02 NA NA 1 aggregate 1 14.89 5.298932 14.89 0.00 NA NA 2 data.table 1 132.46 47.138790 131.70 0.08 NA NA 3 plyr 1 212.69 75.690391 211.57 0.56 NA NA

Matt Dowle · Answer

Gaborのdata.tableの結果で報告された132秒は、実際にはタイミングベース関数colMeansおよびcbind（これらの関数を使用することによって引き起こされるメモリ割り当てとコピー）です。 data.tableを使用する良い方法と悪い方法もあります。

benchmark(replications = 1, order = "elapsed", aggregate = aggregate(d[c("x", "y")], d[c("g1", "g2")], mean), data.tableBad = { dt <- data.table(d, key = "g1,g2") dt[, colMeans(cbind(x, y)), by = "g1,g2"] }, data.tableGood = { dt <- data.table(d, key = "g1,g2") dt[, list(mean(x),mean(y)), by = "g1,g2"] }, plyr = ddply(d, .(g1, g2), summarise, avx = mean(x), avy=mean(y)), sqldf = sqldf(c("create index ix on d(g1, g2)", "select g1, g2, avg(x), avg(y) from main.d group by g1, g2")) ) test replications elapsed relative user.self sys.self 3 data.tableGood 1 0.15 1.000 0.16 0.00 5 sqldf 1 1.01 6.733 1.01 0.00 2 data.tableBad 1 1.63 10.867 1.61 0.01 1 aggregate 1 6.40 42.667 6.38 0.00 4 plyr 1 317.97 2119.800 265.12 51.05 packageVersion("data.table") # [1] ‘1.8.2’ packageVersion("plyr") # [1] ‘1.7.1’ packageVersion("sqldf") # [1] ‘0.4.6.4’ R.version.string # R version 2.15.1 (2012-06-22)

Plyrはよくわからないので、ここでplyrタイミングに依存する前にHadleyに確認してください。また、data.tableには、data.tableに変換してキーを設定する時間も含まれていることに注意してください。

この回答は、2010年12月に最初に回答されてから更新されました。以前のベンチマーク結果は以下のとおりです。変更内容を確認するには、この回答の改訂履歴をご覧ください。

 test replications elapsed relative user.self sys.self 4 data.tableBest 1 0.532 1.000000 0.488 0.020 7 sqldf 1 2.059 3.870301 2.041 0.008 3 data.tableBetter 1 9.580 18.007519 9.213 0.220 1 aggregate 1 14.864 27.939850 13.937 0.316 2 data.tableWorst 1 152.046 285.800752 150.173 0.556 6 plyrwithInternal 1 198.283 372.712406 189.391 7.665 5 plyr 1 225.726 424.296992 208.013 8.004

Marek · Answer

単純なタスク（結合の両側で一意の値）の場合、matchを使用します。

system.time({ d <- d1 d$y2 <- d2$y2[match(d1$x,d2$x)] })

マージよりもはるかに高速です（私のマシンでは0.13秒から3.37秒）。

私のタイミング：

merge：3.32s
plyr：0.84s
match：0.12s

dotcomken · Answer

ミックスにdplyrを含むベンチマークを投稿するのは面白いと思いました：（多くのことを実行していました）

 test replications elapsed relative user.self sys.self 5 dplyr 1 0.25 1.00 0.25 0.00 3 data.tableGood 1 0.28 1.12 0.27 0.00 6 sqldf 1 0.58 2.32 0.57 0.00 2 data.tableBad 1 1.10 4.40 1.09 0.01 1 aggregate 1 4.79 19.16 4.73 0.02 4 plyr 1 186.70 746.80 152.11 30.27 packageVersion("data.table") [1] ‘1.8.10’ packageVersion("plyr") [1] ‘1.8’ packageVersion("sqldf") [1] ‘0.4.7’ packageVersion("dplyr") [1] ‘0.1.2’ R.version.string [1] "R version 3.0.2 (2013-09-25)"

追加したばかり：

dplyr = summarise(dt_dt, avx = mean(x), avy = mean(y))

データテーブルを使用してdplyrのデータをセットアップします。

dt <- tbl_dt(d) dt_dt <- group_by(dt, g1, g2)

更新： data.tableBadとplyrを削除し、RStudioのみを開きました（i7、16GB RAM）。

Data.table 1.9およびデータフレームを使用したdplyrの場合：

 test replications elapsed relative user.self sys.self 2 data.tableGood 1 0.02 1.0 0.02 0.00 3 dplyr 1 0.04 2.0 0.04 0.00 4 sqldf 1 0.46 23.0 0.46 0.00 1 aggregate 1 6.11 305.5 6.10 0.02

Data.table 1.9およびデータテーブルを含むdplyrの場合：

 test replications elapsed relative user.self sys.self 2 data.tableGood 1 0.02 1 0.02 0.00 3 dplyr 1 0.02 1 0.02 0.00 4 sqldf 1 0.44 22 0.43 0.02 1 aggregate 1 6.14 307 6.10 0.01 packageVersion("data.table") [1] '1.9.0' packageVersion("dplyr") [1] '0.1.2'

一貫性を保つため、ここでは、データテーブルを使用したallおよびdata.table 1.9およびdplyrのオリジナルを示します。

 test replications elapsed relative user.self sys.self 5 dplyr 1 0.01 1 0.02 0.00 3 data.tableGood 1 0.02 2 0.01 0.00 6 sqldf 1 0.47 47 0.46 0.00 1 aggregate 1 6.16 616 6.16 0.00 2 data.tableBad 1 15.45 1545 15.38 0.01 4 plyr 1 110.23 11023 90.46 19.52

このデータは新しいdata.tableとdplyrには小さすぎると思います:)

より大きなデータセット：

N <- 1e8 g1 <- sample(1:50000, N, replace = TRUE) g2<- sample(1:50000, N, replace = TRUE) d <- data.frame(x=sample(N,N), y=rnorm(N), g1, g2)

ベンチマークを実行する前にデータを保持するためだけに10〜13 GBのRAMを使用しました。

結果：

 test replications elapsed relative user.self sys.self 1 dplyr 1 14.88 1 6.24 7.52 2 data.tableGood 1 28.41 1 18.55 9.4

10億を試してみましたが、ラムを爆破しました。 32GBでも問題はありません。

[Arunによる編集]（dotcomken、このコードを実行してベンチマーク結果を貼り付けていただけますか？ありがとう）。

require(data.table) require(dplyr) require(rbenchmark) N <- 1e8 g1 <- sample(1:50000, N, replace = TRUE) g2 <- sample(1:50000, N, replace = TRUE) d <- data.frame(x=sample(N,N), y=rnorm(N), g1, g2) benchmark(replications = 5, order = "elapsed", data.table = { dt <- as.data.table(d) dt[, lapply(.SD, mean), by = "g1,g2"] }, dplyr_DF = d %.% group_by(g1, g2) %.% summarise(avx = mean(x), avy=mean(y)) )

ここでのArunの要求に従って、実行するために提供されたものの出力：

 test replications elapsed relative user.self sys.self 1 data.table 5 15.35 1.00 13.77 1.57 2 dplyr_DF 5 137.84 8.98 136.31 1.44

混乱してごめんなさい、深夜は私のところに着きました。

データフレームでdplyrを使用することは、要約を処理する効率の低い方法のようです。このメソッドは、data.tableとdplyrの正確な機能を、含まれているデータ構造メソッドと比較するためのものですか？ group.byまたはdata.tableを作成する前にほとんどのデータをクリーンアップする必要があるため、私はそれを分離することを望んでいます。それは好みの問題かもしれませんが、最も重要な部分はデータをいかに効率的にモデル化できるかだと思います。

Amarjeet · Answer

マージ機能とそのオプションのパラメーターを使用して：

内部結合：Rは共通の変数名でフレームを自動的に結合するため、merge（df1、df2）はこれらの例で機能しますが、merge（df1、df2、by = "CustomerId"）を指定して、必要なフィールドのみで一致していました。一致する変数の名前がデータフレームごとに異なる場合は、by.xおよびby.yパラメーターを使用することもできます。

Outer join: merge(x = df1, y = df2, by = "CustomerId", all = TRUE) Left outer: merge(x = df1, y = df2, by = "CustomerId", all.x = TRUE) Right outer: merge(x = df1, y = df2, by = "CustomerId", all.y = TRUE) Cross join: merge(x = df1, y = df2, by = NULL)