web-dev-qa-db-ja.com

Rでクロスジョインを行う方法は?

Rでクロス結合を実現するにはどうすればよいですか? 「マージ」が内部結合、外部結合を行えることを知っています。しかし、Rでクロス結合を実現する方法はわかりません。

ありがとう

25
zjffdu

ただall=TRUE

x<-data.frame(id1=c("a","b","c"),vals1=1:3)
y<-data.frame(id2=c("d","e","f"),vals2=4:6)
merge(x,y,all=TRUE)

mergeのドキュメントから:

By.xとby.yのいずれかまたは両方が長さ0(長さゼロのベクトルまたはNULL)である場合、結果rはxとyのデカルト積です。つまり、dim(r)= c(nrow(x )* nrow(y)、ncol(x)+ ncol(y))。

32
danas.zuokas

速度が問題になる場合は、優れた_data.table_パッケージを確認することをお勧めします。最後の例では、mergeより約90倍高速です。

サンプルデータを提供しませんでした。 2つの(またはそれ以上の)列のすべての組み合わせを取得したい場合は、CJ(クロス結合)を使用できます。

_library(data.table)
CJ(x=1:2,y=letters[1:3])
#   x y
#1: 1 a
#2: 1 b
#3: 1 c
#4: 2 a
#5: 2 b
#6: 2 c
_

2つのテーブルでクロスジョインを実行する場合、CJ()を使用する方法は見つかりませんでした。ただし、_data.table_は引き続き使用できます。

_x2<-data.table(id1=letters[1:3],vals1=1:3)
y2<-data.table(id2=letters[4:7],vals2=4:7)

res<-setkey(x2[,c(k=1,.SD)],k)[y2[,c(k=1,.SD)],allow.cartesian=TRUE][,k:=NULL]
res
#    id1 vals1 id2 vals2
# 1:   a     1   d     4
# 2:   b     2   d     4
# 3:   c     3   d     4
# 4:   a     1   e     5
# 5:   b     2   e     5
# 6:   c     3   e     5
# 7:   a     1   f     6
# 8:   b     2   f     6
# 9:   c     3   f     6
#10:   a     1   g     7
#11:   b     2   g     7
#12:   c     3   g     7
_

res行の説明:

  • 基本的に、ダミーの列(この例ではk)を1つのテーブルに追加し、それをキー(setkey(tablename,keycolumns))として設定し、ダミーの列を他のテーブルに追加してから結合します。
  • Data.table構造は、結合では名前ではなく列の位置を使用するため、ダミー列を先頭に配置する必要があります。 c(k=1,.SD)部分は、最初に列を追加する方法の1つです(デフォルトでは、列を最後に追加します)。
  • 標準のdata.table結合の形式は_X[Y]_です。この場合のXはsetkey(x2[,c(k=1,.SD)],k)で、Yはy2[,c(k=1,.SD)]です。
  • _allow.cartesian=TRUE_は、重複キー値を無視し、デカルト結合を実行するように_data.table_に指示します(以前のバージョンではこれは必要ありませんでした)
  • 最後の_[,k:=NULL]_は、結果からダミーキーを削除するだけです。

これを関数に変えることもできますので、次のように使用するときれいになります:

_# Version 1; easier to write:
CJ.table.1 <- function(X,Y)
  setkey(X[,c(k=1,.SD)],k)[Y[,c(k=1,.SD)],allow.cartesian=TRUE][,k:=NULL]

CJ.table.1(x2,y2)
#    id1 vals1 id2 vals2
# 1:   a     1   d     4
# 2:   b     2   d     4
# 3:   c     3   d     4
# 4:   a     1   e     5
# 5:   b     2   e     5
# 6:   c     3   e     5
# 7:   a     1   f     6
# 8:   b     2   f     6
# 9:   c     3   f     6
#10:   a     1   g     7
#11:   b     2   g     7
#12:   c     3   g     7

# Version 2; faster but messier:
CJ.table.2 <- function(X,Y) {
  eval(parse(text=paste0("setkey(X[,c(k=1,.SD)],k)[Y[,c(k=1,.SD)],list(",paste0(unique(c(names(X),names(Y))),collapse=","),")][,k:=NULL]")))
}
_

速度のベンチマークは次のとおりです。

_# Create a bigger (but still very small) example:
n<-1e3
x3<-data.table(id1=1L:n,vals1=sample(letters,n,replace=T))
y3<-data.table(id2=1L:n,vals2=sample(LETTERS,n,replace=T))

library(microbenchmark)
microbenchmark(merge=merge.data.frame(x3,y3,all=TRUE),
               CJ.table.1=CJ.table.1(x3,y3),
               CJ.table.2=CJ.table.2(x3,y3),
               times=3, unit="s")
#Unit: seconds
#       expr        min         lq     median         uq        max neval
#      merge 4.03710225 4.23233688 4.42757152 5.57854711 6.72952271     3
# CJ.table.1 0.06227603 0.06264222 0.06300842 0.06701880 0.07102917     3
# CJ.table.2 0.04740142 0.04812997 0.04885853 0.05433146 0.05980440     3
_

これらの_data.table_メソッドは、@ danas.zuokasが提案するmergeメソッドよりもはるかに高速であることに注意してください。この例の1,000行の2つのテーブルは、100万行のクロス結合テーブルになります。したがって、元のテーブルが小さい場合でも、結果はすぐに大きくなり、速度が重要になります。

最後に、_data.table_の最近のバージョンでは、_allow.cartesian=TRUE_を追加するか(CJ.table.1のように)、返される列の名前を指定する必要があります(CJ.table.2)。 2番目のメソッド(CJ.table.2)は高速のようですが、すべての列名を自動的に指定する場合は、より複雑なコードが必要です。また、重複する列名では機能しない場合があります。 (CJ.table.2のより単純なバージョンを提案してください)

39
dnlbrky

Data.tableを介して実行する場合、これは1つの方法です。

cjdt <- function(a,b){
  cj = CJ(1:nrow(a),1:nrow(b))
  cbind(a[cj[[1]],],b[cj[[2]],])
}

A = data.table(ida = 1:10)
B = data.table(idb = 1:10)
cjdt(A,B)

上記を言ったが、あなたが多くの小さな結合をしていて、data.tableオブジェクトとそれを生成するオーバーヘッド。大幅な速度の向上は、c++Rcppなどを使用したコードブロック:

// [[Rcpp::export]]
NumericMatrix crossJoin(NumericVector a, NumericVector b){
  int szA = a.size(), 
      szB = b.size();
  int i,j,r;
  NumericMatrix ret(szA*szB,2);
  for(i = 0, r = 0; i < szA; i++){
    for(j = 0; j < szB; j++, r++){
      ret(r,0) = a(i);
      ret(r,1) = b(j);
    }
  }
  return ret;
}

比較するには、まず大規模な結合の場合:

C++

n = 1
a = runif(10000)
b = runif(10000)
system.time({for(i in 1:n){
  crossJoin(a,b)
}})

ユーザーシステム経過1.033 0.424 1.462


データ表

system.time({for(i in 1:n){
  CJ(a,b)
}})

ユーザーシステム経過0.602 0.569 2.452


さて、たくさんの小さな結合について:

C++

n = 1e5
a = runif(10)
b = runif(10)
system.time({for(i in 1:n){
  crossJoin(a,b)
}})

ユーザーシステム経過0.660 0.077 .739


データ表

system.time({for(i in 1:n){
  CJ(a,b)
}})

ユーザーシステム経過26.164 0.056 26.271

7

これは数年前に尋ねられましたが、tidyr::crossing()を使用して相互結合を行うことができます。間違いなく最も単純なソリューションです。

library(tidyr)

league <- c("MLB", "NHL", "NFL", "NBA")
season <- c("2018", "2017")

tidyr::crossing(league, season)
#> # A tibble: 8 x 2
#>   league season
#>   <chr>  <chr> 
#> 1 MLB    2017  
#> 2 MLB    2018  
#> 3 NBA    2017  
#> 4 NBA    2018  
#> 5 NFL    2017  
#> 6 NFL    2018  
#> 7 NHL    2017  
#> 8 NHL    2018

2018年12月8日に reprexパッケージ (v0.2.0)によって作成されました。

7
Evan O.

Usig sqldf

x <- data.frame(id1 = c("a", "b", "c"), vals1 = 1:3)
y <- data.frame(id2 = c("d", "e", "f"), vals2 = 4:6) 

library(sqldf)
sqldf("SELECT * FROM x
      CROSS JOIN y")

出力:

  id1 vals1 id2 vals2
1   a     1   d     4
2   a     1   e     5
3   a     1   f     6
4   b     2   d     4
5   b     2   e     5
6   b     2   f     6
7   c     3   d     4
8   c     3   e     5
9   c     3   f     6

記録のためだけに、基本パッケージでは、by= NULL の代わりに all=TRUE

merge(x, y, by= NULL)
6
mpalanco

マージ機能とそのオプションのパラメーターを使用して:

内部結合:Rは共通の変数名でフレームを自動的に結合するため、merge(df1、df2)はこれらの例で動作しますが、merge(df1、df2、by = "CustomerId")を指定して、必要なフィールドのみで一致していました。一致する変数の名前がデータフレームごとに異なる場合は、by.xパラメーターとby.yパラメーターを使用することもできます。

Outer join: merge(x = df1, y = df2, by = "CustomerId", all = TRUE)

Left outer: merge(x = df1, y = df2, by = "CustomerId", all.x = TRUE)

Right outer: merge(x = df1, y = df2, by = "CustomerId", all.y = TRUE)

Cross join: merge(x = df1, y = df2, by = NULL)
2
Amarjeet

data.frameを使用してそれを行う組み込みの方法はわかりませんが、作成するのは難しくありません。

@ danasは簡単な組み込み方法があることを示しましたが、他の目的に役立つ場合に備えてここに答えを残します。

cross.join <- function(a, b) {
    idx <- expand.grid(seq(length=nrow(a)), seq(length=nrow(b)))
    cbind(a[idx[,1],], b[idx[,2],])
}

いくつかの組み込みデータセットで動作することを示します。

> tmp <- cross.join(mtcars, iris)
> dim(mtcars)
[1] 32 11
> dim(iris)
[1] 150   5
> dim(tmp)
[1] 4800   16
> str(tmp)
'data.frame':   4800 obs. of  16 variables:
 $ mpg         : num  21 21 22.8 21.4 18.7 18.1 14.3 24.4 22.8 19.2 ...
 $ cyl         : num  6 6 4 6 8 6 8 4 4 6 ...
 $ disp        : num  160 160 108 258 360 ...
 $ hp          : num  110 110 93 110 175 105 245 62 95 123 ...
 $ drat        : num  3.9 3.9 3.85 3.08 3.15 2.76 3.21 3.69 3.92 3.92 ...
 $ wt          : num  2.62 2.88 2.32 3.21 3.44 ...
 $ qsec        : num  16.5 17 18.6 19.4 17 ...
 $ vs          : num  0 0 1 1 0 1 0 1 1 1 ...
 $ am          : num  1 1 1 0 0 0 0 0 0 0 ...
 $ gear        : num  4 4 4 3 3 3 3 4 4 4 ...
 $ carb        : num  4 4 1 1 2 1 4 2 2 4 ...
 $ Sepal.Length: num  5.1 5.1 5.1 5.1 5.1 5.1 5.1 5.1 5.1 5.1 ...
 $ Sepal.Width : num  3.5 3.5 3.5 3.5 3.5 3.5 3.5 3.5 3.5 3.5 ...
 $ Petal.Length: num  1.4 1.4 1.4 1.4 1.4 1.4 1.4 1.4 1.4 1.4 ...
 $ Petal.Width : num  0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 0.2 ...
 $ Species     : Factor w/ 3 levels "setosa","versicolor",..: 1 1 1 1 1 1 1 1 1 1 ...
0
Brian Diggs

2つのdata.tablesを相互結合する便利な方法が存在するかどうかを知りたいです。私はこれを頻繁に行うので、他の人が役立つと思うように自分の機能をロールバックすることになりました

library(data.table)

cartesian_join <- function(i, j){
  # Cartesian join of two data.tables
  # If i has M rows and j has N rows, the result will have M*N rows
  # Example: cartesian_join(as.data.table(iris), as.data.table(mtcars))

  # Check inputs
  if(!is.data.table(i)) stop("'i' must be a data.table")
  if(!is.data.table(j)) stop("'j' must be a data.table")
  if(nrow(i) == 0) stop("'i' has 0 rows. Not sure how to handle cartesian join")
  if(nrow(j) == 0) stop("'j' has 0 rows. Not sure how to handle cartesian join")

  # Do the join (use a join column name that's unlikely to clash with a pre-existing column name)
  i[, MrJoinyJoin := 1L]
  j[, MrJoinyJoin := 1L]
  result <- j[i, on = "MrJoinyJoin", allow.cartesian = TRUE]
  result[, MrJoinyJoin := NULL]
  i[, MrJoinyJoin := NULL]
  j[, MrJoinyJoin := NULL]

  return(result[])
}

foo <- data.frame(Foo = c(1,2,3))
foo
  Foo
1   1
2   2
3   3

bar <- data.frame(Bar = c("a", "b", "c"))
bar
  Bar
1   a
2   b
3   c

cartesian_join(as.data.table(foo), as.data.table(bar))
   Bar Foo
1:   a   1
2:   b   1
3:   c   1
4:   a   2
5:   b   2
6:   c   2
7:   a   3
8:   b   3
9:   c   3
0
Ben