dplyrのサブセットとフィルターの違い
サブセットとフィルター（dplyrから）は同じ結果になっているように思えます。しかし、私の質問は次のとおりです。速度、処理できるデータサイズなど？どちらか一方を使用するほうが良い場合はありますか？
例：
library(dplyr)
df1<-subset(airquality, Temp>80 & Month > 5)
df2<-filter(airquality, Temp>80 & Month > 5)
summary(df1$Ozone)
# Min. 1st Qu. Median Mean 3rd Qu. Max. NA's
# 9.00 39.00 64.00 64.51 84.00 168.00 14
summary(df2$Ozone)
# Min. 1st Qu. Median Mean 3rd Qu. Max. NA's
# 9.00 39.00 64.00 64.51 84.00 168.00 14
実際、それらは同じ結果を生み出しており、コンセプトは非常に似ています。
subsetの利点は、ベースRの一部であり、追加のパッケージを必要としないことです。サンプルサイズが小さい場合、filterよりも少し高速であるようです（この例では6倍高速ですが、マイクロ秒単位で測定されます）。
データセットが大きくなるにつれて、filterが効率性で優位に立つようです。 15,000レコードで、filterはsubsetを約300マイクロ秒超えます。また、153,000レコードでは、filterは3倍高速です（ミリ秒単位で測定）。
そのため、人間の時間の観点からは、この2つの間に大きな違いはないと思います。
もう1つの利点（およびこれは少しニッチな利点です）は、filterがデータをメモリにプルすることなくSQLデータベースで操作できることです。 subsetは単にそれを行いません。
個人的には、filterを使用する傾向がありますが、これは既にdplyrフレームワークを使用しているためです。メモリ不足のデータを使用していない場合、大きな違いはありません。
library(dplyr)
library(microbenchmark)
# Original example
microbenchmark(
df1<-subset(airquality, Temp>80 & Month > 5),
df2<-filter(airquality, Temp>80 & Month > 5)
)
Unit: microseconds
expr min lq mean median uq max neval cld
subset 95.598 107.7670 118.5236 119.9370 125.949 167.443 100 a
filter 551.886 564.7885 599.4972 571.5335 594.993 2074.997 100 b
# 15,300 rows
air <- lapply(1:100, function(x) airquality) %>% bind_rows
microbenchmark(
df1<-subset(air, Temp>80 & Month > 5),
df2<-filter(air, Temp>80 & Month > 5)
)
Unit: microseconds
expr min lq mean median uq max neval cld
subset 1187.054 1207.5800 1293.718 1216.671 1257.725 2574.392 100 b
filter 968.586 985.4475 1056.686 1023.862 1036.765 2489.644 100 a
# 153,000 rows
air <- lapply(1:1000, function(x) airquality) %>% bind_rows
microbenchmark(
df1<-subset(air, Temp>80 & Month > 5),
df2<-filter(air, Temp>80 & Month > 5)
)
Unit: milliseconds
expr min lq mean median uq max neval cld
subset 11.841792 13.292618 16.21771 13.521935 13.867083 68.59659 100 b
filter 5.046148 5.169164 10.27829 5.387484 6.738167 65.38937 100 a
まだ言及されていないもう1つの違いは、フィルターは行名を破棄しますが、サブセットはそうしないことです：
filter(mtcars, gear == 5)
mpg cyl disp hp drat wt qsec vs am gear carb
1 26.0 4 120.3 91 4.43 2.140 16.7 0 1 5 2
2 30.4 4 95.1 113 3.77 1.513 16.9 1 1 5 2
3 15.8 4 351.0 264 4.22 3.170 14.5 0 1 5 4
4 19.7 4 145.0 175 3.62 2.770 15.5 0 1 5 6
5 15.0 4 301.0 335 3.54 3.570 14.6 0 1 5 8
subset(mtcars, gear == 5)
mpg cyl disp hp drat wt qsec vs am gear carb
Porsche 914-2 26.0 4 120.3 91 4.43 2.140 16.7 0 1 5 2
Lotus Europa 30.4 4 95.1 113 3.77 1.513 16.9 1 1 5 2
Ford Pantera L 15.8 4 351.0 264 4.22 3.170 14.5 0 1 5 4
Ferrari Dino 19.7 4 145.0 175 3.62 2.770 15.5 0 1 5 6
Maserati Bora 15.0 4 301.0 335 3.54 3.570 14.6 0 1 5 8
主な使用例では、同じように動作します：
library(dplyr)
identical(
filter(starwars, species == "Wookiee"),
subset(starwars, species == "Wookiee"))
# [1] TRUE
しかし、それらには以下のようなかなりの違いがあります（可能な限り網羅していましたが、いくつか見落としていたかもしれません）。
subsetは行列で使用できますfilterはデータベースで使用できますfilterは行名を削除しますsubsetにはselect引数がありますsubsetは条件引数をリサイクルしますfilterは、個別の引数として条件をサポートしますfilterは.data代名詞の使用をサポートしますfilterはいくつかのrlang機能をサポートしますfilterはグループ化をサポートしますfilterはn()およびrow_number()をサポートしますfilterはより厳密ですfilterはカウントすると少し速くなりますsubsetには他のパッケージのメソッドがあります
subsetは行列で使用できます
subset(state.x77, state.x77[,"Population"] < 400)
# Population Income Illiteracy Life Exp Murder HS Grad Frost Area
# Alaska 365 6315 1.5 69.31 11.3 66.7 152 566432
# Wyoming 376 4566 0.6 70.29 6.9 62.9 173 97203
列をsubset引数の変数として直接使用することはできませんが
subset(state.x77, Population < 400)
サブセットのエラー（state.x77、人口<400）：オブジェクト「人口」が見つかりません
どちらもfilterでは機能しません
filter(state.x77, state.x77[,"Population"] < 400)
UseMethod（ "filter_"）のエラー：クラス "c（ 'matrix'、 'double'、 'numeric'）"のオブジェクトに適用された 'filter_'の適用可能なメソッドはありません
filter(state.x77, Population < 400)
UseMethod（ "filter_"）のエラー：クラス "c（ 'matrix'、 'double'、 'numeric'）"のオブジェクトに適用された 'filter_'の適用可能なメソッドはありません
filterはデータベースで使用できます
library(DBI)
con <- dbConnect(RSQLite::SQLite(), ":memory:")
dbWriteTable(con, "mtcars", mtcars)
tbl(con,"mtcars") %>%
filter(hp < 65)
# # Source: lazy query [?? x 11]
# # Database: sqlite 3.19.3 [:memory:]
# mpg cyl disp hp drat wt qsec vs am gear carb
# <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
# 1 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2
# 2 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2
subsetはできません
tbl(con,"mtcars") %>%
subset(hp < 65)
サブセット.default（。、hp <65）のエラー：オブジェクト 'hp'が見つかりません
filterは行名を削除します
filter(mtcars, hp < 65)
# mpg cyl disp hp drat wt qsec vs am gear carb
# 1 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2
# 2 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2
subsetはしません
subset(mtcars, hp < 65)
# mpg cyl disp hp drat wt qsec vs am gear carb
# Merc 240D 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2
# Honda Civic 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2
subsetにはselect引数があります
dplyrは、各関数が1つのことを行うことを目的とするtidyverseの原則に従いますが、selectは別個の関数です。
identical(
subset(starwars, species == "Wookiee", select = c("name", "height")),
filter(starwars, species == "Wookiee") %>% select(name, height)
)
# [1] TRUE
また、drop引数もあります。これは、select引数を使用するコンテキストでほとんど意味があります。
subsetは条件引数をリサイクルします
half_iris <- subset(iris,c(TRUE,FALSE))
dim(iris) # [1] 150 5
dim(half_iris) # [1] 75 5
filterはしません
half_iris <- filter(iris,c(TRUE,FALSE))
Filter_impl（.data、quo）のエラー：結果の長さは2ではなく150でなければなりません
filterは、個別の引数として条件をサポートします
条件は...に供給されるため、複数の条件を異なる引数として使用できます。これは&を使用する場合と同じですが、論理演算子の優先順位と自動識別により読みやすくなる場合があります。
identical(
subset(starwars,
(species == "Wookiee" | eye_color == "blue") &
mass > 120),
filter(starwars,
species == "Wookiee" | eye_color == "blue",
mass > 120)
)
filterは.data代名詞の使用をサポートします
mtcars %>% filter(.data[["hp"]] < 65)
# mpg cyl disp hp drat wt qsec vs am gear carb
# 1 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2
# 2 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2
filterはいくつかのrlang機能をサポートします
x <- "hp"
library(rlang)
mtcars %>% filter(!!sym(x) < 65)
# m pg cyl disp hp drat wt qsec vs am gear carb
# 1 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2
# 2 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2
filter65 <- function(data,var){
data %>% filter(!!enquo(var) < 65)
}
mtcars %>% filter65(hp)
# mpg cyl disp hp drat wt qsec vs am gear carb
# 1 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2
# 2 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2
filterはグループ化をサポートします
iris %>%
group_by(Species) %>%
filter(Petal.Length < quantile(Petal.Length,0.01))
# # A tibble: 3 x 5
# # Groups: Species [3]
# Sepal.Length Sepal.Width Petal.Length Petal.Width Species
# <dbl> <dbl> <dbl> <dbl> <fctr>
# 1 4.6 3.6 1.0 0.2 setosa
# 2 5.1 2.5 3.0 1.1 versicolor
# 3 4.9 2.5 4.5 1.7 virginica
iris %>%
group_by(Species) %>%
subset(Petal.Length < quantile(Petal.Length,0.01))
# # A tibble: 2 x 5
# # Groups: Species [1]
# Sepal.Length Sepal.Width Petal.Length Petal.Width Species
# <dbl> <dbl> <dbl> <dbl> <fctr>
# 1 4.3 3.0 1.1 0.1 setosa
# 2 4.6 3.6 1.0 0.2 setosa
filterはn()およびrow_number()をサポートします
filter(iris, row_number() < n()/30)
# Sepal.Length Sepal.Width Petal.Length Petal.Width Species
# 1 5.1 3.5 1.4 0.2 setosa
# 2 4.9 3.0 1.4 0.2 setosa
# 3 4.7 3.2 1.3 0.2 setosa
# 4 4.6 3.1 1.5 0.2 setosa
filterはより厳密です
入力が疑わしい場合、エラーをトリガーします。
filter(iris, Species = "setosa")
# Error: `Species` (`Species = "setosa"`) must not be named, do you need `==`?
identical(subset(iris, Species = "setosa"), iris)
# [1] TRUE
df1 <- setNames(data.frame(a = 1:3, b=5:7),c("a","a"))
# df1
# a a
# 1 1 5
# 2 2 6
# 3 3 7
filter(df1, a > 2)
#Error: Column `a` must have a unique name
subset(df1, a > 2)
# a a.1
# 3 3 7
filterはカウントすると少し速くなります
Benjaminが回答で構築したデータセット（153 k行）を借りると、2倍高速になりますが、ボトルネックになることはめったにありません。
air <- lapply(1:1000, function(x) airquality) %>% bind_rows
microbenchmark::microbenchmark(
subset = subset(air, Temp>80 & Month > 5),
filter = filter(air, Temp>80 & Month > 5)
)
# Unit: milliseconds
# expr min lq mean median uq max neval cld
# subset 8.771962 11.551255 19.942501 12.576245 13.933290 108.0552 100 b
# filter 4.144336 4.686189 8.024461 6.424492 7.499894 101.7827 100 a
subsetには他のパッケージのメソッドがあります
subsetは、dplyr::filterと同様にS3ジェネリックですが、ベース関数としてのsubsetは、他のパッケージで開発されたメソッドを持つ可能性が高く、1つの顕著な例はZoo:::subset.Zooです。
面白い。結果のデータセットの観点から違いを見ようとしていましたが、「[」演算子が異なる動作をした理由（つまり、NAも返された理由）を説明することはできません。
# Subset for year=2013
sub<-brfss2013 %>% filter(iyear == "2013")
dim(sub)
#[1] 486088 330
length(which(is.na(sub$iyear))==T)
#[1] 0
sub2<-filter(brfss2013, iyear == "2013")
dim(sub2)
#[1] 486088 330
length(which(is.na(sub2$iyear))==T)
#[1] 0
sub3<-brfss2013[brfss2013$iyear=="2013", ]
dim(sub3)
#[1] 486093 330
length(which(is.na(sub3$iyear))==T)
#[1] 5
sub4<-subset(brfss2013, iyear=="2013")
dim(sub4)
#[1] 486088 330
length(which(is.na(sub4$iyear))==T)
#[1] 0
filterのもう1つの利点は、グループ化されたデータでNiceを再生できることです。 subsetはグループ化を無視します。
したがって、データがグループ化されている場合、subsetは引き続きデータ全体を参照しますが、filterはグループのみを参照します。
# setup
library(tidyverse)
data.frame(a = 1:2) %>% group_by(a) %>% subset(length(a) == 1)
# returns empty table
data.frame(a = 1:2) %>% group_by(a) %>% filter(length(a) == 1)
# returns all rows
違いは、dplyrに2つの異なる関数があるときに、サブセットがフィルターよりも多くのことを実行し、選択してドロップすることもできることです。
subset(df, select=c("varA", "varD"))
dplyr::select(df,varA, varD)