NAを最新の非NA値で置き換える
Data.frame（またはdata.table）で、NAに最も近い前のNA以外の値を「前方に入力」したいと思います。 （data.frameの代わりに）ベクトルを使用した簡単な例は次のとおりです。
> y <- c(NA, 2, 2, NA, NA, 3, NA, 4, NA, NA)
次のようなyyを作成できるfill.NAs()関数が必要です。
> yy
[1] NA NA NA 2 2 2 2 3 3 3 4 4
多くの（合計で約1 Tb）小さいサイズのdata.frames（約30-50 Mb）に対してこの操作を繰り返す必要があります。ここで、行はすべてのエントリです。問題に取り組む良い方法は何ですか？
私が作り上げたい解決策は、この関数を使用しています。
last <- function (x){
x[length(x)]
}
fill.NAs <- function(isNA){
if (isNA[1] == 1) {
isNA[1:max({which(isNA==0)[1]-1},1)] <- 0 # first is NAs
# can't be forward filled
}
isNA.neg <- isNA.pos <- isNA.diff <- diff(isNA)
isNA.pos[isNA.diff < 0] <- 0
isNA.neg[isNA.diff > 0] <- 0
which.isNA.neg <- which(as.logical(isNA.neg))
if (length(which.isNA.neg)==0) return(NULL) # generates warnings later, but works
which.isNA.pos <- which(as.logical(isNA.pos))
which.isNA <- which(as.logical(isNA))
if (length(which.isNA.neg)==length(which.isNA.pos)){
replacement <- rep(which.isNA.pos[2:length(which.isNA.neg)],
which.isNA.neg[2:max(length(which.isNA.neg)-1,2)] -
which.isNA.pos[1:max(length(which.isNA.neg)-1,1)])
replacement <- c(replacement, rep(last(which.isNA.pos), last(which.isNA) - last(which.isNA.pos)))
} else {
replacement <- rep(which.isNA.pos[1:length(which.isNA.neg)], which.isNA.neg - which.isNA.pos[1:length(which.isNA.neg)])
replacement <- c(replacement, rep(last(which.isNA.pos), last(which.isNA) - last(which.isNA.pos)))
}
replacement
}
関数fill.NAsは次のように使用されます。
y <- c(NA, 2, 2, NA, NA, 3, NA, 4, NA, NA)
isNA <- as.numeric(is.na(y))
replacement <- fill.NAs(isNA)
if (length(replacement)){
which.isNA <- which(as.logical(isNA))
to.replace <- which.isNA[which(isNA==0)[1]:length(which.isNA)]
y[to.replace] <- y[replacement]
}
Output
> y
[1] NA 2 2 2 2 3 3 3 4 4 4
...うまくいくようです。しかし、男、それはいです！助言がありますか？
Zoo パッケージのna.locf()関数を使用して、最後の観測値を前方に運ぶ NA値。
ヘルプページからの使用例の冒頭を次に示します。
library(Zoo)
az <- Zoo(1:6)
bz <- Zoo(c(2,NA,1,4,5,2))
na.locf(bz)
1 2 3 4 5 6
2 2 1 4 5 2
na.locf(bz, fromLast = TRUE)
1 2 3 4 5 6
2 1 1 4 5 2
cz <- Zoo(c(NA,9,3,2,3,2))
na.locf(cz)
2 3 4 5 6
9 3 2 3 2
古い質問を掘り下げてすみません。電車の中でこの仕事をする関数を調べることができなかったので、自分で書いた。
私はそれがほんの少し速いことを知って誇りに思いました。
ただし、柔軟性は低くなります。
しかし、aveでNiceを再生します。これは私が必要なものです。
repeat.before = function(x) { # repeats the last non NA value. Keeps leading NA
ind = which(!is.na(x)) # get positions of nonmissing values
if(is.na(x[1])) # if it begins with a missing, add the
ind = c(1,ind) # first position to the indices
rep(x[ind], times = diff( # repeat the values at these indices
c(ind, length(x) + 1) )) # diffing the indices + length yields how often
} # they need to be repeated
x = c(NA,NA,'a',NA,NA,NA,NA,NA,NA,NA,NA,'b','c','d',NA,NA,NA,NA,NA,'e')
xx = rep(x, 1000000)
system.time({ yzoo = na.locf(xx,na.rm=F)})
## user system elapsed
## 2.754 0.667 3.406
system.time({ yrep = repeat.before(xx)})
## user system elapsed
## 0.597 0.199 0.793
編集
これが私の最も支持された答えになったとき、Zooのmaxgap引数が必要になることが多いため、自分の関数を使用しないことをよく思い出しました。デバッグできなかったdplyr +日付を使用すると、ZooはEdgeのケースで奇妙な問題を抱えているため、今日、これに戻って古い機能を改善しました。
ここで、改善された機能と他のすべてのエントリのベンチマークを行いました。基本的な機能セットについては、tidyr::fillが最速でありながら、Edgeの場合も失敗しません。 @BrandonBertelsenによるRcppエントリはまだ高速ですが、入力のタイプに関して柔軟性がありません（all.equalの誤解によりEdgeケースを誤ってテストしました）。
maxgapが必要な場合、以下の関数はZooよりも高速です（日付に関する奇妙な問題はありません）。
テストのドキュメント を付けました。
新機能
repeat_last = function(x, forward = TRUE, maxgap = Inf, na.rm = FALSE) {
if (!forward) x = rev(x) # reverse x twice if carrying backward
ind = which(!is.na(x)) # get positions of nonmissing values
if (is.na(x[1]) && !na.rm) # if it begins with NA
ind = c(1,ind) # add first pos
rep_times = diff( # diffing the indices + length yields how often
c(ind, length(x) + 1) ) # they need to be repeated
if (maxgap < Inf) {
exceed = rep_times - 1 > maxgap # exceeding maxgap
if (any(exceed)) { # any exceed?
ind = sort(c(ind[exceed] + 1, ind)) # add NA in gaps
rep_times = diff(c(ind, length(x) + 1) ) # diff again
}
}
x = rep(x[ind], times = rep_times) # repeat the values at these indices
if (!forward) x = rev(x) # second reversion
x
}
また、この関数を former package （Githubのみ）に入れました。
大量のデータを扱う場合、より効率的にするために、data.tableパッケージを使用できます。
require(data.table)
replaceNaWithLatest <- function(
dfIn,
nameColNa = names(dfIn)[1]
){
dtTest <- data.table(dfIn)
setnames(dtTest, nameColNa, "colNa")
dtTest[, segment := cumsum(!is.na(colNa))]
dtTest[, colNa := colNa[1], by = "segment"]
dtTest[, segment := NULL]
setnames(dtTest, "colNa", nameColNa)
return(dtTest)
}
私の帽子を投げる：
library(Rcpp)
cppFunction('IntegerVector na_locf(IntegerVector x) {
int n = x.size();
for(int i = 0; i<n; i++) {
if((i > 0) && (x[i] == NA_INTEGER) & (x[i-1] != NA_INTEGER)) {
x[i] = x[i-1];
}
}
return x;
}')
基本的なサンプルとベンチマークをセットアップします。
x <- sample(c(1,2,3,4,NA))
bench_em <- function(x,count = 10) {
x <- sample(x,count,replace = TRUE)
print(microbenchmark(
na_locf(x),
replace_na_with_last(x),
na.lomf(x),
na.locf(x),
repeat.before(x)
), order = "mean", digits = 1)
}
そして、いくつかのベンチマークを実行します。
bench_em(x,1e6)
Unit: microseconds
expr min lq mean median uq max neval
na_locf(x) 697 798 821 814 821 1e+03 100
na.lomf(x) 3511 4137 5002 4214 4330 1e+04 100
replace_na_with_last(x) 4482 5224 6473 5342 5801 2e+04 100
repeat.before(x) 4793 5044 6622 5097 5520 1e+04 100
na.locf(x) 12017 12658 17076 13545 19193 2e+05 100
念のため：
all.equal(
na_locf(x),
replace_na_with_last(x),
na.lomf(x),
na.locf(x),
repeat.before(x)
)
[1] TRUE
更新
数値ベクトルの場合、関数は少し異なります。
NumericVector na_locf_numeric(NumericVector x) {
int n = x.size();
LogicalVector ina = is_na(x);
for(int i = 1; i<n; i++) {
if((ina[i] == TRUE) & (ina[i-1] != TRUE)) {
x[i] = x[i-1];
}
}
return x;
}
これは私のために働いています：
replace_na_with_last<-function(x,a=!is.na(x)){
x[which(a)[c(1,1:sum(a))][cumsum(a)+1]]
}
> replace_na_with_last(c(1,NA,NA,NA,3,4,5,NA,5,5,5,NA,NA,NA))
[1] 1 1 1 1 3 4 5 5 5 5 5 5 5 5
> replace_na_with_last(c(NA,"aa",NA,"ccc",NA))
[1] "aa" "aa" "aa" "ccc" "ccc"
速度も合理的です：
> system.time(replace_na_with_last(sample(c(1,2,3,NA),1e6,replace=TRUE)))
user system elapsed
0.072 0.000 0.071
この機能を試してください。 Zooパッケージは必要ありません。
# last observation moved forward
# replaces all NA values with last non-NA values
na.lomf <- function(x) {
na.lomf.0 <- function(x) {
non.na.idx <- which(!is.na(x))
if (is.na(x[1L])) {
non.na.idx <- c(1L, non.na.idx)
}
rep.int(x[non.na.idx], diff(c(non.na.idx, length(x) + 1L)))
}
dim.len <- length(dim(x))
if (dim.len == 0L) {
na.lomf.0(x)
} else {
apply(x, dim.len, na.lomf.0)
}
}
例：
> # vector
> na.lomf(c(1, NA,2, NA, NA))
[1] 1 1 2 2 2
>
> # matrix
> na.lomf(matrix(c(1, NA, NA, 2, NA, NA), ncol = 2))
[,1] [,2]
[1,] 1 2
[2,] 1 2
[3,] 1 2
data.tableソリューション：
> dt <- data.table(y = c(NA, 2, 2, NA, NA, 3, NA, 4, NA, NA))
> dt[, y_forward_fill := y[1], .(cumsum(!is.na(y)))]
> dt
y y_forward_fill
1: NA NA
2: 2 2
3: 2 2
4: NA 2
5: NA 2
6: 3 3
7: NA 3
8: 4 4
9: NA 4
10: NA 4
このアプローチは、前方充填ゼロでも機能します。
> dt <- data.table(y = c(0, 2, -2, 0, 0, 3, 0, -4, 0, 0))
> dt[, y_forward_fill := y[1], .(cumsum(y != 0))]
> dt
y y_forward_fill
1: 0 0
2: 2 2
3: -2 -2
4: 0 -2
5: 0 -2
6: 3 3
7: 0 3
8: -4 -4
9: 0 -4
10: 0 -4
この方法は、大規模なデータや、グループによる順方向のフィルを実行する場合に非常に役立ちます。これは、data.tableでは簡単です。 byロジックの前のcumsum句にグループを追加するだけです。
先頭にNAを付けることは少ししわですが、先頭の用語がnot missingの場合、LOCFを行う非常に読みやすい（そしてベクトル化された）方法を見つけます：
na.omit(y)[cumsum(!is.na(y))]
一般に、やや読みにくい変更が機能します。
c(NA, na.omit(y))[cumsum(!is.na(y))+1]
目的の出力が得られます。
c(NA, 2, 2, 2, 2, 3, 3, 4, 4, 4)
開発バージョン1.12. で利用可能なdata.table関数nafillを使用できます。
library(data.table)
nafill(y, type = "locf")
# [1] NA 2 2 2 2 3 3 4 4 4
ベクトルがdata.tableの列である場合、setnafillを参照して更新することもできます。
d <- data.table(x = 1:10, y)
setnafill(d, type = "locf", cols = "y")
d
# x y
# 1: 1 NA
# 2: 2 2
# 3: 3 2
# 4: 4 2
# 5: 5 2
# 6: 6 3
# 7: 7 3
# 8: 8 4
# 9: 9 4
# 10: 10 4
Brandon BertelsenのRcppの貢献のフォローアップ。私にとって、NumericVectorバージョンは機能しませんでした。最初のNAを置き換えるだけです。これは、inaベクトルが関数の開始時に一度だけ評価されるためです。
代わりに、IntegerVector関数とまったく同じアプローチを使用できます。次は私のために働いた：
library(Rcpp)
cppFunction('NumericVector na_locf_numeric(NumericVector x) {
R_xlen_t n = x.size();
for(R_xlen_t i = 0; i<n; i++) {
if(i > 0 && !R_finite(x[i]) && R_finite(x[i-1])) {
x[i] = x[i-1];
}
}
return x;
}')
CharacterVectorバージョンが必要な場合、同じ基本的なアプローチも機能します。
cppFunction('CharacterVector na_locf_character(CharacterVector x) {
R_xlen_t n = x.size();
for(R_xlen_t i = 0; i<n; i++) {
if(i > 0 && x[i] == NA_STRING && x[i-1] != NA_STRING) {
x[i] = x[i-1];
}
}
return x;
}')
na.locf（NA Last Observation Carried Forward）機能を提供する多くのパッケージがあります。
xts-xts::na.locfZoo-Zoo::na.locfimputeTS-imputeTS::na.locfspacetime-spacetime::na.locf
また、この関数の名前が異なる他のパッケージ。
@AdamOのソリューションの変更点を次に示します。これは、na.omit関数をバイパスするため、より高速に実行されます。これは、ベクターNAのy値を上書きします（先頭のNAsを除く）。
z <- !is.na(y) # indicates the positions of y whose values we do not want to overwrite
z <- z | !cumsum(z) # for leading NA's in y, z will be TRUE, otherwise it will be FALSE where y has a NA and TRUE where y does not have a NA
y <- y[z][cumsum(z)]
私は以下を試しました：
nullIdx <- as.array(which(is.na(masterData$RequiredColumn)))
masterData$RequiredColumn[nullIdx] = masterData$RequiredColumn[nullIdx-1]
nullIdxは、masterData $ RequiredColumnがNull/NA値を持っているidx番号を取得します。次の行では、対応するIdx-1値、つまり各NULL/NAの前の最後の適切な値に置き換えます
これは私にとってはうまくいきましたが、他の提案よりも効率的かどうかはわかりません。
rollForward <- function(x){
curr <- 0
for (i in 1:length(x)){
if (is.na(x[i])){
x[i] <- curr
}
else{
curr <- x[i]
}
}
return(x)
}
fill.NAs <- function(x) {is_na<-is.na(x); x[Reduce(function(i,j) if (is_na[j]) i else j, seq_len(length(x)), accumulate=T)]}
fill.NAs(c(NA, 2, 2, NA, NA, 3, NA, 4, NA, NA))
[1] NA 2 2 2 2 3 3 4 4 4
リデュースは、同様のタスクに役立つニース関数プログラミングの概念です。残念ながら、Rでは上記の回答のrepeat.beforeよりも70倍遅いです。