一部の数字に3桁ごとの区切り記号としてカンマが含まれている場合のデータの読み方
私はCSVファイルを持っています"1,513"の代わりに1513。 Rにデータを読み込む最も簡単な方法は何ですか？
read.csv(..., colClasses="character")を使用できますが、それらの列を数値に変換する前に、関連する要素からコンマを削除する必要があり、適切な方法を見つけることができません。
データが修正されるとデータが簡単になるため、データを前処理するのではなく、Rを使用します。シェーンがgsubを使用するという提案に続いて、これは私ができる限りきちんとしたものだと思います。
x <- read.csv("file.csv",header=TRUE,colClasses="character")
col2cvt <- 15:41
x[,col2cvt] <- lapply(x[,col2cvt],function(x){as.numeric(gsub(",", "", x))})
read.csvを適切に解釈させる方法についてはわかりませんが、gsubを使用して","を""に置き換えてから、文字列をnumericに変換できますas.numeric：
y <- c("1,200","20,000","100","12,111")
as.numeric(gsub(",", "", y))
# [1] 1200 20000 100 12111
これは R-Helpで以前に回答された （および Q2ここ ）でした。
または、Unixのsedなどを使用して、ファイルを前処理できます。
Read.tableまたはread.csvにこの変換を半自動的に実行させることができます。最初に新しいクラス定義を作成し、次に変換関数を作成し、次のようにsetAs関数を使用して「as」メソッドとして設定します。
setClass("num.with.commas")
setAs("character", "num.with.commas",
function(from) as.numeric(gsub(",", "", from) ) )
次に、read.csvを次のように実行します。
DF <- read.csv('your.file.here',
colClasses=c('num.with.commas','factor','character','numeric','num.with.commas'))
この質問は数年前のものですが、私はそれを偶然見つけました。
readr ライブラリ/パッケージには、いくつかの素晴らしい機能があります。それらの1つは、これらのような「乱雑な」列を解釈する良い方法です。
library(readr)
read_csv("numbers\n800\n\"1,800\"\n\"3500\"\n6.5",
col_types = list(col_numeric())
)
これにより
ソース：ローカルデータフレーム[4 x 1]
numbers
(dbl)
1 800.0
2 1800.0
3 3500.0
4 6.5
ファイルを読み取る際の重要なポイント：sedに関する上記のコメントのように前処理を行うか、読み取り中にを処理する必要があります。多くの場合、事後に問題を修正しようとすると、見つけにくい危険な仮定がいくつかあります。 （そもそもフラットファイルが非常に悪い理由です。）
たとえば、col_typesにフラグを立てていなかった場合、次のようになります。
> read_csv("numbers\n800\n\"1,800\"\n\"3500\"\n6.5")
Source: local data frame [4 x 1]
numbers
(chr)
1 800
2 1,800
3 3500
4 6.5
（chrではなくcharacter（numeric）になりました。）
または、より危険なことに、十分に長く、初期の要素のほとんどにコンマが含まれていなかった場合：
> set.seed(1)
> tmp <- as.character(sample(c(1:10), 100, replace=TRUE))
> tmp <- c(tmp, "1,003")
> tmp <- paste(tmp, collapse="\"\n\"")
（最後のいくつかの要素は次のようになります:)
\"5\"\n\"9\"\n\"7\"\n\"1,003"
そうすれば、そのコンマの読み取りに問題が生じるでしょう。
> tail(read_csv(tmp))
Source: local data frame [6 x 1]
3"
(dbl)
1 8.000
2 5.000
3 5.000
4 9.000
5 7.000
6 1.003
Warning message:
1 problems parsing literal data. See problems(...) for more details.
mutate_allとパイプを使用したdplyrソリューション
あなたは次のものを持っていると言います：
> dft
Source: local data frame [11 x 5]
Bureau.Name Account.Code X2014 X2015 X2016
1 Senate 110 158,000 211,000 186,000
2 Senate 115 0 0 0
3 Senate 123 15,000 71,000 21,000
4 Senate 126 6,000 14,000 8,000
5 Senate 127 110,000 234,000 134,000
6 Senate 128 120,000 159,000 134,000
7 Senate 129 0 0 0
8 Senate 130 368,000 465,000 441,000
9 Senate 132 0 0 0
10 Senate 140 0 0 0
11 Senate 140 0 0 0
年変数X2014-X2016からコンマを削除し、数値に変換します。また、X2014-X2016が因子として読み込まれたとしましょう（デフォルト）
dft %>%
mutate_all(funs(as.character(.)), X2014:X2016) %>%
mutate_all(funs(gsub(",", "", .)), X2014:X2016) %>%
mutate_all(funs(as.numeric(.)), X2014:X2016)
mutate_allは、funs内の関数を指定された列に適用します
一度に1つの関数を順番に実行しました（funs内で複数の関数を使用する場合は、追加の不要な列を作成します）
Rの「前処理」：
lines <- "www, rrr, 1,234, ttt \n rrr,zzz, 1,234,567,987, rrr"
readLinesでtextConnectionを使用できます。次に、数字の間にあるコンマのみを削除します。
gsub("([0-9]+)\\,([0-9])", "\\1\\2", lines)
## [1] "www, rrr, 1234, ttt \n rrr,zzz, 1234567987, rrr"
小数点区切りとしてのコンマは、read.csv2（自動）またはread.table（ 'dec'パラメーターの設定を使用）で処理できることを知っているが、この質問に直接関連するわけではありません。
編集：後で、新しいクラスを設計してcolClassesを使用する方法を発見しました。見る：
番号が「。」で区切られている場合gsubの呼び出しで「、」（1.200.000,00）による10進数を使用する必要がありますset fixed=TRUE as.numeric(gsub(".","",y,fixed=TRUE))
前処理が進むべき道だと思います。 Notepad ++ を使用できます。これには、正規表現の置換オプションがあります。
たとえば、ファイルが次のような場合：
"1,234","123","1,234"
"234","123","1,234"
123,456,789
次に、正規表現"([0-9]+),([0-9]+)"を使用し、それを\1\2に置き換えることができます
1234,"123",1234
"234","123",1234
123,456,789
次に、x <- read.csv(file="x.csv",header=FALSE)を使用してファイルを読み取ります。
非常に便利な方法はreadr::read_delim- familyです。ここから例を取り上げます。 複数のセパレーターを含むcsvをRにインポートする 次のように実行できます。
txt <- 'OBJECTID,District_N,ZONE_CODE,COUNT,AREA,SUM
1,Bagamoyo,1,"136,227","8,514,187,500.000000000000000","352,678.813105723350000"
2,Bariadi,2,"88,350","5,521,875,000.000000000000000","526,307.288878142830000"
3,Chunya,3,"483,059","30,191,187,500.000000000000000","352,444.699742995200000"'
require(readr)
read_csv(txt) # = read_delim(txt, delim = ",")
期待される結果になる結果：
# A tibble: 3 × 6
OBJECTID District_N ZONE_CODE COUNT AREA SUM
<int> <chr> <int> <dbl> <dbl> <dbl>
1 1 Bagamoyo 1 136227 8514187500 352678.8
2 2 Bariadi 2 88350 5521875000 526307.3
3 3 Chunya 3 483059 30191187500 352444.7
readrライブラリの一部であるread_delim関数を使用して、追加のパラメーターを指定できます。
locale = locale(decimal_mark = ",")
read_delim("filetoread.csv", ';", locale = locale(decimal_mark = ","))
* 2行目のセミコロンは、read_delimがcsvセミコロンで区切られた値を読み取ることを意味します。
これは、コンマを含むすべての数字を適切な数字として読み取るのに役立ちます。
よろしく
マテウス・カニア
readr::parse_numberも使用できますが、列は文字でなければなりません。複数の列に適用する場合は、lapplyを使用して列をループできます。
df[2:3] <- lapply(df[2:3], readr::parse_number)
df
# a b c
#1 a 12234 12
#2 b 123 1234123
#3 c 1234 1234
#4 d 13456234 15342
#5 e 12312 12334512
または、dplyrからmutate_atを使用して、特定の変数に適用します。
library(dplyr)
df %>% mutate_at(2:3, readr::parse_number)
#Or
df %>% mutate_at(vars(b:c), readr::parse_number)
データ
df <- data.frame(a = letters[1:5],
b = c("12,234", "123", "1,234", "13,456,234", "123,12"),
c = c("12", "1,234,123","1234", "15,342", "123,345,12"),
stringsAsFactors = FALSE)
それはそれほど複雑ではありません、これを試してください：y <-as.numeric（gsub（ "、"、 ""、as.character（y）））そしてそれが列の1つである場合は、y $ 2でサブセット化できますy $ 2 <-as.numeric（gsub（ "、"、 ""、as.character（y $ 2）））のように
別の解決策：
y <- c("1,200","20,000","100","12,111")
as.numeric(unlist(lapply( strsplit(y,","),paste, collapse="")))
ただし、gsubよりもかなり遅くなります。