this のようなログファイルがあります。
私はMessage
列のJSONを次のように解析しようとしています:
library(readr)
library(jsonlite)
df <- read_csv("log_file_from_above.csv")
fromJSON(as.character(df$Message))
ただし、次のエラーが発生します。
Error: parse error: trailing garbage
"isEmailConfirmed": false } { "id": -1, "firstName":
(right here) ------^
「末尾のゴミ」を取り除くにはどうすればよいですか?
fromJSON()
は、文字ベクトルに対して「適用」するのではなく、すべてをデータフレームに変換しようとしています。あなたが試すことができます
purrr::map(df$Message, jsonlite::fromJSON)
@Abdouが提供したものまたは
jsonlite::stream_in(textConnection(gsub("\\n", "", df$Message)))
後者の2つはデータフレームを作成します。 1つ目は、列として追加できるリストを作成します。
dplyr::bind_cols
で最後のメソッドを使用して、すべてのデータを含む新しいデータフレームを作成できます。
dplyr::bind_cols(df[,1:3],
jsonlite::stream_in(textConnection(gsub("\\n", "", df$Message))))
@Abdouによって提案されているのは、ほぼ純粋なベースRソリューションです。
cbind(df, do.call(plyr::rbind.fill, lapply(paste0("[",df$Message,"]"), function(x) jsonlite::fromJSON(x))))
完全で機能するワークフロー:
library(dplyr)
library(jsonlite)
df <- read.table("http://Pastebin.com/raw/MMPMwNZv",
quote='"', sep=",", stringsAsFactors=FALSE, header=TRUE)
bind_cols(df[,1:3], stream_in(textConnection(gsub("\\n", "", df$Message)))) %>%
glimpse()
##
Found 3 records...
Imported 3 records. Simplifying into dataframe...
## Observations: 3
## Variables: 19
## $ Id <int> 35054, 35055, 35059
## $ Date <chr> "2016-06-17 19:29:43 +0000", "2016-06-17 1...
## $ Level <chr> "INFO", "INFO", "INFO"
## $ id <int> -2, -1, -3
## $ ipAddress <chr> "100.100.100.100", NA, "100.200.300.400"
## $ howYouHearAboutUs <chr> NA, "Radio", NA
## $ isInterestedInOffer <lgl> TRUE, FALSE, TRUE
## $ incomeRange <int> 60000, 1, 100000
## $ isEmailConfirmed <lgl> FALSE, NA, TRUE
## $ firstName <chr> NA, "John", NA
## $ lastName <chr> NA, "Smith", NA
## $ email <chr> NA, "[email protected]", NA
## $ city <chr> NA, "Smalltown", NA
## $ birthDate <chr> NA, "1999-12-10T05:00:00Z", NA
## $ password <chr> NA, "*********", NA
## $ agreeToTermsOfUse <lgl> NA, TRUE, TRUE
## $ visitUrl <chr> NA, NA, "https://www.website.com/?purpose=X"
## $ isIdentityConfirmed <lgl> NA, NA, FALSE
## $ validationResults <lgl> NA, NA, NA