web-dev-qa-db-ja.com

UNIXタイムスタンプをSparkで日付に変換する方法

UNIXタイムスタンプの列を持つデータフレーム（例：1435655706000）があり、それを 'yyyy-MM-DD'形式のデータに変換したいのですが、nscala-timeを試しましたが、機能しません。

val time_col = sqlc.sql("select ts from mr").map(_(0).toString.toDateTime)
time_col.collect().foreach(println)

エラーが発生しました：Java.lang.IllegalArgumentException：Invalid format： "1435655706000" is malformed at "6000"

scaladatetimeapache-sparktimestampnscala-time
29
youngchampion

Spark1.5以降、それを行うための組み込みUDFがあります。

val df = sqlContext.sql("select from_unixtime(ts,'YYYY-MM-dd') as `ts` from mr")

詳細については、 Spark 1.5.2 API Doc を確認してください。

23
Yuan Zhao

ここではScala DataFrame関数を使用しています： from_unixtime および to_date

// NOTE: divide by 1000 required if milliseconds
// e.g. 1446846655609 -> 2015-11-06 21:50:55 -> 2015-11-06 
mr.select(to_date(from_unixtime($"ts" / 1000)))
20
Gevorg
import org.joda.time.{DateTimeZone}
import org.joda.time.format.DateTimeFormat

次のライブラリをインポートする必要があります。

val stri = new DateTime(timeInMillisec).toDateTime.toString("yyyy/MM/dd")

またはあなたのケースに合わせて調整：

 val time_col = sqlContext.sql("select ts from mr")
                     .map(line => new DateTime(line(0).toInt).toDateTime.toString("yyyy/MM/dd"))

別の方法があります：

  import com.github.nscala_time.time.Imports._

  val date = (new DateTime() + ((threshold.toDouble)/1000).toInt.seconds )
             .toString("yyyy/MM/dd")

お役に立てれば ：）

14
Hammad Haleem

NDataa_timeでtoDataTimeを適用する前に文字列に変換する必要はありません

import com.github.nscala_time.time.Imports._

scala> 1435655706000L.toDateTime
res4: org.joda.time.DateTime = 2015-06-30T09:15:06.000Z

`

6
Orar

joda-time ライブラリを使用してDataFrameにマッピングし、DateTimeを文字列：

import org.joda.time._
val time_col = sqlContext.sql("select ts from mr")
                         .map(line => new DateTime(line(0)).toString("yyyy-MM-dd"))
6
youngchampion

Javaで次の構文を使用できます

input.select("timestamp)
            .withColumn("date", date_format(col("timestamp").$div(1000).cast(DataTypes.TimestampType), "yyyyMMdd").cast(DataTypes.IntegerType))
1
Alex Stanovsky

できることは：

input.withColumn("time", concat(from_unixtime(input.col("COL_WITH_UNIX_TIME")/1000,
"yyyy-MM-dd'T'HH:mm:ss"), typedLit("."), substring(input.col("COL_WITH_UNIX_TIME"), 11, 3), 
typedLit("Z")))

ここで、timeは新しい列名であり、COL_WITH_UNIX_TIMEは変換する列の名前です。これにより、ミリ秒単位でデータが得られ、次のようにデータがより正確になります："yyyy-MM-dd'T'HH:mm:ss.SSS'Z'"

1
Abhinav Kaushal Keshari