web-dev-qa-db-ja.com

RedshiftにTIMESTAMP列を挿入する方法

Redshiftでテーブルを作成しました。

create table myTable (
       dateTime TIMESTAMP NOT NULL,
       ...
);

しかし、dateTime ofを含むレコードを挿入しようとすると、stl_load_errorsからエラーが発生します。

20080215 04：05：06.789

docs からこのタイムスタンプを取得したので、うまくいくと思っていました。

Redshiftからのエラーログは次のとおりです。

無効なタイムスタンプ形式または値[YYYY-MM-DD HH24：MI：SS]

ただし、3秒余分に含めたいと思います。例：2015-02-01 15:49:35.123。

タイムスタンプフィールドを変更して、秒単位の精度で挿入するにはどうすればよいですか？

amazon-web-servicestimestampamazon-redshift
12
Kevin Meredith

TL; DR-S3ファイルからRedshiftにインポートする場合、インポートされたデータに、秒数を超える精度を取得するためにRedshiftが期待する_'YYYY-MM-DD HH:MI:SS'_のデフォルトの時刻形式を強制します。それ以外の場合は切り捨てられます。

S3からプルするためにアップロードしようとしたときに、この同じ問題に遭遇しました。私の元のJSONにはこのようなタイムスタンプがあります。 _{ "updated_at" : "2014-12-08T21:14:49.351638" }_。しかし、私がそれをRedshiftに取り込むときは、以前のTを含むフォーマットを設定する必要がありました。

_COPY schema.temp_table FROM 's3://s3-bucket/file-name' WITH CREDENTIALS 'aws_access_key_id=access-key;aws_secret_access_key=secret-key' format as json 'auto' timeformat 'YYYY-MM-DDTHH:MI:SS';_

これはすべてをインポートしましたが、時間は常に秒に切り捨てられたので、Redshiftで_2014-12-08 21:14:49_になってしまいました。

documentation は6桁まで正確にインポートする必要があるように見えますが、そうではありませんでした。

Redshiftにインポートするためにデフォルトのフォーマット_'YYYY-MM-DD HH:MI:SS'_を試すことにしたので、日付フィールドのJSONを正しいフォーマットto_char(updated_at, 'YYYY-MM-DD HH24:MI:SS.SSSSS') as updated_atにエクスポートするようにPostgresデータベースを変更する必要がありました。

この変更を行った後、新しいJSONが_{ "updated_at" : "2014-12-08 21:14:49.351638" }_としてエクスポートされ、Redshiftへのインポートのタイムフォーマットをデフォルトの_format as json 'auto' timeformat 'YYYY-MM-DD HH:MI:SS';_として設定しました

デフォルトのタイムフォーマットを使用するようにこの変更を行うことにより、Redshiftは正しい精度でタイムスタンプをインポートしました！

19
stsmurf

timeformat 'auto'およびdateformat 'auto'は私のフォーマットでうまく機能しました、2017-11-02T21:04:03.108Z。 http://docs.aws.Amazon.com/redshift/latest/dg/automatic-recognition.html にあるドキュメント

6
jet

コピーコマンドにこれを追加してくださいtimeformat 'YYYY-MM-DD HH：MI：SS';

詳細は this を参照してください

4
Sandesh Deshmane