web-dev-qa-db-ja.com

Pandas in Pythonを使用してs3バケットからcsvファイルを読み取る方法

次のコードを使用して、AWS S3バケットにあるCSVファイルをpandas dataframeとしてメモリに読み込もうとしています。

import pandas as pd
import boto

data = pd.read_csv('s3:/example_bucket.s3-website-ap-southeast-2.amazonaws.com/data_1.csv')

完全なアクセス権を付与するために、S3バケットのバケットポリシーを次のように設定しました。

{
"Version": "2012-10-17",
"Id": "statement1",
"Statement": [
    {
        "Sid": "statement1",
        "Effect": "Allow",
        "Principal": "*",
        "Action": "s3:*",
        "Resource": "arn:aws:s3:::example_bucket"
    }
]

}

残念ながら、Pythonでは次のエラーが発生します。

boto.exception.S3ResponseError: S3ResponseError: 405 Method Not Allowed

AWS S3でアクセス許可を正しく設定する方法、またはpandasを正しく構成してファイルをインポートする方法のいずれかです。

pythonamazon-web-servicespandasamazon-s3
9
Paul_M

pandas 0.20.3を使用

import os
import boto3
import pandas as pd
import sys

if sys.version_info[0] < 3: 
    from StringIO import StringIO # Python 2.x
else:
    from io import StringIO # Python 3.x

# get your credentials from environment variables
aws_id = os.environ['AWS_ID']
aws_secret = os.environ['AWS_SECRET']

client = boto3.client('s3', aws_access_key_id=aws_id,
        aws_secret_access_key=aws_secret)

bucket_name = 'my_bucket'

object_key = 'my_file.csv'
csv_obj = client.get_object(Bucket=bucket_name, Key=object_key)
body = csv_obj['Body']
csv_string = body.read().decode('utf-8')

df = pd.read_csv(StringIO(csv_string))
19
jpobst

パンダは必要ありません。Pythonのデフォルトのcsvライブラリを使用できます。

def read_file(bucket_name,region, remote_file_name, aws_access_key_id, aws_secret_access_key):
    # reads a csv from AWS

    # first you stablish connection with your passwords and region id

    conn = boto.s3.connect_to_region(
        region,
        aws_access_key_id=aws_access_key_id,
        aws_secret_access_key=aws_secret_access_key)

    # next you obtain the key of the csv you want to read
    # you will need the bucket name and the csv file name

    bucket = conn.get_bucket(bucket_name, validate=False)
    key = Key(bucket)
    key.key = remote_file_name
    data = key.get_contents_as_string()
    key.close()

    # you store it into a string, therefore you will need to split it
    # usually the split characters are '\r\n' if not just read the file normally 
    # and find out what they are 

    reader = csv.reader(data.split('\r\n'))
    data = []
    header = next(reader)
    for row in reader:
        data.append(row)

    return data

それがあなたの問題を解決することを願って、幸運を！ :)

5
BigDataSaurius

次のコードを使用してオブジェクトを抽出するには、バケット内の個々のオブジェクトにも権限を設定する必要があることを最終的に理解しました。

from boto.s3.key import Key
k = Key(bucket)
k.key = 'data_1.csv'
k.set_canned_acl('public-read')

また、pd.read_csvコマンドでバケットのアドレスを次のように変更する必要もありました。

data = pd.read_csv('https://s3-ap-southeast-2.amazonaws.com/example_bucket/data_1.csv')
3
Paul_M

この答え に基づいて smart_open S3からの読み取りのために、これは私がパンダでそれを使用した方法です：

import os
import pandas as pd
from smart_open import smart_open

aws_key = os.environ['AWS_ACCESS_KEY']
aws_secret = os.environ['AWS_SECRET_ACCESS_KEY']

bucket_name = 'my_bucket'
object_key = 'my_file.csv'

path = 's3://{}:{}@{}/{}'.format(aws_key, aws_secret, bucket_name, object_key)

df = pd.read_csv(smart_open(path))
1
kepler