web-dev-qa-db-ja.com

boto3 Pythonを使用して、aws s3バケット間でファイルとフォルダーを再帰的にコピーできますか？

Boto3を使用して、1つのソースバケット内のすべてのファイルを他のターゲットバケットにコピーすることは可能ですか？また、ソースバケットには通常のフォルダ構造はありません。

Source bucket: SRC
Source Path: A/B/C/D/E/F..
where in D folder it has some files,
E folder has some files

Target bucket: TGT
Target path: L/M/N/

Boto3を使用して、SRCバケットの上からすべてのファイルとフォルダーをフォルダーCからNフォルダーの下のTGTバケットにコピーする必要があります。

誰でも任意のAPIを認識できますか、またはこのタスクを完了するために新しいpythonスクリプトを記述する必要がありますか？.

pythonamazon-web-servicesamazon-s3aws-lambdaboto3
8
Gowthaman Javi

S3ストアオブジェクト。フォルダーを格納しません。「/」または「\」がオブジェクトキー名の一部であっても同様です。キー名を操作してデータをコピーするだけです。

import boto3
old_bucket_name = 'SRC'
old_prefix = 'A/B/C/'
new_bucket_name = 'TGT'
new_prefix = 'L/M/N/'
s3 = boto3.resource('s3')
old_bucket = s3.Bucket(old_bucket_name)
new_bucket = s3.Bucket(new_bucket_name)

for obj in old_bucket.objects.filter(Prefix=old_prefix):
    old_source = { 'Bucket': old_bucket_name,
                   'Key': obj.key}
    # replace the prefix
    new_key = obj.key.replace(old_prefix, new_prefix, 1)
    new_obj = new_bucket.Object(new_key)
    new_obj.copy(old_source)

Zvikicoによって提案されたnew_keyを定義する最適化された手法：

new_key = new_prefix + obj.key[len(old_prefix):]
24
mootmoot