web-dev-qa-db-ja.com

S3バケットから300万個のオブジェクトをダウンロードする最速の方法

Python + boto +マルチプロセッシング、S3cmd、J3tsetを使用してみましたが、すべてに苦労しました。

何か提案がありますか、おそらくあなたが使用している既製のスクリプト、または私が知らない別の方法ですか？

編集：

eventlet + botoは、以下で説明するように価値のあるソリューションです。ここで良いイベントレットのリファレンス記事を見つけました http://web.archive.org/web/20110520140439/http://teddziuba.com/2010/02/eventlet-asynchronous-io-for-g.html ==

現在使用しているpythonスクリプトを以下に追加しました。

pythonlinuxamazon-s3botoeventlet
30
Jagtesh Chadha

さて、@ MattBillenstienのヒントに基づいて解決策を見つけました。イベントレットライブラリを使用します。ここでは最初のステップが最も重要です（標準のモンキーパッチIOライブラリ）。

このスクリプトをNohupを使用してバックグラウンドで実行すると、準備が整います。

from eventlet import *
patcher.monkey_patch(all=True)

import os, sys, time
from boto.s3.connection import S3Connection
from boto.s3.bucket import Bucket

import logging

logging.basicConfig(filename="s3_download.log", level=logging.INFO)


def download_file(key_name):
    # Its imp to download the key from a new connection
    conn = S3Connection("KEY", "SECRET")
    bucket = Bucket(connection=conn, name="BUCKET")
    key = bucket.get_key(key_name)

    try:
        res = key.get_contents_to_filename(key.name)
    except:
        logging.info(key.name+":"+"FAILED")

if __name__ == "__main__":
    conn = S3Connection("KEY", "SECRET")
    bucket = Bucket(connection=conn, name="BUCKET")

    logging.info("Fetching bucket list")
    bucket_list = bucket.list(prefix="PREFIX")

    logging.info("Creating a pool")
    pool = GreenPool(size=20)

    logging.info("Saving files in bucket...")
    for key in bucket.list():
        pool.spawn_n(download_file, key.key)
    pool.waitall()
33
Jagtesh Chadha

イベントレットを使用してI/O並列処理を行い、urllibを使用して1つのオブジェクトをダウンロードする簡単な関数を記述し、次にGreenPileを使用してそれを入力URLのリストにマップします-50〜100個のグリーンレットを含むパイルで十分です...

5
Matt Billenstein