大きなディレクトリにコピーするとAWS S3 Syncが非常に遅くなる

Question

AWS-CLIを使用してS3の空のディレクトリにデータを同期する場合、ほとんど瞬時です。ただし、大きなディレクトリ（数百万のフォルダ）と同期する場合、ファイルのアップロード/同期を開始するまでに非常に長い時間がかかります。

別の方法はありますか？同期する前にS3ディレクトリ内のすべてのファイルを考慮に入れようとしているようです。これは必要ありません。事前に確認せずにデータをアップロードしても問題ありません。

Answer 1

syncコマンドは、ローカルファイルがバケットにすでに存在するかどうか、およびローカルファイルと同じかどうかを判断するために、バケット内のすべてのファイルを列挙する必要があります。バケット内のドキュメントが多いほど、時間がかかります。

このsync動作が必要ない場合は、次のような再帰的なコピーコマンドを使用してください。

aws s3 cp --recursive . s3://mybucket/

これにより、現在のディレクトリにあるすべてのローカルファイルがS3のバケットにコピーされます。