web-dev-qa-db-ja.com

バケット内のオブジェクトに対するS3制限

S3バケットに入れることができるオブジェクトの数に制限があるかどうかは誰にもわかりますか？ 100万、1000万などをすべて1つのバケットに入れることはできますか？

amazon-s3amazon-web-services
77
Quotient

Amazonによると：

それぞれ1バイトから5テラバイトのデータを含むオブジェクトを書き込み、読み取り、削除します。保存できるオブジェクトの数は無制限です。

出典： http://aws.Amazon.com/s3/details/ 2015年9月3日現在。

84
PurplePilot

制限が変更されたようです。 1つのオブジェクトに5TBを保存できます。

保存できるデータの総量とオブジェクトの数には制限がありません。個々のAmazon S3オブジェクトのサイズの範囲は、最小0バイトから最大5テラバイトです。 1つのPUTにアップロードできる最大のオブジェクトは5ギガバイトです。 100メガバイトを超えるオブジェクトの場合、マルチパートアップロード機能の使用を検討する必要があります。

http://aws.Amazon.com/s3/faqs/#How_much_data_can_I_store

16
Ryan White
  • バケットごとのオブジェクトに制限はありません。
  • アカウントあたり100バケットの制限があります（さらに必要な場合はAmazonにリクエストする必要があります）。
  • 1つのバケットに何百万ものオブジェクトを保存しても、パフォーマンスの低下はありません。

ドキュメントから、

バケットに格納できるオブジェクトの数に制限はありません。また、使用するバケットの数が多くても少数でも、パフォーマンスに違いはありません。すべてのオブジェクトを1つのバケットに保存することも、複数のバケットに整理することもできます。

2016年8月現在

9
rahimv

単一のバケットに無制限の数のファイル/オブジェクトを保存できますが、バケットの「ディレクトリ」をリストする場合、デフォルトではそのバケットの最初の1000個のファイル/オブジェクトのみが提供されます。このような大きな「ディレクトリ」内のすべてのファイルにアクセスするには、APIを複数回呼び出す必要があります。

4
Dave Strickler

S3バケットに保存できるオブジェクトの数に制限はありません。 AWSは、無制限のストレージがあると主張しています。ただし、いくつかの制限があります-

  1. デフォルトでは、顧客はAWSアカウントごとに最大100個のバケットをプロビジョニングできます。ただし、AWS Service Limitsにアクセスして、Amazon S3バケットの制限を増やすことができます。
  2. オブジェクトは0バイトから5TBまで可能です。
  3. 単一のPUTでアップロードできる最大オブジェクトは5ギガバイトです
  4. 100メガバイトを超えるオブジェクトの場合、マルチパートアップロード機能の使用を検討する必要があります。

S3バケットに格納するオブジェクトが本当に多い場合は、オブジェクト名のプレフィックスをランダム化してパフォーマンスを向上させることを検討してください。

ワークロードが要求タイプの混合である場合、キー名にプレフィックスとしてハッシュ文字列を追加することにより、キー名にランダム性を導入します。キー名にランダム性を導入すると、I/O負荷が複数のインデックスパーティションに分散されます。たとえば、キーとして割り当てる予定の文字シーケンスのMD5ハッシュを計算し、ハッシュから3または4文字をプレフィックスとしてキー名に追加できます。

詳細- https://aws.Amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/

-2018年6月現在

1
Aniket Thakur

「バケット内に必要な数のオブジェクトを保存し、バケット内のオブジェクトを書き込み、読み取り、削除できます。オブジェクトのサイズは最大5テラバイトです。」

from http://aws.Amazon.com/s3/details/ （2015年3月4日現在）

0
Yoga