AWSS3からAzureへのビッグデータの移行
AWSS3バケットには85TBのデータがあります。 Azureに移動するための最良のオプションは何ですか？
現在、2つのオプションがあります。
- 購入するには AWS Snowball Edge 。そこからAzureにデータをインポートできますか？
- 購入するには Azureデータボックス 。 AWSからAWSにデータをエクスポートできますか？
もう1つの問題は、データが膨大な数の小さなファイル（画像）であるということです。それぞれのデバイスを選択した場合、AWSはGETリクエストに対して、AzureはPUTリクエストに対して課金しますか？
このデータを移動するための最新のサービスについて話し合うために、AmazonとAzureの両方に電話します。
私の経験から、2つの選択肢があります。
- Azureを使用したネットワーク経由のデータ転送。 Azureは、Azure Data Factoryというサービスを提供します。これは、多数のベンダーやサービスからAzureへのデータの移動をサポートします。ゲット、プット、データ転送などの料金を支払う必要があります。
- データ転送デバイス。 AmazonとAzureはどちらも、物理デバイスを使用してデータをクラウドにエクスポート/インポートすることをサポートしています。 Snowballで配信されるAmazonにエクスポートサービスを注文します。次に、Snowballから、インポートのためにAzureに送信する物理ディスクドライブにデータをコピーします。
85 TBは今日の大量のデータではありません（85 PBになるでしょう）。したがって、データ転送時間は、Amazonからエクスポートし、データをコピーしてからインポートするよりも、ネットワーク経由の方がおそらく短くなります。 Azure。現実の世界を考えると、これにはおそらくネットワーク経由で1週間、エクスポート/インポートに1か月かかります。これは、データがエラーなしで転送されたことを実際に確認する時間を考慮していません。このフェーズにはおそらくさらに1〜2週間かかります。
厳密に電信送金の場合は、Cloud Berry Labsのドライブのような製品を使用すると、S3ストレージとAzureストレージを文字付きドライブとしてマッピングできます。次に、それらの間で簡単にコピーできます。ネットワーク上でドライブを共有する必要がないため、クライアントバージョンで必要なすべてを実行できると思います。
このソフトウェアに関する1つの注意点は、転送時にファイルをバッファリングするため、Windowsは転送が完了したことを示す場合がありますが、キュー内では、特にマルチパートアップロードを実行する必要がある大きなファイルの場合はまだ転送中です。