Google Cloud Storageへのファイルのアップロードが遅い
Google Cloud Storageへのアップロード速度が非常に遅く、Googleドライブへのファイルのアップロードに比べて約2.5倍遅いことに気づきました。 1GBファイルのアップロードについて2つを比較するスクリーンキャストは次のとおりです。
https://gyazo.com/c3488bd56b8118043b7df5aab813db01
これは単なる例ですが、gsutilコマンドラインツールを使用して、大きなファイルを最速でアップロードするための提案（parallel_composite_upload_threshold）。それでも私が慣れているよりも遅いです。ずっと遅い。
このアップロード速度を改善する方法はありますか？ドライブへのアップロードがGCSへのアップロードよりもはるかに速いのはなぜですか？
まず、これらの製品はどちらも目的が異なります。ドライブはクラウドを使用した小規模なファイルストレージのように見えますが、Cloud Storageは、Google Cloud Platform製品との統合、データの信頼性、アクセシビリティ、小規模から大規模の可用性に重点を置いています。
Cloud Storageにファイルをアップロードする場合、ファイルは blobオブジェクト として扱われることを考慮する必要があります。つまり、オブジェクトデータの必要性など、追加の手順を実行する必要があります。 encrypted になり、Cloud Storageにアップロードされたときに、アップロードされたオブジェクトの consistency がチェックされます。
また、バケットの設定によっては、アップロードされたオブジェクトで バージョン管理 が有効になっている可能性があり、バケットが さまざまなリージョンに同時にデータを保存している である可能性があります。ファイルのアップロードが遅くなる可能性があります。
この点のいくつか、特に暗号化は、ドライブに比べてCloud Storageでのファイルのアップロードを遅くするものだと思います。
ただし、アップロード先のバケットを 地域に最も近いリージョン にすることをお勧めします。これにより、違いが生じる可能性があります。
あなたが知らなかった場合。 Googleバケットは、Googleドライブとは異なり、フィルターを使用します。 Googleバケットでは、何らかのフィルタを使用して、インデックスを作成します。減速する原因となります。グーグルは減速とこれを修正する方法を説明するビデオをしました。