web-dev-qa-db-ja.com

ディスク速度はどのように測定され、何が高速ですか? 1500 GBのコピーにはどれくらい時間がかかりますか?

ディスク速度はどのように測定されますか? 1秒間に読み取られるメガビットまたはメガバイトですか?今日の平均とは何ですか?業界では何が速く、何が非常に速いですか?

たとえば、1500 GBのファイル(データベースファイルなど)のコピーを作成するのに長い時間がかかると誰かが言ったとしましょう。プロのシステムではどのくらいの時間がかかり、ハードディスクの速度を考慮に入れればどのように計算できますか。 ?

11
hol

ディスク速度は通常、以下で測定されます。

  • 1分あたりの回転数での回転速度(最低は4200rpm、次に5400、7200、10k、15k-これはSSDまたはフラッシュメモリには適用されません)。
  • インターフェース速度は、ディスクエレクトロニクスがディスクコントローラーにデータを送信しようとする最速の速度です(これらの範囲は、ATAの100MBpsからSATAの150/300/600 Mbps、ファイバーチャネルの2/4/8/16 Gbpsまで、さらにはPCIeの速度まで、 FusionIOなどのフラッシュベースのストレージ)。
  • シーク時間は、単にディスクの特定のセクターの読み取りまたは書き込みを開始するのにかかる時間です。これらは、ディスクの場合は3〜15ミリ秒、SSD /フラッシュディスクの場合はそのごく一部です。
  • 次に、期待できる実際の速度に到達します。気にする必要のある速度は4つあります。順次読み取り(非常に大きなデータブロックの読み取り)、順次書き込み(同じですが書き込み)、ランダム読み取り(ディスク全体からデータを取得)、ランダム書き込み。これらは大きく異なりますが、回転ディスクの場合、シーケンシャルな読み取りと書き込みでは25MBps〜150MBps、ランダムな読み取りと書き込みでは3MBps〜50Mpsのすべてが予想されます。 SSDは通常、シーケンシャルの場合は200MBpsの範囲にあり、ランダム操作の場合は通常は少し少なくなります。 FusionIOはすべてで1GBpsを簡単に達成できますが、通常は小型で高価です。

ご覧のとおり、実際の平均値はありません。何を購入するかについての推奨事項が必要な場合は、できるだけ多くの情報を使って、遠慮なくご連絡ください-これには、予算、アプリケーションタイプ、データセットサイズ、ユーザーベース、ハードウェア/ OSに加えて、役立つと思われるその他の情報が含まれます。

1.5TBのコピーに関しては、これをUSB 2接続の7200rpm SATAディスクに行った場合、少なくとも30MBps-40MBpsを取得する必要があるため、1.5TB全体で10時間以上かかる可能性があります。これが典型的なプロのDAS/SANシステムである場合、100MBpsの領域で期待すると、約3時間かかります。

これがお役に立てば幸いです。そして明確にするために、MB =メガバイト、Mbはメガビットです。

19
Chopper3

これらの種類の計算には、非常に多くの変数が関係しています。実世界のディスクシステムには多くの相互依存関係があります。単一のコンピューター内で:

  • ドライブ自体の実際の定格速度(通常はRPM、5200、7200、10K、15K)
  • 使用中のファイルシステム
  • RAIDシステムが使用されているかどうか
    • その場合、RAIDカードのパフォーマンス
    • RAIDのタイプ
  • 使用中のオペレーティングシステム
  • 読み取り操作と書き込み操作のパフォーマンス特性は完全に異なります
  • 操作の読み取り/書き込み比率
  • 順次操作の場合、ストレージの断片化係数

ご覧のとおり、ディスク自体の速度は多くの要因の1つにすぎません。それは大まかな要因ですが、それでも多くの1つです。 1.5TBのコピーがすべて同じディスク上にある場合、ディスクは(95%の確率で)100%のランダムな読み取り/書き込みパフォーマンスを実行します。これは通常、最悪のパフォーマンスメトリックになります。あるディスクから別のディスクへのコピーであり、データが100%シーケンシャルであり、ターゲットディスクが完全に空の場合、このディスクサブシステムで可能な最高速のパフォーマンスが得られます。実世界のパフォーマンスは、これらの2つの極端の間のどこかになります。

2つの別個のサーバー間でコピーする場合は、さらに多くの要因が関係します。

3Gb(gigaBIT)SASチャネルをほぼシーケンシャルな操作で実行すると飽和する可能性がある作業中のストレージアレイがあります。6Gbを使用している場合SASランダムI/Oの場合、この特定のシステムのパフォーマンスは、OSの種類によって大きく異なります(たとえば、OpenSolarisは最悪のランダムI/Oであり、Linux XFSは係数3で最高です)。

この質問に決定的に答えるには変数が多すぎます。

8
sysadmin1138

1.5TBのデータのコピーにかかる時間は、データのタイプに大きく依存します。 1GBのファイルが1,500個ある場合、おそらく数時間しかかかりませんが、10億個の1KBのファイルがある場合は、おそらく数日かかります。

これは、ディスクの2つの仕様(スループットと平均アクセス時間)が競合するためです。 100MB /秒のスループットと10MSアクセス時間の従来のディスクはかなり一般的です。データを順次ストリーミングできる場合、100MB /秒を取得できます。ただし、別の場所にジャンプする必要がある場合は10ミリ秒かかります。ストリーミングを行っていた場合、別の場所にジャンプするのにかかる時間に1MBのデータを書き込むことができます。

ファイルの作成には数回のシークが必要な場合があるため、1KBのファイルを作成すると、数MBのデータをストリーミングするのと同じくらい「コスト」がかかります。

そのため、場合によっては、rsyncなどの方法でファイルシステムにコピーするよりも、ブロックデバイスのrawディスクコピーを実行する方が良い場合があります。多くのファイルがある場合、たとえば50%以上が満杯のファイルシステムでは、時間がかかる限り、「dd」を介して完全なブロックデバイスをコピーする方がよい場合がよくあります。もちろん、ファイルシステムがマウントされている間はこれを行うことができないため、これには欠点もあります。

SSDは、アクセス時間が約100倍高速であるため、これを軽減するのに役立ちますが、MLC SSDドライブには、事前に消去されたブロックのプールの可用性に応じて複雑なアクセスの問題があります。 SLC SSDはこれを助けることができます。

組み込みキャッシュを備えたRAIDコントローラーは、SSDを介してブロックデバイスをキャッシュできるflashcacheカーネルモジュールのようなシークに役立ちます。

RAIDシステムは、複数の並列シークを可能にし、平均アクセス時間を効果的に削減し、並列化してスループットを向上させることもできます。ただし、全体的なパフォーマンスは、多くの場合、関連するファイルの数に依存します。

3