web-dev-qa-db-ja.com

Windows Serverで数千万のファイルを継続的に一方向に複製するためのオプションはありますか?

非常に大きなWindowsファイルストア(数テラバイトと数千万のファイル)があり、可能な限りリアルタイムに近い状態で、別のサーバーへの継続的なレプリケーションを維持したいと考えています。これを実現するツールのオプションを探しています。

これまでのところ私は思いついた:

  • NASまたはSANおよびファイルを共有に移動します。機能しません。少なくとも六ヶ月。
  • / MONでrobocopyを使用。サイクルごとにツリー全体を再スキャンするため、レプリケーションソースリソースの浪費が心配です。 (/ MONは、新しいサイクルをトリガーする前にファイルの変更を監視しますが、実行ごとにフルスキャンが実行され、実際にはファイルの変更データは使用されません。)
  • Rsync。 robocopyに勝るものはありません。
  • [〜#〜] dfs [〜#〜]。何百万もの小さなファイルがあるストアのDFSについて、MSの人々から非常に悪いことを聞いたことがあります。おそらく私たちのファイルの半分は非常に小さいです。
  • ハイブリッド。独自のツールを作成するか、ファイルウォッチャーを使用してコピーする必要のあるファイルをターゲットにするツールをオンラインで見つけます。バッファがオーバーフローする可能性はありますが、それでも毎晩robocopyを実行して、見逃したものをすべてピックアップします。
  • バックアップベース。バックアップソフトウェアが非常に高速な増分スナップショットを実行できる、ある種のクレイジーなスクリプトによるバックアップ/復元。

どんなアイデアでも大歓迎です、ありがとう!

4
scobi

使用するものが何であれ、ファイルシステムを効果的に「ポーリング」しないように、NTFS変更ジャーナルを使用していることを確認してください。たとえば、「robocopy/MON」はNTFS変更ジャーナルを使用しないため、ファイルシステムを「ポーリング」するだけです。

SureSync を使用して、数百万の大小のファイル(約1.5TB)を「ホットスタンバイ」ファイルサーバーコンピューターに複製するお客様がいます。それは彼らにとってうまく機能します。 NTFS変更ジャーナルを使用して、ボリュームの変更に遅れないようにします。デルタ圧縮とサーバー間通信専用のネットワークインターフェイスの使用をサポートします。 (私は会社とは関係がありません。私はツールが好きです。)

2
Evan Anderson

DFS-Rについて否定的なことを言う人を聞いたのはこれが初めてです。私たちの経験は前向きなものに過ぎません。

いずれにせよ、DFS-Rを試すことから始めます。これは、既に持っているWindowsライセンス以外に追加のハードウェアやソフトウェアを必要としないためです(Enterpriseエディションをお持ちの場合)。セットアップも非常に簡単です。

私たちが管理する最大のDFS-Rボリュームは、約200GBと100万を少し超えるファイルです。明らかに、これはあなたが持っているものよりもはるかに小さいですが、それでもかなり大きいです。内容は主にソフトウェアインストールパッケージです(その一部には何千もの小さなファイルが含まれています)。以前はこのストアをNTFRSで複製していましたが、問題がありました。 2003 R2がリリースされたときにDFS-Rにアップグレードしましたが、それは昼と夜の違いでした。その後、サーバーは2008年にアップグレードされ、問題なくハミングしています。

パフォーマンスのために、ステージングボリュームを別のスピンドルセットにセットアップする必要があります。また、かなり大きく構成する必要があります。しかし、私は実際には詳細の専門家ではありません。最大のファイルの大きさと、定期的に発生するチャーンの量によって異なる可能性があります。 Microsoft PSSの人々は、これについてより良いアドバイスを提供するでしょう。

それで、それをセットアップして、それが十分に機能するかどうか確かめてください。そうでない場合、あなたが失ったのはしばらくの間だけです。

1
Ryan Bolger