web-dev-qa-db-ja.com

Amazon S3でのRSYNCの使用

Amazon S3を使用して100 GB以下のサーバーイメージ（Acronisバックアップツールで作成）をバックアップしたい

明らかに、このS3への毎晩のアップロードは、帯域幅とコストの点で高価になります。私はS3でrsyncを使用することを検討していて、遭遇しました s3rsync。 誰かがこれや他のユーティリティを使用した経験があるかどうか疑問に思っていましたか？

rsyncamazon-s3
40
alex

私は最近Googleでこのスレッドを偶然見つけましたが、質問が行われてから状況が少し変わったようです。ここで提案されているソリューションのほとんどは、もはやメンテナンスされていないか、商用化されています。

Fuseと他のソリューションのいくつかでいくつかの不満が働いた後、Pythonを使用してS3とGoogleストレージ用の独自のコマンドラインrsync "クローン"を作成することにしました。

GitHubでプロジェクトをチェックアウトできます： http://github.com/seedifferently/boto_rsync

私が最近気づかされた別のプロジェクトは「重複」です。それはもう少し複雑に見え、ここで見つけることができます： http://duplicity.nongnu.org/

お役に立てれば。

[〜＃〜]更新[〜＃〜]

Pythonチームは、クラウドサービス用のボトベースのCLIプロジェクトに取り組んでいます。含まれているツールには、S3のインターフェイスが含まれています。 boto-rsyncが提供する機能：

https://github.com/aws/aws-cli

特に、syncコマンドは、rsyncとほぼ同じように機能するように構成できます。

http://docs.aws.Amazon.com/cli/latest/reference/s3/sync.html

36
Seth

私は S3cmd と S3sync の両方とも幸運でした。どちらも無料です。

10
Terrell

アクロニスイメージの作成方法によっては、どのような種類のrsyncでも帯域幅を節約できるとは思えません。 Acronisイメージは単一のファイルであるため、rsyncはそれらの内部を読み取って変更内容のみをバックアップすることはできません。また、どのような種類のサーバーイメージを作成しているのかはわかりませんが、100 GBと言ったので、フル容量と見なしますか？インクリメンタル画像は毎晩の画像サイズを大幅に削減し、帯域幅を節約します。また、イメージをテープメディアなどのS3以外の別の場所に保存し、オフサイトに保存することもできます。

7
churnd

私はS3rsyncを試したことはありません。

オフサイトのバックアップに重複を使用しています。 S3での増分バックアップをサポートしていますが、Amazon S3ストレージプロトコルではファイルを変更すると新しいファイル全体を再度アップロードする必要があるため、帯域幅は実際には節約されません。とにかく、重複は最後の増分バックアップとの差分のみをアップロードします。

Duplicityを使用すると、S3syncのように別のサーバーを経由する必要はありませんが、データを暗号化する場合は、S3syncを試してみる価値があります。

4
Lessfoe

S3には、AWS Import/Exportと呼ばれるアドオンサービスもあり、初期の100GbデータセットをUSBドライブに送信して、データセンターのバックエンドツールを使用してS3クラウドにロードすることができます。 100Gbの容量が増えたら、毎晩差分バックアップを実行して、変更されたすべてをバックアップできます。

サイトは http://aws.Amazon.com/importexport/ です。

データの大部分がかなり静的である場合、これは適切なオプションです。100Gbのデータ全体が毎日変化している場合、これはあまり役に立ちません。

1
monkeymagic

minio client aka "mc"を試すことができます。 mcは、Amazon S3互換のクラウドストレージおよびファイルシステムと連携するための最小限のツールを提供します。

mcは次のコマンドを実装します

  ls        List files and folders.
  mb        Make a bucket or folder.
  cat       Display contents of a file.
  pipe      Write contents of stdin to one or more targets. When no target is specified, it writes to stdout.
  share     Generate URL for sharing.
  cp        Copy one or more objects to a target.
  mirror    Mirror folders recursively from a single source to many destinations.
  diff      Compute differences between two folders.
  rm        Remove file or bucket [WARNING: Use with care].
  access    Manage bucket access permissions.
  session   Manage saved sessions of cp and mirror operations.
  config    Manage configuration file.
  update    Check for a new software update.
  version   Print version.

ミラーコマンドを使用して操作を実行できます。 「localdir」はローカルディレクトリであり、S3 [Amazon S3のエイリアス]およびS3上のバケットの「remoteDir」名です。

$ mc mirror localdir/ S3/remoteDir

同じもののためにcronjobを書くこともできます。また、ネットワークが暴走した場合でも、「$ mcセッション」を使用して、その特定の時間からアップロードを再開できます。

PS：私はminioプロジェクトに貢献しています。フィードバックや貢献をしてもらいたいです。それが役に立てば幸い。

0
koolhead17

新しい Jungle Disk Server Edition （ベータ版）が役立つかもしれません。ブロックレベルの重複除外機能があるため、Acronisイメージに共通点がある場合、バックアップに必要な量が大幅に削減されます。これらの機能はサーバーのバックアップに最適です。リリースノートを確認してください。

私は2週間ベータ版をテストしてきましたが、最終版で修正されると確信しているGUIのいくつかの小さな問題は別として、製品に興奮しています。

0
Martijn Heemels