web-dev-qa-db-ja.com

AWS mysql RDSからAWS Elasticsearchにデータを取得する最も簡単な方法は？

AWS RDSにデータがあり、それをAWS ESインスタンスにパイプライン接続したい（できれば1時間に1回など）。

ローカルのmysqlデータベースとElasticsearchデータベースがあるローカルマシンでは、Logstashを使用してこれを簡単に設定できました。

同じことを行う「ネイティブ」のAWS方法はありますか？または、EC2サーバーをセットアップして自分でLogstashをインストールする必要がありますか？

amazon-web-serviceselasticsearchlogstashamazon-elasticsearch
12
Sam Fen

ローカルのLogstashでも同じことができます。jdbc入力をRDSデータベースにポイントし、elasticsearch出力をAWS ESインスタンスにポイントするだけです。これを定期的に実行する必要がある場合は、そうです。小さなインスタンスをセットアップして、Logstashを実行する必要があります。

同じことを実現するためのより「ネイティブな」AWSソリューションには、 Amazon Kinesis および AWS Lambda の使用が含まれます。

これが 良い記事 ですべてを接続する方法の説明です。

  • rDSデータをKinesisストリームにストリーミングする方法
  • lambda関数を構成してストリームを処理する
  • AWS ESインスタンスにデータをプッシュする
12
Val

Amazon DMSをご覧ください。通常はDBの移行に使用されますが、継続的なデータレプリケーションもサポートします。これにより、プロセスが簡略化され、費用対効果が高くなる可能性があります。

AWS Database Migration Serviceを使用して、継続的なデータレプリケーションを実行できます。継続的なデータレプリケーションには、災害復旧インスタンスの同期、データベースの地理的な分散、開発/テスト環境の同期など、さまざまな使用例があります。サポートされているすべてのデータベースエンジンの同種データレプリケーションと異種データレプリケーションの両方にDMSを使用できます。ソースまたは宛先データベースは、Amazon EC2インスタンスで実行されているAWSの外の独自の施設に配置することも、Amazon RDSデータベースにすることもできます。単一のデータベースから1つ以上のターゲットデータベースにデータを複製したり、複数のソースデータベースからのデータを統合して1つ以上のターゲットデータベースに複製したりできます。

https://aws.Amazon.com/dms/

0
Ben Yitzhaki