web-dev-qa-db-ja.com

elasticsearchサーバーのメモリ要件を決定する方法

ここにシナリオがあります

約1.4 TBのデータを持つElasticsearch DB

 _shards": {
     "total": 202,
     "successful": 101,
     "failed": 0
}

各インデックスサイズは約3 GB〜30 GBで、近い将来、毎日30 GBのファイルサイズになると予想されます。

OS情報：

 NAME="Red Hat Enterprise Linux Server"
 VERSION="7.2 (Maipo)"
 ID="rhel"
 ID_LIKE="Fedora"
 VERSION_ID="7.2"
 PRETTY_NAME="Red Hat Enterprise Linux Server 7.2 (Maipo)"

システムには32 GBのRAMがあり、ファイルシステムは2TB（1.4TBが使用されています）。Elasticsearchサーバーに最大15 GBを構成しました。サーバーは、サーバーでの単一のクエリヒットでハングします。

使用可能なファイルシステムの合計サイズが3TBになるように、このサーバーのファイルシステムに1TBを含めます。また、メモリを128GBに増やす予定です。これは概算です。

サーバーが少なくとも50件の要求に同時に応答するために必要な最小RAMを決定する方法を計算するのを手伝ってくれませんか？

この要件を分析するためのツール/式を提案できれば、非常にありがたいです。また、数字を使って他のシナリオを教えていただければ、それを使用してリソースの必要性を判断できると便利です。

elasticsearchmemoryfilesystemsredhat
8
siva

効率を維持するには、複数のノードを使用してスケーリングする必要があります。 Elasticsearchのノードごとのメモリスイートスポットは64 GBで、32 GBはES用に予約されています。

https://www.elastic.co/guide/en/elasticsearch/guide/current/hardware.html#_memory 詳細については。あなたが深刻なもののためにElasticsearchを使用している場合、本は非常に良い読書です

1
Christian Hubinger

これにより、ヒープのサイジングとメモリ管理の概要がわかり、自分で答えることができます。 https://www.elastic.co/guide/en/elasticsearch/guide/current/heap-sizing.htmlhttps://www.elastic.co/guide/en/ elasticsearch/guide/master/_limited_memory_usage.html

0
avp