ElasticSearch-人間の名前の検索
私は主にスコットランドからの名前の大規模なデータベースを持っています。現在、検索を実行する既存のソフトウェアを置き換えるプロトタイプを作成しています。これはまだ生産中であり、同じ検索の現在の結果にできるだけ近い結果を得ることを目指しています。
私は誰かが私を助けてくれることを望んでいました、Elastic Searchに検索を入力しています、クエリは "Michael Heaney"で、ワイルドな結果が得られます。現在の検索では、2つの主要な姓が返されます。「Heaney」と「Heavey」はすべて「Michael」という名前で、Elastic Searchで「Heaney」の結果を取得できますが、「Heavey」とESも取得できません。は "Michael"という姓のない人を返しますが、これはあいまいなクエリの一部であることが原因です。検索は1回だけなので、これは狭いユースケースであることはわかっていますが、この結果を取得し、それをどのように取得できるかを知ることは役立ちます。
ありがとう。
マッピング
{
"jr": {
"_all": {
"enabled": true,
"index_analyzer": "index_analyzer",
"search_analyzer": "search_analyzer"
},
"properties": {
"pty_forename": {
"type": "string",
"index": "analyzed",
"boost": 2,
"index_analyzer": "index_analyzer",
"search_analyzer": "search_analyzer",
"store": "yes"
},
"pty_full_name": {
"type": "string",
"index": "analyzed",
"boost": 4,
"index_analyzer": "index_analyzer",
"search_analyzer": "search_analyzer",
"store": "yes"
},
"pty_surname": {
"type": "string",
"index": "analyzed",
"boost": 4,
"index_analyzer": "index_analyzer",
"search_analyzer": "search_analyzer",
"store": "yes"
}
}
}
}'
インデックス設定
{
"settings": {
"number_of_shards": 2,
"number_of_replicas": 0,
"analysis": {
"analyzer": {
"index_analyzer": {
"tokenizer": "standard",
"filter": [
"standard",
"my_delimiter",
"lowercase",
"stop",
"asciifolding",
"porter_stem",
"my_metaphone"
]
},
"search_analyzer": {
"tokenizer": "standard",
"filter": [
"standard",
"my_metaphone",
"synonym",
"lowercase",
"stop",
"asciifolding",
"porter_stem"
]
}
},
"filter": {
"synonym": {
"type": "synonym",
"synonyms_path": "synonyms/synonyms.txt"
},
"my_delimiter": {
"type": "Word_delimiter",
"generate_Word_parts": true,
"catenate_words": false,
"catenate_numbers": false,
"catenate_all": false,
"split_on_case_change": false,
"preserve_original": false,
"split_on_numerics": false,
"stem_english_possessive": false
},
"my_metaphone": {
"type": "phonetic",
"encoder": "metaphone",
"replace": false
}
}
}
}
}'
ファジー
{
"from":0, "size":100,
"query": {
"bool": {
"should": [
{
"fuzzy": {
"pty_surname": {
"min_similarity": 0.2,
"value": "Heaney",
"prefix_length": 0,
"boost": 5
}
}
},
{
"fuzzy": {
"pty_forename": {
"min_similarity": 1,
"value": "Michael",
"prefix_length": 0,
"boost": 1
}
}
}
]
}
}
}
まず、Playで現在の構成を再作成しました： https://www.found.no/play/Gist/867785a709b4869c554
そこに行ったら、「分析」タブに切り替えて、テキストがどのように変換されるかを確認します。
たとえば、Heaneyは、[hn, heanei]でsearch_analyzerとしてトークン化され、[HN, heanei]でindex_analyzerとしてトークン化されることに注意してください。 metaphone-termの大文字と小文字の違いに注意してください。したがって、その1つは一致しません。
fuzzy- queryはクエリ時のテキスト分析を行いません。したがって、Heaveyとheaneiを比較することになります。これは Damerau-Levenshtein distance がパラメータの許容範囲よりも長くなっています。
本当にやりたいことは、matchのファジー機能を使用することです。一致doesクエリ時間のテキスト分析を行い、fuzzinessパラメータがあります。
fuzzinessについては、Lucene 4でこれが少し変更されました。以前は、通常、floatとして指定されていました。これで、許容距離として指定する必要があります。それを明確にするための優れたプルリクエストがあります： https://github.com/elasticsearch/elasticsearch/pull/4332/files
あなたが名前Michaelのない人を獲得している理由は、あなたがbool.shouldをしているからです。これにはORセマンティクスがあります。 1つが一致すれば十分ですが、スコアリングに関しては、一致する数が多いほど優れています。
最後に、それらすべてのフィルタリングを同じ用語に組み合わせることは、必ずしも最良のアプローチではありません。たとえば、正確なスペルを知り、ブーストすることはできません。 multi_field を使用してフィールドをさまざまな方法で処理することを検討する必要があります。
これはあなたが遊ぶことができる例です 、それを以下に再作成するためのcurlコマンドを使用します。ただし、このために "porter"ステマーの使用はすべてスキップします。 multi_fieldがどのように機能するかを示すためだけに残しました。一致の組み合わせを使用すると、あいまいさと一致し、音声の一致が遠くに届くはずです。 （音声マッチングを行う場合は、あいまいさを許可しないでください。そうしないと、不必要にあいまいなマッチングが発生します。:-)
#!/bin/bash
export ELASTICSEARCH_ENDPOINT="http://localhost:9200"
# Create indexes
curl -XPUT "$ELASTICSEARCH_ENDPOINT/play" -d '{
"settings": {
"analysis": {
"text": [
"Michael",
"Heaney",
"Heavey"
],
"analyzer": {
"metaphone": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"my_metaphone"
]
},
"porter": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"lowercase",
"porter_stem"
]
}
},
"filter": {
"my_metaphone": {
"encoder": "metaphone",
"replace": false,
"type": "phonetic"
}
}
}
},
"mappings": {
"jr": {
"properties": {
"pty_surename": {
"type": "multi_field",
"fields": {
"pty_surename": {
"type": "string",
"analyzer": "simple"
},
"metaphone": {
"type": "string",
"analyzer": "metaphone"
},
"porter": {
"type": "string",
"analyzer": "porter"
}
}
}
}
}
}
}'
# Index documents
curl -XPOST "$ELASTICSEARCH_ENDPOINT/_bulk?refresh=true" -d '
{"index":{"_index":"play","_type":"jr"}}
{"pty_surname":"Heaney"}
{"index":{"_index":"play","_type":"jr"}}
{"pty_surname":"Heavey"}
'
# Do searches
curl -XPOST "$ELASTICSEARCH_ENDPOINT/_search?pretty" -d '
{
"query": {
"bool": {
"should": [
{
"bool": {
"should": [
{
"match": {
"pty_surname": {
"query": "heavey"
}
}
},
{
"match": {
"pty_surname": {
"query": "heavey",
"fuzziness": 1
}
}
},
{
"match": {
"pty_surename.metaphone": {
"query": "heavey"
}
}
},
{
"match": {
"pty_surename.porter": {
"query": "heavey"
}
}
}
]
}
}
]
}
}
}
'