Javaのファジー文字列検索ライブラリ

Question

私は高性能なJavaライブラリを探しています。

同様の文字列、レーベンシュタイン距離、Daitch-Mokotoff Soundex、n-gramなどを見つけるための多くのアルゴリズムがあります。

Java実装が存在しますか？実装の長所と短所はありますか？Lucene、他のソリューション、またはLuceneが最適ですか？

私はこれらを見つけました、誰かがそれらを使った経験がありますか？

JodaStephen · Answer

Commons Langには、レーベンシュタイン距離の実装があります。

Commons Codecには、 soundex および metaphone の実装があります。

Henno Vermeulen · Answer

Apache Luceneを使用できますが、ユースケースによってはこれが重すぎる可能性があります。非常に単純なファジー検索では、使用するのが少し複雑になる場合があります（間違っている場合は修正してください）。インデックスを作成する必要があります。

簡単なオンライン（=インデックスを維持しない）アルゴリズムが必要な場合は、ファジー Bitapアルゴリズムを使用できます。私はJava here で実装を見つけました。これは、ほとんど自己説明的なシグネチャを持つ単一の比較的短いメソッドに収まるコードです。

public static List<Integer> find(String doc, String pattern, int k)

Apache Commons StringUtilsには、ファジー文字列マッチングのためのレーベンシュタインアルゴリズムの実装があります。 String.equalsのファジーバージョンとして見ることができます。BitapはString.indexOfのファジーバージョンに似ており、まだレーベンシュタイン距離測定を使用しています。通常、Levenshteinを単純に使用して、検索パターンと一致する可能性のある各部分文字列を比較するよりも効率的です。

注：

Bitapアルゴリズムは、比較的小さなアルファベット、たとえばプレーンASCII。実際、私がリンクしたSimon Watiauバージョンは、非ASCII文字（> = 128）でArrayIndexOutOfBoundsExceptionをスローするため、これらを除外する必要があります。
名前でメモリ内の人のリストを検索するアプリケーションでBimapを使用してみました。レーベンシュタイン距離が2の場合、誤検出が多すぎることがわかりました。 Levenhsteinの距離1はより効果的ですが、2つの文字を入れ替えるタイプミスを検出できません。「ウィリアム」と「ウィラム」。これを解決するいくつかの方法を考えることができます。
1. 正確な検索で一致するものが見つからない場合にのみファジー検索を実行します（これについてユーザーにメッセージを表示します）
2. bitapを調整して、スワップの距離が2ではなくDamerau-Levenshteinの距離を使用するようにします。 wikipedia によると、これは可能ですが、Javaの既存の実装が見つかりませんでした。
3. 「含む」の代わりに「startsWith」を実行します。ファジー検索ツールには、Damerau-Levenshteinのプレフィックスバージョンが含まれていますが、ArrayIndexOutOfBoundsException
4. アルゴリズムを調整して、完全一致のスコアが高い検索結果ランキングを導入します
2または4を実行する場合は、とにかくLuceneのような適切なフルテキスト検索ライブラリを使用した方が良い場合があります。
ファジー検索の詳細については、このブログをご覧ください。作成者は、BitapOnlineSearcherと呼ばれる Javaでの実装を作成しましたが、Java.io.ReaderをAlphabetクラスと一緒に使用する必要があります。 Javadocはロシア語で書かれています。