web-dev-qa-db-ja.com

Rでの文字列比較に基づく類似性スコア（距離の編集）

2つの文字列の比較に基づいて類似度スコアを割り当てようとしています。 Rにも同じ機能がありますか。SAS SPEDISという名前でそのような機能を知っています。Rにそのような機能があるかどうか教えてください。

rstring-comparisonedit-distance
21
Kunal Batra

関数 adist は、2つの文字列間の Levenshtein編集距離 を計算します。これは、1 レーベンシュタイン編集距離/より長い文字列長）として類似性メトリックに変換できます。

---（RecordLinkage パッケージのlevenshteinSim関数もこれを直接実行し、adistよりも高速である可能性があります。

library(RecordLinkage)
> levenshteinSim("Apple", "Apple")
[1] 1
> levenshteinSim("Apple", "aaple")
[1] 0.8
> levenshteinSim("Apple", "appled")
[1] 0.8333333
> levenshteinSim("appl", "Apple")
[1] 0.8

ETA：興味深いことに、RecordLinkageパッケージのlevenshteinDistはadistよりもわずかに速いように見えますが、levenshteinSimはどちらよりもかなり遅いです。 rbenchmark パッケージの使用：

> benchmark(levenshteinDist("applesauce", "aaplesauce"), replications=100000)
                                         test replications elapsed relative
1 levenshteinDist("applesauce", "aaplesauce")       100000   4.012        1
  user.self sys.self user.child sys.child
1     3.583    0.452          0         0
> benchmark(adist("applesauce", "aaplesauce"), replications=100000)
                               test replications elapsed relative user.self
1 adist("applesauce", "aaplesauce")       100000   4.277        1     3.707
  sys.self user.child sys.child
1    0.461          0         0
> benchmark(levenshteinSim("applesauce", "aaplesauce"), replications=100000)
                                        test replications elapsed relative
1 levenshteinSim("applesauce", "aaplesauce")       100000   7.206        1
  user.self sys.self user.child sys.child
1      6.49    0.743          0         0

このオーバーヘッドは、単にlevenshteinSimのコードによるものです。これはlevenshteinDistの単なるラッパーです。

> levenshteinSim
function (str1, str2) 
{
    return(1 - (levenshteinDist(str1, str2)/pmax(nchar(str1), 
        nchar(str2))))
}

参考：ベクトルではなく常に2つの文字列を比較している場合は、maxの代わりにpmaxを使用して、実行時間を最大25％短縮する新しいバージョンを作成できます。

mylevsim = function (str1, str2) 
{
    return(1 - (levenshteinDist(str1, str2)/max(nchar(str1), 
        nchar(str2))))
}
> benchmark(mylevsim("applesauce", "aaplesauce"), replications=100000)
                                  test replications elapsed relative user.self
1 mylevsim("applesauce", "aaplesauce")       100000   5.608        1     4.987
  sys.self user.child sys.child
1    0.627          0         0

簡単に言うと、adistとlevenshteinDistのパフォーマンスの違いはほとんどありませんが、パッケージの依存関係を追加したくない場合は前者の方が適しています。それをどのように類似性の尺度に変えるかは、パフォーマンスに少し影響を及ぼします。

44
David Robinson