web-dev-qa-db-ja.com

MYSQLで2つの文字列間の類似性を計算する方法

mysqlに2つの文字列がある場合：

 @ a = "Welcome to Stack Overflow" 
 @ b = "Hello to stack overflow";

mYSQLを使用してこれら2つの文字列間の類似性の割合を取得する方法はありますか？たとえば、ここでは3つの単語は類似しているため、類似性は次のようになります。
count（@aと@bの類似語）/（count（@a）+ count（@b）-count（intersection））
したがって、結果は3 /（4 + 4-3）= 0.6になります
どんなアイデアでも大歓迎です！

mysqlsimilarity
34
Lina

この関数を使用できます（cop ^ H ^ H ^ Hadapted from http://www.artfulsoftware.com/infotree/queries.php#552 ）：

CREATE FUNCTION `levenshtein`( s1 text, s2 text) RETURNS int(11)
    DETERMINISTIC
BEGIN 
    DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT; 
    DECLARE s1_char CHAR; 
    DECLARE cv0, cv1 text; 
    SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0; 
    IF s1 = s2 THEN 
      RETURN 0; 
    ELSEIF s1_len = 0 THEN 
      RETURN s2_len; 
    ELSEIF s2_len = 0 THEN 
      RETURN s1_len; 
    ELSE 
      WHILE j <= s2_len DO 
        SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1; 
      END WHILE; 
      WHILE i <= s1_len DO 
        SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1; 
        WHILE j <= s2_len DO 
          SET c = c + 1; 
          IF s1_char = SUBSTRING(s2, j, 1) THEN  
            SET cost = 0; ELSE SET cost = 1; 
          END IF; 
          SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost; 
          IF c > c_temp THEN SET c = c_temp; END IF; 
            SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1; 
            IF c > c_temp THEN  
              SET c = c_temp;  
            END IF; 
            SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1; 
        END WHILE; 
        SET cv1 = cv0, i = i + 1; 
      END WHILE; 
    END IF; 
    RETURN c; 
  END

xX％として取得するには、この関数を使用します

CREATE FUNCTION `levenshtein_ratio`( s1 text, s2 text ) RETURNS int(11)
    DETERMINISTIC
BEGIN 
    DECLARE s1_len, s2_len, max_len INT; 
    SET s1_len = LENGTH(s1), s2_len = LENGTH(s2); 
    IF s1_len > s2_len THEN  
      SET max_len = s1_len;  
    ELSE  
      SET max_len = s2_len;  
    END IF; 
    RETURN ROUND((1 - LEVENSHTEIN(s1, s2) / max_len) * 100); 
  END
38
Alaa

私はこれを実行するためのニースの単一ステップのクエリ方法はないと思います-自然言語は主に「グーグルのような」検索のために設計されており、あなたがやろうとしていることとは違って聞こえます。

あなたが実際にやろうとしていることに応じて-私はあなたが多くの詳細を省略したと思います-私はそうします：

  • 各文字列を単語にすべて小文字に分割し、スペースと句読点を取り除いたテーブルを作成します。この例では、次のようになります。

    string_id               Word

1                       hello
1                       from
1                       stack
1                       overflow
2                       welcome
2                       from
2                       stack
2                       overflow

次に、そのテーブルに対してクエリを実行できます。

select count(*)
from  stringWords
where string_id = 2
and Word in 
  (select Word 
  from stringWords
  where string_id = 1);

あなたに交差点を与えます。

次に、関数などを作成して、数式に従って類似度を計算できます。

あまりクリーンではありませんが、かなり素早いパフォーマンスが得られるはずです。ほとんどがリレーショナルであり、ほとんど言語に依存しないはずです。誤字の可能性に対処するには、soundexを計算します。これにより、「スタック」と「スタック」を比較して、それらが実際にどれほど類似しているかを確認できますが、これは英語以外の言語では確実に機能しません。

7
Neville Kuyt

あなたはSOUNDEXアルゴリズムを試すことができます、ここを見てください:)

SOUNDEX MySQL

EDIT 1：

たぶん、MySQLでの自然言語処理に関するこのリンクが役立つかもしれません

自然言語全文検索

類似した結果を見つけ、類似性で並べ替える方法

HTH！

5
SubniC

これは、独自のアルゴリズムを作成したくない場合に役立つことがあります。

http://dev.mysql.com/doc/refman/5.0/en/fulltext-natural-language.html

1
DhruvPathak