web-dev-qa-db-ja.com

3つ以上の文字列からの最長共通部分文字列-Python

私はPython 一連の文字列から最長の共通部分文字列を見つけるためのライブラリを探しています。この問題を解決するには2つの方法があります。

  • サフィックスツリーの使用
  • 動的プログラミングを使用します。

実装された方法は重要ではありません。 一連の文字列（2つの文字列だけでなく）に使用できることが重要です。

pythonstringlongest-substring
52
Nicolas NOEL

これらのペアの関数は、任意の文字列の配列で最長の共通文字列を見つけます。

def long_substr(data):
    substr = ''
    if len(data) > 1 and len(data[0]) > 0:
        for i in range(len(data[0])):
            for j in range(len(data[0])-i+1):
                if j > len(substr) and is_substr(data[0][i:i+j], data):
                    substr = data[0][i:i+j]
    return substr

def is_substr(find, data):
    if len(data) < 1 and len(find) < 1:
        return False
    for i in range(len(data)):
        if find not in data[i]:
            return False
    return True


print long_substr(['Oh, hello, my friend.',
                   'I prefer Jelly Belly beans.',
                   'When hell freezes over!'])

アルゴリズムが改善される可能性があり、Pythonにあまり触れたことがないのは間違いないので、構文的にもより効率的かもしれませんが、うまくいくはずです。

EDIT： J.F. Sebastianが示すように、2番目のis_substr関数をインライン展開しました。使用法は同じままです。注：アルゴリズムに変更はありません。

def long_substr(data):
    substr = ''
    if len(data) > 1 and len(data[0]) > 0:
        for i in range(len(data[0])):
            for j in range(len(data[0])-i+1):
                if j > len(substr) and all(data[0][i:i+j] in x for x in data):
                    substr = data[0][i:i+j]
    return substr

お役に立てれば、

ジェイソン。

55
jtjacques

is_substr、私はそれがもう少し読みやすく直感的だと思うので：

def is_substr(find, data):
  """
  inputs a substring to find, returns True only 
  if found for each data in data list
  """

  if len(find) < 1 or len(data) < 1:
    return False # expected input DNE

  is_found = True # and-ing to False anywhere in data will return False
  for i in data:
    print "Looking for substring %s in %s..." % (find, i)
    is_found = is_found and find in i
  return is_found
4
kiminoa

これはもっと短くできます：

def long_substr(data):
  substrs = lambda x: {x[i:i+j] for i in range(len(x)) for j in range(len(x) - i + 1)}
  s = substrs(data[0])
  for val in data[1:]:
    s.intersection_update(substrs(val))
  return max(s, key=len)

セットは（おそらく）ハッシュマップとして実装されるため、これは少し非効率的です。 （1）セットデータ型をトライとして実装し、（2）トライに後置記号を保存し、各ノードを強制的にエンドポイントにすると（これはすべての部分文字列を追加するのと同等です）、理論的にはTHENこの赤ちゃんは、特に試行の交差が非常に簡単であるため、かなりのメモリ効率です。

それにもかかわらず、これは短く、時期尚早な最適化が無駄な時間のかなりの量の根源です。

3
Herbert
# this does not increase asymptotical complexity
# but can still waste more time than it saves. TODO: profile
def shortest_of(strings):
    return min(strings, key=len)

def long_substr(strings):
    substr = ""
    if not strings:
        return substr
    reference = shortest_of(strings) #strings[0]
    length = len(reference)
    #find a suitable slice i:j
    for i in xrange(length):
        #only consider strings long at least len(substr) + 1
        for j in xrange(i + len(substr) + 1, length + 1):
            candidate = reference[i:j]  # ↓ is the slice recalculated every time?
            if all(candidate in text for text in strings):
                substr = candidate
    return substr

免責事項これはjtjacquesの答えにほとんど追加しません。しかし、うまくいけば、これはより読みやすくandより速くandコメントに収まらないので、なぜこれを回答に投稿するのか。正直言って、shortest_ofには満足していません。

2
badp
def common_prefix(strings):
    """ Find the longest string that is a prefix of all the strings.
    """
    if not strings:
        return ''
    prefix = strings[0]
    for s in strings:
        if len(s) < len(prefix):
            prefix = prefix[:len(s)]
        if not prefix:
            return ''
        for i in range(len(prefix)):
            if prefix[i] != s[i]:
                prefix = prefix[:i]
                break
    return prefix

から http://bitbucket.org/ned/cog/src/tip/cogapp/whiteutils.py

2
Ned Batchelder

誰かが任意のオブジェクトのシーケンスのリストも取得できる一般化されたバージョンを探している場合：

def get_longest_common_subseq(data):
    substr = []
    if len(data) > 1 and len(data[0]) > 0:
        for i in range(len(data[0])):
            for j in range(len(data[0])-i+1):
                if j > len(substr) and is_subseq_of_any(data[0][i:i+j], data):
                    substr = data[0][i:i+j]
    return substr

def is_subseq_of_any(find, data):
    if len(data) < 1 and len(find) < 1:
        return False
    for i in range(len(data)):
        if not is_subseq(find, data[i]):
            return False
    return True

# Will also return True if possible_subseq == seq.
def is_subseq(possible_subseq, seq):
    if len(possible_subseq) > len(seq):
        return False
    def get_length_n_slices(n):
        for i in xrange(len(seq) + 1 - n):
            yield seq[i:i+n]
    for slyce in get_length_n_slices(len(possible_subseq)):
        if slyce == possible_subseq:
            return True
    return False

print get_longest_common_subseq([[1, 2, 3, 4, 5], [2, 3, 4, 5, 6]])

print get_longest_common_subseq(['Oh, hello, my friend.',
                                     'I prefer Jelly Belly beans.',
                                     'When hell freezes over!'])
1
Daniel Tripp

一般化されたサフィックスツリーのANSI C実装に基づくラッパーであるSuffixTreeモジュールを使用できます。モジュールの取り扱いは簡単です。..

ご覧ください： here

1
Rodrigue ALAHASSA