web-dev-qa-db-ja.com

Pythonで文字列から句読点を削除するための最良の方法

以下よりも簡単な方法があるはずです。

import string
s = "string. With. Punctuation?" # Sample string 
out = s.translate(string.maketrans("",""), string.punctuation)

ある？

pythonstringpunctuation
501
Lawrence Johnston

効率の観点からは、あなたは勝つつもりはない

s.translate(None, string.punctuation)

それ以降のバージョンのPythonでは、次のコードを使用してください。

s.translate(str.maketrans('', '', string.punctuation))

それはルックアップテーブルを使ってCで生の文字列操作を実行する - それを打つことは多くないがあなた自身のCコードを書くこと。

スピードが心配でなければ、別の選択肢がありますが：

exclude = set(string.punctuation)
s = ''.join(ch for ch in s if ch not in exclude)

これは、各文字をs.replaceよりも速くすることができますが、以下のタイミングからわかるように、正規表現やstring.translateなどの純粋ではないPythonのアプローチほどはうまくいきません。この種の問題では、可能な限り低いレベルでそれを実行すると効果があります。

タイミングコード：

import re, string, timeit

s = "string. With. Punctuation"
exclude = set(string.punctuation)
table = string.maketrans("","")
regex = re.compile('[%s]' % re.escape(string.punctuation))

def test_set(s):
    return ''.join(ch for ch in s if ch not in exclude)

def test_re(s):  # From Vinko's solution, with fix.
    return regex.sub('', s)

def test_trans(s):
    return s.translate(table, string.punctuation)

def test_repl(s):  # From S.Lott's solution
    for c in string.punctuation:
        s=s.replace(c,"")
    return s

print "sets      :",timeit.Timer('f(s)', 'from __main__ import s,test_set as f').timeit(1000000)
print "regex     :",timeit.Timer('f(s)', 'from __main__ import s,test_re as f').timeit(1000000)
print "translate :",timeit.Timer('f(s)', 'from __main__ import s,test_trans as f').timeit(1000000)
print "replace   :",timeit.Timer('f(s)', 'from __main__ import s,test_repl as f').timeit(1000000)

これにより、以下の結果が得られます。

sets      : 19.8566138744
regex     : 6.86155414581
translate : 2.12455511093
replace   : 28.4436721802
723
Brian

あなたがそれらを知っていれば、正規表現は十分に単純です。

import re
s = "string. With. Punctuation?"
s = re.sub(r'[^\w\s]','',s)

上記のコードでは、すべてのNON [英数字（\ w）とスペース（\ s）]を空の文字列に置き換えています。
だから。そして？正規表現を通して変数を実行した後、句読点が変数の中に存在しなくなります。

106
Eratosthenes

使い方を簡単にするために、Python 2とPython 3の両方で、文字列から句読点を削除することについてまとめました。詳細な説明については他の回答を参照してください。

Python 2 

import string

s = "string. With. Punctuation?"
table = string.maketrans("","")
new_s = s.translate(table, string.punctuation)      # Output: string without punctuation

Python 3 

import string

s = "string. With. Punctuation?"
table = str.maketrans({key: None for key in string.punctuation})
new_s = s.translate(table)                          # Output: string without punctuation
58
SparkAndShine
myString.translate(None, string.punctuation)
51
pyrou

私は通常このようなものを使います：

>>> s = "string. With. Punctuation?" # Sample string
>>> import string
>>> for c in string.punctuation:
...     s= s.replace(c,"")
...
>>> s
'string With Punctuation'
25
S.Lott

string.punctuationはASCII のみ ！です。もっと正確な（しかしもっと遅い）方法はunicodedataモジュールを使うことです：

# -*- coding: utf-8 -*-
from unicodedata import category
s = u'String — with -  «punctation »...'
s = ''.join(ch for ch in s if category(ch)[0] != 'P')
print 'stripped', s
22
Björn Lindqvist

あなたがその家族にもっとなじみがあるならば、必ずしもより単純ではなく、異なる方法。

import re, string
s = "string. With. Punctuation?" # Sample string 
out = re.sub('[%s]' % re.escape(string.punctuation), '', s)
20
Vinko Vrsalovic

string.punctuationは、現実の世界で一般的に使用されている句読点のマークを見逃しています。非ASCII句読点のために働く解決策はどうですか？

import regex
s = u"string. With. Some・Really Weird、Non？ASCII。 「（Punctuation）」?"
remove = regex.compile(ur'[\p{C}|\p{M}|\p{P}|\p{S}|\p{Z}]+', regex.UNICODE)
remove.sub(u" ", s).strip()

個人的には、これがPythonで文字列から句読点を削除するための最良の方法だと思います。

  • すべてのUnicode句読点を削除します
  • 簡単に変更できます。句読点を削除したい場合は\{S}を削除できますが、$のような記号は使用します。
  • 保持したいものと削除したいものについて具体的に理解することができます。例えば、\{Pd}はダッシュを削除するだけです。
  • この正規表現は空白も正規化します。タブ、キャリッジリターン、およびその他の奇妙な点をニースの単一スペースにマッピングします。

これはUnicode文字プロパティを使用しています。これは ウィキペディアで詳細を読むことができます 。

12
Zach

Python 3のstrまたはPython 2のunicode値の場合、 str.translate() は辞書のみを取ります。そのマッピングでコードポイント（整数）が調べられ、Noneにマッピングされたものはすべて削除されます。

句読点を削除するには、次のようにします。

import string

remove_punct_map = dict.fromkeys(map(ord, string.punctuation))
s.translate(remove_punct_map)

dict.fromkeys()クラスメソッド は、キーの順序に基づいてすべての値をNoneに設定して、マッピングを作成するのを簡単にします。

ASCII句読点だけでなく all 句読点を削除するには、テーブルをもう少し大きくする必要があります。 J.F. Sebastianの回答 （Python 3バージョン）を参照してください。

import unicodedata
import sys

remove_punct_map = dict.fromkeys(i for i in range(sys.maxunicode)
                                 if unicodedata.category(chr(i)).startswith('P'))
12
Martijn Pieters

これは最善の解決策ではないかもしれませんが、これは私がやった方法です。

import string
f = lambda x: ''.join([i for i in x if i not in string.punctuation])
6
David Vuong

これが私が書いた関数です。それは非常に効率的ではありませんが、それは簡単であり、あなたが望む任意の句読点を追加または削除することができます。

def stripPunc(wordList):
    """Strips punctuation from list of words"""
    puncList = [".",";",":","!","?","/","\\",",","#","@","$","&",")","(","\""]
    for punc in puncList:
        for Word in wordList:
            wordList=[Word.replace(punc,'') for Word in wordList]
    return wordList
6
Dr.Tautology

私はまだこの答えを見ていません。正規表現を使うだけです。 Wordの文字（\w）と数字の文字（\d）以外のすべての文字を削除し、その後に空白文字（\s）を続けます。

import re
s = "string. With. Punctuation?" # Sample string 
out = re.sub(ur'[^\w\d\s]+', '', s)
6
Blairg23

これがPython 3.5用のワンライナーです。

import string
"l*ots! o(f. p@u)n[c}t]u[a'ti\"on#$^?/".translate(str.maketrans({a:None for a in string.punctuation}))
6
Tim P

ちょうど更新として、私はPython 3の@Brianの例を書き直し、それを変更して正規表現のコンパイルステップを関数の中に入れました。ここで私が考えたのは、機能を機能させるのに必要なすべてのステップを計時することでした。おそらくあなたは分散コンピューティングを使用しており、あなたのワーカー間で正規表現オブジェクトを共有させることはできず、各ワーカーでre.compileステップを持つ必要があるかもしれません。また、私はPython 3用の2つの異なるmaketransの実装を時間に興味を持っていました

table = str.maketrans({key: None for key in string.punctuation})

vs

table = str.maketrans('', '', string.punctuation)

さらに、setを使用する別の方法を追加しました。ここでは、交差関数を利用して反復回数を減らすことができます。

これは完全なコードです。

import re, string, timeit

s = "string. With. Punctuation"


def test_set(s):
    exclude = set(string.punctuation)
    return ''.join(ch for ch in s if ch not in exclude)


def test_set2(s):
    _punctuation = set(string.punctuation)
    for punct in set(s).intersection(_punctuation):
        s = s.replace(punct, ' ')
    return ' '.join(s.split())


def test_re(s):  # From Vinko's solution, with fix.
    regex = re.compile('[%s]' % re.escape(string.punctuation))
    return regex.sub('', s)


def test_trans(s):
    table = str.maketrans({key: None for key in string.punctuation})
    return s.translate(table)


def test_trans2(s):
    table = str.maketrans('', '', string.punctuation)
    return(s.translate(table))


def test_repl(s):  # From S.Lott's solution
    for c in string.punctuation:
        s=s.replace(c,"")
    return s


print("sets      :",timeit.Timer('f(s)', 'from __main__ import s,test_set as f').timeit(1000000))
print("sets2      :",timeit.Timer('f(s)', 'from __main__ import s,test_set2 as f').timeit(1000000))
print("regex     :",timeit.Timer('f(s)', 'from __main__ import s,test_re as f').timeit(1000000))
print("translate :",timeit.Timer('f(s)', 'from __main__ import s,test_trans as f').timeit(1000000))
print("translate2 :",timeit.Timer('f(s)', 'from __main__ import s,test_trans2 as f').timeit(1000000))
print("replace   :",timeit.Timer('f(s)', 'from __main__ import s,test_repl as f').timeit(1000000))

これは私の結果です：

sets      : 3.1830138750374317
sets2      : 2.189873124472797
regex     : 7.142953420989215
translate : 4.243278483860195
translate2 : 2.427158243022859
replace   : 4.579746678471565
4
krinker

これが正規表現のない解決策です。

import string

input_text = "!where??and!!or$$then:)"
punctuation_replacer = string.maketrans(string.punctuation, ' '*len(string.punctuation))    
print ' '.join(input_text.translate(punctuation_replacer).split()).strip()

Output>> where and or then
  • 句読点をスペースに置き換えます
  • 単語間の複数のスペースを単一のスペースに置き換える
  • Strip（）を使用して末尾のスペースを削除します。
4
ngub05
import re
s = "string. With. Punctuation?" # Sample string 
out = re.sub(r'[^a-zA-Z0-9\s]', '', s)
3
Haythem HADHAB
>>> s = "string. With. Punctuation?"
>>> s = re.sub(r'[^\w\s]','',s)
>>> re.split(r'\s*', s)


['string', 'With', 'Punctuation']
3
Pablo Rodriguez Bertorello

ワンライナーは、あまり厳密ではない場合に役立ちます。

''.join([c for c in s if c.isalnum() or c.isspace()])
2
Dom Grey

ここで見られるように、正規表現関数を使って検索して置換してください。 。操作を繰り返し実行する必要がある場合は、正規表現パターン（句読点）のコンパイル済みコピーを保存しておくと、作業が少し速くなります。

1
Dana the Sane
with open('one.txt','r')as myFile:

    str1=myFile.read()

    print(str1)


    punctuation = ['(', ')', '?', ':', ';', ',', '.', '!', '/', '"', "'"] 

for i in punctuation:

        str1 = str1.replace(i," ") 
        myList=[]
        myList.extend(str1.split(" "))
print (str1) 
for i in myList:

    print(i,end='\n')
    print ("____________")
1
Isayas Wakgari Kelbessa
#FIRST METHOD
#Storing all punctuations in a variable    
punctuation='!?,.:;"\')(_-'
newstring='' #Creating empty string
Word=raw_input("Enter string: ")
for i in Word:
     if(i not in punctuation):
                  newstring+=i
print "The string without punctuation is",newstring

#SECOND METHOD
Word=raw_input("Enter string: ")
punctuation='!?,.:;"\')(_-'
newstring=Word.translate(None,punctuation)
print "The string without punctuation is",newstring


#Output for both methods
Enter string: hello! welcome -to_python(programming.language)??,
The string without punctuation is: hello welcome topythonprogramminglanguage
1
Animeartistfromhell7

なぜあなたは誰もこれを使わないのですか？

 ''.join(filter(str.isalnum, s))

遅すぎる？

0
Dehua Li