「現代の」正規表現の認識力
実際の現代の正規表現は実際にどのクラスの言語を認識しますか？
後方参照（例：_(.*)_\1_）を持つ無制限の長さのキャプチャグループがある場合は常に、正規表現が非正規言語と一致するようになりました。しかし、これだけでは、S ::= '(' S ')' | εのようなものに一致するのに十分ではありません—親のペアを一致させる文脈自由言語です。
再帰的な正規表現（これは私にとっては新しいものですが、PerlとPCREに存在すると確信しています）は、少なくともほとんどのCFLを認識しているように見えます。
誰かがこの分野で何か研究をしたり読んだりしましたか？これらの「現代の」正規表現の制限は何ですか？彼らは、LLまたはLR文法のCFGよりも厳密に多いか厳密に少ないかを認識していますか？または、正規表現では認識できるがCFGでは認識できない両方の言語が存在しますかおよび反対ですか？
関連する論文へのリンクをいただければ幸いです。
パターン再帰
再帰パターンを使用すると、再帰下降マッチングの形式が得られます。
これはさまざまな問題には問題ありませんが、実際に再帰下降解析を実行する場合は、キャプチャグループをあちこちに挿入する必要があり、完全に復元するのは面倒です。この方法で構造を解析します。ダミアンコンウェイの Regexp :: Grammars Perl用モジュールは、単純なパターンを同等のパターンに変換し、名前付きのキャプチャをすべて自動的に再帰的なデータ構造に変換して、解析された構造をはるかに簡単に取得できるようにします。この投稿の最後に、これら2つのアプローチを比較するサンプルがあります。
再帰の制限
問題は、再帰的パターンがどのような種類の文法に一致できるかということでした。まあ、彼らは確かに 再帰下降 タイプマッチャーです。頭に浮かぶ唯一のことは、再帰パターンは処理できないということです 左再帰 。これは文法の種類に制約を課しますそれらを適用することができます。場合によっては、左再帰を排除するためにプロダクションを並べ替えることができます。
ところで、PCREとPerlは、再帰の表現方法が少し異なります。 pcrepatternマンページの「再帰パターン」および「Perlとの再帰の違い」のセクションを参照してください。例：Perlは^(.|(.)(?1)\2)$を処理できますが、PCREでは代わりに^((.)(?1)\2|.)$が必要です。
再帰デモ
再帰的パターンの必要性は驚くほど頻繁に発生します。よく見られる例の1つは、バランスの取れた括弧、引用符、さらにはHTML/XMLタグなど、ネストできるものと一致させる必要がある場合です。バランスの取れた親の試合は次のとおりです。
\((?:[^()]*+|(?0))*\)
コンパクトな性質のため、読むのが難しいと思います。これは/xモードで簡単に修正でき、空白が重要でなくなります。
\( (?: [^()] *+ | (?0) )* \)
繰り返しになりますが、再帰に親を使用しているため、より明確な例は、ネストされた一重引用符に一致することです。
‘ (?: [^‘’] *+ | (?0) )* ’
一致させたいと思うかもしれない別の再帰的に定義されたものは回文です。この単純なパターンはPerlで機能します。
^((.)(?1)\2|.?)$
これは、次のようなものを使用してほとんどのシステムでテストできます。
$ Perl -nle 'print if /^((.)(?1)\2|.?)$/i' /usr/share/dict/words
PCREの再帰の実装には、より複雑なものが必要であることに注意してください
^(?:((.)(?1)\2|)|((.)(?3)\4|.))
これは、PCRE再帰の動作に制限があるためです。
適切な構文解析
私にとって、上記の例はほとんどがおもちゃのマッチであり、すべて興味深いわけではありません。面白くなるのは、解析しようとしている実際の文法があるときです。たとえば、RFC5322はメールアドレスをかなり複雑に定義しています。これに一致する「文法」パターンは次のとおりです。
$rfc5322 = qr{
(?(DEFINE)
(?<address> (?&mailbox) | (?&group))
(?<mailbox> (?&name_addr) | (?&addr_spec))
(?<name_addr> (?&display_name)? (?&angle_addr))
(?<angle_addr> (?&CFWS)? < (?&addr_spec) > (?&CFWS)?)
(?<group> (?&display_name) : (?:(?&mailbox_list) | (?&CFWS))? ; (?&CFWS)?)
(?<display_name> (?&phrase))
(?<mailbox_list> (?&mailbox) (?: , (?&mailbox))*)
(?<addr_spec> (?&local_part) \@ (?&domain))
(?<local_part> (?&dot_atom) | (?"ed_string))
(?<domain> (?&dot_atom) | (?&domain_literal))
(?<domain_literal> (?&CFWS)? \[ (?: (?&FWS)? (?&dcontent))* (?&FWS)?
\] (?&CFWS)?)
(?<dcontent> (?&dtext) | (?"ed_pair))
(?<dtext> (?&NO_WS_CTL) | [\x21-\x5a\x5e-\x7e])
(?<atext> (?&ALPHA) | (?&DIGIT) | [!#\$%&'*+-/=?^_`{|}~])
(?<atom> (?&CFWS)? (?&atext)+ (?&CFWS)?)
(?<dot_atom> (?&CFWS)? (?&dot_atom_text) (?&CFWS)?)
(?<dot_atom_text> (?&atext)+ (?: \. (?&atext)+)*)
(?<text> [\x01-\x09\x0b\x0c\x0e-\x7f])
(?<quoted_pair> \\ (?&text))
(?<qtext> (?&NO_WS_CTL) | [\x21\x23-\x5b\x5d-\x7e])
(?<qcontent> (?&qtext) | (?"ed_pair))
(?<quoted_string> (?&CFWS)? (?&DQUOTE) (?:(?&FWS)? (?&qcontent))*
(?&FWS)? (?&DQUOTE) (?&CFWS)?)
(?<Word> (?&atom) | (?"ed_string))
(?<phrase> (?&Word)+)
# Folding white space
(?<FWS> (?: (?&WSP)* (?&CRLF))? (?&WSP)+)
(?<ctext> (?&NO_WS_CTL) | [\x21-\x27\x2a-\x5b\x5d-\x7e])
(?<ccontent> (?&ctext) | (?"ed_pair) | (?&comment))
(?<comment> \( (?: (?&FWS)? (?&ccontent))* (?&FWS)? \) )
(?<CFWS> (?: (?&FWS)? (?&comment))*
(?: (?:(?&FWS)? (?&comment)) | (?&FWS)))
# No whitespace control
(?<NO_WS_CTL> [\x01-\x08\x0b\x0c\x0e-\x1f\x7f])
(?<ALPHA> [A-Za-z])
(?<DIGIT> [0-9])
(?<CRLF> \x0d \x0a)
(?<DQUOTE> ")
(?<WSP> [\x20\x09])
)
(?&address)
}x;
ご覧のとおり、これは非常にBNFに似ています。問題は、それが単なる一致であり、キャプチャではないことです。また、どのプロダクションがどの部分に一致したかがわからないため、全体をキャプチャする親で囲むことは本当に望ましくありません。前述のRegexp :: Grammarsモジュールを使用すると、次のことができます。
#!/usr/bin/env Perl
use strict;
use warnings;
use 5.010;
use Data::Dumper "Dumper";
my $rfc5322 = do {
use Regexp::Grammars; # ...the magic is lexically scoped
qr{
# Keep the big stick handy, just in case...
# <debug:on>
# Match this...
<address>
# As defined by these...
<token: address> <mailbox> | <group>
<token: mailbox> <name_addr> | <addr_spec>
<token: name_addr> <display_name>? <angle_addr>
<token: angle_addr> <CFWS>? \< <addr_spec> \> <CFWS>?
<token: group> <display_name> : (?:<mailbox_list> | <CFWS>)? ; <CFWS>?
<token: display_name> <phrase>
<token: mailbox_list> <[mailbox]> ** (,)
<token: addr_spec> <local_part> \@ <domain>
<token: local_part> <dot_atom> | <quoted_string>
<token: domain> <dot_atom> | <domain_literal>
<token: domain_literal> <CFWS>? \[ (?: <FWS>? <[dcontent]>)* <FWS>?
<token: dcontent> <dtext> | <quoted_pair>
<token: dtext> <.NO_WS_CTL> | [\x21-\x5a\x5e-\x7e]
<token: atext> <.ALPHA> | <.DIGIT> | [!#\$%&'*+-/=?^_`{|}~]
<token: atom> <.CFWS>? <.atext>+ <.CFWS>?
<token: dot_atom> <.CFWS>? <.dot_atom_text> <.CFWS>?
<token: dot_atom_text> <.atext>+ (?: \. <.atext>+)*
<token: text> [\x01-\x09\x0b\x0c\x0e-\x7f]
<token: quoted_pair> \\ <.text>
<token: qtext> <.NO_WS_CTL> | [\x21\x23-\x5b\x5d-\x7e]
<token: qcontent> <.qtext> | <.quoted_pair>
<token: quoted_string> <.CFWS>? <.DQUOTE> (?:<.FWS>? <.qcontent>)*
<.FWS>? <.DQUOTE> <.CFWS>?
<token: Word> <.atom> | <.quoted_string>
<token: phrase> <.Word>+
# Folding white space
<token: FWS> (?: <.WSP>* <.CRLF>)? <.WSP>+
<token: ctext> <.NO_WS_CTL> | [\x21-\x27\x2a-\x5b\x5d-\x7e]
<token: ccontent> <.ctext> | <.quoted_pair> | <.comment>
<token: comment> \( (?: <.FWS>? <.ccontent>)* <.FWS>? \)
<token: CFWS> (?: <.FWS>? <.comment>)*
(?: (?:<.FWS>? <.comment>) | <.FWS>)
# No whitespace control
<token: NO_WS_CTL> [\x01-\x08\x0b\x0c\x0e-\x1f\x7f]
<token: ALPHA> [A-Za-z]
<token: DIGIT> [0-9]
<token: CRLF> \x0d \x0a
<token: DQUOTE> "
<token: WSP> [\x20\x09]
}x;
};
while (my $input = <>) {
if ($input =~ $rfc5322) {
say Dumper \%/; # ...the parse tree of any successful match
# appears in this punctuation variable
}
}
ご覧のとおり、パターンで非常にわずかに異なる表記を使用することで、解析ツリー全体を%/変数に格納し、すべてがきちんとラベル付けされたものを取得できます。 =~演算子でわかるように、変換の結果はまだパターンです。ちょっと魔法です。