web-dev-qa-db-ja.com

フレックスレクサーへの文字列入力

Flex/bisonパーサーを使用してread-eval-printループを作成したい。問題は、Flexで生成されたレクサーがFILE *タイプの入力を要求し、char *にしたいことです。とにかくこれを行うにはありますか？

1つの提案は、パイプを作成し、文字列をフィードし、ファイル記述子を開いて、レクサーに送信することです。これはかなり単純ですが、複雑でプラットフォームにあまり依存していません。もっと良い方法はありますか？

cbisonyacclexflex-lexer
52
bjorns

次のルーチンは、ファイルの代わりにメモリ内の文字列をスキャンするための入力バッファーを設定するために使用できます（yy_create_bufferと同じ）。

  • YY_BUFFER_STATE yy_scan_string(const char *str)：NULで終了する文字列をスキャンします `
  • YY_BUFFER_STATE yy_scan_bytes(const char *bytes, int len)：位置バイトからlenバイト（NULを含む可能性あり）をスキャンします

これらの関数は両方とも、対応するYY_BUFFER_STATEハンドル（作成時にyy_delete_buffer（）で削除する必要があります）を作成して返すため、yylex（）は文字列またはバイトのコピーをスキャンします。 yylex（）がスキャンしているバッファーの内容を変更するため、この動作が望ましい場合があります。

以下を使用してコピー（およびyy_delete_buffer）を回避したい場合：

  • YY_BUFFER_STATE yy_scan_buffer(char *base, yy_size_t size)

メインのサンプル：

int main() {
    yy_scan_buffer("a test string");
    yylex();
}
55
dfa

文字列などのメモリ内バッファをスキャンする方法については、Flexのマニュアルの このセクション を参照してください。

20
unwind

flexは、yy_scan_string()、yy_scan_buffer()、および3つの関数のいずれかを使用して_char *_を解析できますyy_scan_bytes()（ ドキュメント を参照）。最初の例は次のとおりです。

_typedef struct yy_buffer_state * YY_BUFFER_STATE;
extern int yyparse();
extern YY_BUFFER_STATE yy_scan_string(char * str);
extern void yy_delete_buffer(YY_BUFFER_STATE buffer);

int main(){
    char string[] = "String to be parsed.";
    YY_BUFFER_STATE buffer = yy_scan_string(string);
    yyparse();
    yy_delete_buffer(buffer);
    return 0;
}
_

yy_scan_buffer()の同等のステートメント（二重にnullで終了する文字列が必要です）：

_char string[] = "String to be parsed.\0";
YY_BUFFER_STATE buffer = yy_scan_buffer(string, sizeof(string));
_

私の回答は、@ dfaと@jlhollandによって提供される情報の一部を繰り返しますが、回答のコードのどちらも私にとっては機能していないようです。

11
sevko

これが私がする必要があることです：

extern yy_buffer_state;
typedef yy_buffer_state *YY_BUFFER_STATE;
extern int yyparse();
extern YY_BUFFER_STATE yy_scan_buffer(char *, size_t);

int main(int argc, char** argv) {

  char tstr[] = "line i want to parse\n\0\0";
  // note yy_scan_buffer is is looking for a double null string
  yy_scan_buffer(tstr, sizeof(tstr));
  yy_parse();
  return 0;
}

あなたはそれを考えるときに意味のあるtypedefをexternすることはできません。

8
jlholland

受け入れられた答えは正しくありません。メモリリークが発生します。

内部的には、yy_scan_stringはyy_scan_bytesを呼び出し、次にyy_scan_bufferを呼び出します。

yy_scan_bytesは、入力バッファーのCOPYにメモリーを割り当てます。

yy_scan_bufferは、指定されたバッファーに対して直接機能します。

3つの形式すべてで、yy_delete_bufferを呼び出して、フレックスバッファー状態情報（YY_BUFFER_STATE）を解放する必要があります。

ただし、yy_scan_bufferを使用すると、内部バッファーの内部割り当て/コピー/解放を回避できます。

Yy_scan_bufferのプロトタイプはconst char *をとらず、内容が変更されないままであることを期待してはなりません。

文字列を保持するためにメモリを割り当てた場合は、yy_delete_bufferを呼び出した後で解放する必要があります。

また、この文字列だけを解析する場合は、yywrapが1（ゼロ以外）を返すことを忘れないでください。

以下は完全な例です。

%%

<<EOF>> return 0;

.   return 1;

%%

int yywrap()
{
    return (1);
}

int main(int argc, const char* const argv[])
{
    FILE* fileHandle = fopen(argv[1], "rb");
    if (fileHandle == NULL) {
        perror("fopen");
        return (EXIT_FAILURE);
    }

    fseek(fileHandle, 0, SEEK_END);
    long fileSize = ftell(fileHandle);
    fseek(fileHandle, 0, SEEK_SET);

    // When using yy_scan_bytes, do not add 2 here ...
    char *string = malloc(fileSize + 2);

    fread(string, fileSize, sizeof(char), fileHandle);

    fclose(fileHandle);

    // Add the two NUL terminators, required by flex.
    // Omit this for yy_scan_bytes(), which allocates, copies and
    // apends these for us.   
    string[fileSize] = '\0';
    string[fileSize + 1] = '\0';

    // Our input file may contain NULs ('\0') so we MUST use
    // yy_scan_buffer() or yy_scan_bytes(). For a normal C (NUL-
    // terminated) string, we are better off using yy_scan_string() and
    // letting flex manage making a copy of it so the original may be a
    // const char (i.e., literal) string.
    YY_BUFFER_STATE buffer = yy_scan_buffer(string, fileSize + 2);

    // This is a flex source file, for yacc/bison call yyparse()
    // here instead ...
    int token;
    do {
        token = yylex(); // MAY modify the contents of the 'string'.
    } while (token != 0);

    // After flex is done, tell it to release the memory it allocated.    
    yy_delete_buffer(buffer);

    // And now we can release our (now dirty) buffer.
    free(string);

    return (EXIT_SUCCESS);
}
3
Tad Carlucci

それ以外の場合は、Lexファイルで関数YY_INPUTを再定義し、文字列をLexの入力に設定できます。以下のように：

#undef YY_INPUT
#define YY_INPUT(buf) (my_yyinput(buf))

char my_buf[20];

void set_lexbuf(char *org_str)
{  strcpy(my_buf, org_str);  }

void my_yyinput (char *buf)
{  strcpy(buf, my_buf);      }

Main.cで、スキャンする前に、まずLexのバッファーを設定する必要があります。

set_lexbuf(your_string);
scanning...
1
Kingcesc

以下は、csonコード内でbison/flexをパーサーとして使用して文字列を解析し、それに応じて文字列値を変更するための小さな例です（コードの一部が削除されたため、関係のない部分がある可能性があります）。parser.y：

%{
#include "parser.h"
#include "Lex.h"
#include <math.h> 
#include <fstream>
#include <iostream> 
#include <string>
#include <vector>
using namespace std;
 int yyerror(yyscan_t scanner, string result, const char *s){  
    (void)scanner;
    std::cout << "yyerror : " << *s << " - " << s << std::endl;
    return 1;
  }
    %}

%code requires{
#define YY_TYPEDEF_YY_SCANNER_T 
typedef void * yyscan_t;
#define YYERROR_VERBOSE 0
#define YYMAXDEPTH 65536*1024 
#include <math.h> 
#include <fstream>
#include <iostream> 
#include <string>
#include <vector>
}
%output "parser.cpp"
%defines "parser.h"
%define api.pure full
%Lex-param{ yyscan_t scanner }
%parse-param{ yyscan_t scanner } {std::string & result}

%union {
  std::string *  sval;
}

%token TOKEN_ID TOKEN_ERROR TOKEN_OB TOKEN_CB TOKEN_AND TOKEN_XOR TOKEN_OR TOKEN_NOT
%type <sval>  TOKEN_ID expression unary_expression binary_expression
%left BINARY_PRIO
%left UNARY_PRIO
%%

top:
expression {result = *$1;}
;
expression:
TOKEN_ID  {$$=$1; }
| TOKEN_OB expression TOKEN_CB  {$$=$2;}
| binary_expression  {$$=$1;}
| unary_expression  {$$=$1;}
;

unary_expression:
 TOKEN_NOT expression %prec UNARY_PRIO {result =  " (NOT " + *$2 + " ) " ; $$ = &result;}
;
binary_expression:
expression expression  %prec BINARY_PRIO {result = " ( " + *$1+ " AND " + *$2 + " ) "; $$ = &result;}
| expression TOKEN_AND expression %prec BINARY_PRIO {result = " ( " + *$1+ " AND " + *$3 + " ) "; $$ = &result;} 
| expression TOKEN_OR expression %prec BINARY_PRIO {result = " ( " + *$1 + " OR " + *$3 + " ) "; $$ = &result;} 
| expression TOKEN_XOR expression %prec BINARY_PRIO {result = " ( " + *$1 + " XOR " + *$3 + " ) "; $$ = &result;} 
;

%%

lexer.l : 

%{
#include <string>
#include "parser.h"

%}
%option outfile="Lex.cpp" header-file="Lex.h"
%option noyywrap never-interactive
%option reentrant
%option bison-bridge

%top{
/* This code goes at the "top" of the generated file. */
#include <stdint.h>
}

id        ([a-zA-Z][a-zA-Z0-9]*)+
white     [ \t\r]
newline   [\n]

%%
{id}                    {    
    yylval->sval = new std::string(yytext);
    return TOKEN_ID;
}
"(" {return TOKEN_OB;}
")" {return TOKEN_CB;}
"*" {return TOKEN_AND;}
"^" {return TOKEN_XOR;}
"+" {return TOKEN_OR;}
"!" {return TOKEN_NOT;}

{white};  // ignore white spaces
{newline};
. {
return TOKEN_ERROR;
}

%%

usage : 
void parse(std::string& function) {
  string result = "";
  yyscan_t scanner;
  yylex_init_extra(NULL, &scanner);
  YY_BUFFER_STATE state = yy_scan_string(function.c_str() , scanner);
  yyparse(scanner,result);
  yy_delete_buffer(state, scanner);
  yylex_destroy(scanner);
  function = " " + result + " ";  
}

makefile:
parser.h parser.cpp: parser.y
    @ /usr/local/bison/2.7.91/bin/bison -y -d parser.y


Lex.h Lex.cpp: lexer.l
    @ /usr/local/flex/2.5.39/bin/flex lexer.l

clean:
    - \rm -f *.o parser.h parser.cpp Lex.h Lex.cpp
1
Or Davidi

Libmathevalには次の面白いコードがあります。

/* Redefine macro to redirect scanner input from string instead of
 * standard input.  */
#define YY_INPUT( buffer, result, max_size ) \
{ result = input_from_string (buffer, max_size); }
0
user3121260