中文编程
首发于中文编程

Antlr4的分析错误处理

(前文通用型的中文编程语言探讨之一: 高考, 即使是这"第一步", 即使一切顺利达到列出的功能恐怕也需要个人数年的业余时间. 看到不少乎友都远更有资本和实力更快速地完成这一工程. 希望随时告知类似项目, 省得在下作无用功)

初步打算用Antlr4生成Java实现的词语法分析器, 主要是出于减少工作量的考虑, 但相应的需要深入学习这个工具. 根据至今看到的相关文档以及Antlr项目本身, 感觉还蛮实用, 可持续性也不错, 这些学习应该不会白费.

之前没有实验过它对错误语法的处理. 本文实现了编程语言试验之Antlr4+Java实现"圈2"的Visitor版本. 再添加了定制的词法语法错误处理. 源码在program-in-chinese/quan5

语法最简单, 只包含一个数:

grammar 圈5;
程序   : T;

T : [0-9]+ ;
T空白     : [ \n\t]+ -> skip;

定制的语法错误处理器, 只有报告功能:

public class 语法错误监听器 extends BaseErrorListener {

  @Override
  public void syntaxError(Recognizer<?, ?> 识别器, Object 问题符号, int , int 字符在行中位置, String 信息,
      RecognitionException 例外) {
    List<String> 规则栈 = ((Parser) 识别器).getRuleInvocationStack();
    Collections.reverse(规则栈);
    System.err.println("[语法错误] 规则栈: " + 规则栈);
    System.err.println("行" +  + "列" + 字符在行中位置 + "非法符号: " + 问题符号 + ". 原始原因:" + 信息);
  }

}

下面是为语法分析器添加定制的错误分析(先除去默认的错误监听器):

    圈5Parser 语法分析器 = new 圈5Parser(new CommonTokenStream(词法分析器));
    语法分析器.removeErrorListeners();
    语法分析器.addErrorListener(语法错误处理);

类似的也可以为词法分析器添加错误处理器. 其中为了取得错误的词, 没有找到现成的接口, 于是摘取了它源码一部分. 初步的感觉是, 虽然API不一定很完善(很有可能是自己不熟悉工具导致的), 但不少公开属性可以比较方便定制:

public class 词法错误监听器 extends BaseErrorListener {

  @Override
  public void syntaxError(Recognizer<?, ?> 识别器, Object 问题符号, int , int 字符在行中位置, String 信息,
      RecognitionException 例外) {
    Lexer 词法分析器 = (Lexer)识别器;
    
    // 摘自org.antlr.v4.runtime.Lexer.notifyListeners
    String 文本 = 词法分析器._input.getText(Interval.of(词法分析器._tokenStartCharIndex, 词法分析器._input.index()));
    String 错词 = 词法分析器.getErrorDisplay(文本);

    System.err.println("[词法错误] 行" +  + "列" + 字符在行中位置 + "错误词: " + 错词);
  }

}

下面是一个语法有误的文件:

   a

分析后的报错输出:

[词法错误] 行2列3错误词: a
[语法错误] 规则栈: [程序]
行2列4非法符号: [@0,5:4='<EOF>',<-1>,2:4]. 原始原因:missing T at '<EOF>'

发布于 2018-01-12

文章被以下专栏收录

    在所有编程语言和领域中尝试编写中文代码,开发相关工具,总结经验,一致代码风格。包括中文命名,汉化现有语言,创造中文语法的编程语言等等。作为最熟悉的母语,用来编写代码会让代码更容易被自己和母语相同的其他开发者理解。基于英文的编程语言和框架中,使用中文命名有时有技术问题。希望这里为后人趟雷,填坑。多数现有API是英文的,这里也会对其中一些常用的进行汉化。当然,这里也会对基于中文的编程语言进行探讨。包括汉化基于英文的编程语言,以及创造新的编程语言。