2 回答

• 1

  sources of the current (as of this writing) Lexer implementation包含多个关于多个令牌发射的文档字符串条目 . 这些当然也在_1573660中表示 . 根据这些，必须做以下事情：

  • 覆盖emit(Token)：

  出于效率原因，默认情况下，每次nextToken调用不支持多次发出 . 子类并覆盖此方法，nextToken和getToken（将令牌推入列表并从该列表中拉出而不是单个变量，如此实现所做的那样） .

  • 覆盖nextToken() .

  • 覆盖getToken()：

  如果发出多个令牌，则覆盖 .

  • 确保将_token设置为非 null ：

  如果您子类允许多个令牌发射，则将其设置为要匹配的最后一个令牌或非空的令牌，以便自动令牌发出机制不会发出另一个令牌 .

  但是，我不明白为什么重写 getToken 会很重要，因为我看到在运行时库中的任何地方都没有调用该方法 . 如果你设置 _token ，那么这也将是 getToken 的输出 .

  所以我从单一规则中发出两个令牌的做法是：

  @lexer::members {
  
      private Token _queued;
  
      @Override public Token nextToken() {
          if (_queued != null) {
              emit(_queued);
              _queued = null;
              return getToken();
          }
          return super.nextToken();
      }
  
      @Override public Token emit() {
          if (_type != INT_RANGE)
              return super.emit();
          Token t = _factory.create(
              _tokenFactorySourcePair, INT, null, _channel,
              _tokenStartCharIndex, getCharIndex()-3,
              _tokenStartLine, _tokenStartCharPositionInLine);
          _queued = _factory.create(
              _tokenFactorySourcePair, RANGE, null, _channel,
              getCharIndex()-2, getCharIndex()-1, _tokenStartLine,
              _tokenStartCharPositionInLine + getCharIndex()-2 -
              _tokenStartCharIndex);
          emit(t);
          return t;
      }
  }
  
  INT_RANGE: INT '..' ;
  

  然而，所有的位置计算都感到相当乏味，并给了我另一个（至少对于这个应用程序更好）的想法，我将在一个特殊的答案中发布 .

  回复于 2024-04-28T05:54:57+08:00
• 1

  这是一个非常简短的解决方案：

  @lexer::members { private int _pos; }
  INT_RANGE: INT  { _pos=_input.index(); setType(INT); emit(); }
             '..' { _input.seek(_pos); };
  

  这与整个 INT '..' 表达式匹配，但随后将输入重新排列在 INT 之后，我们发出令牌并保存位置 . 然后在规则的末尾使用该位置以更永久的方式回绕输入 .

  但是，存在一个问题：由此产生的标记将具有不正确的位置信息，因为 _input.seek 不会影响 getCharPositionInLine 返回的内容 . 在这种情况下，人们可以做

  setCharPositionInLine(getCharPositionInLine() - 2)
  

  在规则的最后，但如果不是 .. 处理可变长度的输入，那么这种方法将不起作用 . 我希望我能够在第一个动作中保存 getCharPositionInLine() 的结果，但不幸的是，这已经反映了整个表达的结束 .

  看LexerATNSimulator.evaluatePredicate我看到这个方法努力恢复给定的位置状态 . 因此，我们可以通过滥用语义谓词来获得正确的状态：

  @lexer::members {
      private int _savedIndex, _savedLine, _savedColumn;
      private boolean remember() {
          _savedIndex = _input.index();
          _savedLine = getLine();
          _savedColumn = getCharPositionInLine();
          return true;
      }
      private void recall(int type) {
          _input.seek(_savedIndex);
          setLine(_savedLine);
          setCharPositionInLine(_savedColumn);
          setType(type);
      }
  }
  INT_RANGE: INT { remember() }? '..' { recall(INT); } ;
  

  请记住，语义谓词将在某个时间点执行，在这个时间点，来自不同规则的调用会覆盖状态 . 如果有疑问，您可以使用多个此类函数或数组索引，以使每个匹配明确无误 .

  回复于 2024-04-28T05:54:57+08:00