在ocamllex中返回多个标记

有没有办法在OCamlLex中返回多个令牌? 我正在尝试为基于缩进的语言编写词法分析器和解析器,并且我希望我的词法分析器在注意到缩进级别比以前更少时返回多个
DEDENT
标记。这将允许它在多个块结束时通知解析器。 按照这种方法,我可以使用
INDENT
DEDENT
作为
BEGIN
END
的插入替换,因为这两个令牌将由
INDENT
DEDENT
令牌隐含。     
已邀请:
返回令牌列表。如果解析器本身不能处理它(比如ocamlyacc) - 只需在它们之间插入一个缓存:
let cache =
  let l = ref [] in
  fun lexbuf ->
    match !l with
    | x::xs -> l := xs; x
    | [] -> match Lexer.tokens lexbuf with
            | [] -> failwith "oops"
            | x::xs -> l := xs; x
或者,您可以在完整文档上运行词法分析器,然后在完整令牌流上运行解析器。 BTW你看到了ocaml + twt吗?     

要回复问题请先登录注册