功能: 逐个读入源程序字符并按照构词规则切分成一系列单词
主要任务: 读入源程序,识别出各个单词符号,并输出
其他任务: 滤掉程序中的无用成分,如空格、注释、换行符 追踪换行标志,指出源程序出错的行列位置
关键:找出单词的分隔符
《编译原理》第二章 语法分析
原文:https://www.cnblogs.com/ouweihao/p/12839732.html