Definição – o que significa análise lexical?
A análise lexical é um conceito aplicado à ciência da computação de uma forma muito semelhante à aplicada à lingüística. Essencialmente, a análise lexical significa agrupar um fluxo de letras ou sons em conjuntos de unidades que representam sintaxe significativa. Em linguística, é chamado de análise sintática e, na ciência da computação, pode ser chamado de análise sintática ou tokenização.
Definirtec explica a análise lexical
A ideia da análise lexical na ciência da computação é que a análise lexical divide os fluxos em “lexemas”, onde um token representa a unidade básica de significado. Os tokens são amarrados juntos de tal forma que o compilador da linguagem deve voltar e isolá-los para implementar as instruções de computação corretas. Basicamente, tanto humanos quanto computadores fazem análise lexical, mas os computadores fazem isso de maneira diferente e de uma maneira muito mais técnica. A maneira como os computadores fazem análise lexical não precisa ser transparente para os humanos – ela apenas precisa ser programada no sistema de computação. Os programas que fazem análise lexical em ciência da computação costumam ser chamados de lexers, tokenizers ou scanners.