Analizador Léxico

Un analizador léxico o analizador lexicográfico (en inglés scanner) como también se le conoce es la primera fase de un compilador, consistente en un programa que recibe como entrada el código fuente de otro programa (secuencia de caracteres) y produce una salida compuesta de tokens (componentes léxicos) o símbolos. 

Estos tokens sirven para una posterior etapa del proceso de traducción, siendo la entrada para el analizador sintáctico (en inglés parser).

En otras palabras, es una herramienta de un compilador que nos ayuda a leer los caracteres de entrada para formar componentes y así poder identificarlos y pasar la información al analizador sintáctico.

Fundamentos de un analizador léxico:

• El analizador léxico se encarga de suministrar al analizador sintáctico una serie de unidades lógicas llamadas elementos léxicos que resultan de agrupar los caracteres del fichero de entrada.
• Cada uno de estos elementos léxicos se denomina token
• El analizador léxico es una función o método que es llamado por el analizador sintáctico cada vez que necesita conocer un nuevo token para continuar el proceso de traducción.
• Es el único módulo del compilador que maneja el fichero de Entrada.

En este video se da una explicación breve del funcionamiento de un Analizador Léxico desarrollado en el lenguaje de Programación Java con la Ayuda de la Librería JFlex.