zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

( 466 Hits )

 

  rubik_cube2     socket     uuart     ccm     delforlaz     atmegaboard     clear_engine     clickomania     rubik_cube     mandelbrot     multilanguage     klab     basic     gorilla     picturerotate     sprite_engine     suchen_dialog     balanced2     opengltruetypefont     greenfoot     fouriersynthese     fir_iir     fpc_depencies     balanced     logger     fourier     crc