zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

( 479 Hits )

 

  codeviewer     file_transfer     clickomania     pointer     simple_cad     opengl_graphikengine     uuart     affenpuzzle     clear_engine     ntools     formelparser     pingpong     send_get_file     sql     mandelbrot     network_listener     multilanguage     imageinspector     balanced     balanced2     gorilla     torus_chess