zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

( 489 Hits )

 

  network_listener     attributgrammatik     proof2e1     clickomania     ascii     c_depencies     sudoku     schachprobleme     imageinspector     sql     gorilla     induktion     laufschrift     formelparser     affenpuzzle     c_libs     updater     multilanguage     balanced     pingpong     l_system     wii_headtrack     fourier     address_db     balanced2     basic     race_condition     dcf77     sortieren     hough_transformation     knack     stereoprojektion     pwm     qprogrammer     tokenizer