zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

( 516 Hits )

 

  button_tool     clickomania     feder_masse     formelparser     ctools     crc     anty_krypt     transparenz     minipaint     rollenspiel     xml     puzzle     piemenue     sdl_tcp_ip     baum     pingpong     greenfoot     mandelbrot     suchen_dialog     balanced     l_system     codeviewer     raetsel     weihnachtskalender     openglsphere     kollision     balanced2     socket     quadtree     newton_interpolation     race_condition     newton     textfilter     picam     vokabel     kartei     game_of_life     portal     gefangenen_dilemma     episodenmanager     iq_block     bitverknupfung     pentago     network_listener     pi     bigprim     zauber     serial     basic     opengltruetypefont     updater     turing_maschine     einstein     hilbert     proof2e1     farbspectrum     loop     wireworld     summe_n     perlin_noise     verzeichnung     wuerfel     ccm     motionblur     opengl_spriteengine     network_bandwidth_limiter     simple_cad     laufschrift     sirpinksy     fpc_depencies     hough_transformation     dithering_filtering     sql     imageinspector     cleanup     uuart     binomial     exp_func     genmathcalc     projizierte_schatten     qprogrammer     calc     proto     picking     ascii     euler     matrix     textur_filterung     fourier     mauskoordinaten     galton_brett     graphen_algos     send_get_file     desktop_lock     ntools     network_delay     torus_chess     numeric_instability     tipp_it     bezier     wuerfelzauber     affenpuzzle     weihnachtsstern     project_uncollector     jazzball     opengl_graphikengine     dcf77     induktion     simpleray     file_transfer     bignumber     filetools     sortieren     stereoprojektion     bmp_font     digiman     screensaveblocker     zufall     chunkmanager     sfxr     labyrintcreator     calender     passbildcreator     hex     ae20125     4_gewinnt     kwirk     cpu_load     tetris     diffusionsfilter     tankplan     screeny     hoertest     gedanken_leser     partikelengine     maw     parken     sudoku     tokenizer     rubik_cube2     copycommander     netzwerkprotokol     delforlaz     trackball