zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

(7820 Hits)

 

  newton     minipaint     projizierte_schatten     hoertest     gefangenen_dilemma     weihnachtsstern     knack     loop     c_libs     wii_whiteboard     episodenmanager     cubemap     winkonfig     fpc_depencies     balanced2     mastermind     turing_maschine     wuerfel     xml     gorilla     torus_chess     stm     steganographie     serial     tbitstream     partikelengine     lzw     numeric_instability     dithering_filtering     pentago     dxtools     piemenue     proof2e1     wecker     textfilter     calender     rollenspiel     netzwerkprotokol     cpu_load     gebmanager     network_bandwidth_limiter     race_condition     puzzle     bignumber     imageinspector     ym1602c     gedanken_leser     8x8x8     transparenz     summe_n     binomial     euler     picam     bezier     hough_transformation     feder_masse     wireworld     fouriersynthese     2048     iq_block     reihen     clear_engine     induktion     hilbert     3d_puzzle     picking     diffusionsfilter     sprite_engine     verzeichnung     nsudoku     tetris     fir_iir     button_tool     copycommander     mandelbrot     klab     crc     ascii     schachprobleme     boxmuller     bww     passbildcreator     wuerfelzauber     filetools     fakenet     funplay2     ae20125     shannon_fano_coding     dcommenter     generische_liste     sudoku     proto     bmp_font     codeviewer     atmegaboard     ccm     desktop_lock     openglsphere     rubik_cube     4_wins     anty_krypt     vokabel     td     tg12864b     suchen_dialog     pointer     dcf77     delforlaz     sortieren2     farbspectrum     zauber     zufall     screeny     fourier     opengl_spriteengine     codecounter     greenfoot     trackball     io_serializer     qprogrammer     balanced