zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

(7818 Hits)

 

  desktop_lock     fir_iir     sfxr     suchen_dialog     serial     verzeichnung     send_get_file     trackball     crc     piemenue     funkuhr     puzzle     clear_engine     ascii     proof2e1     textur_filterung     jazzball     dcf77     tankplan     tbitstream     sudoku     mandelbrot     euler     rsa     codeviewer     io_serializer     shannon_fano_coding     pwm     loop     ntools     hilbert     sortieren     maw     sprite_engine     picam     5ermedian     episodenmanager     proto     fouriersynthese     pentago     hoertest     game_of_life     l_system     sortieren2     codecounter     weihnachtskalender     alt_f2     induktion     gefangenen_dilemma     steganographie     xml     delforlaz     passbildcreator     nsudoku     gorilla     dxtools     chunkmanager     summe_n     io_adapter     wireworld     projizierte_schatten     4_wins     rent_it     numeric_instability     lzw     raetsel     simpleray     tg12864b     basic     sirpinksy     boxmuller     cubemap     baum     ccm     binomial     anty_krypt     hough_transformation     stm     bignumber     picturerotate     feder_masse     c_libs     race_condition     wii_whiteboard     socket     c_depencies     network_listener     dithering_filtering     perlin_noise     cpu_load     fpc_depencies     address_db     einstein     kartei     tasker     atmegaboard     wuerfel     imageinspector     winkonfig     hex     kwirk     affenpuzzle     screensaveblocker     trio     tokenizer     digiman     gedanken_leser     cleanup     fourier     torus_chess     parken     exp_func     portal     calender     bww     3d_puzzle     mastermind     diffusionsfilter     knack     pi     clickomania     8x8x8     qprogrammer     matrix     weihnachtsstern     dcommenter     openglsphere     ym1602c     simple_cad     dithering_mask     mauskoordinaten     picking     sql     opengl_spriteengine     button_tool     filetools     generische_liste     turing_maschine     iq_block     wecker     gebmanager     farbspectrum     wii_headtrack     greenfoot     bigprim     screeny     gc_solver     funplay2     uuart     td     2048     schachprobleme     ae20125     tipp_it     copycommander     network_bandwidth_limiter     library     pointer     laufschrift     file_transfer     vedische_multiplication     zufall     4_gewinnt     ctools     simple_font     vokabel     tetris     textfilter     tippsy3     netzwerkprotokol     rubik_cube2     fakenet     zauber     transparenz     tclockex     wuerfelzauber     bezier     partikelengine     bmp_font     balanced     klab     balanced2