zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

(7797 Hits)

 

  partikelengine     fpc_depencies     fourier     farbspectrum     textfilter     turing_maschine     proto     proof2e1     network_listener     nsudoku     funkuhr     wireworld     bww     file_transfer     formelparser     screeny     calc     greenfoot     lazcomment     netzwerkprotokol     fingerspeed     raetsel     baum     c_libs     euler     zauber     iq_block     5ermedian     clear_engine     info     uuart     einstein     genmathcalc     minipaint     winkonfig     episodenmanager     kollision     bezier     picturerotate     boxmuller     tg12864b     ccm     4_gewinnt     sfxr     opengl_graphikengine     fir_iir     weihnachtskalender     updater     opengltruetypefont     mandelbrot     anty_krypt     ctools     atmegaboard     dxtools     rent_it     suchen_dialog     bitverknupfung     projizierte_schatten     picking     logger     passbildcreator     waage     fouriersynthese     newton     bigprim     project_collector     puzzle     hilbert     zufall     serial     motionblur     transparenz     c_depencies     dcf77     hex     8x8x8     trio     gpu_info     socket     binomial     pentago     project_uncollector     balanced     sprite_engine     crc     cubemap     network_bandwidth_limiter     rollenspiel     dithering_mask     torus_chess     mastermind     binaeruhr     sirpinksy     rubik_cube     attributgrammatik     sql     jazzball     graphen_algos     feder_masse     sudoku     exp_func     pwm     vedische_multiplication     shannon_fano_coding     tankplan     screensaveblocker     bmp_font     generische_liste     xml     gorilla     kartei     simple_cad     tipp_it     parken     filetools     delforlaz     pathfinder     sortieren2     wuerfelzauber     gebmanager     ntools     pingpong     verzeichnung     galton_brett     tippsy3     gefangenen_dilemma     network_delay     klab     calender     dcommenter     newton_interpolation     simple_font     desktop_lock     tetris     loop     steganographie     sdl_tcp_ip     weihnachtsstern     textur_filterung     send_get_file     trackball     picam     clickomania     gedanken_leser     pointer     l_system     4_wins     io_serializer     simpleray     bignumber     wecker     reihen     3d_puzzle     labyrintcreator     fakenet     pi     copycommander     hoertest     digiman     rsa     basic     funplay2     library     imageinspector     summe_n     stereoprojektion     mauskoordinaten     numeric_instability     qprogrammer     ae20125     rubik_cube2     gc_solver     affenpuzzle     codecounter     tbitstream     2048     sortieren     dithering_filtering     openglsphere     portal     cleanup     alt_f2     wii_headtrack     piemenue     ym1602c     multilanguage     vokabel     stm     codeviewer     wuerfel     game_of_life     race_condition     tasker     td     tokenizer     cpu_load     tclockex     laufschrift     io_adapter     button_tool     maw     hough_transformation     quadtree     ascii     wii_whiteboard     heapsim     address_db     chunkmanager     kwirk     perlin_noise     lzw     induktion     opengl_spriteengine     schachprobleme     matrix     balanced2     diffusionsfilter     knack