zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

(7815 Hits)

 

  transparenz     heapsim     bitverknupfung     bmp_font     send_get_file     4_gewinnt     laufschrift     simpleray     klab     wii_headtrack     updater     address_db     sdl_tcp_ip     sprite_engine     rsa     opengl_graphikengine     sudoku     openglsphere     simple_font     vedische_multiplication     funkuhr     io_serializer     delforlaz     ae20125     quadtree     tbitstream     galton_brett     gpu_info     desktop_lock     c_libs     basic     info     3d_puzzle     socket     trackball     cubemap     sql     cleanup     sortieren2     clear_engine     crc     generische_liste     numeric_instability     hoertest     pentago     attributgrammatik     tippsy3     ym1602c     tankplan     multilanguage     anty_krypt     dxtools     farbspectrum     pi     simple_cad     5ermedian     summe_n     rubik_cube     verzeichnung     trio     gefangenen_dilemma     tetris     file_transfer     shannon_fano_coding     copycommander     balanced     calender     minipaint     winkonfig     wuerfel     parken     torus_chess     schachprobleme     piemenue     library     logger     gorilla     stereoprojektion     atmegaboard     tg12864b     iq_block     chunkmanager     io_adapter     hilbert     euler     digiman     clickomania     filetools     nsudoku     zauber     kartei     loop     fourier     picturerotate     stm     knack     hex     sirpinksy     bww     waage     portal     hough_transformation     rent_it     wuerfelzauber     gc_solver     network_bandwidth_limiter     wii_whiteboard     tipp_it     opengltruetypefont     raetsel     episodenmanager     project_collector     gebmanager     tclockex     imageinspector     suchen_dialog     button_tool     matrix     td     puzzle     fakenet     exp_func     pwm     ascii     wireworld     8x8x8     proto     labyrintcreator     picking     uuart     rubik_cube2     2048     mastermind     ctools     xml     wecker     serial     proof2e1     induktion     game_of_life     binomial     screensaveblocker     tasker     partikelengine     mandelbrot     funplay2     codecounter     rollenspiel     opengl_spriteengine     kollision     greenfoot     newton     netzwerkprotokol     vokabel     sfxr     network_listener     baum     weihnachtsstern     newton_interpolation     fouriersynthese     l_system     pathfinder     picam     ntools     screeny     c_depencies     bezier     binaeruhr     bignumber     race_condition     4_wins     qprogrammer     jazzball     lazcomment     textfilter     tokenizer     reihen     dithering_filtering     projizierte_schatten     feder_masse     fpc_depencies     textur_filterung     ccm     gedanken_leser     zufall     fir_iir     graphen_algos     fingerspeed     steganographie     perlin_noise     alt_f2     kwirk     dcommenter     maw     bigprim     turing_maschine     passbildcreator     sortieren     pointer     cpu_load     diffusionsfilter     balanced2     einstein     pingpong     lzw     codeviewer     dcf77