zur Startseite zum Inhalt zur Navigation

Tokenizer

 

Tokenizer ist ein Sample das zeigt, wie z.B. ein 
Compiler einen Quellcode zerlegt, um ihn dann 
entsprechend umzusetzen.

Dadurch dass die Regeln des Parsings dynamisch 
erzeugt werden können, kann praktisch alles geparst 
werden.

Das Programm erwartet einen Text als Eingabe, 
bearbeitet diesen und gibt eine Liste der 
gefundenen Tokens zurück.

Ein Compiler würde diese Liste dann in den Syntaxbaum 
umstellen ( Was hier natürlich nicht gemacht wird ).

 

(7807 Hits)

 

  wuerfel     fir_iir     rollenspiel     hilbert     cpu_load     bignumber     simple_font     gedanken_leser     reihen     generische_liste     bww     graphen_algos     wireworld     desktop_lock     stm     partikelengine     rubik_cube2     codeviewer     kwirk     binomial     wii_headtrack     fakenet     io_adapter     trackball     summe_n     openglsphere     xml     dithering_filtering     bezier     heapsim     balanced     screeny     galton_brett     newton     atmegaboard     hough_transformation     ae20125     numeric_instability     chunkmanager     suchen_dialog     io_serializer     torus_chess     tasker     2048     send_get_file     tclockex     trio     bitverknupfung     knack     vokabel     picking     pointer     pi     exp_func     feder_masse     dxtools     mandelbrot     induktion     steganographie     affenpuzzle     3d_puzzle     sudoku     waage     delforlaz     puzzle     l_system     cleanup     stereoprojektion     5ermedian     portal     game_of_life     textfilter     perlin_noise     tbitstream     rubik_cube     lzw     sfxr     shannon_fano_coding     simple_cad     ym1602c     pentago     qprogrammer     tokenizer     clear_engine     vedische_multiplication     digiman     wii_whiteboard     weihnachtsstern     network_listener     episodenmanager     bmp_font     hex     basic     serial     weihnachtskalender     piemenue     opengl_spriteengine     projizierte_schatten     button_tool     ascii     mauskoordinaten     crc     wecker     euler     funplay2     hoertest     calender     raetsel     maw     nsudoku     proof2e1     gorilla     passbildcreator     4_wins     file_transfer     tippsy3     gebmanager     tg12864b     8x8x8     winkonfig     info     simpleray     balanced2     schachprobleme     fingerspeed     binaeruhr     imageinspector     fouriersynthese     updater     newton_interpolation     fourier     tankplan     address_db     rent_it     iq_block     sortieren2     loop     einstein     ntools     zauber     filetools     alt_f2     kollision     sql     jazzball     c_libs     farbspectrum     opengltruetypefont     anty_krypt     dcf77     race_condition     klab     cubemap     td     turing_maschine     c_depencies     matrix     fpc_depencies     netzwerkprotokol     screensaveblocker     gpu_info     greenfoot     dcommenter     wuerfelzauber     project_collector     proto     tipp_it     sprite_engine     baum     picam     zufall     multilanguage     transparenz     dithering_mask     ccm     attributgrammatik     network_bandwidth_limiter     opengl_graphikengine     quadtree     mastermind     socket     codecounter     clickomania     parken     copycommander     kartei     pwm     bigprim     verzeichnung