Tokenizers Project

وصف المشروع

عملنا في هذا المشروع Tokenizer يقوم بعمل Tokens الذي بدوره يتعامل مع ال Strings وتمييز انواعها على حسب النص المدخل

الـ Tokenizers

• NumberTokenizer
• IdTokenizer
• WhiteSpaceTokenizer
• ClassTokenizer
• CommentTokenizer
• CommentStarTokenizer
• StringTokenizer
• HashtagTokenizer
• HTMLTokenizer
• ElseTokenizer

التقنيات الموجودة

• تم تلوين النص على حسب الـ Tokenizer ليكون كمحررات الاكواد

الختام

تم عمل الـ Tokenizer من قبل المتدربين :

1. عبدالعزيز المحمدي
2. سلطان الزعبي
3. محمد راشد