vocabulary

BPE BPE (Byte Pair Encoding) طريقة لتقسيم الكلمات لإشي أصغر، بنستعملها عشان النموذج يتعامل مع… نفس المقالة tokenizer أداة بتقسم النص لجزيئات أصغر، إما كلمات أو أجزاء من كلمات، عشان النموذج يقدر يتعامل معها. نفس المقالة Token Ratio نسبة التوكنز — كم توكن بتاخد لغة مقابل لغة تانية بنفس المعنى نفس المقالة tokenization يعني نقسّم النص لكلمات أو قطع أصغر اسمها tokens، بنعمل هالشي عشان النموذج يقدر يفهم النص خطوة… نفس المقالة subword جزء كلمة — وحدة التقطيع الشائعة، أصغر من الكلمة وأكبر من الحرف نفس المقالة