subword
المصطلحات اللي بتيجي معه — والنقر بينقّلك لجاره.
اسحب للتحريك · دولاب الفأرة للتكبير · انقر عقدة لتنتقل لها
subword
جزء كلمة — وحدة التقطيع الشائعة، أصغر من الكلمة وأكبر من الحرف
المصطلحات المرتبطة
tokenization
يعني نقسّم النص لكلمات أو قطع أصغر اسمها tokens، بنعمل هالشي عشان النموذج يقدر يفهم النص خطوة…
نفس المقالة
BPE
BPE (Byte Pair Encoding) طريقة لتقسيم الكلمات لإشي أصغر، بنستعملها عشان النموذج يتعامل مع…
نفس المقالة
vocabulary
قاموس النموذج — مجموعة كل التوكنز التي يعرفها، لكل واحد رقم (ID)
نفس المقالة