tokenizer
المصطلحات اللي بتيجي معه — والنقر بينقّلك لجاره.
اسحب للتحريك · دولاب الفأرة للتكبير · انقر عقدة لتنتقل لها
tokenizer
أداة بتقسم النص لجزيئات أصغر، إما كلمات أو أجزاء من كلمات، عشان النموذج يقدر يتعامل معها. بنسمعه لأنه أول خطوة بأي نظام معالجة لغة.
المصطلحات المرتبطة
vocabulary
قاموس النموذج — مجموعة كل التوكنز التي يعرفها، لكل واحد رقم (ID)
نفس المقالة
Token Ratio
نسبة التوكنز — كم توكن بتاخد لغة مقابل لغة تانية بنفس المعنى
نفس المقالة
token
التوكن هو أصغر وحدة نصية بنعالجها الموديلات، ممكن تكون كلمة أو جزء منها، بنقسم النص لإشي اسمه…
نفس المقالة
context window
context window هو طول النص اللي النموذج بيقدر يشتغل عليه مرة وحدة، كل ما كان أكبر بنقدر نعطيه…
نفس المقالة