token
المصطلحات اللي بتيجي معه — والنقر بينقّلك لجاره.
اسحب للتحريك · دولاب الفأرة للتكبير · انقر عقدة لتنتقل لها
token
التوكن هو أصغر وحدة نصية بنعالجها الموديلات، ممكن تكون كلمة أو جزء منها، بنقسم النص لإشي اسمه توكن عشان الموديل يقدر يفهمه
المصطلحات المرتبطة
context window
context window هو طول النص اللي النموذج بيقدر يشتغل عليه مرة وحدة، كل ما كان أكبر بنقدر نعطيه…
عنقود مرتّب يدوياً
tokenization
يعني نقسّم النص لكلمات أو قطع أصغر اسمها tokens، بنعمل هالشي عشان النموذج يقدر يفهم النص خطوة…
عنقود مرتّب يدوياً
SLM
اختصار لـ Statistical Language Model، يعني نموذج إحصائي بيتعلم من النصوص عشان يتوقع الكلمات…
عنقود مرتّب يدوياً
quantization
الـ quantization هو تحويل القيم العائمة للوزن إلى أعداد صحيحة أصغر، يعني بنقلل الدقة شوي عشان…
عنقود مرتّب يدوياً
Parameter
البارامتر (المُعامِل) — رقم داخلي بالنموذج بيتعدّل بالتدريب؛ معرفة النموذج مخزّنة بمليارات منه
عنقود مرتّب يدوياً
Knowledge Cutoff
حدود المعرفة — التاريخ الذي تنتهي عنده بيانات تدريب النموذج
عنقود مرتّب يدوياً
inference
inference هو عملية استنتاج النتيجة من الموديل بعد ما تدرب، يعني بنشغله على بيانات جديدة لنشوف…
عنقود مرتّب يدوياً
tokenizer
أداة بتقسم النص لجزيئات أصغر، إما كلمات أو أجزاء من كلمات، عشان النموذج يقدر يتعامل معها.
نفس المقالة