Token توكن
التوكن هو أصغر وحدة نصية بنعالجها الموديلات، ممكن تكون كلمة أو جزء منها، بنقسم النص لإشي اسمه توكن عشان الموديل يقدر يفهمه
مصطلحات حدود النموذج وتكلفته
ليش المساعد «بينسى»؟ وليش الأسعار بالمليون توكن؟ وشو يعني 7B؟
أغلب الأسئلة اللي بتوصلنا عن الذكاء الاصطناعي مردّها لمجموعة صغيرة من المفاهيم: ليش بينسى أول المحادثة؟ ليش العربي بيكلّف أكتر؟ شو يعني ٧٠ مليار معامل؟ وليش ما بيعرف خبر الأسبوع الماضي؟
كل هالأسئلة إجاباتها بنفس العائلة من المصطلحات. رتّبناهم هون بترتيب تعليمي مش أبجدي — تقرأهم من فوق لتحت فتطلع فاهم كيف بيشتغل النموذج من جوّا وليش إله حدود.
المصطلحات الـ8 بهالعنقود
طيب مين بيقرّر شكل هالقطع؟
Tokenization التقطيع
يعني نقسّم النص لكلمات أو قطع أصغر اسمها tokens، بنعمل هالشي عشان النموذج يقدر يفهم النص خطوة بخطوة.
وقديش بيقدر يشيل من هالتوكنز مرة وحدة؟
Context Window نافذة السياق
context window هو طول النص اللي النموذج بيقدر يشتغل عليه مرة وحدة، كل ما كان أكبر بنقدر نعطيه معلومات أكتر عشان يجاوب بدقة
ولما تقرا «نموذج 70B» — شو الرقم هاد؟
Parameters المعاملات
أرقام داخلية بتتعدّل وقت التدريب وبتخزّن اللي تعلّمه النموذج. عددها (7B يعني ٧ مليار) بيعطي فكرة عن حجمه — بس الأكبر مش دايماً الأفضل.
وفي فرق جوهري بين مرحلتين بحياة النموذج:
Inference الاستدلال
inference هو عملية استنتاج النتيجة من الموديل بعد ما تدرب، يعني بنشغله على بيانات جديدة لنشوف شو بيطلع.
وهاد بيفسّر ليش ما بيعرف أخبار اليوم:
Knowledge Cutoff حدود المعرفة
التاريخ اللي وقف عنده جمع بيانات تدريب النموذج. أي حدث بعده ما بيعرفه إلا لو بحث بالويب — ولهيك بيجاوب بثقة عن أخبار قديمة ويغلط بالجديدة.
ولما نبدّي نشغّله بكلفة أقلّ:
Quantization التكميم
الـ quantization هو تحويل القيم العائمة للوزن إلى أعداد صحيحة أصغر، يعني بنقلل الدقة شوي عشان النموذج يشتغل على أجهزة أقل قدرة.
ومنها طلعت عائلة كاملة:
SLM النماذج الصغيرة
اختصار لـ Statistical Language Model، يعني نموذج إحصائي بيتعلم من النصوص عشان يتوقع الكلمات الجاية، بنسمعه لأنه أساس كتير من تطبيقات NLP