Token — توكن
التوكن هو أصغر وحدة نصية بنعالجها الموديلات، ممكن تكون كلمة أو جزء منها، بنقسم النص لإشي اسمه توكن عشان الموديل يقدر يفهمه
مصطلحات حدود النموذج وتكلفته
ليش المساعد «بينسى»؟ وليش الأسعار بالمليون توكن؟ وشو يعني 7B؟
أغلب الأسئلة اللي بتوصلنا عن الذكاء الاصطناعي مردّها لمجموعة صغيرة من المفاهيم: ليش بينسى أول المحادثة؟ ليش العربي بيكلّف أكتر؟ شو يعني ٧٠ مليار معامل؟ وليش ما بيعرف خبر الأسبوع الماضي؟
كل هالأسئلة إجاباتها بنفس العائلة من المصطلحات. رتّبناهم هون بترتيب تعليمي مش أبجدي — تقرأهم من فوق لتحت فتطلع فاهم كيف بيشتغل النموذج من جوّا وليش إله حدود.
طيب مين بيقرّر شكل هالقطع؟
Tokenization — التقطيع
يعني نقسّم النص لكلمات أو قطع أصغر اسمها tokens، بنعمل هالشي عشان النموذج يقدر يفهم النص خطوة بخطوة.
وقديش بيقدر يشيل من هالتوكنز مرة وحدة؟
Context Window — نافذة السياق
context window هو طول النص اللي النموذج بيقدر يشتغل عليه مرة وحدة، كل ما كان أكبر بنقدر نعطيه معلومات أكتر عشان يجاوب بدقة
ولما تقرا «نموذج 70B» — شو الرقم هاد؟
Parameters — المعاملات
أرقام داخلية بتتعدّل وقت التدريب وبتخزّن اللي تعلّمه النموذج. عددها (7B يعني ٧ مليار) بيعطي فكرة عن حجمه — بس الأكبر مش دايماً الأفضل.
وفي فرق جوهري بين مرحلتين بحياة النموذج:
Inference — الاستدلال
inference هو عملية استنتاج النتيجة من الموديل بعد ما تدرب، يعني بنشغله على بيانات جديدة لنشوف شو بيطلع.
وهاد بيفسّر ليش ما بيعرف أخبار اليوم:
Knowledge Cutoff — حدود المعرفة
التاريخ اللي وقف عنده جمع بيانات تدريب النموذج. أي حدث بعده ما بيعرفه إلا لو بحث بالويب — ولهيك بيجاوب بثقة عن أخبار قديمة ويغلط بالجديدة.
ولما نبدّي نشغّله بكلفة أقلّ:
Quantization — التكميم
الـ quantization هو تحويل القيم العائمة للوزن إلى أعداد صحيحة أصغر، يعني بنقلل الدقة شوي عشان النموذج يشتغل على أجهزة أقل قدرة.
ومنها طلعت عائلة كاملة:
SLM — النماذج الصغيرة
اختصار لـ Statistical Language Model، يعني نموذج إحصائي بيتعلم من النصوص عشان يتوقع الكلمات الجاية، بنسمعه لأنه أساس كتير من تطبيقات NLP