context window

token التوكن هو أصغر وحدة نصية بنعالجها الموديلات، ممكن تكون كلمة أو جزء منها، بنقسم النص لإشي اسمه… عنقود مرتّب يدوياً SLM اختصار لـ Statistical Language Model، يعني نموذج إحصائي بيتعلم من النصوص عشان يتوقع الكلمات… عنقود مرتّب يدوياً quantization الـ quantization هو تحويل القيم العائمة للوزن إلى أعداد صحيحة أصغر، يعني بنقلل الدقة شوي عشان… عنقود مرتّب يدوياً Parameter البارامتر (المُعامِل) — رقم داخلي بالنموذج بيتعدّل بالتدريب؛ معرفة النموذج مخزّنة بمليارات منه عنقود مرتّب يدوياً Knowledge Cutoff حدود المعرفة — التاريخ الذي تنتهي عنده بيانات تدريب النموذج عنقود مرتّب يدوياً inference inference هو عملية استنتاج النتيجة من الموديل بعد ما تدرب، يعني بنشغله على بيانات جديدة لنشوف… عنقود مرتّب يدوياً tokenization يعني نقسّم النص لكلمات أو قطع أصغر اسمها tokens، بنعمل هالشي عشان النموذج يقدر يفهم النص خطوة… عنقود مرتّب يدوياً tokenizer أداة بتقسم النص لجزيئات أصغر، إما كلمات أو أجزاء من كلمات، عشان النموذج يقدر يتعامل معها. نفس المقالة parametric knowledge المعرفة المدمجة — ما تعلّمه النموذج وقت التدريب داخل أوزانه نفس المقالة external memory external memory هو مساحة تخزين إضافية بيقدر الموديل يستخدمها لتذكر معلومات طويلة المدى، زي ما… نفس المقالة Lost in the Middle ظاهرة «الضياع بالنص» — النموذج بيلقط أول النافذة وآخرها أحسن من نصها نفس المقالة