quantization

SLM اختصار لـ Statistical Language Model، يعني نموذج إحصائي بيتعلم من النصوص عشان يتوقع الكلمات… عنقود مرتّب يدوياً Parameter البارامتر (المُعامِل) — رقم داخلي بالنموذج بيتعدّل بالتدريب؛ معرفة النموذج مخزّنة بمليارات منه عنقود مرتّب يدوياً Knowledge Cutoff حدود المعرفة — التاريخ الذي تنتهي عنده بيانات تدريب النموذج عنقود مرتّب يدوياً inference inference هو عملية استنتاج النتيجة من الموديل بعد ما تدرب، يعني بنشغله على بيانات جديدة لنشوف… عنقود مرتّب يدوياً context window context window هو طول النص اللي النموذج بيقدر يشتغل عليه مرة وحدة، كل ما كان أكبر بنقدر نعطيه… عنقود مرتّب يدوياً tokenization يعني نقسّم النص لكلمات أو قطع أصغر اسمها tokens، بنعمل هالشي عشان النموذج يقدر يفهم النص خطوة… عنقود مرتّب يدوياً token التوكن هو أصغر وحدة نصية بنعالجها الموديلات، ممكن تكون كلمة أو جزء منها، بنقسم النص لإشي اسمه… عنقود مرتّب يدوياً on-device AI ذكاء اصطناعي بيشتغل على الجهاز نفسه بدون سحابة نفس المقالة distillation تقنية بنأخذ فيها نموذج ذكاء اصطناعي كبير وقوي ونعلّم نموذج أصغر يحاكيه، عشان نحصل على أداء شبه… نفس المقالة QLoRA تقنية لتدريب نماذج كبيرة باستخدام كمية قليلة من الذاكرة عبر تقليل الدقة وتحديث منخفض التكلفة… نفس المقالة pretrained language model موديل لغة مدرب مسبقاً على كمية هائلة من النصوص، احنا بنستفيد منه عشان يقدر يفهم ويولّد نصوص… أوراق نفس اليوم LLM نموذج لغة ضخم بتعلم على مليارات الكلمات وبعدين بيقدر يتنبأ ويكتب نصوص زي ChatGPT و Claude. أوراق نفس اليوم hallucination يعني النموذج بيخترع معلومات مش موجودة أصلاً وبيقدمها وكأنها حقيقية! أوراق نفس اليوم geometric consistency تأكد إن الشكل والمسافات بين العناصر تظل ثابتة عبر الإطارات أو المشاهد، مش لازم يتغيّروا… أوراق نفس اليوم DPO طريقة تدريب حديثة بدل ما نعلم النموذج على إجابات صح وخطأ بشكل منفصل، احنا بندربو يختار بين… أوراق نفس اليوم AIMS AIMS dataset بيجمع فيديوهات مع أوامر فعلية لتدريب نماذج vision-language-action، احنا بنستعمله… أوراق نفس اليوم