predicted-KL step control

Quantization-Aware Training بندرّب النموذج مع مراعاة تقليل الدقة (quantization) من البداية، يعني احنا بنخلي الشبكة تتعلم… أوراق نفس اليوم mean squared error Mean squared error هو مقياس بيحسب متوسط الفرق المربّع بين التوقع والواقع، بنستعمله كخسارة… أوراق نفس اليوم low-rank gradient sketches Low‑rank gradient sketches هي تقنية لتقريب التدرجات باستخدام مصفوفات منخفضة الرتبة، عشان نوفر… أوراق نفس اليوم LLM نموذج لغة ضخم بتعلم على مليارات الكلمات وبعدين بيقدر يتنبأ ويكتب نصوص زي ChatGPT و Claude. أوراق نفس اليوم KV cache تقنية بتخزّن المفاتيح والقيم اللي حسبناها قبل هيك عشان نستخدمها مرة ثانية. أوراق نفس اليوم Hermes+ HERMES هو موديل لغة بيشتغل على مهام عربية متعددة، بدنا نستخدمه لأنه بيقدر يفهم ويولّد نصوص… أوراق نفس اليوم Dev-Primitives Dev‑Primitives هي مجموعة من اللبنات الأساسية للبرمجة والتطوير، يعني أدوات جاهزة بنقدر نعيد… أوراق نفس اليوم benchmark يعني مجموعة معايير واختبارات بنستخدمها عشان نشيك كيف أداء النموذج تبعنا، شو مستواه الفعلي. أوراق نفس اليوم On-Policy Distillation هالطريقة بنقل فيها المعرفة من نموذج بيتعلم على نفس السياسة (on‑policy) إلى نموذج أصغر أو أبسط… أوراق نفس اليوم reverse-KL مفهوم reverse-KL بيشتغل عكس الـ KL التقليدي، بنقيس الفرق بين التوزيع اللي بنحاول نوصلله واللي… أوراق نفس اليوم Mixture-of-Experts (MoE) Mixture-of-Experts (MoE) هو مفهوم بيخلّي النموذج يختار من مجموعة خبراء متخصصين حسب الإشي اللي… أوراق نفس اليوم