reverse-KL

LLM نموذج لغة ضخم بتعلم على مليارات الكلمات وبعدين بيقدر يتنبأ ويكتب نصوص زي ChatGPT و Claude. أوراق نفس اليوم benchmark يعني مجموعة معايير واختبارات بنستخدمها عشان نشيك كيف أداء النموذج تبعنا، شو مستواه الفعلي. أوراق نفس اليوم routing عملية توجيه البيانات داخل الشبكة لتروح للجزء المناسب، بدنا نستخدمها بالموديلات اللي فيها خبرات… أوراق نفس اليوم distribution matching distribution matching مفهوم بنحاول فيه نخلي توزيع البيانات اللي يولدها النموذج يطابق توزيع… أوراق نفس اليوم policy gradient policy gradient هو طريقة بنستعملها لتدريب الوكيل يختار أفعال أحسن، عشان احنا بدنا سياسات RL… أوراق نفس اليوم predicted-KL step control Predicted‑KL step control طريقة بتتحكم بخطوة التدريب بناءً على توقع الانحراف الكلفي (KL)، يعني… أوراق نفس اليوم autoregressive يعني النموذج بيتنبأ بالكلمة الجاية بناءً على الكلمات اللي جاية قبلها، خطوة بخطوة. أوراق نفس اليوم On-Policy Reverse Distillation هيدا طريقة بنعكس فيها عملية الـ Distillation من النموذج الكبير للـ policy الحالي عشان نحسّن… أوراق نفس اليوم On-Policy Distillation هالطريقة بنقل فيها المعرفة من نموذج بيتعلم على نفس السياسة (on‑policy) إلى نموذج أصغر أو أبسط… أوراق نفس اليوم verifier الـ verifier هو مكوّن بيتأكد إذا النتيجة اللي أعطاها النموذج صحيحة أو لا، بنستعمله لزيادة… أوراق نفس اليوم omni perception الـ omni perception يعني القدرة على استيعاب كل المعلومات من كل الاتجاهات بنفس الوقت، بنستعمله… أوراق نفس اليوم Mixture-of-Experts (MoE) Mixture-of-Experts (MoE) هو مفهوم بيخلّي النموذج يختار من مجموعة خبراء متخصصين حسب الإشي اللي… أوراق نفس اليوم trajectory balance يعني بنوازن بين المسار اللي النموذج بيتبعه والنتايج المتوقعة، بنستعمله عشان النموذج ما يضلّق… أوراق نفس اليوم fine-tuning تدريب إضافي لنموذج موجود بالفعل على بيانات جديدة وخاصة عشان يكون أفضل في مجال معين. أوراق نفس اليوم mean squared error Mean squared error هو مقياس بيحسب متوسط الفرق المربّع بين التوقع والواقع، بنستعمله كخسارة… أوراق نفس اليوم Thinker-Talker هيدا مفهوم بيفرق بين جزء النموذج اللي بيفكّر (Thinker) وجزء اللي بيولّد الكلام (Talker) عشان… أوراق نفس اليوم Cerebellum الـ Cerebellum هو جزء من الدماغ بيساعد على تنسيق الحركة وتوازنها، بنستعمله عشان نقارن بينه… أوراق نفس اليوم low-rank gradient sketches Low‑rank gradient sketches هي تقنية لتقريب التدرجات باستخدام مصفوفات منخفضة الرتبة، عشان نوفر… أوراق نفس اليوم self-supervision طريقة تدريب النموذج على نفسه باستخدام بيانات ما عليهاش علامات، يعني بنخلي النموذج يتعلم من إشي… أوراق نفس اليوم Brain الـ Brain هو المركز الرئيسي للمعالجة بالمخ، بنستعمل هالمصطلح لنقارن الشبكات العصبية بالدماغ… أوراق نفس اليوم KV cache تقنية بتخزّن المفاتيح والقيم اللي حسبناها قبل هيك عشان نستخدمها مرة ثانية. أوراق نفس اليوم self-guidance هيدا مفهوم بيخلّي النموذج يوجّه نفسه خلال التدريب، يعني ما بحاجة لتوجيه خارجي كتير، بنسمعه… أوراق نفس اليوم MLE-Bench Lite مجموعة اختبار خفيفة لتقييم نماذج التعلم الآلي، بنسمع عنها لأنها بتعطي قياس سريع لأداء النموذج… أوراق نفس اليوم Hermes+ HERMES هو موديل لغة بيشتغل على مهام عربية متعددة، بدنا نستخدمه لأنه بيقدر يفهم ويولّد نصوص… أوراق نفس اليوم RSI مصطلح بيرمز لRelative Strength Index، وهو مؤشر بيقيس قوة الحركة السعرية للأصول المالية… أوراق نفس اليوم memory attention memory attention يعني آلية تركيز النموذج على معلومات مخزنة بذاكرة سابقة، بنستعمله عشان يقدر… أوراق نفس اليوم Dev-Primitives Dev‑Primitives هي مجموعة من اللبنات الأساسية للبرمجة والتطوير، يعني أدوات جاهزة بنقدر نعيد… أوراق نفس اليوم Quantization-Aware Training بندرّب النموذج مع مراعاة تقليل الدقة (quantization) من البداية، يعني احنا بنخلي الشبكة تتعلم… أوراق نفس اليوم