knowledge distillation

teacher/student المعلّم والطالب — النموذج الكبير المصدر والصغير المتعلّم نفس المقالة soft targets الأهداف الناعمة — توزيع الاحتمالات الكامل بدل التسمية الواحدة نفس المقالة reinforcement learning تعليم الذكاء الاصطناعي من خلال نظام الحوافز والعقوبات، زي لما تعلّم طفل بالمكافأة والعقاب عشان… أوراق نفس اليوم KV cache تقنية بتخزّن المفاتيح والقيم اللي حسبناها قبل هيك عشان نستخدمها مرة ثانية. أوراق نفس اليوم optimal transport loss خسارة النقل الأمثل هي مقياس بيقيس الفرق بين توزيعين عن طريق حساب أقل تكلفة لنقل الكتلة من… أوراق نفس اليوم MSE-Bench MSE-Bench مجموعة بيانات بنستعملها لتقييم أداء النماذج على قياس الخطأ المتوسط المربع، عشان نشوف… أوراق نفس اليوم Gated DeltaNet (GDN) هاد نوع من نماذج الذكاء الاصطناعي بيستخدم آلية 'بوابات' عشان يتحكم بشو المعلومات يحتفظ فيها… أوراق نفس اليوم VLMs هاي نماذج بتفهم الصور والنصوص مع بعض يعني بتقدر تحكيلها 'شو في بالصورة هاي؟ أوراق نفس اليوم FPS هو مقياس بيقيسلنا كم فريم أو صورة بيعالجها النموذج في الثانية الوحدة. أوراق نفس اليوم visually grounded thinking يعني لما النموذج بيفكر بمسألة وبيستند على إشي بشوفه بالصورة مش بس على الكلام، وبنسمع عنه لأنه… أوراق نفس اليوم Diffusion Transformer (DiT) هاد نموذج لتوليد الصور والفيديو بيجمع تقنية الـ Diffusion مع بنية الـ Transformer، وبنسمع عنه… أوراق نفس اليوم token compression يعني بنضغط ونقلل عدد القطع اللي النموذج لازم يشتغل عليها عشان يوفر وقت وذاكرة، وبنسمع عنه لأن… أوراق نفس اليوم autoregressive model هو نموذج بيتعلم يولّد الإشي خطوة خطوة، كل خطوة بتعتمد على اللي قبلها، زي ما بنحكي كلمة كلمة. أوراق نفس اليوم streaming inference يعني النموذج بيطلع النتيجة شوي شوي وأنت لسّا بتحكيله، مش بينتظر تخلص ويطلع الجواب دفعة وحدة… أوراق نفس اليوم softmax attention هاد إشي رياضي بيحسب قد شو كل كلمة في الجملة مهمة بالنسبة للكلمات الثانية، وبنسمع عنه لأنه… أوراق نفس اليوم ROPD مش قادرة أتأكد من هاد المصطلح بشكل دقيق، يمكن يكون اختصار لطريقة خاصة في معالجة البيانات أو… أوراق نفس اليوم