softmax attention

streaming inference يعني النموذج بيطلع النتيجة شوي شوي وأنت لسّا بتحكيله، مش بينتظر تخلص ويطلع الجواب دفعة وحدة… أوراق نفس اليوم knowledge distillation عملية بتاخد معلومات نموذج ذكي كبير وتحطها في نموذج أصغر بدون ما تفقد الكتير من الجودة، أشبه… أوراق نفس اليوم On-Policy Distillation هالطريقة بنقل فيها المعرفة من نموذج بيتعلم على نفس السياسة (on‑policy) إلى نموذج أصغر أو أبسط… أوراق نفس اليوم Gated DeltaNet (GDN) هاد نوع من نماذج الذكاء الاصطناعي بيستخدم آلية 'بوابات' عشان يتحكم بشو المعلومات يحتفظ فيها… أوراق نفس اليوم Omni-Modal Generative Model Omni-Modal Generative Model نموذج بيقدر يولد محتوى من أكتر من نوع بيانات، زي نص وصورة وصوت… أوراق نفس اليوم FPS هو مقياس بيقيسلنا كم فريم أو صورة بيعالجها النموذج في الثانية الوحدة. أوراق نفس اليوم multimodal alignment multimodal alignment هو مفهوم بيسعى يخلّي تمثيلات الأنماط المختلفة (نص، صورة، صوت) تكون… أوراق نفس اليوم Diffusion Transformer (DiT) هاد نموذج لتوليد الصور والفيديو بيجمع تقنية الـ Diffusion مع بنية الـ Transformer، وبنسمع عنه… أوراق نفس اليوم distillation تقنية بنأخذ فيها نموذج ذكاء اصطناعي كبير وقوي ونعلّم نموذج أصغر يحاكيه، عشان نحصل على أداء شبه… أوراق نفس اليوم autoregressive model هو نموذج بيتعلم يولّد الإشي خطوة خطوة، كل خطوة بتعتمد على اللي قبلها، زي ما بنحكي كلمة كلمة. أوراق نفس اليوم decoding stopping set هيدا المفهوم بيوصف مجموعة من القواعد اللي بتوقف عملية فك الترميز (decoding) وقت ما توصل لأفضل… أوراق نفس اليوم VLMs هاي نماذج بتفهم الصور والنصوص مع بعض يعني بتقدر تحكيلها 'شو في بالصورة هاي؟ أوراق نفس اليوم ROPD مش قادرة أتأكد من هاد المصطلح بشكل دقيق، يمكن يكون اختصار لطريقة خاصة في معالجة البيانات أو… أوراق نفس اليوم visually grounded thinking يعني لما النموذج بيفكر بمسألة وبيستند على إشي بشوفه بالصورة مش بس على الكلام، وبنسمع عنه لأنه… أوراق نفس اليوم reinforcement learning تعليم الذكاء الاصطناعي من خلال نظام الحوافز والعقوبات، زي لما تعلّم طفل بالمكافأة والعقاب عشان… أوراق نفس اليوم token compression يعني بنضغط ونقلل عدد القطع اللي النموذج لازم يشتغل عليها عشان يوفر وقت وذاكرة، وبنسمع عنه لأن… أوراق نفس اليوم KV cache تقنية بتخزّن المفاتيح والقيم اللي حسبناها قبل هيك عشان نستخدمها مرة ثانية. أوراق نفس اليوم