شو في AI؟ | تجميع الأسبوع 25 يوليو — Hybrid Attention Powers AI

فريق Chen وزملاؤه قدموا SANA-Video 2.0، نموذج تحويلة انتشار بحجم 5B و14B بيشتغل على GPU وحدة لتوليد فيديوهات لحد 720p. النموذج بيستعمل Hybrid Linear-Softmax Attention اللي بخلط انتباه خطي مع Softmax بنسب 3:1، وBlock Attention Residuals لتقوية التمثيلات عبر الطبقات، فبيوصل جودة قريبة من النماذج اللي بتستعمل Softmax بالكامل وبسرعة أعلى. التدريب من الصفر بيضمن إن النموذج ما بيعتمد على نماذج مسبقة، ومع 40 خطوة توليد بيحقق درجة VBench 84.30 خلال 13.2 ثانية على 480p باستخدام H100. الورقة انتشرت على Hugging Face Daily Papers وجمعت 18 upvote، وأصلها preprint على arXiv.

الباحثين قدموا Structured Dynamics Model (SDM) اللي بتفصل بين حركة الكاميرا وحركة الأشياء بالفيديو عبر توقع ميزات المستقبل، وكل هالشي من ميزات ثابتة لvision transformer مدرب مسبقاً. التدريب بيجمع تعلم ذاتي على فيديوهات حقيقية وإشراف ضعيف على بيانات صناعية من Kubric. اختبروا النموذج على مجموعة ProbeMotion اللي فيها سيناريوهات مختلفة، ولقوا إنه بيتفوق على النماذج التقليدية ويقارن بصورة إيجابية مع تمثيلات مُشرفة بقوة. النتائج بتبين إنو فينا نعيد توظيف نماذج الصور لتوليد تمثيلات حركة أكثر تنظيماً بالفيديو.

الفريق بقيادة Jihoon Tack بيقدّموا إطار بيحوّل المهام الثابتة لتصير محادثات متعددة الأدوار، بحيث نية المستخدم بتتغيّر مع كل رد. الإطار بيخلي كل مهمة تظل تتقَيّم بنفس الطريقة القديمة، بس بيضيف تغيّر النية كإشي جديد. النتايج بتبين إنّ الأداء القوي بالمواقف الثابتة ما بينتقل للمحادثات المتغيرة، وبيظهر انخفاض واضح عبر عائلات النماذج. هالنتيجة بتوضح إنّ LLMs لسا ما بتتبع نية المستخدم بدقة لما بتتغيّر خلال الحوار.

الفريق بقيادة Sicheng Mo قدم WorldWeaver، نموذج انتشار فيديو بيشتغل على توليد مشاهد Minecraft لعدة وكلاء بنفس الوقت. النموذج بيضيف سجلات حالة عالمية، وهي توكنات قابلة للتعلم بتخزن معلومات مشتركة وبتتحدّث بعد كل قطعة فيديو. كمان استُخدم تصميم Mixture-of-Transformers ليقسم الوزن بين تمثيل الحالة العالمية وإنتاج الإطارات البصرية، وبيّنوا إن هالطريقة بتحسّن التناسق المنطقي وجودة الفيديو.

الفريق قدم OpenForgeRL، إطار مفتوح المصدر بيسمح بتدريب الوكلاء اللي بيشتغلوا على هارنسات مثل Claude Code أو Codex بطريقة end‑to‑end، حتى لو البيئة معقّدة. الإطار بيستعمل بروكسي خفيف بيسجّل نداءات الموديل كبيانات تدريب، وKubernetes Orchestrator بيشغّل كل rollout بحاوية منفصلة، فبصير فينا ندرب الوكلاء على أي هارنس بأي بيئة وبمقياس كبير. التجارب أظهرت إنّ OpenForgeRL يحقق نتائج أعلى على Benchmarks مثل ClawEval وOSWorld‑Verified مقارنةً بال baselines.

الفريق بقيادة Darshan Deshpande قدموا طريقة جديدة تستخدم نماذج Diffusion المكسية للغة لتكون عالم نصّي يقدر يتوجه ويتحكم فيه للـ RL. بالمقارنة مع النماذج التلقائية التقليدية، هالنموذج بيقدر يدمج معلومات من كل الاتجاهات، فبيطلع نصوص أكتر تماسك وتثبيت على الواقع. كمان حطوا إطار تدريب اسمه GRPO يشتغل بلا تعديل خاص على البيئة، وحققوا تحسينات كبيرة لحد 47% على بيئات جديدة بدون تدريب إضافي.

الفريق بيقترح طريقة جديدة اسمها Experience Distillation لتقليل الاعتماد على تفاعل البيئة المكلف. الفكرة إنو الوكيل بيستفيد من in‑context learning على تاريخ تفاعلاته، وبعدين هالمعلومات بتنتقل للوزنات الداخلية للنموذج بدون ما يحتاج يجرّب البيئة مرة تانية. التجارب على 749 مهمة برمجية وست ألعاب نصية بتظهر إنه الطريقة بتحافظ على أكتر من 64.8% من الفوايد مقارنةً بالتدريب التقليدي اللي بيرجع لـ 3.8% بس. كمان، مقارنةً بطرق reinforcement learning الكلاسيكية، الطريقة بتوصل لنفس الأداء مع تقليل العينات البيئية بأكثر من 9.6 مرة.

الفريق قدم نظام اسمه FVAttn بيستغل الـ sparse attention بدون تدريب، وبيوازن الحمل بين البطاقات الرسومية وقت تشغيل الفيديو. بيستخدم Top‑p routing مع طبقة أمان Top‑k وتنظيم بلوكات خاص بالفيديو، وبعدين بيصحح القناع وقت التشغيل. كمان بيهجر رؤوس التحميل الثقيلة عبر P2P لتقليل الوقت الضائع، ويضيف بلوكات قيمة لتعبّي الفجوات. النتيجة إنو وصلوا لتسريع 4.41× على FlashAttention وتسريع 2‑2.1× على DiT مع جودة فيديو مقبولة.

الفريق قدم طريقة اسمها ReOPD، بتخلّي الطالب يتعلم من معلم موجود بس بسجلات سابقة بدل ما يروح كل مرة للبيئة. الفكرة إنو الطالب يشتغل على خطوات مختارة، والمعلم يعطي إشراف تفصيلي لكل خطوة من غير ما يطلب تفاعل جديد مع الأدوات. هالطريقة بتقلل من التحوّلات بين ما يتوقع الطالب وما يقدر المعلم يجاوب عليه، وبتعطي وزن أكبر للبدايات اللي فيها التغيّر أقل. التجارب بينت إنو ReOPD أسرع بأربع مرات تقريباً وبنفس الدقة أو أحسن من الطرق التقليدية.

الفريق (الباحث Zhihua Liang) قدم إطار هندسي مستمر بيترجم العمليات الجبرية للـ Transformer إلى معادلة تكاملية‑تفاضلية على فضاء دلالي. من خلال فرضية إن تسلسل الرموز هو 1‑من manifold، حوّلوا كل مكوّن أساسي بالـ Transformer مثل RMSNorm وRoPE وSoftmax Attention وFFN إلى مصطلحات من الهندسة التفاضلية ونظرية القياس. التجارب على خمس نماذج (Qwen3, LLaMA‑3.1, Gemma‑3, GPT‑2, Mistral) أظهرت توافق كمي بين التوقعات الهندسية والنتائج الفعلية، مثل مقياس Lipschitz بدقة عالية وتحولات حرارية غير توازنية. هالإطار بيفتح باب لتوقع حدود الاستقرار والسياق وتفاعلات التحسين للـ Large Language Models.

فريق O'Nuallain وزملاؤه قدموا AutoIndex، إطار يعلّم برامج تمثيل تنفيذية بتحوّل المستندات قبل ما تنفهرس. بدل ما نضبط الـretrievers أو الـrerankers، AutoIndex بيبحث عن برامج تقص، تغني، توحد أو تعيد وزن الوثائق، وكل خطوة بتتأكد من تحسين جودة الاسترجاع. جربوا الإطار على benchmark اسمه CRUMB مع BM25 ثابت، ولقوا تحسين متوسط +8.4% بالـRecall@100 و+8.3% بالـnDCG@10، وأكبر تحسين وصل لـ+30.5% بالـRecall@100. البحث ظهر على Hugging Face Daily Papers وجمع 9 upvote، وهو preprint على arXiv.

الفريق قدم H^{2}SD، إطار جديد بيستغل فكرة الـ self-distillation بعد ما النموذج ينتج حل صحيح أو فاشل. للنتائج الصح، المعلم ياخد استجابة الطالب المؤكدة مع تعليمات إعادة الصياغة ويستخدم احتمالاتها لتعديل حجم التحديث، بس ما يغيّر اتجاه المكافأة. للنتائج الغلط، المعلم يتغذّى على إشارة مرجعية فيها خطوات التفكير الأساسية وإجابة موثقة، وبنقّل الـ KL العكسي من الطالب للمعلم لحد ما يتحسن الأداء.