شو في AI؟ | تجميع الأسبوع 29 أكتوبر — الوكيل المتعدد الوسائط الديناميكي

الفريق قدم طريقة اسمها ChronoReplay لتدريب نماذج الرؤية-اللغة على فهم الفضاء المتدفّق. الفكرة إنه يخلّوا الإشراف المكاني يجي بصورة حلقات زمنية متتابعة، مع الحفاظ على الأهداف الأصلية لكل نوع إشراف، وبيوزنوا بين العائلات المختلفة. هالطريقة بتقوّي النموذج يجاوب على أكتر من واجهة سؤال بنفس الوقت، وبتحسّن النتائج على ثلاث مجموعات اختبار (OVO‑S‑Bench, OST‑Bench, UCS‑Bench) بزيادة ملحوظة. كمان بيضيفوا اختيار إطارات ذكي يخفّض تكلفة الرؤية وقت الاستدلال.

الفريق قدم Hy-Nomas، نموذج فيديو بحجم 8B يعتمد على diffusion وبيقدر يتلقى أوامر نصية حرة ويتحكم بالكاميرا عبر تفاعلات متتابعة. النموذج يولّد مقاطع فيديو بطول متغيّر بناءً على المدخلات الحالية وتاريخ الأوامر المخزن، ويستخدم attention سببي لتحديد أي أوامر تنطبق على أي فترات زمنية. كمان فيه Vision‑Language Prompt Enhancer يحوّل طلبات المستخدم وتاريخ التفاعل المتعدد الوسائط لشروط منظمة للمقطع الجاي. التدريب صار على مراحل من توليد سببي، تفاعل نصي، تحكم بالكاميرا، وتدريب على تاريخ مولّد من النموذج، وبعدين تم تقليل التعقيد عبر diffusion distillation. التقييم البشري بيّن إن Hy-Nomas يتفوّق على النماذج الحالية.

الفريق قدم نموذج PDRVLA يلي بيضيف وحدة Dynamics خفيفة تستخرج توكنات فيزيائية من مميزات الرؤية واللغة لتوجيه توليد الأفعال، بدون ما يحتاج يولّد فيديوهات مستقبلية داخل حلقة التحكم. الوحدة بتتعلم بتوقع خصائص RGB، العمق، وتدفق البصريات للمستقبل، وبإشراف إضافي من نموذج فيديو عالمي مُسبق التدريب. التدريب صار كله على بيانات متوفرة للجميع، مع توسيعها عبر تحويل أوامر البشر للروبوت، وتعليمات جزئية، وتدريب سلاسل تفكير متجسدة. التجارب على أربع بيئات محاكاة أظهرت نسب نجاح عالية، مثل 99.3% على LIBERO و89.9% على LIBERO‑Plus وغيرها.

الفريق قدم إطار اسمه The Trinity بيجمع بين توليد العوالم وتطوّر الوكلاء عبر ثلاث أدوار: Creator، Explorer، وEvolver. الفكرة إنه المهام المختلفة بتشارك متطلبات قدرة أساسية، فبيتحول تنظيم المهام من الفئات السطحية لشجرة قدرات هرمية. Creator بيصنع عوالم محاكاة مبسطة لتعلّم القدرات، وExplorer بيطوّر وحدات قدرة قابلة لإعادة الاستخدام، بينما Evolver بيربط كل هالشي بشجرة Harness لتوجيه الاختيار حسب المهمة. التجربة أظهرت تحسين متوسط الأداء بـ 34 نقطة على 28 معيار تدريب و26 نقطة على 18 معيار غير مألوف، حتى على مهمات تجسيدية حقيقية.

الفريق استكشف فكرة جديدة إنه الكود يقدر يكون وصف للفيديو بدل النص العادي. حطوا مقارنة بين أوصاف الكود والنصوص الطبيعية على مهمتين: سؤال‑جواب وإعادة بناء الفيديو، ولقوا إنه الكود بيوصل معلومات أدق. بعدين سواوا مجموعة تقييم اسمها CodeCap-Bench فيها 323 فيديو من خمس فئات، واختبروا قدرات الموديلات الكبيرة المتعددة الوسائط على توليد هالوصف البرمجي. النتائج بتبين إنه حتى أقوى الموديلات التجارية لسا بتعاني مع الحركات الزمنية المعقّدة، والنماذج المفتوحة أبعد بكتير.

الفريق قدم ThinkWorld، إطار VLA بيركّز على ربط التفكير بالأكشن عبر سلاسل الديناميكيات (Chain-of-Dynamics). كل خطوة عمل بتتحوّل لتسلسل من motion tokens اللي بيوصفوا كيف العالم بيتغيّر من الحالة الحالية لللاحقة، وبيتم تعزيز هالسلاسل عبر reinforcement learning مع تخيّل العالم. الطريقة بتسمح للڤيديوهات البشرية اللي ما فيها توضيحات أكشن إنّها تعلّم مباشرة من الانتقالات اللي بتصير، فبتقرب الخبرة البشرية من الروبوتات. التجارب على محاكاة وروبوتات حقيقية أظهرت نقل معرفة من البشر للروبوتات وتعميم قوي على مهام وبيئات جديدة.

الفريق اللي بيقود البحث، من Xuan He وزملاؤه، عملوا تقييم واسع على عدة benchmarks ونماذج مختلفة ليشوفوا إذا الذاكرة المخصّصة للـagents فعلاً بتفيد ولا لأ. لقوا إنه في كتير حالات الذاكرة التقليدية (RAG) بتتفوق على الأنظمة المخصّصة، يعني الذاكرة أحياناً بتضيف عبء اسمه "memory tax". هالعبء بيجي من تغيّر طريقة تنظيم المعلومات والوصول إلها، وفيه جوانب ممكن تحسّن الأداء وفيه جوانب ممكن تشوّش الأدلة. الدراسة بتقسّم الفائدة إلى memory benefit وmemory tax لتوضح الفرق بين المكسب والخسارة، وبتنبه للتركيز على تقليل الtax وتقييم القيمة الصافية للذاكرة. البحث ظهر على Hugging Face Daily Papers وتلقى 34 upvote، وهو preprint على arXiv.

الفريق قدم طريقة جديدة اسمها Rollback بتحول نماذج العالم من مجرد محاكيات إلى محركات للنتائج المتبدلة. الفكرة إنه بنرجع للقرارات المهمة بالماضي، بنجرب أفعال بديلة، وبنقارن النتائج لنعرف أي قرار كان الأفضل، من غير ما نحتاج نموذج قيمة منفصل. النظام بيدمج البحث الموزع على النماذج مع تنفيذ الروبوت الحقيقي بشكل غير متزامن، بحيث الخبرة الواقعية تحسّن النموذج والنموذج المحسّن يطوّر السياسات أكتر. التجارب على ثلاث مهام حقيقية أظهرت تحسين واضح في نسب النجاح مقارنة بأقوى طريقة موجودة.

الفريق قدم PerceptRL لتقوية الإدراك البصري للـMLLMs عبر مسارين: Perception RL يطلع أخطاء من التسميات الضخمة ويحوّلها لسؤال‑جواب مع مكافآت ثابتة، وPerception Agentic RL يضيف فحص متعدد الخطوات باستخدام أدوات بصرية لتصحيح الأخطاء المكانية. النظام بيستخرج الأخطاء بطريقة مُتحقّق منها، ويستعمل قواعد لتحديد المكافآت، وبعدين يضيف تدقيق مكاني لتصحيح الانحرافات. التجربة على سبعة benchmarks أظهرت دقة 71.6%، أعلى بـ15.7 نقطة عن النموذج الأساسي وبـ5.2 نقطة عن أقوى VLM مختبر.

الفريق طوّر طريقة SimpleLoRIF، وهي طريقة تمثيل gradient مدمجة وسريعة، لتحديد أمثلة fine‑tuning اللي gradients تبعها بتتماشى مع سلوك غير آمن. الطريقة بتقصر الbackpropagation على آخر أربع كتل transformer، فبتقدر تتعامل مع مليون مثال تقريباً. بعد ما اختبروا الطريقة على حالات misalignment، لقوا إن الـ AUC وصل 0.865، وبعد ما شالوا 20٪ من الأمثلة المتطابقة مع السلوك غير الآمن من مجموعة Tulu 3 (اللي سموها SafeTulu) قدروا يقللوا نسبة نجاح هجمات GCG بـ 22٪ على موديلات Qwen وLlama وOlmo، مع الحفاظ على القدرة أو حتى تحسينها.

الفريق قدم HABIT-Bench لتقيس قدرة أنظمة ذاكرة الوكلاء على استنتاج عادات المستخدم من ملاحظات جزئية وتطبيقها على طلبات لاحقة. بنوا تاريخيات صناعية من حوارات موجهة للمهام عبر أربع مجالات (طعام، مالية، برمجيات، سفر) وجربوا أربع اختيارات لتقييم استنتاج العادات، مع استثناءات مؤقتة وتغييرات بالعادات. جربوا ثمانية طرق للذاكرة على نماذج Qwen3-235B-A22B وGLM-5.3-Flash، وأفضل طريقة وصلت لـ33.61% دقة ماكرو، ولاتزال النتائج محدودة حتى لو تم إعطاء الأدلة مباشرة.

الفريق قدم مجموعة اختبار جديدة اسمها Omni-InteractScope، فيها 1,479 تفاعل معنّى يدويًا و1,790 هدف زمني عبر ثمانية مجموعات مهام. المجموعة تربط بين الأنماط المدخلة، وإشارات الأحداث، وأنواع التدخل، واحتياجات المستخدم، وتغطي استدعاء الأدوات بوقت الحدث، والمساعدة بدون سؤال، بالإضافة إلى الإشعارات، التحذيرات، تتبع الحالة، والردود المستمرة. التجارب على 12 نموذج Omni-LLM أظهرت ثلاث نقاط ضعف: أولًا استدعاء الأدوات بوقت مناسب مش موثوق، أقصى نسبة استجابة أولى في الوقت المناسب 40٪؛ ثانيًا التذكيرات بدون سؤال ما بتغطي إلا أقل من 23٪؛ وثالثًا تغطية سلاسل الإرشاد الكاملة قليلة، معظم النماذج ما بتغطي أي سلسلة كاملة. النتائج بتنبهنا إنه لازم نطوّر مساعدين يشتغلوا على تدفقات مستمرة ويكونوا مبادرين ويغطوا كل مراحل الرد.