شو في AI؟ | تجميع الأسبوع 17 أكتوبر — Agent Evaluation Platforms

الفريق قدموا benchmark جديد اسمه FDE-Gym بيختبر الوكلاء على 95 مهمة توصيل من الواقع، مش بس على مهام مكتوبة بوضوح. الوكلاء بيشتغلوا ببيئات محاكاة فيها أصحاب مصلحة ونُظم زبائن حية، ولازم يكتشفوا قيود غير مذكورة ويتفاعلوا مع العملاء. التقييم بيقيس تحسين مقياس نجاح الزبون من 0 للـ 1، مع خصومات على عدد الرسائل، التجارب، والوقت اللي بانتظره. جربوا 13 إعداد نموذج من سبع مزودين، وأفضلهم وصل لمعدل 0.56 بس، وحل 14 مهمة بس من 95.

الفريق قدم MAI-Gym، منصة مفتوحة موحدة بتجمع تقييم وكلاء GUI، جمع بيانات، وتدريب RL على بيئات موبايل، كمبيوتر، والويب. المنصة بتوفر خط أنابيب rollout موحد، تدعم 10 Benchmarks، وتقدر تشغل 20,000 بيئة متوازية. كمان بتولد تطبيقات GUI متنوعة ومهام صعبة، وتتحقق من نجاحها. باستخدام MAI-Gym درّبوا MAI-Gym-9B، وكيل 9B بيشتغل على الموبايل والكمبيوتر، وصل لأعلى أداء بين الوكلاء المفتوحين تحت 10B باراميتر، 78.4% على MobileWorld و76.2% على OSWorld-Verified، ونقل التعلم من تطبيق وهمي لتطبيق حقيقي زاد نسبة النجاح من 28.8% إلى 48.1%.

الفريق قدم طريقة جديدة اسمها SAE Additivity Residuals (SAR) لتقيس قديش تمثيلات الـ SAE بتتراكم بشكل إضافي أو لا. التجربة بتقارن بين الإحداثيات المتعلمّة والدوّارات العشوائية اللي بتحافظ على الجمع، وبتظهر إن الإحداثيات المتعلمّة فيها بقايا أولية أقل، بس لسا ما بتكون بالكامل جمعية. النتائج بتبين إن إضافة تفاعلات زوجية بتحسّن الترتيب وتقلل الأخطاء، حتى لو ما زالت بحاجة لتفاعلات أعلى من الفردية لتفسير كامل السلوك.

الفريق اللي كتب الورقة قدم متحقق بصري جديد يشتغل بأكثر من مجرد إجابة نعم/لا. المتحقق بيقسم الأسئلة أو القواعد المعقّدة إلى مكوّنات فرعية، ويعطي كل وحدة نقطة تقييم، يعني بيطلع تقييم مستمر ومفصّل. استخدموا استراتيجية تدريب بـ Decoupled RL تجمع بين أحكام ثنائية على مستوى السؤال وتقييم شامل على المستوى العالمي، وبيّنوا إن هالطريقة بتحسّن التعميم على مهمات نقد بصري خارج النطاق. كمان جربوا المتحقق على نماذج توليدية تحاكي عوالم مثل المتاهات والسودوكو، ولقوا إن طريقة التحقق الزوجي (pairwise) بتعطي نقد أدق من الطريقة النقطية لما تكون الصور الحقيقية متوفرة.

الفريق قدم Data World، محرك متعدد الوكلاء بيصنع بيئات، مهام، ومعايير تقييم قبل ما يولدوا الملفات. بيستخدم تدقيقات مستقلة لتأكد إنو ممكن نسترجع الهدف من الملفات، وبيوفر rubrics لتقييم وتوليد مكافآت RL. اختاروا 100 مهمة من 50 عالم محتفظ فيهن و16 مجال لتكوين DataWorld-Bench، وكمان سووا 2,135 مهمة تدريب من 1,037 عالم مختلف. جربوا عشرة نماذج متقدمة ولاحظوا إنو الاختبار بيظل صعب، خصوصاً لاكتشاف الأفكار، وعملوا تدريب RL-zero على المهمات لتوليد DataWorld-35B-A3B اللي حسّن الأداء على عدة benchmarks.

الفريق قدم OneWM، إطار بسيط بدمج التدريب السببي بين توقعات العالم وتعلم السياسات داخل بنية فيديو‑إجراء موحدة. جربوا إذا كان تعلم الديناميكيات الأمامية مع أفعال محددة بيساعد على تحسين تعلم الأفعال، والعكس صحيح. استخدموا بيئات LIBERO وLIBERO‑Plus وRoboCasa365 لتقييم كل من تعلم السياسات ونمذجة العالم، وحتى جربوا سياسات على الواقع. لَقوا إن تعلم النتائج البصرية للأفعال المحددة بيحسّن أداء السياسات وتعميمها على مشاهد متغيّرة، وتعلم الأفعال بيحسّن دقة توقع العالم من زوايا متعددة. النتايج بتأكد إن فيه فائدة متبادلة بين نمذجة العالم وتوليد الأفعال تحت التدريب السببي الموحد.

الفريق قدم WorldCast، benchmark جديد فيه 320 حالة مصممة يدويًا لتقييم قدرة النماذج على توقع حالات عالمية مستقبلية من ملاحظات متعددة الوسائط. جربوا 12 نموذج، ولاحظوا إن النماذج الكبيرة مثل GPT-Image-2.5 وصلوا لـ 72.8 بالنقطة، بس النماذج المفتوحة المصدر ما تجاوزت 20.1. النتائج بتبين إن النماذج بتحتاج فهم عميق للسيناريوهات، ربط مراجع معقدة، وت reasoning بصري متقدم.

الفريق قدم طريقة post‑training لتدريب نموذج وكيل بقدرة 35B MoE يقدر يدير تجارب تعلم الآلة بشكل مستقل. صمموا Kaggle‑MLE Factory لتوليد مهمات قابلة للتنفيذ، واستخدموا Hierarchical agentic SFT لنقل مهارات الأدوات والبرمجة، مع Windowed Interaction RL لتقييم قرارات التجارب على طول نافذة التنفيذ. النتايج على MLE‑Bench Lite طلعت إنو النموذج رفع معدل النجاح من 37.9٪ إلى 72.7٪، تقريبًا نفس أداء النماذج الأكبر مثل Kimi‑K3 وGLM‑5.3.

الباحثين عملوا معيار متعدد الأبعاد لتقييم قدرة نماذج اللغة الكبيرة على إعطاء رأي ثانٍ طبي موثوق. استخدموا 300 حالة من NEJM‑MedQA، قسموا 110 حالة لتقييم الأطباء و190 حالة للاختبار، وجابوا تقارير من ثمانية نماذج مختلفة تحت ظروف حرة ومهيكلة. الحكم النهائي كان من LLM مدرب على تقييم الأطباء، ولقوا إن التقارير المهيكلة كانت أحسن بكتير، خصوصًا بخصوص الإدارة والقرارات العلاجية. نموذج GPT-5.6‑Sol تفوق على الكل ووصل لأفضل نتيجة بأقل عدد من جولات المراجعة.

الفريق قدم طريقة جديدة اسمها Protocol‑level Rubrics (ProRubric) لتصحيح مشكلة جمع المكافآت بطريقة الجمع البسيط في Rubric‑RL. الفكرة إنو كل مجموعة من المعايير تُقَيَّم ككل، وما بيتم تعويض معيار واحد بغيره. التجربة على استشارات طبية ورّيت إنو ProRubric يرفع مستوى الملاءمة 10.8 نقطة بدون خسارة التغطية، ويحقق أعلى متوسط على سبعة Benchmarks. الطريقة ما بتغيّر الـ optimizer، بس بتعيد ترتيب aggregation للمعايير offline.

الفريق قدم CommerceGen-Studio، نظام من ثلاث مراحل لتوليد صور رئيسية للمنتجات على المتاجر الإلكترونية. أولاً، بيركّز على استخراج معلومات الـ SKU وتحويلها لنصوص مختصرة عبر حلقة PERL-Agent اللي بتستعمل VLM وLLM لتقييم وتحسين النص. بعدين، Layout Thinker Optimization (LTO) بيحسّن إعادة الصياغة لتتوافق مع الوصف والصورة. وأخيراً، SKU-DiT، نموذج مدرّب بطريقة Reinforce-Distill-Reinforce (RDR)، بيولد الصورة مع الحفاظ على تفاصيل المنتج والعلامة التجارية والنص. النظام يشتغل على ملايين الصور يوميًا بوقت استجابة بضع ثوانٍ، وبيتفوق على النماذج المفتوحة المصدر على benchmark جديد اسمه CommerceGen-Bench.

الباحثين Liu وزملاؤه قدموا طريقة اسمها EDEN لتقوية استكشاف النماذج الكبيرة للغة أثناء التدريب بتقنية RLVR. الفكرة إنهم يضيفوا تشويش مكوَّن من ضوضاء غاوسية ومثبتة (anchor) على تمثيل الإدخال، بدل ما يعتمدوا بس على النص الأصلي. هالـ rollouts المعدَّلة تُستَخدم لتحديثات GRPO مع تقليل وزن الفوائد، وكل هالشي بيصير بدون تغيير بنية النموذج أو طريقة التوليد. التجارب على عدة أحجام من النماذج وBenchmarks للمنطق الرياضي أظهرت تحسين واضح في تغطية الحلول مقارنةً بالطرق السابقة.