شو في AI؟ | 3 يوليو — اختيار انتباه هجين، معيار وكلاء، اختبار ذاكرة

الفريق قدم طريقة جديدة لاختيار أي طبقات بالـTransformer تضلّها full‑attention وأي طبقات تتحوّل لـlinear attention. الطريقة، اللي سماوها FlashMorph، بتبني نموذج ممكن يتحوّل، بتجمّد الأوزان، وبتحسّن بوابات الطبقات على بيانات صناعية طويلة، وبعدين بتحدّد الطبقات وفق ميزانية محددة. بعدين بيعملوا distillation وتدريب إضافي للـlong‑context. التجارب أظهرت إنه FlashMorph بيختار تكوينات هجين أقوى، ويحافظ على استدعاء النصوص الطويلة وأداء البنشمارك، وبنفس الوقت بيقلل تكلفة الاختيار مقارنةً بالطرق القديمة.

الفريق قدم معيار جديد اسمه AgenticDataBench ليقيس أداء وكلاء البيانات اللي مبنيين على الـLLM. جمعوا مهام واقعية من 15 مجال مختلف، وحتى من 5 حالات B2B حقيقية من شركة fintech. إذا ما فيه بيانات واقعية، بيستخدموا LLM لتوليد مهام جديدة مبنية على مهارات مستخرجة من Stack Overflow عبر clustering هرمي. بعدين قيموا أحدث وكلاء البيانات على هالمعيار وطلعوا تقارير تفصيلية على مستوى كل مهارة.

الفريق قدم طريقة جديدة لتحديد شنو الذاكرة اللي يقدر الوكيل LLM يشوفها قبل كل قرار، عن طريق "bounded contract" اللي بيستبدل دمج كل المحادثات بعملية "typed retrieval" منسقة. هالطريقة بتخلي البرايمبت ثابت مهما طول اللعبة، وبتخلّي كل طبقة ذاكرة تنقّص لوحدها لتشوف تأثيرها. جربوا هالنظام على لعبة Slay the Spire 2، اللي بتحتاج مئات القرارات، ولاحظوا إن حتى أقوى النماذج ما قدروا يربحوا على أصعب مستوى. التجربة أظهرت إن إضافة طبقة مهارات استراتيجية زادت عدد الانتصارات من 3 لـ 6 من 10 ألعاب، مع إن الفروقات ما زالت غير حاسمة إحصائيًا.

الفريق قدم طريقة اسمها RECONTEXT، بتشتغل على LLMs بدون ما تحتاج تدريب جديد ولا ذاكرة خارجية. الفكرة إنه بيستغل إشارات الصلة داخل النموذج ليجمع أدلة من النص الأصلي، وبيرجع يلعب فيها قبل ما يطلع الجواب، وبيضل يحتفظ بكل السياق. العملية بتفصل تنظيم الأدلة عن توليد الإجابة، وبتعطي تحسين واضح على استغلال الأدلة عبر تجارب على عدة نماذج طويلة.

الفريق استكشف إذا كان تكبير حجم نماذج اللغة الكبيرة (LLMs) رح يحل مشاكل محاكاة المجتمع. لقوا إنه مع زيادة حسابات النموذج (من 10^18 لحد 10^20 FLOPs) بتحسن كبير في ثلاث مجالات: نمذجة الآراء، محاكاة السلوك، والتنبؤ الزمني. لكن التحسن أبطأ بالمجالات اللي فيها بيانات قليلة أو آراء غير ممثلة بالإنجليزي، وكمان ما في تحسن واضح في ضبط النموذج مع تحيزات البشر أو تعلم المكافآت المرتبطة. باختصار، السكيل بيقوي المحاكاة بأغلب الحالات، بس فيه استثناءات بالمجالات منخفضة الموارد.

فريق Yu وزملاؤه قدموا نظام بحث وكيل يشتغل على استفسارات طبيعية اللغة ويطلعلك مجموعات البيانات والأدوات الجغرافية المناسبة. النظام بيستفيد من Knowledge Graph الخاص بـ NASA وبنقّيه بمقاييس جديدة من خلال تدريب شبكة عصبية على benchmark اسمه NASA-EO-Bench. الجمع بين النموذج العصبي وBM25 رفعوا الدقة كثير، وبعدها ضفوا مرحلة إعادة ترتيب صفرية التدريب باستخدام LLM، وخلّوا النتائج تتحسّن أكتر.

الورقة بتقدّم فكرة برمجة الدوال الضبابية، يعني بنكتب مواصفات طبيعية للدوال وبنحوّلها إلى قطعة نيرونية صغيرة تشتغل محلياً. الفريق استعملوا نموذج 4B اسمه Program-as-Weights (PAW) وتدربوا على مجموعة FuzzyBench اللي فيها 10 مليون مثال، ليطلعوا adapters خفيفة تشتغل على مفسّر Qwen3 خفيف الوزن. النتيجة إنّو مفسّر 0.6B يقدر يحقّق نفس جودة نموذج Qwen3-32B لكن بذاكرة أصغر بكتير وسرعة أعلى على لابتوب عادي.

الفريق بقيادة Yunhe Li قدم طريقة جديدة اسمها DemoPSD لتدريب نماذج اللغة الكبيرة بطريقة ما بتخلّي الطالب يتعلم من المعلم بس بطريقة انتقائية. بدل ما الطالب يلتزم بكل توجيه المعلم، DemoPSD بخلط توزيع المعلم وتوزيع الطالب باستخدام ما بيسموه reverse-KL barycenter، وبيتحكم بالخلط حسب الفرق بين التوزيعات على كل كلمة. هالطريقة بتقلل تسريب المعلومات المفضلة للمعلم وبتحافظ على قدرة الطالب على الاستكشاف، وبتظهر نتائج أحسن على SciKnowEval وGPQA مقارنةً بـ GRPO وSDPO.

الفريق Chen و Li قدموا طريقة جديدة اسمها Neuron-OPSD لتدريب نماذج اللغة الكبيرة بدون ما نحتاج لتسميات بشرية. الفكرة إنه بيستخدموا تنشيطات الخلايا العصبية داخل النموذج لتحديد إشي البيانات المناسب وبناء سياق المعلم، بعدين يتعلم النموذج من هالسياق بطريقة on‑policy. هالطريقة ما بتحتاج أي لابل حقيقي وبتحافظ على الأداء داخل المجال المتخصص وبنفس الوقت ما بتقلل من القدرة على التعميم أو من جودة التقدير.

الدراسة بتقول إنه الباحثين بالـNLP صرّوا يروحوا يقدّموا شغلهم مش بس بـACL، بل كمان بمؤتمرات الـML العامة. بعد ما طلعت الـLLMs، لقينا إنه الباحثين القدامى خسروا حوالي 19.2 نقطة مئوية من حصة النشر بالمؤتمرات الرئيسية للـACL، وزادوا بحوالي 14.8 نقطة بالمسارات الجديدة Findings، وكمان ارتفعوا 8.6 نقطة بالمؤتمرات العامة للـML. الباحثين الجدد كمان صاروا ينوّعون أماكن النشر، من 84% بـACL في 2019 إلى 74% بسـ2024، بينما زادت مشاركتهم بالمؤتمرات العامة للـML من 5% إلى 21%. التحليل بيظهر إنه النشر بالمؤتمرات العامة بيوفر زيادة ملحوظة في عدد الاستشهادات، وهاد بيأثر على اختيار المكان للنشر.

الفريق قدم PerceptionRubrics، إطار تقييم مبني على rubrics بيركّز على تدقيق تفاصيل الصور بدل المطابقة العامة. استعملوا 1,038 صورة مليانة معلومات مع أكتر من 12,000 قاعدة تقييم خاصة، والقاعدة مشتقة من تسميات (captions) تم إنشاؤها عبر طريقة مراجعة دائرية بين الأقران. النظام فيه آلية Gated Scoring، يعني إذا النموذج أخطأ بحقيقة أساسية بيتنحسب عليه عقوبة حادة مش مجرد متوسط. التجارب أظهرت إن النماذج تنجح بأجزاء صغيرة بس تفشل بالقيود المشتركة، وكمان في فرق واضح حوالي 8% بين النماذج المفتوحة والمغلقة.

الفريق قدم طريقة جديدة اسمها Autonomous Policy Evolution، فيها الوكيل بيعدل سياسات تنفيذية بشكل متكرر ضمن ميزانية تفاعل محددة. حطّوا هالطريقة ضمن benchmark اسمه EvoPolicyGym مبني على بيئات RL تفاعلية صغيرة، وباختبارهم شافوا إن GPT-5.5 هو الأقوى عبر 16 بيئة. كمان بيّنوا إنه التحليل على مستوى كل خطوة بيفضح كيف الوكيل بيوزع الميزانية وبيحوّل الملاحظات لتعديلات بارامترية. النتيجة إنه النجاح ما بيعتمد بس على الفوز بمهمة واحدة، بل على اكتشاف آليات مناسبة وتعديل السياسات ضمن feedback محدود.

الفريق قدم طريقة جديدة اسمها NeuFS، بتستغل أنماط تفعيل الخلايا العصبية داخل الـ LLMs لتختار عينات غير مُعلَّمة تكون أكتر فائدة للتدريب القليل‑اللقطة. الطريقة فيها معيارين: الأول يضمن تنوّع العينات عبر اختلاف أنماط الخلايا، والثاني يركّز على عينات ممكن تخلي النموذج يهلوس ويقيس اتفاق الخلايا عليها. جربوا NeuFS على ثلاث مجموعات بيانات وشوفوا إنه تفوق الطرق القديمة في مهام الاستدلال وتصنيف النصوص.

الفريق قدم MEDIAREF، مخزن معرفة عام فيه وثائق من الويب تغطي 200 مصدر إعلامي. هالمخزن بيسمح للباحثين يجرّبوا توليد فحوصات خلفية للمصادر (MBC) بتكلفة قليلة وبطريقة قابلة لإعادة الإنتاج. كمان قيموا نماذج LLM المشهورة على هالمهمة، ولقوا إنه MEDIAREF بيساعد على إنتاج فحوصات خلفية أعلى جودة، حسب التقييمات الآلية والنوعية.

الورقة بتقدّم HOLA، طريقة بتضيف مخزن KV محدود للـ linear attention لتحتفظ بالحقائق المهمة بدل ما تنسَها الحالة المتكررة. هالمخزن بيختار تخزين الإشارات اللي عندها بقايا توقعية كبيرة، وبعدها بيقراها بطريقة حادة مش ناعمة. التجربة على نموذج 340M باراميتر على 15B توكن من SlimPajama بتظهر إنه الهبوط في perplexity على Wikitext وصل لـ22.92، وأفضل من Transformer كامل الانتباه. كمان HOLA بيظهر استرجاع أقوى للحقائق حتى على سلاسل طويلة لحد 32k توكن.

الفريق لاحظ إن الموديلات الكبيرة للغة المتعددة الوسائط (MLLMs) بتضيع كثير وقتها لأنه بتحاول تفكر وتحدد المكان بنفس الوقت، وهالشي بيخلي المسار طويل ومليان خطوات غير لازمة. لحتى يحلوا هالمشكلة، قدموا PixelEyes، وكيل بيفصل بين التفكير والإدراك: الجزء المتفكر بيقرر شو بدو يدور، وأداة الإدراك المتخصصة بتجاوب وين موجود الشي بدقة عبر قناع segmentation. النظام بيستعمل Mask‑guided Visual Search وSemantic‑region Breadth‑first Search، وتدربوا على مجموعة بيانات PixelEyes‑6K، واختبروا الأداء على benchmark اسمه Pinpoint‑Bench اللي بيقيس الدقة بدون أي إشارة مبدئية للموقع.

الباحثين Batu Guan وزملاؤه قدموا دراسة منهجية عن كيف الوكلاء يقدروا يصححوا الأخطاء اللي بيغفل عنها المجمع LLVM. حطوا benchmark من قضايا واقعية وقارنوا الباتشات اللي يولدها الوكلاء مع باتشات المطورين من ناحية نطاق التحسين. لقوا إن الوكلاء غالباً بيحسّنوا الأمثلة المعطاة، بس كثير منهم يغطيوا جزء من النطاق أو يتقاطعوا جزئياً مع هدف المطور، وبعضهم بيتجاوزوا الباتش المرجعي. كمان جربوا تقنية استرجاع المعرفة التاريخية من طلبات تحسين سابقة، ولقوا إنها بتقرب التعميم من نية المطورين وتفيد على IR الحقيقي.

الفريق طوّر مجموعة نماذج اسمها Graph‑PRefLexOR، بتشتغل بنظام reinforcement learning اسمه Group Relative Policy Optimization. هالنماذج بتقسّم عملية التفكير لأربع مراحل واضحة: استكشاف الآلية، بناء الرسم البياني، استخراج الأنماط، وصياغة الفرضية. هيك بنقدر نتبع كل خطوة ونشوف كيف النتيجة بتجي من السبب. التجارب على 100 سؤال من علوم المواد أظهرت تحسين 40‑65٪ مقارنةً بالنماذج الأساسية، خصوصًا بقدرة التتبع.

الفريق قدموا benchmark جديد اسمه DiscoBench لتقييم قدرة الوكلاء المدعومة بـLLMs على اكتشاف الغموض بالأسئلة وطلب توضيحات من المستخدم. يحتوي Benchmark على 211 عينة بـ463 حالة غموض موزّعة على 11 مجال واقعي، ويغطي أربع أنواع من الغموض. صمموا كمان محاكي مستخدم لتوليد حوارات متعددة الجولات وقيّموا الوكلاء من أربع زوايا: فائدة المهمة، كشف الغموض، استراتيجية التفاعل، وكفاءة التكلفة. التجارب بينت إن الكشف عن الغموض والطلب لتوضيح فعال مهارات مستقلة، وإن الوكلاء اللي يفضّلوا يكرروا البحث بدل ما يسألوا توضيحات غالباً بيطلعوا أسوأ من التخمين المباشر.

الفريق قدم طريقة جديدة لتسريع نماذج الـ diffusion اللي تولد صور من نص، من غير ما يحتاجوا يدربوا شي جديد. الطريقة، اللي سماوها MrFlow، بتشتغل على مرحلة توليد منخفضة الدقة أولاً، بعدين بتستعمل نموذج GAN خفيف لتكبير الصورة بالمستوى البكسلي، وتضيف شوية ضوضاء خفيفة لتجديد التفاصيل، وأخيراً بتنقّح الصورة بدقة عالية. التجارب على نماذج FLUX.1-dev وQwen-Image ورجعت إنّو MrFlow يسرّع العملية حوالي 10 أضعاف مع الحفاظ على جودة شبه نفس الأصل، وبيقدر يدمج مع استراتيجيات تقليل الـ timesteps ليصل لتسارع حتى 25 مرة.