شو في AI؟ | 2 يوليو — وكلاء العالم المفتوح وتعدد الوسائط

الفريق قدموا فكرة OpenAgent، وهي إعداد لتدريب وكلاء أداة في بيئة مفتوحة فيها تغيّر بالاستفسارات، الأدوات، وطريقة التفاعل. جربوا شغلة بيئة محكمة فيها أربع مستويات من التغيّر: الإدراك، التفاعل، التفكير، والدمج الداخلي، ولاحظوا إن الوكلاء المدربين بـ Supervised Fine-Tuning أو Reinforcement Learning بينخفض أداؤهم مع هالتغيّرات. بناءً على هالنتايج، اقترحوا طريقة Perturbation-Augmented Fine-Tuning لتقوية الوكلاء ضد الاضطرابات. الكود رح يطلع على GitHub قريباً.

الباحثين قدموا طريقة جديدة اسمها Asymmetric Mutual Variational Learning (AMVL) لتقليل الفجوة بين التدريب والاختبار عند استعمال نماذج اللغة الكبيرة المتعددة الوسائط. الفكرة إنه يدرّبوا نموذج يقدر يطلع مسار تفكير مستمر بين السؤال المرئي‑النصي والجواب، بدل ما يحوّل كل شي لتوكنات منفصلة ممكن يضيع تفاصيل الصورة. استخدموا هدفين KL متعاكسين، واحد يخلّي التوزيع التنبؤي يطابق التوزيع اللي فيه الجواب، والثاني يمنع التوزيع الثاني من الاعتماد على معلومات الجواب مبكراً. التجربة أظهرت تحسين كبير على مجموعة BLINK للمهام المعقّدة، حتى +10.8 بالمعدل و+32 على بعض المهام.

الفريق قدموا بروتوكول خفيف اسمه Act2Answer بيحوّل اختبارات معرفة الـ VLM لتقييم الـ VLA عبر تنفيذ فعل بسيط. كل سؤال بصير حلقة صغيرة على طاولة، والوكيل بيفعل حركة وضع غرض لتختار الجواب من مجموعة خيارات، وهالطريقة بتقلل التداخل بين الفهم والتحكم. جمعوا مجموعة بيئات اختبارية تغطي فئات مختلفة من المعرفة العامة والعالمية، واستخدموا تحليل طبقي داخل الطبقات لتحديد وين المعلومات المهمة بتتواجد داخل النموذج. الدراسة شملت 7 نماذج VLA و9 نماذج VLM، ولقوا إن الـ VLA بتأدي كويس على المفاهيم البسيطة لكن بيظهر فجوة أكبر على الفئات الدلالية الغنية، وإن التدريب المشترك مع VQA بيساعد على حفظ المعرفة.

الباحثين اكتشفوا إنه ما لازم نحدّث كل معلمات نموذج اللغة وقت ما بنستعمل reinforcement learning، بل إنه تدريب طبقة وحدة من Transformer بيقدر يرجّع أغلب التحسينات اللي بنشوفها مع التدريب الكامل، وأحيانًا بيتفوق عليه. هالنتيجة طلعت ثابتة عبر عدة نماذج مثل Qwen3 وQwen2.5، ومع خوارزميات RL مختلفة، وعلى مهام من حسابات رياضية لتوليد كود واتخاذ قرارات وكيلية. كمان لقوا إنه الطبقات اللي بتعطي أكبر فائدة عادةً بتقع بالوسط من بين طبقات النموذج، بينما الطبقات القريبة من المدخل أو المخرج ما إلها تأثير كبير.

الفريق قدم MemSyco-Bench، مجموعة اختبارات جديدة بتقيس كيف الذاكرة ممكن تخلي الوكلاء يتملقوا المستخدمين على حساب الحقيقة. الاختبار بيغطي خمس مهام: رفض الذاكرة كدليل واقعي، احترام نطاق استخدامها، حل النزاعات بين الذاكرة والدليل الموضوعي، متابعة تحديثات الذاكرة، واستخدام الذاكرة الصحيحة للتخصيص. كل هالمهام بتساعدنا نفهم إمتى الذاكرة لازم تتدخل وإيمتى لازم نتركها وتبقى على جنب.

الفريق اقترح طريقة ZO-Act لتعديل نماذج اللغة الكبيرة من غير ما نحتاج للـ backpropagation. الفكرة إنّه بيحدّوا التغييرات على مساحة منخفضة الرتبة مستخرجة من تفعيل الطبقات، فبيقلّوا عدد المتغيّرات اللي بنحتاج نجرّبها. كمان بيستخدموا Adam لتحديث معاملات بسيطة، وبيخلّي تعديل النماذج المكمّدة (quantized) أسهل. التجارب على Llama-3-8B وOPT-13B بيّنتوا تحسين واضح مقارنةً بالطرق القديمة.

الفريق قدم طريقة CausalMix اللي بتصنّف تحسين خلط البيانات بمهمة استدلال سببي. بيستعملوا ميزات إحصائية من مجموعة البيانات كمتغيّرات، ويعاملوا خلط النطاق كمعالجة، ويحسبوا الـ Conditional Average Treatment Effect (CATE) من 512 تجربة على نموذج Qwen2.5-0.5B. بعد ما يحددوا الـ CATE، بيستنتجوا الخلطة المثالية لمجموعة بيانات 800K ويطبّقوها لتدريب نموذج 7B، وكمان جربوا الطريقة على بيانات chain‑of‑thought مع Qwen3-4B-Base. التجارب أظهرت تحسين ثابت بالأداء على مهام مختلفة وتفوق على RegMix وغيرها.

الباحثين قدموا QVal، منصة اختبار ما بتحتاج تدريب لتقارن إشارات الإشراف الكثيفة مباشرةً. الفكرة إنه إذا عطينا حالة‑إجراء، QVal بيقيس إذا طريقة التقييم بترتب الإجراءات حسب قيم الـ Q لسياسة مرجعية قوية. هالطريقة بتخلينا نشوف جودة الإشارة قبل ما نشتغل على أي تدريب، وبتفصل جودة الإشارة عن تعقيدات الهندسة. جربوا 21 طريقة عبر أربع بيئات مختلفة وعلى ست نماذج وزنها مفتوح، ولاحظوا إنه البساطات اللي بتعتمد على الـ prompting بتتفوق على أغلب الطرق الحديثة.

الفريق قدم طريقة جديدة اسمها Gain‑Shape Residual Quantization (GSRQ) لتقليل حجم ذاكرة الـ KV Cache للـ Large Language Models. استبدلوا خوارزمية K‑means التقليدية بـ Gain‑Shape K‑means (GSKM) اللي بتحافظ على الاتجاهية أفضل، وبنوا عليها نظام Residual Quantization. التجربة على نموذج LLaMA‑3‑8B أظهرت تحسين كبير بالدقة، خصوصاً عند 1‑بت، حيث ارتفعت النتيجة من 11.34٪ إلى 33.54٪ على مجموعة LongBench.

الفريق بقيادة Elias Najarro بيقترح إنه مجموعة من نماذج اللغة الكبيرة اللي صارت وكلاء (agentic) ممكن تكون منصة حوسبة للذكاء الاصطناعي الحي. لأن الوكلاء بيتكلموا مع بعض بلغة طبيعية، بنقدر نفحص سلوكهم من خلال النصوص اللي بيولدوها. الدراسة بتوضح كيف التفاعل بين عدة LLM بيولد ديناميكيات جديدة ما بتظهر بنموذج واحد، وبتعرض أمثلة من تجارب ومشروعات موجودة.

الفريق Yijie Jin وزملاؤه قدموا Multi-Block Diffusion Language Models (MBD-LMs) لتسريع توليد النصوص باستخدام انتشار متعدد الكتل. هالنموذج بيستفيد من Multi-block Teacher Forcing (MultiTF) اللي بيجمع بين teacher forcing وdiffusion forcing ويعلّمه على مجموعات ضوضاء متناسقة مع حالة الاستدلال. كمان أضافوا آلية Block Buffer اللي بتحافظ على إعادة استعمال الذاكرة وتخلي شكل الإدخال ثابت، فبالتالي بيزيد سرعة التوليد (Tokens Per Forward pass) بشكل ملحوظ مع خسارة دقيقة بالـ accuracy.

الفريق Zhao وزملاؤه قدموا DiscoPER، إطار شغّال بـ large language model بيعمل أبحاث مفتوحة بدون أسئلة محددة مسبقاً. كل فكرة جديدة بيختبروها إحصائياً، وبعدين بيستخدموا آلية second‑order reasoning لتعيد تقييم كل الاكتشافات وتلاقي أنماط أو فجوات. كمان بيضيفوا أدوات لتعامل مع صور وبيانات متعددة الوسائط، يعني ما بيقيفوا على النصوص بس. التجربة على iNatDisco ورّجت إنه النظام قدر يلاقي 8 من 9 أنماط معروفة بنسبة دعم 72.7%، وتفوق على الطرق التقليدية والبدائل المدعومة بـ LLM.

الفريق بقيادة Yang وزملاؤه عملوا أول تقييم منهجي لأخطاء الإشارة للبيانات (DREs) اللي بتصير لما الـLLMs يقروا جداول، ولقوا إن هالأخطاء موجودة بكل النماذج من 1.7B لحد 20B بارامتر. بعدين جربوا يضيفوا مكوّن اسمّه critic يراقب الإشارات، وشفنا إنه الدقة ارتفعت لحد 12% باستخدام الفلترة والـrejection sampling. كمان درّبوا نموذج critic خفيف وزن 4B حقّق F1 بـ78.2%، وقدر يكتشف الأخطاء داخل وخارج التوزيع ويساعد النماذج الكبيرة.

الفريق قدم طريقة صفر‑شوت وما فيها training ولا optimization لتوليد صور وفيديوهات بانورامية ٣٦٠° عبر حقن أولويات كروية داخل نماذج diffusion transformers المدربة مسبقاً. الطريقة بتستبدل Rotary Position Embeddings العادية بـ Spherical RoPE، بحيث القنوات منخفضة التردد بتنُعاد تمثيلها كإحداثيات كارتيسية 3D لتشيف الكروية، والقنوات عالية التردد بتتكمم هارمونيكياً لتضمن دورية دقيقة. مع إرشاد Semantic Distortion classifier‑free guidance (CFG) بيتم توجيه الشكل الهندسي مباشرةً، فبنقدر نستفيد من قدرة الموديلات الكبيرة مثل Flux.1، Flux.2، وLTX‑Video بدون ما نعيد تدريبها.

الفريق قدم طريقة تغذية أمامية بتفكّك المشهد إلى مجموعات توكنات ثلاثية الأبعاد مرتبة حسب الكائنات، من غير ما نحتاج لعلامات ثلاثية الأبعاد. كل مجموعة فيها توكن هوية للكائن وتوكنات ربط بتشفر الهندسة والمظهر المحلي وتتحول لسحابات 3D Gaussians. التدريب بيتم عبر rendering قابل للاشتقاق مع إشراف على إعادة البناء والتقسيم، يعني ما في حاجة لبيانات 3D يدوية. النموذج بيتفوّق على طرق تحسين المشهد لكل مشهد من ناحية التقسيم الكائناتي وبيظل منافس في توليد مناظر جديدة.

الفريق قدم طريقة جديدة لتدريب مولّد الصور والـ tokenizer مع بعض، بدل ما يتدربوا منفصلين. الطريقة اسمها GEAR وبتستعمل قراءتين للـ codebook: وحدة صلبة لتدريب المولّد على توقع الرموز، ووحدة ناعمة بتنقل خسارة تماثل التمثيل للـ tokenizer. بهالطريقة الـ tokenizer بيتعلم يطلع رموز أسهل على المولّد، فالتوليد بيصير أسرع وأدق.

الفريق قدم مفهوم سلاسل إمداد مهارات الوكلاء (Agent Skill Supply Chains) لتصوّر كيف المهارات بتعتمد على بعضها البعض وتتحوّل لقطع برمجية معقدة. صمموا أداة SkillDepAnalyzer تلتقط أدلة الاعتماد من النص وتبني مخططات الاعتماد بدقة، وتفوقت على الأدوات التقليدية على benchmark اسمه SKILL-DEP. بعد ما حللوا أكتر من مليون مهارة، لاقوا أربع أنماط هيكلية وأظهروا إنه مهارة وحدة ممكن تخفي مخاطر أمان داخل الاعتماد اللي وراها. النتائج بتدعم توصيات لتوثيق الاعتماد وإضافة تحذيرات مخاطر للمنصات.

الفريق قدم طريقة جديدة بتستغل اللغة الطبيعية كإشارة إرشادية بدال الإشارات العددية البسيطة. بيبنوا تسميات لغوية من الشواهد لتوصف التقدم، وتحدد الأخطاء، وتعطي توجيهات تصحيحية دقيقة. بعدين بيطبقوا خسارة language‑critique لتدريب السياسات مباشرة على هالإشارات، وطبقوها على كل من behavior cloning وdiffusion policies. التجارب على مهام تحكم مستمرة مثل التنقل والتلاعب واللعب أظهرت تفوق واضح على أساليب التقليد التقليدية وطرق التعلم المعزّز غير المتصلة.

الباحث بريت رينولدز قدم طريقة جديدة لتقييم أمان نماذج اللغة لما يواجهوا أوامر متضاربة أو أوامر مخبّية داخل النص. هو بنبني تصنيف لغوي منظم وبيجمع 18 سؤال تجريبي مع بيانات دقيقة، وبيضيف بروتوكول لتقييم إذا النموذج نفّذ المهمة، التزم بالسياسة، أو رفض بأمان. كمان بيقيس ثقة المقيم وبيتابع إذا التصنيف بيتغيّر مع الوقت.

الفريق قدم AGC-Bench، معيار جديد بيقيس الإبداع العام للـLLMs عبر 78 مجموعة بيانات من العصف الذهني للكتابة للعلوم والضحك. استعملوا AGC-Judge، نموذج وزن مفتوح مبني على Qwen3-30B، لتقييم الإبداعات بعد ما عدلوا الانحياز بتقنية Judge Response Theory. النتائج بينت إنه في موديلات بتتفوق على غيرها، وإنه طلب من الموديلات “تكون مبدعة” بيحسن الأداء أكتر من تمكين التفكير بس. كمان لقوا عامل إبداع واحد بيشبه عامل “g” للذكاء العام، لكنه منفصل عن المعرفة العامة.