شو في AI؟ | تجميع الأسبوع 24 أكتوبر — دمج الفهم البصري واللغوي

فريق الباحثين قدم WeVisOne-VL، نموذج VLM بيجمع بين الفهم على مستوى الكائنات وعلى مستوى البكسل بنفس الوقت. النموذج بيستعمل توقع التوكن الجاي بطريقة منظمة، وبيضيف وحدة فكّ تشفير بكسل خفيفة عبر توكن <OBJ> لتوليد مخرجات بكسلية لكل كائن. تدرب على ثلاث مراحل من SFT وبعدها RL مختلط، وبيقدر ينجّز مهام كتيرة مثل كشف الكائنات، تحديد المواقع، العد، OCR، التقسيم، والـ matting، يعني بيقدر يحدّد أي granularity من نقطة لصندوق أو قناع. التجارب على أكتر من 30 benchmark أظهرت أداء متقدّم على كل المهام، مع قدرة قوية على رفض الاستفسارات اللي ما فيها كائنات.

الفريق قدم LayerEditor، إطار موحد بيربط تعديل الصور بحسب التعليمات مع توليد طبقات RGBA قابلة للتحكم وإعادة الاستخدام. النموذج بيستعمل In-Context RGB-Alpha Token Modeling ليُمثل اللوحة المعدّلة وتسلسل الطبقات داخل تسلسل توكن واحد، وبيسمح بتعديلات معنوية وتحكم صريح بمحتوى كل طبقة. كمان طوّروا طريقة Compositional Edit-Prior Distillation لتدوير قدرة النموذج المُدَرَّب مسبقاً على التحرير للوحة المعدّلة وللصورة المركبة من الطبقات المتوقعة.

الفريق قدم IQuest-Q1، نموذج أساسي كبير بخصائص agents للـ CLI، فيه 320 مليار باراميتر لكن بس 15 مليار منهم بيتفعّل بوقت التشغيل. النموذج تدرب بثلاث مراحل: أولاً تدريب أساسي مستقر وفعّال باستخدام Stable SplitNorm وMuon وmuP مع مناهج تدريجية، وثانياً توسيع البيانات وتطويل السياق، وثالثاً دمج عدة أساليب ما بعد التدريب مثل SFT وRL المتخصص وMOPD. كمان فيه عملية دمج للخبراء المختلفة لتقليل التضارب. النتيجة إن النموذج بيشتغل كويس بالبرمجة ومهام عامة، وتم إصداره مفتوح المصدر للمجتمع.

الورقة بتستعرض فكرة الـ Recursive self-improvement (RSI) يلي بتعني إنو النظام ما بس يحسّن سلوكه، بل كمان يحسّن العملية اللي بيستخدمها لتتحسن. الباحثين بيحكوا كيف إنو هالميكانزم نجحت لحد هلق مع الوكلاء الرقميين اللي بيعيدوا كتابة كودهم ويختبروا النسخ الجديدة، وبيسألوا كيف ممكن نطبقها على الروبوتات اللي بتشتغل بعالم فيزيائي مليان ملاحظات جزئية وتجارب مكلفة. بيحطوا إطار للـ robot learning وبيوضحوا متى الفوائد من التجربة الفعلية ممكن تدعم تحسين العملية نفسها، مع التركيز على الأمان والتكلفة. الدراسات الحالية بالمنطقة دي، خصوصًا بالتحكم في المناولة، بتظهر تحسين سلوكي وفوائد لتعلم لاحق، لكن لسا ما في دليل واضح على تحسين متكرر فعلي.

الفريق قدم FilmFlow، إطار وكيل بيحوّل أوامر اللغة الطبيعية أو فيديوهات مرجعية لمسارات كاميرا قابلة للتنفيذ ببيئات 3D. الوكيل الرئيس، Director، بيبني خطط كاميرا من حركات عالية المستوى بتركيب عمليات ذرية بتتحكم بالترجمة، الدوران، والإطار. ثلاث وكلاء متخصصين بيساعدوه: Interpreter بيفهم نية السينمائية من النص، Scout بيختار زوايا أولية، وCritic بيقيم النتائج وبيعطي ملاحظات بصرية لتعديل الخطة. كمان أضيفوا CinemaBench، مجموعة 150 مشهد Blender مع 750 مهمة نصية و60 فيديو مرجعي لتقييم توليد الكاميرا من النص أو الفيديو. FilmFlow تفوق على البازلات بالنتائج وتلقى أعلى تفضيل من المستخدمين، يعني بيفهم الفضاء، الوقت، وتكوين الصورة بشكل ممتاز.

الفريق قدم benchmark اسمه BlenderWorld بيختبر قدرة الموديلات الكبيرة المتعددة الوسائط على إنشاء وتعديل مشاهد 3D من نصوص وصور وفيديوهات. فيه 223 مهمة متنوعة من العمارة للمنتجات للبيئات الطبيعية، وكل مهمة بتنقّص من 2,651 معيار ثنائي وتقييم جودة بصري شامل. جربوا 13 نموذج، وطلع GPT-6-Astra هو الأعلى بالنقاط، بس لسه فيه صعوبة كبيرة بالحفاظ على التناسق المكاني وتفاصيل البنية داخل Blender.

الفريق قدم مهمة جديدة لتوليد تقارير بحثية من الفيديوهات. الوكيل ياخذ فيديو وطلب من المستخدم، يحدد أسئلة البحث، يجمع أدلة متعددة الوسائط من الويب، ويطلع تقرير تفاعلي يربط كل معلومة بلحظات الفيديو. حطوا workflow مبني على مهارات ووضعوا OmniDR-Bench لتقييم هالمهمة، مع معيار Omni-ARTs اللي بيقيس grounding السمعي‑بصري، استخدام الأدلة المتعددة، وتقديم تفاعلي. جربوا 18 إعداد للوكيل، وأحسن نتيجة وصلت 63.3 من 100، بس لسا في نقص بتغطية المحتوى وتحليل السبب والمنطق عبر الوسائط.

الفريق بيّن إنو الأخطاء اللي بتصير للـ LLMs بسؤال factual عادةً ما تكون بسبب نقص المعرفة، بل لأنو النموذج بيفوت أول توكن من الجواب الصحيح. إذا عطيناه أول توكن صح، النموذج بيكمل الجواب وبيتعرف إنه صحيح. جربوا طريقة First-Token Cueing على 16 نموذج مفتوح وشافوا إنو توكن واحد بس بصلّح من خمس لعند نص الأخطاء بالإنجليزي، وكمان بحسن الدقة بسبع لغات تانية. النتيجة إنو أغلب الأخطاء القابلة للاسترجاع بتصير بالخطوة الأولى من التوليد، يعني ممكن نحلّها بطرق أثناء الاستدلال.

الفريق الباحث قدم طريقة جديدة لضغط السلاسل اسمها TTR-Compressor. الفكرة إنو كل توكن بالدخول بيحدد مشكلة انحدار، ومعاملات الانحدار اللي بتنحل بطريقة مغلقة بتصير تمثيل مضغوط. الطريقة بتتدرب end‑to‑end بالـ backpropagation، لكن حساب المعاملات بيصير سريع وقت التمرير للأمام. جربوها كضاغط للـ block‑wise sparse attention ولدمج التوكنات البصرية في نماذج اللغة المتعددة الوسائط، ولقوا تحسين كبير على الأداء مع تقليل عدد التوكنات البصرية بحوالي 55%.

الفريق قدم طريقة اسمها FRED، بتستعمل self‑distillation لتعلّم تمثيلات فيديو مستقبلية من الضوضاء بخطوة واحدة من عملية denoising. الفكرة إنو النموذج يتوقع تمثيلات المستقبل من المشاهد السابقة، ويستفيد من تمثيلات حقيقية كأهداف لتقوية الجودة. التجارب على سيناريوهات من العالم الحقيقي أظهرت إنو FRED يتفوق على باقي الـ WAMs، خصوصًا بالمهمات الطويلة أو اللي خارج نطاق التدريب، وحقق نجاح 50٪ بنقل المهارات من فيديوهات بشرية للروبوت مقارنةً بـ 19٪ للطرق التانية.

الفريق قدم فكرة Meta Expert اللي بتشارك الخبراء بين الطبقات بدال ما كل طبقة يكون عندها Local Expert مستقل. التجارب أظهرت إنه النموذج اللي فيه Meta Experts بيقلل التكرار بالمعلمات، وبينخفض الـ cross-entropy loss وبيزيد دقة المهام. مع الحفاظ على نفس عدد الخبراء وحجمهم، النموذج يحقق نفس أداء Vanilla MoE باستخدام 70‑80٪ من الخبراء بس، يعني بنوفر مساحة تخزين ونعزز كفاءة الاسترجاع.

الباحث ساشين جوبتا بيقارن كيف ممكن نوقف تصنيف التذاكر الآلي لما تكون التكلفة عالية. حطّوا طريقة اسمها cost-aware abstention، يعني بنختار سياسة توجيه على بيانات calibration مع تكاليف محددة، وبعدها بنقيمها على اختبار منفصل. جربوا أربع نماذج غير LLM وأربع نماذج LLM بنظام zero‑shot وfew‑shot. لحدّ ما حددوا تكلفة (0,1,5) للـ ok, triage, wrong، لقت إنو TF‑IDF مع logistic regression وعَتبة 0.60 خفّضت التكلفة من 0.763 إلى 0.472، يعني تقليل 38%، وكمان قلّلت الأخطاء من 15.3% إلى 3.5%. النتائج بتظهر إنو سياسات calibration المختارة بتتفوق على سياسات دايماً توجيه أو دايماً تأجيل في أغلب الإعدادات، لكن الأداء ما بيقارن بدقة النماذج المدربة زي DistilBERT.