شو في AI؟ | تجميع الأسبوع 31 أكتوبر — نموذج موحد متعدد الوسائط

الفريق قدم Youtu-Parsing-Omni، محلل يقدر يحوّل المستندات، الصور، الصوت والفيديو لسجلات هيكلية مرتبطة بالزمان والمكان. الفكرة إنو فيه Encoder واحد بيشتغل على كل وسيلة وإطار موحَّد للمهام، مع شوية طبقات دمج بتخلي الفيديو يتابع الصوت بنفس الوقت. كمان فيه OmniSchema بيوحّد مخرجات عشر مهام تحليل، وتدريب بيتم بطريقة OSAD اللي بتخلّي النموذج يتعلم من نتايج نفسه ويتطوّر مع الوقت. النموذج بـ5 مليار باراميتر وصل لأعلى دقة على OmniDocBench وOmniParsingBench، خصوصاً بالوسائط الصوتية والفيديوية، وكمان تفوّق على الأنظمة العامة في قراءة الموسيقى المكتوبة.

الفريق Balestriero وLeCun بيّنوا إنو الـ Joint-Embedding Predictive Architectures (JEPAs) المدربة على أي عدد من الوسائط بتوصل لنفس التمثيل، بس بعد دوران واحد، إذا كانت أزواج الإيجابية عبارة عن مشاهد جيدة من نفس المشهد. بيشرحوا كمان إنو توقع الكلمة الجاية هو JEPA بنظرة سيئة، يعني ما بيوصل للتمثيل الأفلاطوني بكفاءة. التجارب على 145 ألف توضيحات وصور ويب بتظهر إنو النماذج النصية الصغيرة بتت Align مع مشفرات الصور زي DINOv2 وCLIP أحسن من نماذج اللغة الكبيرة، وبدون ما نحتاج أزواج، بنقدر نحول المشفرات لمولد شروحات للصور.

الفريق قدم طريقة جديدة اسمها SpecSlot للـ Transformers اللي تولّد صور ببيكسل‑سبايس. الفكرة إنو ما لازم نزيد عدد التوكنات عشان نحصل على تفاصيل دقيقة، لأن التفاصيل العالية التردد ممكن تُنمذج محلياً بينما البنية العامة (low‑frequency) تحتاج تواصل عالمي. SpecSlot بيقسم كل نقطة مكانية (anchor) إلى عدة slots كل وحدة تمثّل نطاق مختلف من معاملات الـ DCT، والـ slot الأدنى تردد بيشارك بالـ global attention والبقية بتتفاعل محلياً. هالطريقة بتسمح بزيادة الدقة الطيفية بدون ما يكبر طول الـ global attention، وبتحقق FID أحسن على ImageNet مع تكلفة FLOPs أقل.

الفريق Wu وزملاؤه قدموا طريقة جديدة اسمها Weakening-Induced On-Policy Self-Distillation (WISD) لتقوية نماذج التفكير بدون ما يحتاجوا معلم خارجي. الفكرة إنهم يصنعوا نسخة أضعف من النموذج الأصلي إما عبر تقليل البتات (low‑bit quantization) أو عبر حذف الأوزان الصغيرة (magnitude pruning)، وبعدين يستغلوا الفرق بين النسختين كإشارة تدريب. التجارب على مهام رياضية وبرمجية أظهرت إنّ التقليل بارتفاع الدقة بنحو 4‑5 نقاط مئوية، وحتى وصلوا لأفضل نتائج على مجموعات HMMT 2025 وLiveCodeBench v6 بدون أي معلومات مميزة.

الفريق بقيادة Jayden Teoh بيكشف إنو طريقة تدريب الـ Multi-Token Prediction التقليدية فيها مشكلة: جزء من الـ gradient بيشتت التعلم بين توقع الرمز التالي وتوقع الرموز المتعددة، وهاد الشي بيكبر مع زيادة حجم النموذج. الباحثين حطوا حل اسمه KL gradient-recovery trick، اللي بيستغل توازي حسابات الـ cross-entropy لتسترجع الـ KL gradient بدون ما نحتاج مصفوفات لوجيت بحجم المفردات. النتيجة إنو Soft-MTP يضيف سطر كود واحد على طريقة التدريب، ما بيضيف باراميترات ولا بطيّء التدريب، وبيحسّن perplexity للـ next-token، ويسرّع speculative decoding، وبيرفع الدقة في مهام الرياضيات والبرمجة بعد fine‑tuning.

الفريق قدم OvisOCR3، نموذج بحجم 0.8 مليار بارامتر بيغطي كل مهام الـ OCR من قراءة المستندات واستخراج المعلومات المهمة لحد توليد عناوين الصور وإعادة بناء الجداول عبر الصفحات. تدربوا على بيانات حقيقية وصناعية باستخدام pretraining مستمر، وحطوا توازن بين المهام عبر domain‑balanced mid‑training. بعدين سووا multi‑teacher on‑policy distillation من خمس نماذج معلمة بحجم 4B، وتبعوه reinforcement learning مختلط بمكافآت متخصصة. بالمقارنة مع نماذج vision‑language العامة ونماذج OCR المتخصصة، حققوا أرقام عالية على OmniDocBench وOCRBench وKIE benchmarks وغيرها، وأثبتوا إنو نموذج صغير ممكن ينافس النماذج الكبيرة.

الفريق اللي فيه Anita Kriz وزملاؤها بيشرحوا كيف ممكن نعلّم الـ LLMs يخططوا تجاربهم بشكل ذكي، يعني بدال ما كل مرة يشتغلوا على تصميم تجريبي من الصفر، يتعلموا يستفيدوا من تجارب سابقة عبر مكافآت مبنية على كسب المعلومات. حددوا نموذج توليدي للبيانات غير مرتبط بمعتقدات الـ LLM، ودرّبوا النموذج ليختار أفعال تزيد الفائدة المعلوماتية. جربوا هالطريقة على لعبة Twenty Questions، ولقوا إن السياسات الجديدة بتجمع معلومات أسرع وأفضل من طرق الـ BED التقليدية، وبكلفة حسابية أقل، وكمان تنقلوا للمهام السريرية مثل Medi-Q.

الفريق طوّر ClinGeX، وكيل مبني على large-language-model بيجمع 105 مهارة تنفيذية مُنظمة حسب المهمة. الوكيل بيستعمل task-specific retrieval وتنسيق واعٍ بالاعتمادية، وبيقدر يطابق تصنيفات الخبراء بـ71.7٪ على 223 حالة اختبار مقارنةً بـ45.7٪ لأقوى طريقة ثانية. كمان في دراسة تعاون بشر‑AI مع 45 متخصص، ClinGeX رفع نسبة التطابق للقرارات الجينية إلى 51‑64٪ وخفّض وقت التفسير، وفي تقييم واقعي لمدة شهر 11 محترف أبدوا إنّهم استفادوا من الوقت والنتائج.

الفريق اللي بيضم Haowen Shi وزملاؤه بيظهروا إنو توقع عدد التوكنات اللي رح يطلعها نموذج LLM بناءً على حالات الـprefill فقط، بيكون صعب إذا ما نثبت الظروف. لقاوا إنو التذبذب العشوائي في عملية الـautoregressive decoding هو السبب الرئيسي لتقلب الدقة. من خلال تحليل رياضي بيعامل عملية فك الترميز كعملية عشوائية متوقفة، استنتجوا إنو طول الاستجابة بيصير تقريباً طبيعي مع علاقة تباين خطية σ=αμ+b. جربوا عدة نماذج توقع مثل MLP وEGTP وFiLM وغيرهم، ولاحظوا إنو الأداء تقريباً متقارب وقريب من الحد النظري، يعني الخطأ بالنظام هو اللي مسيطر. بنصحوا بروتوكول تقييم يثبت النموذج والبيانات وإعدادات العينة ويقيس الأخطاء النسبية والطلقة.

الفريق قدم معيار EPSBench لتقييم قدرة الوكلاء على توقع الأرباح ربع السنوية. الوكلاء يقروا مجموعة ثابتة من التقارير المالية، نصوص مكالمات الأرباح، والأخبار، ويستنتجوا السواقة المالية مع دليل. بعدين يحولوا التقديرات إلى EPS وفق GAAP باستخدام حاسبة محاسبية موحدة. قيموا ستة نماذج وشافوا إنو ثلاث نماذج ما فيها فرق واضح عن توقعات المحللين، والباقي أسوأ. الفواصل التنبؤية 80% ما كانت تغطي EPS إلا بـ37‑70%، ومعظم الأخطاء كانت تحت التقدير.

الفريق قدم PatEx-Gym، أول إطار لتدريب وتقييم الوكلاء اللي بيفحصوا براءات الاختراع. الإطار فيه مجموعة من 1K مهمة فحص واقعية، مع كُوربوس بحثي كبير فيه أكتر من مليون براءة و52 ألف ورقة علمية، وبيوفر بيئة لتكرار البحث، زيارة الوثائق، الاستدلال، وتوليد تقارير الفحص. كمان طوّروا PASS، طريقة لتوليد مسارات بحثية بدون تعليقات بشرية، واستخدموها لتدريب PatEx-Agent بحجم 4 B على هالمسارات. التجارب أظهرت إن الدقة بس ما بتقيس جودة الفحص بالكامل، وإن البحث عن الأعمال السابقة لسا صعب حتى على نماذج كبيرة.

الباحثين قدموا إطار اسمه TAO يشتغل على جدولة الخدمات الوكيلية اللي بتخلط بين استدعاء نموذج كبير على GPU واستخدام أدوات خارجية على CPU. الفكرة إنو بيحسب جاهزية الأدوات ووقت التخزين المؤقت للنتايج وبقيس حجم التوكنات، وبعدين بيختار وين يحط الجلسات المنتظرة بطريقة ديناميكية ضمن سعة الأجهزة. التجارب على 12 إعداد مختلف أظهرت إنو TAO يقلل زمن الاستجابة لحد 26.8%، ويقصر متوسط وقت أول توكن لحد 36.3%، ويزيد معدل فك الشيفرة لحد 29.5% مقارنة بأقوى الأنظمة الحالية.