شو في AI؟ | 21 يوليو — LLMs تتوسع بالفيديو والوسائط

الفريق قدم إطار RESOURCE2SKILL اللي بيحوّل الفيديوهات التعليمية، المستودعات، المقالات، والملفات المرجعية لمهارات تنفيذية للبرمجيات. المهارات بتنظم بقاعدة بيانات شجرية اسمها Skill Wiki، كل مدخل فيها نص منظم، كود، أمثلة بصرية، وبيانات تعريفية. التجارب على سبع مجالات إبداعية أظهرت إن الوكلاء اللي بيستعملوا هالمهارات ارتفعوا بالنتيجة بحدود 11.9 نقطة مقارنةً بالوكلاء اللي ما عندهم مهارات.

الفريق قدم نموذج TimeLens2 اللي بيقدر يحدّد فترات الدليل داخل الفيديوهات مهما كان طولها أو نوعها أو طريقة السؤال. النموذج بيتعامل مع مجموعة من الفواصل الزمنية كـ set وبيستفيد من إشراف مبني على اقتراحات من النصوص وتوافق بين وكلاء مختلفين. كمان صمموا مكافأة جديدة اسمها temporal Wasserstein reward بتحسب المسافة بين توزيعات الفواصل وبتعطي تغذية راجعة دقيقة حتى لو عدد الفواصل مختلف. التجارب على سبعة benchmarks أظهرت إن النسخ 2B، 4B، و8B من TimeLens2 تتفوّق على كل النماذج اللي حجمها مماثل وتوصل لأعلى درجات mIoU.

الفريق اكتشف إنّ الوكيل نفسه بيحمل تمثيلات داخلية بتدلّ على أهميّة كل سطر من كود الأدوات. فطوّروا SWE-Pruner Pro، وهو رأس صغير بيحوّل هالتمثيلات لتصنيف "keep" أو "prune" لكل سطر، مع تضمين طول السطر كـ embedding. التجربة على نموذجين مفتوحين و٤ benchmarks أظهرت إنّه بيوفر لحد 39% من توكنات الـprompt والـcompletion بدون ما يضعّف جودة الشغل.

الفريق قدم إشي اسمه EvolvingWorld، بيشتغل كمنصة ومقارنة لتطوير الشخصيات والعالم مع بعض بعالم أدبي تفاعلي. النظام بيقسم الشغل على وحدة تمثّل الشخصيات وتطوّر ملفّاتهم، ووحدة تانية مبنية على LLM بتحافظ على حالة العالم وتولّد المشاهد. الإطار مفتوح يعني فينا نطبّقوا على قصص مختلفة، ومعاه 7 مهام تدريبية لتوليد المشاهد وتحديث الحالة. التجارب بيّنت إنو بيحسّن المحاكاة على المدى الطويل وبيخلي القصة أكتر استمرارية وتماسك.

الباحثين قدموا إطار عمل اسمه SelectInfer بيشتغل على مستوى الخلايا العصبية داخل الـLLM. بيحدّدوا الخلايا المهمة للمهام باستخدام أداة profiling قبل ما يشتغل النموذج، وبعدين بيحمّلوها وبس بيحسبوا الخلايا الضرورية وقت التشغيل. هالطريقة بتقلل استهلاك الذاكرة والعمليات بدون ما تضعف الدقة. التجارب على كذا مجموعة بيانات بيّنت إنو فيه تخفيض كبير بالموارد مع الحفاظ على الأداء.

الفريق بقيادة Seanie Lee قدم طريقة توليد بيانات صناعية للـ API‑Calling agents من غير ما يحتاجوا بيئات تنفيذية. بيعتمدوا على LLM بيشتغل كـ نموذج عالم رقمي يولّد مهام وإجابات API على طول، مع وكيل معلم بيحلّ المهام ومحكّم LLM بيفلتر النتائج. التجربة على Benchmarks AppWorld وOfficeBench أظهرت تحسين واضح بالأداء بعد ما ندرب النماذج على هالبيانات.

الفريق Fitch وزملاؤه قدموا نظام NLKGQ اللي بيسمح للباحثين يطرحوا أسئلة طبيعية على أرشيفات متخصصة، والنظام يترجم هالأسئلة لاستعلامات SPARQL باستخدام LLM من غير ما يحتاجوا لتدريب إضافي أو تحسينات. الطريقة تعتمد على بناء أونتولوجيا OWL تمثل مفردات المجال، وبعدين تنقل البيانات لknowledge graph. التجربة على أرشيف تصوير دماغي كبير وصلت لأعلى دقة (100٪) على أسئلة تم إعدادها مع خبراء، وبيّنوا إن وضوح أسماء الكيانات أهم من اختيار النموذج أو صياغة الطلب.

الفريق قدم طريقة جديدة لتخصيص الفيديوهات بحيث يظل شكل الإنسان ثابت ويتفاعل مع الأشياء بدقة، حتى لو كانت الأشياء مجرد شعارات أو مفاهيم مجردة. الطريقة بتستغل MLLM لتستخرج علاقات مرجعية من النصوص وتدمجها مع تمثيلات VAE داخل self-attention. كمان ضافت embedding خاص بتمييز إشارة الموداليتي لتربط بين صور المرجع داخل نفس الشخص. التجارب أظهرت إن HOMIE وصل لأفضل أداء على مجموعة مهام HOCVP.

الفريق Lopez وزملاؤه قدموا Symbolic Geometric Agent (SGA)، وحدة plug‑and‑play بتدخل على كود الأنيميشن اللي بتولده الـLLMs وبتنفّذ جزء منه لتستخرج symbolic scene graph. إذا اكتشفت تعارضات مكانية، SGA بيعمل تعديل مستهدف لتصحيح المشهد. كمان عرّفوا Manim Visual Quality Score (MVQS) كمؤشر بدون رندر لتقويم سلامة التوزيع المكاني. التجارب على benchmark MMMC‑Code بينت إن SGA وصل لأعلى MVQS بـ73.11، يعني تحسين نسبته 16.1% عن النسخة الأصلية.

الفريق بيشرح كيف صارت الـLLMs والأنظمة الوكيلة (agentic AI) تتخطى مهام النص وتقدر تستخدم أدوات خارجية لتخطط وتسترجع وتنفّذ بذكاء بمجال الشبكات الذكية. بيطرحوا مبدأ التصميم "solver‑grounded" يعني إنو النتيجة الرقمية ما تننشر إلا إذا جت من أداة موثوقة وتجاوزت فحص واضح. عرضوا أربع دراسات حالة: توقع طاقة الرياح، جدولة شحن السيارات الكهربائية، تحليل تدفق الطاقة، وتشخيص الأعطال، وكل وحدة قارنوا فيها نسخة بس الـLLM مع نسخة فيها أداة موثوقة. النتائج بتبين إنو الأنظمة الوكيلة بتقود وتفسّر، والأدوات الموثوقة بتحسب، وبوابة التحقق بتقرر شو يننشر.

هالورقة بتقدّم Apple-PI، أول معيار بيركّز على القوانين الفيزيائية لتقييم نماذج توليد الفيديو. المعيار فيه ثلاث قطع: Orchard، مجموعة 400 فيديو بتغطي عشر مهام ميكانيكية كلاسيكية، وبروتوكول بثلاث مراحل (Perception, Formulation, Deduction) بيستعمل chain-of-frames على أول إطارات موضحين إنفوغرافيك، وكمان مجموعة تقييم بتخلط scoring من MLLM مع قياسات موضوعية مبنية على القوانين. التجربة على 11 نموذج فيديو ورجعت إنو أحسن نموذج وصل بس 0.473، وبيّنوا إنو فيه عائق من Perception لحد Deduction، وصعوبة بنقل القوانين المتعددة، وفجوة Sim-to-Real.

الفريق قدم VDAR‑Router، إطار توجيه ما بيعتمد على تحليل صعوبة السؤال. أول شي بيولّد تحليل صعوبة واضح، بعدين بيسترجع أمثلة سابقة إلها نفس الصعوبة. بناءً على هالأمثلة بيقدّر أي نموذج LLM أنسب وبعدين بيختار النموذج حسب دالة مكافأة بتوازن بين الأداء والتكلفة. التجارب على ثلاث مجموعات بيانات بيّنوا إنو VDAR‑Router بيحقق توازن أحسن بين التكلفة والأداء مقارنةً بالطرق السابقة.

الفريق قدم طريقة جديدة اسمها GEPO لتعديل سياسات التعلم المعزز للـ LLMs. الفكرة إنو بيستعملوا إنتروبيا المجموعة من عينات مُجمّعة لتشكيل المزايا بطريقة غير متماثلة حسب مستوى الاستكشاف. هالطريقة بتخفّف المزايا الإيجابية بالمجموعات اللي فيها إنتروبيا قليلة وبتحافظ على المزايا السلبية بالمجموعات اللي فيها إنتروبيا عالية، مع حدود متكيّفة من إحصائيات سابقة. التجارب على نموذجين أساسيين عبر 13 معيار مختلفة بين الرياضيات والفيزياء والبرمجة أظهرت إنو GEPO يتفوّق على GRPO وطرق التحكم بالإنتروبيا التانية.

الفريق اقترح طريقة جديدة اسمها Distilled RL بتدمج إشراف المعلم داخل هدف reinforcement learning لتعطي إرشاد أدق وتنتقل معرفة جديدة من نموذج المعلم للطالب. الطريقة فيها ثلاث مكوّنات: عينة أهمية عكسية مع تقليم، إعادة ضبط العينات السلبية، وتطبيع هندسي على مستوى السلسلة. التجارب أظهرت إنو Distilled RL يرفع أداء النموذج على قياسي pass@1 وpass@k مقارنةً بالـ reinforcement learning التقليدي وOPD، سواء كان التقطير داخل نفس العائلة أو بين عائلات مختلفة.

الفريق Kato قدم طريقة خطوة واحدة وطريقتين خطوة لتعلم السياسات باستخدام Retrieval‑Augmented Generation. بالطريقة ذات الخطوتين، البحث بالمتجهات يجيب أدلة قريبة من الفعل المطلوب ضمن فضاء التضمين، والمولد بيقدّر النتائج المتوقعة أو الفروقات، وبعدين قاعدة plug‑in بتختار الفعل الأنسب. هالطريقة بتربط بين البحث المتجهاتي ومطابقة أقرب جار في الاستدلال السببي، وبتفصل الندم إلى ندم توليد المرشحين وندم الاختيار داخل المرشح، وبتعطي حدود للندم الثاني باستخدام ضمانات أخطاء التنبؤ لمقدّرات أقرب جار وtransformers.

هالبحث بيقدّم مجموعة أسئلة اسمها Pancasila-Dilemmas فيها 1,834 سؤال من أخبار إندونيسيا، مصنّفة حسب خمس قيم من البانكاسيلا: الدين، الإنسانية، الوحدة، الديمقراطية، والعدالة الاجتماعية. الباحثين اختاروا سيناريوهات فيها معضلات عشان يختبروا إذا ردود الـLLMs بتتماشى مع القيم الإندونيسية. جابوا إجابات من 5 مواطنين إندونيسيين، وجربوا 50 نموذج LLM مفتوح ومغلق. النتائج ورّت إن كل النماذج حققت أقل من 0.5 PMS و0.72 MVAS، خصوصاً كان عندهم صعوبة بالأسئلة عن الدين والوحدة.

الباحثين اكتشفوا إنو بعض الـ LLMs بيقعوا بحلقة ذاتية طول ما بيحاولوا يجاوبوا، وبيصرفوا كل التوكنات بلا فائدة. اقترحوا طريقة اسمها SOPHIA، بتدخل خلال الاستدلال وتغيّر التفعيلات لتوجيه النموذج من حالة لحالة ثانية وتمنع الوقوع بهالحلقة. الطريقة بتستعمل بنوك من متجهات التوجيه مبنية على حالات مخفية، وبالوقت الحقيقي بتحدد الحالة الحالية وتسترجع المتجه المناسب. التجارب أظهرت إنو هالتدخل بيقلل استهلاك التوكنات وبيحسّن دقة الإجابة.

الفريق اللي بيقود البحث قدم طريقة جديدة اسمها Criterion‑Distilled Policy Optimization أو CriPO. الطريقة بتستخدم التقطير الذاتي لتصحيح نقطتين مهمتين: أولاً، بتضيف سلوكيات ما كانت موجودة بالمحاكاة (Unexplored Criteria) عبر معلم ذاتي يحقن المعايير المفقودة، وثانياً، بتصحح المعايير اللي تم ضغطها (Suppressed Criteria) عن طريق تعديل المكافآت السلبية لتصير إيجابية. هالخطوة بتخلي النموذج يتعلم من كل المعايير بدون ما يخلط بين التدريب والاستدلال، وبيوصل لأداء أقوى بأقل عدد من خطوات التدريب.

الفريق Lim وزملاؤه قدموا AdaHome، مساعد بيت ذكي بيشتغل على نماذج لغة صغيرة محلية بدل السحابة. النظام فيه إطار تخطيط واعٍ للنية بيرسل الأوامر إما لتوليد سريع أو لتفكير خفيف حسب التعقيد. لما يجي أمر محتاج تفسير، بيستخدموا استراتيجية Chain-of-Draft لتقرّر بسرعة وبثبات. كمان فيه آلية تكيّف تفضيلات بتتعلم من ردود المستخدم بدون تعديل النموذج أو إضافة موجهات جديدة.

فريق الباحثين قدموا RynnBrain 1.1، عائلة نماذج أساسية مدمجة بأحجام 2 بليون، 9 بليون، و122 بليون‑A10 بليون. النموذج تدرب بإطار موحد يجمع بين الفضاء‑الزمان والفيزياء، فصار يدعم الإدراك المدمج، الاستدلال المكاني، التحديد الموقع، والتخطيط. بالمقارنة مع النسخة 1.0، أضافوا توقع نقاط التلامس وتثبيت ثلاثي‑الأبعاد (3D grounding) للنماذج الصغيرة، وصمموا RynnBrain‑VLA بفضاء فعل موحد لكل تجسيد وتغطية خاصة. النماذج نجحت على روبوتات Unitree G1 وAstribot‑S1 وTianji‑Wuji وحققت أرقام قوية على معايير VSI‑Bench، MMSI، وRefSpatial‑Bench، وتفوقت على النماذج التجارية في تجارب الروبوت الفعلية.