شو في AI؟ | 12 يوليو — LLM متعدد الوسائط واللغات

الفريق بيشرح كيف قدروا يجيبوا LLM يشتغل على لغة Pharo، اللي هي لغة برمجة قليلة الموارد. بنوا خط أنابيب من جمع بيانات خاصة بـ Pharo، ثم استمروا بتدريب مسبق وتعديلات دقيقة على نماذج LLM المفتوحة. كمان صمموا مجموعة من الـ benchmarks لتقيس إذا النموذج يتقن صياغة الكود ويكمل الشيفرة المموهة من مستودعات GitHub. النتائج بتبين إن النماذج المتخصصة بـ Pharo تتفوق بكتير على النماذج الأصلية وحتى على نماذج أكبر كثير في إكمال كود Pharo.

الورقة بتقدّم ARDY، إطار توليد حركة 3D بشرية بيشتغل بشكل مباشر وبيستقبل أوامر نصية وفواصل حركية. النظام بيستخدم تمثيل هجين يجمع ميزات الجذر الصريحة مع تمثيل مخفي للجسم، وبيعتمد على محوّل autoregressive لتقليل الوقت وزيادة التحكم. تدرب على مجموعة ضخمة من بيانات الحركة، وبيظهر أداء عالي على HumanML3D وBones Rigplay. كمان عرضوا demo تفاعلي يخلّي المستخدم يتحكم بالحركة عبر الماوس ولوحة المفاتيح.

فريق Gupta وزملاؤه بيستكشفوا كيف انتباه النماذج الكبيرة متعددة الوسائط بيتغيّر كلمة بكلمة خلال عملية التوليد. قدموا مهام بتحتاج تبديل صريح بين الصورة والنص داخل استجابة وحدة، ولاحظوا إن الانتباه للصورة بيقوى بالمواضع اللي فيها معلومة بصرية، وإن الانتباه للتعليمات بيرجع وقت التحولات. جربوا حجب انتباه سببي لتأكدوا من دور هالأنماط، وبعدها اقترحوا تعديل بسيط وقت الاختبار يعزز الانتباه للوسيط المناسب، ولقوا تحسين واضح بأداء المهام المتعددة الوسائط.

الفريق اكتشف إنه الفشل بالموديلات اللي بتدمج الرؤية واللغة والفعل مش بس من توليد الأفعال، كمان من تقييمها. عملوا إطار اسمه SVA بيستعمل Monte‑Carlo tree search لتجربة كل الخيارات الممكنة بالمحاكاة، وبعدين يضغط هالمعلومات بنموذج Q‑value خفيف بيتوقع نتيجة كل فعل. وقت التنفيذ، الموديل المجمد بيقترح مجموعة أفعال، والنموذج المتعلم بيختار الأنسب بدون ما يحتاج محاكي. النتيجة إنه النماذج بتحقق نجاح أعلى بمهام ما شافتها قبل، وبسرعة أكبر من تكبير حجم الموديل.

الفريق قدم منصة صناعية اسمها Oxygen AIIC لتوليد وإدارة معلومات المنتجات على نطاق ضخم. المنصة مبنية على LLMs/VLMs وبتعتمد أربع ركائز: هندسة أونتولوجيا بتعاون بشري‑آلي، عمارة "Semantic Search then Discrimination" (S2D) لتحديد المعرفة، نماذج LLM/VLM تتعلم ذاتيًا، ومركز بيانات موحّد. النتيجة إنه النظام بيقدر ينتج مكتبة معرفية لآلاف المليارات من الـ SKUs بدقة 94.2% واسترجاع 82.8%، وبيشتغل على Huawei Ascend NPUs لمعالجة مئات الملايين من التحديثات يوميًا.

الفريق قدم إطار اسمه RuleChef بيستغل LLMs لتوليد قواعد تنفيذية للمهام اللغوية مثل تصنيف النصوص، التعرف على الكيانات (NER)، أو استخراج العلاقات. القواعد بتتولد من وصف المهمة ومجموعة أمثلة معنونة، وبنعدلها بشكل تكراري بناءً على أمثلة إضافية ورد فعل بشري على القواعد الموجودة. كمان ممكن نستخدم RuleChef لتوليد قواعد أولية من أزواج الإدخال‑الإخراج لأي نموذج موجود. العملية بتعتمد على LLM بس وقت التدريب، والناتج نظام قواعد سريع، حتمي، وقابل للفحص، وإحنا أطلقنا الكود كمصدر مفتوح تحت رخصة Apache 2.0.

فريق Xiaoyang Han وزملاؤه قدموا SenseNova-Vision، نموذج موحد بيحوّل كل مهام الرؤية إلى توليد نص أو صورة عبر أوامر لغة طبيعية. ما في حاجة لهياكل خاصة لكل إشي؛ بس تعطيه تعليمات أو إشارة بصرية، وهو يطلع لك النص أو الصورة المطلوبة. تدربوا على SenseNova-Vision Corpus اللي حولت كل الأنهتيشنات لعينات تعليم‑استجابة، فالنموذج قدر يغطي الكشف، OCR، التقسيم، تقدير العمق وغيرها. التجارب ورّيت إن النموذج الواحد يقدر يضاهي الأنظمة المتخصصة.

الفريق قدم إطار عمل جديد يخلّي توليد شروح الفيديو dense يشتغل بشكل متوازي بدل ما يكون خطوة بخطوة. الفكرة إنه الأحداث اللي ما فيها اعتماد قوي على بعضها يقدروا يتولّدوا بنفس الوقت، بينما داخل كل حدث يظل التوليد تسلسلي لتضمن التماسك. استخدموا آلية تخطيط عالمية مخفية تتعلم بنية الأحداث وتدمج المعاني السمعية والبصرية، وآلية فكّ الترميز المتوازية حسب الأحداث. التجارب على عدة benchmarks بيّنت إنه الطريقة مش بس أسرع، كمان بتحسّن جودة الشروح.

الفريق قدم DrugGen-2، نموذج توليدي بيستند على GPT-2 ومُدرب على مجموعة بيانات فيها أدوية معتمدة مرتبطة بأمراضها وبروتينات الأهداف. استخدموا طريقة من خطوتين: fine‑tuning إرشادي وبعدين reinforcement learning عبر GRPO، مع مكافآت بتحافظ على صلاحية الجزيء، الجدة، التنوع، وتوقع ارتباط قوي. لما جربوه على خمس بروتينات مرتبطة بالاعتلال الكلوي السكري، طلعوا أحسن بكتير من نماذج DrugGPT وDrugGen القديمة، وصنعوا جزيئات أقرب للأدوية المعتمدة وتوقعوا ارتباطات أعلى. التحليل بالـ docking أكد إنه في مركبات بتوصل لتوقعات ارتباط أقوى من أدوية مرجعية مثل enalapril.

الورقة بتحكي عن مشكلة إنه تكلفة الـ self-attention بتصير تربيعية وبتبطّئ تشغيل الـ Transformer على نصوص طويلة. الباحثين ركّزوا على تصميم تحديث الحالة ضمن نظام ثابت، ولقوا إنه الـ softmax بيعتمد على إسقاطات متعامدة من رتبة‑1 مرتبطة بالمفتاح، وهالشي بيفسر ليه الشبكات من نوع delta بتتفوق على التجميع البسيط. كمان حددوا مصدر أخطاء التقريب وقدّموا تدخلات هي sink tokens، short convolutions، وfixed‑budget cache routing لتقليل الفجوة. جربوا الطريقة على نماذج LLaMA وQwen لحد 32B ومعاها حسّنوا النتائج على MMLU وتوصلوا لأداء مشابه للأنظمة المعقدة للـ caching.

الفريق قدم OpenCoF، إطار عمل فيه مجموعة بيانات OpenCoF-17K فيها فيديوهات مهيأة لتسلسل التفكير عبر 11 عيلة مهام، وجابوا نموذج Wan‑CoF مدرب خصيصًا لهالنوع من التفكير. بالمقارنة مع قاعدة Wan2.2‑I2V‑A14B، Wan‑CoF حقق تحسينات ملحوظة على أربع معايير لتقييم التفكير بالفيديو. كمان جربوا إضافة توكنات بصرية ونصية تساعد النموذج يلتقط إشارات بصرية دقيقة وفهم نصّي عالي لتقوية الاستدلال عبر الزمان والمكان.

الورقة بتشرح ليش نماذج الـ transformers بتستعمل ترددات RoPE بطريقة غير متساوية. الباحثين لقوا إن الترددات اللي بتختارها النماذج بتطابق بنية المسافات النسبية بالبيانات اللي تدربت عليها، يعني كل تردد بيشتغل كعدسة موضعية. بناءً على هالشي، بيظهر إن الترددات المتوسطة‑المنخفضة باللغات الطبيعية ناتجة عن اعتماد اللغة على اعتمادات متعددة المقاييس. كمان بيبينوا إن تقليل الترددات وقت الاختبار بيوسّع “المجال” وبيخلي النموذج يقدر يتعامل مع نصوص أطول إذا كانت الاعتمادات بتكبر بنفس النسبة.

الفريق Zhu وزملاؤه قدموا طريقة اسمها Latent Memory Palace (LMP) بتنظّم المعلومات بمساحة كامنّة تشبه قصر الذاكرة، والبحث فيها بيصير تكراري وبيتكيف مع المهمة. بيستغلوا الفكرة إنّ الاستدلال للسيطرة ينعكس كـ variational inference مع توزيع كامنّ autoregressive. من خلال تقنية reinforcement learning في الفضاء الكامن، قدروا يطوّروا بوليصة LMP‑π بتظهر أداء قوي بالمحاكاة وعالم الواقع، وكمان بتوزّع حسابات الاختبار بشكل مفهوم. كمان استخرجوا tokenizer بطول متغيّر اسمه LMP‑tok، بيحسّن سياسات autoregressive الجاية.

الفريق بقيادة Jordan Painter قدموا DiaLLM، نموذج لغة بيستمر يتدرب على International Corpus of English وبعدين بيطبق أساليب تدريب بعدية ضمنية وصريحة مع ثلاث استراتيجيات لتوفيق النموذج. هالطريقة سمحت لهم يقارنوا تأثير هالخطوات على لهجات إنجليزية أسترالية، هندية وبريطانية شمالية. النتائج بتبين إن القدرة على الفهم باللهجة وإنتاجها شي مختلف: المعايير التقليدية بتقيس الفهم بس، بينما التوفيق بيغيّر طريقة الإنتاج بطريقة ما بتظهر بالمعايير. التدريب الصريح المستهدف بيوصل نتايج معترف فيها كلهجات ومفضلة على التوفيق العريض، بس الطريقة اللي بتطوّع المكافأة أقوى ما بتنال إعجاب البشر.

فريق Chen وزملاؤه قدموا ProjAgent، نظام لتوليد الكود بيوظّف إشي اسمه التشابه الإجرائي كإشارة استرجاع جديدة. النظام بيقسم الدالة المطلوبة لخطوات منطقية وبستعمل workflow وكيلّي (agentic) ليلاقي دوال بالمستودع بتشتغل بطريقة مشابهة بكل خطوة. بعدين بدمج هالمعلومات مع الاسترجاع الدلالي التقليدي، وبضيف حلقة تغذية راجعة ثابتة (static‑analysis) لتصليح الكود اللي بيطلع من المترجم. التجربة على مجموعة REPOCOD أظهرت إن ProjAgent وصل 41.14% Pass@1، يعني أداء أحسن من الطرق اللي بتعتمد على الاسترجاع بس.

الفريق قدم SolarChain-Eval، benchmark بيجمع بين قيود فيزيائية وتقييم للثقة بالوكلاء الاقتصاديين. بيصيغ حوكمة السوق كـ Markov Decision Process متوافق مع Gymnasium، وبيخلي الوكلاء يتخذوا قرارات كل ساعة. بيقيس كل سياسة على كذا بُعد: فائدة السوق، السلامة الفيزيائية، الانزلاق، سلاسة الفعل، العدالة المكانية، وقابلية التدقيق. كمان ضمّوا طبقة Planner/Auditor مبنية على LLM لتحديد حدود الفعل ومراجعة الإجراءات الخطرة وتسجيل كل خطوة بسجلات منظمة. التجارب بين سياسات ثابتة وعشوائية ومحدودة النظر وRL وRL+LLM بيورجّوا إنه في توازن واضح بين الفائدة والسلامة، وإنه الـ LLM بيساعد بس ما بيقدر يعوّض عن مكافأة غير مضبوطة.

الفريق اللي بيضم João Matos وزملاؤه حللوا أكتر من 2000 محادثة حقيقية بين مرضى وشات بوتات صحية. طوّروا محاكي مريض بيفصل بين المحتوى السريري، الحالة العاطفية، استراتيجية الحوار، وأسلوب الكلام. التقييم اللي عملوه مع 15 مقيّم بشري بيّن إنه المحاكاة قريبة كتير من الواقعية، لأن الدقة وصلت 55% بس. كمان جربوا أربع نماذج LLM لتقييم أولوية الحالات وشافوا إنه أسلوب التواصل بيغيّر النتيجة كثير.

الباحث ماساهيرو فوجيتا بيقدّم فكرة جديدة اسمها Context Access Divide (CAD) لتوضح الفرق بين نظام بيسترجع السياق تلقائيًا من ملفات المستخدم (Dynamic Context Retrieval) ونظام بيحتاج يرفع المستخدم المستندات يدويًا (Manual Attachment). بيشرح كيف هالفارق بيصير عائق كبير للعمال اللي عندهم آلاف الملفات، لأنهم بيضطروا يجهزوا السياق بنفسهم. كمان بيعرض نموذج احتمالي مبني على دراسات الفان إيفكت بيوضح إن الإرفاق اليدوي بيقلل فرص نجاح المهمة مع زيادة حجم الكوربس وتعقيدها، بينما الأنظمة الديناميكية ما بتتأثر بهالشي. الدراسة بتربط هالفجوة ببروتوكول Model Context Protocol (MCP) وهياكل retrieval-augmented generation (RAG) وتناقش أثرها على توزيع الشغل وتوجيه منصات الذكاء الاصطناعي.

الفريق قدم طريقة RL لتعديل عتبات الـ trigger بوقت الحقيقي بالمصادم. الوكيل ياخد ملخّصات سريعة من تدفق البيانات ويحدّث العتبات لتزيد كفاءة الإشارة وتظل الخلفية ضمن حدودها. جربوا طريقتين من GFPO (GFPO‑F و GFPO‑FR) على سيناريوهات محاكاة وبيانات حقيقية من CMS وشافوا تحسين واضح بنسبة ٤٨٪ للـ H_T و٢٨٪ للـ AD، مع رفع كفاءة الإشارة كمان.

الفريق قدم memory agent منفصل يشتغل جنب الaction agent الأصلي، وبيحدّث structured memory bank من آخر خطوات المهمة. الmemory agent بيقرر إذا يضيف تذكير مبني على الذاكرة أو يظل صامت، يعني ما بيقاطع الaction agent إلا إذا كان فعّال. الطريقة plug‑and‑play واشتغلت مع وكيلين مختلفين على Terminal‑Bench 2.0 وτ^2‑Bench، وزادت pass@1 بحوالي 8.3 و6.8 نقطة بالمقارنة مع غيرها. كمان درّبوا نموذج Qwen3.5‑27B على SETA باستخدام SFT وGRPO وحصلوا على تحسين بالreward وتعميم جزئي على Terminal‑Bench.