شو في AI؟ | 6 يوليو — تحسين سياسات التدريب للـ LLM

الباحثين قدموا طريقة جديدة اسمها Adaptive-masking for Graph Embedding أو AGE، بتستغل Transformer لتعلم تمثيلات للرسوم البيانية بطريقة تمويه ذاتي‑إشراف. الفكرة إنه الرسوم البيانية فيها عقد أساسية (key nodes) صعب نتوقعها من الجيران، فـ AGE بيختار تعلّم العقد غير الأساسية عبر مُعِدّ عُقَد قابل للتعلم. هالطريقة صارت تحسن كثير من دقة نماذج الـ GraphQA على أربع مجموعات اختبار مختلفة، خصوصًا لما تكون الـ LLM متجمدة وما فيها تعديل.

الباحثين بيّنوا إنه الفجوة بين سياسات التدريب والاستدلال بالـ LLM بتسبب عدم استقرار خلال التدريب باستخدام reinforcement learning. اقترحوا هدف جديد اسمه Monotonic Inference Policy Improvement (MIPI) بيركّز على تحسين سياسة الاستدلال الفعلية مش بس سياسة التدريب. بناءً عليه، طوّروا إطار عمل من خطوتين اسمه Monotonic Inference Policy Update (MIPU) بيختار التحديثات اللي بتقلل الفجوة بين الجانبين. التجارب على نماذج بحجمين مختلفين أظهرت إنه MIPU بيرفع أداء التفكير المتوسط وبي stabilizes التدريب.

الفريق طلب 15 قارئ شغوف يقارنوا بين الترجمات البشرية (HT) وترجمات الآلة (MT) اللي تولدت عبر LLM، على 15 رواية حديثة من الفرنسية، البولندية واليابانية للإنجليزي. القُرّاء لقوا إن MT "مقبولة" بس بيفضّلو HT لأنه أسهل، أوضح، وأكثر غمرًا، خاصةً لما يقرأوا النصوص على مستوى الفقرات. كمان القُرّاء ما قدروا يميزوا بين النسختين بشكل موثوق، والقياسات الآلية ما عكست تفضيلاتهم، بل فضلت MT. الباحثين أطلقوا مجموعة البيانات LAIT لتقييم ترجمة الأدب من منظور القارئ.

الفريق قدم Embodied.cpp، وهو runtime مكتوب بـC++ لتشغيل نماذج الذكاء المتجسدة على الروبوتات المتنوعة. بيقسم التنفيذ لخمس طبقات من adapters للمدخلات لبناء السلاسل للـbackbone ولـhead plugins، وبيوفر تنفيذ متعدد السرعات ودمج للـinference بأقل تأخير. جربوه على نموذجين VLA (HY‑VLA و pi0.5) وعلى benchmark أولي للـWAM، ولقوا نجاح 100 % و91 % بالمهمات، وكمان قلّصوا الذاكرة من 312 MiB إلى 88 MiB.

الباحثين قدموا LACUNA، وهو اختبار أول بيوفر معرفة دقيقة بالمكان اللي بتتخزن فيه معلومات حساسة داخل وزنات نموذج LLM. بيحطوا بيانات شخصية صناعية داخل وزنات محددة بموذج 1B و7B من OLMo، وبعدين بيقيسوا إذا طرق المحو بتستهدف هالوزنات ولا بس تخفي المعلومة من المخرجات. النتائج بتظهر إن الطرق الحالية قوية بالمخرجات بس غير دقيقة بالموقع، وبيقدروا يرجعوا المعلومة بهجمات إعادة الظهور. كمان بيبينوا إن إذا نجح التحديد، طريقة بسيطة تعتمد على التدرج بتعطي محو قوي ومقاوم لهالهجمات.

هالورقة بتقدّم benchmark جديد اسمه DramaSR-532K فيه 532 ألف سطر حوار من أكتر من 900 شخصية، وبتحتاج ندمج الصوت، النص والصورة لنحدد المتكلم. كمان فريق الباحثين طوّر طريقة اسمها DramaSR-LRM مبنية على large reasoning model، بتستعمل أدوات متعددة لتجمع الأدلة السياقية وتوزّعها على طول الحلقة. التجارب بتظهر إنه DramaSR-LRM بتتفوق على الطرق القديمة، خصوصًا على الجمل القصيرة اللي ما فيها معلومات صوتية كافية.

فريق Mehta عمل دراسة ملاحظية على ٩٠ تشغيل مستقل لوكلاء برمجة يبنوا تطبيق لوحة زمنية من مواصفات مفصلة. جربوا نماذج مختلفة وإشي مستويات جهد تفكيري (High و xHigh)، وأدوات اختبار وتصميم، وقاسوا النتايج على معيار ١٤ معيار وظيفي. النتايج بيّنوا إن رفع جهد التفكير من High لـ xHigh خلى نسبة النجاح من أول محاولة ترتفع من ٢٨٪ لـ ٨٩٪، بينما أداة الاختبار زادت التكلفة بدون ما تحسّن النتيجة الوظيفية. كمان التصميم الموجه رفع جودة الشكل بس ما غير الأداء الوظيفي.

الفريق بقيادة Dezheng Wang قدموا طريقة جديدة اسمها Self-Gating Attention لتقليل تكلفة حساب الـ attention في نماذج الـ Transformer. الفكرة إنه بيستبدلوا حساب الـ query وkey بمصفوفة مشتركة متعلمّة مع مكوّن residual يعتمد على البيانات، فبيصير الوقت والذاكرة خطيين مع طول السجل. دمجوها داخل عدة نماذج توقع واختبروها على تسع مجموعات بيانات من الكهرباء للطقس للطب، ولقوا إنه الأداء يبقى قوي بس الاستنتاج صار أسرع وأخف. النتائج نُشرت كـ preprint على arXiv ضمن cs.LG و cs.AI.

الفريق Jongoh Jeong وزملاؤه قدموا طريقة جديدة لتقليل حجم مجموعات البيانات اللي فيها صور ونصوص. الطريقة اسمها RAHA، بتنقل تمثيلات البيانات لهيدروني (hyperbolic) وبتستغل فكرة إن العلاقة بين الصورة والنص غالبًا منخفضة الرتبة، فبتحافظ على تنوع كل وسيلة. بهالطريقة بيحافظوا على قدرة النموذج على الاسترجاع عبر الوسائط حتى مع ميزانية بيانات محدودة، وبيظهروا نتائج تنافسية على Benchmarks مع تحسين النقل.

الفريق بقيادة Vivienne Ming استخدموا سوق توقعات حقيقي (Polymarket) ليفحصوا كيف بيأثر الجمع بين الإنسان والذكاء الاصطناعي على الدقة. لقوا إن الأداء الهجين بيظهر بثلاث حالات: إما الناس يتبعوا النموذج، أو يخلطوا بين توقعاتهم والنموذج ويصيروا أسوأ، أو يشتغلوا بتفكير تكميلي ويوصلوا لأفضل من السوق نفسه. الصفات مثل أخذ منظور الآخرين، التواضع الفكري، والفضول كانت هي اللي بتميز الفئة القليلة اللي حققت هالنتيجة. النتائج أولية لكن ثابتة إحصائيًا وبتحمل فكرة تكرار الدراسة بشكل مسجّل مسبقاً.

الفريق قدم طريقة جديدة للكمّية (quantization) بعد التدريب للـ Diffusion Transformers، ما بتحتاج أي بيانات معايرة. استعملوا دوران RPBH عشان يخلوا كل إحداثي يركّز حول قيمة ثابتة، فبيكفوا كود‑بوك واحد لكل التايم ستيب والبرومبتات والطبقات. الطريقة بتشتغل على الصور والفيديو بنفس الإعداد، وحققت أفضل نتائج للـ PTQ بأقل عدد من البتات، حتى W2A4 بجودة مقبولة.

الفريق قدم طريقة جديدة لتقليل عبء الحساب على الـ GPU عند توليد الكود. الفكرة إنه بدلاً من محاولة توليد حل كامل مرة وحدة، بنقسم المشكلة لمجموعة من الدوال الصغيرة اللي كل وحدة فيهن بتنحل بشكل مستقل، وبنركّبهم مع بعض لنحصل على عدد كبير من الحلول المحتملة. خوارزمية DecompRL بتعلم من خلال الـ RL كيف تقسم وتنفّذ هالهيكل الهرمي، وبتحوّل التكلفة من الـ GPU للـ CPU الرخيص، فبتقلل استهلاك الـ GPU بحوالي 50 مرة. التجارب على LiveCodeBench وCodeContests أظهرت إنه الطريقة بتتفوق على أساليب الـ RL التقليدية، وبتقدر تحل مشاكل ما كانتش الموديلات الأساسية قادرة تحلها.

الفريق Chen وزملاؤه فحصوا ثلاث Benchmarks مشهورة لتقييم Coding Agents على مستوى المستودعات. رجّعوا الباتشات الرسمية لـ 740 مهمة على أربع أنواع من آلات Google Cloud ولاحظوا إن القواعد الأصلية ما انطبقت إلا على نسبة قليلة من المهمات. كمان بيّنوا إن ترتيب المتقدّمين على Leaderboard بيتغيّر كتير حسب قواعد حساب النقاط، وبيظهروا مهام فيها إشارة أداء أكثر موثوقة.

الباحثين Bay و Yearick بيكشفوا إنه زيادة عدد العينات وقت الاختبار ما دايمًا بتحسن النتيجة. بيّنوا إنه بعد ما بيصير في عشرات قليلة من التجارب، الجواب اللي بيختاروه النظام بيستقر – هاد هو الـmodal ceiling – ولما بنقيس الأداء على benchmark بيصير مستقر أسرع، يعني وصلنا للـcorrelation ceiling. بعد هالنقطة، كل عينة إضافية بس بتزيد التكلفة وممكن تخلي الجواب أسوأ. الورقة بتعرّف رقم واحد بسيط اسمه effective number of samples لنعرف متى نوقف العينة الزايدة.

الفريق قدم تحليل شامل لخوارزمية multiprobe grid معتمدين على حجم الداتا N وبعدها d. التجارب بيّنت إنه عند مجموعة تمثيلات GloVe، هالخوارزمية بتحافظ على ثابت تقليل الأداء مع زيادة البعد، بينما طرق الجراف والشجر بتتدهور. كمان بتعطي تقريباً خطية في استعلام N وتكلفة فهرسة أقل من غيرها. النتائج بتشير إنه هالطريقة ممكن تنافس غيرها بالبيئات اللي فيها بناء الفهرس كثير أو أبعاد عالية.

الفريق قدم SciIR، مصدر كبير لتدريب وتقييم نماذج توليد الصور العلمية. جمعوا أكتر من 80 ألف زوج صورة‑نص من أوراق حديثة، ورتبوه حسب ثلاث أبعاد من التفكير العلمي: الكيان (Icon)، العملية (Index)، والقانون (Symbol). كمان سووا SciIR‑Bench لتقييم الدقة العلمية باستخدام أسئلة تفصيلية، ولما عدلوا نموذج Qwen‑Image‑SciIR على هالمجموعة وصلوا لتحسين واضح من 35٪ لـ43٪.

المؤلفين Mona Schirmer وزملاؤها بيحكوا إنه رغم تدريب الـ LLMs لتكون متوافقة، لسا ممكن يطلعوا ردود غير آمنة وقت الاستخدام. بدنا نظام يراقب المخرجات مباشرةً ويطلق إنذار إذا ما كان في أمان، فالقوا طريقة بسيطة بتحوّل إشارة verifier من نموذج خارجي لإنذار عبر حدّ (threshold) بيتظبط بالتحكم بالمخاطرة. التجارب على مجموعات أسئلة رياضية ومجموعات red‑teaming ورّيت إنه هالتصميم البسيط بيشتغل تقريباً زي المراقبين المتقدمين اللي بيستعملوا اختبارات الفرضية المتسلسلة.

الباحثين قدموا طريقة ميكانيكية لتفسير نماذج الـ CLIP بدون أي تدريب إضافي، بيستعملوا عينات لتفكيك تمثيلات الحالة المخفية وبيحددوا شو جزء الـ Vision Transformer بيركّز على النص بدل ما يركز على المشهد. من خلال تحليل احتمالي واستخراج الدوائر، علقوا على رؤوس الانتباه اللي بتشفر المعلومات اللغوية بشكل مبالغ فيه، وبعدين عدلوا وزن الانتباه بهالرؤوس بدون ما يحتاجوا لتدريب. هالتدخل البسيط رفع صمود النموذج ضد هجمات النص داخل الصورة، وتفوق على طرق الدفاع المشرفة أو غير المشرفة. التجربة أثبتت إنه تطبيق الطريقة على مشفرات الرؤية بأحدث الـ LVLMs بيحسّن دقة الإجابة على الأسئلة البصرية في RIO‑Bench تحت هجمات النص.

الفريق Wang وزملاؤه قدموا TestEvo-Bench، بنشمارك حي بيجمع إشي بين تغيّر الكود والاختبارات. كل مهمة مربوطة بكمّيت حقيقي من مستودعات جافا، ومعاها إعدادات بيئية لتشغيل الاختبارات وحساب معدلات النجاح، التغطية، وmutation score. البنشمارك بِصير live benchmark، يعني كل ما يطلع commit جديد بيضيف مهمة جديدة عشان نقلل خطر تسريب البيانات. جربوا أربع agents (Claude Code، Gemini CLI، SWE-Agent) مع نماذج أساسية (Claude Opus 4.7، Gemini 3.1 Pro) ولقوا نجاح لحد 77.5% بالجيل واختبار التحديث.

الفريق اللي قدّامه Sanjeev Shrestha وزملاؤه بدنا يقدّموا Exformer، إطار جديد بيستغل attention متكيّف مع المتطرفات ليعالج السلاسل الزمنية اللي فيها إشي نادر وشديد. بيضم ثلاث مكوّنات sparse: Local للمدى القصير، Stride للأنماط الدورية، وExtreme لتتبع العلاقات بين الأنماط العادية والحدّية. التجارب على أربع مجموعات بيانات لتدفق المياه أظهرت إن Exformer يتفوق على أحدث النماذج في توقع الثلاث أيام الجايين. هالنتيجة بتثبت إن التركيز على الأحداث المتطرفة بيقوّي قدرة الـTransformer على التنبؤ بسلاسل زمنية غير متوازنة.