شو في AI؟ | 22 يونيو

فريق Zhou وزملاؤه جاء بفكرة حلوة: بدل ما تبني نموذج هجين من الصفر، ليش ما تحوّل نموذج Transformer موجود وجاهز؟ المشكلة إنه التحويل البسيط كان كسير — لما تنقل طبقات الـ attention من المعلّم (teacher) لنموذج Gated DeltaNet (GDN) مباشرة، النموذج بيبدأ في حالة ديناميكية سيئة وبيحتاج وقت كتير عشان «يصحّح» نفسه. Taylor-Calibrate بيحل هالمشكلة بطريقة خفيفة: يستخدم إحصاءات الـ teacher مع تقريب Taylor عشان يضبط بدقّة معاملات الـ GDN (قيم الـ projection، ومقاييس الذاكرة، والـ gates)، ثم يطبّق خطوة محاذاة قصيرة لكل طبقة. النتيجة؟ تحسّن يوصل لـ 88x في بعض الحالات، والوصول لنفس جودة التحويل بـ 4.9x إلى 9.2x رموز تدريب أقل من التحويل الساذج. الورقة preprint على arXiv وانتشرت في Hugging Face Daily Papers.

الفكرة المحورية هون إنو نماذج الرؤية واللغة (VLMs) لمّا بتفكّر، بتحكي كلام منطقي بس ما بيّنوا إيش المنطقة بالصورة اللي بانت عليها هالنتيجة — هيك بيصعب تتحقّق منها أو تدرّبها صح. فريق Zhang وزملاؤه قدّموا إشي اسمو "visually grounded thinking"، يعني كل خطوة بالتفكير بتجي معها إشارة صريحة على المنطقة أو الصندوق بالصورة اللي استند عليها النموذج. عشان يتدرّب النموذج هيك، بنوا pipeline تلقائي بيستخرج مسارات التفكير الصح وبيربطها بمناطق الصورة باستخدام agent مبني على SAM3، وكمان طوّروا تعلمًا معزّزًا (reinforcement learning) بيحاسب النموذج مش بس على صحة الإجابة، لكن كمان على مدى دقة إشاراته البصرية. النتيجة؟ نموذج Gemma3-4B-IT بهالطريقة بيتفوّق على Gemma3-27B-IT بمهام التفكير المكاني — وهاد إنجاز كبير.

فريق Bai وزملاؤه قدّموا MaineCoon، وهو نموذج autoregressive ضخم بـ 22 مليار معامل، مصمّم خصيصاً لمحاكاة «العوالم الاجتماعية» — يعني المحتوى التفاعلي اللي بنشوفه يومياً على منصات التواصل الاجتماعي. الجديد هون إنه أوّل نموذج يولّد صوت وصورة معاً بشكل متزامن (audio-visual) بسرعة تلاقي 47.5 FPS على GPU واحد بس، مع latency أقل من ثانية. البحث ظهر كـ preprint على arXiv وانتشر ضمن Hugging Face Daily Papers. النموذج بيستخدم جملة من التقنيات الجديدة زي self-resampling وcross-modal representation alignment وشي اسمه ROPD عشان يستقر التدريب ويتسرّع الاستنتاج، وفيه كمان framework للـ streaming يدعم توليد لمئات الثواني بلا انجراف في الجودة.

فريق Haoran You وزملاؤه من Adobe قدّموا إطار HiLo-Token لتسريع نماذج Diffusion Transformers (DiTs) في مهام تحرير الصور. الفكرة الأساسية إنهم ما بيعاملوا كل أجزاء الصورة بنفس الطريقة — المناطق اللي المستخدم بدّه يعدّل عليها بتاخد أكثر tokens، والمناطق الخارجها بنقسمها: مناطق عالية التردد (تفاصيل ودقة) بتاخد tokens مختارة بذكاء، والمناطق المنخفضة التردد (خلفية عامة) بتتمثّل بصورة مضغوطة صغيرة. النتيجة؟ تسريع وصل لـ 3.13x في المناطق الصغيرة اللي بدنا نعدّلها، من غير أي تراجع في جودة التوليد، وهاد على بيانات تقييم من بيئة إنتاج حقيقية. الورقة preprint على arXiv وانتشرت عبر Hugging Face Daily Papers.

الباحثون — فريق Miao وزملاؤه من جامعات ومراكز بحثية في فيزياء الجسيمات وتعلّم الآلة — قدّموا HEPTv2، وهو معمارية point transformer متكاملة تبني مسارات الجسيمات المشحونة مباشرةً من قياسات الكاشف بدون ما تحتاج خطوات بناء رسم بياني أو clustering أو تصفية منفصلة. السرّ في دمج encoder يعتمد على locality-sensitive hashing للحفاظ على الهندسة الفيزيائية مع attention محلي كفوء، مع decoder ذكي يحلّ التعقيدات التركيبية عبر sectorized decoding. على الـ benchmark الشهير TrackML، وصل النموذج لكفاءة تتبّع 98.6% بمعدل خطأ 0.8%، وبوقت استنتاج ~15 ميلي ثانية بس! هالنتيجة بتحسّن على أقوى transformer سابق بـ 4.5% كفاءة مع تقليل وقت الاستجابة بعامل 7، وعلى أفضل أنابيب graph-based بفارق 1.1–2.2% مع تقليل الوقت بعامل 38–52. الورقة ظهرت كـ preprint على arXiv.

واحدة من أكبر مشاكل تدريب الـ agents في بيئات ثلاثية الأبعاد واقعية إنها بتاخد وقت كتير — وهاد بيعيق التجارب الكبيرة. فريق Tomilin وزملاؤه جاءوا بـ CRAX، وهو benchmark مبني فوق محرك فيزياء MuJoCo XLA بيستغل تسريع الـ hardware والعمليات المتوازية، وبيوصل لـ ~100x أسرع من الـ benchmarks الـ CPU-based المشابهة. CRAX بيشمل ستة بيئات وثلاث مهام مخصّصة للـ agents، وكل وحدة بثلاث مستويات صعوبة. والنتائج بيّنت إنه ما في طريقة safe RL واحدة بتكسب على كل المهام، وإن الـ curriculum learning والـ safety transfer بيساعدوا كتير بالبيئات الصعبة.

فريق Uddin وزملاؤه من جامعة أريزونا ستيت جابوا فكرة حلوة لمشكلة بتعاني منها agents خدمة العملاء: لما الـ agent بدّه ياخد قرار، بيضطر كل مرة يرجع يقرأ كل المحادثة من أوّلها عشان يفهم السياق — وهيك بيوقع بأخطاء كأنه ينسى معلومة مهمة أو ينفّذ أمر خالف فيه سياسة الشركة. الحل هو LedgerAgent، وهو طريقة inference-time بتحتفظ بـ 'ledger' — يعني سجلّ منفصل — فيه كل الحقائق والشروط والقيود الحالية، وقبل ما أي tool call يغيّر إشي في البيئة بتراجع هاد السجل تلقائيًا عشان تمنع أي خرق للسياسة. جرّبوها على أربع مجالات لخدمة العملاء مع نماذج مفتوحة ومغلقة، ولاحظوا تحسّن واضح في مقياس pass@k خصوصًا في metrics التناسق الصارمة.

الباحثون من فريق Zhang وزملاؤه جابوا فكرة لطيفة جداً: النماذج الانتشارية للنصوص (Mask Diffusion Models أو MDMs) عندها ميزة طبيعية ما بتستخدموها أحد — وهي إنها تقدر تعدّل على أجزاء محددة من الإجابة بدل ما تمسح كل إشي وتبدأ من الصفر. فاحنا عادةً شايفين هيك سلوك في النماذج autoregressive مع chain-of-thought، بس هناك كل إشي تسلسلي وثقيل. الفريق اقترح طريقة اسمها Reflective Masking (RM)، بتعلّم النموذج يراجع إجاباته السابقة ويعدّل عليها دورة بعد دورة (multi-turn)، وبدون ما يغيّر هيكل النموذج أصلاً — بس post-training خفيف. وعشان ما يضيع السياق من الجولات السابقة، أضافوا آلية اسمها History Reference بتستخدم حالات الـ denoising الوسيطة كمرجع. النتايج أحسن من baselines على مهام متنوعة: توليد نصوص، Sudoku، وتعديل صور.

فريق Chi وزملاؤه قدّموا UNIEGO، إطار عمل بيحاول يحلّ مشكلة قديمة: كاميرات الجسم (egocentric) بترشد من منظور ضيّق — زاوية واحدة، صورة واحدة، كتير من التفاصيل ضايعة. الحلّ؟ تدريب موديل واحد يستوعب معرفة تسعة مُعلِّمين مختلفين (teachers) بيغطّوا زوايا نظر متعددة، وأنواع بيانات مختلفة زي RGB والعمق والهيكل العظمي، وأربعة foundation models. بس المشكلة إنّ هالمعلّمين الكتار بيعطوا إشارات متضاربة، فالحلّ الذكي هون إنّهم أضافوا طبقة من نماذج وسيطة اسمها Proxy models تترجم معرفة كل مُعلِّم لنفس الفضاء، وبعدين Selective Proxy Distillation (SPD) بيختار من كل وسيط بس الإشارات الصح والواثقة. الورقة ظهرت preprint على arXiv ضمن مجال الرؤية الحاسوبية والتعلّم الآلي.

فريق Yang وزملاؤه يطرحون مشكلة حقيقية بتواجهها agents الذاكرة: لما بتتدرّب بأسلوب batch-style trace distillation، نفس العملية ممكن تاخذ feedback متضارب من batch لـ batch — يعني مرة تقول «هاد شغّال» ومرة تقول «مش شغّال» — وما في آلية تميّز بين العمليات اللي شغّالة فعلاً والـ accidental hits. الحل اللي بقدموه هو إطار Marginal Advantage Accumulation (MAA)، واللي بيبني إشارات تفاضلية قابلة للمقارنة عبر الـ batches، وبتراكم الأدلة لكل عملية باستخدام EMA مع دمج للهويات الدلالية عشان يضمن التتبّع الكامل. الجميل إنه MAA ما هو نموذج جديد من الصفر — هو post-processing architecture بيتضاف فوق الأنظمة الموجودة، وحقّق أفضل نتائج في 14 من أصل 16 إعداد عبر 4 benchmarks و4 نماذج، مع تخفيض استهلاك الـ tokens بنسبة ~75% في مرحلة التحسين.

الباحثون من فريق Zhao وزملاؤه بيشتغلوا على موضوع التدريب بدقة FP4 — يعني استخدام 4 بتات بس لتمثيل الأرقام عند تدريب النماذج الكبيرة، وهاد بيوفّر كتير من الذاكرة والحوسبة. المشكلة إنّهم اكتشفوا إن الصيغة الأكثر شيوعًا (E2M1) اللي بتعتمدها بطاقات NVIDIA Blackwell وAMD MI350 فيها خلل أصيل اسمه Shrinkage Bias — خطأ تقريب سلبي منهجي بسبب عدم انتظام الشبكة الهندسية للصيغة، وهاد الخطأ بيتراكم من طبقة لطبقة وبيتضخّم أكتر لمّا يُستخدم الـ Random Hadamard Transform. الحلّ اللي بيقترحوه هو UFP4 — وصفة تدريب بتستخدم شبكة موحّدة (E1M2/INT4) بدل E2M1، مع تطبيق RHT على الثلاث عمليات GEMM في التدريب وتقييد الـ stochastic rounding على dY بس. النتائج على نماذج Dense 1.5B وMoE 7.9B وMoE 124B بتبيّن إن UFP4 بتحقّق انحدارًا أقل في الـ loss مقارنةً بـ BF16 أفضل من الطرق الحالية.

فريق Laurière وزملاؤه قدّموا خوارزمية Q-learning قوية ومقاومة للشكوك، مصمّمة خصيصًا لمسائل التحكّم الجماعي (mean-field control) في الحالات اللي مش عارفين فيها بالضبط قانون الضوضاء المشتركة. الفكرة الذكية إنهم دمجوا تقنية تكميم الإشارة (quantization-and-projection) مع إعادة صياغة Wasserstein الثنائية عشان يتعاملوا مع حالة عدم اليقين. الباحثون أثبتوا رياضيًا تقارب الخوارزمية وحدود زمنية لكلا النمطين المتزامن وغير المتزامن، وجرّبوها على نماذج المخاطر النظامية والأوبئة. البحث انتشر كـ preprint على arXiv ضمن تصنيفات الـ AI والـ machine learning والرياضيات.

الباحث Nalagatla وزملاؤه جايين بفكرة بسيطة وجريئة: مش بدنا ندرّب أي إشي إضافي عشان نفهم شو بيحصل جوا الـ transformer. كل بُعد (dimension) من أبعاد الـ hidden states بيحمل معلومة دلالية، والإشارة (+ أو −) هي اللي بتحكيلك شو المفهوم الموجود، والحجم (magnitude) بيحكيلك كيف الموديل واثق من نفسه. الإطار المقترح اسمه "Bag of Dims"، وبيشتغل بمجرد إنك تعدّ الاتفاقيات بالإشارات بين التوكنات — بدون أي rotation أو optimization. الفريق اختبره على 7 موديلات: لغة زي Mistral وQwen وGemma، ورؤية زي DINOv2 وViT، وصوت زي AST — وبيقول إن نفس الظاهرة موجودة عند الكل، وهيك هي خاصّية عامة بالـ transformer training مش بس باللغة.

كتير من أبحاث تخصيص النماذج اللغوية الكبيرة بتعتمد على بيانات اصطناعية — بس إيش اللي بيصير لما نجرّب مع بيانات بشر حقيقيين؟ هاد السؤال هو اللي شتغل عليه فريق Zhang وزملاؤه، وجمعوا مجموعة بيانات من 550 محادثة بشرية مع آلاف الأحكام البشرية على ثلاث مراحل: استخراج صفات المستخدم من المحادثة، تحديد الصفات الأنسب لطلب جديد، وتوليد ردود مخصّصة. النتيجة؟ النماذج بتعاني بكل المراحل الثلاث، والأهم: الـ LLMs بتحكم إن الردود المخصّصة أحسن بكتير مما يعتقده البشر الحقيقيين. الباحثين قدّموا كمان تدخّلين خفيفَيْن مبنيَّين على التدريب بيقرّبوا تقييم النماذج من حكم البشر في المرحلتين الأولى والثانية، بس في المرحلة الثالثة الارتباط مع الحكم البشري ظلّ ضعيف — مما بيدلّ إن موضوع التخصيص الحقيقي مش حُلّ لسّا.

فريق Beltran-Velez وزملاؤه من Meta لاحظوا إشي مهم: النماذج القائمة على score- و flow-matching بتعتمد كتير على reinforcement learning من تفضيلات البشر مش بس عشان تتوافق مع ذوق المستخدمين، بل حتى عشان تتعلم إشياء أساسية زي الواقعية البصرية والتماسك البنيوي — وهاد في الأصل المفروض تتعلمه من البيانات مباشرة! المشكلة الجوهرية هي إن خسارة الـ matching بتقيس regression error على velocity أو score fields، وهاد proxy رديء لجودة الصورة الفعلية. لحل هاد، قدّموا Discriminator-Guided RL أو اختصارًا DRL: النظام بيدرّب discriminator يفرق بين صور البيانات الحقيقية وصور النموذج، وبيستخدم الـ logit مكافأةً في KL-regularized RL — وهاد الـ logit ما هو إلا تقدير لنسبة log-likelihood بين التوزيعين، يعني المكافأة المثلى نظريًا. النتائج على backbones زي SiT وJiT وREPA وRAE كانت قوية كتير: FID على SiT انخفض من 9.38 لـ 2.62، والـ FD الدلالي على DINOv3 نزل من 88.2 لـ 19.3، وكل هاد بدون ما يحتاجوا تفضيلات بشرية.

فريق Yadav وزملاؤه قدّموا إطار عمل اسمه LegalHalluLens، مخصّص لتدقيق الأخطاء اللي بتقع فيها نماذج الذكاء الاصطناعي لمّا تشتغل على نصوص قانونية — وهاي الأخطاء بتُسمّى hallucination. الفكرة إنهم مش بس بيقولوا «الموديل غلط بنسبة 52%»، لأ، هيك رقم مجمّع ما بيفيد كتير؛ بدل هيك قسّموا الأخطاء لأربع فئات (أرقام، تواريخ، التزامات/حقوق، حقائق)، وطوّروا مقياس اسمه Risk Direction Index (RDI) يحدّد هل الموديل بيخترع معلومات ولّا بيحذفها. وعلى أساس هاد التشخيص، بنوا pipeline من نوع multi-agent debate يخلّي الوكلاء يتحدّوا بعض بطريقة موجّهة، وهيك خفّضوا نسبة الاختراعات الخاطئة بـ 45% — وكمان بموديل صغير نسبياً (4B parameters) يطابق أداء الـ APIs التجارية. البحث انتشر على Hugging Face Daily Papers وهو preprint على arXiv.

الباحثون قدّموا WorldLines، وهو benchmark متخصص لتقييم الوكلاء المجسّدة (embodied agents) على مهام المساعدة المنزلية الطويلة الأمد. الفكرة إنو هالوكلاء مش بس لازم تنفّذ مهام قصيرة، بل تتذكّر عادات المستخدم، وحالة الأشياء والأجهزة، والتفاعلات السابقة — كتير أقرب للواقع. الـ benchmark بيبني سيناريوهات منزلية ممتدة زمنيًا فيها حوارات وأفعال وتغييرات على البيئة، وبِحوّلها لمهمتين: Memory QA وEmbodied Task Planning. وعلى جانب النماذج، قدّموا ObsMem، إطار عمل بيحافظ على ذاكرة تراعي ما شافته الوكيلة فعلًا، وتتبّع حالة البيئة بشكل مستمر عشان تاخذ قرارات أذكى.

فريق Moon وزملاؤه قدّموا طريقة جديدة اسمها SSync لتحسين مجال video object-centric learning — يعني تعليم النماذج إنها تفصل الكائنات المختلفة في الفيديو تلقائيًا من غير تعليم مسبق. المشكلة اللي كانت موجودة: الطرق الحالية بتحاول تُوازن بين خريطتين مختلفتين (attention maps من الـ encoder وobject maps من الـ decoder) بمحاذاة كاملة لكل النقاط، وهاد الإشي بينشر الأخطاء بدل ما يحلّها، وفوق هيك تكلفته الحسابية ترتفع بشكل تربيعي مع حجم الفيديو. SSync بتحلّ هاد بطريقة انتقائية ذكية: بتاخذ من كل module بس أقوى نقاطه — الـ encoder لتحسين الحدود، والـ decoder لتنظيف الداخل — وبتستخدم pseudo-labeling بتعقيد خطي بدل التربيعي. البحث انتشر كـ preprint على arXiv وظهر ضمن Hugging Face Daily Papers.

فريق Rotman وزملاؤه اشتغلوا على مشكلة حقيقية بتواجه الشركات: كيف تصنّف نماذج اللغة محادثات المبيعات المعقّدة بين الأطراف المتعددة، لما الـ in-context learning التقليدي بيصطدم بحدود طول السياق. الفكرة الجديدة إنهم ما حطّوا أمثلة كتيرة في الـ prompt، بل استخلصوا منها معايير تصنيف منظّمة وتعليمات دقيقة — يعني بدل ما تحشر عشر محادثات كاملة، بتحط ملخّص ذكي للمنطق اللي وراها. قدّموا كمان dataset جديد اسمه Call Playbook بخمس مهام تصنيف مأخوذة من محادثات B2B حقيقية، وحققوا تخفيض 99% في استهلاك الـ tokens مع تحسّن يوصل لـ 7% في الـ macro-averaged AUC. الورقة preprint على arXiv وانتشرت على Hugging Face Daily Papers.

فريق Zhu وزملاؤه من NYU قدّموا إطار عمل جديد بيجمع بين الاستدلال Bayesian التسلسلي والـ in-context learning بطريقة ذكية: بدل ما تعيد حساب كل إشي من الصفر لكل مسألة جديدة، بتعلّم الموديل كيف يتكيّف مع prior مختلفة وهو بيشتغل — وهيك بِصير الاستدلال أسرع بمراتب من الطرق الكلاسيكية. الفكرة الأساسية إنهم حوّلوا معلومات الـ prior لـ prefix داخل الـ context، وعلّموا transformer يتعلّم من سياقات متعددة المهام عشان يتأقلم مع عائلات مختلفة من الـ priors — حتى اللي ما شافها أثناء التدريب. النتائج على مجموعة benchmarks متصاعدة الصعوبة، بما فيها بيانات توزيع درجات الحرارة الجغرافي-الزماني، بيّنت إن الطريقة بتوصل لنفس دقة الـ oracle Bayesian predictor المثالي.