ليش الـ AI بيفهم الفصحى وبيضيع باللهجة؟
فجوة البيانات، غياب الإملاء الموحّد، وتفرّع اللهجات — ليش نماذج الذكاء الاصطناعي بتتعثر بلهجاتنا المحكية، وشو الجهود البحثية العربية اللي بتسد الفجوة.
ليش الـ AI بيفهم الفصحى وبيضيع باللهجة؟
النماذج بتتعثّر باللهجات العربية لثلاثة أسباب: قلّة البيانات المكتوبة، وغياب إملاء موحّد، وتفرّع اللهجات بين البلدان.
جرّب اكتب لأي نموذج ذكاء اصطناعي جملة بالفصحى — رح يجاوبك زي الشاطر. هلقيت اكتبله بلهجتك المحكية زي ما بتحكي مع صحابك: «شو في يا زلمة، بدي إشي يظبطلي هالسيرة» — في احتمال كويس يفهم عليك، بس رده رح يرجع للفصحى، أو يخلط لهجات، أو يفهم غلط تماماً. ليش؟ الجواب بيكشف وحدة من أكبر التحديات المفتوحة بمعالجة اللغة العربية — وهي بالمناسبة مجال بحثي كامل بيشتغل عليه باحثين عرب حول العالم (وأنا وحدة منهم 😄).
المشكلة الأولى: النماذج بتاكل مما بننشر — واحنا ما بننشر بلهجاتنا
النماذج بتتعلم من النصوص المكتوبة المتوفرة. وهون المفارقة: احنا بنحكي باللهجة وبنكتب بالفصحى. الأخبار، الكتب، ويكيبيديا، المقالات — كلها فصحى. اللهجة بتظهر بس بالتغريدات والتعليقات والشات — نصوص قصيرة، مليانة أخطاء، وبكميات صغيرة نسبياً.
النتيجة: النموذج شاف فصحى كتير فاتقنها، وشاف لهجات قليل ففهمه إلها سطحي. هاي مش مشكلة «غباء» — مشكلة جوع بيانات.
المشكلة الثانية: اللهجة ما إلها قواعد كتابة
الفصحى إلها إملاء موحّد. بس كيف بتكتب «ما بدي»؟ في ناس بتكتبها «مابدي» وناس «ما بدّي» وناس «مبدي». وكلمة زي «هلقيت» بتلاقيها «هلقيت، هلأيت، هلءيت» — نفس الكلمة بعشر أشكال. للنموذج، كل شكل بيبين كلمة مختلفة، فبدل ما تتجمع البيانات القليلة على كلمة وحدة، بتتشتت على أشكال متفرقة وبيضعف التعلم أكتر.
المشكلة الثالثة: «العربية» مش لغة وحدة عملياً
الفرق بين المغربية والخليجية ممكن يكون أكبر من الفرق بين لغتين أوروبيتين متجاورتين. حتى جوّا اللهجة الوحدة في تفرعات — الفلسطينية مثلاً: غزة غير الضفة غير الداخل. عشان هيك في مهام بحثية كاملة مخصصة بس لسؤال «هالجملة من أي لهجة؟» — زي مسابقة NADI العلمية السنوية لتمييز اللهجات اللي بتتنافس فيها فرق بحثية من كل العالم. لما التمييز نفسه مهمة بحثية صعبة، تخيّل الفهم والتوليد.
وفوق هاد كله: بنخلط
«بكرا في meeting وبعدها بدي أعمل push للكود» — هيك بنحكي فعلاً. الخلط بين العربي والإنجليزي (code-switching) وكتابة العربي بحروف لاتينية (3arabizi) بيزيدوا المعادلة تعقيداً على النموذج المسكين.
طيب في أمل؟ في، وكبير
المجال البحثي العربي شغّال بجد على هالفجوة:
- موارد مخصصة للهجات: مشاريع زي MADAR بنت معاجم ونصوص متوازية لـ ٢٥ مدينة عربية — نفس الجملة مكتوبة بلهجة كل مدينة.
- مختبرات متخصصة: زي مختبر CAMeL بجامعة نيويورك أبوظبي اللي بيطور أدوات مفتوحة لمعالجة العربية ولهجاتها.
- والنماذج الكبيرة نفسها عم تتحسن: كل جيل بيفهم اللهجات أحسن من اللي قبله، والاهتمام بالعربية عند الشركات الكبرى بيزيد.
الفجوة بتضيق — بس بدها إشي منا احنا كمان: كل محتوى عربي جيد بننشره (بالفصحى أو باللهجة المكتوبة بوضوح) هو غذاء لنماذج الجيل الجاي.
أخطاء وسوء فهم شائع
- «النموذج غبي بالعربي»: هو مش غبي — جاع. الأداء بيعكس البيانات، والبيانات الفصيحة أطعمته أحسن من المحكية.
- «الحل نكتب كلنا بالفصحى»: لأ — اللهجة هويتنا وطريقة حكينا الحقيقية. الحل نماذج تفهمنا زي ما احنا، وهاد اللي البحث شغال عليه.
- «هالمشكلة خاصة بالعربي»: كل اللغات اللي إلها لهجات محكية بتعاني (الألمانية السويسرية، لهجات الصينية…) — بس العربي من أوضح الأمثلة لأن الفجوة بين المكتوب والمحكي عنا كبيرة بشكل استثنائي.
خلاصة سريعة
- النماذج بتتعلم من المكتوب — واحنا بنكتب فصحى وبنحكي لهجة، فالفصحى اتعلمتها والهجة لأ.
- اللهجات بلا إملاء موحّد وبتتفرع بشكل هائل — فالبيانات القليلة أصلاً بتتشتت.
- الخلط مع الإنجليزي والعربيزي بيزيد التحدي.
- في حركة بحثية عربية جادة عم تسد الفجوة — والنماذج بتتحسن جيل بعد جيل.
أسئلة بتوصلنا كتير
- لماذا يفهم الذكاء الاصطناعي الفصحى ويضيع في اللهجة؟ لأن بيانات التدريب المكتوبة بالفصحى وفيرة، بينما اللهجات شفهية غالباً وقليلة التوثيق المكتوب، وتختلف اختلافاً كبيراً بين بلد وآخر.
- هل اللهجات العربية لغات منفصلة بالنسبة للنموذج؟ عملياً نعم في كثير من الأحيان — فالفرق بين المغربية والخليجية والشامية في المفردات والتراكيب يكفي ليتعامل معها النموذج كأنظمة مختلفة.
- كيف أحصل على نتائج أفضل بالعربية؟ اكتب طلبك بالفصحى الواضحة حتى لو أردت الجواب بلهجتك، واذكر اللهجة المطلوبة صراحةً مع مثال قصير على الأسلوب الذي تريده.
كمّل رحلتك من هون
- وقدّيش بيكلّف العربي أكتر: قِسناها
- كيف النموذج «بيقرأ» كلامك أصلاً؟ شو يعني ذكاء اصطناعي (AI)؟
- والصوت؟ تحويل الكلام المحكي لنص إله نفس التحديات وأكتر — سلسلة الذكاء الاصطناعي والصوت
- السبب الجذري (قلة البيانات): شو يعني بيانات التدريب؟
- ومشكلة مشابهة بالعربي: كاشفات النص المولّد
- مصطلح مش واضح؟ افتح قاموس «شو يعني؟»
- ليش قياس أداء العربي صعب: معنى benchmark بالعربي
المصادر
- NADI — المهمة العلمية السنوية لتمييز اللهجات العربية (النسخة الخامسة، 2024)
- مشروع MADAR — موارد ومعاجم لـ ٢٥ لهجة مدينية عربية (تعاون CMU قطر، NYU أبوظبي، كولومبيا)
- أبحاث معالجة العربية بمختبر CAMeL — جامعة نيويورك أبوظبي
- الرسم التوضيحي: من إعداد «شو في AI؟»
📘 مصطلحات وردت بالمقالة
بتقدر تلغي بضغطة · ما بنشارك بريدك مع حدا