قِسناها: قدّيش بيكلّف العربي أكتر؟

قِسناها: قدّيش بيكلّف العربي أكتر من الإنجليزي؟

قِسنا فعلياً: النصّ العربي بياخد توكنز أكتر من الإنجليزي بنسبة بتتراوح من ١٧٪ للكلام اليومي لـ٤٨٪ للشرح التقني — بمتوسّط ٣٧٪. مش ضعفين زي ما بينقال، والرقم نزل كتير مع نماذج ٢٠٢٦.

في جملة بتتكرّر بكل مقالة عربية عن الذكاء الاصطناعي: «العربي بياخد ضعف توكنز الإنجليزي». كتبناها احنا كمان. بس لمّا قعدنا نقيسها فعلياً، طلع الرقم مختلف — وأهم من هيك: مش رقماً واحداً أصلاً.

النتيجة

قِسنا أربع فئات من النصوص، كل فئة بجُمَل عربية وترجمتها الإنجليزية بنفس المعنى:

وبجملتين من عيّنتنا طلع العربي أرخص من الإنجليزي فعلاً.

ليش الفرق بين «كلام يومي» و«شرح تقني» كبير هيك؟

هون جوهر القصّة، وهو اللي بيفسّر كل إشي.

المقطّع (Tokenizer) بيبني قاموسه من الأكثر شيوعاً بنصوص التدريب. الكلمة اللي شافها ملايين المرّات بتاخد توكن واحد؛ والنادرة بتتكسّر لقطع.

• «مرحبا» و«كيف» و«اليوم» — شافهم المقطّع كتير، فصاروا توكنات كاملة.
• «الاستدلال» و«التضمينات» و«المعزّز» — ما شافهم كتير، فبتتكسّر لتلات قطع وأربعة.

وعشان هيك الشرح التقني العربي أغلى بثلاثة أضعاف الفرق تبع الكلام العادي: ١٧٪ ← ٤٨٪.

والرقم بيفرق حسب النموذج كمان

عدنا التجربة على مُقطِّع تاني:

يعني نفس النصّ بالضبط، كلفتان مختلفتان — حسب كم عربي شاف المقطّع وقت ما تدرّب.

وهاد بيفسّر من وين إجت أسطورة «الضعفين»: كانت صحيحة. المقطّعات القديمة (٢٠٢٢-٢٠٢٣) كانت مبنيّة على نصوص إنجليزية بالأساس، والعربي فيها كان بيتكسّر لحروف تقريباً. النماذج الجديدة تدرّبت على بيانات متعدّدة اللغات أكتر بكتير — فالرقم نزل، وما حدا حدّث الجملة.

النصيحة العملية

لو بتكتب برومبت تقني بالعربي وبتدفع بالتوكن:

اكتب الشرح بالعربي، وخلّي المصطلح التقني بالإنجليزي.

بدل: «استخدم التضمينات المتّجهة مع إعادة الترتيب» اكتب: «استخدم embeddings مع reranking»

هيك بتاخد أرخص توكنز للمصطلح وأدقّ فهم للنموذج بنفس الوقت — لأنه تدرّب على المصطلح بصيغته الإنجليزية.

وكمان:

• بالمحادثات الطويلة الفرق بيتراكم — نافذة السياق بتتعبّى أسرع بـ٣٧٪.
• جرّب النموذج قبل ما تلتزم — الفرق بين مقطّع ومقطّع وصل عندنا للضعف.
• ما تكتب إنجليزي عشان توفّر — ٣٧٪ مش فرقاً يستاهل تخسر الدقّة اللي بتيجي لمّا تعبّر بلغتك.

المنهجية (عشان تقدر تعيدها)

ما استعملنا تقديرات. قِسنا مباشرةً:

1. بنبعت النصّ للنموذج كرسالة واحدة مع max_tokens = 1.
2. بناخد usage.prompt_tokens من الاستجابة — رقم المزوّد نفسه، مش تخميننا.
3. بنطرح الحمل الثابت للرسالة الفاضية (٧١ توكن عندنا) عشان نعزل النصّ لحاله.
4. كل جملة عربية مع ترجمتها الإنجليزية بنفس المعنى — مش ترجمة حرفية ولا مختصرة.

حدود التجربة بصراحة: العيّنة تسع أزواج ومقطّعان. كافية تبيّن الاتجاه وحجم الفرق، مش كافية لرقم نهائي دقيق. لو قِسْت على نصوصك إنت، توقّع رقماً قريباً مش مطابقاً.

أخطاء وسوء فهم شائع

• «العربي بياخد ضعف توكنز الإنجليزي»: كان صحيحاً مع مقطّعات ٢٠٢٢-٢٠٢٣. قياسنا اليوم: ١.١٧× للكلام العادي و١.٤٨× للتقني.
• «الرقم ثابت»: لأ — بيعتمد على نوع النصّ والنموذج. فرق بين ١٦٪ و٤٨٪ بنفس التجربة.
• «يعني أكتب بالإنجليزي أوفر»: التوفير ٣٧٪ من كلفة المدخلات بس. وبتخسر دقّة التعبير — وهاي أغلى.
• «كل اللغات غير الإنجليزية نفس المشكلة»: الحجم بيفرق كتير حسب كم شاف المقطّع من كل لغة.
• «التوكن هو الكلمة»: لأ — وهاد بالضبط سبب كل القصّة.

خلاصة سريعة

• قياس فعلي: العربي أغلى بـ١٧٪ (كلام يومي) لـ٤٨٪ (شرح تقني)، بمتوسّط ٣٧٪.
• مش ضعفين — الأسطورة كانت صحيحة مع مقطّعات قديمة وما حدا حدّثها.
• السبب: الكلمة الشائعة = توكن واحد · النادرة = تتكسّر لقطع.
• الرقم بيفرق حسب النموذج — من ١٦٪ لـ٣٧٪ بنفس النصّ.
• النصيحة: اكتب بالعربي، وخلّي المصطلح التقني إنجليزي.
• العيّنة صغيرة — الاتجاه موثوق، الرقم تقريبي.

أسئلة بتوصلنا كتير

• هل النص العربي يستهلك توكنز أكثر من الإنجليزي؟ نعم لكن أقلّ مما يُشاع: في قياسنا على نماذج ٢٠٢٦ كانت الزيادة ١٧٪ للكلام اليومي و٤٨٪ للشرح التقني، بمتوسّط ٣٧٪ — وليست الضعف كما يتكرّر في المحتوى العربي.
• لماذا يقال إن العربية تكلّف ضعف الإنجليزية في الذكاء الاصطناعي؟ لأن هذه النسبة كانت صحيحة مع المقطّعات الأقدم (٢٠٢٢-٢٠٢٣) التي دُرِّبت على نصوص إنجليزية بالأساس فكانت تكسّر العربية إلى حروف تقريباً؛ أما نماذج اليوم فدُرِّبت على بيانات متعدّدة اللغات، فانخفض الفارق ولم تُحدَّث العبارة المتداولة.
• كيف أقلّل تكلفة التوكنز عند الكتابة بالعربية؟ اكتب الشرح بالعربية واترك المصطلح التقني بالإنجليزية — فالمصطلحات المترجمة نادرة في قاموس المقطّع فتتكسّر إلى عدة توكنز، بينما يُمثَّل المصطلح الإنجليزي غالباً بتوكن واحد، وهذا يحسّن الدقّة أيضاً.
• هل تختلف النسبة باختلاف النموذج؟ نعم وبفارق كبير: قِسنا النصّ نفسه على مقطّعَين فكانت الزيادة ٣٧٪ في أحدهما و١٦٪ في الآخر، تبعاً لمقدار النصوص العربية التي رآها كلٌّ منهما أثناء التدريب.
• كيف قستم هذه النسبة؟ بإرسال كل نصّ إلى النموذج برسالة واحدة وmaxtokens = 1، ثم أخذ قيمة usage.prompttokens من استجابة المزوّد نفسه، وطرح الحمل الثابت للرسالة الفارغة لعزل النصّ وحده — مع مقابلة كل جملة عربية بترجمة إنجليزية مكافئة في المعنى.

كمّل رحلتك من هون

• الأساس: معنى token بالعربي
• كيف بتصير عملية التقطيع: شو يعني Tokenization؟
• الحدّ اللي بيتعبّى أسرع: نافذة السياق
• صياغة أوفر وأدقّ: كيف تكتب برومبت صح؟
• ليش العربي أصعب على النماذج أصلاً: الـAI واللهجات العربية
• توفير الكلفة بشكل عام: تكلفة الذكاء الاصطناعي
• كل المصطلحات بمكان واحد: قاموس الذكاء الاصطناعي