شو يعني Chunking (التجزئة)؟ الخطوة اللي بتقرّر نجاح RAG

شو يعني Chunking (التجزئة)؟ الخطوة اللي بتقرّر نجاح RAG

بنيت نظام RAG ليجاوب من مستنداتك، بس الأجوبة بتطلع ناقصة أو غريبة؟ غالباً المشكلة مش بالنموذج ولا بقاعدة البيانات — بل بـخطوة صامتة قبلهم كلهم: كيف قطّعت مستنداتك. العملية اسمها Chunking (التجزئة)، وهي من أكتر الأشياء اللي بتقرّر نجاح النظام أو فشله — ومع هيك أقل واحدة بينحكى عنها. بهالمقالة رح نفهمها بوضوح.

الجواب المختصر

التجزئة (Chunking) هي تقطيع المستندات الطويلة لمقاطع أصغر قبل تخزينها للاسترجاع. لأن المستند الكامل ما بيدخل نافذة السياق، وبنحتاج نجيب الجزء اللي إله علاقة بالسؤال بس. وحجم المقطع مهم: صغير زيادة بيقطع الفكرة بالنص، وكبير زيادة بيجيب حشو بيشوّش النموذج.

ليش بنحتاجها أصلاً؟

سببان:

• حدود السياق: ما بتقدر تحطّ كتاب ١٠٠ صفحة بسؤال واحد — نافذة السياق محدودة وبتتقاس بالتوكنز.
• دقّة الاسترجاع: حتى لو قدرت، ما بتنفع. لو أعطيت النموذج ١٠٠ صفحة عشان سؤال صغير، بيتشوّش وبيضيع الجواب بالحشو (وبتدفع توكنز على الفاضي).

فالحل: نقطّع المستند لمقاطع، ونخزّن كل مقطع كـمتّجه بـقاعدة بيانات متّجهة. وقت السؤال، بنجيب المقاطع الأقرب معنى بس.

الحجم: لا صغير زيادة ولا كبير زيادة

هون بيت القصيد — وأكتر مكان بيغلط فيه الناس:

✗ مقاطع صغيرة زيادة: الفكرة بتنقطع بالنص. مقطع بينتهي عند «السبب الرئيسي هو…» والباقي بمقطع تاني — فالنموذج بيجيب نص الجواب.

✗ مقاطع كبيرة زيادة: بتجيب معها حشو كتير مع الجواب. النموذج بيتشوّش، والدقّة بتقلّ، والكلفة بترتفع (توكنز أكتر).

✓ التوازن: مقطع بيحمل فكرة متماسكة كاملة. عملياً بيتراوح غالباً بين بضع مئات لألف توكن — بس الرقم مش سحري، بيعتمد على نوع المحتوى.

حيلتان بتفرقوا كتير

• التداخل (Overlap): خلّي كل مقطع يشارك آخر جزء من اللي قبله (مثلاً ١٠-٢٠٪). هيك لو الفكرة كانت عند الحدّ، بتظل موجودة كاملة بواحد من المقطعين على الأقل.
• القطع حسب البنية مش بعدّ الحروف: بدل ما تقصّ كل ٥٠٠ حرف بشكل أعمى، قطّع عند الفقرات والعناوين. هيك كل مقطع بيكون وحدة معنى طبيعية — وهاي بتحسّن النتيجة كتير.

مثال محسوس

عندك دليل منتج، وفيه قسم «سياسة الإرجاع» بيقول: «يمكن الإرجاع خلال ١٤ يوم بشرط وجود الفاتورة».

• تجزئة سيّئة: المقطع انقطع بعد «يمكن الإرجاع خلال ١٤ يوم» → النموذج بيجاوب بلا شرط الفاتورة = جواب ناقص ومضلّل.
• تجزئة كويسة: القسم كامل بمقطع واحد → الجواب صحيح ومكتمل.

شفتي؟ نفس النموذج ونفس البيانات — التجزئة وحدها غيّرت النتيجة.

أخطاء وسوء فهم شائع

• «التجزئة تفصيل تقني ما بيأثر»: بالعكس — من أكتر العوامل تأثيراً على جودة RAG. كتير مشاكل «النموذج بيجاوب غلط» أصلها تجزئة سيّئة.
• «كل ما المقطع أكبر كان أشمل وأحسن»: لأ — الكبير بيجيب حشو بيشوّش ويكلّف أكتر.
• «في رقم مثالي للحجم»: ما في — بيعتمد على نوع المحتوى (عقد قانوني ≠ مقالات ≠ كود). التجربة والقياس هما الحكم.
• «نافذة السياق الكبيرة ألغت الحاجة إلها»: خفّفت الضغط بس ما ألغتها — الاسترجاع الدقيق أرخص وأدقّ من حشو كل إشي بالسياق.

خلاصة سريعة

• التجزئة = تقطيع المستندات لمقاطع قبل تخزينها للاسترجاع.
• بنحتاجها لسببين: حدود السياق ودقّة الاسترجاع.
• الحجم مهم: صغير = فكرة مقطوعة · كبير = حشو مشوّش.
• حيلتان أساسيتان: التداخل (overlap) والقطع حسب البنية مش بعدّ الحروف.
• كتير أخطاء RAG سببها تجزئة سيّئة مش النموذج.

أسئلة بتوصلنا كتير

• ما معنى Chunking (التجزئة) في الذكاء الاصطناعي؟ هي تقطيع المستندات الطويلة إلى مقاطع أصغر قبل تخزينها للاسترجاع، لأن المستند الكامل لا يتّسع في نافذة السياق ولأن استرجاع الجزء المرتبط بالسؤال أدقّ وأرخص.
• ما الحجم المناسب للمقطع (chunk)؟ لا يوجد رقم مثالي ثابت — القاعدة أن يحمل المقطع فكرة متماسكة كاملة؛ فالمقطع الصغير جداً يقطع المعنى، والكبير جداً يُدخل حشواً يشوّش النموذج ويرفع الكلفة.
• ما فائدة التداخل (Overlap) بين المقاطع؟ يجعل كل مقطع يشارك جزءاً من نهاية سابقه، فإذا وقعت فكرة مهمة عند حدّ التقطيع تبقى كاملة في أحد المقطعين على الأقل.
• What is Chunking in Arabic? بالعربي «التجزئة» — تقسيم المستندات إلى مقاطع أصغر قبل تحويلها إلى متّجهات وتخزينها، لتُسترجَع منها المقاطع الأقرب لسؤال المستخدم في أنظمة RAG.
• لماذا يعطي نظام RAG أجوبة ناقصة؟ غالباً بسبب التجزئة السيّئة — كأن ينقطع المقطع في منتصف الفكرة فيصل النموذج جزء من المعلومة؛ والحلّ التقطيع حسب بنية النص (الفقرات والعناوين) مع تداخل بسيط.

كمّل رحلتك من هون

• النظام اللي بتخدمه: شو يعني RAG؟
• وين بتنخزّن المقاطع؟ شو يعني قاعدة بيانات متّجهة؟
• كيف بيصير المقطع «متّجه»؟ شو يعني Embedding؟
• ليش في حدود أصلاً؟ شو يعني نافذة السياق؟
• RAG ولا تدريب؟ الدليل العملي
• الخطوات اللي بعدها: تحسين RAG
• مصطلح مش واضح؟ قاموس «شو يعني؟»

المصادر

• Retrieval-augmented generation (RAG) — مدخل موسوعي
• Text segmentation — تقطيع النص
• الرسم التوضيحي: من إعداد «شو في AI؟»