tokenization

SLM اختصار لـ Statistical Language Model، يعني نموذج إحصائي بيتعلم من النصوص عشان يتوقع الكلمات… عنقود مرتّب يدوياً quantization الـ quantization هو تحويل القيم العائمة للوزن إلى أعداد صحيحة أصغر، يعني بنقلل الدقة شوي عشان… عنقود مرتّب يدوياً Parameter البارامتر (المُعامِل) — رقم داخلي بالنموذج بيتعدّل بالتدريب؛ معرفة النموذج مخزّنة بمليارات منه عنقود مرتّب يدوياً Knowledge Cutoff حدود المعرفة — التاريخ الذي تنتهي عنده بيانات تدريب النموذج عنقود مرتّب يدوياً inference inference هو عملية استنتاج النتيجة من الموديل بعد ما تدرب، يعني بنشغله على بيانات جديدة لنشوف… عنقود مرتّب يدوياً context window context window هو طول النص اللي النموذج بيقدر يشتغل عليه مرة وحدة، كل ما كان أكبر بنقدر نعطيه… عنقود مرتّب يدوياً token التوكن هو أصغر وحدة نصية بنعالجها الموديلات، ممكن تكون كلمة أو جزء منها، بنقسم النص لإشي اسمه… عنقود مرتّب يدوياً vocabulary قاموس النموذج — مجموعة كل التوكنز التي يعرفها، لكل واحد رقم (ID) نفس المقالة subword جزء كلمة — وحدة التقطيع الشائعة، أصغر من الكلمة وأكبر من الحرف نفس المقالة BPE BPE (Byte Pair Encoding) طريقة لتقسيم الكلمات لإشي أصغر، بنستعملها عشان النموذج يتعامل مع… نفس المقالة