🕸️ شبكة المصطلحات

token

المصطلحات اللي بتيجي معه — والنقر بينقّلك لجاره.

token

التوكن هو أصغر وحدة نصية بنعالجها الموديلات، ممكن تكون كلمة أو جزء منها، بنقسم النص لإشي اسمه توكن عشان الموديل يقدر يفهمه

مفهوم 8 مصطلح مرتبط بالقاموس ←

المصطلحات المرتبطة

context window context window هو طول النص اللي النموذج بيقدر يشتغل عليه مرة وحدة، كل ما كان أكبر بنقدر نعطيه… عنقود مرتّب يدوياً tokenization يعني نقسّم النص لكلمات أو قطع أصغر اسمها tokens، بنعمل هالشي عشان النموذج يقدر يفهم النص خطوة… عنقود مرتّب يدوياً SLM اختصار لـ Statistical Language Model، يعني نموذج إحصائي بيتعلم من النصوص عشان يتوقع الكلمات… عنقود مرتّب يدوياً quantization الـ quantization هو تحويل القيم العائمة للوزن إلى أعداد صحيحة أصغر، يعني بنقلل الدقة شوي عشان… عنقود مرتّب يدوياً Parameter البارامتر (المُعامِل) — رقم داخلي بالنموذج بيتعدّل بالتدريب؛ معرفة النموذج مخزّنة بمليارات منه عنقود مرتّب يدوياً Knowledge Cutoff حدود المعرفة — التاريخ الذي تنتهي عنده بيانات تدريب النموذج عنقود مرتّب يدوياً inference inference هو عملية استنتاج النتيجة من الموديل بعد ما تدرب، يعني بنشغله على بيانات جديدة لنشوف… عنقود مرتّب يدوياً tokenizer أداة بتقسم النص لجزيئات أصغر، إما كلمات أو أجزاء من كلمات، عشان النموذج يقدر يتعامل معها. نفس المقالة

← كل الشبكة