RMSNorm
المصطلحات اللي بتيجي معه — والنقر بينقّلك لجاره.
اسحب للتحريك · دولاب الفأرة للتكبير · انقر عقدة لتنتقل لها
RMSNorm
RMSNorm هو نوع من تقنيات التطبيع اللي بتستعمل الجذر التربيعي لمتوسط القيم لتثبيت الأوزان داخل الشبكة، بيقلل من تعقيد الحسابات مقارنةً بـLayerNorm.
المصطلحات المرتبطة
throughput
throughput هو مقياس السرعة، بيقيس كم توكن/ثانية الموديل يقدر يعالج، بدنا نعرفه عشان نضمن إنه…
أوراق نفس اليوم
LLM
نموذج لغة ضخم بتعلم على مليارات الكلمات وبعدين بيقدر يتنبأ ويكتب نصوص زي ChatGPT و Claude.
أوراق نفس اليوم
KV cache
تقنية بتخزّن المفاتيح والقيم اللي حسبناها قبل هيك عشان نستخدمها مرة ثانية.
أوراق نفس اليوم
Diffusion Transformer (DiT)
هاد نموذج لتوليد الصور والفيديو بيجمع تقنية الـ Diffusion مع بنية الـ Transformer، وبنسمع عنه…
أوراق نفس اليوم
benchmark
يعني مجموعة معايير واختبارات بنستخدمها عشان نشيك كيف أداء النموذج تبعنا، شو مستواه الفعلي.
أوراق نفس اليوم
vLLM
هو مكتبة بتشتغل على تسريع النماذج اللغوية الكبيرة وتخليها تجاوب أسرع كتير.
أوراق نفس اليوم