هل يشغّل جهازك Mistral Small 24B محلياً؟ حاسبة VRAM والسرعة

Mistral Small 24B نموذج لغوي من Mistral بحجم 24 مليار معامل. اختر كرتك والتكميم لتعرف إن كان سيعمل وبأي سرعة.

النتيجة بالقيم الافتراضية

يعمل مع نقل جزء للمعالج؛ ستنخفض السرعة بوضوح.

حجم الأوزان ≈ عدد المعاملات × بتات التكميم ÷ 8. لـMistral Small 24B بتكميم Q4 نحو 14.4 GB قبل ذاكرة السياق.

سرعة التوليد محدودة بعرض نطاق الذاكرة: كل رمز يتطلب قراءة الأوزان كاملة تقريباً، لذا كرت بذاكرة أسرع يولّد أسرع.

إن لم تتسع الذاكرة، ينقل البرنامج جزءاً إلى ذاكرة النظام وتنخفض السرعة كثيراً. التكميم Q4–Q5 أفضل توازن للأجهزة المنزلية.

كم VRAM يحتاج Mistral Small 24B؟

بتكميم Q4 نحو 15.4 GB تقريباً شاملاً هامشاً بسيطاً، وFP16 نحو 49.0 GB.

ما أفضل تكميم؟

Q4_K_M أو Q5 يحافظان على جودة قريبة من الأصل بنصف الذاكرة تقريباً مقارنة بـ Q8.

هل الأرقام الافتراضية أسعار رسمية؟

لا. القيم الافتراضية نقطة بداية استرشادية قابلة للتعديل، وليست عرض سعر أو وعداً بنتيجة. راجع عقدك أو مزوّدك للأرقام النهائية.

هل الحاسبة مجانية وتعمل على جهازي؟

نعم. كل الحسابات تجري داخل متصفحك دون إرسال الأرقام التي تدخلها إلى أي خادم، وتبقى متاحة مجاناً.

Mistral Small 24B is a 24B-parameter llm model from Mistral. Pick your GPU and quantization.

Weights ≈ parameters × bits ÷ 8; Mistral Small 24B at Q4 needs about 14.4 GB before context.

Generation speed is bound by memory bandwidth; offloading to system RAM slows it sharply.