سبد خرید
0

سبد خرید شما خالی است.

حساب کاربری

41139021

با ما در تماس باشید

DGX Spark چیست و برای چه کسانی مناسب است؟ مقایسه با RTX 5090 و H100

راهنمای خرید DGX Spark 128GB مازستا؛ کارایی واقعی و کاربردها
زمان مطالعه : 42 دقیقهنویسنده :
تاریخ انتشار : 27 آبان 1405

فهرست مطالب این صفحه

دسته بندی : هوش مصنوعی

لایک0

اشتراک

DGX Spark برای چه کسانی مناسب است؟ اگر روی اجرای محلی مدل‌های زبانی بزرگ، ساخت Agent، توسعهٔ RAG یا ریزتنظیم مدل کار می‌کنید و ظرفیت حافظه مانع پروژه شده، نسخهٔ ۱۲۸ گیگابایتی این دستگاه ارزش بررسی دارد. برای انتخاب، سه سؤال را جدا پاسخ دهید: مدل در حافظه جا می‌شود؟ سرعت پاسخ‌گویی کافی است؟ محیط نرم‌افزاری پروژه با Linux Arm64 سازگار است؟

در این راهنما، DGX Spark 128GB را با RTX 5070، RTX 5090، H100 SXM 80GB و A100 SXM 80GB مقایسه می‌کنیم. برای موجودی، قیمت روز و سفارش، صفحهٔ خرید NVIDIA DGX Spark 4TB با حافظهٔ ۱۲۸ گیگابایت در فروشگاه مازستا را ببینید.

کامپیوتر هوش مصنوعی DGX Spark؛ تصویر رسمی انویدیا
DGX Spark در تصویر رسمی NVIDIA؛ منبع تصویر، بلاگ فنی انویدیا است.

DGX Spark چیست و چه چیزی می‌خرید؟

اسپارک یک کامپیوتر کامل با تراشهٔ GB10 Grace Blackwell است. CPU و GPU در این پلتفرم به حافظهٔ فیزیکی مشترک دسترسی دارند. نسخهٔ بررسی‌شده در این مقاله ۱۲۸ گیگابایت حافظه دارد و پیکربندی فروشگاه مازستا با SSD چهار ترابایتی عرضه می‌شود. کارت‌های RTX یا شتاب‌دهنده‌های SXM برای کارکردن به اجزای میزبان مناسب نیاز دارند؛ در مقایسهٔ هزینه باید این اجزا را هم حساب کرد.

جدول مشخصات دقیق DGX Spark 128GB / 4TB

بخش مشخصات
تراشه NVIDIA GB10 Grace Blackwell
CPU ۲۰ هستهٔ Arm؛ ده Cortex-X925 و ده Cortex-A725
GPU Blackwell، ۶۱۴۴ هستهٔ CUDA، Tensor Core نسل پنجم و RT Core نسل چهارم
حافظه ۱۲۸GB LPDDR5X یکپارچه و منسجم، مشترک بین CPU و GPU
رابط و پهنای باند حافظه ۲۵۶ بیت؛ ۲۷۳GB/s نظری
توان اوج AI تا ۱PFLOP در FP4 با sparsity؛ عدد نظری
ذخیره‌سازی این پیکربندی ۴TB NVMe M.2 با قابلیت خودرمزنگاری
شبکه 10GbE، ConnectX-7 تا ۲۰۰Gb/s، Wi-Fi 7 و Bluetooth 5.4
نمایش و اتصال چهار USB-C، HDMI 2.1a؛ قابلیت DisplayPort روی USB-C مطابق پیکربندی اتصال
ویدیو یک NVENC و یک NVDEC
سیستم‌عامل NVIDIA DGX OS، بر پایهٔ Ubuntu، معماری Arm64
برق TDP تراشهٔ GB10 برابر ۱۴۰ وات؛ آداپتور همراه ۲۴۰ وات
ابعاد و وزن ۱۵۰ × ۱۵۰ × ۵۰٫۵ میلی‌متر؛ حدود ۱٫۲ کیلوگرم

مشخصات از راهنمای رسمی سخت‌افزار DGX Spark و صفحهٔ محصول انویدیا استخراج شده‌اند. TDP تراشه و ظرفیت آداپتور، اندازه‌گیری مصرف کل دستگاه از پریز نیستند.

۱۲۸ گیگابایت حافظهٔ مشترک چه تفاوتی با ۱۲۸ گیگ RAM کنار RTX دارد؟

در یک سیستم با GPU مجزا، RAM میزبان و VRAM کارت دو مخزن فیزیکی متفاوت هستند. افزودن RAM به سیستم، ظرفیت حافظهٔ اختصاصی کارت را افزایش نمی‌دهد. برای استفاده از حافظهٔ میزبان، نرم‌افزار باید مسیر اجرای CPU، انتقال داده یا Offload را مدیریت کند.

در Spark، CPU و GPU می‌توانند از همان فضای حافظهٔ فیزیکی استفاده کنند. این طراحی نیاز به بعضی کپی‌های بین RAM و VRAM مجزا را برطرف می‌کند. بااین‌حال، تمام ۱۲۸ گیگابایت به وزن مدل اختصاص پیدا نمی‌کند؛ سیستم‌عامل، برنامه‌ها، بافرها و کش‌ها هم سهم دارند. پهنای باند مشترک نیز محدود است. توضیح معماری حافظه در راهنمای Porting انویدیا

چینش محل وزن‌ها و داده عامل مهم برای اجرا
RTX با مدلی که در VRAM جا می‌شود حافظهٔ اختصاصی GPU توان پردازش، پهنای باند و کرنل‌های مناسب
RTX با مدل بزرگ‌تر از VRAM ترکیبی از VRAM، RAM یا ذخیره‌سازی طبق موتور هزینهٔ انتقال یا محاسبهٔ CPU و روش Offload
DGX Spark حافظهٔ مشترک CPU و GPU ظرفیت آزاد واقعی، پهنای باند مشترک و پشتیبانی نرم‌افزار

مقایسهٔ DGX Spark با RTX 5070، RTX 5090، H100 و A100

در این جدول، مدل‌های دسکتاپ GeForce و نسخه‌های SXM با حافظهٔ ۸۰GB از H100 و A100 مبنا هستند. نسخه‌های PCIe، NVL و مدل‌های حافظهٔ دیگر مشخصات متفاوتی دارند. H100 و A100 مدل SXM به زیرساخت سرور سازگار نیاز دارند.

محصول نوع و ظرفیت حافظه پهنای باند نظری توان مرجع و دامنهٔ آن شکل استفاده
DGX Spark 128GB ۱۲۸GB LPDDR5X مشترک ۲۷۳GB/s ۱۴۰W تراشه؛ آداپتور ۲۴۰W کامپیوتر کوچک Linux Arm64
RTX 5070 دسکتاپ ۱۲GB GDDR7 اختصاصی ۶۷۲GB/s ۲۵۰W TGP کارت مرجع کارت در کامپیوتر میزبان
RTX 5090 دسکتاپ ۳۲GB GDDR7 اختصاصی ۱۷۹۲GB/s ۵۷۵W TGP کارت مرجع کارت در کامپیوتر میزبان
H100 SXM 80GB ۸۰GB HBM3 اختصاصی ۳٫۳۵TB/s تا ۷۰۰W، قابل تنظیم ماژول سروری SXM
A100 SXM 80GB ۸۰GB HBM2e اختصاصی ۲۰۳۹GB/s ۴۰۰W پیکربندی مرجع ماژول سروری SXM

منابع جدول، مشخصات رسمی RTX 5070، RTX 5090، H100 و A100 هستند. مصرف CPU میزبان، RAM، SSD، خنک‌کننده و سایر اجزای سرور در TGP یا TDP کارت منظور نشده است.

نمودار اول؛ ظرفیت اسمی حافظه

مقایسه ظرفیت حافظه DGX Spark و GPUها
ظرفیت اسمی حافظه برحسب GB. عدد Spark حافظهٔ کل مشترک سیستم است و ستون کارت‌ها VRAM اختصاصی را نشان می‌دهد؛ نمودار، ظرفیت آزاد مدل را اندازه نگرفته است.

۱۲۸ گیگابایت ظرفیت مشترک می‌تواند برای جا دادن یک مدل بزرگ مزیت داشته باشد، اما از این نمودار نمی‌توان سرعت بالاتر نسبت به H100 را نتیجه گرفت. همچنین حافظهٔ ۸۰ گیگابایتی H100 به‌همراه RAM سرور، معادل ۱۲۸ گیگابایت حافظهٔ مشترک Spark نیست؛ موتور اجرا می‌تواند از حافظهٔ میزبان استفاده کند و هزینهٔ آن باید سنجیده شود.

نمودار دوم؛ پهنای باند حافظه

مقایسه پهنای باند نظری حافظه
پهنای باند نظری برحسب GB/s، با تبدیل اعشاری ۳٫۳۵TB/s به ۳۳۵۰GB/s. این نمودار نتیجهٔ سرعت استنتاج یا بنچمارک توکن‌برثانیه نیست.

نسبت حسابی ۶۷۲ به ۲۷۳ حدود ۲٫۴۶ است. این نسبت فقط پهنای باند اسمی حافظهٔ RTX 5070 و Spark را مقایسه می‌کند. سرعت واقعی مدل تابع ظرفیت، precision، طول زمینه، batch، الگوریتم attention و پیاده‌سازی کرنل‌هاست. به همین ترتیب، از نسبت پهنای باند RTX 5090 به Spark نمی‌توان ضریب ثابت سرعت خروجی گرفت.

آیا DGX Spark معادل RTX 5070 است؟

در راهنمای سخت‌افزار GB10 و مشخصات RTX 5070، هر دو ۶۱۴۴ هستهٔ CUDA دارند. برای نتیجه‌گیری دربارهٔ عملکرد، این شباهت کافی نیست. فرکانس، محدودیت توان، سیستم حافظه و نرم‌افزار اجرای بار تفاوت دارند. دو پروژهٔ متفاوت، مثلاً رندر یک صحنه و استنتاج یک مدل بزرگ، می‌توانند نتیجهٔ متفاوتی از مقایسهٔ این دستگاه‌ها بسازند.

اگر مدل به‌طور کامل در حافظهٔ سریع کارت جا شود، یک کارت مجزا ممکن است انتخاب مناسب‌تری برای هدف سرعت باشد. اگر پروژه مرتب مجبور به انتقال داده یا اجرای بخش بزرگی روی CPU می‌شود، ارزش ظرفیت مشترک Spark را باید در همان پروژه اندازه گرفت.

Offloading روی RTX چقدر کمک می‌کند؟

Offload یک روش معتبر برای اجرای مدل بزرگ‌تر از VRAM است. مستندات Hugging Face Accelerate نشان می‌دهد که وزن‌ها می‌توانند بین GPU، CPU و دیسک توزیع شوند. در بعضی روش‌ها وزن هر لایه برای محاسبه جابه‌جا می‌شود و در بعضی موتورهای دیگر بخشی از محاسبه روی CPU انجام می‌گیرد. جزئیات مسیر اجرا را از تنظیمات همان موتور بخوانید. راهنمای رسمی Big Model Inference

هزینهٔ Offload ممکن است از انتقال روی PCIe، پهنای باند RAM، توان CPU یا انتظار بین مراحل بیاید. بدون نام مدل و تنظیمات، عددی مثل «همیشه دو تا سه توکن‌برثانیه» قابل دفاع نیست. Offload نیز ذاتاً به معنی کرش در Fine-tuning نیست؛ روش آموزش، ظرفیت و راهبرد مدیریت حافظه تعیین‌کننده‌اند.

یک مدل ۷۰ یا ۲۰۰ میلیارد پارامتری چقدر حافظه می‌خواهد؟

برای تخمین اولیهٔ وزن‌های خام می‌توان از رابطهٔ زیر استفاده کرد. در جدول، GB اعشاری برابر یک میلیارد بایت است. GiB برابر ۲ به توان ۳۰ بایت است و عدد متفاوتی می‌دهد.

Raw weight bytes ≈ Parameter count × Bits per parameter ÷ 8
تعداد پارامتر وزن خام ۴ بیت وزن خام ۸ بیت وزن خام ۱۶ بیت
۸ میلیارد ۴GB ۸GB ۱۶GB
۳۲ میلیارد ۱۶GB ۳۲GB ۶۴GB
۷۰ میلیارد ۳۵GB ۷۰GB ۱۴۰GB
۲۰۰ میلیارد ۱۰۰GB ۲۰۰GB ۴۰۰GB

این محاسبه صرفاً حساب ظرفیت است. اندازهٔ واقعی فایل کوانتیزه، scaleها، metadata، بخش‌های با دقت بالاتر، بافر اجرا و کش KV به آن اضافه می‌شود. «وزن‌ها جا شدند» با «مدل با زمینهٔ بلند و چند کاربر به‌راحتی اجرا می‌شود» یک شرط نیست. در مدل MoE، تعداد پارامتر فعال در هر توکن می‌تواند از کل پارامترهای ذخیره‌شده کمتر باشد؛ هر دو عدد را بررسی کنید.

چرا Context length و تعداد کاربران حافظه را پر می‌کند؟

در بسیاری از مدل‌های decoder-only، تخمین سادهٔ KV cache چنین است. معماری‌های متفاوت، attention محلی، کوانتیزه‌سازی کش و روش تخصیص موتور می‌توانند رفتار را تغییر دهند.

KV bytes ≈ 2 × Layers × KV heads × Head dimension
           × Cached tokens × Concurrent sequences × Bytes per element

در یک مثال محاسباتی با ۸۰ لایه، ۸ سر KV، بُعد ۱۲۸، دقت دو بایت و یک توالی، مقادیر زیر به دست می‌آیند. این جدول یک مدل خاص را بنچمارک نمی‌کند.

توکن‌های کش‌شده KV تقریبی برای یک توالی برای چهار توالی هم‌اندازه
۸۱۹۲ ۲٫۵GiB ۱۰GiB
۳۲۷۶۸ ۱۰GiB ۴۰GiB
۱۳۱۰۷۲ ۴۰GiB ۱۶۰GiB

برای یک Agent که چند بار ابزار صدا می‌زند و تاریخچهٔ طولانی نگه می‌دارد، رشد Context می‌تواند به‌اندازهٔ خود وزن‌ها روی انتخاب سخت‌افزار اثر بگذارد. پیش از خرید، زمینه و هم‌زمانی واقعی پروژه را مشخص کنید.

استنتاج، LoRA، QLoRA و آموزش از صفر چه تفاوتی دارند؟

نوع کار چه چیزی باید نگه داشته شود؟ پیامد انتخاب سخت‌افزار
Inference وزن‌ها، کش KV و بافرهای اجرا مدل، زمینه و concurrency را با هم تست کنید.
LoRA وزن پایه و آداپترهای قابل آموزش به‌همراه activation و وضعیت آموزش حافظه به طول توالی، batch و تنظیمات وابسته است.
QLoRA پایهٔ کوانتیزه و آداپترهای قابل آموزش به پشتیبانی کرنل و چارچوب توجه کنید.
Full fine-tuning وزن‌ها، گرادیان و وضعیت optimizer و activationها معمولاً بسیار پرحافظه‌تر از inference است.
Pretraining بزرگ از صفر همهٔ موارد آموزش به‌علاوهٔ داده و محاسبهٔ گسترده ظرفیت یک دستگاه به‌تنهایی معیار امکان‌پذیری اقتصادی نیست.

انویدیا برای Spark ظرفیت‌هایی مانند ریزتنظیم تا ۷۰ میلیارد و استنتاج تا ۲۰۰ میلیارد پارامتر را معرفی می‌کند. این سقف‌ها به روش و پیکربندی وابسته‌اند. برای نمونه، ۷۰ میلیارد وزن در BF16 به‌تنهایی حدود ۱۴۰GB اعشاری می‌خواهد؛ پس نباید از عبارت «Fine-tune 70B» نتیجه گرفت آموزش کامل با هر دقت و batch در ۱۲۸GB انجام می‌شود.

برای انتخاب روش، Playbook رسمی LLaMA Factory روی DGX Spark را بررسی کنید. روش‌های کم‌پارامتر و تنظیم batch یا طول توالی باید با هدف کیفیت و زمان آموزش سنجیده شوند.

بنچمارک واقعی منتشرشده؛ شرایط آزمون را همراه عدد بخوانید

در بلاگ فنی ۱۶ مارس ۲۰۲۶، NVIDIA برای Spark نتایج زیر را با batch برابر یک، ورودی ۱۲۸K توکن و خروجی ۱K توکن منتشر کرده است. این نتایج سازنده‌اند و آزمون مستقل مازستا یا مقایسهٔ هم‌شرایط پنج سخت‌افزار این مقاله محسوب نمی‌شوند.

مدل و قالب Backend پردازش ورودی گزارش‌شده تولید خروجی گزارش‌شده
Nemotron 3 Super 120B، NVFP4 TensorRT-LLM ۲۸۵۵ tok/s ۱۸ tok/s
Qwen3.5 35B A3B، FP8 vLLM ۳۰۸۰ tok/s ۳۵٫۷۵ tok/s
Qwen3 Coder Next 80B، FP8 vLLM ۲۳۹۰ tok/s ۲۸٫۹۵ tok/s

Prefill یا پردازش ورودی را با Decode یا تولید توکن خروجی مخلوط نکنید. همچنین FP8، NVFP4 و مدل‌های MoE متفاوت نتیجهٔ یک آزمون مشترک نیستند. منبع و جدول کامل آزمون NVIDIA

چطور مقایسهٔ واقعی با RTX یا H100 درخواست کنیم؟

برای پروژهٔ خود، یک نسخهٔ ثابت از مدل، قالب وزن، prompt و دادهٔ آزمون تهیه کنید. سپس معیارهای زیر را ثبت کنید. اگر موتور هر دستگاه متفاوت است، این تفاوت باید در گزارش نوشته شود؛ گاهی بهترین پیاده‌سازی هر پلتفرم را مقایسه می‌کنید و گاهی یک پیاده‌سازی ثابت را.

  • نام کامل مدل، revision، precision و روش quantization.
  • Backend، نسخهٔ CUDA، درایور و container یا نسخهٔ بسته‌ها.
  • طول ورودی، تعداد توکن خروجی، batch و تعداد درخواست هم‌زمان.
  • TTFT، سرعت خروجی برای هر درخواست، throughput کل و تأخیرهای صدک ۵۰ و ۹۵.
  • حافظهٔ اوج، وجود Offload و رخدادهای کمبود حافظه.
  • کیفیت پاسخ روی مجموعهٔ ثابت فارسی، تکرار آزمون و پراکندگی نتیجه.
  • مصرف کل از پریز در صورت مقایسهٔ بهره‌وری انرژی.

برای برنامهٔ تعاملی، throughput زیاد در batch بزرگ لزوماً به معنی پاسخ سریع یک کاربر نیست. نمونهٔ benchmark را با بار روزمرهٔ خود نزدیک نگه دارید. نمودارهای حافظهٔ این مقاله برای غربال اولیهٔ انتخاب‌ها مناسب‌اند؛ تصمیم نهایی بهتر است بر همین آزمون استوار باشد.

DGX Spark برای چه کسانی ارزش خرید دارد؟

کاربر یا پروژه چرا قابل بررسی است؟ پیش از خرید چه چیزی سنجیده شود؟
توسعه‌دهندهٔ LLM محلی ظرفیت حافظه برای وزن و زمینهٔ بزرگ‌تر سرعت خروجی و حافظهٔ واقعی همان مدل
تیم RAG و دستیار سازمانی آزمایش مدل و اسناد در محیط محلی دقت بازیابی، کیفیت فارسی، هم‌زمانی و دسترسی‌ها
توسعه‌دهندهٔ Agent و ابزار کدنویسی آزمون context طولانی و چند سرویس TTFT، رشد تاریخچه و هزینهٔ اجرای ابزارها
پژوهشگر و مدرس AI محیط اختصاصی برای آزمایش و تکرار سازگاری کتابخانه و هزینهٔ زمانی آزمایش
تیم شخصی‌سازی مدل بررسی LoRA و QLoRA روی مدل‌های بزرگ‌تر روش آموزش، کیفیت داده، حافظه و زمان هر مرحله

محلی‌بودن پردازش به کنترل محل اجرای مدل کمک می‌کند. بااین‌حال، امنیت و محرمانگی به تنظیم APIها، ابزارهای Agent، مجوزها، لاگ‌ها و ارتباط شبکه هم وابسته است. مدل محلی به‌تنهایی تضمین نمی‌کند هیچ داده‌ای از سیستم خارج نمی‌شود.

برای گیمینگ، رندر، تدوین و کار ترکیبی چطور؟

فهرست نرم‌افزارهای اصلی خود را پیش از خرید بررسی کنید. اگر بیشتر زمان کاری در نرم‌افزارهای Windows x86، بازی‌ها یا افزونه‌های خاص می‌گذرد، هزینه و سازگاری یک ورک‌استیشن RTX باید در مقایسه باشد. دربارهٔ Spark نیز نباید حکم داد «هیچ کار گرافیکی ممکن نیست»؛ GPU آن امکانات گرافیکی و ویدیویی دارد، اما پشتیبانی برنامه و کارایی همان workflow تعیین‌کننده است.

برای مدل‌های کوچک‌تر که در VRAM کارت موجود جا می‌شوند، ابتدا همان سیستم را بنچمارک کنید. صرف بزرگ‌تر بودن حافظهٔ Spark دلیل کافی برای ارتقا نیست. اگر یک تیم هم کامپیوتر خلاقه و هم آزمایشگاه AI می‌خواهد، استفاده از Spark به‌عنوان میزبان شبکه‌ای در کنار کامپیوتر فعلی نیز قابل ارزیابی است.

Linux Arm64، CUDA و سازگاری نرم‌افزار

برای انتقال پروژه، نسخهٔ Arm64 از بسته‌های Python، کتابخانه‌های بومی، containerها و افزونه‌های CUDA را بررسی کنید. یک wheel یا فایل اجرایی مخصوص x86_64 الزاماً روی Arm64 قابل اجرا نیست. حتی برنامهٔ Python می‌تواند وابستگی بومی ناسازگار داشته باشد. استفاده از recipeهای رسمی Spark نقطهٔ شروع مناسبی برای کنترل این ریسک است.

در راه‌اندازی، شبکه و فضای ذخیره‌سازی کافی برای دانلود مدل‌ها و containerها در نظر بگیرید. دستگاه را می‌توان محلی یا از کامپیوتر دیگری مدیریت کرد. پیش از اجرای پروژه، به‌روزرسانی‌های لازم را مطابق راهنمای سازنده کامل کنید. راهنمای رسمی راه‌اندازی اولیه

دو یا چهار DGX Spark چه چیزی اضافه می‌کند؟

تصویر رسمی انویدیا از چهار دستگاه DGX Spark روی هم
چهار دستگاه DGX Spark در تصویر رسمی انویدیا. قرارگرفتن فیزیکی کنار هم یا روی هم، جای کابل‌کشی و تنظیم نرم‌افزاری کلاستر را نمی‌گیرد.
تعداد نسخهٔ ۱۲۸GB جمع اسمی حافظهٔ گره‌ها کاربرد ملاحظهٔ اتصال
یک ۱۲۸GB اجرای تک‌گره شبکهٔ داخلی دستگاه
دو ۲۵۶GB توزیع مدل یا بار سازگار اتصال مستقیم QSFP طبق recipe
چهار ۵۱۲GB آزمون چندگره و مدل‌های بزرگ‌تر حلقهٔ مستقیم یا سوئیچ، متناسب با recipe و پشتیبانی workload

این حافظه در چند گره قرار دارد. نرم‌افزار باید وزن یا بار را توزیع کند و ارتباط شبکه هزینهٔ خود را دارد. لینک اسمی ۲۰۰Gb/s از نظر تبدیل واحد حداکثر ۲۵GB/s خام است؛ سربار پروتکل و توپولوژی از آن کم می‌کند. این سرعت را با پهنای باند حافظهٔ داخلی یا NVLink سروری یکسان فرض نکنید.

صفحهٔ محصول انویدیا تا ۲۰۰B برای یک گره، حدود ۴۰۰B برای دو و تا ۷۰۰B برای چهار گره را معرفی می‌کند. اندازهٔ قابل اجرا به قالب وزن و حافظهٔ زمینه وابسته است. بعضی راهنماهای قدیمی‌تر برای دو گره عدد ۴۰۵B دارند. به‌جای جمع‌کردن دلخواه VRAM، recipe همان مدل و نسخه را مبنا قرار دهید.

راهنمای جدید کابل‌کشی، حلقهٔ مستقیم چهارگره‌ای را هم پوشش می‌دهد، در حالی که برخی دستورهای اجرای سرویس برای چهار گره سوئیچ می‌خواهند. توپولوژی شبکه و recipe سرویس را با هم تطبیق دهید. راهنمای اتصال چند Spark و راهنمای vLLM چندگره

مصرف برق و هزینهٔ کل؛ چه چیزی را حساب کنیم؟

عبارت «زیر ۲۰۰ وات در هر شرایط» بدون اندازه‌گیری درست نیست. ۱۴۰ وات TDP تراشه و ۲۴۰ وات ظرفیت آداپتور دو مشخصهٔ طراحی‌اند. برای مقایسهٔ اقتصادی، مصرف از پریز با workload ثابت، زمان فعال‌بودن و هزینهٔ جانبی شبکه و ذخیره‌سازی را ثبت کنید.

برای مثال، یک بار فرضی و اندازه‌گیری‌نشده با مصرف ثابت ۲۰۰ وات، در ده ساعت دو کیلووات‌ساعت انرژی می‌گیرد. برای برآورد ماهانه باید مدت استفادهٔ واقعی و نرخ برق را جایگزین کنید. برای سرورهای H100 یا A100 نیز سهم CPU، حافظه، فن و شبکه را به عدد ماژول اضافه کنید.

هزینه DGX Spark سیستم RTX یا سرور
قیمت اولیه کل پیکربندی دستگاه کارت یا ماژول به‌همراه میزبان سازگار
آماده‌سازی انتقال به Arm64 و تنظیم پروژه تنظیم سیستم و چارچوب مناسب
مقیاس‌پذیری کابل، شبکه و recipe چندگره اسلات، توان، حافظه و ارتباط GPUها
نگه‌داری بکاپ، به‌روزرسانی و پایش همین موارد با هزینهٔ زیرساخت متناسب
زمان توسعه بررسی سازگاری و رفع مشکل بررسی کمبود VRAM یا Offload و تنظیمات

برای قیمت جاری این پیکربندی، به محصول DGX Spark 128GB / 4TB در مازستا مراجعه کنید. تغییر قیمت بازار دلیل دیگری است که عدد ثابت خرید را در جدول فنی مقایسه نکرده‌ایم.

چک‌لیست پیش از خرید

  1. نام و نسخهٔ مدل، precision و قالب فایل وزن را مشخص کنید.
  2. Context هدف، تعداد کاربران هم‌زمان و تعداد مدل‌های هم‌زمان را بنویسید.
  3. Inference را از LoRA، QLoRA و Full fine-tuning جدا کنید.
  4. سازگاری Arm64 تمام وابستگی‌های پروژه را تأیید کنید.
  5. حداقل قابل قبول TTFT، سرعت خروجی و کیفیت پاسخ فارسی را تعیین کنید.
  6. هزینهٔ میزبان، شبکه، فضای مدل‌ها و نگه‌داری را در گزینه‌های جایگزین حساب کنید.
  7. در صورت امکان، نمونهٔ پروژه را پیش از سفارش برای بررسی فنی ارائه دهید.

عیب‌یابی اولیهٔ کندی یا کمبود حافظه روی Spark

نشانه چه چیزی بررسی شود؟
خطای Out of memory وزن‌ها، KV cache، طول زمینه، batch و برنامه‌های هم‌زمان
مدل بارگذاری می‌شود ولی پاسخ کند است Backend، precision، اجرای CPU ناخواسته، نسخهٔ کرنل و طول prompt
خطای نصب بسته معماری aarch64، نسخهٔ Python، CUDA و وابستگی بومی
کلاستر از تک‌گره کندتر است تقسیم بار، توپولوژی، سرعت لینک و نسبت ارتباط به محاسبه
افت پس از مدت طولانی تهویه، دما، محدودیت توان و تغییر مصرف حافظه

قبل از تغییر چند تنظیم، یک اجرای مرجع نگه دارید و هر بار یک متغیر را عوض کنید. برای کاهش حافظه، طول زمینه یا هم‌زمانی را آزمایشی کم کنید و نتیجه را با نیاز واقعی کاربر بسنجید. کاهش دقت هم باید با آزمون کیفیت همراه باشد.

پرسش‌های متداول دربارهٔ خرید DGX Spark

آیا تمام ۱۲۸GB برای مدل آزاد است؟

خیر. ظرفیت آزاد پس از سهم سیستم و runtime و داده‌های پروژه تعیین می‌شود. خود مدل نیز علاوه بر وزن، بافر و کش نیاز دارد.

آیا یک پتافلاپس یعنی سریع‌تر از H100 است؟

خیر. عدد Spark برای FP4 و sparsity است. مقایسه با FP8، BF16 یا عدد dense یکسان نیست. زمان اجرای هم‌شرایط معیار کاربردی‌تری است.

آیا ۱۲۸GB RAM کنار RTX 5070 همان نتیجه را می‌دهد؟

خیر. GPU آن کارت ۱۲GB حافظهٔ اختصاصی دارد. استفاده از RAM به مسیر Offload یا اجرای CPU وابسته است و باید برای همان مدل آزموده شود.

آیا چهار Spark خودکار چهار برابر سریع‌تر می‌شوند؟

خیر. تقسیم مدل، هزینهٔ شبکه، backend و اندازهٔ مسئله روی مقیاس‌پذیری اثر دارند. افزایش ظرفیت جمعی، تضمین شتاب چهاربرابری نیست.

آیا برای شروع یادگیری AI لازم است Spark بخریم؟

به مدل و تمرین بستگی دارد. ابتدا مشخص کنید محدودیت پروژهٔ فعلی ظرفیت است، زمان اجراست یا نیاز به محیط اختصاصی؛ سپس گزینهٔ متناسب را انتخاب کنید.

خرید DGX Spark از مازستا و مشاورهٔ انتخاب سیستم AI

برای خرید NVIDIA DGX Spark با حافظهٔ ۱۲۸GB و SSD چهار ترابایتی، صفحهٔ محصول در فروشگاه مازستا را باز کنید. برای بررسی تناسب دستگاه با مدل، نرم‌افزار و روش آموزش شما، با ۰۲۱-۴۱۱۳۹ تماس بگیرید و نام مدل، طول زمینه، نوع کار و تعداد کاربران هم‌زمان را اعلام کنید.

برای ادامهٔ مطالعه، راهنمای انتخاب سخت‌افزار اجرای محلی مدل‌های زبانی مازستا را ببینید. هدف مشاوره این است که ظرفیت و کارایی موردنیاز پروژه پیش از سفارش روشن شود.

MAZESTA PERFORMANCE LAB

سخت‌افزار مناسب نرم‌افزار و کار خود را پیدا کنید

نتایج منتشرشدهٔ دیتابیس بنچمارک مازستا؛ انتخاب نرم‌افزار، نوع کار و مقایسهٔ قطعات.

ارسال دیدگاه

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

مقایسه محصولات

0 محصول

مقایسه محصول
مقایسه محصول
مقایسه محصول
مقایسه محصول