سیستم هوش مصنوعی NVIDIA DGX Spark 4TB با حافظه ۱۲۸ گیگابایت
سیستم آماده برای اجرای محلی و توسعهٔ مدل‌های هوش مصنوعی با تراشهٔ NVIDIA GB10 Grace Blackwell، حافظهٔ یکپارچهٔ ۱۲۸ گیگابایتی و SSD چهار ترابایتی.
قیمت این پیکربندی: ۲۶۹٬۰۰۰٬۰۰۰ تومان
NVIDIA DGX Spark 4TB چیست؟
NVIDIA DGX Spark 4TB یک سیستم آمادهٔ رومیزی برای توسعه و اجرای محلی مدل‌های هوش مصنوعی است. این پیکربندی با تراشهٔ GB10 Grace Blackwell، حافظهٔ یکپارچهٔ ۱۲۸ گیگابایتی و SSD چهار ترابایتی عرضه می‌شود. پژوهشگران و توسعه‌دهندگان می‌توانند از آن برای استنتاج مدل‌های زبانی، نمونه‌سازی دستیارهای هوش مصنوعی، پردازش اسناد و ریزتنظیم مدل‌ها استفاده کنند.
مشخصات فنی NVIDIA DGX Spark 4TB
| تراشه | NVIDIA GB10 Grace Blackwell |
|---|---|
| پردازنده | Grace با ۲۰ هسته Arm |
| گرافیک | NVIDIA Blackwell با Tensor Core نسل پنجم |
| حافظه | ۱۲۸ گیگابایت LPDDR5X یکپارچه، ۲۷۳ گیگابایت‌برثانیه |
| ذخیره‌سازی | ۴ ترابایت NVMe M.2 با قابلیت خودرمزنگاری |
| توان نظری هوش مصنوعی | تا ۱ پتافلاپس FP4 با sparsity |
| شبکه | ۱۰GbE، ConnectX-7، Wi‑Fi 7 و Bluetooth 5.4 |
| درگاه‌ها | چهار USB‑C و HDMI 2.1a |
| سیستم‌عامل | NVIDIA DGX OS بر پایه Ubuntu، معماری Arm64 |
| ابعاد و وزن | ۱۵۰ × ۱۵۰ × ۵۰٫۵ میلی‌متر، ۱٫۲ کیلوگرم |
| آداپتور | ۲۴۰ وات |
حافظهٔ یکپارچهٔ ۱۲۸ گیگابایتی چه مزیتی دارد؟
پردازنده و گرافیک به یک فضای حافظهٔ مشترک دسترسی دارند. این معماری به بارگذاری مدل‌هایی کمک می‌کند که وزن‌هایشان در حافظهٔ اختصاصی بسیاری از کارت‌های گرافیک جا نمی‌شود. بخشی از ظرفیت به سیستم‌عامل و ابزارهای اجرا اختصاص پیدا می‌کند. علاوه بر وزن‌ها، کش KV، داده‌های میانی و حافظهٔ موقت موتور استنتاج هم باید جا شوند. برای نمونه وزن‌های خام یک مدل ۷۰ میلیارد پارامتری در ۴ بیت حدود ۳۵ گیگابایت اعشاری جا می‌گیرند. سربار قالب و اجرای مدل به این عدد اضافه می‌شود.
اجرای مدل زبانی، ریزتنظیم و توسعهٔ RAG
برای استنتاج محلی، این سیستم می‌تواند میزبان مدل و رابط برنامه‌نویسی آن باشد. در یک پروژهٔ RAG می‌توانید سندها را بخش‌بندی و نمایه‌سازی کنید و متن‌های مرتبط را به مدل بدهید. در ریزتنظیم، روش‌هایی مانند LoRA تعداد وزن‌های قابل‌آموزش و حافظهٔ مورد نیاز برای وضعیت بهینه‌ساز را کاهش می‌دهند. انویدیا برای این ظرفیت، استنتاج تا ۲۰۰ میلیارد پارامتر و ریزتنظیم تا ۷۰ میلیارد پارامتر را اعلام کرده است. ظرفیت قابل دستیابی و سرعت پاسخ به قالب وزن‌ها، طول زمینه، تعداد درخواست‌های هم‌زمان و موتور اجرا بستگی دارد.
کارایی واقعی و سازگاری نرم‌افزار
عدد ۱ پتافلاپس سقف نظری محاسبات FP4 با sparsity است. برای ارزیابی اجرای یک مدل، سرعت تولید توکن، زمان رسیدن به اولین توکن و حافظهٔ مصرفی را با مدل و طول زمینهٔ واقعی خود اندازه بگیرید. DGX OS روی Arm64 اجرا می‌شود. پیش از انتقال پروژه، وجود بسته‌ها، کانتینرها و افزونه‌های بومی Arm64 و سازگاری نسخهٔ چارچوب با GB10 را بررسی کنید. برای شروع از راهنماهای DGX Spark و نسخه‌های پیشنهادی NVIDIA استفاده کنید.
SSD چهار ترابایتی برای چه کاری استفاده می‌شود؟
این SSD فضای ذخیره‌سازی وزن مدل‌ها، مجموعه‌داده‌ها، کش دانلود، ایمیج‌های کانتینر و چک‌پوینت‌ها را فراهم می‌کند. اگر چند نسخه از یک مدل یا چند محیط آزمایشی نگه می‌دارید، اندازهٔ کش‌ها و خروجی‌ها را هم در بودجهٔ ذخیره‌سازی حساب کنید.
سؤالات متداول
آیا برای استنتاج همیشه به اینترنت نیاز است؟
پس از تهیهٔ مدل و وابستگی‌ها، استنتاج می‌تواند محلی باشد. اگر برنامه به API، جست‌وجوی آنلاین یا ابزار بیرونی وصل شود، آن بخش به شبکه نیاز دارد.
آیا SSD چهار ترابایتی ظرفیت حافظهٔ مدل را بیشتر می‌کند؟
SSD محل ذخیرهٔ فایل‌هاست. ظرفیت اجرای مدل عمدتاً به حافظهٔ یکپارچه و رفتار موتور اجرا بستگی دارد. انتقال بخشی از مدل به دیسک، در ابزارهایی که این قابلیت را دارند، می‌تواند سرعت پاسخ را کاهش دهد.
پیش از خرید چه اطلاعاتی را آماده کنیم؟
نام مدل، قالب وزن‌ها، طول زمینه، تعداد کاربران هم‌زمان و چارچوب نرم‌افزاری را مشخص کنید. برای بررسی تناسب این پیکربندی با پروژهٔ خود با مازستا به شمارهٔ ۰۲۱-۴۱۱۳۹ تماس بگیرید.
منابع و مطالعهٔ بیشتر
| سایر مشخصات | ||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ||||||||||||||||||
با ثبت دیدگاه موافقت خود را با قوانین انتشار نظرات در سایت اعلام می کنم.
هنوز پرسشی ثبت نشده است.
ثبت پرسش جدید
برای ثبت پرسش، لازم است ابتدا وارد حساب کاربری خود شوید
به این پرسش پاسخ دهید
برای ثبت پرسش، لازم است ابتدا وارد حساب کاربری خود شوید
دیدگاهها0
هیچ دیدگاهی برای این محصول نوشته نشده است.