موسوعة AIXX › مقالات البنية التحتية › تخزين NVMe كلي الفلاش

تخزين NVMe كلي الفلاش إنه «الركن الثالث» لعناقيد AI: إلى جانب القدرة الحاسوبية (GPU) والشبكة (NVLink/fabric)، يقع خط بيانات التدريب والاستدلال بالكامل على طبقة التخزين — كتابة وقراءة الـ checkpoint، وإنتاجية مجموعات بيانات التدريب، وترتيب الـ KV cache طبقيًا. بروتوكول NVMe (توصيل SSD مباشرة عبر PCIe متجاوزًا وحدات تحكم SAS/SATA التقليدية) + مصفوفات كل فلاش + شبكة NVMe-oF + GPUDirect Storage (البيانات تنتقل من وحدة التخزين مباشرة إلى ذاكرة GPU مع تجاوز نسخ الـ CPU، وفق التوثيق الرسمي من NVIDIA [3]) تشكّل القطعة الأساسية في بنية تخزين الذكاء الاصطناعي الحديثة.
لماذا أصبحت ضرورة في عناقيد الذكاء الاصطناعي: نقاط الحفظ (checkpoint) في عناقيد الألف كارت تبلغ عشرات التيرابايتات، وبيانات التدريب تُحسب بمئات التيرابايتات — إنتاجية الأقراص الميكانيكية أو مصفوفات الفلاش الهجين لا تكفي لإشباع الـ GPU، وكل ثانية انتظار للـ GPU هي مال محترق. تقنية NVMe-oF توسّع أداء الفلاش الكامل إلى الشبكة (وصول RDMA مباشر [1])، وتقنية GPUDirect Storage تُخرج الـ CPU من مسار البيانات — وهذان الأمران يحسمان ما إذا كانت طبقة التخزين مسرّعاً أم عنق زجاجة.
هذا المدخل هو مدخل اختيار فئة : يتناول معمارية التخزين من منظور عناقيد AI، ومعايير الاختيار، والقبول عند الشراء، دون التركيز على منتج واحد. لا يوجد سعر موحّد للتخزين، والسعر الفعلي يخضع لعرض البائع.
AIXX Index (0–100): تقدير موزون حسب ملاءمة السيناريو. 90+ فئة رائدة · 75+ ممتاز · 60+ قابل للاستخدام · أقل من 60 غير مناسب.
في عام 2011 ، صدر مواصفة NVMe 1.0: بروتوكول يوصّل SSD مباشرة عبر PCIe ومصمم للفلاش يحل محل مسارات SAS/SATA — الأساس البروتوكولي لمصفوفات الفلاش الكامل (مصادر صناعية علنية).
2016–2020 ، هيمنة مصفوفات الفلاش الكامل: مواصفة NVMe-oF وسّعت بروتوكول NVMe إلى الشبكة (وصول RDMA مباشر)، وأصبحت مصفوفات الفلاش الكامل من Dell/NetApp/Pure وغيرها المعيار الجديد لتخزين المؤسسات، وبدأت عناقيد GPU تعتمد الفلاش الكامل قاعدةً للتخزين (حسب المصادر الصناعية [1]).
في عام 2020 ، أطلقت NVIDIA GPUDirect Storage : بيانات التخزين تمر عبر RDMA مباشرة إلى ذاكرة الـ GPU متجاوزةً الـ CPU (وفق مدونة مطوري NVIDIA والتوثيق الرسمي [2][3]) — اكتملت الميل الأخير في تخزين الذكاء الاصطناعي، وحققت منظومة CUDA انتصاراً جديداً.
2023-2026 ، توحيد المعيار في عناقيد الذكاء الاصطناعي: متطلبات نقاط الحفظ وإنتاجية البيانات في تدريب النماذج الكبيرة دفعت التخزين إلى قلب البنية التحتية — أصبح نمط «بحيرة الكائنات (الباردة) + كاش الفلاش الكامل (الساخنة) + المرور المباشر عبر GPUDirect» بنية مرجعية لتخزين الذكاء الاصطناعي (وفق البنى المرجعية الصناعية [4]).
| المعامل | ما الذي تُنظر إليه | شرح المرجع |
|---|---|---|
| الإنتاجية (GB/s) | مطابقة النطاق الترددي الإجمالي للقراءة/الكتابة مع سرعة استهلاك الـ GPU | استنتج إنتاجية التخزين من «حجم البيانات الذي يستهلكه العنقود أسبوعيًا» مع هامش 30% (تقدير) |
| IOPS والزمن الكامن | سيناريوهات IO الصغيرة (بيانات وصف checkpoint، ترتيب KV cache) تُقاس بـ IOPS وزمن P99 الكامن | إنتاجية كبيرة ≠ زمن كامن منخفض، افحص الحملين كلًا على حدة |
| دعم NVMe-oF | التمدد الشبكي عبر نقل RDMA (RoCE/IB) | قارن مع مسار fabric للعنقود: شبكة IB تقابلها IB-RDMA، وإيثرنت تقابله RoCE |
| GPUDirect Storage | هل يدخل نظام التخزين/الملفات في قائمة توافق NVIDIA GDS | القائمة الرسمية للتوافق هي المرجع (وفق توثيق NVIDIA [3]) — الحلول غير المدرجة تتطلب تطويراً إضافياً للمرور المباشر |
| أنظمة الملفات المتوازية | Lustre/عائلة GPFS/أنظمة متوازية من تطوير الموردين | عند قراءة عدة عقد GPU لنفس مجموعة البيانات في آنٍ واحد، الإنتاجية المتوازية هي المفتاح |
| الترتيب الطبقي للسعة | ثلاث طبقات: ساخنة (NVMe) / دافئة (فلاش هجين) / باردة (كائنات/شرائط مغناطيسية) | الفلاش الكامل للبيانات الساخنة فقط — تُخفَّض تكلفة السعة عبر الترتيب الطبقي |
| حماية البيانات | شيفرات محو/نسخ متماثلة، لقطات، تعافٍ من كوارث بموقع بديل | حبل الأمان لمجموعات التدريب والـ checkpoint، وحدّد الفئة وفق قيمة البيانات |
معايير الاختيار في هذه المكتبة مبنية على توثيق البنية المعمارية المتاح للعموم (حتى أكتوبر 2026) [1][3][4]؛ والمرجع النهائي هو توثيق المنتجات من الشركة المصنعة واختبارات الضغط الفعلية.
| الطبقة | الوسط/الشكل | ما يُخزَّن | المؤشرات الحاسمة |
|---|---|---|---|
| الطبقة الساخنة | مصفوفة فلاش كامل NVMe / NVMe موزّع | مجموعات التدريب النشطة، checkpoint، ترتيب KV cache | إنتاجية + تمرير مباشر GPUDirect |
| الطبقة الدافئة | فلاش هجين / NVMe عالي السعة | إصدارات بيانات حديثة، مخرجات وسيطة للمعالجة المسبقة | الجدوى من حيث السعة/التكلفة |
| الطبقة الباردة | تخزين كائنات / شرائط مغناطيسية | بحيرة البيانات الخام، الأرشيف التاريخي | تكلفة وحدة السعة |
بنية الطبقات الثلاث في هذه المكتبة مبنية على البنى المرجعية المتاحة للعموم [4]؛ وتُخصَّص سياسة الطبقات حسب دورة حياة بيانات الأعمال.
ثلاث فئات من اللاعبين في تخزين AI (إعداد هذه المكتبة، ولا يشكّل توصية شراء):
| المعسكر | أمثلة | الموقع والخصائص |
|---|---|---|
| مصفوفات الفلاش الكامل للمؤسسات | Dell PowerStore/PowerScale وNetApp AFF وPure FlashArray//FlashBlade وAIXX OceanStor وسلسلة AS من AIXX | منظومات حماية بيانات وتشغيل مؤسسية مكتملة؛ ملاءمة AI تُقاس بتوافق GPUDirect والإنتاجية المتوازية (وفق خطوط المنتجات العلنية) |
| تخزين أصيل لـ AI | موردو أنظمة الملفات المتوازية من الجيل الجديد مثل VAST Data وWEKA وVDURA | صُممت لعناقيد GPU: نظام ملفات متوازٍ + طبقات NVMe + تكامل عميق مع GDS (وفق البنية المرجعية [4]) |
| البناء الذاتي/المفتوح المصدر | حلول ذاتية البناء مثل Lustre وCeph وJuiceFS | تحكم أقوى في البناء الذاتي للعناقيد العملاقة، لكن كلفة قوى التشغيل البشرية عامل حاسم (وفق المنظومة العلنية) |
معلومات الموردين جمعٌ من خطوط المنتجات العلنية، والمعتمد هو المصادر الرسمية لكل مورد؛ جانب رقائق SSD (أقراص NVMe المؤسسية من Samsung/Solidigm/Western Digital) حلقة توريد أخرى، تُضمَّن تلقائيًا عند شراء المصفوفات.

تُضاف صور حقيقية لأجهزة التخزين مع كل دفعة فحص وتسليم؛ ولا تُقدَّم الصور المولّدة بالذكاء الاصطناعي على أنها حقيقية.
جدول من ثلاث خطوات لتشغيل التخزين: مطابقة الـ fabric (شبكة التخزين على نفس مسار شبكة الحوسبة: عناقيد IB تقابلها شبكة تخزين IB-RDMA، وإيثرنت يقابله RoCE — خلط المسارات يستلزم بوابة ويُضعف الزمن الكامن والإنتاجية معًا)؛ تفعيل GDS (وفق توثيق NVIDIA الرسمي لنشر مكونات GDS [3]، على أساس أن المصفوفة ضمن قائمة التوافق)؛ اختبار الضغط وتحديد الفئة (اختبار إنتاجية بيانات مهام تدريب حقيقية — مواصفات الأوراق لا تكفي؛ وحده اختبار الضغط يكشف إن كان الـ GPU سيكتف أو لا).
نصيحة تشغيلية: راقب مؤشرات طبقة التخزين (الإنتاجية/IOPS/زمن P99 الكامن/مستوى السعة) على الشاشة نفسها مع مراقبة عنقود GPU — «انخفاض شاذ في استغلال الـ GPU» أول موقع لاستبعاده هو سرعة إطعام التخزين (وفق خبرة تشغيلية لهذه المكتبة).
نقاط قبول شراء تخزين AI (ثلاث بنود):
للاطلاع على حالات الاستلام الكاملة الست، راجع هذا المدخل «كيفية القبول» في هذه المقالة.
منهجية قبول من ستة بنود (إطار قبول تخزين AI): جرد الصندوق ← الإنتاجية الأساسية ← التمرير المباشر عبر GPUDirect ← القراءة المتزامنة ← تدريب الأعطال ← الضبط المشترك طويل الأمد.
بروتوكول تخزين وُلد للفلاش: SSD متصل مباشرة بناقل PCIe، وعمق طوابير عالٍ، وزمن استجابة منخفض — مقارنة بـ SAS/SATA يحرر سرعة الفلاش. أقراص NVMe SSD هي وحدة البناء الأساسية لمصفوفات الفلاش الكامل.
NVMe over Fabrics: توسيع بروتوكول NVMe إلى الشبكة (نقل عبر RDMA فوق IB أو RoCE) — يصل الخادم إلى مصفوفات الفلاش الكامل البعيدة كما لو كانت أقراصاً محلية، مع خسارة أداء ضئيلة (حسب المصادر الصناعية [1]).
تقنية المرور المباشر للتخزين من NVIDIA: البيانات تنتقل من NVMe/المصفوفة عبر RDMA مباشرة إلى ذاكرة الـ GPU متجاوزةً نسخ الـ CPU — تقنية أساسية لتحسين تحميل بيانات التدريب وقراءة/كتابة نقاط الحفظ (وفق التوثيق الرسمي [3]).
بنية تخزين تتيح وصولاً متزامناً متعدد العقد إلى نظام ملفات واحد (أنظمة مثل Lustre/GPFS): توزيع البيانات كأشرطة على عدة عقد تخزين لتجميع الإنتاجية — عند قراءة مجموعة تدريب من آلاف الكروت بالتوازي لا يصمد سوى نظام ملفات متوازٍ.
نقاط حفظ أثناء التدريب: كتابة دورية لأوزان النموذج وحالة المُحسِّن إلى القرص — checkpoints النماذج الكبيرة تقاس بعشرات التيرابايت، والكتابة البطيئة تعيق إيقاع التدريب وفقدانها يضيع تقدماً كاملاً. إنتاجية checkpoint هي أول اختبار لتخزين الذكاء الاصطناعي.
حل تجاوز سعة ذاكرة خدمات الاستدلال: KV cache الذي لا تتسع له ذاكرة HBM في GPU يوضع في طبقة NVMe — استبدال سعة الذاكرة بعرض نطاق NVMe، مكوّن في بنيات الاستدلال للسياق الطويل والتزامن الكبير.
تخزين الذكاء الاصطناعي يسوق بشكل رئيسي بنظام المشاريع (فروق كبيرة في التهيئة/السعة/حزمة البرمجيات)، والمصفوفات المستعملة يجب أن تجتاز عتبة أمن البيانات — لا توجد لقطة أسعار موحدة قابلة للتحقق حالياً، مبدأ الصدق في هذه المكتبة: لا نقدّم شريط أسعار، والسعر الفعلي يخضع لعرض البائع 。
بحث المعروض: قاعة AIXX Exchange › (مطابقة الصفقات بدون عمولة، دون المشاركة في البيع، ولا تملك ولا تخمّن أسعار الصفقات، ولذلك تبقى البيانات محايدة). عند اكتمال تراكم لقطات السوق سيُحوَّل هذا القسم إلى نطاق أسعار قياسي.
ثلاثة فروق: حجم الإنتاجية (تغذية عنقود آلاف الكروت بيانات عشرات الأضعاف الحمل المؤسسي العادي)، البنية المباشرة (GPUDirect Storage يتجاوز CPU)، ونمط التزامن (عقد GPU متعددة تقرأ مجموعة البيانات نفسها بالتوازي) — NAS العادي/المصفوفات الهجينة لا تلبي أي من هذه الشروط.
يُنصح به بشدة: البيانات تصل مباشرة إلى ذاكرة GPU متجاوزة CPU، مع انخفاض مزدوج في زمن الاستجابة واستخدام CPU لتحميل بيانات التدريب وقراءة/كتابة checkpoint (وفق الوثائق الرسمية)؛ الحلول غير الداعمة لـ GDS تعمل أيضاً، لكن سقف إنتاجية المرور عبر CPU منخفض وموارد المضيف تستهلكها عملية نقل البيانات.
checkpoints النماذج الكبيرة تقاس بعشرات التيرابايت وتُكتب بكثرة: الكتابة البطيئة تعيق إيقاع التدريب (GPU ينتظر الكتابة)، وانقطاع الكتابة يضيع تقدماً كاملاً — إنتاجية checkpoint وموثوقيته هما الخط الفاصل بين تخزين AI والتخزين العادي.
نعم لكن بثلاث عتبات: أمن البيانات (سجل المسح الآمن للبيانات السابقة شرط للصفقة)، الصحة (تصدير كامل لعمر الكتابة/SMART لأقراص NVMe)، والترخيص (هل تراخيص السعة والميزات تنتقل مع العتاد). التخزين بيت البيانات، ومعايير القبول عالية أو أعلى.
يُنصح بنفس التقنية مع قابلية الطبقات: عنقود IB مع شبكة تخزين IB-RDMA، وعنقود إيثرنت مع RoCE — خلط التقنيات يتطلب بوابة تحويل، فتنخفض الاستجابة والإنتاجية معاً. على مستوى الحركة يمكن الفصل الفيزيائي/المنطقي بين شبكتي التخزين والحوسبة لتجنب تأثير كتابة checkpoint على اتصالات التدريب.